整了几天终于OK了，尼玛才是环境变量问题。
shell:
HBASE_HOME=/opt/cloudera/parcels/CDH/lib/hbase
#HIVE_HOME=/opt/cloudera/parcels/CDH/lib/hive
export SPARK_CLASSPATH="$HBASE_HOME/conf/:$HBASE_HOME/hbase-client.jar:$HBASE_HOME/hbase-protocol.jar:$HBASE_HOME/lib/htrace-core.jar:$HBASE_HOME/lib/htrace-core-3.1.0-incubating.jar"&&

bioger_hit 发表于 2015-11-18 18:42
集群正常吗？是按照正常的方式提交集群

我已经使用官方给的例子用Java和Python都测试过了，都是找不到org.apache.htrace.Trace包，要怎么将这个加到classpath，这个类的包和org.cloudera.htrace是不是有冲突

bioger_hit 发表于 2015-11-18 18:42
集群正常吗？是按照正常的方式提交集群

集群OK的

wangweislk 发表于 2015-11-18 15:24
我使用官方给的Python例子也是异常的问题。

集群正常吗？是按照正常的方式提交集群

bioger_hit 发表于 2015-11-18 13:40
楼主

spark-submit\

yarn-client和yarn-cluster我都试过的。对于加端口，我再直接测试hbase的时指定zk就行，我试试加上端口

楼主

spark-submit\
--master yarn-client \
--driver-memory 10g \
--executor-memory 20g \
--num-executors 10 \
--executor-cores 6 \

master yarn-client而不是yarn-cluster？


对hbase操作，我一般用下面代码
                conf = HBaseConfiguration.create();
                conf.set("hbase.zookeeper.quorum", "master");// 使用eclipse时必须添加这个，否则无法定位master需要配置hosts
                conf.set("hbase.zookeeper.property.clientPort", "2181");