用户组:游客
请问在写mapreduce时,如何将两个文件合并,其中a文件中有字段name ip tel ,b文件中有字段name age address。将两个文件中相同 ...
对大数据有很大的学习兴趣,想知道如何有效的去学习,有没有坛友提供下参考的学习阶段及其知识点、书籍、学习技术等!
我记得咱这里面有一个kafka的监控管理工具,不是kafkamonitor,忘记叫啥了。有人知道不。
现在Kafka监控用的是KafkaOffsetMonitor这个工具包。 请教个问题。我最近也在用storm读取kafka中的数据。也是用的这个jar包监控 ...
突然有需求,在hadoop集群中,需要关闭或者休眠某些datanode节点。正常来说,撤销节点之前datanode会进行备份,数据块传输到其他 ...
刚接触hadoop多租户,网上查了很多,资料好少啊。论坛的大佬们有谁做过的吗?多多指教啦~,分享些资料或者链接,说说想法也是可 ...
使用spark-sql on yarn 跑sql 程序,在hdfs 下生成了大量的.hive-staging文件, spark-sql --master yarn --deploy-mode client ...
每次select * from 来查询的时候,数据都会卡在93%,谁知道为什么啊??
安装完CDH后,启动了所有服务,然后就一直报这个错误,百度google查了很多,在centos7和6.5上都重装了,还是一样错误。请教怎么 ...
sqoop2 版本是 1.99.5, CDH-5.11.1 我创建了2个link 分别是: mysql_link_124: sqoop:000> show link -l 1 1 link(s) to sho ...
system_r:httpd_t:s0 [Sun Jul 16 22:08:47.779985 2017] [suexec:notice] AH01232: suEXEC mechanism enabled (wrapper: /usr ...
原先kafka=>storm实时计算,不太会用,有没有kafka=>实时计算数据库,在时计算数据库计算架构
hbase的“-ROOT-”表(记录了“.META.”表的Region信息)所在的block丢失,请问有办法恢复吗?
问题现象: CM-WEB页面打开失败,http://10.235.106.97:7180/ 初步定为是: 怀疑/etc/cloudera-scm-server 目录被误删,导致 ...
/** * 使用jedis操作redis需要jedis-2.1.0.jar * 使用Redis连接池,还需commons-pool-1.5.4.jar * 内容描述:操作redis ...
配置kerberos后,在web界面重启服务ok。 但有一个警告:Cloudera recommends at least Level 1 TLS when Kerberos is enabled f ...
1.Yarn中container是根据task的需求动态申请的,还是每个节点有固定的container 2.mapreduce中 reduce task是什么时候执行的。 ...
2017-06-27 16:44:36,763 INFO nodemanager.DefaultContainerExecutor (DefaultContainerExecutor.java:createUserCacheDirs(63 ...
想要搭建一个hadoop平台来对大量的图像进行处理,目的就是提高处理速度,并能对处理后的数据进行进一步的分析。但刚刚接触hadoop ...
我的hadoop是2.5.0 HBASE是0.98 ,之前装过hadoop2.6和另一个版本的Hbase 2015-06-09 17:24:34,256 DEBUG [main-EventThread] ...
在本地windows环境中使用eclipse连接阿里云来进行hadoop和hbase的开发,老是遇到很多问题,不知道用IntelliJ IDEA会怎么样,配合 ...
我用eclipse配置hadoop的MapReduce开发环境,成功! 现在用eclipse配置spark的开发,java开发环境,提示错误如下。一直找不到ma ...
随着大数据时代的到来,越来越多的行业都在运用大数据,数据越来越多,处理起来就会越麻烦,为了处理更多数据我们必须学会是 ...
只要提供centos6.8和网络,就可以 一健 化 ssh, zookeeper, hadoop, hbase , storm, kafka, es, ...的安装和配置,管理,监控, ...
生产环境中使用的storm。经常遇到一个问题,比如某台机器上的worker挂了。然后它就会随便找一台机器重新启动worker。这样保 ...
在安装了Spark集群后,测试单个大小为1G多的csv文件。 我先将该问题导入hive测试了下,hive的排序时间,和查询时间 然后用spar ...
烦请关注,指导,谢谢!我用CDH9.2版本装了spark内核,集群启动后,再启动spark-shell后,在mater中jps,和node1中jps如图。 请 ...
从图形界面中,可以看到网络没打开。但是用命令service network status 可以看到有激活的网卡。
我装好了CDH5.4.2,各组件都启动成功。 但是在使用beeline,去连接hive2时,报错。 我在beelinie里使用"!connect jdbc:hive2:/ ...
在VM里面克隆了虚拟机,删除了eth0,把eth2改成eth0. 1、重启之后,首先是网络连接不可用,用图形界面才能打开网络连接。 2、p ...
本版积分规则 发表帖子
查看 »