Hadoop分布式文件系统实现了一个和POSIX系统类似的文件和目录的权限模型。每个文件和目录有一个所有者（owner）和一个组（group ...

yunjisuanxue 2013-10-25 1 9031

部署情况是6个机器，1个namendoe，1个secondnamenode，4个datanode。每个datanode节点有五个sata盘，然后在hdfs.xml中的dfs.data ...

wdx_827 2017-8-2 16 26018

请问各位大神，hadoop跨hdfs读写只能用distcp吗？拷贝一个4T的文件夹 ，起的MR任务map有1万多个，全跑在集群某一台机器(随机的节 ...

为了明天time 2017-11-10 2 5481

我在启动集群的时候发现，查看webui，active namenode加载完fsimage之后，并不会加载本地editsLog，而是加载JournalNode上的edit ...

相见恨晚xyh 2017-11-1 8 9946

代码是执行追加操作，往hdfs上已有的文件追加新数据，但是一直报错 Path hdfs_path = new Path(host + path + ...

LoveJW 2014-11-26 23 117229

我启动hdfs忽然DataNode启动不了了，这是启动日志 SHUTDOWN_MSG: Shutting down DataNode at w/192.168.0.111 **************** ...

小白共勉# 2017-10-23 16 16580

Hadoop7天培训[附笔记代码完整版] 价值2000元 链接: http://pan.baidu.com/s/1pJp4dq7 密码: kgtp 解压密码:2次方学习 Had ...

zhuqitian 2017-10-13 3 9587

[mw_shl_code=shell,true][root@Master hadoop-2.6.0]# hdfs dfsadmin -safemode leave Safe mode is OFF [root@Master hadoop ...

yanyang 2015-12-29 2 9311

最近有任务，需要用到distcp来做跨集群的数据同步，诉求是多个集群向同一个集群同步数据，主要有几个考虑点，集群带宽问题，是 ...

heelo 2017-9-27 4 11911

代码： [mw_shl_code=scala,true]import org.apache.spark.SparkConf import org.apache.spark.SparkContext object word ...

Wyy_Ck 2017-9-25 1 5008

dfs.ha.automatic-failover.enabled = true; hdfs haadmin -getServiceState nn1 = active; hdfs haadmin -getServiceState ...

你的笑很甜 2017-9-20 1 4075

怎么将 hdfs 上指定格式的文件夹删除如图 mytest- 开头的文件夹

fengfengda 2017-9-18 5 9194

最近领导要求学习大数据，一周内让我用hive自定义函数实现一个功能。我在虚拟机搭的伪分布式的hadoop环境，hive和sqoop环境也都 ...

beqiang 2017-9-10 5 7563

我们知道hdfs中会根据配置文件对数据做多份备份处理，假设在三个datanode上各有一份备份吧，称为dn1,dn2,dn3，现在就有个问题 ...

heelo 2017-9-11 2 6568

如题

starrycheng 2013-10-25 7 15890

现在有个需求是这样的，有个堡垒机会每天生成文件，然后想每天定时将这些文件上传到hdfs集群。 目前在这台堡垒机安装了hdfs单 ...

HawCHing 2017-9-4 3 19802

hadoop 2.2.0 通过java api 操作hdfs 报错，求大神指导 安装好hadoop 2.2.0后，通过java api 操作hdfs 报错了，详细信息如下 ...

zayliu1 2014-9-4 12 102118

哪位大神帮助看一下，这是什么问题。 1.下载了hadoop.dll包括winutils.exe，也将虚拟机中的 hadoop文件考到本地，现在eclipse ...

hackekin 2017-8-18 2 4554

程序里面使用spark streaming 取kafka队列数据往hdfs写，然后建hive表映射这个hdfs目录。 结果看hive表数据，第一列都是会有乱 ...

mjjian0 2017-8-14 2 9043

万兆网络，使用TestDFSIO -write-nrFiles 10 -fileSize 1024 ，结果为average IO rate mb/sec:72.4 72.4*10=720m/s，另外我用hdf ...

wdx_827 2017-8-14 1 5946

/** * 内容描述：操作hadoop * @author lvjie * @date 2017年7月7日 上午11:53:50 */ public class UseHadoop { ...

yuntian0215 2017-7-7 2 6048

在web上打开hdfs的文件时报错： Failed to retrieve data from /webhdfs/v1/* ： Internal Server Error 原因： ...

刘洋_xlkmo 2017-7-5 0 7561

最近看到一个博客，有这个写法： 　　splitSize=max{minSize,min{maxSize,blockSize}}(注意，blockSize为文件在hdfs中的块大小 ...

Wyy_Ck 2017-6-20 2 4812

org.apache.hadoop.ipc.RemoteException: Failed to APPEND_FILE /apps/hive/warehouse/ods.db/phone/phone.txt for DFSClient_N ...

zhuqitian 2017-6-16 2 8057

输入： [root@master logs]# hadoop fs -cat /input/first.txt 人物、情节、环境是小说的三要素。情节一般包括开端、发展、高 ...

Wyy_Ck 2017-6-12 2 5076

zookeeper 里面到底存储是什么数据？ 只知道是记录一些状态的东东。但是一直没有弄明白，哪一位大神可以举一详细个例子说明下？ ...

Wyy_Ck 2017-6-12 1 9626

想在本地windows搭建eclipse 连接远程hdfs 配置信息如下： fs.defaultFS hdfs://master:9000 core-site.xml mapred ...

Wyy_Ck 2017-6-8 5 6676

完全按照网上说法配置zookeeper 有下面错误： [mw_shl_code=shell,true]2017-06-10 04:33:16,375 [myid:1] - WARN [QuorumPe ...

Wyy_Ck 2017-6-10 4 9537

代码： [mw_shl_code=java,true]package hdfs.operation; import java.io.IOException; import org.apache.hadoop.conf.C ...

Wyy_Ck 2017-6-9 5 6785