levycui 发表于 2015-10-22 22:41:43

hadoop HDFS写入慢

环境
hadoop2.4
服务器 SSD硬盘做系统，4*2T存储数据

搭建hadoop后 进行HDFS读写操作

从HDFS上下载文件速度正常
发现写入数据 总是卡住，写入慢，等很长时间才能写完。

想确认下hadoop2.4对于SSD硬盘支持吗？

有没有用过的大神，求共享。

leo_1989 发表于 2015-10-23 10:42:07

支持的

lasher999 发表于 2015-10-23 13:43:31

一起关注此问题

arsenduan 发表于 2015-10-23 16:15:58

一起关注，共同讨论。
有几个节点，数据是否分布均匀。
发几个截图看看

levycui 发表于 2015-10-23 19:06:19

arsenduan 发表于 2015-10-23 16:15
一起关注，共同讨论。
有几个节点，数据是否分布均匀。
发几个截图看看

数据分布正常，新构建的，25个datanode，2个namenode

weweyangyang 发表于 2015-12-2 15:38:16

我也遇到这个样的问题，10个节点，Hadoop V2.2.0，三节点同时写入的速度，单个节点速度大约30MB/s,我如果一个节点写入，单个节点速度也是110MB/s左右，不知道如何提高

levycui 发表于 2015-12-3 09:53:17

weweyangyang 发表于 2015-12-2 15:38
我也遇到这个样的问题，10个节点，Hadoop V2.2.0，三节点同时写入的速度，单个节点速度大约30MB/s,我如果一 ...

查看下服务器之前的传输速度是否正常，应该在100M/秒左右，SCP大文件，
看看交换机的端口是千兆口吗？

速度取决于网络、硬盘读写、等因素

weweyangyang 发表于 2015-12-3 12:57:28

网络是千兆的，已经确认过了，而且交换机也是千兆的，所有的节点都是接到这个千兆交换机上的我想是不是由于client同时又是写入者又是读者，导致性能降低，但我始终无法理解的是为何单客户端写入速度和三个客户端的写入速度之和基本一致？

levycui 发表于 2015-12-3 13:57:28

weweyangyang 发表于 2015-12-3 12:57
网络是千兆的，已经确认过了，而且交换机也是千兆的，所有的节点都是接到这个千兆交换机上的我想是不是由于 ...

如何进行的单台写入 和 三台同时写入？？

weweyangyang 发表于 2015-12-3 15:18:49

我是写不同的文件的，单个写入和三台写入写的是HDFS上不同的文件。
页: [1]
查看完整版本: hadoop HDFS写入慢