为了提高hdfs的吞吐量，磁盘应该如何部署

查了写资料说采用JBOD的形式，但如果某如果有一块磁盘坏道，不好定位。有人建议以单盘的方式部署，一个盘对应一个目录的方式，但这种方式IO能上去吗？

不建议JBOD在JBOD故障恢复能力太差，一个驱动器的故障就可能导致整个JBOD的失效。这个风险太大了。

部署情况是6个机器，1个namendoe，1个secondnamenode，4个datanode。每个datanode节点有五个sata盘，然后在hdfs.xml中的dfs.datanode.data.dir中分别配置这五个盘对应的目录。最后通过TestDFSIO 测试，结果是average io rate mb/sec：133.316，速度太慢了，如何提升写入速度啊。补充一下网络是10Gb另外，另外，我自己写的程序上传数据到hdfs，10个线程每个线程上传1G文件，大概45秒左右上传完成，速率大概200MB/s多一点。感觉就是sata硬盘的最高写入速度。请问是sata盘速度导致写入速率慢吗？dfs.datanode.data.dir中分配配置五个独立的单盘，速度不是单盘写入速度的5陪吗？

langke93 发表于 2017-7-31 14:25
不建议JBOD在JBOD故障恢复能力太差，一个驱动器的故障就可能导致整个JBOD的失效。这个风险太大了。

感谢你的建议，我现在采用单盘的方案。