嗯呢，不知道 你的需求是啥，如果走计算的话，就走Mapreduce多线程地去写了，或者是别的计算框架，如果是 ...
我的目的是提升hdfs的IO能力，和用什么写没有关系吧！
wdx_827 发表于 2017-8-3 10:15
我的目的是提升hdfs的IO能力，和用什么写没有关系吧！
IO 和 磁盘有很大的关系 wdx_827 发表于 2017-8-3 10:15
我的目的是提升hdfs的IO能力，和用什么写没有关系吧！
io能力跟硬件有关系，所以想通过软件提升，基本不可能的。但是软件可以间接提升读写能力。
按照目前的硬件配置，经过TestDFSIO 测试吞吐hfds每秒的写入速度能够达到800多兆每秒。已经确认我目前部署的方式没有问题。之前对测试结果中Average IO rate的理解有问题，应该是每个map执行的写入速率。 wdx_827 发表于 2017-8-3 13:48
按照目前的硬件配置，经过TestDFSIO 测试吞吐hfds每秒的写入速度能够达到800多兆每秒。已经确认我目前部署 ...
你好，我最近也在做hdfs的读写性能测试。楼主应该是用TestDFSIO来测试的，楼主用过人工统计的方式吗？比如说自己针对读写过程，加入一些时间统计，不知道楼主有做过这方面的吗，如果是自己统计的话，是怎么做的呢？ SkyGreen 发表于 2017-8-11 10:14
你好，我最近也在做hdfs的读写性能测试。楼主应该是用TestDFSIO来测试的，楼主用过人工统计的方式吗？比 ...
我简单做了一个测试读写性能的程序，大概思路就是通过hdfs的api，可以设置上传并发数量，并发上传1G文件，记录运行时间。没有做太复杂。
wdx_827 发表于 2017-8-12 22:17
我简单做了一个测试读写性能的程序，大概思路就是通过hdfs的api，可以设置上传并发数量，并发上传1G文件 ...
好的，谢谢，我得把里边的改改，
页:
1
[2]