万兆网络,使用TestDFSIO -write-nrFiles 10 -fileSize 1024 ,结果为average IO rate mb/sec:72.4 72.4*10=720m/s,另外我用hdfs的api,多个线程并发上传1G文件,带宽最高就560m/s,不知道什么原因。
api上传文件我试过了三种方式:
1.
FSDataOutputStream output = null;
Path destPath = getPath(dest);
if(!dfs.exists(destPath))
dfs.mkdirs(destPath);
Path sourPath = new Path(sour);
dfs.copyFromLocalFile(sourPath, destPath);
2.
FSDataOutputStream output = null;
Path f = getPath(path);
output = dfs.create(f);
FileUtils.copyFile(file, output);
3.
FSDataOutputStream output = null;
Path f = getPath(path);
output = dfs.create(f);
IOUtils.copyBytes(in, output, 1024 * 8, false);
|