Hadoop默认为每个task(map task 或者 reduce task) 启动一个jvm。 鉴于目前小文件过多的问题,设置了jvm复用,即一个job内,多个task共享jvm,避免多次启动jvm,浪费资源和时间。
测试Job信息: map:4715个 reduce:20个 input: 34G output: 25G
优化前:1464 s 优化后:1375 s Job运行时间减少 6%
CPU使用率情况:
*注意: mapred.job.reuse.jvm.num.tasks这个参数是客户端参数,修改不需要重启tasktracker,可以在提交job的shell或者代码中设置。
-- heipark
|