hadoop中map和reduce的数量设置

提示: 作者被禁止或删除内容自动屏蔽

tang · 发表于 2015-3-7 13:28:10

学习了，没考虑过这么多

hellom · 发表于 2015-8-14 17:38:25

亮哥 · 发表于 2017-1-9 23:22:17

但是每个文件的size都小于HDFS的blockSize，那么会造成启动的Mapper等于文件的数量（即每个文件都占据了一个block）
---这句话不对，当存储文件大小小于block尺寸时，按照实际尺寸存放，不会单独占用一个block

evababy · 发表于 2017-7-31 15:14:51

请问如果文件资源足够大，已经大大超出最大负载能力，那么通过集群总资源（内存）等参数控制，该如何控制呢？谢谢

问题贴

图文精华