pandatyut 发表于 2016-10-10 20:47:18

hdfs上传大数据死机重启

用hadoop命令行上传一个3G的文件（hdfs dfs -put sample_consuming_data.txt /test/sparkData/scala/）的时候报警告：WARN hdfs.DFSClient: Slow ReadProcessor read fields took 38120ms (threshold=30000ms);过一段时间之后集群就直接重启了，有人知道是怎么回事吗截图如下

langke93 发表于 2016-10-10 21:07:42

文件过大，会导致超时。这个参数可以设置的更大一些

threshold=30000ms


这篇博客，遇到的问题跟楼主一样，文件过大，集群就重启了。不过还能继续传，而且成功了

http://blog.csdn.net/tutucute0000/article/details/39756123
页: [1]
查看完整版本: hdfs上传大数据死机重启