从集群外机器使用hdfs命令上传文件到集群

现在有个需求是这样的，有个堡垒机会每天生成文件，然后想每天定时将这些文件上传到hdfs集群。

目前在这台堡垒机安装了hdfs单机版，能够运行hdfs命令，想通过此机器的hdfs命令直接用put命令上传到集群，但是会报错拒绝访问，问下各位这个方法是否可行，都需要些什么配置才能实现？两台机的无密码访问已做。

[root@localhost bin]# ./hdfs dfs -put /tmp/testfile.txt  hdfs://node01:/tmp/
17/09/04 22:54:33 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
put: Call From localhost/127.0.0.1 to node01:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused



想过将这台机器当过单节点然后distcp复制，但是涉及到这台机上传一次文件到hdfs的步骤，觉得麻烦，跟最初的拷贝到集群机器在put到集群没省什么步骤，所以最终想法是通过堡垒机直接用hdfs命令将本地文件上传到远端hdfs集群。

可以实现的，如果想更方便一些，可以做成定时上传。也就是通过shell编程实现。
需要确保，堡垒机上安装hadoop，这里的上传拒绝。很多原因。
可能跟配置有关系，还有hosts，hostname，端口，防火墙，集群是否正在运行。这些都需要确保没有问题。

都需要些什么配置才能实现？两台机的无密码访问已做。这个是什么情况，是两台还是一台？

langke93 发表于 2017-9-4 17:34
都需要些什么配置才能实现？两台机的无密码访问已做。这个是什么情况，是两台还是一台？

可能没说清楚   我想从一台机器A传文件到集群，集群的master节点是B，A与B之间的无密码访问已经做了，A机我是安装的单机版的hdfs，B机是一个集群中的master节点。