只用HDFS不用MapReduce，在生产环境可行吗？

如标题，我只想用hadoop的分布式存储功能，不打算用它的计算功能，我甚至连yarn都不启动，大家认为可行性怎么样。应用于海量文件（图片、pdf、word等等，文件个人规划会过亿）存储的生产环境。
有类似用法的大牛一起讨论讨论。

倒是可行，不过只存储，不应用，有点不合常理。
楼主存储了用来做什么。

einhep 发表于 2017-3-14 13:15
倒是可行，不过只存储，不应用，有点不合常理。
楼主存储了用来做什么。

应该说只负责存储吧，返回的存储路径将另外会放置一个数据库表中。基本上就是实时的读写，至于读这块，我计划在前端加个squid缓存集群什么的。
hdfs据说秒级响应，有没有什么更快的办法？

lanyangkj 发表于 2017-3-14 13:50
应该说只负责存储吧，返回的存储路径将另外会放置一个数据库表中。基本上就是实时的读写，至于读这块，我 ...

应该说只负责存储吧，返回的存储路径将另外会放置一个数据库表中。基本上就是实时的读写，至于读这块，我计划在前端加个squid缓存集群什么的。
hdfs据说秒级响应，有没有什么更快的办法？
秒级响应是指哪方面？？查询还是读取，还是什么？
如果以后有查询可以使用hbase
如果数据以后数据分析，可以使用hive
如果以后不用，那你可以直接放到hdfs上，无所谓了

nextuser 发表于 2017-3-14 15:21
应该说只负责存储吧，返回的存储路径将另外会放置一个数据库表中。基本上就是实时的读写，至于读这块，我 ...

读取\写入都有, 不过读取要求毫秒级更多些.此时HDFS只做存储用，是一个个非结构化的文件。
说白了就是附件存储，怎么样进去还怎么样出来，单个文件大小数kB到数GB不等。
开始考虑本地磁盘存储，但海量文件会导致文件目录卡死，分布式可能更为合理。
但hdfs是hadoop家族的，高延迟应该是出了名的。
如何能实现毫秒级响应？？我目测 单个文件 在命令下模式下的存/取都在2-5秒不等。

lanyangkj 发表于 2017-3-14 16:26
读取\写入都有, 不过读取要求毫秒级更多些.此时HDFS只做存储用，是一个个非结构化的文件。
说白了就是附 ...

可以看下Sponge，swift也可以

nextuser 发表于 2017-3-14 16:38
可以看下Sponge，swift也可以

麻烦解释下这两是什么东东，不成熟的技术，我们一般都不用，而且尽量往高大上靠（如当前spark技术、hadoop技术、人工智能、机器学习等），你懂得！

lanyangkj 发表于 2017-3-14 16:43
麻烦解释下这两是什么东东，不成熟的技术，我们一般都不用，而且尽量往高大上靠（如当前spark技术、hadoo ...

openstack入门之swift基础三：swift能干什么，不能干什么及相关概念
http://www.aboutyun.com/forum.php?mod=viewthread&tid=7107

更多可google下。都是文件系统。如果大数据的话，可以使用hadoop

lanyangkj 发表于 2017-3-14 16:26
读取\写入都有, 不过读取要求毫秒级更多些.此时HDFS只做存储用，是一个个非结构化的文件。
说白了就是附 ...

如果想用hadoop进行文件存储，如果小文件太多的话，namenode是有很大的内存压力的，而且集群Block的数量也会大到报警，感觉不是很好的方案！

如果考虑冗余因子，那你的存储量会比之前大几倍；
如果不冗余，存HDFS没意义，还不如直接放硬盘呢