2.淘宝 TFS 文件系统在核心设计是什么? 淘宝 TFS 文件系统在核心设计上最大的取巧的地方就在,传统的集群系统里面元数据只有 1 份,通常由管理节点来管理,因而很容易成为瓶颈。而对于淘宝网的用户来说,图片文件究竟用什么名字来保存实际上用户并不关心,因此 TFS 在设计规划上考虑在图片的保存文件名上暗藏了一些元数据信息,例如图片的大小、时间、访问频次等等信息,包括所在的逻辑块号。而在元数据上,实际上保存的信息很少,因此元数据结构非常简单。仅仅只需要一个fileID,能够准确定位文件在什么地方。由于大量的文件信息都隐藏在文件名中,整个系统完全抛弃了传统的目录树结构,因为目录树开销最大。拿掉 后,整个集群的高可扩展性极大提高。实际上,这一设计理念和目前业界的“对象存储”较为类似,淘宝网 TFS 文件系统已经更新到 1.3 版本,在生产系统的性能已经得到验证,且不断得到了完善和优化,淘宝网目前在对象存储领域的研究已经走在前列。 3.它们是如何处理大量图片的? 淘宝 TFS 文件系统在核心设计上最大的取巧的地方就在,传统的集群系统里面元数据只有 1 份,通常由管理节点来管理,因而很容易成为瓶颈。而对于淘宝网的用户来说,图片文件究竟用什么名字来保存实际上用户并不关心,因此 TFS 在设计规划上考虑在图片的保存文件名上暗藏了一些元数据信息,例如图片的大小、时间、访问频次等等信息,包括所在的逻辑块号。而在元数据上,实际上保存的信息很少,因此元数据结构非常简单。仅仅只需要一个fileID,能够准确定位文件在什么地方。由于大量的文件信息都隐藏在文件名中,整个系统完全抛弃了传统的目录树结构,因为目录树开销最大。拿掉 后,整个集群的高可扩展性极大提高。实际上,这一设计理念和目前业界的“对象存储”较为类似,淘宝网 TFS 文件系统已经更新到 1.3 版本,在生产系统的性能已经得到验证,且不断得到了完善和优化,淘宝网目前在对象存储领域的研究已经走在前列。 4.TFS1.3在元数据存内存上,清理磁盘空间,性能做了哪些优化? 包括元数据存内存上,清理磁盘空间,性能上也做了优化, 包括: •完全扁平化的数据组织结构,抛弃了传统文件系统的目录结构。 •在块设备基础上建立自有的文件系统,减少 EXT3 等文件系统数据碎片带来的性能损耗。 •单进程管理单块磁盘的方式,摒除 RAID5 机制。 •带有 HA 机制的中央控制节点,在安全稳定和性能复杂度之间取得平衡。 •尽量缩减元数据大小,将元数据全部加载入内存,提升访问速度。 •跨机架和 IDC 的负载均衡和冗余安全策略。 •完全平滑扩容。 |
学习学习 |
谢谢分享 |
真实学习了 ,感谢! |
真实学习了 ,感谢! |
学习了,非常感谢 |
谢谢分享~O(∩_∩)O哈哈~ |
资料很不错 多谢分享!~ |
非常感谢分享! |
谢谢分享!!祝好~ |