淘宝网图片存储系统架构

查看数: 63011 | 评论数: 11 | 收藏 6
关灯 | 提示:支持键盘翻页<-左 右->
    组图打开中,请稍候......
发布时间: 2014-6-14 17:04

正文摘要:

问题导读: 1.TFS(淘宝文件系统,Taobao FileSystem)是如何产生的? 2.淘宝 TFS 文件系统在核心设计是什么? 3.它们是如何处理大量图片的? 4.TFS1.3在元数据存内存上,清理磁盘空间,性能做了哪些优化? ...

回复

sstutu 发表于 2014-6-14 17:06:15


2.淘宝 TFS 文件系统在核心设计是什么?
淘宝 TFS 文件系统在核心设计上最大的取巧的地方就在,传统的集群系统里面元数据只有 1 份,通常由管理节点来管理,因而很容易成为瓶颈。而对于淘宝网的用户来说,图片文件究竟用什么名字来保存实际上用户并不关心,因此 TFS 在设计规划上考虑在图片的保存文件名上暗藏了一些元数据信息,例如图片的大小、时间、访问频次等等信息,包括所在的逻辑块号。而在元数据上,实际上保存的信息很少,因此元数据结构非常简单。仅仅只需要一个fileID,能够准确定位文件在什么地方。由于大量的文件信息都隐藏在文件名中,整个系统完全抛弃了传统的目录树结构,因为目录树开销最大。拿掉
后,整个集群的高可扩展性极大提高。实际上,这一设计理念和目前业界的“对象存储”较为类似,淘宝网 TFS 文件系统已经更新到 1.3 版本,在生产系统的性能已经得到验证,且不断得到了完善和优化,淘宝网目前在对象存储领域的研究已经走在前列。

3.它们是如何处理大量图片的?
淘宝 TFS 文件系统在核心设计上最大的取巧的地方就在,传统的集群系统里面元数据只有 1 份,通常由管理节点来管理,因而很容易成为瓶颈。而对于淘宝网的用户来说,图片文件究竟用什么名字来保存实际上用户并不关心,因此 TFS 在设计规划上考虑在图片的保存文件名上暗藏了一些元数据信息,例如图片的大小、时间、访问频次等等信息,包括所在的逻辑块号。而在元数据上,实际上保存的信息很少,因此元数据结构非常简单。仅仅只需要一个fileID,能够准确定位文件在什么地方。由于大量的文件信息都隐藏在文件名中,整个系统完全抛弃了传统的目录树结构,因为目录树开销最大。拿掉
后,整个集群的高可扩展性极大提高。实际上,这一设计理念和目前业界的“对象存储”较为类似,淘宝网 TFS 文件系统已经更新到 1.3 版本,在生产系统的性能已经得到验证,且不断得到了完善和优化,淘宝网目前在对象存储领域的研究已经走在前列。


4.TFS1.3在元数据存内存上,清理磁盘空间,性能做了哪些优化?
包括元数据存内存上,清理磁盘空间,性能上也做了优化,

包括:
&#8226;完全扁平化的数据组织结构,抛弃了传统文件系统的目录结构。

&#8226;在块设备基础上建立自有的文件系统,减少 EXT3 等文件系统数据碎片带来的性能损耗。

&#8226;单进程管理单块磁盘的方式,摒除 RAID5 机制。

&#8226;带有 HA 机制的中央控制节点,在安全稳定和性能复杂度之间取得平衡。

&#8226;尽量缩减元数据大小,将元数据全部加载入内存,提升访问速度。

&#8226;跨机架和 IDC 的负载均衡和冗余安全策略。

&#8226;完全平滑扩容。

chenming7583 发表于 2017-2-4 16:57:04
学习学习
一战成名 发表于 2016-11-10 16:25:50
谢谢分享
czaiq 发表于 2016-11-6 16:41:24
真实学习了
,感谢!
xmhxmhxmh 发表于 2016-7-1 16:52:54
真实学习了
,感谢!
ansha886 发表于 2016-6-21 15:25:18
学习了,非常感谢
ainubis 发表于 2015-3-29 22:02:32
谢谢分享~O(∩_∩)O哈哈~
bluebaby2006 发表于 2015-3-2 09:17:12
资料很不错  多谢分享!~
落魂草 发表于 2014-12-27 22:25:12
非常感谢分享!
zxler 发表于 2014-12-27 20:19:09
谢谢分享!!祝好~
关闭

推荐上一条 /2 下一条