刘海锋:自研文件系统JFS令京东如虎添翼

在大会第二天下午的“存储和文件系统”专场上，来自京东系统技术部的负责人、云平台首席架构师刘海锋先生为我们分享了京东在分布式存储的持续研发上所做的努力和所遇挑战。

　　拥有一亿用户、营业规模达数百亿元的大型网络零售企业京东(JD.com)，在网络零售市场深耕近十年之后，也正式迈入了PB级数据管理的新时代。对企业而言，PB级(1PB=1024TB)的数据管理算得上是衡量其数据规模和管理能力的一个重要标尺。目前，全球PB级数据管理俱乐部已经拥有Facebook、淘宝等重要成员，能够跻身其中对京东而言是荣誉，也意味着挑战。

　　上海五分钟网络科技有限公司高级DBA金官丁先生曾经在微博上发过一段话形容“产品、运营、技术”的三角恋关系：“成功的产品需要优秀的运营团队;好的运营团队也需要优秀的产品;再好的产品和运营，也要坚如磐石的技术作支撑，否则最多是一座小洋楼;再牛的技术人要是不能服务于产品和运营，就像深锁闺房的黄花大闺女。“

　　针对业务运营数据飞速增长的情况，刘海锋表示，传统的关系型数据库价格昂贵，没法按需扩容，只能定期删除数据，很麻烦。开源存储系统虽然便宜，但难以选型、定制和维护。这两点也是此前京东文件存储的主要痛点。

▲京东过去一年在数据存储上所做的努力

　　因此，京东选择根据需求驱动，自主研发了文件系统JFS(Jingdong Filesystem)，截止目前的具体成果已包括：

　　·京东文件系统

　　·对象存储服务

　　·弹性块存储

　　·高速NoSQL平台

　　该系统的定位很明确：针对海量非结构化的小文件，要求强可靠、强一致和高可用，并且key由系统本身生成。

　　刘海峰表示，之前京东是采用HDFS作为数据存储子系统，由于其85%的存储容量都是小于1MB的对象，对hadoop的扩展性和性能带来严重问题。现在京东已经用JFS已经替换了HDFS负责小文件存储，未来期望JFS能成为对象存储服务的唯一后端。