售前电话
135-3656-7657
售前电话 : 135-3656-7657
阿里巴巴在中国的一个挑战就是数据中心。Coly Li表示必须租赁第三方的数据中心,根据地区和网站,电力供应、制冷和机架容量变化多样。Li说:“我们没法要求他们追随我们的唯一标准,因为基础架构就摆在那里。”
阿里巴巴考虑采用Facebook的方法是用蓝光碟进行冷存储。Li表示他的团队目前也没有证据证明蓝光碟会符合低成本和耐久性的需求。他说阿里巴巴寄出了很多蓝光厂商,在这一点上也没有太大的改进。
因此AIS团队决定用便宜且低性能的HDD。阿里巴巴的硬件设计基于存储服务器Scorpio数据中心标准项目的一部分,需要18台3.5英寸的4TB或者8TB HDD,放在1U的服务器上,32个1U服务器放在单独的机架上。服务器采用英特尔Atom处理器,系统采用10GB的以太网。
Li表示他的团队希望尽快让系统上线,决定不构建大型的集群,相反AIS设计了四个“Scorpio”硬件机架的部署单元,通过软件定义、分布式子集群实现,可以在单元中跨越每一个机架。Li表示部署单元的规模可以扩展到更多的机架以及子集群,主要取决于数据中心的空间,但是关注的焦点仍旧是单独的子集群的质量。
“如果这种实施时正确的,大部分时间而言,简单意味着可靠和高性能,”他说道。
Li还表示前端的系统以各种形式收集数据,包括压缩的和加密的,从内部网络和公有源中收集,同时将这些数据传输到大型的对象中在Lambert中进行存储。Lambert中的平均对象规格目前是100GB,但是Li表示AIS团队将会按需改变规模。目前Sheepdog对象存储系统的数据对象规模最大为16PB。
一个数据对象存储在一个单一的具体的软件定义子集群中。当子集群填满了,传输一个密封状态,硬盘就会断电,内存和CPU进入空闲模式,以极低的功耗运作。数据对象随后键入下一个可用的软件定义子集群。
Li表示每一个封闭的子集群包含足够的空间,可以接受大约10%或者15%的硬盘失败。该团队只有在没有空间恢复时才会变更硬盘。
大规模部署中,Lambert系统由许多封闭的服务器组成,工作中的服务器存储数据,闲置服务器用来存储。活跃服务器的群组是最小的。只有一小部分子集群在任何时间都是工作状态。
阿里巴巴之所以选择开源项目Sheepdog是因为其建议性,AIS的冷数据存储首席软件工程师Robin Dong说道。Dong表示Sheepdog只有35,000行代码,阿里巴巴不需要文件系统或者POSIX接口,而且只关注系统层的分布式块存储。