站长之家用户 - 传媒 2024-12-03 21:04

腾讯云存储论文入选行业顶会NAS2024,技术创新获认可

12月3日消息,NAS2024大会公布了今年会议论文的收录情况。腾讯云存储就加速对象存储访问提出技术方案的论文《GooseFS:分布式缓存服务以提高云对象存储性能》入选。

NAS(网络、架构和存储)大会 由IEEE TCDP和IEEE计算机学会共同赞助,是基础技术领域特出质的行业大会之一。会议为网络、架构、存储等基础技术领域提供大量高质量的研究论文和研究成果,具有重要的学术价值和行业引导意义。今年的NAS大会(NAS2024) 于11月29日至12月1日在广州举行。

descript

对象存储由于具备高水平扩展性和低成本等特征,目前已经成了用户优选的海量数据存储解决方案。但随着大数据分析、AIGC等涉及海量数据计算的场景快速发展,对象存储由于其数据组织和实现方式限制,以及其存储介质时延和吞吐性能的制约,在应对这类工作负载时,面临着严重的性能挑战。

在论文中,腾讯云提出基于对象存储搭建分布式高性能文件系统GooseFS,引入三个关键设计,来实现在存算分离架构下对对象存储的加速访问,从而解决上述问题。

具体而言,在计算端,GooseFS将离计算资源更近的本地盘作为缓存介质存放部分对象存储数据,实现计算对数据的就近访问,降低延迟,同时通过多级粒度缓存管理和短路读机制降低了随机小IO下的数据访问时延。

在存储端,GooseFS构建了高性能SSD缓存池,为计算节点提供存储端的缓存支持,以提高面对顺序IO时的吞吐率,解决了对象存储介质性能不足的问题。

同时,GooseFS自研了一套高性能元数据引擎,通过元数据分级管理、强一致性缓存和平行扩展等技术手段来提升元数据读写性能,并将元数据持久化到底层的企业级数据库中,以此大幅提升了元数据处理的效率。

实验结果表明,相比原生对象存储,GooseFS的吞吐量提升了8~10倍,同时降低了90%的存储带宽消耗,满足了多种工作负载对高性能要求。

目前,GooseFS已经服务了蔚来、博世、百川、高途、燃数、酷狗等一大批客户。

相关话题

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,相关信息仅供参考。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,可及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈联系地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

推荐关键词

24小时热搜

查看更多内容

大家正在看