站长之家用户 - 传媒 2024-07-04 15:42

腾讯云发布自研大数据高性能计算引擎Meson,性能提升6倍

7月 4 日消息,腾讯云发布全新自研大数据高性能计算引擎Meson。通过软硬一体加速和智能技术的综合应用,该引擎能显著为AI等场景下的大数据任务提供更优的计算性能,并节省更多计算资源。比如,在数据湖场景下,Meson能够助力单个数据查询分析提速 6 倍,在微信读书“AI问书”项目中,Meson助力大数据任务节省了 9 成的资源消耗。

目前,Meson 已登陆腾讯云数据湖、搜索分析服务、云数据仓库三大业务线,作为统一的计算加速底座,为企业大数据业务提供加速服务。

在大数据领域,数据存储和计算是至关重要的核心环节,针对计算和存储的性能提升一直是大数据技术攻坚的核心任务。其中,针对计算环节,业内分别有硬件与软件两个主流方向。但随着 AI 时代下数据计算场景越来越多样,单一方向的加速性能瓶颈凸显。

腾讯云大数据高性能计算引擎Meson在多个方面作出加速优化:包括软件层的向量化计算、JIT Compilation 等一系列软件加速工程,硬件层的GPU 及 FPGA 加速。此外,Meson 基于智能查询优化、负载智能预测等智能技术,让大数据分析可以根据过往的经验,自动调整处理策略,使得数据处理更加有效。

海量数据的处理与分析率先体验到Meson带来的性能提升。以存储海量数据的数据湖而言,腾讯云基于Meson 实现了完全兼容Spark 的向量化计算能力,能在处理大规模数据时发挥更高的性能。特别是在基准TPC-DS 数据测试中,数据湖Meson 引擎获得了超过2. 27 倍的性能提升,单个数据查询分析任务最 高可达6. 2 倍的性能提升。

在搜索分析的高频需求中,腾讯云 Elasticsearch Service(简称ES)结合Meson解决方案,成为全球首 个支持GPU加速的ES服务,显著提高了ES向量生成和向量检索的效率。微信读书“AI问书”的背后正是利用了腾讯云 ES 和 Meson 技术。

该方案成本从原来的纯内存 400 台64G机器大幅下降到仅需 30 台,同时大幅降低了运维成本。除此之外,云知、安灯、乐享等腾讯内部业务系统,也都基于腾讯云ES 实现了有效的信息检索与生成。

对于企业级数据仓库TCHouse 来说,Meson 就像一位有效的仓库管理员,通过采用查询优化技术、向量化计算模式及AI智能资源调度等技术手段,TCHouse 可大幅提升海量数据分析的效率和质量,为企业提供有效、实时、低成本的数据分析解决方案。

截止目前,腾讯云大数据已持续为超 1000 家中大型客户构建国产大数据平台,涵盖能源、制造、电力等多个领域,如国家电网、中国商飞、三一重工、陕西建工等各行业头部客户,其中多项解决方案获得工信部、数博会等行业认可,数据量年增长速度超过90%。

相关话题

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,相关信息仅供参考。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,可及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈联系地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

推荐关键词

24小时热搜

查看更多内容

大家正在看