站长之家用户 - 传媒 2026-09-30 16:30

双榜第一!网易两款模型力压 OpenAI、谷歌,登顶Hugging Face

网易在全球AI 开源社区交出重磅成果。近日,网易有道开源的子曰 Live 系列两款模型 —— 真流式语音识别模型 Confucius4‑R2T2、流式翻译模型Confucius4‑T3PO,先后登顶全球 AI 开源社区 Hugging Face 语音识别(ASR)、机器翻译两大细分 Trending 热榜,实现国产实时 AI 模型 “双登顶”。

在两个榜单中,OpenAI Whisper、Google、Meta等全球科技公司的相关模型也同时在列。网易此次连续拿下两个细分榜第一,也让中国团队在实时语音AI方向受到全球开发者集中关注。

image.gif

图注:语音识别Trending榜,R2T2登顶(左);翻译Trending榜,T3PO登顶(右)

双榜登顶:全球开发者深度参与模型适配

登顶之后,网易两款开源模型很快获得开发者社区进一步响应。截至9月30日,Hugging Face页面显示,R2T2主模型近30天下载量超过1万次,T3PO主模型超过1300次;据相关数据统计,R2T2、T3PO及其官方GGUF版本近30天累计下载量已超过3万次。

开源之后,全球开发者不再只是简单下载模型权重,而是投入力量开展工程化适配。R2T2发布后,Hugging Face 官方主动搭建ZeroGPU在线Demo,提供免费算力降低测试门槛。海外开发者在纯C++音频推理框架audio.cpp 完成原生适配,不仅重新实现了Longest Stable Prefix流式状态机和稳定文本提交机制,还加入GGUF、本地实时麦克风识别和Streaming API等能力。

image.gif

图注:Hugging Face上的ZeroGPU在线Demo

T3PO同样完成多档位GGUF量化适配,让140亿参数级实时翻译模型具备端侧部署条件。从在线体验、模型量化到原生Runtime适配,两款模型正在从Hugging Face上的开源模型,进一步进入开发者的实际开发工具链。

直击Voice Agent 痛点:一套链路实现 “边说边听边译”

两款模型能够快速出圈,核心解决了实时语音交互领域两大技术难题。

R2T2瞄准传统流式识别 “输出文字反复改写” 的行业顽疾。多数伪流式识别会随着后续音频修改已输出内容,普通字幕仅会出现文字闪烁,但对于需要执行指令的语音智能体,识别结果来回变动会造成大模型意图判断、工具调用出错。

依托最长稳定前缀机制,R2T2做到输出文本只增不改、落子无悔:模型判断音频信息足够可靠才提交结果,支持80毫秒‑2秒灵活流式输入。官方测试显示,R2T2在保持接近离线 ASR 准确率的同时,平均识别延迟(平均说完每个字到识别出这个字的时间)约为200至600毫秒。

进一步的公开评测显示,在多个中英文测试集上,R2T2相较 WhisperRT、Nemotron、Voxtral 等同类方案,在低延迟条件下保持了更优或具有竞争力的识别表现。这意味着,模型并非单纯追求 “更快出字”,而是在响应速度、识别准确率和输出稳定性之间取得平衡,也让下游大模型能够在用户尚未说完话时,提前获得稳定文本并开展后续处理。

image.gif

图注:英文测试集质量和延迟结果对比来源:github

image.gif

图注:中文测试集质量和延迟结果对比来源:github

T3PO则进一步解决实时翻译中“速度与质量”的平衡问题。模型将实时翻译建模为持续的READ/WRITE决策:当上下文信息不足时继续等待,当信息已经足够时立即输出译文,并通过Pareto-aware Policy Optimization(帕累托策略优化)同时优化翻译质量与等待延迟,在低延迟下接近离线翻译的效果,译文同样不回溯改写。

当R2T2与T3PO串联后,一条完整的实时翻译链路由此形成:语音持续进入R2T2,生成稳定增量文本;T3PO再基于这些文本持续判断并输出译文。AI语音交互也由传统的“说完—识别—翻译”,进一步向“边说—边听—边理解—边翻译”演进。

补齐实时AI 技术底座,国产方案走向全球开源生态

此次双登顶,是网易有道“子曰” 大模型矩阵持续迭代的重要里程碑。从2023年国内首个教育大模型发布开始,有道已经搭建起包含多模态推理、语音生成、实时识别、流式翻译的完整能力矩阵,打通 “说、听、理解、翻译” 全链条。

此次R2T2与T3PO分别补充实时语音识别和流式翻译能力,并通过开源进一步进入全球开发者生态。相关能力可应用于实时字幕、会议同传、直播翻译、AI客服和Voice Agent等场景。

行业普遍认为,AI正在从对话问答走向可感知、可执行任务的Voice Agent,稳定低时延的流式语音,正是智能体对接现实世界的关键底座。此次网易两款模型登顶Hugging Face,并获得全球开发者持续下载和工程适配,意味着网易实时AI技术正进一步进入全球开发者工具链和实际应用场景,也让中国团队更深地参与全球AI开源生态建设。

相关话题

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,相关信息仅供参考。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,可及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈联系地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

推荐关键词

24小时热搜

查看更多内容

大家正在看

网易云音乐的「围棋生意」