站长之家(ChinaZ.com)5月15日 消息:ElevenLabs近日发布了配音API,允许开发者在其产品中添加音频或视频翻译功能。利用该API,开发者可以将任意音频或视频翻译成29种语言,并且保留原始发言者声音的独特特征。为帮助开发者快速上手,ElevenLabs提供了Python教程和API参考,让他们可以轻松将API整合到主要编程语言中。
此前,ElevenLabs还发布了一款名为ElevenLabs Music的文本生成歌曲产品。该产品在音乐的多个方面表现出色,包括节奏感、和声、乐器搭配、情感表达、创意性以及风格的多样性,与领先产品Suno和Udio相媲美。其中,ElevenLabs Music在人声独唱部分表现出优势,其清晰度、拟人化和乐器融合度超过了竞争对手,得益于ElevenLabs在语音克隆领域的专业背景和海量语音数据积累。
ElevenLabs Music还展示了通过文本描述生成的多首音乐,如《伤透我的心》和《我的爱》,展示了其在不同音乐风格上的创作能力。
除了配音API和ElevenLabs Music外,ElevenLabs的主要产品还包括语音克隆、文本转语音和AI配音等解决方案。语音克隆服务允许用户上传样本音频,生成与原声相似的音频;文本转语音支持29种语言、120种不同类型的语音输出;而AI配音则提供了端到端的高保真音频解决方案,针对电影和长音频领域。
此外,ElevenLabs还提供了一个语音库,允许用户分享自己生成的音频或声音,并从中获得报酬。未来,通过ElevenLabs Music生成的音乐也可以通过该平台进行分享,为普通人实现成为“歌手”的梦想提供了新的途径,同时也为专业音乐人提供了创作灵感。
文档:https://elevenlabs.io/docs/api-reference/create-dub
示例:https://github.com/elevenlabs/elevenlabs-examples/tree/main/examples/dubbing/e2e-example