10月20日,英国AI音频独角兽ElevenLabs发布实时语音系列模型Eleven Realtime,包括面向自然交流的Eleven Realtime v1 Mini,以及面向客服、多步骤任务的Eleven Realtime v1 Max。两款模型均支持超过90种语言,可使用ElevenLabs声音库中超过1.7万种音色。
此次发布主打简化语音智能体的搭建和调试。Eleven Realtime统一配置和调优底层组件,开发者选择Mini或Max后,即可围绕具体业务设置角色、知识库和工具,无需再逐项选择底层模型。
实测体验:操作方便但中文口音明显
智东西测试了其中的Architect搭建助手。实测发现,用语音修改Agent设置比较方便,多项操作无需手动点击。不过,模型中文口音明显,回复偏长,且存在较明显的响应等待和偶发卡顿,打断响应不够及时。
模型表现:Mini主打自然对话,Max处理复杂任务
第三方AI评测机构Artificial Analysis的独立测试显示,Max在Big Bench Audio语音推理评测中以98.8%的正确率位列第三,平均首次音频响应时间为0.57秒;Mini正确率为75.9%,响应时间为0.62秒。在Speech Agent Arena评测中,Max的工具使用任务完成率为87.1%,Mini为60.3%。而在全双工对话评测中,Mini在停顿、打断等接话表现上略胜一筹。
技术路线与商业化
ElevenLabs延续采用级联架构,由语音识别、大语言模型和语音合成等独立组件协同完成对话。定价方面,Realtime API按音频连接时长和Token用量计费。超出套餐额度后,音频连接费用均为每分钟0.08美元;Mini每百万输入Token收费0.20美元、输出收费6美元;Max分别为1.80美元和9美元。
ElevenLabs成立于2022年,今年2月完成5亿美元D轮融资,估值110亿美元;9月估值达到220亿美元。投资方包括红杉资本、a16z以及英伟达旗下NVentures等。目前,两款模型可通过ElevenAgents平台或兼容OpenAI Realtime规范的Realtime API使用。
原始来源: 智东西 ↗
本文由博一・AI营销中枢整理编辑,用于行业观察分享。观点归原作者所有。