FLM-Audio – 智源研究院开源的全双工音频对话模型

FLM-Audio是什么

FLM-Audio 是北京智源人工智能研究院联合 Spin Matrix 与新加坡南洋理工大学共同发布的原生全双工音频对话大模型，支持中文和英文。采用原生全双工架构，可在每个时间步合并听觉、说话和独白通道，避免传统时分复用方案的高延迟问题。其独特的自然独白与双重训练范式，使模型在对话中更接近人类的自然交流方式，有效解决了异步对齐问题。FLM-Audio 仅用 100 万小时数据训练，数据量大幅减少，但回复质量高且响应敏捷自然，对噪声和用户打断也有较强鲁棒性。

FLM-Audio的主要功能

FLM-Audio的技术原理

• 原生全双工架构：模型设计支持同时进行语音输入和输出，能实时处理语音流，实现边听边说的交互模式。
• 自然独白训练：采用连续句段与停顿组成的“自然独白”代替逐词对齐，更接近人类真实说话方式，提升语音交互的自然度。
• 双重训练策略：通过将独白交替放在音频首尾进行训练，强化语言与声学语义的对齐，提高模型对语音内容的理解和生成能力。
• 小数据高效训练：利用少量音频数据（约100万小时）训练出高参数量模型，通过优化训练方法和架构，实现低延迟和高鲁棒性。

FLM-Audio的项目地址

• GitHub仓库：https://github.com/cofe-ai/flm-audio

• HuggingFace模型库：https://huggingface.co/CofeAI/FLM-Audio

• arXiv技术论文：https://arxiv.org/pdf/2509.02521

FLM-Audio的应用场景

[超站]友情链接：

四季很好，只要有你，文娱排行榜：https://www.yaopaiming.com/
关注数据与安全，洞悉企业级服务市场：https://www.ijiandao.com/