瞎想这么一个欢畅的周末： 空调带来阵阵凉意，你靠在沙发上看书，一霎耳边传来“哒哒哒”的小碎步声，接着，玄关门边传来了一阵清翠、略带殷切的“呜呜”声，还伴跟着爪尖轻轻扒拉木门的声响。

要是把这段音频丢进传统的语音大模子，它只会输出冷飕飕的三个字：[狗叫声]。AI 感知到了正确的音频信息，然而皆备错过了这段声息里包含的灵动与期待。

当模子仅仅把语音转成笔墨，它简直“听懂”了吗？

一个具备确切智能的多模态AI助手是什么样呢？它领先要能听出小狗的声息，然后捕捉到音频里的空间感（门边传来的声息）、序列动作（碎步声和握门声），并联接心思（殷切的“呜呜”声），快速完成一系列逻辑推演，用欢笑的语调提醒你：“狗狗想外出分布啦，快带它出去玩吧！”

让AI从“冷飕飕地转录声息”到“概况听懂生存中的心思、物理知识与逻辑”，这恰是大模子社区正在阅历的一场巨变：从现存的“音频感知（Audio Perception）”全面进化到“音频推理（Audio Reasoning）”。这亦然大模子确切通向 AGI，成为咱们生存助手的必经之路！

关联词，当交互的模态从笔墨和图像转向声息，一个问题浮出水面：AI 能否不依赖转录的文本，成功基于声息进行推理？

这并不是一个本事细节问题。真实全国里的声息，远不仅仅承载笔墨施行的载体。话语东说念主的口吻、语速、重音、停顿、心思、多东说念主重迭话语、环境事件等，都可能改革推表面断。而简略火暴地把音频转写成笔墨，时常会丢失这些要道信息。

音频推理不应该仅仅文本或视觉推理的简略移动，而是动作多模态基础模子中的寂然问题从头界说。

近日，香港汉文大学团队连系多位优秀酌量者，发扬推出了音频推理领域的首篇全景综述。本文初次全面界说了“音频推理”的范式，系统解构了底层框架，并深度领悟了现时最受和蔼的四大前沿推理旅途。

论文标题：

A Survey of Audio Reasoning in Multimodal Foundation Models

论文相接：

https://arxiv.org/abs/2605.21008

本文系统整理了多模态基础模子中的音频推理酌量，提议协调的问题表述与分类框架，将现时责任分为四条干线：Audio-to-Text Reasoning、Audio-to-Speech Reasoning、Audio-Visual Reasoning、Agentic Audio Reasoning，尊龙凯时2026世界杯中国官网并进一步回来模子基础、数据构造、评测体系、挑战与过去地点。

更紧要的是，本文强调了一个世俗被淡薄但极其要道的不雅点：音频推理的中枢不是“让模子说出一段推理链”，而是让推理过程确切锚定在连气儿、细粒度、时辰密集的声学字据上。

从“听清”到“听懂”，再到“推理决策”——这不仅仅现时大模子能力普及的必经之路，更是通往 AGI 的要道一环。

从感知到推理：

为什么咱们需要 Audio Reasoning？

2023-2026 年，Qwen-Omni、Audio-Reasoner、Step-Audio、AudioToolAgent 等责任接踵推出，音频推理正在从碎屑化探索，迟缓走向体系化。

多模态大模子照旧从“看图话语”到“听、看、说、行动”的一体化系统。但现时酌量责任仍存在昭彰断层：

1、现存综述世俗和蔼音频大模子、音频主见、及时语音交互或多模态 CoT，而很少把“audio reasoning”动作中心问题单独伸开。

2、音频推理仍处在高度零星阶段：不同责任隔离商讨音频问答、语音交互、音视频推理、器具调用、评测基准，仍短少一个协调的框架来解释它们之间的关系。

3、许多所谓“音频推理”任务并不确切依赖音频。部分模子不错只依赖文本辅导或音频转录得到正确谜底，这使得咱们必须从头疑望：模子是否简直在听声息？

因此，这篇综述进一步回答三个更根柢的问题：

什么是音频推理？它与肤浅音频主见有什么区别？

什么样的模子结构和锻真金不怕火式样才能完了确切的 acoustic-grounded reasoning？

若何评估模子确切使用了声息动作字据，而不是在走文本捷径？

深层领悟音频推理四大范式

多模态大模辅音频推理能力的全景分类框架

本文初次提议一个全新的音频推理分类框架，多维度解析了现存前沿音频推理模子的中枢架构和指示微调战略，为该领域酌量者提供了一份明晰的“本事舆图”和“避坑指南”。重心领悟了四大前沿地点：

Audio-to-Text：独特转录的深层语义解析

2026FIFA世界杯下单平台官网

现时大模子在纯文本推理上阐述惊艳，APP STORE但如安在给与音频输入时幸免信息折损？本文庄重接头了模子在清寒显式文本辅导的情况下，若何成功从音频信号中索要逻辑链条，完成深层多步推理，并冲破长音频障碍文主见的瓶颈。推测门径包括 inference-time CoT、SFT-based CoT 和 RL-based CoT。值得注意的是，本文商讨了一个反直观问题：CoT 在音频中并不老是有用。一些酌量发现，CoT 对简略任务有匡助，但在贫瘠上却有可能误导模子；致使一些音频问答概况在不听音频的情况下依靠文本痕迹猜对谜底。这种温和评释，确切的挑战不是让模子输出 ，而是让推理过程成就在真实的声学字据上。

Audio-to-Speech：端到端的声学逻辑构建

确切的智能对话不行只输出冰冷的笔墨。本部分聚焦于端到端交互系统，接头模子如安在生谚语音复兴的同期，依然保留输入端的姿色共识以及副语言特征，并完成复杂的声学逻辑推理（举例：听出对方的反讽口吻并作念出相应的反击）。传统 sequential 口头是“先听—再想—再说”，诚然逻辑无缺但蔓延性高。近期责任为缩小用户恭候时辰，提议两类及时范式：在用户话语时同步推理（Thinking While Listening）；以及运用音频播放时辰，展望算后续的推理和语音（Thinking While Speaking）。中枢问题是如安在推理的深度和低蔓延之间获取均衡。

Audio-Visual Reasoning：同期听和看，跨模态推理

听觉与视觉的连系推理是多模态领域的硬骨头。本文深度领悟了音视频连系推理的前沿督察决策，揭示了若何破解复杂场景下，声息源和视觉对象的跨模态空间与时辰对皆贫瘠。它不仅和蔼话语东说念主包摄，还和蔼音画同步、事件定位、跨模态消歧等任务。与简略拼接音频转录文本和视觉特征不同，确切的音视频推理，需要模子在时辰轴上对皆两种连气儿信号，并判断不同模态间的字据若何互补或冲突。

Agentic Audio Reasoning：把音频推理扩张为智能体责任流

让模子学会“听指示行事”。该地点接头了音频驱动的自主决策机制，深度领悟 Audio Agent 如安在真什物理或捏造环境中，通过听觉信息感知景色和盘算任务，并拓宽 Action 的推行畛域。复杂任务时常不行靠单一模子一次性回答，需要感知、盘算、器具调用、哀痛、考证和反念念等要领相助。论文回来了两类道路：一类是固定经由的 predefined workflow agents，另一类是由 LLM planner 动态选择 ASR、TTS、搜索、邮件、日期等器具的 dynamic tool-calling agents。

音频推理的主要范式

数据与评测：不行只看谜底对不合

音频推理 Benchmark对比汇总

音频推理的远景巨大，但数据构造仍是贫瘠。现时大畛域锻真金不怕火数据主要来自 MMAU、VoxEval等，再由大模子构造 QA 和推理链。一些责任使用 LLM-ALM ，进一步通过协同生成、自蒸馏，或引入语速、音高、重音等声学特征，减少文本幻觉和捷径学习。

论文指出：评测音频推理能力，不行只看最终谜底准确率，更紧要的是判断模子是否确切使用了音频动作依据。过去 benchmark 需要减少文本捷径，遮蔽口吻、心思、环境声、话语东说念主、及时交互、长音频障碍文和音视频 grounding 等更真实场景。

指路过去：酌量热门在那边？

关于想要入局“音频推理”的酌量者，著述在收尾给出了极具价值的过去趋势指路：合成的音频推理数据是否可靠；模子是否存在模态幻觉和 text-surrogate reasoning；在及时语音交互中若何均衡准确性与低蔓延；播客、长会议以及环境灌音中的长障碍文推理若何完了；音频推理能力是否能从 post-training 前移到预锻真金不怕火或 mid-training 阶段。

结语

传统的语音系统只和蔼“把声息转成笔墨”，而今天，真实交互、具身智能和多模态 agent场景，紧要需要下一代模子主见声息中的意图、心思、因果和障碍文。

这篇综述初次将 Audio Reasoning 动作寂然酌量对象系统伸开，从体式化界说到模子基础，从 CoT、SFT、RL 到及时语音推理，从音视频 grounding 到 agentic workflow，再到评测与过去地点。

过去的 AI 不应仅仅“听见”声息APP STORE，而要确切启动“听懂并念念考”。

• 模子
• APP STORE
• 模态
• 音频
• 首篇