一、音频更需要“自适应”
过去几年,耳机和助听器的音频功能一直在做加法:主动降噪、通透、通话降噪、空间音频、听力增强。下一步的变化不再是“多一个功能”,而是每个功能都要学会自己适应。
ANC 要随佩戴密闭度、耳道差异和噪声类型实时调整,而不是一条出厂时调好的固定曲线。通透要在街道、办公室、地铁之间平滑过渡,既让人声清晰自然,又压住突发的大声。助听要根据场景持续调整增益、压缩和降噪。这些模式还会同时运行、随时切换:助听里带着降噪,通透里叠着通话。用户不想再手动切模式,他们期待设备自己“听懂”环境。
这对芯片提出了一组看似矛盾的要求:
•更高的算力:麦克风更多,滤波器更长,自适应算法持续运行。
•更低的延迟:ANC 的反馈环路、助听从麦克风到受话器的路径,都对延迟极其敏感。
•更低的功耗:自适应是 always-on 的,不能以续航为代价。
•更小的面积:麦克风和功能越来越多,芯片面积却不能跟着膨胀。
•更高的灵活性:每家品牌的算法不同,同一家每一代也在演进。硬件要跟上算法,而不是让算法迁就硬件。
今天主流的 SoC 架构很难同时满足这五点。固定的 ANC 硬件模块足够省电,但结构在流片时就已定死,做不了复杂的自适应,也改不了算法。把自适应交给主 DSP,又要把数据经 DMA 搬进内存、按块处理、再写回,延迟和功耗随之上升。结果往往是每加一路麦克风、每加一个新功能,就再加一块专用硬件:芯片面积越来越大,各块硬件之间却无法复用,灵活性也没有提高。
二、ACU:SoC I/O 边界上的可编程实时信号处理单元
ACU 不是又一颗 DSP。它是一个可编程的信号处理 IP,放在 SoC 的 I/O 边界上,紧挨着麦克风、扩声器和各类传感器接口,在数据进入系统内存之前就把实时处理做完。
ACU 采用多核 RISC-V 集群架构,配合 PDM 调制解调等专用硬件模块和完整的音频图工具链。它与主 DSP、NPU 并存:确定性的实时处理留在 I/O 边界,主 DSP 和 NPU 专注于编解码、复杂算法和神经网络推理。平台目前有两代:ACU100 专注逐样本处理,ACU200 在此基础上加入块处理、频域运算和 Tiny NN。
三、三个关键差异
ACU 与传统方案的差别,可以归结为三个环环相扣的选择:处理发生在哪里、以什么方式处理、用什么架构来处理。
图 1 · 数据通路对比:传统架构与 ACU
1、位置:在 I/O 边界处理,数据不必先进内存
传统方案中,音频数据先经 DMA 写入系统内存,再由 DSP 读出处理、写回、送出,每一次搬运都在消耗功耗、增加延迟。ACU 在数据到达的地方直接处理,省掉了这些往返。
2、处理方式:逐样本,以及逐样本与块处理的融合
ANC 等对延迟极度敏感的任务,最适合“来一个样本、算一个样本”。传统 DSP 做逐样本处理效率很低,所以实际多用块处理,延迟也随之拉长。ACU 由数据触发执行,处理延迟达到微秒级。
ACU200 更进一步,把逐样本和块处理放在同一个子系统内,共享内存、零拷贝。传统方案通常需要“固定硬件 + DSP”两块配合,中间还要搬数据。
3、架构:多核 RISC-V,而非宽 VLIW
逐样本负载很难填满 VLIW 的发射槽。ACU 采用紧凑的多核 RISC-V 集群,按通道、按图节点并行,由硬件调度和分发,实际负载下的有效算力密度更高。
•全浮点运算:每个内核配有 2 个 FPU,原生支持单精度浮点。算法从仿真环境移植到芯片时,省去了定点化的工作。
•优化的运算调度:每个内核在每个时钟周期可完成 2 个浮点 MAC(包含 load 和 store)。
•按需配置:内核数量、内存大小和接口数量都可以按产品需求配置。同一套硬件由多个功能共享,麦克风和功能增加时不必再加专用模块,芯片内部更简单,面积也更小。
图 2 · ACU 子系统架构
麦克风多了、算法复杂度提升了,加核即可扩展。
四、可编程:算法由你定义,不必等下一次流片
对芯片公司和品牌来说,算法就是差异化。ACU 的目标,是让算法工程师像画信号流程图一样定义处理链,而不必关心底层的多核调度。
•用音频图描述算法:通过 Python API 搭建处理图,也可以直接导入客户自有工具生成的描述文件。
•工具链完成繁琐的部分:自动检查数据格式、依赖关系和可调度性,完成图级静态调度,生成优化的代码和 RISC-V 可执行文件。
•没有芯片也能开发:基于虚拟平台,算法可以在流片前就开发和验证。
•更简单的开发平台:我们正在与 FlowDSP 合作,为开发人员提供更好、更简单的开发平台。
处理拓扑、滤波器结构、通道数都由软件决定。同一颗芯片可以服务不同品牌、不同产品线;下一代产品换算法,只需修改处理图、重新编译,而不是重新设计硬件。
五、运行时自适应:边运行,边调整
ACU 的自适应发生在运行时(runtime):设备一边工作,一边调整自己的处理方式,无需重新编译或重新加载。这种调整分为两个层面。
•节点层面:每个节点随时可调。音频图里的每一个节点,包括滤波器、混音器(mixer)、限幅器(limiter)、增益(gain)等,都可以在运行时随时配置、随时重新配置,最快一个采样周期生效。自适应算法算出的新系数,可以立即写入正在运行的滤波器。ACU200 还把自适应计算本身(如基于 FFT 的块处理)与逐样本滤波放在同一个子系统内,共享内存、零拷贝,环路更短。
•音频图层面:功能随场景开关和切换。在运行时可以随时打开、关闭或切换某些功能,甚至整体换用另一组滤波器。例如在嘈杂环境中启用更长的滤波器,换取更深的降噪;在安静环境中切换到简单的滤波器,提升通透感,让耳朵更舒适,戴得更久。还可以预先加载多张处理图,在 ANC、通透、助听等模式之间快速切换;多张图可以并发运行,一张图内还能混合多种采样率。
简单说,ACU 的自适应不是硬件里写死的某一种算法,而是可编程平台上的运行时能力:调什么、怎么调、何时切换,都由你的算法决定。
六、案例:头戴式耳机的 10 麦克风自适应 ANC
设想一款旗舰头戴式降噪耳机:每侧耳罩 3 个前馈(FF)麦克风、2 个反馈(FB)麦克风,共 10 路,由一颗芯片统一处理;通话不再单独配麦克风,直接复用前馈麦克风。这样的设计在降噪深度、频宽和佩戴适应性上都能明显提升,但对芯片而言,难度也成倍增加。
其中最能体现 ACU 价值的,是前馈麦克风的复用。同一路信号要同时服务两条处理链:一条是高采样率、逐样本、对延迟极度敏感的 ANC;另一条是低采样率、按块处理的波束成形和通话降噪。在 ACU 里,这只是同一张处理图上的两个分支。
更重要的是,这张图完全属于客户:每路麦克风怎么处理、用 WFIR 还是 biquad、多少抽头、自适应策略如何设计,都在软件里定义。算力、延迟、功耗、面积、灵活性这五点要求,在一个毫瓦级的子系统里同时得到满足。
七、为 AI 耳机准备好信号
AI 耳机的体验从“感知”开始。语音唤醒、意图识别、实时翻译、健康提醒,几乎每一个 AI 功能背后,都有传感器在持续采集数据:
•麦克风:语音、环境声、佩戴者自己的声音。
•IMU:头部动作、姿态、手势。
•健康监测传感器(如 PPG):心率、血氧、活动状态。
•生物电信号(EEG、EOG、EMG):注意力、眼动、肌肉活动。
这些信号采样率不同、噪声特性不同、需要的预处理也不同。它们最终都要送进神经网络,但没有一个能“拿来就用”。
没有 ACU 时,原始数据先经 DMA 写进系统内存,再由 DSP 读出来做滤波、去噪、重采样、特征提取,写回内存,最后才交给 NPU。每多一种传感器,就多一轮搬运、多一段 DSP 代码、多一份调度负担。
有了 ACU,预处理和融合在 I/O 边界就已完成。数据进入系统内存时,已经是可以直接交给 NPU 的形式:
•在源头做预处理:语音的波束成形、降噪、回声消除,生物电信号的滤波与伪迹抑制,IMU 和 PPG 的滤波与去干扰,都在 ACU 中按各自需要完成。
•在源头做对齐与融合:ACU200 提供通用的数据流接口,不同采样率的传感器可以接入同一张处理图,在 I/O 边界完成时间对齐和初步融合。
•在源头准备特征:重采样到模型需要的采样率,FFT 等频域特征在 ACU200 中直接算好。
•先筛一遍,再唤醒:ACU200 可以运行 Tiny NN 和轻量检测算法,做第一级判断,只在真正需要时才唤醒 NPU 和主处理器。
图 3 · AI 耳机的多传感器信号通路
ACU 不取代 NPU,也不取代主 DSP,它让后端变得更简单:数据少搬几次,DSP 少跑一些预处理,NPU 只做推理。AI 功能越多、传感器越多,这个优势就越明显。如果你正在规划多传感器的 AI 耳机方案,欢迎直接与我们沟通。
关于 ACUTE Design
ACUTE Design 于 2025 年成立于法国格勒诺布尔,是一家半导体 IP 公司,专注于 SoC I/O 边界上的可编程实时信号处理,面向耳机、助听器、AI 眼镜等电池供电设备。核心团队来自 GreenWaves Technologies 和 PULP 开源处理器平台,合计拥有 80 年以上的半导体行业经验。
ACU100 已在多家客户的芯片中流片,ACU200 现已开放评估。我们与生态合作伙伴一起,推动下一代音频与感知方案。
ACUity in Compute. Economy in Energy.
现场见
ACUTE Design 将参加 2026 世界 AI 耳机大会,并在下午场带来分享。
•时间:12 月 3 日(周四),ACUTE 分享 14:40–15:00
•地点:深圳市南山区科苑路 15 号,科兴科学园 B 栋 4 单元会议中心
欢迎到现场找我们聊一聊。也可以在 2027 年 1 月 6–9 日的拉斯维加斯 CES 上见到我们,欢迎提前预约时间。
如果你正在规划下一代 TWS、助听器或 AI 眼镜芯片,或想深入了解本文的 10 麦克风自适应 ANC 案例,欢迎联系我们:contact@acute-design.com | acute-design.com
资讯来源: ACUTE Design










