大数跨境

他给AI装了耳朵:能听出音效晚了80毫秒,五天...

他给AI装了耳朵:能听出音效晚了80毫秒,五天... AI大风歌
2026-10-29
0
导读:他给AI装了耳朵:能听出音效晚了80毫秒,五天...

他给AI装了耳朵:能听出音效晚了80毫秒,五天涨星1672


 

先说一个硬事实。

 

GitHub上有一段22秒的宣传片,画面是标准的科技风产品演示。但这段片子里的每一个声音——whoosh的破空声、按键的咔哒声、冲击的低鸣、背景里的音符——没有一个是录的,也没有一个是从素材库买的。全部是AI用代码一行行算出来的。无录音,无音轨。

 

做这件事的人叫Leon Lin,慕尼黑开发者。八个月前他发布了一个叫taste-skill的项目,给AI coding agent装上"视觉品味",让AI别再生成那种一眼假的紫色渐变网页——那个项目现在99552星,差448星破十万。

 

现在,他给AI装上了耳朵。

 

项目叫earshot,副标题一句话:Ears for coding agents(给coding agent的耳朵)。10月15日创建,五天星数轨迹122、435、712、1004、1672,今天单日净增668,是今天GitHub上干净AI工具的涨幅第一。

 

它解决的问题,你大概率没想过:你的Claude Code能写出渲染整个游戏、整段影片的代码,但它听不见自己做出来的东西。

 

一句话说清

 

earshot是一个让AI能"听见"的开源工具:把声音变成AI可以推理的证据——用文字描述一个音频听起来像什么、判断一段声音和描述匹配度多高、在长录音里找出最佳片段、鉴别真实录音还是代码合成、给整部影片做逐秒听觉转录、对照专业宣传片打分挑毛病。有了耳朵之后它还能反过来用代码造声音(forge)并把录音翻译成代码(fit)。纯CPU本地跑,CLI、Python API、MCP server三种形态,MIT协议,Python编写。

 

项目地址:https://github.com/Leonxlnx/earshot

 

写作时1672星,100个fork,今天凌晨还有真实技术问题进issue、两小时内5个新fork。作者画像干净得发光:taste-skill(99552星)、unlazy(4011星)、cinetic(702星,用earshot配乐的代码生成宣传片工具)都是他的。

 

硬核解读

 

AI的"耳聋",是vibe coding最后一块没补的板

 

本号最近连发了一篇Agent-Reach(给AI浏览器)、一篇iPhone-use(给AI手机)、昨天一篇tv-vibehack(给AI电视)。感官补完到今天,轮到耳朵了。

 

为什么耳朵重要?因为AI现在真的在"做片子"了。用Claude Code生成一段产品launch film、一个小游戏、一个交互动效demo,画面侧已经卷得飞起。但声音侧完全是盲的:

 

●AI分不清一个按键音是"高级的厚重咔哒"还是"廉价的塑料啪嗒"

●AI发现不了音效比画面切换晚了80毫秒——人耳对这个极其敏感

●AI听不出音乐在错误的位置渐强,情绪没顶上去就泄了

 

结果就是你用AI做出来的视频,画面像模像样,一开声音就露馅。要么干巴巴没音效,要么音效跟画面对不上,一股"AI味"。

 

earshot的思路不是"给AI生成音频"(那是另一条已经卷烂的赛道),而是"让AI审查音频"。作者管这个叫sound-as-evidence:声音即证据。

 

声音即证据:主观听感怎么变成可推理的数据

 

这是整个项目最值钱的设计。听感是主观的,"这个声音高级不高级"没法直接喂给AI推理。earshot做的事,是把每一次"听"都变成带数字、带证据、带判决的结构化输出。

 

看几个真实命令的输出(README原文):

 

$ earshot describe enter.ogg
  0.56 s short transient (attack 3 ms, decays in 190 ms). Sounds most like:
  a single mechanical keyboard key press (z +5.4), a soft key release click
  (z +3.6) ... peak -0.1 dBFS, brightness 1.5 kHz ...

$ earshot match key.ogg "a deep thocky mechanical keyboard press" \
    --alts "a clicky blue switch keyboard" "a mouse click"
  -> strong (z +3.7; would rank #2 among 322 vocabulary descriptions) ...

$ earshot critique film.mp4
  VERDICT: close - 21 of 23 scored metrics in range ...
  FIX FIRST: 1. [major] nothing reaches body level until 0:01.01 ...

 

注意里面的细节:每个判断带z分数(校准过的置信度,不是裸余弦相似度)、判决词分四档(strong/plausible/weak/no match)、match还会告诉你这个描述在322个词汇描述里能排第几、critique直接输出带时间戳的修复建议。

 

底层是两个开源模型(CLAP做文本-音频嵌入、AudioSet tagger做事件标注)加一大堆免模型测量(LUFS响度、真峰值、包络、频谱、节拍)。但工程含金量在校准和验证上,数字全是held-out(模型没见过的数据)测出来的:

 

●在125条真实录音的held-out库上,"strong"判决98%对声音类型,61%对精确变体

●真实录音vs代码合成的鉴别,ROC-AUC 0.92(整族声音留出不训练)

●60秒影片的混音里,93%的音效被检出为事件,音乐底下的轻音效也有89%

●笔记本CPU处理一部60-90秒的影片约1.5分钟

 

每条数字在docs/VALIDATION.md里都附了可复现的测量命令。这个后面辣评还要说,先记住这一点。

 

forge:AI用代码造声音,然后靠"听"迭代

 

有了耳朵,就能闭环了。earshot forge让AI用代码从零造一个声音,流程是这样的:

 

1. AI写一个recipe(配方):物理合成参数化——模态共振器、接触激发、滤波噪声,外加一个"计算出来的房间和麦克风"。配方里没有一毫秒的录音。

2. forge渲染出一批候选声音,一个critic(评审)逐个打分:描述匹配度、真实感、和真实参考录音的接近度、1/3倍频程音色平衡、时频包络、各种伪影(咔哒声、削波、梳状振铃、尾巴切得太急)。

3. 便宜的免模型预筛先粗排,模型只精听最好的几个;进化搜索保留最优、变异再战。

4. AI读评审的人话反馈("听起来像:软木塞弹出、玻璃轻碰""衰减比参考长2.4""尾巴不平滑"),对照频谱图改配方,再跑一轮。

 

效果到什么程度?作者做了个盲测:按键声、UI点击、pop、快whoosh、冲击声五类,代码合成版和真实录音版盲听对比,15次里猜对8次——抛硬币水平。只有一个合成的冲击声被认出来了(尾巴衰减太快)。

 

然后是本项目最让我起立鼓掌的一段。README里作者自己写:

 

"一个听者、15次试验是个小测试,不是证明。"

 

fit:把录音翻译成代码,存结构不存采样

 

反方向也通了。earshot fit用analysis by synthesis(分析-合成法)把一段真实录音"翻译"成一个forge recipe模块:拟合出可读的参数——振铃模态、跟踪分音、时变噪声手势——直到渲染结果和录音对得上。

 

关键在"存结构不存采样":翻译出来的代码记的是这个声音怎么构成的,不是波形数据。所以它可以变奏(改大小、阻尼、音高、亮度、衰减),可以在两段录音之间做morph渐变融合。

 

实测数字:12段真实录音,每段和它的生成代码渲染结果之间CLAP余弦中位数0.945;12次盲听(响度对齐、随机顺序),听者分不出哪个是录音。作者再次补刀:一个听者是小测试,不是证明。

 

201个音效,以代码形态装进仓库

 

10月19日发布的0.3.0干了件很赛博的事:把forge产出的201个音效做成一个音效库随仓库分发——但库里没有一个音频文件。

 

183个forge v2成品(34个类别:whoosh、扫动、上抬、冲击、sub drop、logo sting、点击、轻触、开关、悬停tick、pop、通知铃、闪烁、故障音、按键……其中16类照着专业宣传片的动效声音建模)、3个调过音的卡林巴音色、15个从CC0录音拟合出来的声音。每个音效存的是它的渲染代码块,用的时候按id现渲染:

 

earshot sfx list --kind whoosh
earshot sfx render whoosh_fast/crisp -o w.wav --dur 0.8 --apex 0.32
earshot sfx render pluck/kalimba -o e5.wav --pitch E5
earshot sfx check w.wav

 

不需要模型,不需要网络,numpy/scipy就能跑,秒级出音。而且精度是测量级的:--apex能把whoosh最响的瞬间钉在目标时刻5毫秒以内(实测2.5毫秒内)、--pitch给音名就走recipe自己的基频参数(sub drop给G1,实测偏差0音分)、--dur精确落位。每次渲染自动过一遍免模型审计:咔哒、切尾、削波、DC偏移、梳状振铃、"合成鞭子"式的音高上滑,201个里185个全绿。

 

配套的kit命令一键给整部影片渲染全套音效,输出lock文件带每个声音的实测同步点(onset/peak/end)。媒体资产从"文件"变成"程序"——这个思路本身可能比音效库值钱。

 

反Goodhart:AI项目里罕见的自我拆台

 

README里有一个专节,标题就叫"Honest limits (Goodhart)"。翻译一下作者自己曝的料:

 

●forge的搜索优化的是earshot自己的模型,模型可以被讨好,而声音没有真的变好

●搜索跑完后,合成音能通过所有模型检查(包括held-out的),模型检查从此分不出真假——但1/3倍频程的物理测量仍然分得出

●realness鉴别模型容易被骗:模态共振器+房间混响+噪声底,它就读作"真实"

 

然后作者给出补救方案:判断合成音要靠免模型测量、频谱图和参考并排对照、换种子重渲染、人类盲测。

 

这就是Goodhart定律(一个指标一旦成为目标,它就不再是好指标)的工程自觉。用AI模型优化、再承认AI模型可被优化骗过、再给出一套"不信模型信测量"的验证链——这个操作我在AI项目里几乎没见过。LIMITS.md同样干脆:品味和情感判断不了、版权和出处判断不了、语音内容判断不了(只检测有人声,不做转写)、14kHz以上模型听不见、宣传片评分卡只代表那7部参考片的风格不代表所有好片子。

 

实装上手

 

门槛如实说:Python 3.10+、ffmpeg、torch CPU版、首次下载约1.1GB两个模型。半小时起步,不是五分钟玩具。

 

git clone https://github.com/Leonxlnx/earshot && cd earshot
python -m venv .venv

.venv/bin/python -m pip install torch --index-url https://download.pytorch.org/whl/cpu
.venv/bin/python -m pip install -e ".[mcp,llm,dev]"

.venv/bin/python -m earshot doctor --load

 

doctor会逐项报告安装、模型、数据文件和CPU设置,缓存坏了会明确报错指名文件夹,不会静默重新下载。

 

接Claude Code只要一行(MCP常驻,模型加载一次一直热着,避开CLI每次20-40秒冷启动):

 

claude mcp add earshot --scope user -e EARSHOT_THREADS=3 -- /path/to/earshot/.venv/bin/python -m earshot mcp

 

零模型体验(不下载任何东西,先感受一下201音效库):

 

earshot sfx list --kind whoosh
earshot sfx render whoosh_fast/crisp -o w.wav --dur 0.8 --apex 0.32
earshot measure w.wav

 

仓库还带两个现成的agent skill,直接拷进~/.claude/skills/就能用:skills/earshot(教agent怎么用earshot听、怎么读判决、什么时候别信判决)和skills/real-sound(用真实授权录音给代码影片配高级音轨的完整流程)。

 

国内网络提示:模型从HuggingFace拉,不通的话用EARSHOT_CLAP/EARSHOT_AST指向本地模型文件夹(带config.json和model.safetensors即可,earshot原样加载绝不联网),配EARSHOT_OFFLINE=1全离线跑。

 

老司机辣评

 

按惯例,先泼冷水:

 

●4个watcher对1672星。和昨天tv-vibehack(11个watcher对2891星)一个毛病:爆红的速度远超沉淀的速度。star是流量,watcher才是留存。

●盲测的听者是作者本人。8/15和12次听不出,样本都是一个人,还是出题人自己。作者诚实标注了"不是证明",但读者也要诚实接收:这只能说明"合成音不再容易被分辨",不能说明"人分辨不出"。

●realness鉴别功能防君子不防小人。作者自己说了模型容易骗。谁想拿它当"AI假声音检测器"用于严肃场景,先读完LIMITS.md再冷静一下。

●冷启动劝退:每次CLI调用都是新进程,重新加载模型20-40秒。README自己都建议"超过几次调用就上MCP"——意思是CLI形态只适合演示。

●"CPU-only开箱即用"对纯小白仍是有门槛的:torch+1.1GB模型+ffmpeg,网络不好再叠一层。doctor能兜底排查,但兜不了"不想装"。

●早期毛糙有实锤:issue #1、#2记录过早期版本会清掉用户的HuggingFace离线设置、把作者个人偏好写成给所有用户的全局指令。都修了(0.2.1,还是外部reviewer抓的),但AI高速迭代的项目,"别越权动用户环境"这种基本盘也需要人来盯。

●10月18日发完0.3.0之后pushed静默两天,星照涨。作者同期在推taste-skill和tastecode,多线作战。品牌势能目前大于repo活跃度,后续维护节奏要看。

 

再说道句公道话,这个项目有两样东西比功能稀缺:

 

一是工程诚实。每个数字带可复现命令、盲测主动声明样本局限、README专节自我拆台讲Goodhart、评分卡注明"非盲测"。爆红项目里这么写的,凤毛麟角。

 

二是版权干净。参考录音是授权获取的,不随仓库分发,仓库里只提交衍生数字;CC0拟合音效逐条记录来源;文档明说"fit产物是录音的衍生品,recipe要带着源文件的许可证走"。AI音频工具扎堆的时代,这个姿势值得同行抄。

 

谁该关注

 

●用AI做视频、游戏、产品demo的开发者:音效不用再买素材库,AI自己审查自己的产出,80毫秒的错位它听得出来

●Claude Code/MCP用户:一行命令给agent装个新感官,16个MCP工具

●taste-skill的99000星用户群:同一个作者的"品味工程"续作,视觉品味之后是听觉证据

●独立游戏开发者:201个音效以代码形态分发,渲染免模型免网络,CC0部分零版税

●音频工程师:哪怕不用它干活,sound-as-evidence这套"把主观听感变成带z分数判决"的工程方法也值得看一遍

 

不适合的也明说:纯文字工作者用不上;想克隆人声、做TTS的走错门了(本号发过两次VoiceStudio,那个才是);不想装torch的,等别人封装。

 

本号观察

 

到今天,"agent感官补完"四部曲正式收官:浏览器(Agent-Reach)、手机(iPhone-use)、电视(tv-vibehack)、耳朵(earshot)。AI生成的内容越来越像样,下一站是AI审查AI生成的内容——生成侧已经卷完了,审查侧(听得见、看得见、量得出)才刚开始。earshot是这个方向上目前最完整的工程样本。

 

两个彩蛋。第一,昨天发的tv-vibehack今天已经改名cleanyourtv,星数从2815冲到7451,一天涨了4600——爆款的后劲比正文还猛。第二,作者的taste-skill现在99552星,差448星破十万,评论区可以见证。

 

最后说一个细节。earshot的release页里躺着一个9.3MB的gallery_embedded.html——一个自带全部183个音效的静态试听页,不连网、不跑服务器、音频全部内嵌。打开它,你就在用浏览器"运行"一个音效库。

 

代码即媒体。声音这件事,正在从"文件"变成"程序"。

 

相关链接

 

●earshot:https://github.com/Leonxlnx/earshot

●22秒launch film(全代码合成音效):https://github.com/Leonxlnx/earshot/releases/tag/v0.1.0

●作者的taste-skill(99552星):https://github.com/Leonxlnx/taste-skill

●验证文档(每个数字带复现命令):https://github.com/Leonxlnx/earshot/blob/main/docs/VALIDATION.md

●能力边界文档:https://github.com/Leonxlnx/earshot/blob/main/docs/LIMITS.md

 

【声明】内容源于网络
0
0
AI大风歌
1234
内容 373
粉丝 0
AI大风歌 1234
总阅读0
粉丝0
内容373