
近日,MIT关于「权重空间编程」的研究在AI领域引发关注。实验中,GPT-6 Astra通过编写Python脚本,仅修改0.8B小模型中0.016%的权重,便修复了其复读死循环问题,并使数学成绩提升6倍。
这一案例揭示了硅谷热议的「递归自我改进」(RSI)趋势:顶尖大模型正从单纯答题转向编写脚本、调整参数乃至训练其他AI。技术风向正从Vibe Coding(氛围编码)向Vibe Training(氛围训练)转变。
用户只需设定目标,AI即可自动完成从数据清洗到模型训练的全流程。
随着NaiveAI开源Naive-N0.5-Flash,普通用户也能在个人电脑上体验「用AI训练AI」。无论是Mac上训练角色扮演模型,还是笔记本上构建本地客服系统,甚至是在三维物理世界中训练机器人平衡能力,这一技术门槛已大幅降低。
把个人电脑变成「炼丹炉」:一台Mac训出甄嬛,连考卷漏洞都自己修
传统模型训练涉及数据清洗、环境配置、显存调优等繁琐步骤。开源项目self-llm作者「不要葱姜蒜」利用24GB内存的Mac和Naive-N0.5-Flash,仅需编写一页任务书(program.md),便将0.6B开源模型微调为「甄嬛」角色。
训练初期,AI生成的41道测试题显示初始模型得分仅8.451分,首轮训练后甚至降至7.229分,且出现角色混淆(自称「安陵容」)。经排查,发现原始数据中82%的台词未标注说话人。AI随即编写脚本剔除干扰数据,筛选出566条甄嬛专属台词重新训练。
此外,AI还自主发现评分规则漏洞:一是模型只要提及「皇上」即可高分;二是拒答时包含「思考过程字段会被误判扣分。修正评分逻辑并补充样本后,最终得分稳定在8.732分。
微调后的模型展现出极强的角色一致性。面对JSON格式回答要求或英文指令,模型均能以符合人设的方式拒绝,如「臣妾不懂什么格式」、「听不懂番邦话」。
「什么格式的回复,臣妾不懂。妹妹若要问宫里的事,我告诉你。」
「妹妹说的这是什么番邦话,臣妾听不懂。」
在强化学习(RL)场景下,Naive-N0.5-Flash同样表现出色。博主「你清醒一点」此前使用Codex训练1.7B字符计数模型时导致硬盘爆满死机。改用Naive-N0.5-Flash后,AI不仅避免了资源溢出,还发现了评分器将大批数对误判为0分的缺陷。
引入容错判分逻辑并开启每15分钟自动巡检后,无需人工干预,测试准确率在两小时内从21.3%提升至54.4%。
这一过程的关键在于AI能够识别并修复「奖励黑客」(Reward Hacking)问题,即防止模型利用评分规则漏洞刷分。通过接管数据清洗和评分规则修正,个人电脑得以成为高效的「本地模型代工厂」。
目前,已有用户利用该技术在零代码情况下训练出离线客服分类器及Markdown还原模型。
|
|
实测环节,我们在64GB Mac上使用BANKING77数据集(77类英文银行客诉)训练了一个1.1亿参数的BERT分流模型。该模型能精准区分语义相近但工单类型不同的投诉,如「吞卡」与「未吐钱但扣款」。
测试显示,输入「The ATM kept my card」,模型毫秒级响应并正确分类为card_swallowed(置信度93.39%);输入涉及重复扣款的描述,则准确归类为transaction_charged_twice。
|
|
训练过程中,AI自动监控验证集表现。当训练至第8遍时,虽然训练Loss下降,但验证集正确率从第5遍的940条降至932条,显示出过拟合迹象。AI果断在第5遍停止训练,并使用全量清洗数据交付模型。


在3,080条官方测试集上,本地训练的BERT模型准确率达93.34%(答对2,875条),中位响应耗时仅6.77毫秒,速度比云端DeepSeek V4.1 Flash快约150倍,且优于Laya和Jev等开源项目。
利用强模型作为「总教练」,在本地孵化出高响应速度、断网可用且数据隐私安全的专业小模型,是垂直场景落地的最优解。
扔掉现成题库自己试错:教机器人踩50厘米高跷,顺手复现顶会论文
除了文本任务,Naive-N0.5-Flash在多模态及复杂物理环境中也展现了强大能力。它能在本地从头训练多模态小模型,在《俄罗斯方块》中实现高速消除,在《贪吃蛇》中灵活走位。
在无标准教材的情况下,AI仅凭空文件夹和提示词,在3小时内搭建AlphaZero自我对弈框架,训练出的四子棋AI以3胜1平击败完美解算器。
|
|
在益智游戏《2048》训练中,AI利用6.6万步高手轨迹将平均分提升至3.74倍。当发现PPO强化学习导致分数倒退时,主动放弃该分支,保留最优微调版本并成功通关。
在NVIDIA Isaac Sim三维物理环境中,AI面临两项挑战:
1. 双足机器人在滚动篮球上站立10秒。AI从零编写环境与奖励函数,固定测试成功率达100%,随机推搡下存活率为91.15%。
2. MicroDuck机器人踩50厘米高跷过台阶。初版方案失败后,AI推翻重来,设计渐进式训练课程,最终使前进速度提升至初版的4.16倍(0.181米/秒)。
与传统代码编译不同,模型训练缺乏即时报错机制。Naive-N0.5-Flash的核心优势在于具备「看懂异常信号、及时止损」的策略感,能够主动试错、推翻并重来的能力。
在科研复现方面,博主「一只小茄墩」让AI在普通CPU电脑上复现ACL 2026时序预测论文。经过743轮实验和29次报错修复,AI将8组测试的预测误差全部压至原论文基线以下,并自动生成了一篇8页双栏英文论文。
练成「算法老手」的看家本领:100万窗口记全百轮实验,每秒狂飙2000词
Naive-N0.5-Flash之所以能成为高效的「算法老手」,主要得益于以下三项底层技术突破:
1. AI参与设计的5:1混合稀疏注意力架构,支持100万上下文。
该MoE模型总参数309B,每次激活15.5B,注意力检索耗时降低44%。即使在100万token窗口中填入大量实验日志和代码,仍能保持秒级响应。
2. 研究员与AI共同开发的NaiveRT推理引擎,单流速度达每秒2,000词。
通过重写底层CUDA代码,将SGLang每层29次零散GPU调用融合为1个148线程块的巨型内核。单轮推测解码耗时缩短72.4%(从12.3毫秒降至3.4毫秒),支撑起每秒2,000词的极速生成。
3. 每周运行近1,000万个真实沙盒的「AI4AI」强化学习训练场。
在峰值并发10万的容器环境中,AI通过真实的写代码、抓Bug和验证曲线分析,积累了工程直觉。其在SWE-bench Pro(73.6)、Terminal-Bench 2.1(86.7)、MLE-bench-30(73.7%)及PaperBench(63.2)等基准测试中均取得开源领先成绩。
通往RSI的四级台阶:从帮人写脚本打下手,到400小时造出榜一模型
「递归自我改进」(RSI)并非一蹴而就,而是分为四个阶段:
第一级:单点辅助。AI协助编写脚本或提供调参建议,这是当前大多数编程助手的水平。
第二级:独立训练新模型。人类仅设定目标和验收标准,AI独立完成数据清洗、训练、评测及规则修正。前述的甄嬛模型、银行分流模型等均属此列。
第三级:自我系统优化。AI不仅训练外部模型,还能反向优化自身的推理系统和架构,如NaiveRT引擎和稀疏架构的开发。
第四级:深度参与研发下一代自身。如团队利用AI历经400小时研发出登顶WorldArena-1榜单的AutoWM世界模型,迈向「AI造更强AI」的闭环。
目前,普通人已迈入第二级阶段。尽管「人定方向、AI跑执行」仍是主流协作模式,但模型训练的技术壁垒已被打破。
打开电脑,召唤懂权衡、会排雷的「AI研发搭子」训练专属模型,属于普通人的Vibe Training时代已经正式开启。
编辑:摩西 桃子








