你的位置：澳门威斯人app下载官网 > 21点 >
澳门威斯人app AutoResearch: AI Agent 今夜优化老师代码
发布日期：2026-03-17 16:59 点击次数：195
AutoResearch 一个 630 行的 Python 文献、一块 H100 GPU、一个 5 分钟计时器——Andrej Karpathy用这套极简框架让 AI Agent 在两天内跑完约 700 次实验，从他还是悉心调参数月的 GPT-2 老师代码中又榨出了 11% 的性能教会。 这不是一篇论文，不是一个居品，而是一个”假想时势”的宣言：把环境减轻到 Agent 能可靠操控的范围，然后让它无尽轮回。2026 年 3 月 7 日开源后一周内，该仓库拿下 3.26 万 GitHub Star，Shopify CEO Tobi Lütke用它彻夜将 0.8B 模子的阐发教会至超越手动调优的 1.6B 模子。对 AI Agent 开导者而言，这可能是迄今为止最明晰的”Agent 能在什么条款下可靠责任”的实证示范。
三个文献组成的极简架构
autoresearch 的假想玄学不错用六个字空洞：一 GPU，一文献，一谋略。通盘这个词仓库惟有三个中枢变装：
train.py（~630 行）——独一可变文献。 它包含完满的 GPT 模子界说、Muon+AdamW 羼杂优化器和老师轮回。模子架构罗致当代 Transformer 假想：RoPE 位置编码、Flash Attention 3、QK-Norm、滑动窗口清静力（SSSL 时势，3 层局部 + 1 层全局轮流）、Value Embeddings（轮流层带门控残差旅途）、RMSNorm，以及 Grouped Query Attention。优化器是 Karpathy 偏疼的 Muon（Newton-Schulz 正交化 SGD，处理中枢权重矩阵）与 AdamW（处理镶嵌和归一化层）的羼杂体，经 torch.compile 交融加快。老师轮回的重要逻辑是时期预算强制截止：从 prepare.py 导入 TIME_BUDGET = 300 秒，用 time.time 监控墙钟时期（废除启动和编译支出），到时期就停，然后跑固定的考证评估。
prepare.py——弗成变的基础递次。 Agent 被严格不容修改此文献。它厚爱三件事：从 HuggingFace 下载 ClimbMix 数据集分片并缓存到 ~/.cache/autoresearch/、老师 BPE 分词器（默许词表 32768）、以及提供中枢评估函数 evaluate_bpb。这个函数打算考证集上的 bits per byte（total_nats / (log(2) * total_bytes)），一个与词表大小无关的压缩质地谋略——值越低越好。固定评估集（第 6542 个分片，约 2090 万 token）确保通盘实验终局可比。Agent 无法转换评分机制。
program.md——写给 Agent 的”作战手册”。 这是一份 Markdown 文档，界说了 Agent 的完满操作历程，包含三个阶段（设立、实验轮回、终局纪录）和严格的行为范例。它不是代码，而是 Karpathy 所谓的”用 Markdown 编写真顾组织”——东说念主类的变装从写代码鼎新为写真顾标的。
值得清静的是，仓库中莫得任何 Agent 代码。Agent 是外部的 AI 编程助手（Claude Code、Codex 等），用户只需在仓库目次下启动它，说一句”望望 program.md，起初新实验吧”。
5 分钟轮回：Git 即牵记
每轮实验的时期历程造成一个精准的闭环：Agent 阅读现时 train.py → 产生优化假定 → 班师剪辑代码 → git add && git commit → 推行 uv run train.py > run.log 2>&1（输出重定向，严禁用 tee 以防 Agent 高下文被日记销亡）→ 用 grep 索要 val_bpb 和 peak_vram_mb → 判定。
判定逻辑极其朴素：val_bpb 变小就保留，不变或变大就回滚 git reset HEAD~1。莫得阈值，莫得置信区间，莫得统计显贵性熟识。这造成了一个单调递减的棘轮——Git 分支上只保留见效的纠正，任何失败都被干净抹除。同期 results.tsv 纪录通盘实验（包括 keep、discard、crash），但不提交到 Git。这意味着 Git 历史是”惟有好音讯”的照顾进展纪录，而 TSV 是完满的实验日记。
5 分钟时期预算的精妙之处在于它自动对皆了硬件互异。更高效的架构在相通时期内能跑更多梯度步数，因此会自动获取”奖励”。这也意味着 batch size 减半是最大的单次教会（从 524K 减到 262K，val_bpb 数落 0.0119）——不是因为小 batch 自身更好，而是在固定时期内它能多跑一倍的更新步数。但这也带来一个反作用：终局弗成跨硬件迁徙，你的 H100 最优配置可能在 RTX 4090 上是负优化。
Agent 崩溃时的容错也写在 program.md 里：若 grep 输出为空，Agent 读取 tail -n 50 run.log 获取诞妄栈，尝试诞生，屡次失败就消逝现时实验并回滚。通盘这个词历程约莫 每小时 12 次实验，彻夜约 100 次。
700 次实验里的 20 次确凿纠正
Karpathy 在 nanochat 技俩上（autoresearch 的大领域版块）用 depth-12 模子跑了约 700 次实验，找到约 20 个可重叠的纠正，将”Time to GPT-2”从 2.02 小时降至 1.80 小时（8×H100，11% 加快）。GitHub Discussions 中公开了两次详备会话的完满纪录，数据极为精粹。
Session 1（89 次实验，~7.5 小时） 从 val_bpb 0.9979 优化到 0.9773。五大孝敬：batch size 减半（-0.0072），增多一层 transformer 同期缩窄维度（-0.0029），滑动窗口从 1⁄2 高下文裁减至 1/4（-0.0022），添加 5% warmup（-0.0022），改用 SSSSL 窗口时势增多局部清静力层比例（-0.0012）。死巷子包括 label smoothing（不幸性 +0.34）、移除 Value Embeddings（+0.011）、SwiGLU 激活函数（参数更多导致步数更少）。
Session 2（126 次实验，澳门威斯人app下载~10.5 小时） 在 Session 1 基础上不时，val_bpb 最终达到 0.9697。最紧要的新发现是 Value Embeddings 和镶嵌层需要正则化——Karpathy 底本莫得对这些参数施加任何 weight decay，Agent 发现添加微量 WD（0.001~0.003）累计孝敬了约 0.0028 的纠正。Karpathy 对此的反馈是：”oops。”其他发现包括驱动化缩放 0.68x 的窄最优点、RoPE 基频从 10K 教会到 200K、非零学习率底线 FINAL_LR_FRAC=0.05。
Karpathy 在 3 月 9 日的推文中回来了 Agent 发现的六大类问题：
QK-Norm 沉重缩放乘数导致清静力过于鉴别
Value Embeddings 缺正则化
滑动窗口参数过于保守（他忘了调）
AdamW betas 配置有误
weight decay 休养需要微调
鸠合驱动化模范需要调整。
他坦言：”我有点诧异，这样鸠拙的第一次尝试就还是在我认为还是调得很好的技俩上取得了这样的后果。”
通盘 depth-12 上的纠正都见效迁徙到了 depth-24 模子，这是讲明这些优化不是过拟合小模子的重要笔据。
与 AutoML、NAS、AI Scientist 的实质互异
autoresearch 往往被拿来与自动化机器学习的老前辈们相比，但它们料理的是不同眉目的问题。
维度
autoresearch
AutoML
NAS
AI Scientist (Sakana)
搜索空间
无放纵——狂放代码修改
预界说超参空间
预界说架构空间
模板依赖（v1）/半自主（v2）
搜索计谋
LLM 推理 + 功令迭代
贝叶斯优化、Hyperband
RL/进化/梯度方法
LLM 生成想法 + 树搜索
输出物
纠正后的老师剧本
最优模子+超参配置
优化的鸠合架构
完满科研论文
代码修改智商
能改架构、优化器、老师轮回
只改配置
只改架构规格
能生成代码但改动小（v1 约 8%）
打算资本
1 GPU，~12 实验/小时
中到高
极高（原始 NAS 需 800 GPU-天）
~$6-15/篇论文（API 资本）
老成度
原型/演示
坐蓐级
照顾到坐蓐
照顾原型
中枢互异在于搜索空间的通达性。 AutoML 的搜索空间由东说念主类事先端正范围——你告诉它学习率在 1e-5 到 1e-1 之间搜索，它就不会料到把优化器从 Adam 换成 Muon。NAS 更进一步但仍局限在预界说的算子蚁合内。而 autoresearch 的 Agent 表面上不错作念任何代码修改——增删鸠合层、改变吃亏函数、重写老师轮回。践诺中 Agent 大部分时期仍在作念超参微调，但它有智商作念更激进的改变，比如替换非线性函数或调整清静力窗口计谋。
AI Scientist 的诡计更大——它试图自动化通盘这个词科研历程（想法→实验→论文），但 v1 的实验失败率高达 42%，还存在数值幻觉和”Conclusions Here”占位笔墨出当今最终论文里的问题。v2 在 2025 年显贵纠正，一篇论文通过了 ICLR Workshop 评审。autoresearch 的计谋相悖：不追求全历程自动化，而是把环境敛迹到极致，在这个极窄的范围内让 Agent 可靠运转。
正如独处分析者 Kingy AI 所回来的：”autoresearch 最佳被融会为将超参优化、NAS、进化搜索、种群老师等老想想用当代编码 Agent 重新包装。宗旨上的飞跃是社会性和操作性的：写下方针和敛迹，让 Agent 无尽生成和测试代码互异。”
五个必应知说念的时期局限
第一，考证集过拟合是最大的时期隐患。 对团结个考证集跑数百次实验势必浮现信息。最有劲的笔据是：Agent 在某次实验中把赶快种子从 42 改为 137，val_bpb 数落了，被记为”纠正”。HackerNews 用户 aix1 直言：”在名义上，把赶快种子换一个就获取更低 loss，这听起来十分像是在过拟合评估集。” Karpathy 复兴称这些是”实质性的收益”，但未提供独处测试集考证。
第二，领域鸿沟未被格外。 autoresearch 优化的模子约 5000 万参数。DeepSeek-V3 是 6710 亿参数。从玩物到坐蓐的可扩张性全都未训戒证。多层 GPU、散布式老师、羼杂精度计谋等复杂性远超”单文献”的框架承载力。
BG真人(BigGaming)官方网站第三，Agent 的创造力令东说念主失望。 Karpathy 本东说念主坦承 Agent “不肯意创造性地追求一个照顾标的……靠近稍稍通达少许的问题就显得十分’撤回’和’细微’“。大部分纠恰是增量式超参调整，而非确凿的架构立异。Session 1 末尾 Agent 起初反复改赶快种子，实质上是”江郎才尽”的信号。
第四，单谋略优化是一把双刃剑。 坐蓐环境需要在精度、蔓延、显存、推理资本之间弃取。autoresearch 只优化 val_bpb，对其他维度的影响不闻不问。当 Agent 发现增大模子同期减轻 batch 不错数落 val_bpb 时，它不会筹商这对推理速率的影响。
第五，Agent 可靠性因模子而异。 据 Latent Space 报说念，GPT-5.4 无法看护”永不罢手”的轮回指示，而 Claude Opus 4.6 能筹议运行 12 小时完成 118 次实验。Agent 器用链尚不老成，不同 LLM 的指示慑服性互异庞大。
对 AI Agent 开导者的四个假想启示
autoresearch 的有趣远超 ML 老师优化自身。它为 Agent 开导者提供了一个经过实证熟识的假想时势。
敛迹环境 > 更强的 Agent。 这是最中枢的知悉。Karpathy 莫得等更强的模子出现，而是把环境减轻到现存 Agent 能可靠操作的范围——630 行代码全都装入高下文窗口、单一可变文献摈斥情状爆炸、固定时期预算确保可比性、弗成变评估函数在意舞弊。这个想路不错班师迁徙到任何 Agent 哄骗：与其生机 Agent 处理复杂环境，不如重新假想环境让 Agent 能处理。开源社区还是将这个时势扩张到 GPU 内核优化（AutoKernel）、Web 性能优化（pi-autoresearch）、以至营销案牍 A/B 测试。
Git 行为 Agent 牵记层是一个被低估的时势。 autoresearch 用 Git 分支行为”惟有见效”的恒久牵记，用 results.tsv 行为”包含失败”的完满日记。这比向量数据库或对话历史更结构化、更可审计、更抗幻觉。Agent 重启后不错通过 git log 和 TSV 快速还原高下文，融会哪些旅途还是被探索过。这个假想值得在职何需要抓久情状的 Agent 系统中模仿。
“Markdown 编程”重新界说了东说念主机互助界面。 program.md 不是教导词工程，而是一种新的编程范式——用当然言语界说 Agent 的完满操作规程，包括有谋略逻辑、容错计谋、质地圭表（”苟简性准则”）和行为敛迹。东说念主类迭代 .md 文献，Agent 迭代 .py 文献。Shopify CEO Lütke 说他”从阅读 Agent 在 37 次实验中的推理过程学到的东西，比数月温雅 ML 照顾者搪塞媒体还多”。这表露了一种新的学习时势——通过审查 Agent 的实验轨迹来获取领域知悉。
多 Agent 息争是下一个前沿。 Karpathy 尝试了”首席科学家” Agent 在运筹帷幄时势下为多个”低级工程师” Agent 分拨实验列表的架构。Hyperspace AI 在 3 月 8-9 日跑了 35 个 Agent 的 P2P 鸠合完成 333 次无东说念主值守实验，不雅察到真义的涌现行为——H100 GPU 上的 Agent 使用暴力搜索计谋，而 CPU 条记本上的 Agent 专注于驱动化和归一化技能。autoresearch@home 技俩尝试了 SETI@home 立场的散布式版块。这些实验指向一个标的：单 Agent 的天花板（创造力不及、容易卡住）可能需要多 Agent 互助来冲突。
论断：一个假想时势的出生，而非自主照顾的到来
autoresearch 最准确的定位不是”AI 自动作念照顾”，而是一个 Agent 可靠推行受限实验轮回的假想时势。它讲明了三件事：当环境饱和苟简时，现存 LLM Agent 不错抓续产出价值；即使是东说念主类行家悉心调优的系统，Agent 的暴力迭代仍能找到被漠视的纠正空间；以及”用 Markdown 编程照顾标的”是一种可行的东说念主机互助范式。
但它相似敦厚地裸露了现时 Agent 的天花板：沉重确凿的创造力、对通达性问题的撤回、对单一谋略的盲目追赶、以及在考证集上的隐性过拟合风险。Sam Altman 说 OpenAI 的方针是”2028 年 3 月前杀青自动化 AI 照顾”。autoresearch 离阿谁愿景还很远——但它可能是迄今为止最明晰的路标澳门威斯人app，告诉咱们那条路的前几步应该怎样走。关于正在构建 Agent 系统的工程师，这 630 行代码里蕴含的假想想想——敛迹环境、Git 牵记、Markdown 编程——值得反复想考。
备案号: