Autoresearch：让 AI 自主优化自己的训练
2026 年 3 月，Andrej Karpathy 发布了 autoresearch 项目——一个让 AI agent 自主进行 LLM 训练研究的系统。这可能是目前 AI 自我优化最前沿的公开实验。
核心理念
给一个 AI agent 一块 GPU、一套小型 LLM 训练代码，然后让它自主跑实验。Agent 修改训练代码 → 训练 5 分钟 → 检查是否改进 → 保留或放弃 → 无限循环。
系统架构
整个系统极简，只有三个关键文件：
- prepare.py：数据准备（下载 TinyStories 数据集，训练 BPE tokenizer）
- train.py：agent 唯一可以编辑的文件，包含完整的 GPT 模型、优化器和训练循环
- program.md：给 agent 的指令文档
最巧妙的设计：每个实验固定训练 5 分钟。无论 agent 怎么改配置——大模型小 batch 还是小模型大 batch——wall-clock 成本相同，实验之间完全可比。
令人惊喜的结果
Karpathy 让系统在 depth-12 模型上运行了约 2 天，autoresearch 自主发现了大约 20 项改进 validation loss 的修改：
- 给 attention 添加 scalar multipliers
- 为 Value Embeddings 添加正则化
- 调优 banded attention
- 修复 AdamW betas 参数
- 调优 weight decay 调度
- 优化网络初始化
更惊人的是，这些修改是可叠加的，并且迁移到更大的模型也有效。叠加所有改进后，"Time to GPT-2" 指标提升了 11%，从 2.02 小时降至 1.80 小时。
为什么这很重要
Autoresearch 的"编排框架"其实就是 LLM 自身的能力——读取 Markdown 指令，理解循环逻辑，执行计划。没有复杂的 agent 框架，没有 RAG，只是一个 AI 读取说明书然后照做。
这暗示了未来的研究范式：人类定义搜索空间和评价指标，AI 自主在空间中探索。
来源：github.com/karpathy/autoresearch, Analytics Vidhya, Karpathy X 帖子, 2026 年 3 月
