Andrej Karpathy

Andrej Karpathy总结了2025年AI领域六大范式转变，包括基于可验证奖励的强化学习(RLVR)、Vibe Coding等核心技术突破。RLVR通过在可自动验证奖励的环境中训练LLM，使模型自发形成类人推理策略，成为2025年最重要的训练技术革新。这些转变从根本上改变了大语言模型的训练范式和能力边界。

Karpathy提出LLM不应被视为聊天机器人，而应被理解为新型操作系统的内核进程，能够协调多模态输入输出、代码执行、浏览器访问和记忆存储等功能。他将当前主流LLM（GPT、PaLM、Claude、Llama）类比为Windows/macOS/Linux，认为我们正处于一个全新计算范式的早期阶段。将LLM看作聊天机器人，就如同将早期计算机仅视为计算器一样短视。

Karpathy 认为 AI 训练范式正经历第三次转型：从预训练（互联网文本）到监督微调（对话数据），再到如今的强化学习时代（环境交互）。他看好「环境」作为核心训练资产的未来，但对 RL 本身持保留态度，认为奖励函数存在根本性缺陷，人类学习方式远比 RL 高效，真正的突破尚未到来。

Karpathy 提出「循环工程」（Loop Engineering）概念，认为构建长时运行 Agent 的核心瓶颈不是模型智能，而是外部框架（Harness）的设计。他给出了包括角色分离、契约先行、状态持久化、自动重启等九条黄金法则，为多日运行的 AI Agent 开发提供了系统性方法论。

Andrej Karpathy 提出了一套完整的 AI 工程方法论，核心是将上下文窗口视为代码（Software 3.0），用工程化思维（规范设计、差异审查、评估循环）替代随意的 Prompt 尝试。他还推广了并行 Agent 管理模式和 CLAUDE.md 配置文件，构建出一套从世界观到具体工具的完整实践体系。

Anthropic CEO Dario Amodei公开表示AI需要放缓发展节奏以避免灾难，OpenAI、xAI、Hugging Face及研究员Andrej Karpathy等主要AI领袖迅速表态支持，OpenAI和Anthropic均承诺引入具有员工级访问权限的第三方安全评估机构。这标志着AI行业在安全治理上出现了罕见的跨机构集体共识，是AI监管史上的重要转折信号。

Karpathy 提出了一种基于 LLM 的个人知识库构建模式——'LLM Wiki'，核心思路是让 LLM 主动维护一个持久化的 Markdown Wiki，而非每次查询时重新从原始文档检索。每当新增信息源时，LLM 负责提取、整合、更新并标注矛盾点，使知识库随时间累积增值。用户负责信息来源与提问方向，LLM 承担所有整理与交叉引用工作，Obsidian 作为可视化 IDE。

Karpathy 指出随着 token 需求的爆发式增长，LLM 底层芯片的内存与计算编排将成为最具价值的技术挑战。核心矛盾在于片上 SRAM（快但容量小）与片外 DRAM（容量大但带宽受限）两种内存池的物理约束，如何在推理/训练等工作负载中实现最优吞吐/延迟/成本比是当前最重要的工程智识难题。他顺势为 MatX 团队的新芯片融资背书，认为其方向切中了现有 NVIDIA（HBM优先）和 Cerebras（SRAM优先）两大阵营均难以同时满足的长上下文 agentic 推理场景。

Andrej Karpathy 与 Sarah Guo 深度对话，探讨 AI 代理（Code Agents）的现状与未来，重点介绍其 AutoResearch 项目——让 AI 代理自主完成实验设计、数据收集和模型优化的闭环研究流程。同时讨论了自然语言编程的二阶效应、AI 时代的相关技能、模型分化（Model Speciation）以及 AI 对就业市场的影响。

Karpathy 描述了编程范式从「氛围编程」（vibe coding）向「代理工程」（agentic engineering）的演进，提出了 Software 3.0 的概念——通过提示词和上下文而非显式代码来编程。他强调 LLM 如同易错的「幽灵」，需要新型判断力，并指出思考可以外包但理解力永远不能外包。

Andrej Karpathy 分享了一套以 LLM 为核心的个人知识库构建方法：将原始资料（PDF、文章、图片等）存入 raw/ 文件夹，由 LLM 自动编译成可互查的 Markdown Wiki，人类角色从「写笔记」转变为「监督 LLM 写笔记」。该系统已在其个人项目中积累约 100 篇文章、40 万词，全部由 LLM 端到端生成与维护。这一「LLM 驱动内容，人类监控」的范式与传统 Obsidian/Notion 手动维护方式有本质区别。

Andrej Karpathy 是前 Tesla AI 总监、OpenAI 联合创始人，其博客涵盖深度学习原理、强化学习、比特币底层实现及 AI 科幻短篇等内容。文章风格以从零实现、深度教程为主，兼具学术严谨性与工程实用性。博客内容跨越多年，记录了深度学习领域从早期 RNN 到现代 GPT 的演进轨迹。

Andrej Karpathy在2025年2月创造了'vibe coding'概念，描述低审查的AI辅助编程方式。到2025年12月，他80%的代码已由AI生成，并于2026年4月宣布vibe coding已过时，取而代之的是他称为'agentic engineering'的更严格工程纪律。这一18个月的思维演变代表了专业软件开发的未来走向。

Andrej Karpathy 探讨了 AI 代码智能体的现状与未来，重点介绍了其 AutoResearch 项目——一个能够自主完成 AI 研究闭环（实验设计、数据收集、训练优化）的智能体系统。他还深入分析了自然语言编程的二阶效应、AI 时代的相关技能演变、模型物种化趋势以及对就业市场的影响。

Karpathy 通过让 LLM 用100万 token（约10美元）将《指环王》段落渲染为3D场景的实验，揭示了 AI 带来的不仅是能力提升，更是一场可行性边界的革命。大量原本'不值得做'的定制化工作，因边际成本趋近于零而从'没人会做'变成'为什么不呢'。这标志着一次范式转变：不是质量前沿，而是可行性前沿的突破。

2026年AI领域经历了剧烈的情绪转变：从2025年底的普遍悲观（AGI时间线拉长、AI Agent被认为不可用）到Claude Opus 4.5发布后的全面看多。Karpathy等顶级工程师公开表示感到被AI'甩在身后'，编程职业正被重构。文章试图梳理这一快速反转背后的7条关键证据线，并审视哪些是真实信号、哪些可能只是新一轮炒作周期。

Karpathy 在 Sequoia AI Ascent 2026 上明确区分了'氛围编程'（vibe coding）与'代理工程'（agentic engineering），认为掌握规格设计、差异审查、评估循环和安全监督的专业开发者可以实现远超10倍的生产力提升。他将2025年12月视为关键拐点，届时 AI 代理生成的代码块变得更大、更连贯、更可靠，开发工作的本质随之改变。这一框架为专业软件工程师在 AI 时代的核心价值提供了清晰定位。

Karpathy认为AI Agent距离真正成熟还需十年，当前缺乏持续学习、长期记忆和完整认知结构等核心能力。他批评现有LLM在复杂代码生成上存在明显局限，无法理解架构意图。他认为AI的未来突破在于认知结构重建，而非简单的功能堆叠或算力扩展。

Karpathy 认为当前 AI 记忆机制（prompt compaction、外部记忆）只是粗糙的早期方案，可以通过将记忆操作作为 RL 工具来优化。他进一步指出，真正令人兴奋的方向是类似人类睡眠中发生的基于权重更新的长期记忆，但这超出了现有生产栈的范畴，属于更前沿的研究领域。

Andrej Karpathy 在2025年AI创业学校演讲中提出'Software 3.0'概念，认为自然语言已成为新的编程接口，LLMs本质上是一种新型计算机。他将当前AI时代类比为1960年代的计算机时代，强调开发者应围绕'为Agent构建基础设施'和'人机协作循环'这两个核心方向展开创业和产品设计。

Andrej Karpathy 在 2025 年 AI Startup School 演讲中提出「Software 3.0」概念，认为自然语言已成为新的编程接口，LLM 本质上是一种新型计算机。他类比 1960 年代的计算机发展阶段，强调当前正处于 LLM 时代的早期，开发者应围绕「人机协作」「Vibe Coding」和「面向 Agent 构建基础设施」三个方向把握机遇。

Andrej Karpathy 提出软件正经历70年来最根本的范式转变，从手写代码（1.0）到神经网络权重（2.0）再到自然语言提示（3.0）。LLM 本质上正成为新一代操作系统，使每个英语使用者都能成为开发者。核心挑战在于如何在人工验证与智能体自主生成之间找到平衡，并构建适合 AI Agent 的数字基础设施。

Andrej Karpathy 发布了开源项目 autoresearch，一个仅 630 行 Python 代码的自主 AI 研究框架，能在无人干预的情况下一夜完成上百次实验迭代。其核心创新在于让 AI agent 直接修改训练代码而非调参，实现了开放式架构探索。实测结果显示，该系统在 Karpathy 已优化的代码基础上再提速 11%，并发现了人类研究者遗漏的 bug。

Andrej Karpathy 展示了 AI 自主科研的早期实践：他用约30行代码构建了一个自动化研究智能体 AutoResearch，能够在无人干预的情况下循环执行假设-实验-验证流程，两天内发现约20项互补优化，将训练速度提升11%。这标志着 AI 从执行指令向复现科学方法的跨越，Karpathy 本人也于2026年5月加入 Anthropic 将此方法规模化应用于 Claude 的研究。

Andrej Karpathy 分享了他将 LLM 用于构建个人知识库的完整工作流：通过自动摘要、结构化 wiki 生成、自我修正循环，将碎片化信息转化为可持续增长的知识操作系统。该系统无需 RAG 或向量数据库，最终目标是将知识微调进模型权重。这代表了从「使用 AI 回答问题」到「用 AI 构建知识基础设施」的范式转变。

Andrej Karpathy 记录了自己在2025年底几周内工作流从80%手写代码转变为80%由AI生成代码的亲身经历，提出「英语是最热门的新编程语言」。他不仅分析了AI编码的局限性（过度假设、代码臃肿、不主动澄清歧义），更指出AI真正的魔法在于「韧性」——能在闭环中不知疲倦地反复尝试直至达成目标，这正是大多数AGI体感的来源。他建议开发者从命令式思维转向声明式思维，给AI明确的成功标准而非逐步指令。

Karpathy 提出的「循环工程」范式用持续自动化循环替代单次提示，核心是验证器+状态文件+停止条件三件套。其 AutoResearch 项目在2天内运行约700次实验，发现了人工遗漏的改进；Bilevel Autoresearch 在此基础上叠加元循环，同等基准上报告了5倍的收益。

Karpathy警告AI行业，当前Agent热潮存在重蹈OpenAI五年弯路的风险。其核心论点是：Agent能力的天花板取决于底层基础模型的质量，在基础模型尚未成熟时强推Agent只会导致失败。Anthropic和OpenAI在AI4S领域的最新布局，恰好印证了这一判断——两者都在用工作流和生态整合来弥补基础模型的结构性不足。

AI领域顶级研究者卡帕西（Andrej Karpathy）正式加入Anthropic，负责利用Claude加速预训练研究，核心方向为递归自我改进（RSI）。文章梳理了RSI从学术概念走向工程实践的进展，包括Anthropic内部基准数据和行业竞速态势。同时直面安全悖论：一家以AI安全为立身之本的公司，正在主动推进被安全社区视为高风险的能力方向。

Karpathy在YC AI创业学校演讲中提出「软件3.0」框架，将LLM类比为操作系统而非商品，强调提示词已成为新的编程语言。他指出AI自动化需满足感知、行动、监督三个前提，并警告从演示到成熟产品之间存在巨大鸿沟，认为这是「代理人的十年」而非一年。

Karpathy提出将笔记视为不可变'源代码'、以LLM为'编译器'构建结构化个人知识库的新范式，用三层架构（原始层/模式层/Wiki层）取代传统RAG的碎片化检索。该框架通过Ingest、Query、Lint三类操作自动维护知识一致性，解决了个人知识管理长期存在的维护成本过高问题，被视为继Vibe Coding和Agentic Engineering之后人机协作的第三个重要范式。

Andrej Karpathy 发布了 nanochat 开源仓库，可在单张 GPU 上以约 100 美元复现完整的 ChatGPT 训练流程（含预训练、微调、RLHF 和聊天 UI），相比 2019 年 GPT-2 原始训练成本（43,000 美元、168 小时）下降了 99%+。文章作者逐行解析了该仓库的技术细节，并指出这标志着'自建 ChatGPT'从比喻变为现实。这一进展发生在美国政府限制 GPT-5.6 出口的同一周，形成鲜明对比。

本文系统介绍了 Andrej Karpathy 提出的 LLM Agent 记忆四分类框架：权重内记忆、上下文记忆、外部检索记忆和 KV 缓存记忆，并结合 Python 代码讲解每种记忆的实现方式。文章兼具理论深度与工程实用性，是构建 AI Agent 记忆系统的高质量参考指南。

Andrej Karpathy 在 AI 创业学校的主题演讲中提出「Software 3.0」概念，认为自然语言正成为新的编程接口，LLM 是一种新型计算机。这一范式转变不仅改变了开发者的工具链，更重新定义了软件本身的构建方式。对开发者、用户和产品设计均有深远影响。

Karpathy通过'幽灵'隐喻解释了LLM的本质局限：它们不是从世界中成长的动物，而是从文本库中召唤出的统计幽灵，缺乏真实的情境世界模型。文章以此为基础，构建了Spec、Verifier、Environment三层Agentic AI框架，试图弥补这一根本性缺陷。核心洞察是：LLM的幻觉、锯齿状智能、失忆和易受骗性，都源于它对情境的根本性缺失。

Andrej Karpathy 于2025年10月发布 nanochat，一个约8000行 Python+Rust 代码的完整 LLM 训练流水线，涵盖从分词器到推理服务的全链路。其核心主张是用约100美元云GPU费用即可训练出具备真实对话能力的 GPT-2 级别模型，截至2026年6月已获54700个 GitHub Star，成为开源社区最受关注的 LLM 训练教程。

Andrej Karpathy 在 Sequoia AI Ascent 2026 上提出「Agentic Engineering」概念，认为这是继 Vibe Coding 之后更具工程纪律的 AI 编程范式。他将 2025 年 12 月定义为 AI 编程能力的关键拐点，并以 Software 3.0（prompt 即编程）框架描述大模型作为解释器、上下文窗口作为核心杠杆的新开发方式。

Karpathy 在 Sequoia Ascent 2026 上提出 Software 3.0 框架：LLM 是解释器，上下文窗口就是程序本身，提示词/工具/记忆取代了传统代码。这不是现有开发流程的加速，而是一种范式跃迁——许多原本需要完整应用架构才能解决的问题，现在一个提示词即可完成。对 AI 创业者的核心追问是：哪些软件根本不应该继续以软件形态存在？

Karpathy 在 Sequoia Ascent 演讲中提出 Software 3.0 的概念框架，将 LLM 定义为继显式代码（1.0）和训练权重（2.0）之后的第三个可编程层，核心组成为提示词、智能体、工具、记忆与验证。他将 2025 年 12 月标记为 AI 智能体从演示走向实际生产的拐点。其核心判断是：下一代 AI 原生公司的竞争壁垒不在于 UI 封装，而在于谁拥有最强的验证闭环。

Karpathy 预测计算范式将发生根本性反转：神经网络将成为主操作系统，CPU 退化为确定性协处理器。他认为当前所有经典软件界面都是1950年代'计算器路径'的历史遗留产物，一旦神经网络成为主运行时，预构建界面和显式指令序列的需求将彻底消失。未来的 UI 将由扩散模型实时生成，而非由产品团队预先构建。

Andrej Karpathy 于2026年3月发布了一个约30行代码的AI自动化研究原型，让智能体自主编辑训练代码、运行实验并迭代优化，两天内完成700次实验，将GPT-2训练时间缩短11%。随后他加入Anthropic，将这一循环引入Claude的预训练流程，目标是用AI替代人工ML研究者加速训练优化的发现过程。

Karpathy在一场Agent开发者分享中指出，当前AI领域最大的错误是急于构建Agent而忽视底层大模型的夯实。他以2016年World of Bits项目失败为例，强调Demo容易但产品需要十年打磨，并认为真正站在Agent能力前沿的是独立开发者而非大厂，因为没有任何一家公司在Agent领域积累了五年以上。他还建议从神经科学中汲取灵感，把基础能力做扎实，Agent能力会自然涌现。

Karpathy指出AI能力认知存在严重分裂：使用免费版ChatGPT的普通用户与使用顶级付费Agent工具的技术专业人员，实际上在讨论'完全不同的产品'。技术领域的AI进步尤为显著，原因在于可验证的奖励函数使强化学习更有效，且B2B商业价值更高。两类用户群体之间存在根本性的认知鸿沟，导致对AI现状的判断南辕北辙。

Karpathy指出，AI Agent性能差距的根源在于'harness'（框架/脚手架）而非模型本身。同一模型在5个不同Agent框架下，基准分数从3.5%到80.1%相差76个百分点。他认为当前行业最大的误区是急于推出Agent产品，却未深入理解底层模型和系统机制。

Andrej Karpathy 提出 LLM 交互范式正在经历第三次重大演变：从网页聊天机器人、桌面应用，进化为具备持久性、异步性、组织级工具和上下文的'团队成员'。这一范式要求底层完成跨工具、集成、计算环境、记忆和安全的系统性工程，使 AI 真正融入团队工作流，而非作为独立功能存在。

Karpathy 在 Sequoia Ascent 2026 上提出「Agentic Engineering」概念，将其与「Vibe Coding」明确区分：前者是专业工程纪律，后者只是被动接受 AI 生成的代码。核心主张是：AI 时代的优秀开发者不是代码的消费者，而是对 fallible agent 的主动编排者，需要掌握 spec 设计、diff review、eval 设计和安全审查等能力。Karpathy 认为掌握 agentic workflow 的人可能远超传统 10x 工程师的生产力上限。

Eric Daimler 对 Andrej Karpathy「删除一切，保留图」观点提出批判性补充：Karpathy 实验成功的关键不是「图」本身，而是「棘轮机制」——不可篡改的锁定指标与零成本撤销。缺少这两个条件，将 AI 智能体应用于生产关键系统将引发无法挽回的风险。Daimler 进一步指出，真正可信的架构需要范畴论（Category Theory）的数学基础，而非仅仅是一张流程示意图。

Andrej Karpathy 发布开源项目 nanochat，仅用约8000行 Python 和 Rust 代码实现了从零构建类 ChatGPT 模型的完整训练与推理流程，项目在 GitHub 单日获得14.5k星。该项目支持以约100美元、4小时训练出可对话的 LLM，12小时后性能可超越 GPT-2 的 CORE 指标。Karpathy 同时表达了对 Agent 框架的质疑，认为其反而会阻碍工作流程。

Andrej Karpathy 分享了其个人AI工作流方法，核心包括：使用语音转文字工具（Super Whisper）提升交互效率、构建个人'LLM Wiki'知识库提升AI输出精准度、将静态文档转化为交互式工具，以及多AI智能体协同编排复杂任务。整体目标是通过系统化AI整合实现10倍生产力提升。

Andrej Karpathy 分享了一种三步 LLM 辅助阅读法（手动初读 → 解释摘要 → Q&A 问答），认为这是 LLM 最有价值的使用场景之一。他同时预判写作范式将发生转变：内容创作者未来可能从「为人类写作」转向「为 LLM 写作」，由 LLM 再做个性化分发。他还发布了一个名为 reader3 的开源工具用于 EPUB 的 LLM 辅助阅读。