Andrej Karpathy

Karpathy在YC AI创业学校的演讲中提出，LLMs代表软件的根本性变革，可类比为新型计算机操作系统，并具有独特的'人格心理学'特征。他将当前AI时代比作1960年代的计算机时代，并指出三大创业机会：构建半自主产品、降低软件开发门槛（vibe coding）、以及面向AI Agent的基础设施建设。

Andrej Karpathy提出'Agentic Engineering'概念，定义为利用AI智能体加速软件开发同时保持专业质量标准的工程学科。与'Vibe Coding'形成配对概念：前者提升生产力天花板（专业工程师），后者提升地板（所有人）。核心主张是顶尖工程师的生产力倍数将远超传统10倍工程师，分布呈现更厚的长尾效应。

Karpathy回顾了神经语言模型的历史演进，指出LM技术本身已存在20年，真正的突破在于两个关键发现：Transformer架构使模型成为可在运行时重新配置的通用计算机，以及大规模互联网文本的语言建模目标足够复杂，能迫使网络学习世界的广泛知识。他坦承自己也曾因过早转向强化学习而误判了Scaling范式的潜力。

Karpathy 观察到 AI 各子领域（视觉、语音、NLP、强化学习）正经历深度架构统一，Transformer 已成为几乎所有任务的通用框架，差异仅剩数据、输入输出规范及少量结构细节。这种架构大一统将使跨领域思想快速迁移，并进一步集中软硬件资源，从而加速整体 AI 进步。

Andrej Karpathy 提出「英语是最热门的新编程语言」这一论断，并通过多个案例（GPT-3上下文学习、Chain-of-Thought提示、ChatGPT虚拟机、Bing系统提示泄露等）论证：LLM本质上是可在运行时通过自然语言重新配置的通用计算机，提示词（Prompt）就是程序，英语就是编程语言。他还指出GPT的本质是「模仿」而非「想要成功」，因此提示词设计需明确引导其目标行为。

Andrej Karpathy总结了2025年AI领域六大范式转变，包括基于可验证奖励的强化学习(RLVR)、Vibe Coding等核心技术突破。RLVR通过在可自动验证奖励的环境中训练LLM，使模型自发形成类人推理策略，成为2025年最重要的训练技术革新。这些转变从根本上改变了大语言模型的训练范式和能力边界。

Karpathy提出LLM不应被视为聊天机器人，而应被理解为新型操作系统的内核进程，能够协调多模态输入输出、代码执行、浏览器访问和记忆存储等功能。他将当前主流LLM（GPT、PaLM、Claude、Llama）类比为Windows/macOS/Linux，认为我们正处于一个全新计算范式的早期阶段。将LLM看作聊天机器人，就如同将早期计算机仅视为计算器一样短视。

Karpathy 认为 AI 训练范式正经历第三次转型：从预训练（互联网文本）到监督微调（对话数据），再到如今的强化学习时代（环境交互）。他看好「环境」作为核心训练资产的未来，但对 RL 本身持保留态度，认为奖励函数存在根本性缺陷，人类学习方式远比 RL 高效，真正的突破尚未到来。

Karpathy 提出「循环工程」（Loop Engineering）概念，认为构建长时运行 Agent 的核心瓶颈不是模型智能，而是外部框架（Harness）的设计。他给出了包括角色分离、契约先行、状态持久化、自动重启等九条黄金法则，为多日运行的 AI Agent 开发提供了系统性方法论。

Andrej Karpathy 提出了一套完整的 AI 工程方法论，核心是将上下文窗口视为代码（Software 3.0），用工程化思维（规范设计、差异审查、评估循环）替代随意的 Prompt 尝试。他还推广了并行 Agent 管理模式和 CLAUDE.md 配置文件，构建出一套从世界观到具体工具的完整实践体系。

Andrej Karpathy在这场演讲中系统梳理了编程范式的三次演进：传统代码（Software 1.0）、神经网络训练（Software 2.0）到自然语言提示大模型（Software 3.0）。他深入讲解了Transformer架构的历史与原理，并通过nanoGPT展示了GPT-2的300行极简实现。演讲兼顾理论深度与工程实践，是理解现代AI工程体系的高质量入门与进阶材料。

Dario Amodei发布《We Must Pace the Frontier》，提出三步计划刻意放缓AI能力进展以使安全工作追赶上来，核心措施包括引入嵌入式第三方评估者并赋予其独立发布权。Altman、Hassabis、Karpathy、甚至马斯克相继公开表态支持，标志着头部AI实验室在自我监管上罕见达成共识。这是2026年AI治理领域最重要的行业事件之一，但也引发了关于开放性与监管捕获的激烈争议。

Karpathy 发布开源项目 nanochat，用约 8000 行依赖极简的代码实现了从一个 ChatGPT 克隆的完整全栈流程：Rust 分词器训练、FineWeb 预训练、SmolTalk 中途训练、SFT、基于 GSM8K 的 GRPO 强化学习，以及带 KV cache 和工具调用的推理引擎与类 ChatGPT WebUI。核心卖点是成本与门槛极低——约 100 美元 / 4 小时即可训练出一个能聊天的模型，约 12 小时超过 GPT-2 的 CORE 指标，约 1000 美元 / 41.6 小时可获得能解简单数学与代码题、MMLU 进入 40 分段的模型。定位是 LLM101n 的毕业项目，并希望像 nanoGPT 一样成长为研究脚手架或基准。

Andrej Karpathy 利用 Claude Opus 5.5 在一个周末内构建了 HackerTube，通过分析 Hacker News 20 年、4300 万条评论，筛选出 6454 个高质量视频，打造出比 YouTube 推荐更优质的观看体验。他几乎将所有工作交给 Claude Code 完成，仅需手动配置 API Key、服务器和域名。这一案例标志着 AI 辅助开发已进入'周末项目可替代数周工程'的新阶段。

Andrej Karpathy（现Anthropic预训练团队成员）分享了其日常使用AI Agent的工作方式：完全通过对话驱动开发，不再直接读写代码或执行命令。他总结了五个核心习惯：短提示词、多格式理解输出、廉价代码过滤+Sonnet子Agent处理大数据、以及分享数据+提示词而非应用本身。

Karpathy 在周五深夜对 YouTube 算法推荐的低质内容感到不满，于第二天用 Claude Opus 5.5 在约2小时内独立构建了 HackerTube——一个基于 Hacker News 历史评论筛选出的6454个高质量 YouTube 视频的克隆站点。这个案例展示了 AI 辅助开发已进入「纯对话驱动」阶段，开发者几乎不需要亲自写代码或操作终端。

Andrej Karpathy 分享了对 LLM 能力边界的多维度观察：LLM 正从工具演变为自主执行复杂任务的代理，推动「可抛弃式定制软件」成为新范式；人类工作将上移至「监督与理解」层；同时他支持 AI 行业协同放缓前沿研发以保障安全。

Andrej Karpathy 在其个人博客中探讨 AI/LLM 领域的前沿思考，包括对 LLM 作为'首次接触非动物智能'的哲学性判断、2025年LLM年度范式变迁回顾（RLVR等），以及用 Claude Opus 5.5 自建 YouTube 替代品的实践尝试。内容兼具深度研究视角与动手实验精神，是目前 AI 领域最具参考价值的个人博客之一。

Karpathy 提出了一种基于 LLM 的个人知识库构建模式——'LLM Wiki'，核心思路是让 LLM 主动维护一个持久化的 Markdown Wiki，而非每次查询时重新从原始文档检索。每当新增信息源时，LLM 负责提取、整合、更新并标注矛盾点，使知识库随时间累积增值。用户负责信息来源与提问方向，LLM 承担所有整理与交叉引用工作，Obsidian 作为可视化 IDE。

Andrej Karpathy 使用 Anthropic 的 Opus 5.5 模型，在约两小时内构建了 HackerTube——一个基于 Hacker News 用户推荐视频的 YouTube 克隆站点，收录 6,454 个视频，涵盖 150 个话题。他仅手动完成三步（创建 API 密钥、启动服务器、购买域名），其余工作全由 AI 完成。此案例的核心信号是：桌面应用 + 中等推理强度的默认配置，已足以完成完整产品的快速落地。

Andrej Karpathy 提出软件已经历三次范式转变：从传统代码（Software 1.0）到神经网络权重（Software 2.0），再到以自然语言提示编程的大语言模型（Software 3.0）。他以特斯拉 Autopilot 的实际经历为例，说明神经网络如何逐步替代 C++ 代码，并预测 LLM 将以相同方式重塑整个软件栈。核心建议是：未来开发者需同时掌握代码、权重与提示三种编程形式。

Andrej Karpathy 指出99%的人错误使用AI和LLMs，核心在于缺乏对模型工作原理的正确心智模型。文章系统讲解了上下文窗口、预训练与后训练的区别、模型分层选择、深度研究功能及Python解释器工具的正确使用方式。掌握这些底层逻辑，才能真正发挥LLM的最大效用。

Karpathy于2026年4月提出'LLM Wiki'概念：由语言模型自动维护的Markdown知识库，将文档摘要、实体页和概念页持续积累更新，而非每次查询时重新检索原始文档。该模式解决了传统Wiki因维护成本高而被废弃的问题，模型承担全部维护工作。Sentra将此概念扩展至企业级，接入Slack、邮件、会议等多源数据，实现团队级组织记忆。

Andrej Karpathy警告称，AI能力认知鸿沟正在急剧扩大：约60亿人几乎未接触过LLM，10-20亿人仅将AI用作'更好的谷歌搜索'，而约5000人已在使用能协调数千个AI智能体的前沿系统执行超大规模任务。他指出人类审阅与理解能力正开始落后于AI的产出速度，这一差距在编程和数学等可验证数字领域尤为突出。

Karpathy描述了一个关于LLM能力认知的'漏斗效应'：全球约75%的人几乎未接触LLM，20%是浅度用户，仅0.2%的专业开发者真正见识到其改变工作流的力量，而顶端约5000名内部研究者则在目睹AI在网络攻防、科学发现、数学突破等领域的超人级表现。这种认知鸿沟正在加速扩大，而非收窄。

Karpathy 认为外界对 LLM 能力的认知已经从一个「两拨人各说各话」的问题，演变成一条急剧收窄的漏斗：约 75% 的人几乎没接触过 LLM，约 20% 只是免费产品的低频休闲用户，只有约 0.2%（数学与代码领域的专业用户）亲眼看到过去要花数周数月的复杂项目如今一段 prompt 就能让 agent 完成，而真正能内部使用前沿系统的约 5000 人，看到的已是数千 agent 协作数周推进软件巨型项目、挖 0day、做攻防、发现新科学与数学成果的形态。他指出漏斗由两个因素驱动：一是 LLM 的价值随问题的野心、规模和时间跨度放大，需要用户手里真有大量自己在意的大难题；二是能力分布呈「锯齿状」，峰值集中在数字化、可验证、有经济价值的领域。

Karpathy 用一个“漏斗模型”刻画了不同人群对 LLM 能力的认知鸿沟：约 60 亿人几乎没接触过 LLM，10-20 亿人只把免费版聊天机器人当成更好的搜索和写作工具，约 2000 万数学/编程从业者已亲眼见证 agent 在数周内完成过去数月的工作，而真正接触前沿内部系统的可能只有约 5000 人，看到的已是数千 agent 协作数周完成软件巨型项目、挖掘零日漏洞、推进数学前沿。他强调这个鸿沟正在扩大而非缩小，成因在于 LLM 的收益随问题的规模与时间跨度放大，同时能力分布高度“锯齿化”——峰值出现在数字化、可验证、有经济价值的领域，因为能力来自可验证奖励的强化学习。

Karpathy 在斯坦福的一场 1 小时讲座中，把 AI 工程从零拆解为五层递进结构：10% 把 LLM 当作可运行时重编程的通用计算机，30% 用自然语言写「程序」（Prompt），30% 用目标、上下文、记忆与工具把模型包装成 Agent，20% 区分内循环（从上下文学习）与外循环（训练更新权重），10% 用有向图上的数据依赖消息传递来组织通信。转发者进一步指出另一篇文章「Harness Engineering」的观点：Agent 失败时重写 Prompt 是解错了层，可靠性来自新增一层 harness——上下文、安全工具、持久状态、验证与恢复。

Karpathy 认为随着 LLM 承担越来越多执行工作，人的重心会上升到「监督与理解输出」这一层，因此需要更好的输出格式。他给出一组递进式技巧：用 ASD-STE100（航空维修用的受控语言规范）约束写作风格、改让模型画示意图、再升级为 HTML 交互网页，最终是他最看好的方向——针对任意主题即时生成定制的 3b1b 风格讲解视频。核心洞察是：智能与代码变得廉价后，可以大量索要过去根本不值得制作的「一次性、可丢弃」软件产物。

Karpathy 提出阅读 LLM 输出的'阶梯'框架：从 ASD-STE100 受控英语（航空维修手册式极简英文）写成的说明文字，逐级上升到图示、HTML 页面，再到用 ElevenLabs 配音、3Blue1Brown 风格的定制讲解视频。他的核心判断是：随着模型越来越多地独立完成任务，人类的工作重心上移到监督与验收，因此'让输出变得可被人理解'正取代生成能力本身成为新的瓶颈。

Karpathy 在 2026 年 4 月 30 日 Sequoia AI Ascent 上宣布 vibe coding 时代结束，提出接替概念「agentic engineering」——即以协调易出错智能体为核心、同时守住正确性、安全、品味与可维护性的专业纪律。核心判断是：编程单元已从「写一个函数」升级为「委派一个子系统或完整重构」，创造与审查的比例倒转，瓶颈从生成代码转移到写规格、读 diff 与搭建评估回路；而理解力本身无法外包。

Karpathy 将 OpenAI Operator 类的数字 Agent 与人形机器人类比，认为两者都在构建一个「人类监督自动化」的混合自主世界。他指出数字世界的进展会比物理世界快约 1000 倍，但当前仍面临长任务horizon、多模态整合等关键技术瓶颈。他将 Agent 时代的预期从「2025年」修正为「2025-2035年整个十年」，认为还需要若干技术突破。

Karpathy 在 No Priors 访谈中给出一个锚点式判断：2025 年 12 月后他的编程方式从「80% 自己写、20% 委托 agent」翻转为「20/80」，并由此提出 token throughput 这一新的个人能力指标——瓶颈已从算力转向「会不会调度 agent」。他进一步描绘了多 agent 并行协作（Peter Steinberg 的 10 个 Codex repo）、从会话式 agent 到具备持久性/记忆/沙箱的「claw」实体、以及 Dobby 家庭自动化等落地案例，讨论 AI 能力边界的 jaggedness、speciation 与 frontier lab 悖论。

Anthropic CEO Dario Amodei发表长文，呼吁AI公司主动放缓前沿模型的能力提升速度，以争取更多时间用于对齐研究和监管准备。此举获得Sam Altman、Elon Musk、Andrej Karpathy等多位行业领袖罕见集体背书，标志着AI安全议题正从边缘走向行业共识。然而，中美科技竞争构成落地的最大地缘政治障碍。

Karpathy指出2025年构建Web应用仍像拼装宜家家具，需要拼凑大量独立服务（前后端、托管、数据库、认证、支付等），配置复杂度远超编码本身。他坦言自己花了3小时才完成Supabase+Vercel的基础配置，认为谁能解决这一'开箱即用'问题，将获得巨大机会——尤其是面向AI代理的场景。

Anthropic CEO Dario Amodei公开表示AI需要放缓发展节奏以避免灾难，OpenAI、xAI、Hugging Face及研究员Andrej Karpathy等主要AI领袖迅速表态支持，OpenAI和Anthropic均承诺引入具有员工级访问权限的第三方安全评估机构。这标志着AI行业在安全治理上出现了罕见的跨机构集体共识，是AI监管史上的重要转折信号。

Karpathy 指出随着 token 需求的爆发式增长，LLM 底层芯片的内存与计算编排将成为最具价值的技术挑战。核心矛盾在于片上 SRAM（快但容量小）与片外 DRAM（容量大但带宽受限）两种内存池的物理约束，如何在推理/训练等工作负载中实现最优吞吐/延迟/成本比是当前最重要的工程智识难题。他顺势为 MatX 团队的新芯片融资背书，认为其方向切中了现有 NVIDIA（HBM优先）和 Cerebras（SRAM优先）两大阵营均难以同时满足的长上下文 agentic 推理场景。

Andrej Karpathy 与 Sarah Guo 深度对话，探讨 AI 代理（Code Agents）的现状与未来，重点介绍其 AutoResearch 项目——让 AI 代理自主完成实验设计、数据收集和模型优化的闭环研究流程。同时讨论了自然语言编程的二阶效应、AI 时代的相关技能、模型分化（Model Speciation）以及 AI 对就业市场的影响。

Karpathy 描述了编程范式从「氛围编程」（vibe coding）向「代理工程」（agentic engineering）的演进，提出了 Software 3.0 的概念——通过提示词和上下文而非显式代码来编程。他强调 LLM 如同易错的「幽灵」，需要新型判断力，并指出思考可以外包但理解力永远不能外包。

Andrej Karpathy 分享了一套以 LLM 为核心的个人知识库构建方法：将原始资料（PDF、文章、图片等）存入 raw/ 文件夹，由 LLM 自动编译成可互查的 Markdown Wiki，人类角色从「写笔记」转变为「监督 LLM 写笔记」。该系统已在其个人项目中积累约 100 篇文章、40 万词，全部由 LLM 端到端生成与维护。这一「LLM 驱动内容，人类监控」的范式与传统 Obsidian/Notion 手动维护方式有本质区别。

Andrej Karpathy 是前 Tesla AI 总监、OpenAI 联合创始人，其博客涵盖深度学习原理、强化学习、比特币底层实现及 AI 科幻短篇等内容。文章风格以从零实现、深度教程为主，兼具学术严谨性与工程实用性。博客内容跨越多年，记录了深度学习领域从早期 RNN 到现代 GPT 的演进轨迹。

Andrej Karpathy在2025年2月创造了'vibe coding'概念，描述低审查的AI辅助编程方式。到2025年12月，他80%的代码已由AI生成，并于2026年4月宣布vibe coding已过时，取而代之的是他称为'agentic engineering'的更严格工程纪律。这一18个月的思维演变代表了专业软件开发的未来走向。

Andrej Karpathy 探讨了 AI 代码智能体的现状与未来，重点介绍了其 AutoResearch 项目——一个能够自主完成 AI 研究闭环（实验设计、数据收集、训练优化）的智能体系统。他还深入分析了自然语言编程的二阶效应、AI 时代的相关技能演变、模型物种化趋势以及对就业市场的影响。

Karpathy 通过让 LLM 用100万 token（约10美元）将《指环王》段落渲染为3D场景的实验，揭示了 AI 带来的不仅是能力提升，更是一场可行性边界的革命。大量原本'不值得做'的定制化工作，因边际成本趋近于零而从'没人会做'变成'为什么不呢'。这标志着一次范式转变：不是质量前沿，而是可行性前沿的突破。

2026年AI领域经历了剧烈的情绪转变：从2025年底的普遍悲观（AGI时间线拉长、AI Agent被认为不可用）到Claude Opus 4.5发布后的全面看多。Karpathy等顶级工程师公开表示感到被AI'甩在身后'，编程职业正被重构。文章试图梳理这一快速反转背后的7条关键证据线，并审视哪些是真实信号、哪些可能只是新一轮炒作周期。

Karpathy 在 Sequoia AI Ascent 2026 上明确区分了'氛围编程'（vibe coding）与'代理工程'（agentic engineering），认为掌握规格设计、差异审查、评估循环和安全监督的专业开发者可以实现远超10倍的生产力提升。他将2025年12月视为关键拐点，届时 AI 代理生成的代码块变得更大、更连贯、更可靠，开发工作的本质随之改变。这一框架为专业软件工程师在 AI 时代的核心价值提供了清晰定位。

Karpathy认为AI Agent距离真正成熟还需十年，当前缺乏持续学习、长期记忆和完整认知结构等核心能力。他批评现有LLM在复杂代码生成上存在明显局限，无法理解架构意图。他认为AI的未来突破在于认知结构重建，而非简单的功能堆叠或算力扩展。

Karpathy 认为当前 AI 记忆机制（prompt compaction、外部记忆）只是粗糙的早期方案，可以通过将记忆操作作为 RL 工具来优化。他进一步指出，真正令人兴奋的方向是类似人类睡眠中发生的基于权重更新的长期记忆，但这超出了现有生产栈的范畴，属于更前沿的研究领域。

Andrej Karpathy 在2025年AI创业学校演讲中提出'Software 3.0'概念，认为自然语言已成为新的编程接口，LLMs本质上是一种新型计算机。他将当前AI时代类比为1960年代的计算机时代，强调开发者应围绕'为Agent构建基础设施'和'人机协作循环'这两个核心方向展开创业和产品设计。

Andrej Karpathy 在 2025 年 AI Startup School 演讲中提出「Software 3.0」概念，认为自然语言已成为新的编程接口，LLM 本质上是一种新型计算机。他类比 1960 年代的计算机发展阶段，强调当前正处于 LLM 时代的早期，开发者应围绕「人机协作」「Vibe Coding」和「面向 Agent 构建基础设施」三个方向把握机遇。