Transcript: Is this the ultimate guide to AI engineering? Andrej Karpathy explains
高潜力 91
Andrej Karpathy · Fri Nov 06 2026 05:13:27 GM
Andrej Karpathy在这场演讲中系统梳理了编程范式的三次演进：传统代码（Software 1.0）、神经网络训练（Software 2.0）到自然语言提示大模型（Software 3.0）。他深入讲解了Transformer架构的历史与原理，并通过nanoGPT展示了GPT-2的300行极简实现。演讲兼顾理论深度与工程实践，是理解现代AI工程体系的高质量入门与进阶材料。
核心观点 - – 编程范式三阶段：手写规则（1.0）→数据训练神经网络（2.0）→自然语言提示LLM（3.0），当前正处于3.0关键窗口期
- – 提示词工程有显著量化收益：'Let's think step by step'将准确率从17%提升至78.7%，优化表述可进一步达82%
- – LLM本质是'可在运行时用自然语言重新编程的通用计算机'，这一定义对产品设计和应用开发有根本指导意义
- – Tesla的'数据飞轮'（data engine）模式：积累数据→训练→部署→收集边缘案例→再训练，是Software 2.0的工程核心
- – Transformer成功的三要素：表达能力强、可优化性好、在GPU上高效（浅而宽的网络结构）
- – 注意力机制本质是有向图上的数据依赖消息传递，查询/键/值三元组构成通信阶段，MLP构成计算阶段
- – nanoGPT用300行PyTorch即可复现GPT-2，降低了LLM工程入门门槛
AI工程大语言模型Transformer架构提示工程深度学习Software 2.0Software 3.0nanoGPT教程
YC Startup School 2026：Claude Code 创造者 Boris Cherny 深度对谈全记录-北京尧图网络科技有限公司
高潜力 88
Boris Cherny · Fri Oct 30 2026 08:00:00 GM
Claude Code创造者Boris Cherny在YC Startup School 2026分享了Opus 5的两大突破：极长时间持续运行能力（数天至数月不中断）和三层提示注入防护体系（模型对齐+提示注入分类器+Auto Mode分类器）。他还揭示了一个反直觉的产品迭代方法论：每代新模型发布时删除80%以上的系统提示词，通过消融实验验证每行提示词的实际价值，让模型能力驱动产品而非靠提示词补丁。
核心观点 - – Opus 5可持续运行数天至数月，无需外部脚手架或goal指令，自主推进长期任务
- – 三层提示注入防护：模型对齐（3年积累）+ 基于机制可解释性的神经元级分类器 + Auto Mode分类器，目前已无法复现有效注入攻击
- – 每代新模型发布都应做完整消融实验，把系统提示词全删再逐行加回，验证每行的实际作用
- – Opus 5系统提示词删减80%后模型表现反而更好，过度提示词会抑制模型能力
- – CLAUDE_CODE_SIMPLE=1可删除所有系统提示词用于消融实验
- – AI产品迭代节奏要求每6个月近乎推倒重来，传统产品思维不适用
Claude CodeAI AgentAnthropic提示注入安全系统提示词大模型能力AI创业分析分享
How Andrej Karpathy uses AI agents day to day | Bryce Watson
高潜力 88
Andrej Karpathy
Andrej Karpathy（现Anthropic预训练团队成员）分享了其日常使用AI Agent的工作方式：完全通过对话驱动开发，不再直接读写代码或执行命令。他总结了五个核心习惯：短提示词、多格式理解输出、廉价代码过滤+Sonnet子Agent处理大数据、以及分享数据+提示词而非应用本身。
核心观点 - – Karpathy已完全转向对话式开发，不再直接读写代码或运行终端命令
- – 提示词应越来越短——过多约束反而会阻止模型找到更优解
- – 理解困难时，要求改变输出格式：纯文字→图表→HTML页面→解说视频
- – 大数据任务先用代码廉价过滤，再将结果交给Sonnet子Agent处理，由Opus协调
- – 分享数据+提示词而非应用本身，因为任何人的Agent都能围绕数据自行构建
- – 高度自主的Agent任务只信任Opus 5.5或更强的模型
AI Agent工作流提示词工程vibe codingClaudeAI工程师分析教程
The Startup Ideas Podcast | Greg Isenberg | All You Can Books | AllYouCanBooks.com
高潜力 84
Greg Isenberg
Greg Isenberg 与 Varick 的 Vas 对谈，核心主张是 AI 的价值不来自模型本身，而来自先做流程再造、再把 agent 嵌进客户的既有系统（Salesforce、NetSuite、Slack）。他们给出了一套 FDE（前置部署工程师）的完整作业方法：访谈 + 流程挖掘 + 步骤分类（删除/纯代码/agent/人工决策），并用案例证明效果——某 50 亿美元上市软件公司、应付账款流程把每张发票成本从 31 美元压到 6 美元。节目把 FDE 从一份高薪职业延伸成一门可创业的生意（AI roll-up 与五天起步计划）。
核心观点 - – AI 的回报来自流程再造，而不是把模型接到旧流程上；顺序是先重设计流程，再在其中构建 agent。
- – 流程映射有可复制的三步：做访谈、挖掘系统记录（system of record）、翻既有文档，而不是听客户口述。
- – 把每个流程步骤归入四个桶：直接删除、用普通代码解决、交给 agent、保留人工判断——这是决定要不要上 AI 的关键分流。
- – Agent 要建在客户已经在用的工具里（Salesforce、NetSuite、Slack），而不是另起一个客户端，否则永远推不动。
- – 销售话术按买方的 KPI 定制，用改造前后指标对比来证明效果（如每张发票 31 美元降到 6 美元）。
- – 顶级 FDE 的三种能力组合：领域知识 + 生产级工程 + 客户沟通，稀缺性解释了其高收入。
- – FDE 不只是岗位，也是创业切入点：AI roll-up（批量收购传统服务型公司后做流程再造）以及五天起步计划。
- – 模型选择不是核心变量，代码/agent/人工的边界判断才是；区分 sidekick（副驾式）与 background agent（后台自主）两种形态。
AI 落地与企业服务创业机会与商业模式Agent 与工作流自动化职业发展（FDE）分析教程
How Anthropic Engineers Use Claude Code: 8 Habits From Their Own Talks - Artimind
高潜力 82
Boris Cherny · Sun Nov 01 2026 22:29:10 GM
Anthropic工程师分享了8个使用Claude Code的核心习惯，核心观点是应给AI明确目标和验收标准而非详细步骤，并建立独立的验证机制。这些习惯与一年前的最佳实践相反，强调更高层次的目标设定和更好的质量检查。
核心观点 - – 给AI结果导向的指令（目标+护栏+验收标准），而非逐步操作列表
- – 让Claude先通过提问来澄清需求，再生成规格文档
- – 将计划和方案渲染为HTML页面以便交互审阅
- – 在任务流程中内置验证机制，让Claude自我检查输出
- – 用独立会话来评审和攻击已完成的工作，避免同一会话自我评分
- – 要求专业方法论而非角色扮演（persona）
- – 让Claude直接访问原始数据并执行重复性工作，而非人工传递
- – 模型更新后应从头重建CLAUDE.md和技能配置
AI工具使用Claude CodeAI编程助手开发工作流提示工程教程最佳实践
How Andrej Karpathy Actually Uses Claude Code Day to Day
高潜力 82
Andrej Karpathy · Fri Nov 06 2026 08:00:00 GM
Andrej Karpathy 分享了其日常使用 Claude Code 的核心工作流：采用 Opus 5.5 中等算力设置，坚持完全不读代码、不写代码、不执行命令的原则，通过简短提示词驱动开发，并利用 Opus 编排 Sonnet 子代理来平衡效果与成本。
核心观点 - – 使用 Opus 5.5 中等算力而非最大算力，认为紧凑反馈循环比单次深度推理更高效
- – 严格执行'零接触'原则：不读代码、不写代码、不执行终端命令，完全委托给模型
- – 偏好简短、欠规格化的提示词，认为过多约束会相互矛盾并干扰模型
- – 要求模型以 ASD-STE100 受控词汇（原为飞机维修手册设计）进行解释，剔除冗余语言
- – 架构决策由 Opus 负责编排，实际执行委托给更廉价的 Sonnet 子代理
- – 质疑公开基准测试，转而信任 Epoch AI 的 ECI（评估基准可靠性的元基准）
- – 分享项目时只给数据源和提示词，而非最终应用，将具体实现视为可抛弃的包装层
AI编程工具Claude CodeVibe Coding工作流LLM应用分析教程
Karpathy says engineering moves up from the model to the graph · Esscher
高潜力 82
Andrej Karpathy · Wed Nov 04 2026 10:00:00 GM
Karpathy提出AI工程栈的演进路径：从模型层向上依次经过提示词、智能体、循环到图结构。他还建议使用由语言模型维护的Markdown知识库，以跨会话保存信息来源、推理过程和决策历史。这一框架已被从业者广泛采纳为实际系统设计指导。
核心观点 - – AI工程栈演进层级：模型 → 提示词 → 智能体 → 循环 → 图
- – 图（Graph）是当前AI系统工程的核心抽象层
- – 建议用LLM维护Markdown wiki实现跨会话的知识持久化
- – 该框架已被一线从业者视为实用的系统设计参考
AI工程智能体系统多智能体图提示工程知识管理分析预测
Andrej Karpathy's AI project gives Hacker News its own YouTube
高潜力 82
Andrej Karpathy · Mon Nov 02 2026 14:00:01 GM
Andrej Karpathy 用约2小时构建了 HackerTube——一个 YouTube 风格的视频发现平台，整合了 Hacker News 评论中近20年的视频推荐，使用 Claude Opus 5.5 和 Claude Sonnet 进行数据处理与垃圾过滤。该项目展示了 AI 驱动的全栈开发能力，从原始评论数据到可用产品的完整链路极度压缩。项目涉及 5.04 亿输入 token，其中 90% 命中缓存，有效控制了成本。
核心观点 - – Claude Opus 5.5 用于高质量数据下载与过滤，Claude Sonnet 用于高吞吐量批处理任务（垃圾检测），体现了按任务复杂度选型的最佳实践
- – 90% token 缓存率大幅降低成本，说明合理设计 prompt 结构对大规模 LLM 项目的经济性至关重要
- – 2小时完成从零到上线，人工干预仅3步（API Key、VPS、域名），验证了 Claude Code 工作流在复杂数据工程任务中的实际效率
- – 6454个视频、39834条评论、150个主题分类——项目规模已超出个人手工处理范围，AI 是唯一可行路径
- – 项目完全依赖浏览器本地状态存储，无需账号体系，降低了冷启动门槛
AI工程LLM应用开发内容发现ClaudeKarpathy快速原型分析评论
Andrej Karpathy (@karpathy) — Moot
高潜力 82
Andrej Karpathy · Wed Oct 21 2026 08:00:00 GM
Karpathy 指出社会对 LLM 能力的认知存在严重分层断层：约75%的人几乎未接触过LLM，20%仅是浅度用户，真正深度使用者极少。他强调随着模型能力快速跃升，理解模型输出将成为核心挑战，并分享了利用ASD-STE100受控语言提升LLM写作质量的实用技巧。此外他观察到AI领域'老兵'与新入场者之间存在认知代际冲突。
核心观点 - – 全球约75%人口（60亿）几乎未接触LLM，20%为免费层浅度用户，真正理解AI能力的人群极少，形成'漏斗型'认知断层
- – 99%+当前关注AI的人是在不到1年内入场的，导致AI老兵与新人之间存在严重的认知错位
- – 随着模型能力提升，'理解模型输出'将成为新的核心技能需求
- – 实用技巧：要求LLM用ASD-STE100受控语言（航空维护文档规范）输出，可显著提升写作清晰度和结构性
- – 当RL训练得当时，模型的思维链会自发切换到非英语语言，这是模型内部表征的信号
LLM能力认知AI普及分层模型输出理解提示工程AI生态观察分析评论预测
Summary: The 5-year AI mistake I made at OpenAI - Andrej Karpathy
高潜力 82
Andrej Karpathy · Sun Nov 08 2026 05:07:06 GM
Karpathy回顾了他在OpenAI的'World of Bits'项目——一个比当前Agent浪潮早五年的失败尝试，核心原因是技术尚未成熟。他警告Agent容易演示但难以产品化（类比自动驾驶和VR），同时鼓励当前的Agent开发者：他们正处于能力前沿，甚至领先于大型实验室。
核心观点 - – World of Bits项目失败的根本原因是时机问题，而非方向错误——Agent路线本身是正确的，只是技术未到位
- – 今天的Agent主要不依赖强化学习，这是五年前完全无法预判的技术路径转变
- – AGI最终形态将是AI Agent，可能是数字实体构成的组织或文明
- – Agent类产品存在'演示陷阱'：demo容易、落地难，自动驾驶和VR都花了十年以上
- – 神经科学（海马体、基底神经节、丘脑）仍有大量未被Agent研究借鉴的灵感空间
- – 当前Agent研究领域足够新，大型实验室对新论文同样感到新奇，独立开发者仍有机会
AI AgentOpenAI强化学习AGI创业神经科学分析预测