Karpathy回顾了神经语言模型的历史演进,指出LM技术本身已存在20年,真正的突破在于两个关键发现:Transformer架构使模型成为可在运行时重新配置的通用计算机,以及大规模互联网文本的语言建模目标足够复杂,能迫使网络学习世界的广泛知识。他坦承自己也曾因过早转向强化学习而误判了Scaling范式的潜力。
AI 教育
AI 学习助手、教育工具、语言学习、考试辅导
AI 教育 · 精选产品
Microduck
84A tiny open-source biped you can train yourself
Microduck 是由 Hugging Face 与 Pollen Robotics 联合推出的 25cm 开源双足机器人,售价 $399,专为强化学习仿真到现实迁移(sim-to-real)研究设计,自带 7 种预训练行为和完全开放的软件栈。
Griffin by Tavus
82World's First Human Interaction Model
Griffin 是 Tavus 推出的实时「人类交互模型」,让 AI 数字人通过视频进行全双工、面对面的自然对话——同时看、听、说,能对停顿、表情、手势和镜头前的动作做出即时反应,试图把视频通话式的 AI 交互做到以假乱真的程度。
Curie
82Assistant for scientific literature and document analysis.
Curie 是一款面向真实科研工作流的 AI 文献助手,并行检索 PubMed、arXiv、Europe PMC、OpenAlex、Semantic Scholar 五大文献库,并逐条把结论回溯到原文进行验证,标出哪些论断有出处、哪些没有;同时支持对上传文档做结构化数据抽取(每个字段附带原文引文)以及带人工逐环节审批的系统综述流程(方案、筛选、PRISMA 流程图),用项目和资料库组织研究资产。
FLYBOX
82Explore a fruit-fly connectome inside a living sandbox
FlyBox 是一个开源交互式神经科学沙盒,基于包含 16.67 万个神经元、约 2560 万个突触的模拟果蝇连接组(connectome),让用户投放食物、天敌、障碍、光照等刺激,并实时观测神经活动与行为的变化,还可刺激/抑制特定神经元群、切断连接、分叉实验与对比不同脑。
ChatGPT for Teens
82ChatGPT, built differently for teens
ChatGPT for Teens 是专为13-17岁青少年设计的AI学习助手,内置学习引导模式、安全保护和家长控制功能,鼓励主动思考而非直接给出作业答案。
Readr
79A free reader that answers your questions and reads aloud
Readr 是一款免费开源的 AI 电子书阅读器,支持对书籍内容进行对话问答并在页边注显示答案,同时提供本地设备端自然语音朗读,无需账号或联网服务器。
MyLens
781-1 Live Presentations at Scale with AI.
MyLens 是一款 AI 驱动的大规模一对一实时演示工具,能够为每位受众自动生成个性化演示、实时回答问题并提供会话分析报告。
Coddy
78Learn to code 20+ languages in a fun way with short lessons
Coddy 是一款 gamified 编程学习应用,通过短时互动课程、浏览器内真实代码编辑器与 AI 助教 Bugsy,帮助初学者在多语言环境下真正坚持学完编程。
Keysake
78Learn English as you type Chinese
Keysake 是一款免费的 macOS 中文输入法,在用户输入中文时同步显示对应英文,帮助中文母语者在日常打字中自然学习英语。
Reflexio
78Behavioral learning that makes AI agents better over time
Reflexio 是一个 AI 智能体行为学习平台,通过记录用户纠错、路径失败和成功经验,让 AI 智能体在每次交互后持续自我优化,实现降低失败率 30% 以上并节省 60% 以上 Token 消耗。
Claude Academy
78The Official Learning Hub by Anthropic
Claude Academy 是 Anthropic 官方推出的 Claude AI 学习平台,提供从基础提示词到多智能体工作流的自学课程、开发者教程与官方认证路径。
CakewordAI
78Point at anything to learn its name in any language
CakewordAI 是一款面向儿童的语言学习应用,通过摄像头扫描现实物体,用 AI 识别并朗读该物体在目标语言中的名称,同时生成贴纸并记录词汇,帮助孩子在日常生活中自然习得外语词汇。
Koji by Brilliant
78A world-class personal tutor for every home
Brilliant 推出 AI 私教 Koji,通过提问引导、屏幕手绘和自适应学习方式,为每个家庭提供媲美顶级人类导师的个性化学习体验。
Scholé Learn by Building
76Learning should be more than "click next"
Scholé 是一款「边做边学」的 AI 学习伴侣,通过浏览器内的实时引导层覆盖在任意网站或软件界面上,陪用户直接操作真实工具完成任务,并把学到的东西沉淀进个人知识图谱——解决的问题是「看教程/问 AI 只是获得知识的感觉,而不是真正的技能」。
BrickGen.AI
74Turn any idea into a buildable brick model in minutes!
BrickGen.AI 是一个 AI 生成工具,把一句文字提示、一张照片或一个 3D 文件自动转换成可真实拼搭的积木模型,直接解决普通 AI 3D 生成结果「好看但拼不出来」的问题。
Stencil AI
74Turn any photo into a tattoo-ready stencil in seconds
Stencil AI 是一款面向纹身师和纹身爱好者的图像转换工具,能把任意参考照片在 30-60 秒内自动转成可用于转印的纹身模板(线稿),解决手工描图耗时、尺寸不准和版权不可商用的问题。
Tonefold
74Describe a song, get every part as editable MIDI
Tonefold 是一款免费开源的 AI 作曲桌面应用(macOS/Windows),用户用自然语言描述想要的歌曲,由 Claude 生成和弦、旋律、贝斯与鼓组,并以可逐音符编辑的钢琴卷帘形式呈现,最终可导出 MIDI、WAV 和分轨文件,解决 AI 音乐生成结果“听得见但改不动”的核心痛点。
Lecta
74Turn your class notes into games with friends
Lecta 是一款 AI 学习工具,把课堂笔记、讲义 PDF、板书照片或讲座录音自动转换成可与朋友对战的答题竞赛和游戏化测验,同时提供笔记、闪卡和 AI 导师等单人学习功能,解决学生复习枯燥、缺乏动力的问题。
Lianify
74Notes into a quiz game that predicts your exam-day recall.
Lianify 把学生上传的 PDF、照片或笔记自动转成摘要、闪卡和带原文引用的 20 道测验题,并基于 FSRS 记忆算法预测考试当天的记忆留存分数,告诉用户今天该复习什么;同时用「我很确定/不太确定」的自评机制和 50 层 RPG 爬塔游戏化设计,减少靠蒙对的假掌握。
FlexChords
74Turn any YouTube video into accurate, playable guitar chords
FlexChords 是一个 AI 音频分析工具,能把任意 YouTube 视频或音频文件在几秒内转成准确且与播放同步的吉他和弦,解决现有工具预测噪声大、需要付费墙的问题。
Gauth Unlimited Digital Canvas
74An AI tutor on an infinite whiteboard, not a chat thread
Gauth AI Course 把 AI 辅导从聊天窗口搬到无限画布上:课程内容以空间化方式在可缩放白板上展开,章节并排铺开,板书随 AI 语音同步书写,用户可随时暂停提问、AI 在对应步骤下方直接作答,并支持生成任意主题课程、导出 PDF 或分享链接。它要解决的是线性对话与幻灯片在讲解复杂知识时上下文易丢失、无法俯瞰全局的问题。
IntellAgents.io
74One AI agent for every call, chat, and DM
IntellAgents 用一个 AI 智能体统一接管企业的所有客户沟通渠道——接听与主动外呼电话、处理 WhatsApp、Instagram、Facebook、Telegram 及官网聊天,基于同一套知识库 24/7 运行并支持最多 36 种语言,替代企业为每个渠道单独采购工具的做法。
AINA
74Find your job search blind spots with an AI coach
AINA 是一款 AI 职业教练产品,通过视频虚拟形象对话帮助求职者发现求职盲点、优化个人档案并进行面试模拟练习,最终生成个性化行动计划。
Qalaris
74Slow down and learn Arabic calligraphy — reed pen + AI
Qalaris 是一款 iPad 应用,将 Apple Pencil 模拟成真实芦苇笔,结合物理墨水仿真与 AI 笔画分析,为用户提供阿拉伯书法的沉浸式学习体验。
Web Search Agents by Nimble
74Self-learning agents automate web research + retrieval
Nimble 的 Web Search Agents 是面向特定领域的自学习网络爬取与研究代理,能自动化网页研究与数据检索,为 AI 提供更深度、更相关的网络上下文信息。
Live Captions by Subanana
74Your whole audience follows, in their own language
实时多语言字幕工具,演讲者说一种语言,观众扫码即可在自己手机上用母语实时阅读或收听,并支持将字幕推流至 OBS/vMix 等直播软件。
Honen
74Automated teaching + learning infrastructure for any company
Honen 是一款面向企业的 AI 培训基础设施,能将团队知识自动转化为交互式课程,并在文档或流程变更时自动同步更新。
Knola
73Turn what you know into a video course. No camera needed.
Knola 让用户只需输入自己掌握的知识,就能自动生成一套完整的视频课程——包括课程文案、幻灯片、AI 配音或本人声音的讲解,并顺带产出电子书、销售漏斗、销售页和结账环节,主打“无需出镜、无需录制、一次付费、免费试用”。
ChalkTalk
72Narrated tutorial videos you can edit scene by scene
ChalkTalk 是一款 AI 驱动的技术教程视频生成工具,允许用户将复杂技术内容转化为可逐场景编辑的旁白视频,无需重新录制即可修改任意片段。
chalk
72learn anything, anywhere
Chalk 是一款 AI 驱动的学习工具,通过屏幕感知、语音引导和互动课程让用户在 Mac 上随时随地学习任何内容。
Corodomo
72Turn any video into a language lesson with AI
Corodomo 利用 AI 将 YouTube 视频、动漫和播客转化为日语、英语、中文和韩语的互动语言学习课程,提供发音评分、听写练习、单词卡片和口语陪练等功能。
AlgoCademy
72AI mock interviews: coding, code reading and system design
AlgoCademy 是一个 AI 驱动的编程面试模拟平台,提供算法编程、代码阅读和系统设计三类面试练习,帮助开发者备战技术面试。
Voxel51 Multimodal
72Better data. Smarter robots. Repeat.
Voxel51是一个端到端多模态数据平台,帮助机器人开发者分析视频和传感器数据,快速定位机器人失败原因并优化训练数据以提升模型性能。
Masteriyo LMS
72The free LMS for WordPress: build, sell and teach courses
Masteriyo 是一款免费的 WordPress LMS 插件,帮助用户在自己网站上搭建、销售和教授在线课程,无需支付佣金。
Coachare
72Your potential. Unlocked.
Coachare 是一个 AI 驱动的领导力教练平台,帮助管理者通过模拟对话练习来提升沟通技巧和领导能力,并在需要时连接真人专业教练。
Overmind
72Open-source platform for continuous learning
Overmind 是一个开源的 AI 模型训练平台,帮助 AI 团队将生产环境的 traces 转化为专属的微调模型,并提供训练、基准测试和部署一体化服务。
Oyelo
72Dub any video into your language, free, right in Chrome
Oyelo 是一款免费 Chrome 扩展,可将 YouTube、Udemy、Coursera 等平台的视频实时配音翻译成用户母语,并支持会议/直播的双向实时语音翻译,覆盖 70+ 语言,无需注册账号。
Tomo for ChatGPT
72Ask anything. Then play it, Duolingo-style.
Tomo 是一个 ChatGPT 插件,能将任意话题的对话即时转化为 Duolingo 风格的互动问答游戏,让用户在娱乐中学习任何知识。
TeddyReads
72Storybooks starring your child, read in your voice
TeddyReads 允许父母上传照片和声音录音,AI 生成以孩子为主角、用父母声音朗读的定制插画故事书,解决父母不在场时无法亲自讲故事的问题。
Parley Notes
72AI notes for every meeting, in person or online
Parley Notes 是一款跨平台 AI 会议记录工具,通过手机、电脑或浏览器原生录音(无需机器人加入会议),自动生成贴合场景的差异化笔记,并支持对历史讨论内容进行跨会议检索问答。
Maya Tutor
72AI private tutor that turns homework into a magical game
Maya Tutor 是一款面向儿童的 AI 私人导师,家长只需告知孩子在校所学内容,它就能把数学、阅读、科学和英语等课程转化为游戏化的魔法冒险世界,按年级和语言适配,从而用趣味性解决孩子写作业动力不足、家长无力陪读的问题。
ngram 2.0
72Create explainers, screencasts, and AI avatar videos
ngram 是一款 AI 视频生成工具,把文档、录屏和现有视频自动转化为带旁白的讲解视频、产品演示或 AI 数字人播报视频,并通过对话式编辑让用户持续修改成片。
LoWisa
72Learn with AI, without becoming dependent on it
LoWisa 是一款主打「反依赖」的 AI 辅导应用,把用户的笔记、课件或白板照片转化成会讲解错题的测验、闪卡和可离线收听的雙主播播客,同时为教师和社群提供 AI 规划课程的 Cohort 学习小组,并支持口语/面试练习与 IDE 内的编程辅导,目前在 Android 和 iPhone 上免费提供。
vibe-learn
72Learn while you vibe code — a tutor skill for Claude Code
vibe-learn 是一个免费开源的 Claude Code 技能,在 AI 帮你写代码的同时自动插入简短的知识讲解、Bug 归因分析与心智模型,让「vibe coding」的用户在交付代码的同时真正理解代码,解决 AI 代写导致的技能空心化问题。
Squint
72Drag a box on your screen and ask AI about it
Squint 是一款屏幕框选即时问答工具:按下热键在屏幕任意位置拖出选框,AI 直接在选框旁给出答案并支持追问,把传统「截图→切标签页→上传→再切回来」的四步流程压缩成一步,解决屏幕内容提问时上下文切换过重的问题。
UIDCaption
72Automatic and animated captions, completely offline
UIDCaption 是一款 Windows 本地运行的自动字幕工具,导入视频后即可生成带动画效果的字幕并在可视化编辑器中修改导出,全程无需上传云端,主要解决创作者对字幕制作效率与素材隐私的双重顾虑。
GuruKool
72An AI teacher that teaches, not just answers.
GuruKool 是一款面向 5–10 年级学生的 AI 私人教师,把课本章节转化为带语音、图像、提问和自适应讲解的互动课程,强调按步骤真正把概念讲明白,而不只是给出答案。
CreatePPTX
72From a topic or file to a PPT you can keep editing
CreatePPTX 是一款 AI 驱动的 PPT 生成工具,支持从主题、PDF、Word 或旧 PPT 生成可真正编辑的 PowerPoint 文件,解决了大多数 AI 幻灯片工具输出无法二次编辑的痛点。
Hakken
72A course built for you, not the average of everyone
Hakken 是一款 AI 个性化课程生成工具,通过面试用户的已有知识和时间情况,为其量身定制学习课程,并支持将课程转为播客形式收听,同时配备 AI 导师实时答疑和动态调整课程内容。
Reeno
72AI calls you randomly to practice speaking a new language
Reeno 是一款通过 AI 随机来电的方式,帮助用户在日常生活中自然练习外语口语的移动应用。
Skoo
72Pakistan's AI-powered school management system
Skoo 是一款专为巴基斯坦私立学校打造的 AI 驱动学校管理系统,集招生、收费、考勤、考试、薪资及 AI 题库生成于一体,内置本地支付方式并支持离线使用。
myAIcademy
72Learn AI skills for your specific role and team
myAIcademy 是一个面向职场人士的个性化 AI 技能培训平台,根据用户角色和使用工具定制学习路径,并通过 AI 助手 Aimy 提供实时指导和工具模拟练习。
Gauth AI Course
72AI courses you can watch, quiz through, and create
Gauth AI Course 将任何学科转化为交互式课程,目前提供200+门AI数学课程,支持视觉化学习、思维导图、主动回忆测验,并可随时向AI导师提问或自主生成个性化课程。
Creatium Coach
72Your multimedia mentor that takes you from mid to great
Creatium Coach 是一款 AI 驱动的多媒体学习教练,通过模拟、视频和角色扮演帮助个人及企业用户设定并达成职业或个人目标,效果媲美一对一真人辅导。
Orato
72Practice speaking with AI.
Orato 是一款 AI 口语练习教练应用,帮助用户通过结构化演讲训练提升表达能力,并获得节奏、流畅度、词汇和连贯性等维度的即时评分反馈。
Wondering Canvas
72Visual ChatGPT in Parallel
Wondering Canvas 是一款可视化 AI 对话画布工具,允许用户在同一界面中并行展开多个 AI 聊天线程,通过交互式图表而非纯文字来理解复杂概念,并支持从任意关键词衍生出新的探索线程。
Anything Piano
72Learn any song on piano
Anything Piano 是一款 AI 钢琴学习应用,允许用户输入任意音频或视频链接,自动生成钢琴卷帘教程并实时检测演奏准确性,突破了传统钢琴学习应用依赖固定曲库的限制。
Gemini for Students
72Introducing 1 Year Free Google AI for College Students
谷歌面向全球在校大学生提供一年免费 Gemini AI Pro/Plus 订阅及专属学生学习中心,以抢占学生用户市场。
Glasp for Firefox
72Highlight and summarize any page, PDF, or video in Firefox
Glasp 是一款 Firefox 浏览器扩展,支持对网页、PDF 和 YouTube 视频进行高亮标注、笔记管理,并借助 ChatGPT/Claude/Gemini 生成摘要,所有内容同步至统一知识库并可导出到 Notion/Obsidian 等工具。
Curie AI
72The AI workspace for papers, citations & literature reviews.
Curie AI 是一个面向严肃学术研究者的 AI 工作台,支持文献检索、系统综述、引用管理和论文写作全流程,每个 AI 生成的观点均可追溯至原始文献。
AI 教育 · KOL 观点
Karpathy 观察到 AI 各子领域(视觉、语音、NLP、强化学习)正经历深度架构统一,Transformer 已成为几乎所有任务的通用框架,差异仅剩数据、输入输出规范及少量结构细节。这种架构大一统将使跨领域思想快速迁移,并进一步集中软硬件资源,从而加速整体 AI 进步。
Andrej Karpathy 提出「英语是最热门的新编程语言」这一论断,并通过多个案例(GPT-3上下文学习、Chain-of-Thought提示、ChatGPT虚拟机、Bing系统提示泄露等)论证:LLM本质上是可在运行时通过自然语言重新配置的通用计算机,提示词(Prompt)就是程序,英语就是编程语言。他还指出GPT的本质是「模仿」而非「想要成功」,因此提示词设计需明确引导其目标行为。
Andrej Karpathy总结了2025年AI领域六大范式转变,包括基于可验证奖励的强化学习(RLVR)、Vibe Coding等核心技术突破。RLVR通过在可自动验证奖励的环境中训练LLM,使模型自发形成类人推理策略,成为2025年最重要的训练技术革新。这些转变从根本上改变了大语言模型的训练范式和能力边界。
Karpathy 认为 AI 训练范式正经历第三次转型:从预训练(互联网文本)到监督微调(对话数据),再到如今的强化学习时代(环境交互)。他看好「环境」作为核心训练资产的未来,但对 RL 本身持保留态度,认为奖励函数存在根本性缺陷,人类学习方式远比 RL 高效,真正的突破尚未到来。
Andrej Karpathy在这场演讲中系统梳理了编程范式的三次演进:传统代码(Software 1.0)、神经网络训练(Software 2.0)到自然语言提示大模型(Software 3.0)。他深入讲解了Transformer架构的历史与原理,并通过nanoGPT展示了GPT-2的300行极简实现。演讲兼顾理论深度与工程实践,是理解现代AI工程体系的高质量入门与进阶材料。
Karpathy 发布开源项目 nanochat,用约 8000 行依赖极简的代码实现了从一个 ChatGPT 克隆的完整全栈流程:Rust 分词器训练、FineWeb 预训练、SmolTalk 中途训练、SFT、基于 GSM8K 的 GRPO 强化学习,以及带 KV cache 和工具调用的推理引擎与类 ChatGPT WebUI。核心卖点是成本与门槛极低——约 100 美元 / 4 小时即可训练出一个能聊天的模型,约 12 小时超过 GPT-2 的 CORE 指标,约 1000 美元 / 41.6 小时可获得能解简单数学与代码题、MMLU 进入 40 分段的模型。定位是 LLM101n 的毕业项目,并希望像 nanoGPT 一样成长为研究脚手架或基准。
Andrej Karpathy 在其个人博客中探讨 AI/LLM 领域的前沿思考,包括对 LLM 作为'首次接触非动物智能'的哲学性判断、2025年LLM年度范式变迁回顾(RLVR等),以及用 Claude Opus 5.5 自建 YouTube 替代品的实践尝试。内容兼具深度研究视角与动手实验精神,是目前 AI 领域最具参考价值的个人博客之一。
Andrej Karpathy 指出99%的人错误使用AI和LLMs,核心在于缺乏对模型工作原理的正确心智模型。文章系统讲解了上下文窗口、预训练与后训练的区别、模型分层选择、深度研究功能及Python解释器工具的正确使用方式。掌握这些底层逻辑,才能真正发挥LLM的最大效用。
Karpathy 用一个“漏斗模型”刻画了不同人群对 LLM 能力的认知鸿沟:约 60 亿人几乎没接触过 LLM,10-20 亿人只把免费版聊天机器人当成更好的搜索和写作工具,约 2000 万数学/编程从业者已亲眼见证 agent 在数周内完成过去数月的工作,而真正接触前沿内部系统的可能只有约 5000 人,看到的已是数千 agent 协作数周完成软件巨型项目、挖掘零日漏洞、推进数学前沿。他强调这个鸿沟正在扩大而非缩小,成因在于 LLM 的收益随问题的规模与时间跨度放大,同时能力分布高度“锯齿化”——峰值出现在数字化、可验证、有经济价值的领域,因为能力来自可验证奖励的强化学习。
Karpathy 在斯坦福的一场 1 小时讲座中,把 AI 工程从零拆解为五层递进结构:10% 把 LLM 当作可运行时重编程的通用计算机,30% 用自然语言写「程序」(Prompt),30% 用目标、上下文、记忆与工具把模型包装成 Agent,20% 区分内循环(从上下文学习)与外循环(训练更新权重),10% 用有向图上的数据依赖消息传递来组织通信。转发者进一步指出另一篇文章「Harness Engineering」的观点:Agent 失败时重写 Prompt 是解错了层,可靠性来自新增一层 harness——上下文、安全工具、持久状态、验证与恢复。
Karpathy 提出阅读 LLM 输出的'阶梯'框架:从 ASD-STE100 受控英语(航空维修手册式极简英文)写成的说明文字,逐级上升到图示、HTML 页面,再到用 ElevenLabs 配音、3Blue1Brown 风格的定制讲解视频。他的核心判断是:随着模型越来越多地独立完成任务,人类的工作重心上移到监督与验收,因此'让输出变得可被人理解'正取代生成能力本身成为新的瓶颈。
Karpathy 在 No Priors 访谈中给出一个锚点式判断:2025 年 12 月后他的编程方式从「80% 自己写、20% 委托 agent」翻转为「20/80」,并由此提出 token throughput 这一新的个人能力指标——瓶颈已从算力转向「会不会调度 agent」。他进一步描绘了多 agent 并行协作(Peter Steinberg 的 10 个 Codex repo)、从会话式 agent 到具备持久性/记忆/沙箱的「claw」实体、以及 Dobby 家庭自动化等落地案例,讨论 AI 能力边界的 jaggedness、speciation 与 frontier lab 悖论。
Andrej Karpathy 与 Sarah Guo 深度对话,探讨 AI 代理(Code Agents)的现状与未来,重点介绍其 AutoResearch 项目——让 AI 代理自主完成实验设计、数据收集和模型优化的闭环研究流程。同时讨论了自然语言编程的二阶效应、AI 时代的相关技能、模型分化(Model Speciation)以及 AI 对就业市场的影响。
Andrej Karpathy 是前 Tesla AI 总监、OpenAI 联合创始人,其博客涵盖深度学习原理、强化学习、比特币底层实现及 AI 科幻短篇等内容。文章风格以从零实现、深度教程为主,兼具学术严谨性与工程实用性。博客内容跨越多年,记录了深度学习领域从早期 RNN 到现代 GPT 的演进轨迹。
Andrej Karpathy 探讨了 AI 代码智能体的现状与未来,重点介绍了其 AutoResearch 项目——一个能够自主完成 AI 研究闭环(实验设计、数据收集、训练优化)的智能体系统。他还深入分析了自然语言编程的二阶效应、AI 时代的相关技能演变、模型物种化趋势以及对就业市场的影响。
Karpathy认为AI Agent距离真正成熟还需十年,当前缺乏持续学习、长期记忆和完整认知结构等核心能力。他批评现有LLM在复杂代码生成上存在明显局限,无法理解架构意图。他认为AI的未来突破在于认知结构重建,而非简单的功能堆叠或算力扩展。
Karpathy 认为当前 AI 记忆机制(prompt compaction、外部记忆)只是粗糙的早期方案,可以通过将记忆操作作为 RL 工具来优化。他进一步指出,真正令人兴奋的方向是类似人类睡眠中发生的基于权重更新的长期记忆,但这超出了现有生产栈的范畴,属于更前沿的研究领域。
Karpathy在YC AI创业学校演讲中提出「软件3.0」框架,将LLM类比为操作系统而非商品,强调提示词已成为新的编程语言。他指出AI自动化需满足感知、行动、监督三个前提,并警告从演示到成熟产品之间存在巨大鸿沟,认为这是「代理人的十年」而非一年。
Claude Code凭借软件领域独有的可验证奖励机制(编译器+测试套件)实现了强化学习的突破,成为史上最快达到十亿美元年化营收的软件产品。文章核心论点是:代码之所以率先被AI攻克,不是因为编程简单,而是因为它是极少数拥有客观评分函数的知识工作领域。这一结构性优势正在向其他行业蔓延,关键在于谁能为下一个领域构建'答案钥匙'。
Andrej Karpathy 于2026年3月发布了一个约30行代码的AI自动化研究原型,让智能体自主编辑训练代码、运行实验并迭代优化,两天内完成700次实验,将GPT-2训练时间缩短11%。随后他加入Anthropic,将这一循环引入Claude的预训练流程,目标是用AI替代人工ML研究者加速训练优化的发现过程。
Karpathy 复盘了他参加 Dwarkesh 播客后的争议点,重申自己的 AGI 时间线比硅谷主流『机房派对式』预期悲观 5-10 倍,但相比日益壮大的怀疑派仍属乐观,核心表述是『智能体的十年(decade of agents)』。他用『动物 vs 幽灵』的框架反驳 Sutton 式的单一通用学习算法:动物由进化预装了大量智能,而 LLM 是通过预测下一个 token 从互联网上『预装』智能,因而更像幽灵而非动物,需要工程化地向动物靠拢。此外他再次批评 RL——监督信号像『用吸管喝汤』,且奖励噪声大,可能鼓励错误 token、惩罚正确的洞察 token。
Andrej Karpathy 在 Dwarkesh 播客中给出了与当下 AGI 狂热相反的审慎判断:距离 AGI 至少还有十年,核心瓶颈不在算力堆叠,而在持续学习、多模态深度融合与主动探索等 Scaling Law 无法直接解决的问题。他借用卡尼曼的“系统1/系统2”框架指出 LLM 只是擅长直觉式模式匹配的“早期弱智能体”,并用自己构建 nanochat 的经历说明 LLM 在理解代码设计哲学上的根本缺陷。
Karpathy指出AI能力认知存在严重分裂:使用免费版ChatGPT的普通用户与使用顶级付费Agent工具的技术专业人员,实际上在讨论'完全不同的产品'。技术领域的AI进步尤为显著,原因在于可验证的奖励函数使强化学习更有效,且B2B商业价值更高。两类用户群体之间存在根本性的认知鸿沟,导致对AI现状的判断南辕北辙。
Karpathy回顾了他在OpenAI的'World of Bits'项目——一个比当前Agent浪潮早五年的失败尝试,核心原因是技术尚未成熟。他警告Agent容易演示但难以产品化(类比自动驾驶和VR),同时鼓励当前的Agent开发者:他们正处于能力前沿,甚至领先于大型实验室。
Andrej Karpathy 回顾了 AI Agent 从早期强化学习失败到以大语言模型为基础的演进历程,指出构建可靠 Agent 产品需要数十年积累,并提出 AGI 可能以多 Agent 协作组织的形式出现,而非单一智能体。他还探讨了神经科学对 Agent 记忆与规划设计的启示。
GPT's Learning Principles and Applications | Andrej Karpathy — Andrej Karpathy | CEOInterviews.AI
82Andrej Karpathy在Microsoft Build 2023的演讲中系统讲解了GPT的四阶段训练流程:预训练、SFT、奖励建模和RLHF,并深入分析了LLM与人类认知的本质差异。他强调LLM是token模拟器而非真正的推理者,建议开发者优先使用GPT-4、采用思维链提示等技术,并在低风险场景中配合人工监督使用。演讲还涵盖了RAG、工具使用、幻觉局限等实用应用指导。
Andrej Karpathy 指出99%的人在使用AI和大语言模型时方式错误,并分享了他认为正确的使用方法。作为AI领域顶级专家,他的观点对普通用户和开发者如何更有效地利用LLM具有重要指导意义。该内容以视频形式呈现,时长约125分钟,信息量较为丰富。
文章梳理了 Andrej Karpathy 关于「软件正在再次改变」的演讲,把软件开发划分为三个时代:人类手写代码的 Software 1.0、靠数据训练神经网络的 Software 2.0,以及用自然语言提示大模型来生成程序的 Software 3.0。作者认为 LLM 已是新的「可编程计算机」,vibe coding 正在把应用开发的门槛拉到普通人级别,因此程序员、尤其是学生必须同时熟悉三种范式,并转向围绕 UX 与快速验证回路来设计产品。Karpathy 同时给出「给 AI 系上绳子、别对全自主 Agent 过度兴奋」的克制判断,主张做增强人的钢铁侠战衣,而非替代人的机器人。
Andrej Karpathy指出持续学习(Continual Learning)是当前大型语言模型最明显的技术短板,核心障碍是'灾难性遗忘'问题——微调新数据会覆盖已有能力。他估计解决这一认知局限还需约十年时间,当前研究路径已分化为外部记忆系统、上下文工程、持续后训练和持续预训练四大方向,未来方案可能是多技术融合而非单一方法。