Andrej Karpathy：如何高效使用 LLM

每个人都在探索新的工作流，我们正处于一个巨大的变革时代。 —— Andrej Karpathy

原文：How I use LLMs - Andrej Karpathy

how-i-use-llm

核心心智模型

LLM 是什么

把 LLM 想象成一个完整的独立实体——一个互联网的"概率压缩包"，通过神经网络将海量信息"压缩"而成。

比喻：LLM 像一个读过图书馆所有书但有点健忘的初级实习生

• 他们知道很多，但可能记错细节
• 工作最好时：你给清晰的例子、指定具体文档、高风险时复查

Token 与上下文窗口

每次交互都在构建一个一维的 token 序列。

• 上下文窗口 = 模型的"工作记忆"
• Karpathy 的建议：经常开启新对话，保持窗口清洁
  • 过多 token 会分散模型注意力
  • 增加 API 成本

模型的两个训练阶段

知识截止：由于预训练成本高昂，模型缺乏对最新事件的了解——需要外部工具。

生态系统与"思考"模型

主要竞争者

"思考"模型的突破

通过强化学习训练的新一代模型（如 OpenAI o1/o3、DeepSeek R1）：

• 内在独白：在生成答案前进行"思考"
• 应用场景：复杂数学、编程挑战
• 代价：响应时间延长至数分钟

高级工具使用

互联网搜索与深度研究

互联网搜索：将实时信息拉入上下文窗口。

深度研究（Deep Research）：

• 执行数十次搜索
• 耗时数分钟
• 生成带引用的详细报告

编程与"Vibe Coding"

Python 解释器：

• 精确数学计算
• 数据可视化

"Vibe Coding" —— Karpathy 的专业工作流：

• 使用自主代理（如 Cursor）
• 执行高层级命令
• 跨多个文件编辑代码
• 人类角色：提供总体方向

阅读与可视化

学术论文总结：快速提取核心观点。

"共同阅读"书籍：

• 例如《国富论》
• 使用 Claude Artifacts 生成概念图
• 可视化复杂论证结构

多模态与个性化

语音能力

视觉能力

Karpathy 的实际应用：

• 转录营养标签
• 解读血液检测报告
• 解释表情包

记忆与定制

记忆库（Memory Bank）：

• 保存个人偏好
• 跨对话持久化

自定义 GPT：

• 用特定指令"编程"
• 少样本提示（few-shot prompting）
• 示例：韩英翻译助手

构建你的 AI 委员会

Karpathy 的最终建议：在不同平台上导航，构建你的个人 "AI 助手委员会"。

使用原则

1. 明确任务：每个 AI 助手各有专长
2. 提供上下文：给清晰的例子和文档
3. 验证结果：高风险时必须复查
4. 保持更新：生态系统变化极快

推荐工作流

快速问答      → ChatGPT/Claude
代码编写      → Cursor + GPT
深度研究      → Perplexity/Deep Research
数据分析      → Claude + Python
语言学习      → 自定义 GPT
创意头脑风暴  → 多个模型对比

tl;dr

延伸阅读

• Andrej Karpathy's YouTube
• Introduction to Large Language Models
• Let's build GPT: from scratch, in code, spelled out