/// ALL_POSTS

从零构建大模型 (1) · 理解大语言模型

1.理解大语言模型

2026 年 06 月 03 日 AI 早报

每日 AI 领域重要动态

从零构建大模型 (2) · 处理文本数据

2.处理文本数据

从零构建大模型 (3) · 实现注意力机制

从零构建大模型 (4) · 从零实现 GPT 模型

4.从零开始实现一个用于文本生成的 GPT 模型

从零构建大模型 (6) · 分类任务微调

6.用于分类任务的微调

从零构建大模型 (5) · 无标记数据预训练

5.在无标记数据集上进行预训练

从零构建大模型 (7) · 指令遵循微调

7.指令遵循微调

从零构建大模型 · 附录A · PyTorch 简介

附录A. PyTorch简介

从零构建大模型 · 附录B · 参考文献和扩展阅读

从零构建大模型 · 附录D · 训练循环高级技巧

附录D. 给训练循环添加高级技巧

从零构建大模型 · 附录C · 习题解答

2026 年 06 月 03 日 每日激励 | 坚韧

每日一句励志名言，给你前行的力量

从零构建大模型 · 附录E · LoRA 参数高效微调

附录E. 使用LoRA的参数高效微调

健康消费观 #011 | 一瓶酱油的钠含量有多高？一顿外卖可能吃掉两天的盐

拆解日常饮食中的隐形盐——从酱油到外卖，用数据告诉你，你每天都在不知不觉中超标吃盐

2026 年 06 月 02 日 AI 早报

每日 AI 领域重要动态

2026 年 06 月 02 日 每日激励 | 勤奋

每日一句励志名言，给你前行的力量

2026 年 06 月 01 日 每日激励 | 坚持

每日一句励志名言，给你前行的力量

2026 年 06 月 01 日 AI 早报

每日 AI 领域重要动态

2026 年 05 月 31 日 AI 早报

每日 AI 领域重要动态

2026 年 05 月 31 日 每日激励 | 思考

每日一句励志名言，给你前行的力量

2026 年 05 月 30 日 每日激励 | 决心

每日一句励志名言，给你前行的力量

2026 年 05 月 30 日 AI 早报

每日 AI 领域重要动态

2026 年 05 月 29 日 AI 早报

每日 AI 领域重要动态

2026 年 05 月 29 日 每日激励 | 热爱

每日一句励志名言，给你前行的力量

2026 年 05 月 28 日 AI 早报

每日 AI 领域重要动态

2026 年 05 月 28 日 每日激励 | 奉献

每日一句励志名言，给你前行的力量

2026 年 05 月 27 日 AI 早报

每日 AI 领域重要动态

2026 年 05 月 27 日 每日激励 | 专注

每日一句励志名言，给你前行的力量

健康消费观 #010 | 一杯全糖奶茶里有多少块方糖？答案可能让你放下杯子

拆解奶茶的糖分真相——从全糖到无糖，用方糖块数告诉你，你最爱的那杯到底有多甜

2026 年 05 月 26 日 AI 早报

每日 AI 领域重要动态

2026 年 05 月 26 日 每日激励 | 稳健

每日一句励志名言，给你前行的力量

2026 年 05 月 25 日 AI 早报

每日 AI 领域重要动态

附录A：PyTorch 速览

张量、自动求导、Dataset/DataLoader、GPU

附录D：训练循环增强

学习率热身、余弦衰减、梯度裁剪

附录E：LoRA 参数高效微调

LoRA 原理与最小实现

第2章：文本数据处理

分词、BPE、滑窗采样、嵌入与位置编码

第1章：理解大语言模型

弄清 LLM 的范式、训练阶段与 Transformer 角色

第1章补充材料：扩展阅读与注释

来自 MLNLP-World 和 Datawhale 中文翻译项目的扩展知识点

第2章补充材料：文本数据处理扩展

来自中文翻译项目的扩展知识点：BPE深入、嵌入直觉、数据采样

第3章：注意力机制

自注意力、因果掩码、多头注意力的逐步实现

第4章：从零实现GPT模型

残差、LayerNorm、GELU、Transformer Block 拼装

第3章补充材料：注意力机制扩展

来自中文翻译项目的扩展知识点：注意力机制原理详解、多头注意力

第4章补充材料：GPT架构深度剖析

来自中文翻译项目的扩展知识点——残差连接、LayerNorm、GELU激活函数的深入理解与性能分析

第5章：在无标注数据上预训练

损失函数、训练循环、采样策略、权重加载

第5章补充材料：预训练进阶技术

来自中文翻译项目的扩展知识点——学习率调度、GPT权重加载、GPT→Llama架构转换

第7章：指令微调

指令数据格式、对齐式训练、初步评估

第6章补充材料：微调策略与IMDB分类实验

来自中文翻译项目的扩展知识点——微调策略对比、IMDB情感分类实验、模型横向评测

第6章：分类微调

替换输出头、冻结/解冻、评估垃圾邮件分类

第7章补充材料：指令微调进阶与DPO偏好优化

来自中文翻译项目的扩展知识点——DPO偏好微调、合成数据集生成、模型评估方法

从零构建大语言模型 · 中文课件

参考 rasbt/LLMs-from-scratch 章节结构，用中文重新撰写的原创教学讲义。适合有 Python 和基础深度学习经验的开发者。

2026 年 05 月 25 日 每日激励 | 转机

每日一句励志名言，给你前行的力量

2026 年 05 月 24 日 AI 早报

每日 AI 领域重要动态

2026 年 05 月 24 日 每日激励 | 感恩

每日一句励志名言，给你前行的力量

2026 年 05 月 23 日 每日激励 | 使命

每日一句励志名言，给你前行的力量

2026 年 05 月 23 日 AI 早报

每日 AI 领域重要动态

2026 年 05 月 22 日 每日激励 | 幸运

每日一句励志名言，给你前行的力量

2026 年 05 月 22 日 AI 早报

每日 AI 领域重要动态

2026 年 05 月 21 日 AI 早报

每日 AI 领域重要动态

2026 年 05 月 21 日 每日激励 | 坚韧

每日一句励志名言，给你前行的力量

2026 年 05 月 20 日 每日激励 | 开始

每日一句励志名言，给你前行的力量

2026 年 05 月 20 日 AI 早报

每日 AI 领域重要动态

2026 年 05 月 19 日 AI 早报

每日 AI 领域重要动态

健康消费观 #009 | 外卖满减的数学陷阱：你以为省了30%，其实多花了50%

拆解外卖平台的满减套路——凑单、红包、会员，到底是谁在薅谁的羊毛？

2026 年 05 月 19 日 每日激励 | 进步

每日一句励志名言，给你前行的力量

2026 年 05 月 18 日 AI 早报

每日 AI 领域重要动态

2026 年 05 月 18 日 每日激励 | 坚持

每日一句励志名言，给你前行的力量

2026 年 05 月 17 日 AI 早报

每日 AI 领域重要动态

2026 年 05 月 17 日 每日激励 | 远见

每日一句励志名言，给你前行的力量

2026 年 05 月 16 日 AI 早报

每日 AI 领域重要动态

2026 年 05 月 16 日 每日激励 | 希望

每日一句励志名言，给你前行的力量

2026 年 05 月 15 日 每日激励 | 梦想

每日一句励志名言，给你前行的力量

2026 年 05 月 15 日 AI 早报

每日 AI 领域重要动态

2026 年 05 月 14 日 AI 早报

每日 AI 领域重要动态

2026 年 05 月 14 日 每日激励 | 务实

每日一句励志名言，给你前行的力量

2026 年 05 月 13 日 每日激励 | 学习

每日一句励志名言，给你前行的力量

2026 年 05 月 13 日 AI 早报

每日 AI 领域重要动态

2026 年 05 月 12 日 AI 早报

每日 AI 领域重要动态

健康消费观 #008 | 0糖饮料真的0糖吗？代糖的隐藏代价

标榜「0糖0卡」的饮料越来越火，但代糖真的无害吗？拆解你每天喝进去的「甜味骗局」

2026 年 05 月 12 日 每日激励 | 学习

每日一句励志名言，给你前行的力量

2026 年 05 月 11 日 AI 早报

每日 AI 领域重要动态

2026 年 05 月 11 日 每日激励 | 坚持

每日一句励志名言，给你前行的力量

2026 年 05 月 10 日 每日激励 | 抗争

每日一句励志名言，给你前行的力量

2026 年 05 月 10 日 AI 早报

每日 AI 领域重要动态

2026 年 05 月 09 日 每日激励 | 艺术

每日一句励志名言，给你前行的力量

2026 年 05 月 09 日 AI 早报

每日 AI 领域重要动态

2026 年 05 月 08 日 AI 早报

每日 AI 领域重要动态

2026 年 05 月 08 日 每日激励 | 积累

每日一句励志名言，给你前行的力量

2026 年 05 月 07 日 AI 早报

每日 AI 领域重要动态

2026 年 05 月 07 日 每日激励 | 谦逊

每日一句励志名言，给你前行的力量

2026 年 05 月 06 日 AI 早报

每日 AI 领域重要动态

2026 年 05 月 06 日 每日激励 | 积累

每日一句励志名言，给你前行的力量

2026 年 05 月 05 日 每日激励 | 努力

每日一句励志名言，给你前行的力量

健康消费观 #007 | 一杯星冰乐，等于吃了几块方糖？

午后想来杯星冰乐提神？用数据告诉你，这杯「液体甜点」的含糖量有多惊人

2026 年 05 月 05 日 AI 早报

每日 AI 领域重要动态

2026 年 05 月 04 日 AI 早报

每日 AI 领域重要动态

2026 年 05 月 04 日 每日激励 | 坚持

每日一句励志名言，给你前行的力量

2026 年 05 月 03 日 AI 早报

每日 AI 领域重要动态

2026 年 05 月 03 日 每日激励 | 行动

每日一句励志名言，给你前行的力量

2026 年 05 月 02 日 AI 早报

每日 AI 领域重要动态

2026 年 05 月 02 日 每日激励 | 信念

每日一句励志名言，给你前行的力量

2026 年 05 月 01 日 AI 早报

每日 AI 领域重要动态

2026 年 05 月 01 日 每日激励 | 坚持

每日一句励志名言，给你前行的力量

2026 年 04 月 30 日 每日激励 | 坚持

每日一句励志名言，给你前行的力量

2026 年 04 月 30 日 AI 早报

每日 AI 领域重要动态

2026 年 04 月 29 日 AI 早报

每日 AI 领域重要动态

2026 年 04 月 29 日 每日激励 | 开拓

每日一句励志名言，给你前行的力量

2026 年 04 月 28 日 AI 早报

每日 AI 领域重要动态

健康消费观 #006 | 一包薯片，要跳多久绳才能消耗掉？

追剧时不知不觉吃完一包薯片？用数据告诉你，这包薯片的真实热量代价

2026 年 04 月 28 日 每日激励 | 坚持

每日一句励志名言，给你前行的力量

2026 年 04 月 27 日 AI 早报

每日 AI 领域重要动态

2026 年 04 月 27 日 每日激励 | 梦想

每日一句励志名言，给你前行的力量

2026 年 04 月 26 日 每日激励 | 爱国

每日一句励志名言，给你前行的力量

2026 年 04 月 26 日 AI 早报

每日 AI 领域重要动态

2026 年 04 月 25 日 AI 早报

每日 AI 领域重要动态

2026 年 04 月 25 日 每日激励 | 志向

每日一句励志名言，给你前行的力量

2026 年 04 月 24 日 AI 早报

每日 AI 领域重要动态

2026 年 04 月 24 日 每日激励 | 自信

每日一句励志名言，给你前行的力量

2026 年 04 月 23 日 AI 早报

每日 AI 领域重要动态

2026 年 04 月 23 日 每日激励 | 坚持

每日一句励志名言，给你前行的力量

2026 年 04 月 22 日 每日激励 | 心境

每日一句励志名言，给你前行的力量

2026 年 04 月 22 日 AI 早报

每日 AI 领域重要动态

2026 年 04 月 21 日 AI 早报

每日 AI 领域重要动态

健康消费观 #005 | 一杯奶茶=跑多少公里？续命水的真实代价

打工人离不开奶茶，但你知道一杯奶茶的热量需要跑多久才能消耗掉吗？用数据拆解奶茶的真相

2026 年 04 月 21 日 每日激励 | 爱国

每日一句励志名言，给你前行的力量

2026 年 04 月 20 日 每日激励 | 乐观

每日一句励志名言，给你前行的力量

2026 年 04 月 20 日 AI 早报

每日 AI 领域重要动态

2026 年 04 月 19 日 每日激励 | 救赎

每日一句励志名言，给你前行的力量

2026 年 04 月 19 日 AI 早报

每日 AI 领域重要动态

2026 年 04 月 18 日 AI 早报

每日 AI 领域重要动态

2026 年 04 月 18 日 每日激励 | 思考

每日一句励志名言，给你前行的力量

2026 年 04 月 17 日 AI 早报

每日 AI 领域重要动态

2026 年 04 月 17 日 每日激励 | 珍惜

每日一句励志名言，给你前行的力量

2026 年 04 月 16 日 AI 早报

每日 AI 领域重要动态

2026 年 04 月 16 日 每日激励 | 坚持

每日一句励志名言，给你前行的力量

2026 年 04 月 15 日 每日激励 | 坚持

每日一句励志名言，给你前行的力量

2026 年 04 月 15 日 AI 早报

每日 AI 领域重要动态

2026 年 04 月 14 日 AI 早报

每日 AI 领域重要动态

2026 年 04 月 14 日 每日激励 | 稳健

每日一句励志名言，给你前行的力量

健康消费观 #004 | 外卖麻辣烫，怎么点才能不到500大卡？

麻辣烫是打工人的灵魂美食，但一顿轻松破1000大卡。教你科学点法，解馋又控卡

2026 年 04 月 13 日 AI 早报

每日 AI 领域重要动态

2026 年 04 月 13 日 每日激励 | 努力

每日一句励志名言，给你前行的力量

2026 年 04 月 12 日 AI 早报

每日 AI 领域重要动态

2026 年 04 月 12 日 每日激励 | 信念

每日一句励志名言，给你前行的力量

2026 年 04 月 11 日 每日激励 | 行动

每日一句励志名言，给你前行的力量

2026 年 04 月 10 日 每日激励 | 学习

每日一句励志名言，给你前行的力量

2026 年 04 月 09 日 每日激励 | 成功

每日一句励志名言，给你前行的力量

2026 年 04 月 09 日 AI 早报

每日 AI 领域重要动态

2026 年 04 月 08 日 AI 早报

每日 AI 领域重要动态

2026 年 04 月 08 日 每日激励 | 坚持

每日一句励志名言，给你前行的力量

2026 年 04 月 07 日 AI 早报

每日 AI 领域重要动态

2026 年 04 月 07 日 每日激励 | 存在

每日一句励志名言，给你前行的力量

健康消费观 #003 | 一罐啤酒的热量，相当于多少碗白米饭？

啤酒被称为"液体面包"不是没道理的——用数据告诉你，一罐 500ml 啤酒的真实热量代价

2026 年 04 月 06 日 每日激励 | 勇气

每日一句励志名言，给你前行的力量

2026 年 04 月 06 日 AI 早报

每日 AI 领域重要动态

2026 年 04 月 05 日 AI 早报

每日 AI 领域重要动态

2026 年 04 月 05 日 每日激励 | 专注

每日一句励志名言，给你前行的力量

2026 年 04 月 04 日 AI 早报

每日 AI 领域重要动态

2026 年 04 月 04 日 每日激励 | 进步

每日一句励志名言，给你前行的力量

2026 年 04 月 03 日 每日激励 | 实践

每日一句励志名言，给你前行的力量

2026 年 04 月 03 日 AI 早报

每日 AI 领域重要动态

2026 年 04 月 02 日 每日激励 | 志向

每日一句励志名言，给你前行的力量

2026 年 04 月 02 日 AI 早报

每日 AI 领域重要动态

2026 年 04 月 01 日 AI 早报

每日 AI 领域重要动态

2026 年 04 月 01 日 每日激励 | 专注

每日一句励志名言，给你前行的力量

2026 年 03 月 31 日 每日激励 | 坚韧

每日一句励志名言，给你前行的力量

健康消费观 #002 | 一份炸鸡套餐，要做多少个波比跳才能消耗掉？

用科学数据告诉你，炸鸡套餐的真实热量代价和运动等效换算

2026 年 03 月 31 日 AI 早报

每日 AI 领域重要动态

2026 年 03 月 30 日 AI 早报

每日 AI 领域重要动态

2026 年 03 月 30 日 每日激励 | 信念

每日一句励志名言，给你前行的力量

2026 年 03 月 29 日 每日激励 | 信念

每日一句励志名言，给你前行的力量

2026 年 03 月 29 日 AI 早报

每日 AI 领域重要动态

2026 年 03 月 28 日 AI 早报

每日 AI 领域重要动态

2026 年 03 月 28 日 每日激励 | 梦想

每日一句励志名言，给你前行的力量

2026 年 03 月 27 日 AI 早报

每日 AI 领域重要动态

2026 年 03 月 27 日 每日激励 | 努力

每日一句励志名言，给你前行的力量

2026 年 03 月 26 日 AI 早报

每日 AI 领域重要动态

2026 年 03 月 26 日 每日激励 | 勤奋

每日一句励志名言，给你前行的力量

2026 年 03 月 25 日 AI 早报

每日 AI 领域重要动态

2026 年 03 月 25 日 每日激励 | 努力

每日一句励志名言，给你前行的力量

2026 年 03 月 24 日 AI 早报

每日 AI 领域重要动态

健康消费观 #001 | 一杯全糖珍珠奶茶，要跑多少公里才能消耗掉？

用科学数据告诉你，一杯 500ml 全糖珍珠奶茶的真实热量代价

2026 年 03 月 24 日 每日激励 | 探索

每日一句励志名言，给你前行的力量

2026 年 03 月 23 日 每日激励 | 志向

每日一句励志名言，给你前行的力量

2026 年 03 月 23 日 AI 早报

每日 AI 领域重要动态

2026 年 03 月 22 日 AI 早报

每日 AI 领域重要动态

2026 年 03 月 22 日 每日激励 | 坚韧

每日一句励志名言，给你前行的力量

2026 年 03 月 21 日 AI 早报

每日 AI 领域重要动态

2026 年 03 月 21 日 每日激励 | 探索

每日一句励志名言，给你前行的力量