大模型基础

《大模型基础》是 Datawhale 社区整理的一本开源大模型教程，定位是「把大模型的知识体系从头到尾铺一遍」，所以它不像应用教程那样上来就调 API，而是从最基础的定义讲起。

前三章打地基：语言模型到底是什么（从统计语言模型到神经网络语言模型、再到 BPE 分词）、大模型表现出的能力从哪来（涌现、上下文学习、评估方式），以及最核心的 Transformer 架构——自注意力、多头、位置编码，一路推到 LLM 的详细配置。

中间四章讲怎么造出来：新的模型架构方向（MoE 混合专家、基于检索的模型）、数据工程（数据来源、清洗、去重）、模型训练（目标函数、优化器、训练稳定性）、Adaptation（全参数微调与 PEFT 高效微调、LoRA 等）。

第八章到第十二章讲代价与边界：分布式训练（数据并行、模型并行、流水线并行）、大模型的有害性（偏见、有毒内容、幻觉）、法律问题、环境影响。第十三、十四章是延伸：基于大模型的智能体（Agent），以及 Llama 开源家族的演进史。

全书正文与配图以 MIT 协议共享（README 标注；仓库内未附 LICENSE 文件）。本站按原样转载、正文未改动，作者与原文地址见页脚。