LLM 模型量化入门教程

一个面向初学者的 PTQ (Post-Training Quantization) 模型量化教程。

📚 教程内容

本教程共 8 章，带你从零开始理解并实践大语言模型的量化技术：

章节	内容	难度
01	介绍与环境准备	⭐
02	什么是量化?	⭐
03	量化公式详解	⭐⭐
04	手动实现量化	⭐⭐⭐
05	量化误差分析	⭐⭐⭐
06	模型大小对比	⭐⭐
07	实际工具介绍	⭐⭐
08	总结与进阶	⭐

🛠️ 环境要求

• Python 3.8+
• PyTorch 2.0+
• transformers 库

📦 安装

pip install torch numpy transformers

🚀 开始学习

按照 notebooks/ 目录下的顺序依次学习即可。

📖 学习目标

完成本教程后，你将能够：

• ✅ 理解什么是模型量化 (Quantization)
• ✅ 掌握量化的基本原理和公式
• ✅ 手动实现一个简单的量化过程
• ✅ 分析量化带来的误差
• ✅ 了解实际应用中常用的量化工具

📁 项目结构

llm-quantization-tutorial/
├── README.md                   # 本文件
├── notebooks/                  # Jupyter Notebook 教程
│   ├── 01-intro.ipynb         # 介绍与环境准备
│   ├── 02-what-is-quantization.ipynb
│   ├── 03-quantization-formula.ipynb
│   ├── 04-hands-on-quantization.ipynb
│   ├── 05-quantization-error-analysis.ipynb
│   ├── 06-model-size-comparison.ipynb
│   ├── 07-practical-tools.ipynb
│   └── 08-summary.ipynb
├── images/                     # 教程图片 (待添加)
├── data/                       # 示例数据 (待添加)
└── utils/                      # 工具函数 (待添加)

🤝 贡献

欢迎提交 Issue 和 Pull Request！

📝 License

MIT License