AI Infra：MiniMind，2小时训练自己的模型
MiniMind 是一个「从 0 开始用 PyTorch 原生实现、面向教学与复现」的轻量级 LLM 工程，从 GitHub 的内容看，可以在单卡 NVIDIA 3090 上 约 2 小时 从零训练出 ≈26M 参数 的对话型小模型，适合自己租用 GPU 来学习，真是有趣的玩具。一、主要亮点极小模型可快速复现：最小 25.8M（≈26M）参数模型，目标是个人 GPU 可训练复现（单卡 3090 约 2 小时示例）全流程白盒实现：Tokenizer、预训练（pretrain）、监督微调（SFT）、LoRA、DPO（Direct Preference Optimization）、RLAIF（...