MiniMind 是一个「从 0 开始用 PyTorch 原生实现、面向教学与复现」的轻量级 LLM 工程，从 GitHub 的内容看，可以在单卡 NVIDIA 3090 上 约 2 小时 从零训练出 ≈26M 参数 的对话型小模型，适合自己租用 GPU 来学习，真是有趣的玩具。
一、主要亮点
- 极小模型可快速复现：最小 25.8M（≈26M）参数模型，目标是个人 GPU 可训练复现（单卡 3090 约 2 小时示例）
- 全流程白盒实现：Tokenizer、预训练（pretrain）、监督微调（SFT）、LoRA、DPO（Direct Preference Optimization）、RLAIF（PPO/GRPO/SPO 等）及模型蒸馏等均用原生 PyTorch 从 0 实现
- 兼容生态与部署：同时兼容 transformers、trl、peft 等第三方工具，也支持将模型用于 llama.cpp / vllm / ollama 等推理引擎；提供简易 streamlit WebUI 与 OpenAI-API 协议兼容的服务端示例
训练工具链与可视化：支持单机多卡（DDP/DeepSpeed）、wandb（项目也提供 SwanLab 作为国内替代）记录、断点续训与跨卡恢复
二、兼容性与部署
- 兼容 transformers/trl/peft：既有白盒实现，也能输出/加载兼容 transformers 格式以便结合现有工具
- 推理引擎：支持将模型导出用于
llama.cpp, vllm, ollama 等主流轻量推理引擎（README 给出示例命令） - 可视化：支持 wandb（以及 SwanLab 作为国内替代）用于训练监控
https://github.com/jingyaogong/minimind
标签：infra, ai