推荐阅读
- 戳上方蓝字�?牛皮糖不吹牛*”关注我
大家好，我是牛皮糖！不知道大家在开发的时候自己想做大模型微调的时候是不是费时费力，�?LLaMA-Factory*，一款让“大语言模型 (LLM) 微调”变得像贴牛皮糖一样简单顺滑的框架�?
不管你是个人开发者，还是企业级应用需求，都能用它轻松搞定 LoRA、QLoRA、全参数微调 等高级玩法，开箱即用，模块化拉满！
**
**
**
**
**
**
*1. 广泛支持的模型体�?
•�?基础大模�?：LLaMA-1/2/3、Mistral、Mixtral-MoE、Gemma、Yi、Phi、ChatGLM
•�?多模态模�?：LLaVA（图像）、Qwen2-VL（视�?语言）、DeepSeek-VL
•�?国产特色*：Qwen（通义千问）、Baichuan、DeepSeek-MoE
•�?高效小模�?：Phi（微软）、StableLM（Stability AI�?
注：支持 Hugging Face 格式的模型，兼容社区新架构快速适配�?
*2. 全流程训练方�?
*训练阶段***支持技�?***预训�?*连续预训练（Continue Pretraining）、MoE 专家扩展
**监督微调（SFT�?*单模�?多模态数据适配（如图文对、视频描述）
对齐优化RLHF（PPO）、DPO、KTO、ORPO 等偏好对齐方�?
高效微调LoRA/QLoRA�?~8bit）、DoRA（权重分解）、PiSSA（参数高效初始化�?
*3. 量化与资源优�?
•�?量化推理*：GPTQ/AWQ�?bit推理）、AQLM（极低比特）、HQQ（硬件友好）
•�?训练加�?�?
•�?内存优化*：GaLore（梯度低秩投影）、BAdam（二阶优化压缩）
•�?计算加�?：FlashAttention-2、Unsloth（CUDA内核优化）、Liger Kernel
•�?长上下文*：LongLoRA（扩展上下文窗口）、RoPE scaling（位置编码插值）
4. 前沿算法集成
•�?参数高效*�?
•�?*LoRA+（动态秩调整）�?*LoftQ（量化感知初始化�?
•�?LLaMA Pro（块级扩展）�?Mixture-of-Depths（动态计算分配）
•�?优化器创�?：Adam-mini（超轻量）、APOLLO（自适应投影）、Muon（稀疏训练）
5. 多模态与复杂任务
•�?视觉任务*：图像描述、视觉问答（VQA）、视频理解（需适配多模态数据）
•�?工具调用*：函数API集成（如搜索、计算器�?
•�?音频处理*：语音转录与理解（需搭配Whisper等音频编码器�?
*6. 实验与监控工�?
•�?可视�?：TensorBoard、WandB、MLflow、SwanLab（国产替代）
•�?调试界面*：LlamaBoard（WebUI实时监控训练状态）
•�?性能分析*：吞吐量/显存占用统计、损失曲线对�?
关键优势总结
•�?“一站式”解决方�?：从预训练到RLHF全流程覆盖，支持学术界和工业界定制需求�?
•�?极致效率*：结合量�?算法优化�?B模型可在24GB消费级显卡上微调（QLoRA+4bit）�?
•�?生态兼�?：Hugging Face/Colab/vLLM 无缝对接，降低部署门槛�?
**
**
项目地址�?
https://github.com/hiyouga/LLaMA-Factory
·················END·················
关于AI工具
Github开源文本转语音神器Spark-TTS开源了，克隆声音仅需3秒？
github开源B站UP主都在用的下载神器！Cobalt让你轻松搬运高清素材！
Github 开源无代码�?Web 数据提取平台�?分钟内训练机器人自动抓取网页数据
每日更新，期待与你一起成�?
欢迎围观副业知识星球