Soup CLI
Fine-tune an 8B LLM on a 4 GB laptop GPU
评分 82 ▲ 92 ◆ 3 免费 PH 精选
概述
Soup CLI 是一个开源命令行工具，允许开发者在仅有 4GB 显存的消费级笔记本 GPU 上微调 80 亿参数的大语言模型，通过逐层流式加载技术大幅降低显存峰值占用。
创新点
利用 LoRA 冻结基础模型权重的特性，将模型常驻系统内存并逐层流入 GPU，将峰值 VRAM 从整个模型大小压缩至单层大小，实现在 4GB 消费级 GPU 上训练 8B 模型（119.6 tok/s），技术路径清晰且有实测数据背书
目标用户
ML 工程师、AI 研究者、独立开发者，尤其是没有高端 GPU 资源的个人或小团队
竞争格局
竞争对手包括 Unsloth、LLaMA-Factory、axolotl 等微调框架，但这些工具通常对显存要求更高；Soup 的差异化在于极致的低显存优化，细分赛道明确，正面竞争压力相对较小
标签
开源工具CLI开发者工具LLM微调AI基础设施个人开发者ML工程师
团队
- [REDACTED]
- Rafikт т. ТВ Mamedov
相关产品
GPT-6 Astra 94
OpenAI's most capable model for end-to-end work
Claude Fable 5 91
Anthropic's most capable model ever — free until June 22
AlphaGenome Atlas 88
Google's AI map of every possible human DNA mutation
WeatherNext 3 88
Our most advanced and accurate global weather AI model
Gemini Robotics 2 88
Google's AI brain for the next generation of robots
GPT-5.6 88
A new standard for intelligence and efficiency