moe-l2
MoE 专家参数内存动态卸载引擎,8GB 显卡运行千亿大模型
MoE expert offload for low-VRAM GPUs — run 100B+ MoE models (DeepSeek, Qwen, Mixtral) on 8 GB cards. Expert cache with LRU hot experts, OpenAI-compatible proxy, GGUF multi-shard.
已收录产品关联的公开 GitHub 仓库。指标截至采集时间,公开状态核验有效期为24小时。
该代码仓库所归属或支持的平台收录产品。
MoE 专家参数内存动态卸载引擎,8GB 显卡运行千亿大模型