模型部署指南
选择运行环境与工具,再挑选模型,生成可真实执行的命令。所有模型标识均来自官方仓库或本站验证表。
1你想把模型跑在哪儿?
2选择部署工具
适合用户
第一次在本地跑模型的人;想要一条命令就能用的开发者
最低环境
8GB 内存,macOS 12+ / Windows 10+ / Linux
推荐环境
16GB 内存或 8GB 以上显存
官方来源
已知问题
- 默认上下文窗口较小,长文本需要手动调整 num_ctx
- 模型库里的标签不一定覆盖所有官方版本
3选择模型支持搜索标题、组织、参数规模
不知道自己的机器能不能跑?先去 硬件选型 按显存/内存看可运行模型。