模型部署指南

选择运行环境与工具,再挑选模型,生成可真实执行的命令。所有模型标识均来自官方仓库或本站验证表。

1你想把模型跑在哪儿?
2选择部署工具
适合用户

第一次在本地跑模型的人;想要一条命令就能用的开发者

最低环境

8GB 内存,macOS 12+ / Windows 10+ / Linux

推荐环境

16GB 内存或 8GB 以上显存

已知问题
  • 默认上下文窗口较小,长文本需要手动调整 num_ctx
  • 模型库里的标签不一定覆盖所有官方版本
3选择模型支持搜索标题、组织、参数规模

不知道自己的机器能不能跑?先去 硬件选型 按显存/内存看可运行模型。