Ollama

来源:橙沐圈子:AI大模型 2024-05-31 19:40:55 470阅读 举报

Ollama是一个用于在本地计算机上运行大型语言模型的命令行工具,允许用户下载并本地运行像Llama 2、Code Llama和其他模型,并支持自定义和创建自己的模型。该免费开源的项目,目前支持macOS和Linux操作系统,未来还将支持Windows系统​​​​。

此外,Ollama还提供了官方的Docker镜像,由此使用Docker容器部署大型语言模型变得更加简单,确保所有与这些模型的交互都在本地进行,无需将私有数据发送到第三方服务。Ollama在macOS和Linux上支持GPU加速,并提供了简单的命令行界面(CLI)以及用于与应用程序交互的REST API​​。

该工具对于需要在本地机器上运行和实验大语言模型的开发人员或研究人员来说特别有用,无需依赖外部云服务。

Ollama支持的模型

Ollma提供一个模型库,用户可以自行选择安装想要运行的模型,目前支持40+的模型,还在持续增加中。

Ollama官网

Ollama

本地运行Llama和其他大语言模型

访问官网> 攻略讨论>

合作联络微:vapehome
链接:https://www.aiddithome.com/p/a7b83e6b75f56.html
版权归原作者所有,未经允许请勿转载。若此文章存在违规行为,您可以点击 “举报”
AI玩家论坛社区

登录 后发表评论
1条评论
逗砂
1楼 · 2024-05-31 19:56:55

幽默感很强