Github 88.8k Stars 一款可以本地部署多款大模型软件

大家好，我是牛皮糖！这个之前其实有介绍过，但是没啥人看到，我觉得这个还是对于想学习大模型的同学来说还是挺好的。Ollama 是一个开源框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计。

支持大模型

Ollama 本身就有多款大模型可以下载，但是要根据自己的电脑下载对应配置的参数。

预构建模型库：包含一系列预先训练好的大型语言模型，用户可以直接选用这些模型应用于自己的应用程序，无需从头训练或自行寻找模型源。

您应该至少有 8 GB 的 RAM 来运行 7B 型号，16 GB 的 RAM 来运行 13B 型号，32 GB 的 RAM 来运行 33B 型号。

简化部署：Ollama 目标在于简化在 Docker 容器中部署大型语言模型的过程，使得非专业用户也能方便地管理和运行这些复杂的模型。

轻量级与可扩展：作为轻量级框架，Ollama 保持了较小的资源占用，同时具备良好的可扩展性，允许用户根据需要调整配置以适应不同规模的项目和硬件条件。

API支持：提供了一个简洁的 API，使得开发者能够轻松创建、运行和管理大型语言模型实例，降低了与模型交互的技术门槛。

模型导入与定制：

Ollama 也支持 Modelfile 中导入 GGUF 模型，只需要创建一个名为 的文件Modelfile，其中包含FROM要导入的模型的本地文件路径的指令。然后再再Ollama 中创建一个模型。

配合页面

  还能配合FastGPT 就可以整合本地资源对大模型上传文件了,等Open-UI 等做 本地的大模型部署。

 这个很吃电脑配置。

感兴趣的还是可以去GitHub 进行尝试或者看看有什么好的想法。

项目地址：

https://github.com/ollama/ollama

推荐阅读

•   github 95.5k Star 的项目集合地

•   4核 16G 就能 RAGFlow Quick start 快速入门

•   github 7.8k star 将小爱音箱接入 ChatGPT 和豆包，改造成你的专属语音助手。