Github 88.8k Stars 一款可以本地部署多款大模型软件

只需* 戳上方蓝字�?牛皮糖不吹牛*”关注我

大家好，我是牛皮糖！这个之前其实有介绍过，但是没啥人看到，我觉得这个还是对于想学习大模型的同学来说还是挺好的。Ollama 是一个开源框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计�?

*支持大模�?

Ollama 本身就有多款大模型可以下载，但是要根据自己的电脑下载对应配置的参数�?

预构建模型库：包含一系列预先训练好的大型语言模型，用户可以直接选用这些模型应用于自己的应用程序，无需从头训练或自行寻找模型源�?

您应该至少有 8 GB �?RAM 来运�?7B 型号�?6 GB �?RAM 来运�?13B 型号�?2 GB �?RAM 来运�?33B 型号�?

大模型参数大小命令Llama 3.18B4.7GBollama run llama3.1Llama 3.170B40GBollama run llama3.1:70bLlama 3.1405B231GBollama run llama3.1:405bPhi 3 Mini3.8B2.3GBollama run phi3Phi 3 Medium14B7.9GBollama run phi3:mediumGemma 22B1.6GBollama run gemma2:2bGemma 29B5.5GBollama run gemma2Gemma 227B16GBollama run gemma2:27bMistral7B4.1GBollama run mistralMoondream 21.4B829MBollama run moondreamNeural Chat7B4.1GBollama run neural-chatStarling7B4.1GBollama run starling-lmCode Llama7B3.8GBollama run codellamaLlama 2 Uncensored7B3.8GBollama run llama2-uncensoredLLaVA7B4.5GBollama run llavaSolar10.7B6.1GBollama run solar****

简化部署：Ollama 目标在于简化在 Docker 容器中部署大型语言模型的过程，使得非专业用户也能方便地管理和运行这些复杂的模型�?

轻量级与可扩展：作为轻量级框架，Ollama 保持了较小的资源占用，同时具备良好的可扩展性，允许用户根据需要调整配置以适应不同规模的项目和硬件条件�?

API支持：提供了一个简洁的 API，使得开发者能够轻松创建、运行和管理大型语言模型实例，降低了与模型交互的技术门槛�?

模型导入与定制：

Ollama 也支�?Modelfile 中导�?GGUF 模型，只需要创建一个名�?的文件Modelfile，其中包含FROM要导入的模型的本地文件路径的指令。然后再再Ollama 中创建一个模型�?

配合页面

还能配合FastGPT 就可以整合本地资源对大模型上传文件了,等Open-UI 等做本地的大模型部署�?

这个很吃电脑配置�?

感兴趣的还是可以去GitHub 进行尝试或者看看有什么好的注意�?

项目地址�?

https://github.com/ollama/ollama

·················END·················

推荐阅读