项目简介

Ollama 是一个开源的本地大语言模型运行框架，允许用户在本地计算机上轻松部署和运行各种大型语言模型（如LLaMA、Mistral等）。该项目简化了LLM的本地化部署流程，提供了模型管理、版本控制和REST API等功能。

核心功能：

支持多种开源大语言模型本地化运行保障数据隐私简单的命令行交互界面自动处理模型依赖和版本

技术栈：

Go语言编写支持CUDA加速Docker容器化部署RESTful API接口

GitHub地址：https://github.com/jmorganca/ollama (⭐35k+)

Ciuic服务器配置选型

推荐使用Ciuic云服务器的GPU实例运行Ollama，以下是适合的机型对比：

机型	CPU	内存	GPU	存储	适用场景
基础型G1	4核	16GB	NVIDIA T4	100GB	小型模型测试
进阶型G2	8核	32GB	NVIDIA A10G	200GB	中型模型部署
专业型G3	16核	64GB	NVIDIA A100	500GB	大型模型生产环境

通用部署流程

1. 运行环境准备

Ubuntu 22.04 LTS 操作系统NVIDIA显卡驱动(>=525)CUDA Toolkit 11.8

2. 服务器配置

# 安装基础依赖sudo apt update && sudo apt install -y curl git build-essential# 安装NVIDIA驱动和CUDAcurl -O https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-keyring_1.1-1_all.debsudo dpkg -i cuda-keyring_1.1-1_all.debsudo apt updatesudo apt -y install cuda-toolkit-11-8# 验证安装nvidia-smi

3. 安装Ollama

# 下载官方安装脚本curl -fsSL https://ollama.com/install.sh | sh# 添加当前用户到docker组sudo usermod -aG docker $USERnewgrp docker

4. 启动服务

# 启动ollama服务systemctl start ollama# 下载并运行模型(以llama2为例)ollama pull llama2ollama run llama2

Nginx完整配置

反代设置

upstream ollama {    server 127.0.0.1:11434;    keepalive 64;}server {    listen 80;    server_name ollama.yourdomain.com;    location / {        proxy_pass http://ollama;        proxy_http_version 1.1;        proxy_set_header Upgrade $http_upgrade;        proxy_set_header Connection "upgrade";        proxy_set_header Host $host;        proxy_set_header X-Real-IP $remote_addr;        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;        # 超时设置        proxy_connect_timeout 300s;        proxy_send_timeout 300s;        proxy_read_timeout 300s;        send_timeout 300s;    }}

HTTPS优化配置

server {    listen 443 ssl http2;    server_name ollama.yourdomain.com;    ssl_certificate /path/to/cert.pem;    ssl_certificate_key /path/to/key.pem;    ssl_protocols TLSv1.2 TLSv1.3;    ssl_ciphers EECDH+AESGCM:EDH+AESGCM;    ssl_prefer_server_ciphers on;    ssl_session_cache shared:SSL:10m;    # 其他配置与HTTP版本相同    location / {        proxy_pass http://ollama;        # ... 同上 ...    }}

端口优化建议

修改Ollama默认端口(11434)为高段端口(如31134)：

# 编辑服务配置文件sudo nano /etc/systemd/system/ollama.service

在ExecStart行添加环境变量

Environment="OLLAMA_HOST=0.0.0.0:31134"

重载服务

systemctl daemon-reloadsystemctl restart ollama

2. 防火墙配置：```bashsudo ufw allow 31134/tcpsudo ufw allow 80/tcpsudo ufw allow 443/tcpsudo ufw enable

通过以上配置，您已成功在Ciuic服务器上部署了Ollama，并可通过Nginx安全地访问API服务。现在可以开始使用命令行或API与本地大语言模型进行交互了。