项目简介

Ollama 是一个开源的大型语言模型(LLM)本地运行框架，允许开发者在本地计算机上轻松运行各种开源AI模型如Llama 2、Mistral等。该项目简化了本地运行LLM的复杂流程，提供了命令行界面和API接口。

核心功能：

支持多种开源大型语言模型简化模型下载和管理提供REST API接口支持模型量化以降低硬件需求

技术栈：

Go语言编写基于GGML/GGUF模型格式提供Python/JavaScript等多种客户端支持

GitHub地址: https://github.com/jmorganca/ollama (⭐48k)

云耀服务器配置选型

机型	CPU	内存	存储	带宽	适用场景
HECS-L	2核	4GB	40GB	3Mbps	小型模型测试
HECS-M	4核	8GB	80GB	5Mbps	中型模型运行
HECS-H1	8核	16GB	160GB	8Mbps	大型模型运行+多用户访问
HECS-H2	16核	32GB	320GB	10Mbps	生产环境多模型部署

推荐选择HECS-H1机型(8核16GB)作为平衡性能和成本的选项，能够流畅运行7B-13B参数规模的模型。

通用部署流程

1. 运行环境准备

# Ubuntu 22.04系统更新sudo apt update && sudo apt upgrade -y# 基础工具安装sudo apt install -y curl wget git build-essential

2. 服务器配置优化

# 增加swap空间(建议为物理内存的1-2倍)sudo fallocate -l 16G /swapfilesudo chmod 600 /swapfilesudo mkswap /swapfilesudo swapon /swapfileecho '/swapfile none swap sw 0 0' | sudo tee -a /etc/fstab# 调整内核参数echo 'vm.swappiness=10' | sudo tee -a /etc/sysctl.confsudo sysctl -p

3. 安装Ollama

# 下载并安装最新版Ollamacurl -fsSL https://ollama.com/install.sh | sh# 添加当前用户到docker组(如果使用docker安装)sudo usermod -aG docker $USERnewgrp docker

4. 启动服务

# 启动Ollama服务systemctl enable ollamasystemctl start ollama# 下载模型(例如llama2)ollama pull llama2# 运行模型ollama run llama2

Nginx完整配置

upstream ollama {    server 127.0.0.1:11434;    keepalive 32;}server {    listen 443 ssl http2;    listen [::]:443 ssl http2;    server_name ai.example.com;    ssl_certificate /path/to/your/cert.pem;    ssl_certificate_key /path/to/your/key.pem;    ssl_protocols TLSv1.2 TLSv1.3;    ssl_ciphers EECDH+AESGCM:EDH+AESGCM;    ssl_prefer_server_ciphers on;    ssl_session_cache shared:SSL:10m;    ssl_session_timeout 10m;    location / {        proxy_pass http://ollama;        proxy_http_version 1.1;        proxy_set_header Upgrade $http_upgrade;        proxy_set_header Connection "upgrade";        proxy_set_header Host $host;        proxy_set_header X-Real-IP $remote_addr;        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;        proxy_set_header X-Forwarded-Proto $scheme;        proxy_read_timeout 300s;        proxy_send_timeout 300s;        proxy_connect_timeout 75s;        client_max_body_size 0;    }    access_log /var/log/nginx/ollama_access.log;    error_log /var/log/nginx/ollama_error.log;}

高级配置建议

模型管理：

# 查看已下载模型ollama list

删除模型

ollama rm

2. 自定义模型创建：```bash# 创建ModelfileFROM llama2PARAMETER temperature 0.7PARAMETER num_ctx 4096# 构建自定义模型ollama create mymodel -f Modelfile

API使用示例：

curl http://localhost:11434/api/generate -d '{"model": "llama2","prompt": "为什么天空是蓝色的？","stream": false}'

通过以上步骤，您已成功部署了Ollama服务并配置了安全的Nginx反向代理。现在可以开始本地运行各种大型语言模型或通过API集成到您的应用中。