在Linux上使用Ollama

查看Linux架构

1
2
cat /proc/version
# Linux version 5.10.134-18.al8.x86_64 (mockbuild@h87c01383.na61) (gcc (GCC) 10.2.1 20200825 (Alibaba 10.2.1-3.8 2.32), GNU ld version 2.35-12.3.al8) #1 SMP Fri Dec 13 16:56:53 CST 2024

可以看出当前系统的架构是amd64架构。

下载指定版本Ollama

大部分情况下，服务器都是不具备外网连接的，所以需要先下载Ollama到本地，然后上传到服务器上，这里我们选择ollama-linux-amd64.tgz。

安装Ollama

  • 解压：

    1
    tar -xzf ollama-linux-amd64.tgz

  • 移动到系统PATH目录下：

    1
    sudo mv bin/ollama /usr/local/bin/ollama

  • 赋予执行权限（如需要）：

    1
    sudo chmod +x /usr/local/bin/ollama

  • 验证安装：

    1
    ollama version

使用systemctl管理Ollama

  • 创建服务文件：

    1
    sudo vim /etc/systemd/system/ollama.service

    内容如下：

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    [Unit]
    Description=Ollama Service
    After=network.target

    [Service]
    Environment="HOME=/root"
    Environment="USER=root"
    ExecStart=/usr/local/bin/ollama serve
    Environment="OLLAMA_HOST=0.0.0.0:11434"
    Environment="OLLAMA_MODELS=/mnt/models/ollama"
    Restart=always
    RestartSec=3

    [Install]
    WantedBy=multi-user.target

    指定环境变量OLLAMA_HOST，使用外部服务可访问；指定环境变量OLLAMA_MODELS，指定模型目录。

  • 启动服务：

    1
    2
    3
    sudo systemctl daemon-reload
    sudo systemctl enable ollama
    sudo systemctl start ollama

  • 验证服务状态：

    1
    sudo systemctl status ollama

  • 访问服务：

    1
    2
    3
    4
    curl http://<ip>:11434/api/embeddings -d '{
        "model": "bge-large",
        "prompt": "你好，世界"
    }'