Docker 中安裝 Ollama 的流程

 Docker 中安裝 Ollama 的流程如下：

1.CPU 環境：

◦建立一個用於存放 Ollama 資料的目錄： mkdir $HOME/ollama

◦執行 Docker 命令來啟動 Ollama 容器，並將主機的 11434 端口映射到容器的 11434 端口：

$docker run -d -v $HOME/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

2.NVIDIA GPU 環境：

◦確保已安裝 NVIDIA Container Toolkit.

◦建立 Ollama 資料目錄： mkdir $HOME/ollama

◦執行 Docker 命令，啟用 GPU 支持，並映射端口：

$docker run -d --gpus=all -v $HOME/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama 

或 

$docker run -d --gpus=all -v $HOME/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:0.1.32

3.AMD GPU 環境：

◦建立 Ollama 資料目錄： mkdir $HOME/ollama

◦使用 rocm 標籤啟動容器，並映射端口：

$docker run -d --device /dev/kfd --device /dev/dri -v $HOME/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:rocm

4.其他注意事項:

◦-d 參數表示在後台運行容器.

◦-v ollama:/root/.ollama 設定持久化儲存，確保資料安全.

◦--name ollama 為容器命名，便於管理.

◦-p 11434:11434 進行端口映射，讓主機可以和容器通訊.

◦也可以使用 

$docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:latest 

來部署最新版本的 Ollama 映像檔.

5.驗證安裝

◦安裝完成後，可以使用 docker ps 檢查容器是否正在運行.

◦可以使用 

$docker exec -it ollama ollama -h 

或 

$docker exec -it ollama ollama serve 

來驗證 Ollama 是否正確安裝.

6.下載模型

◦進入容器後，可以使用 ollama pull 命令下載模型，

例如：

$docker exec -it ollama ollama pull llama2.

可以使用 ollama list 來查看已下載的模型.

7.執行模型

◦可以使用 

$docker exec -it ollama ollama run <模型名稱> 來執行模型, 

例如： 

$docker exec -it ollama ollama run llama2.

另外，如果你的 Ollama 是部署在另一台伺服器上面，你可以將 host.docker.internal 改成另一台伺服器的 IP 地址或網域名稱. 

這樣你就可以透過網路連接到你的 Ollama 服務。

請注意，首次下載模型需要一些時間，具體時間取決於網路速度和模型大小. 

如果您的系統資源有限，可以選擇下載較小的模型進行測試.