Deepseek 本地安裝的記錄 (windows 2016)

文章由 **dtchang** » 2025-02-05, 19:58

(不支援Windows7)
預備工作:
1. 下載和安裝 ollama https://ollama.com/
2. 安裝完成後會自動起動 (ollama程式很小)
2. 在 ollama 網站上方 Search models 找查 deepseek-r1 或 deepseek ...
有專版: math 和 decode 數學和編程可選擇
例如:

代碼: 選擇全部

ollama run deepseek-r1:1.5b  #基本上是測試用; 真實用途是小裝置在使用
ollama run deepseek-r1   #預設為 7b 版本
ollama run deepseek-r1:8b  #8b 版本
ollama run deepseek-r1:70b #這個版本算是公司級,使用CPU和GPU共享顯存比較容易低成本入手;(128G拆分32+96,個人商務用途) 
ollama run deepseek-r1:671b #很大很大的最高檔貨
ollama run deepseek-coder-v2 #預設為 16b 這個是小公司/個人可入手的目標,專用於程式編程

我手上的主機是10年前小型伺服器, 16G RAM, 無 VRAM, 可以玩玩以下的版本(編程專用)

代碼: 選擇全部

ollama run deepseek-coder:6.7b

3. 安裝 open-webui (可以用其他選項)(當前限用 python 3.11, 不可以用 3.12+; 然 3.11 當前修改安全問題中)
3.1 安裝 python 3.11.9 (3.11.x 皆可)(最好用自定安裝,設定PATH和新目錄,如: C:/python)
3.2 修改 windows 系統以支援長路徑(可能要重開機才行)

代碼: 選擇全部

Windows Registry Editor Version 5.00

[HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\FileSystem]
"LongPathsEnabled"=dword:00000001

#powershell
Set-ItemProperty -Path "HKLM:\SYSTEM\CurrentControlSet\Control\FileSystem" -Name "LongPathsEnabled" -Value 1 -Type DWord

3.3 更新pip (2選1)

代碼: 選擇全部

python -m pip install --upgrade pip 
pip install --upgrade pip

3.4 安裝 open-webui (要等等...)

代碼: 選擇全部

pip install open-webui

3.5 啟動 open-webui

代碼: 選擇全部

open-webui serve

4. 測試

代碼: 選擇全部

localhost:8080

5. 在 open-webui 管理者介面修改設定

代碼: 選擇全部

localhost:8080/admin/

6. 安裝 chocolatey

代碼: 選擇全部

[System.Net.ServicePointManager]::SecurityProtocol = [System.Net.ServicePointManager]::SecurityProtocol -bor 3072; iex ((New-Object System.Net.WebClient).DownloadString('https://community.chocolatey.org/install.ps1'))

windows 10

代碼: 選擇全部

Set-ExecutionPolicy Bypass -Scope Process -Force;
[System.Net.ServicePointManager]::SecurityProtocol = [System.Net.SecurityProtocolType]::Tls12;
Invoke-Expression ((New-Object System.Net.WebClient).DownloadString('https://chocolatey.org/install.ps1'));

安裝 ffmpeg

代碼: 選擇全部

choco install ffmpeg -y

6. 尚未完成的工作: 自動啟動 ollama 模型及自動啟動 open-webui 及使用 SSL