2026年10月4日 星期日

智慧生活科技|Python 與在地 AI 實作

用 Python 透過 SSH 呼叫 mini PC 上的 Ollama,生成一篇小故事

如何讓 Windows 電腦透過 Python 使用另一台 Ubuntu mini PC 上的本地 AI 模型?本文以 GIGABYTE BRIX GB-BTIP-N150 為例,示範 Python 自動建立 SSH 隧道、呼叫 Ollama API、接收繁體中文故事,並在程式結束時自動關閉連線。

一、測試架構與準備條件

本次由 Ubuntu mini PC 執行 Ollama 與語言模型,Windows 電腦則執行 Python 程式。SSH 負責建立加密連線與本機埠轉送;Python 將問題送到 Windows 本機轉送埠,SSH 再把請求帶到 minPC 的 Ollama。

  • mini PC:GIGABYTE GB-BTIP-N150,Ubuntu,IP 位址 192.168.1.114。
  • Ollama API:minPC 上的 127.0.0.1:11434。
  • 模型:qwen3:4b-instruct-2507-q4_K_M,需先在 minPC 下載完成。
  • Windows 電腦:已安裝 Python 與 OpenSSH,用 CMD 執行程式。
  • 帳號:SSH 使用者 nfusrai。
重要:執行前請確認 minPC 上的 Ollama 正在運作、模型已下載,而且 Windows 能以 ssh nfusrai@192.168.1.114 登入 mini PC。本程式使用 SSH 隧道,不必將 Ollama API 直接開放到區域網路。

二、Python 如何建立 SSH 隧道

程式使用 Python 標準函式庫 subprocess 啟動 Windows 的 ssh 用戶端。SSH 指令的核心如下:

ssh -o ExitOnForwardFailure=yes -N -L 127.0.0.1:11436:127.0.0.1:11434 nfusrai@192.168.1.114
  • -N:只建立轉送,不在 mini PC 上執行互動式命令。
  • -L 127.0.0.1:11436:127.0.0.1:11434:把 Windows 本機的 11436 埠轉送到 SSH 主機端的 11434 埠。
  • nfusrai@192.168.1.114:指定登入 mini PC 的帳號與 IP。
  • ExitOnForwardFailure=yes:如果本機轉送埠無法建立,就讓 SSH 明確失敗。

程式啟動時,SSH 會在同一個 CMD 視窗要求輸入密碼。通過驗證後,Python 會每隔半秒測試一次 /api/version,最多等待 60 秒;確認 API 可連線後,才開始詢問使用者要生成什麼內容。

三、Python 如何呼叫 Ollama API

SSH 隧道建立後,Python 不直接連到 minPC 的 IP:11434,而是向 Windows 本機的 http://127.0.0.1:11436/api/generate 發送 HTTP 請求。SSH 會自動將這筆資料轉送到 minPC 的 Ollama。

請求內容包含模型名稱、系統提示詞、使用者問題、是否串流,以及輸出 token 上限。程式以 json.dumps(..., ensure_ascii=False) 保留中文,再用 UTF-8 編碼送出。

四、完整 Python 程式

將以下程式存成 test_ollama_ssh_windows.py。這支程式不需安裝額外 Python 套件。

#!/usr/bin/env python3
"""自動建立 SSH 隧道,從 Windows 呼叫 BRIX 上的 Ollama。"""
import json
import subprocess
import sys
import time
import urllib.error
import urllib.request

SSH_HOST = "nfusrai@192.168.1.114"
LOCAL_PORT = 11436  # 避開既有測試常用的 11435
MODEL = "qwen3:4b-instruct-2507-q4_K_M"
API_URL = f"http://127.0.0.1:{LOCAL_PORT}/api/generate"
VERSION_URL = f"http://127.0.0.1:{LOCAL_PORT}/api/version"

if hasattr(sys.stdout, "reconfigure"):
    sys.stdout.reconfigure(encoding="utf-8")

ssh_command = [
    "ssh",
    "-o", "ExitOnForwardFailure=yes",
    "-N",
    "-L", f"127.0.0.1:{LOCAL_PORT}:127.0.0.1:11434",
    SSH_HOST,
]

ssh_process = None
try:
    print("正在建立到 BRIX 的 SSH 隧道;若出現提示,請輸入 SSH 密碼。")
    ssh_process = subprocess.Popen(ssh_command)

    # 最多等 60 秒,讓 SSH 驗證完成並確認 Ollama API 可連線。
    deadline = time.monotonic() + 60
    while time.monotonic() < deadline:
        if ssh_process.poll() is not None:
            raise RuntimeError(
                f"SSH 程序已結束,結束碼:{ssh_process.returncode}。"
                "請確認 SSH 帳號、密碼與主機位址。"
            )
        try:
            with urllib.request.urlopen(VERSION_URL, timeout=2) as response:
                version = json.loads(response.read().decode("utf-8"))
            print(f"SSH 隧道已連線;Ollama 版本:{version.get('version', '未知')}")
            break
        except (urllib.error.URLError, TimeoutError):
            time.sleep(0.5)
    else:
        raise TimeoutError(
            "等待 Ollama API 逾時。請確認 BRIX 上的 Ollama 正在執行。"
        )

    prompt = input("請輸入問題(直接按 Enter 使用預設問題):").strip()
    if not prompt:
        prompt = "請用繁體中文簡短自我介紹。"

    payload = {
        "model": MODEL,
        "system": "請使用繁體中文與臺灣用語,回答簡短。",
        "prompt": prompt,
        "stream": False,
        "options": {"num_predict": 128},
    }
    request = urllib.request.Request(
        API_URL,
        data=json.dumps(payload, ensure_ascii=False).encode("utf-8"),
        headers={"Content-Type": "application/json; charset=utf-8"},
        method="POST",
    )

    with urllib.request.urlopen(request, timeout=180) as response:
        result = json.loads(response.read().decode("utf-8"))
    print("\n模型:", result.get("model", MODEL))
    print("回答:\n", result.get("response", "(API 沒有回傳 response 欄位)"), sep="")
    print("\n完成原因:", result.get("done_reason", "未提供"))

except urllib.error.HTTPError as exc:
    print(f"HTTP 錯誤:{exc.code} {exc.reason}")
    print(exc.read().decode("utf-8", errors="replace"))
    raise SystemExit(1)
except urllib.error.URLError as exc:
    print("API 連線失敗:請確認 BRIX 上的 Ollama 正在執行。")
    print("詳細資訊:", exc.reason)
    raise SystemExit(1)
except (TimeoutError, RuntimeError) as exc:
    print("連線問題:", exc)
    raise SystemExit(1)
except KeyboardInterrupt:
    print("\n已中止測試。")
finally:
    if ssh_process is not None and ssh_process.poll() is None:
        ssh_process.terminate()
        try:
            ssh_process.wait(timeout=5)
        except subprocess.TimeoutExpired:
            ssh_process.kill()

五、執行方式與輸出判讀

先讓 mini PC 的 Ollama 保持運作。在 Windows CMD 切換到 Python 程式所在資料夾,執行:

py test_ollama_ssh_windows.py

輸入 Ubuntu 的 SSH 密碼,看到「SSH 隧道已連線」後,輸入問題。本次測試輸入「請用三句話寫一篇小故事。」

六、實際執行結果

C:\Users\cheng-min>py test_ollama_ssh_windows.py
正在建立到 BRIX 的 SSH 隧道;若出現提示,請輸入 SSH 密碼。
nfusrai@192.168.1.114's password:
SSH 隧道已連線;Ollama 版本:0.35.1
請輸入問題(直接按 Enter 使用預設問題):請用三句話寫一篇小故事。

模型: qwen3:4b-instruct-2507-q4_K_M
回答:
老陳每天清晨都坐在門口,看一隻小貓在花盆邊打滾。
貓總在日落時分,把一朵枯花叼進屋裡,放在他枕邊。
某天他發現,那朵花竟開出細小的紅花,像他早年丟失的夢。

完成原因: stop
結果:SSH 已連到 BRIX,Ollama API 回報版本 0.35.1,模型成功生成三句繁體中文故事。完成原因: stop表示本次輸出自然結束,而非達到 token 上限。

七、程式結束時自動關閉 SSH

程式最後的 finally 區塊會檢查 SSH 子程序是否還在執行;若仍在,就先呼叫 terminate(),等待最多五秒,必要時再強制停止。這讓使用者只需在一個 CMD 視窗操作,不必另外開一個視窗手動維持隧道。

常見問題

輸入密碼後一直等待,沒有「SSH 隧道已連線」?

請確認 mini PC 上 Ollama 正在執行,且 SSH 帳號、IP 位址正確。也可先在 Windows CMD 使用 ssh nfusrai@192.168.1.114 確認 SSH 登入正常。

顯示本機埠無法綁定或轉送失敗?

程式使用 Windows 的 11436 埠。若另一個程式已占用此埠,請關閉占用它的舊 SSH 隧道,或將程式中的 LOCAL_PORT 改成其他未使用的埠號。

Python 找不到 ssh 指令?

請確認 Windows 已安裝 OpenSSH Client,且在 CMD 執行 ssh -V 能顯示版本資訊。

結語:把本地模型接進生活應用

這次完成了「Windows Python → SSH 加密隧道 → mini PC Ollama → Qwen3 Instruct」的單視窗測試。下一步可在 Windows 端加入麥克風語音辨識,將台語問題轉成文字交由本地模型處理,再透過台語語音合成把回答播出,逐步建立由 mini PC 推論、Windows 收音與播放的台語互動原型。

智慧生活科技專業社群|本地生成式 AI、Python 網路程式與 SSH 實作

用 Python 從 Windows 遠端測試 Ollama:Qwen3 繁體中文故事生成

智慧生活科技|AI 實作紀錄

用 Python 從 Windows 遠端測試 Ollama:Qwen3 繁體中文故事生成

讓 GIGABYTE BRIX 負責本地 AI 推論,Windows 電腦負責操作與後續語音互動。本文記錄如何透過 SSH 隧道連線,再用 Python 傳送繁體中文問題,並驗證模型能否完成回答。

測試環境與架構

  • AI 主機:GIGABYTE GB-BTIP-N150,記憶體 16GB,作業系統 Ubuntu。
  • 模型:qwen3:4b-instruct-2507-q4_K_M。
  • 客戶端:Windows 電腦,以 CMD 執行 Python。
  • Ollama API:主機端 127.0.0.1:11434,經 SSH 轉送至 Windows 的 127.0.0.1:11435。

這種配置讓 BRIX 專心執行模型;麥克風、喇叭與互動程式則可留在 Windows 電腦。測試時不必把 Ollama API 直接公開到區域網路。

第一步:在 Windows CMD 開啟 SSH 隧道

在 Windows CMD 執行下列指令,並保持這個視窗開啟:

ssh -N -L 127.0.0.1:11435:127.0.0.1:11434 nfusrai@192.168.1.114

輸入 Ubuntu 帳號密碼後,視窗停在連線狀態、沒有新的命令提示符,代表隧道正在運作。另開 CMD 視窗後,可先檢查 Ollama API:

curl.exe http://127.0.0.1:11435/api/version

測試時收到 {"version":"0.35.1"},確認 Windows 已經能透過 SSH 隧道連上 BRIX 的 Ollama。

第二步:準備 Python 測試程式

將以下程式存成 test_ollama_windows.py。程式使用 Python 標準函式庫,不需另外安裝套件;它會用 UTF-8 傳送 JSON、等待模型回覆,再印出回答和完成原因。

#!/usr/bin/env python3
"""從 Windows 測試經 SSH 隧道連線的 Ollama API。"""
import json
import sys
import urllib.error
import urllib.request

API_URL = "http://127.0.0.1:11435/api/generate"
MODEL = "qwen3:4b-instruct-2507-q4_K_M"

# Windows CMD 通常可直接處理 Python Unicode;此設定也讓輸出統一使用 UTF-8。
if hasattr(sys.stdout, "reconfigure"):
    sys.stdout.reconfigure(encoding="utf-8")

prompt = input("請輸入要問模型的問題(直接按 Enter 使用預設問題):").strip()
if not prompt:
    prompt = "請用繁體中文簡短自我介紹。"

payload = {
    "model": MODEL,
    "system": "請使用繁體中文與臺灣用語,回答簡短。",
    "prompt": prompt,
    "stream": False,
    "options": {"num_predict": 128},
}
request = urllib.request.Request(
    API_URL,
    data=json.dumps(payload, ensure_ascii=False).encode("utf-8"),
    headers={"Content-Type": "application/json; charset=utf-8"},
    method="POST",
)

try:
    with urllib.request.urlopen(request, timeout=180) as response:
        result = json.loads(response.read().decode("utf-8"))
    print("\n模型:", result.get("model", MODEL))
    print("回答:\n", result.get("response", "(API 沒有回傳 response 欄位)"), sep="")
    print("\n完成原因:", result.get("done_reason", "未提供"))
except urllib.error.HTTPError as exc:
    print(f"HTTP 錯誤:{exc.code} {exc.reason}")
    print(exc.read().decode("utf-8", errors="replace"))
    raise SystemExit(1)
except urllib.error.URLError as exc:
    print("連線失敗:無法連到 Windows 本機的 Ollama SSH 隧道。")
    print("請確認 SSH 隧道視窗仍開啟,並先測試:curl.exe http://127.0.0.1:11435/api/version")
    print("詳細資訊:", exc.reason)
    raise SystemExit(1)
except TimeoutError:
    print("等待模型回覆逾時。請確認 BRIX 上的 Ollama 正常,再提高逾時時間或稍後重試。")
    raise SystemExit(1)

第三步:執行並輸入問題

在另一個 Windows CMD 視窗切換到程式所在資料夾,執行:

py test_ollama_windows.py

程式會提示輸入問題。本次輸入「請用三句話寫一篇小故事。」後,模型名稱顯示為 qwen3:4b-instruct-2507-q4_K_M,並成功回傳繁體中文內容。

本次成功測試結果

請用三句話寫一篇小故事。

模型: qwen3:4b-instruct-2507-q4_K_M
回答:
小巷裡的阿傑,每天傍晚都會幫老奶奶推車送菜。
那天他發現車輪下藏著一封舊信,寫著「給未來的我」。
他笑了,原來他早就知道,自己會成為那個未來。

完成原因: stop
測試判讀:模型有回傳完整故事,且完成原因是 stop,表示這次回答自然結束,並非因生成字數上限而中斷。

測試心得與下一步

本次已完成從 Windows CMD 經 SSH 隧道呼叫 BRIX 上 Ollama,並用 Python 傳送繁體中文、接收模型回覆的測試。Python 透過 json.dumps(..., ensure_ascii=False) 與 UTF-8 編碼處理中文,免去先前在 CMD 使用 echo 寫入中文 JSON 時遇到的亂碼問題。

下一階段可在 Windows 端加入語音辨識,把麥克風說出的台語轉成文字後交給 Ollama,再把模型回答交由台語語音合成播放。如此可逐步建成「Windows 收音與播音、BRIX 執行本地模型」的台語互動原型。

智慧生活科技專業社群|Ollama × Python × SSH 遠端測試實作

從 Windows CMD 遠端測試 Ollama:Qwen3 中文回覆成功紀錄

智慧生活科技|實作紀錄

從 Windows CMD 遠端測試 Ollama:Qwen3 中文回覆成功紀錄

讓 GIGABYTE BRIX 負責本地模型推論,Windows 電腦負責操作與後續語音互動。本篇記錄 SSH 隧道、模型選擇、中文編碼排查,以及成功取得繁體中文回覆的完整過程。

測試環境

本次以 GIGABYTE GB-BTIP-N150(16GB)作為 Ollama 主機,安裝 Ubuntu;另一台 Windows 電腦透過 SSH 使用 Ollama API。麥克風、喇叭與未來的語音介面都規劃在 Windows 電腦端。

  • Ollama 主機:192.168.1.114
  • 主機端 Ollama API:127.0.0.1:11434
  • Windows 本機轉送埠:127.0.0.1:11435
  • 成功模型:qwen3:4b-instruct-2507-q4_K_M
  • Ollama API 版本:0.35.1

一、以 SSH 建立 API 隧道

在 Windows CMD 開啟第一個視窗,輸入以下指令:

ssh -N -L 127.0.0.1:11435:127.0.0.1:11434 nfusrai@192.168.1.114

輸入 Ubuntu 帳號密碼後,視窗會停留在連線狀態、沒有新的命令提示符,這是正常的。測試時要保持此視窗開啟。

另開一個 Windows CMD,確認 API 隧道已連通:

curl.exe http://127.0.0.1:11435/api/version

收到下列類似回應,就代表 Windows 已經能透過 SSH 連到 Ollama:

{"version":"0.35.1"}
若連線失敗:看到「Failed to connect to 127.0.0.1 port 11435」時,先確認 SSH 隧道視窗仍開著。這表示 Windows 本機的轉送埠沒有在監聽,尚未進入模型測試階段。

二、確認原模型的回覆模式

原先安裝的 qwen3:4b 可以載入與執行,但 API 測試時,生成上限用完前仍在輸出 thinking,正式回答欄位 response 是空白。回應中的 done_reason":"length" 表示生成額度用完,模型還沒有完成回答。

進一步查詢 /api/show 後,模型回報思考模式只有 true 這個可用值。也就是說,這個安裝版本不能透過 "think":false 關閉思考模式。對一般短問答而言,改用 Instruct 取向的模型更合適。

三、下載 Qwen3 4B Instruct 模型

在另一個 Windows CMD 視窗,以 SSH 登入 BRIX 並下載量化版模型:

ssh nfusrai@192.168.1.114 ollama pull qwen3:4b-instruct-2507-q4_K_M

等待下載完成。原有 Thinking 模型可以先保留;呼叫 API 時指定新的模型名稱即可。

四、排除 Windows CMD 中文編碼問題

最初使用 CMD 的 echo 將中文字寫入 JSON 檔,模型收到後表示內容像是亂碼。改用記事本直接輸入中文仍未排除問題。最後將中文改寫成 JSON Unicode escape,避開命令列與檔案傳送過程中的中文編碼差異。

在 Windows CMD 輸入以下命令開啟記事本:

notepad ollama_test.json

把下列 JSON 貼入記事本,按 Ctrl+S 儲存後關閉:

{"model":"qwen3:4b-instruct-2507-q4_K_M","prompt":"\u8acb\u7528\u7e41\u9ad4\u4e2d\u6587\u7c21\u77ed\u81ea\u6211\u4ecb\u7d39\u3002","stream":false,"options":{"num_predict":128}}

這串 \u 編碼會由 JSON 解碼成「請用繁體中文簡短自我介紹。」整份測試檔只有英數字元,因此不必直接在 CMD 中傳送中文字。

五、從 Windows 呼叫模型

確認 SSH 隧道視窗仍保持連線後,在另一個 CMD 視窗執行:

curl.exe --max-time 120 http://127.0.0.1:11435/api/generate -H "Content-Type: application/json" --data-binary "@ollama_test.json"

成功時,API 回傳的 model 欄位會是 qwen3:4b-instruct-2507-q4_K_M,而 response 欄位會出現繁體中文自我介紹。本次測試已成功取得中文回答,表示整段流程都已連通:

Windows CMD → SSH 隧道 → BRIX 上的 Ollama → Qwen3 Instruct 模型

測試結論與後續方向

這次測試釐清兩個關鍵點:第一,原本的 qwen3:4b 使用 Thinking 取向,思考輸出會占用生成額度;第二,Windows CMD 傳送中文時可能遇到編碼差異。改用 Qwen3 4B Instruct,並以 JSON Unicode escape 傳送中文後,模型已能正常以繁體中文回覆。

下一步可在 Windows 電腦端加入語音辨識與台語文字處理,再將辨識結果傳給 Ollama;收到回答後,由 Windows 端的台語語音合成播放。BRIX 專責本地模型推論,Windows 則負責麥克風、喇叭與互動介面。

本次成果:遠端 API 連線成功,Instruct 模型成功以繁體中文回覆。
智慧生活科技專業社群|Ollama 本地 AI 實作紀錄

在 GIGABYTE BRIX N150 安裝 Ollama,並用 SSH 遠端操作

這篇記錄如何在 GIGABYTE GB-BTIP-N150(16GB 記憶體、Ubuntu)安裝 Ollama,下載中文模型 Qwen3 4B,並從 Windows 使用 SSH 遠端終端機操作。實測確認:SSH 可登入 BRIX,且能列出並執行已安裝的模型。

在 GIGABYTE BRIX N150 安裝 Ollama,並用 SSH 遠端操作

迷你電腦也能在本機執行小型語言模型。這次以 GIGABYTE GB-BTIP-N150、16GB 記憶體和 Ubuntu 為例,從安裝 Ollama 到 Windows 遠端登入,一步一步完成設定。

一、安裝 Ollama

在 BRIX 開啟 Ubuntu 終端機,執行官方安裝指令:

curl -fsSL https://ollama.com/install.sh | sh

安裝後可查看用戶端版本:

ollama --version

如果出現「Warning: could not connect to a running ollama instance」,但同時顯示 client version,代表指令已安裝,但當時尚未連上正在執行的 Ollama 服務。

二、啟動 Ollama 並下載模型

若 Ollama 服務尚未執行,可在一個終端機輸入:

ollama serve

讓服務保持執行,再開啟另一個終端機,下載並啟動 Qwen3 4B:

ollama run qwen3:4b

第一次執行會下載模型。進入 >>> 提示符後,就可以直接輸入問題。輸入 /bye 離開模型對話。

可用以下指令確認模型是否已下載:

ollama list

實測清單中可看到 qwen3:4b,模型大小約 2.5 GB。

如果畫面顯示 Unit ollama.service not be found,代表目前沒有找到名為 ollama 的 systemd 服務單元;本次安裝後採用終端機執行 ollama serve 的方式啟動,並以 ollama run 測試成功。

三、在 BRIX 啟用 SSH

若要從 Windows 使用命令列遠端操作 BRIX,先在 BRIX 安裝並啟動 SSH 伺服器:

sudo apt update
sudo apt install -y openssh-server
sudo systemctl enable --now ssh

查詢 Ubuntu 登入帳號和 BRIX 的區域網路 IP:

whoami
hostname -I

本次測試使用的帳號是 nfusrai,BRIX 的 IP 是 192.168.1.114。您的設備可能會使用不同帳號或 IP,請以終端機查到的結果為準。

四、從 Windows 遠端登入

在 Windows 開啟 PowerShell,輸入 SSH 指令:

ssh nfusrai@192.168.1.114

第一次連線若出現主機真實性確認,輸入 yes;接著輸入 BRIX 的 Ubuntu 使用者密碼。成功後會看到類似以下提示符:

nfusrai@giga-n150:~$

看到這個提示符,就表示已進入 BRIX 的遠端終端機。密碼輸入時不會顯示字元,輸入完成後按 Enter 即可。

五、在 SSH 視窗執行 Ollama

遠端登入後,可以直接查詢已下載模型:

ollama list

啟動模型進行對話:

ollama run qwen3:4b

輸入 /bye 結束模型對話,輸入 exit 登出 SSH。

本次測試結果

  • BRIX 上已安裝 Ollama,並成功執行 qwen3:4b。
  • Windows PowerShell 透過 ssh nfusrai@192.168.1.114 成功登入 Ubuntu。
  • SSH 遠端執行 ollama list,成功列出 qwen3:4b。
  • 因此,日常遠端操作 Ollama 可以直接使用 SSH 終端機,不必透過遠端網頁。

小提醒:SSH 連線需要 BRIX 已開機、連上同一個網路,且 SSH 服務正在執行。若 BRIX 的 IP 改變,Windows 連線指令中的 IP 也要更新。不要把 SSH 或 Ollama 埠直接公開到網際網路;外網遠端連線建議透過 VPN。