2026年11月16日 星期一

Python 文字編碼實戰:為什麼中文檔案會出現亂碼?從 Big5、UTF-8 到 CSV 與 Excel

Python 文字編碼實戰:為什麼中文檔案會出現亂碼?從 Big5、UTF-8 到 CSV 與 Excel

你是否曾經遇過以下情況?

  • Python 程式明明可以顯示中文,讀取文字檔卻出現亂碼。
  • 同一個 CSV 檔案,Python 讀取正常,Excel 開啟卻出現亂碼。
  • Windows 記事本儲存的檔案,換一台電腦就無法正常讀取。
  • 從舊系統匯出的 Big5 中文資料,使用 UTF-8 讀取時發生錯誤。
  • 智慧農業感測資料明明有中文欄位,匯入資料分析工具後卻無法辨識。

這些問題通常與文字編碼(Character Encoding)有關。

在前兩篇文章中,我們已經認識 ASCII、Unicode 與 UTF-8。本篇將進一步透過 Python 實作,理解中文亂碼的原因,並學習如何正確處理 TXT、CSV 與 Excel 檔案。

學習目標:讓學生不只是知道 UTF-8 是什麼,更能實際判斷、修正與預防中文亂碼問題。

一、為什麼中文檔案會出現亂碼?

電腦儲存文字時,實際上儲存的是位元組(bytes),而不是直接儲存畫面上看到的中文字。

例如,中文字「中」的 Unicode 碼位是 U+4E2D。

但如果使用不同編碼方式,就會產生不同的位元組資料。

文字 編碼方式 位元組(十六進位)
中 UTF-8 E4 B8 AD
中 Big5 A4 A4

也就是說,同一個中文字,在不同編碼方式下,可能對應不同的位元組序列。

如果儲存時使用 UTF-8,讀取時卻使用 Big5,就可能出現亂碼或解碼錯誤。

原始文字「中文」
↓ UTF-8 編碼
位元組資料
↓ 錯誤使用 Big5 解碼
亂碼或 UnicodeDecodeError
核心觀念:

中文亂碼並不代表原始文字一定已經損壞。

有時只是讀取時選錯編碼方式。只要原始位元組資料仍然完整,就可能透過正確編碼重新解碼。

二、Python 如何觀察不同的文字編碼?

我們先使用最簡單的中文字「中文」,觀察 UTF-8 與 Big5 的差異。

範例 1:比較 UTF-8 與 Big5

text = "中文"

utf8_data = text.encode("utf-8")
big5_data = text.encode("big5")

print("原始文字:", text)

print("UTF-8:", utf8_data)
print("Big5:", big5_data)

print("UTF-8 長度:", len(utf8_data))
print("Big5 長度:", len(big5_data))

執行結果:

原始文字: 中文
UTF-8: b'\xe4\xb8\xad\xe6\x96\x87'
Big5: b'\xa4\xa4\xa4\xe5'
UTF-8 長度: 6
Big5 長度: 4

由此可以觀察到:

  • UTF-8 中,這兩個中文字各使用 3 bytes。
  • Big5 中,這兩個中文字各使用 2 bytes。
  • 兩種編碼產生的位元組內容不同。
  • 位元組數量較少,不代表編碼方式比較好。

範例 2:使用十六進位顯示編碼結果

text = "中文"

print(text.encode("utf-8").hex())
print(text.encode("big5").hex())

執行結果:

e4b8ade69687
a4a4a4e5

使用 hex() 方法,可以更容易比較不同編碼產生的位元組。

三、如何使用 Python 製造一個亂碼問題?

要理解亂碼,最好的方式就是自己建立一個編碼不一致的情境。

範例 3:使用錯誤編碼解碼

text = "中文"

# 使用 Big5 編碼
data = text.encode("big5")

# 錯誤使用 UTF-8 解碼
result = data.decode("utf-8")

print(result)

執行時會產生:

UnicodeDecodeError

原因是 Big5 編碼產生的位元組,不一定符合 UTF-8 的編碼規則。

範例 4:使用正確編碼還原文字

text = "中文"

data = text.encode("big5")

result = data.decode("big5")

print(result)

執行結果:

中文
課堂思考:

為什麼同樣是「中文」兩個字,使用 Big5 編碼後,不能直接用 UTF-8 解碼?

請學生從「字元」、「位元組」與「編碼規則」三個角度說明。

四、Python 如何正確讀寫中文 TXT 檔案?

Python 的 open() 函式可以讀寫文字檔案。

但若未指定編碼方式,Python 可能使用執行環境的預設文字編碼。

為了提高程式在不同電腦上的相容性,建議明確指定 encoding="utf-8"。

範例 5:建立 UTF-8 中文文字檔

message = "智慧養殖:第一池水溫28度"

with open(
    "message.txt",
    "w",
    encoding="utf-8"
) as file:

    file.write(message)

print("檔案寫入完成")

執行後,程式會建立 message.txt。

這個檔案的文字內容會使用 UTF-8 編碼儲存。

範例 6:讀取 UTF-8 中文文字檔

with open(
    "message.txt",
    "r",
    encoding="utf-8"
) as file:

    text = file.read()

print(text)

執行結果:

智慧養殖:第一池水溫28度

範例 7:建立 Big5 中文文字檔

message = "智慧養殖水質監測"

with open(
    "message_big5.txt",
    "w",
    encoding="big5"
) as file:

    file.write(message)

print("Big5 檔案建立完成")

這個檔案使用 Big5 儲存文字。

讀取時應使用:

with open(
    "message_big5.txt",
    "r",
    encoding="big5"
) as file:

    text = file.read()

print(text)
實務建議:

新建立的文字檔案,通常優先使用 UTF-8。

只有在需要與舊系統交換資料時,才依照系統需求使用 Big5 或其他編碼。

五、Windows 記事本為什麼會有編碼問題?

在 Windows 環境中,文字檔案可能使用 UTF-8、UTF-8 with BOM 或其他傳統編碼。

現代 Windows 記事本通常可以辨識 UTF-8,但舊版軟體或其他程式不一定能正確判斷。

因此,若檔案的編碼方式與讀取程式的設定不一致,就可能產生亂碼。

什麼是 BOM?

BOM 是 Byte Order Mark 的縮寫,中文稱為「位元組順序標記」。

UTF-8 的 BOM 位元組為:

EF BB BF

UTF-8 不需要 BOM 才能正確解碼,但部分軟體會利用 BOM 辨識檔案編碼。

範例 8:建立 UTF-8 BOM 檔案

message = "智慧生活科技"

with open(
    "message_bom.txt",
    "w",
    encoding="utf-8-sig"
) as file:

    file.write(message)

utf-8-sig 會在寫入檔案時加入 UTF-8 BOM。

範例 9:讀取含 BOM 的檔案

with open(
    "message_bom.txt",
    "r",
    encoding="utf-8-sig"
) as file:

    text = file.read()

print(text)

使用 utf-8-sig 讀取時,Python 會處理檔案開頭的 UTF-8 BOM。

如果使用一般 UTF-8 讀取,BOM 可能被保留為字串開頭的 U+FEFF 字元。

六、CSV 是什麼?為什麼 Excel 開啟可能出現亂碼?

CSV 是 Comma-Separated Values 的縮寫,中文稱為「逗號分隔值」。

CSV 本質上是文字檔案,常用於交換表格資料。

例如,智慧養殖系統可能產生以下資料:

養殖池,水溫,pH
第一池,28.5,7.5
第二池,27.8,7.8

這些資料可以使用 Python、Excel 或 Pandas 進行處理。

但是,CSV 格式本身並不保證使用哪一種文字編碼。

因此,即使 Python 正確寫入 UTF-8 CSV,某些 Excel 版本或開啟方式仍可能使用錯誤編碼解讀,造成中文亂碼。

Python 建立 UTF-8 CSV
↓
CSV 文字檔案
↓
Excel 使用不正確的編碼開啟
↓
中文顯示異常

七、Python 如何建立中文 CSV 檔案?

範例 10:使用 csv 模組建立 UTF-8 CSV

import csv

data = [
    ["養殖池", "水溫", "pH"],
    ["第一池", 28.5, 7.5],
    ["第二池", 27.8, 7.8]
]

with open(
    "water.csv",
    "w",
    newline="",
    encoding="utf-8"
) as file:

    writer = csv.writer(file)

    writer.writerows(data)

print("CSV 建立完成")

執行後會建立 water.csv。

使用 newline="" 是 Python csv 模組建議的檔案開啟方式,可以避免換行處理上的問題。

範例 11:讀取中文 CSV

import csv

with open(
    "water.csv",
    "r",
    newline="",
    encoding="utf-8"
) as file:

    reader = csv.reader(file)

    for row in reader:
        print(row)

執行結果:

['養殖池', '水溫', 'pH']
['第一池', '28.5', '7.5']
['第二池', '27.8', '7.8']

注意,CSV 讀取後的欄位預設是字串。

如果需要進行數值運算,必須使用 float() 或 int() 轉換資料型別。

八、如何讓 Excel 正確開啟中文 CSV?

對於部分 Windows Excel 環境,使用 UTF-8 BOM 可以提高中文編碼辨識的相容性。

在 Python 中,可以使用 encoding="utf-8-sig"。

範例 12:建立適合 Excel 開啟的 UTF-8 CSV

import csv

data = [
    ["養殖池", "水溫", "pH"],
    ["第一池", 28.5, 7.5],
    ["第二池", 27.8, 7.8]
]

with open(
    "water_excel.csv",
    "w",
    newline="",
    encoding="utf-8-sig"
) as file:

    writer = csv.writer(file)

    writer.writerows(data)

print("Excel CSV 建立完成")

與前一個範例相比,只修改一個地方:

encoding="utf-8-sig"

這樣會在 CSV 檔案開頭加入 UTF-8 BOM。

建議課堂操作:
  1. 使用 Python 建立 water.csv(UTF-8)。
  2. 再建立 water_excel.csv(UTF-8 with BOM)。
  3. 分別使用 Excel 開啟兩個檔案。
  4. 觀察中文欄位是否正常。
  5. 比較兩個檔案的前幾個位元組。
補充:

不同 Excel 版本與開啟方式可能有不同結果。若中文仍無法正確顯示,可使用 Excel 的「資料 → 從文字/CSV」功能匯入,並明確選擇 UTF-8 編碼。

若需要保留工作表、儲存格格式與資料型別,則可直接使用 XLSX 格式,而不必透過 CSV。

九、Python 如何直接建立 Excel XLSX 檔案?

CSV 是純文字資料格式,而 XLSX 是 Excel 活頁簿格式。

若需要直接建立 Excel 檔案,可以使用 Python 的 openpyxl 套件。

安裝方式:

pip install openpyxl

範例 13:建立智慧養殖 Excel 檔案

from openpyxl import Workbook

wb = Workbook()

ws = wb.active
ws.title = "智慧養殖水質"

ws.append(["養殖池", "水溫", "pH"])
ws.append(["第一池", 28.5, 7.5])
ws.append(["第二池", 27.8, 7.8])

wb.save("water.xlsx")

print("Excel 檔案建立完成")

執行後會產生 water.xlsx。

這個檔案可以直接使用 Excel 開啟。

XLSX 並不是單純的 UTF-8 文字檔案,而是以 ZIP 封裝 XML 等資料的檔案格式。openpyxl 會負責處理相關檔案結構與文字內容。

範例 14:讀取 Excel 中文資料

from openpyxl import load_workbook

wb = load_workbook("water.xlsx")

ws = wb.active

for row in ws.iter_rows(values_only=True):
    print(row)

執行結果:

('養殖池', '水溫', 'pH')
('第一池', 28.5, 7.5)
('第二池', 27.8, 7.8)

可以觀察到,XLSX 中的數值欄位仍可保留為數值型別,而 CSV 讀取時通常先得到字串。

十、如何判斷一個檔案使用哪種編碼?

當收到來源不明的文字檔案時,首先應該確認其編碼方式。

需要注意的是,單靠檔案內容的位元組,通常無法百分之百判斷原始編碼。

因此,最可靠的方法仍是確認檔案來源、系統規格或匯出設定。

範例 15:查看檔案原始位元組

with open("message.txt", "rb") as file:
    data = file.read()

print(data)
print(data.hex())

這裡使用:

"rb"

代表以二進位模式讀取檔案。

Python 不會自動將資料解碼成字串,而是直接取得 bytes。

範例 16:檢查 UTF-8 BOM

with open("message_bom.txt", "rb") as file:
    data = file.read()

if data.startswith(b"\xef\xbb\xbf"):
    print("檔案具有 UTF-8 BOM")
else:
    print("沒有 UTF-8 BOM")

如果檔案開頭是 EF BB BF,代表它具有 UTF-8 BOM。

但沒有 BOM 並不代表檔案不是 UTF-8。

十一、如何將 Big5 檔案轉成 UTF-8?

在實際工作中,經常需要將舊系統的 Big5 中文檔案轉換成 UTF-8。

例如,早期農業資料、地方文化資料或舊版資料庫匯出的文字檔案。

範例 17:Big5 轉 UTF-8

# 讀取 Big5 檔案
with open(
    "message_big5.txt",
    "r",
    encoding="big5"
) as file:

    text = file.read()

# 重新寫入 UTF-8 檔案
with open(
    "message_utf8.txt",
    "w",
    encoding="utf-8"
) as file:

    file.write(text)

print("編碼轉換完成")

這個程式的核心流程是:

Big5 文字檔
↓ 使用 Big5 解碼
Python Unicode 字串
↓ 使用 UTF-8 編碼
UTF-8 文字檔

這種轉換方式比直接修改檔案副檔名可靠得多。

注意:

如果原始檔案的編碼判斷錯誤,或原始資料已經損壞,即使重新儲存成 UTF-8,也不一定能恢復正確文字。

正式轉換重要資料前,應先備份原始檔案。

十二、智慧養殖實作:從 CSV 到 Excel

接下來將前面的觀念整合成一個實際應用。

假設智慧養殖系統每天記錄各養殖池的水溫與 pH,並希望將資料匯出給農友使用。

系統需要:

  1. 建立包含中文欄位的水質資料。
  2. 輸出 UTF-8 CSV。
  3. 輸出 Excel 相容性較佳的 UTF-8 BOM CSV。
  4. 建立 XLSX Excel 檔案。

範例 18:智慧養殖水質資料匯出系統

import csv
from openpyxl import Workbook

data = [
    ["養殖池", "水溫", "pH", "狀態"],
    ["第一池", 28.5, 7.5, "正常"],
    ["第二池", 27.8, 7.8, "正常"],
    ["第三池", 32.1, 8.2, "注意"]
]

# 1. 輸出 UTF-8 CSV
with open(
    "water_utf8.csv",
    "w",
    newline="",
    encoding="utf-8"
) as file:

    writer = csv.writer(file)
    writer.writerows(data)

# 2. 輸出 UTF-8 BOM CSV
with open(
    "water_excel.csv",
    "w",
    newline="",
    encoding="utf-8-sig"
) as file:

    writer = csv.writer(file)
    writer.writerows(data)

# 3. 輸出 XLSX
wb = Workbook()

ws = wb.active
ws.title = "智慧養殖水質"

for row in data:
    ws.append(row)

wb.save("water.xlsx")

print("三種資料檔案建立完成")

執行後會產生:

檔案 格式 適用情境
water_utf8.csv UTF-8 CSV Python、資料交換、資料分析
water_excel.csv UTF-8 BOM CSV 部分 Windows Excel 環境
water.xlsx Excel 活頁簿 報表、資料整理與後續編輯

這個範例可以進一步延伸成 Django 網站的資料匯出功能,或與 MQTT、資料庫及智慧養殖 Dashboard 整合。

十三、常見中文亂碼問題整理

問題 可能原因 建議處理方式
Python 讀取中文 TXT 發生錯誤 讀取編碼與檔案編碼不同 確認來源並指定 encoding
Excel 開啟 CSV 出現亂碼 Excel 使用錯誤的文字編碼 使用 UTF-8 BOM 或匯入精靈
Big5 檔案無法以 UTF-8 讀取 兩種編碼規則不同 使用 Big5 解碼後再轉 UTF-8
文字開頭出現特殊符號 可能是 BOM 被當成文字 使用 utf-8-sig 讀取
中文變成問號或替代符號 編碼不支援或曾發生資料替換 檢查原始資料與編碼流程
CSV 中文正常但數字不能計算 CSV 讀取後欄位為字串 使用 int() 或 float() 轉型

十四、Python 課堂實作練習

任務一:中文編碼比較

請學生使用以下文字:

text = "智慧生活"

分別使用 UTF-8 與 Big5 編碼,觀察:

  • 位元組數量。
  • 十六進位資料。
  • 不同編碼的差異。

任務二:中文亂碼修復

請學生先建立一個 Big5 文字檔,再使用 UTF-8 讀取,觀察錯誤。

接著使用正確的 Big5 編碼讀取,最後轉換成 UTF-8。

要求學生說明:

  • 亂碼或解碼錯誤為什麼發生?
  • 為什麼修改副檔名無法解決編碼問題?
  • 為什麼轉換編碼前要保留原始檔案?

任務三:智慧養殖資料匯出

建立包含以下欄位的資料:

  • 養殖池名稱。
  • 水溫。
  • pH。
  • 溶氧量(mg/L)。
  • 水質狀態。

請學生將資料分別輸出為:

  1. UTF-8 CSV。
  2. UTF-8 BOM CSV。
  3. XLSX Excel 檔案。

最後使用 Excel 開啟檔案,確認中文與數值資料是否正確。

十五、總結:理解編碼,才能真正解決中文亂碼

從 ASCII、Big5 到 Unicode 與 UTF-8,文字編碼技術不斷演進,目的就是讓電腦能夠正確儲存、交換與顯示不同語言的文字。

對 Python 初學者而言,最重要的不是記住所有編碼名稱,而是理解文字與位元組之間的關係。

Python 字串 str
↓ encode()
位元組 bytes
↓
檔案儲存或網路傳輸
↓ decode()
Python 字串 str

只要掌握以下原則,就能避免大部分常見的中文亂碼問題:

  1. 建立新文字檔時,優先使用 UTF-8。
  2. 讀寫檔案時,明確指定 encoding。
  3. 處理舊資料時,先確認是否使用 Big5 或其他編碼。
  4. 輸出 CSV 給 Excel 使用時,注意 BOM 與匯入方式。
  5. 需要正式 Excel 報表時,可以直接使用 XLSX。
  6. 編碼轉換前,應先備份原始資料。

理解文字編碼,不只是解決中文亂碼,更是學習 Python 檔案處理、資料分析、網際網路應用與物聯網系統的重要基礎。

參考資料

適用課程:Python 程式設計、Python 程式實習、網際網路應用、資料分析與智慧生活科技。

沒有留言:

張貼留言