Python 文字編碼實戰:為什麼中文檔案會出現亂碼?從 Big5、UTF-8 到 CSV 與 Excel
你是否曾經遇過以下情況?
- Python 程式明明可以顯示中文,讀取文字檔卻出現亂碼。
- 同一個 CSV 檔案,Python 讀取正常,Excel 開啟卻出現亂碼。
- Windows 記事本儲存的檔案,換一台電腦就無法正常讀取。
- 從舊系統匯出的 Big5 中文資料,使用 UTF-8 讀取時發生錯誤。
- 智慧農業感測資料明明有中文欄位,匯入資料分析工具後卻無法辨識。
這些問題通常與文字編碼(Character Encoding)有關。
在前兩篇文章中,我們已經認識 ASCII、Unicode 與 UTF-8。本篇將進一步透過 Python 實作,理解中文亂碼的原因,並學習如何正確處理 TXT、CSV 與 Excel 檔案。
學習目標:讓學生不只是知道 UTF-8 是什麼,更能實際判斷、修正與預防中文亂碼問題。
一、為什麼中文檔案會出現亂碼?
電腦儲存文字時,實際上儲存的是位元組(bytes),而不是直接儲存畫面上看到的中文字。
例如,中文字「中」的 Unicode 碼位是 U+4E2D。
但如果使用不同編碼方式,就會產生不同的位元組資料。
| 文字 | 編碼方式 | 位元組(十六進位) |
|---|---|---|
| 中 | UTF-8 | E4 B8 AD |
| 中 | Big5 | A4 A4 |
也就是說,同一個中文字,在不同編碼方式下,可能對應不同的位元組序列。
如果儲存時使用 UTF-8,讀取時卻使用 Big5,就可能出現亂碼或解碼錯誤。
↓ UTF-8 編碼
位元組資料
↓ 錯誤使用 Big5 解碼
亂碼或 UnicodeDecodeError
中文亂碼並不代表原始文字一定已經損壞。
有時只是讀取時選錯編碼方式。只要原始位元組資料仍然完整,就可能透過正確編碼重新解碼。
二、Python 如何觀察不同的文字編碼?
我們先使用最簡單的中文字「中文」,觀察 UTF-8 與 Big5 的差異。
範例 1:比較 UTF-8 與 Big5
text = "中文"
utf8_data = text.encode("utf-8")
big5_data = text.encode("big5")
print("原始文字:", text)
print("UTF-8:", utf8_data)
print("Big5:", big5_data)
print("UTF-8 長度:", len(utf8_data))
print("Big5 長度:", len(big5_data))
執行結果:
原始文字: 中文
UTF-8: b'\xe4\xb8\xad\xe6\x96\x87'
Big5: b'\xa4\xa4\xa4\xe5'
UTF-8 長度: 6
Big5 長度: 4
由此可以觀察到:
- UTF-8 中,這兩個中文字各使用 3 bytes。
- Big5 中,這兩個中文字各使用 2 bytes。
- 兩種編碼產生的位元組內容不同。
- 位元組數量較少,不代表編碼方式比較好。
範例 2:使用十六進位顯示編碼結果
text = "中文"
print(text.encode("utf-8").hex())
print(text.encode("big5").hex())
執行結果:
e4b8ade69687
a4a4a4e5
使用 hex() 方法,可以更容易比較不同編碼產生的位元組。
三、如何使用 Python 製造一個亂碼問題?
要理解亂碼,最好的方式就是自己建立一個編碼不一致的情境。
範例 3:使用錯誤編碼解碼
text = "中文"
# 使用 Big5 編碼
data = text.encode("big5")
# 錯誤使用 UTF-8 解碼
result = data.decode("utf-8")
print(result)
執行時會產生:
UnicodeDecodeError
原因是 Big5 編碼產生的位元組,不一定符合 UTF-8 的編碼規則。
範例 4:使用正確編碼還原文字
text = "中文"
data = text.encode("big5")
result = data.decode("big5")
print(result)
執行結果:
中文
為什麼同樣是「中文」兩個字,使用 Big5 編碼後,不能直接用 UTF-8 解碼?
請學生從「字元」、「位元組」與「編碼規則」三個角度說明。
四、Python 如何正確讀寫中文 TXT 檔案?
Python 的 open() 函式可以讀寫文字檔案。
但若未指定編碼方式,Python 可能使用執行環境的預設文字編碼。
為了提高程式在不同電腦上的相容性,建議明確指定 encoding="utf-8"。
範例 5:建立 UTF-8 中文文字檔
message = "智慧養殖:第一池水溫28度"
with open(
"message.txt",
"w",
encoding="utf-8"
) as file:
file.write(message)
print("檔案寫入完成")
執行後,程式會建立 message.txt。
這個檔案的文字內容會使用 UTF-8 編碼儲存。
範例 6:讀取 UTF-8 中文文字檔
with open(
"message.txt",
"r",
encoding="utf-8"
) as file:
text = file.read()
print(text)
執行結果:
智慧養殖:第一池水溫28度
範例 7:建立 Big5 中文文字檔
message = "智慧養殖水質監測"
with open(
"message_big5.txt",
"w",
encoding="big5"
) as file:
file.write(message)
print("Big5 檔案建立完成")
這個檔案使用 Big5 儲存文字。
讀取時應使用:
with open(
"message_big5.txt",
"r",
encoding="big5"
) as file:
text = file.read()
print(text)
新建立的文字檔案,通常優先使用 UTF-8。
只有在需要與舊系統交換資料時,才依照系統需求使用 Big5 或其他編碼。
五、Windows 記事本為什麼會有編碼問題?
在 Windows 環境中,文字檔案可能使用 UTF-8、UTF-8 with BOM 或其他傳統編碼。
現代 Windows 記事本通常可以辨識 UTF-8,但舊版軟體或其他程式不一定能正確判斷。
因此,若檔案的編碼方式與讀取程式的設定不一致,就可能產生亂碼。
什麼是 BOM?
BOM 是 Byte Order Mark 的縮寫,中文稱為「位元組順序標記」。
UTF-8 的 BOM 位元組為:
EF BB BF
UTF-8 不需要 BOM 才能正確解碼,但部分軟體會利用 BOM 辨識檔案編碼。
範例 8:建立 UTF-8 BOM 檔案
message = "智慧生活科技"
with open(
"message_bom.txt",
"w",
encoding="utf-8-sig"
) as file:
file.write(message)
utf-8-sig 會在寫入檔案時加入 UTF-8 BOM。
範例 9:讀取含 BOM 的檔案
with open(
"message_bom.txt",
"r",
encoding="utf-8-sig"
) as file:
text = file.read()
print(text)
使用 utf-8-sig 讀取時,Python 會處理檔案開頭的 UTF-8 BOM。
如果使用一般 UTF-8 讀取,BOM 可能被保留為字串開頭的 U+FEFF 字元。
六、CSV 是什麼?為什麼 Excel 開啟可能出現亂碼?
CSV 是 Comma-Separated Values 的縮寫,中文稱為「逗號分隔值」。
CSV 本質上是文字檔案,常用於交換表格資料。
例如,智慧養殖系統可能產生以下資料:
養殖池,水溫,pH
第一池,28.5,7.5
第二池,27.8,7.8
這些資料可以使用 Python、Excel 或 Pandas 進行處理。
但是,CSV 格式本身並不保證使用哪一種文字編碼。
因此,即使 Python 正確寫入 UTF-8 CSV,某些 Excel 版本或開啟方式仍可能使用錯誤編碼解讀,造成中文亂碼。
↓
CSV 文字檔案
↓
Excel 使用不正確的編碼開啟
↓
中文顯示異常
七、Python 如何建立中文 CSV 檔案?
範例 10:使用 csv 模組建立 UTF-8 CSV
import csv
data = [
["養殖池", "水溫", "pH"],
["第一池", 28.5, 7.5],
["第二池", 27.8, 7.8]
]
with open(
"water.csv",
"w",
newline="",
encoding="utf-8"
) as file:
writer = csv.writer(file)
writer.writerows(data)
print("CSV 建立完成")
執行後會建立 water.csv。
使用 newline="" 是 Python csv 模組建議的檔案開啟方式,可以避免換行處理上的問題。
範例 11:讀取中文 CSV
import csv
with open(
"water.csv",
"r",
newline="",
encoding="utf-8"
) as file:
reader = csv.reader(file)
for row in reader:
print(row)
執行結果:
['養殖池', '水溫', 'pH']
['第一池', '28.5', '7.5']
['第二池', '27.8', '7.8']
注意,CSV 讀取後的欄位預設是字串。
如果需要進行數值運算,必須使用 float() 或 int() 轉換資料型別。
八、如何讓 Excel 正確開啟中文 CSV?
對於部分 Windows Excel 環境,使用 UTF-8 BOM 可以提高中文編碼辨識的相容性。
在 Python 中,可以使用 encoding="utf-8-sig"。
範例 12:建立適合 Excel 開啟的 UTF-8 CSV
import csv
data = [
["養殖池", "水溫", "pH"],
["第一池", 28.5, 7.5],
["第二池", 27.8, 7.8]
]
with open(
"water_excel.csv",
"w",
newline="",
encoding="utf-8-sig"
) as file:
writer = csv.writer(file)
writer.writerows(data)
print("Excel CSV 建立完成")
與前一個範例相比,只修改一個地方:
encoding="utf-8-sig"
這樣會在 CSV 檔案開頭加入 UTF-8 BOM。
- 使用 Python 建立 water.csv(UTF-8)。
- 再建立 water_excel.csv(UTF-8 with BOM)。
- 分別使用 Excel 開啟兩個檔案。
- 觀察中文欄位是否正常。
- 比較兩個檔案的前幾個位元組。
不同 Excel 版本與開啟方式可能有不同結果。若中文仍無法正確顯示,可使用 Excel 的「資料 → 從文字/CSV」功能匯入,並明確選擇 UTF-8 編碼。
若需要保留工作表、儲存格格式與資料型別,則可直接使用 XLSX 格式,而不必透過 CSV。
九、Python 如何直接建立 Excel XLSX 檔案?
CSV 是純文字資料格式,而 XLSX 是 Excel 活頁簿格式。
若需要直接建立 Excel 檔案,可以使用 Python 的 openpyxl 套件。
安裝方式:
pip install openpyxl
範例 13:建立智慧養殖 Excel 檔案
from openpyxl import Workbook
wb = Workbook()
ws = wb.active
ws.title = "智慧養殖水質"
ws.append(["養殖池", "水溫", "pH"])
ws.append(["第一池", 28.5, 7.5])
ws.append(["第二池", 27.8, 7.8])
wb.save("water.xlsx")
print("Excel 檔案建立完成")
執行後會產生 water.xlsx。
這個檔案可以直接使用 Excel 開啟。
XLSX 並不是單純的 UTF-8 文字檔案,而是以 ZIP 封裝 XML 等資料的檔案格式。openpyxl 會負責處理相關檔案結構與文字內容。
範例 14:讀取 Excel 中文資料
from openpyxl import load_workbook
wb = load_workbook("water.xlsx")
ws = wb.active
for row in ws.iter_rows(values_only=True):
print(row)
執行結果:
('養殖池', '水溫', 'pH')
('第一池', 28.5, 7.5)
('第二池', 27.8, 7.8)
可以觀察到,XLSX 中的數值欄位仍可保留為數值型別,而 CSV 讀取時通常先得到字串。
十、如何判斷一個檔案使用哪種編碼?
當收到來源不明的文字檔案時,首先應該確認其編碼方式。
需要注意的是,單靠檔案內容的位元組,通常無法百分之百判斷原始編碼。
因此,最可靠的方法仍是確認檔案來源、系統規格或匯出設定。
範例 15:查看檔案原始位元組
with open("message.txt", "rb") as file:
data = file.read()
print(data)
print(data.hex())
這裡使用:
"rb"
代表以二進位模式讀取檔案。
Python 不會自動將資料解碼成字串,而是直接取得 bytes。
範例 16:檢查 UTF-8 BOM
with open("message_bom.txt", "rb") as file:
data = file.read()
if data.startswith(b"\xef\xbb\xbf"):
print("檔案具有 UTF-8 BOM")
else:
print("沒有 UTF-8 BOM")
如果檔案開頭是 EF BB BF,代表它具有 UTF-8 BOM。
但沒有 BOM 並不代表檔案不是 UTF-8。
十一、如何將 Big5 檔案轉成 UTF-8?
在實際工作中,經常需要將舊系統的 Big5 中文檔案轉換成 UTF-8。
例如,早期農業資料、地方文化資料或舊版資料庫匯出的文字檔案。
範例 17:Big5 轉 UTF-8
# 讀取 Big5 檔案
with open(
"message_big5.txt",
"r",
encoding="big5"
) as file:
text = file.read()
# 重新寫入 UTF-8 檔案
with open(
"message_utf8.txt",
"w",
encoding="utf-8"
) as file:
file.write(text)
print("編碼轉換完成")
這個程式的核心流程是:
↓ 使用 Big5 解碼
Python Unicode 字串
↓ 使用 UTF-8 編碼
UTF-8 文字檔
這種轉換方式比直接修改檔案副檔名可靠得多。
如果原始檔案的編碼判斷錯誤,或原始資料已經損壞,即使重新儲存成 UTF-8,也不一定能恢復正確文字。
正式轉換重要資料前,應先備份原始檔案。
十二、智慧養殖實作:從 CSV 到 Excel
接下來將前面的觀念整合成一個實際應用。
假設智慧養殖系統每天記錄各養殖池的水溫與 pH,並希望將資料匯出給農友使用。
系統需要:
- 建立包含中文欄位的水質資料。
- 輸出 UTF-8 CSV。
- 輸出 Excel 相容性較佳的 UTF-8 BOM CSV。
- 建立 XLSX Excel 檔案。
範例 18:智慧養殖水質資料匯出系統
import csv
from openpyxl import Workbook
data = [
["養殖池", "水溫", "pH", "狀態"],
["第一池", 28.5, 7.5, "正常"],
["第二池", 27.8, 7.8, "正常"],
["第三池", 32.1, 8.2, "注意"]
]
# 1. 輸出 UTF-8 CSV
with open(
"water_utf8.csv",
"w",
newline="",
encoding="utf-8"
) as file:
writer = csv.writer(file)
writer.writerows(data)
# 2. 輸出 UTF-8 BOM CSV
with open(
"water_excel.csv",
"w",
newline="",
encoding="utf-8-sig"
) as file:
writer = csv.writer(file)
writer.writerows(data)
# 3. 輸出 XLSX
wb = Workbook()
ws = wb.active
ws.title = "智慧養殖水質"
for row in data:
ws.append(row)
wb.save("water.xlsx")
print("三種資料檔案建立完成")
執行後會產生:
| 檔案 | 格式 | 適用情境 |
|---|---|---|
| water_utf8.csv | UTF-8 CSV | Python、資料交換、資料分析 |
| water_excel.csv | UTF-8 BOM CSV | 部分 Windows Excel 環境 |
| water.xlsx | Excel 活頁簿 | 報表、資料整理與後續編輯 |
這個範例可以進一步延伸成 Django 網站的資料匯出功能,或與 MQTT、資料庫及智慧養殖 Dashboard 整合。
十三、常見中文亂碼問題整理
| 問題 | 可能原因 | 建議處理方式 |
|---|---|---|
| Python 讀取中文 TXT 發生錯誤 | 讀取編碼與檔案編碼不同 | 確認來源並指定 encoding |
| Excel 開啟 CSV 出現亂碼 | Excel 使用錯誤的文字編碼 | 使用 UTF-8 BOM 或匯入精靈 |
| Big5 檔案無法以 UTF-8 讀取 | 兩種編碼規則不同 | 使用 Big5 解碼後再轉 UTF-8 |
| 文字開頭出現特殊符號 | 可能是 BOM 被當成文字 | 使用 utf-8-sig 讀取 |
| 中文變成問號或替代符號 | 編碼不支援或曾發生資料替換 | 檢查原始資料與編碼流程 |
| CSV 中文正常但數字不能計算 | CSV 讀取後欄位為字串 | 使用 int() 或 float() 轉型 |
十四、Python 課堂實作練習
任務一:中文編碼比較
請學生使用以下文字:
text = "智慧生活"
分別使用 UTF-8 與 Big5 編碼,觀察:
- 位元組數量。
- 十六進位資料。
- 不同編碼的差異。
任務二:中文亂碼修復
請學生先建立一個 Big5 文字檔,再使用 UTF-8 讀取,觀察錯誤。
接著使用正確的 Big5 編碼讀取,最後轉換成 UTF-8。
要求學生說明:
- 亂碼或解碼錯誤為什麼發生?
- 為什麼修改副檔名無法解決編碼問題?
- 為什麼轉換編碼前要保留原始檔案?
任務三:智慧養殖資料匯出
建立包含以下欄位的資料:
- 養殖池名稱。
- 水溫。
- pH。
- 溶氧量(mg/L)。
- 水質狀態。
請學生將資料分別輸出為:
- UTF-8 CSV。
- UTF-8 BOM CSV。
- XLSX Excel 檔案。
最後使用 Excel 開啟檔案,確認中文與數值資料是否正確。
十五、總結:理解編碼,才能真正解決中文亂碼
從 ASCII、Big5 到 Unicode 與 UTF-8,文字編碼技術不斷演進,目的就是讓電腦能夠正確儲存、交換與顯示不同語言的文字。
對 Python 初學者而言,最重要的不是記住所有編碼名稱,而是理解文字與位元組之間的關係。
↓ encode()
位元組 bytes
↓
檔案儲存或網路傳輸
↓ decode()
Python 字串 str
只要掌握以下原則,就能避免大部分常見的中文亂碼問題:
- 建立新文字檔時,優先使用 UTF-8。
- 讀寫檔案時,明確指定 encoding。
- 處理舊資料時,先確認是否使用 Big5 或其他編碼。
- 輸出 CSV 給 Excel 使用時,注意 BOM 與匯入方式。
- 需要正式 Excel 報表時,可以直接使用 XLSX。
- 編碼轉換前,應先備份原始資料。
理解文字編碼,不只是解決中文亂碼,更是學習 Python 檔案處理、資料分析、網際網路應用與物聯網系統的重要基礎。
參考資料
- Python 官方文件:Unicode HOWTO
- Python 官方文件:codecs
- Python 官方文件:csv
- openpyxl 官方文件
- Unicode Consortium:Unicode Standard
適用課程:Python 程式設計、Python 程式實習、網際網路應用、資料分析與智慧生活科技。
沒有留言:
張貼留言