從 ASCII 到 Unicode 與 UTF-8:為什麼 Python 可以處理中文與 Emoji?
在上一篇文章中,我們認識了 ASCII 編碼,知道電腦可以使用數字代表英文字母。
例如:
print(ord("A")) # 65
print(chr(65)) # A
但是,ASCII 只能表示 128 個代碼,主要包含英文字母、數字、標點符號與控制字元。
那麼,為什麼 Python 可以直接處理以下文字?
message = "你好,Python!🐟🌱"
print(message)
電腦如何認識中文字「你」?又如何辨識魚🐟、植物🌱等 Emoji?
答案就在 Unicode 與 UTF-8。
本文將從 ASCII 的限制出發,逐步理解 Big5、Unicode、UTF-8,以及 Python 如何將文字轉換成可儲存、傳輸與還原的位元組資料。
一、為什麼 ASCII 無法處理中文?
ASCII 使用 7 個位元,可以表示 128 個代碼,範圍為 0~127。
例如:
| 字元 | ASCII 數值 |
|---|---|
| A | 65 |
| B | 66 |
| a | 97 |
| 0 | 48 |
| 空白 | 32 |
然而,中文有數千個常用漢字,128 個代碼顯然不足以表示。
如果在 Python 中執行:
text = "中文"
data = text.encode("ascii")
print(data)
程式會產生:
UnicodeEncodeError
這是因為 ASCII 沒有定義中文字的編碼。
Python 可以在字串中保存中文,但不代表所有編碼方式都能將中文轉成位元組。
文字是否能成功編碼,取決於所選擇的編碼方式。
二、ASCII 之後,中文曾經如何編碼?
在 Unicode 普及之前,不同地區發展出自己的文字編碼系統。
例如:
| 編碼 | 主要用途 | 特色 |
|---|---|---|
| ASCII | 基本英文與控制字元 | 7-bit,128 個代碼 |
| Big5 | 繁體中文 | 曾廣泛用於臺灣繁體中文環境 |
| GB2312 | 簡體中文 | 早期簡體中文編碼標準 |
| Shift_JIS | 日文 | 日本早期常用編碼之一 |
| Unicode | 全球多種語言 | 統一字元與碼位 |
| UTF-8 | 全球多語言資料交換 | Unicode 的可變長度編碼方式 |
Big5 為什麼曾經很重要?
Big5 是臺灣早期電腦處理繁體中文的重要編碼方式。
在當時,許多中文文書、資料庫與網站都使用 Big5。
但 Big5 並無法涵蓋所有 Unicode 字元,也不能直接表示一般 Emoji。
如果不同電腦使用不同的編碼方式,就可能產生亂碼。
↓ 使用 Big5 編碼
位元組資料
↓ 錯誤使用 UTF-8 解碼
可能產生亂碼或解碼錯誤
因此,資訊系統需要一套更完整、跨語言的文字標準。
三、Unicode 是什麼?
Unicode 是一套統一的字元編碼標準,目標是讓不同語言的字元可以使用共同的碼位系統。
Unicode 為每個字元指定一個碼位(Code Point)。
例如:
| 字元 | Unicode 碼位 | 十進位 |
|---|---|---|
| A | U+0041 | 65 |
| 中 | U+4E2D | 20013 |
| 文 | U+6587 | 25991 |
| 😀 | U+1F600 | 128512 |
| 🐟 | U+1F41F | 128031 |
Unicode 碼位通常使用 U+ 加上十六進位數值表示。
例如 U+4E2D 就是中文字「中」。
Python 範例 1:查詢 Unicode 碼位
characters = ["A", "中", "文", "😀", "🐟"]
for ch in characters:
print(ch, ord(ch), hex(ord(ch)))
執行結果:
A 65 0x41
中 20013 0x4e2d
文 25991 0x6587
😀 128512 0x1f600
🐟 128031 0x1f41f
從這個範例可以發現:
- ASCII 字元也屬於 Unicode。
- 中文字有自己的 Unicode 碼位。
- Emoji 同樣可以有 Unicode 碼位。
- Python 的 ord() 不只能處理 ASCII。
Unicode 碼位不是實際儲存在檔案中的位元組格式。
Unicode 定義字元及其碼位,而 UTF-8、UTF-16、UTF-32 等方式負責將碼位編碼成位元組。
四、UTF-8 是什麼?
UTF-8 是 Unicode 的一種編碼方式。
UTF 是 Unicode Transformation Format 的縮寫。
UTF-8 的重要特色是使用可變長度編碼。
不同字元可能使用不同數量的位元組。
| Unicode 碼位範圍 | UTF-8 位元組數 |
|---|---|
| U+0000~U+007F | 1 byte |
| U+0080~U+07FF | 2 bytes |
| U+0800~U+FFFF | 3 bytes |
| U+10000~U+10FFFF | 4 bytes |
上述範圍是 UTF-8 編碼長度的基本對應,其中 Unicode 代理碼位 U+D800~U+DFFF 不屬於可直接編碼的 Unicode 純量值。
常見字元的 UTF-8 長度
| 字元 | UTF-8 長度 |
|---|---|
| A | 1 byte |
| é | 2 bytes |
| 中 | 3 bytes |
| 🐟 | 4 bytes |
UTF-8 還有一個重要優點:
ASCII 的 0~127 編碼值,在 UTF-8 中完全相容。
因此,原本只使用 ASCII 字元的資料,可以直接以 UTF-8 解碼。
五、Python 如何將中文轉成 UTF-8?
範例 2:使用 encode()
text = "中文"
data = text.encode("utf-8")
print(data)
print(list(data))
執行結果:
b'\xe4\xb8\xad\xe6\x96\x87'
[228, 184, 173, 230, 150, 135]
這六個數值就是 UTF-8 編碼後的六個位元組。
其中:
- 「中」使用 3 個位元組:E4 B8 AD。
- 「文」使用 3 個位元組:E6 96 87。
範例 3:將 UTF-8 解碼回中文
data = b'\xe4\xb8\xad\xe6\x96\x87'
text = data.decode("utf-8")
print(text)
執行結果:
中文
↓ encode("utf-8")
E4 B8 AD E6 96 87
↓ decode("utf-8")
Python 字串 "中文"
六、Python 如何處理 Emoji?
Emoji 也是 Unicode 的重要應用。
例如:
message = "智慧養殖 🐟🌱"
print(message)
Python 3 可以直接在字串中使用這些符號。
範例 4:查看 Emoji 的編碼
emoji = "🐟"
print("字元:", emoji)
print("Unicode:", hex(ord(emoji)))
print("UTF-8:", emoji.encode("utf-8"))
print("位元組數:", len(emoji.encode("utf-8")))
執行結果:
字元: 🐟
Unicode: 0x1f41f
UTF-8: b'\xf0\x9f\x90\x9f'
位元組數: 4
魚的 Emoji 使用四個 UTF-8 位元組。
範例 5:比較中文字與 Emoji 的長度
texts = ["A", "中", "🐟", "智慧養殖"]
for text in texts:
print(
text,
"字串長度:", len(text),
"UTF-8 位元組:",
len(text.encode("utf-8"))
)
執行結果:
A 字串長度: 1 UTF-8 位元組: 1
中 字串長度: 1 UTF-8 位元組: 3
🐟 字串長度: 1 UTF-8 位元組: 4
智慧養殖 字串長度: 4 UTF-8 位元組: 12
這說明 Python 字串的長度與編碼後的位元組數量可能不同。
為什麼有些 Emoji 的 len() 不等於 1?
並不是所有畫面上看到的一個 Emoji 都只包含一個 Unicode 碼位。
例如:
emoji = "👩💻"
print(len(emoji))
print(len(emoji.encode("utf-8")))
執行結果:
3
11
這個 Emoji 由三個 Unicode 碼位組成:
- 👩 女性人物。
- 零寬連接符號(ZWJ)。
- 💻 筆記型電腦。
透過 ZWJ,這些碼位可以在支援的環境中組合顯示為一個 Emoji。
Python 的 len(str) 計算的是 Unicode 碼位數量,而不是畫面上看到的字形數量。
一個使用者感知的字元,可能由多個 Unicode 碼位組成。
七、Python 如何讀寫 UTF-8 中文檔案?
當 Python 處理文字檔案時,除了文字內容,也必須注意編碼方式。
範例 6:建立 UTF-8 中文文字檔
message = "智慧養殖:水溫28度 🐟"
with open(
"message.txt",
"w",
encoding="utf-8"
) as file:
file.write(message)
print("檔案寫入完成")
這個程式會建立 message.txt,並以 UTF-8 編碼儲存文字。
範例 7:讀取 UTF-8 中文文字檔
with open(
"message.txt",
"r",
encoding="utf-8"
) as file:
text = file.read()
print(text)
執行結果:
智慧養殖:水溫28度 🐟
使用 encoding="utf-8" 可以明確指定編碼,避免因不同作業系統的預設編碼而產生問題。
八、為什麼文字檔案會出現亂碼?
文字亂碼通常是因為寫入與讀取資料時使用不同的編碼方式。
例如,某個文字檔案原本使用 Big5 編碼,但讀取時卻使用 UTF-8。
↓ Big5 編碼
位元組資料
↓ 錯誤使用 UTF-8 解碼
解碼錯誤或亂碼
範例 8:模擬編碼不一致
text = "中文"
# 使用 Big5 編碼
data = text.encode("big5")
print(data)
# 錯誤使用 UTF-8 解碼
result = data.decode("utf-8")
print(result)
執行時會產生 UnicodeDecodeError。
原因是這組 Big5 位元組不是合法的 UTF-8 序列。
範例 9:使用正確編碼解碼
text = "中文"
data = text.encode("big5")
result = data.decode("big5")
print(result)
執行結果:
中文
請學生使用相同的中文字,分別以 Big5 與 UTF-8 編碼,觀察兩種編碼產生的位元組數值。
再嘗試使用錯誤的編碼解碼,觀察錯誤訊息。
九、Python 如何處理 CSV 中文資料?
CSV 是資料分析、智慧農業與物聯網常用的資料交換格式。
例如,智慧養殖系統可能儲存:
| 養殖池 | 水溫 | pH |
|---|---|---|
| 第一池 | 28.5 | 7.5 |
| 第二池 | 27.8 | 7.8 |
範例 10:建立 UTF-8 CSV 檔案
import csv
data = [
["養殖池", "水溫", "pH"],
["第一池", 28.5, 7.5],
["第二池", 27.8, 7.8]
]
with open(
"water.csv",
"w",
newline="",
encoding="utf-8-sig"
) as file:
writer = csv.writer(file)
writer.writerows(data)
print("CSV 建立完成")
這裡使用 utf-8-sig,會在檔案開頭寫入 UTF-8 BOM。
對某些 Windows Excel 環境而言,這有助於辨識 UTF-8 中文內容。
但並不是所有 CSV 檔案都需要 BOM。如果主要使用 Python、Linux 或網路服務,通常使用 UTF-8 即可。
範例 11:讀取 CSV 中文資料
import csv
with open(
"water.csv",
"r",
newline="",
encoding="utf-8-sig"
) as file:
reader = csv.reader(file)
for row in reader:
print(row)
這個範例也可以作為後續 Pandas 資料分析課程的基礎。
十、物聯網應用:傳送中文與 Emoji
假設智慧養殖系統需要傳送以下訊息:
第一池水溫正常 🐟
由於包含中文與 Emoji,因此不能使用 ASCII 編碼。
我們可以使用 UTF-8。
範例 12:模擬物聯網訊息傳輸
# 感測器端
message = "第一池水溫正常 🐟"
# UTF-8 編碼
data = message.encode("utf-8")
print("傳送位元組:", data)
print("資料長度:", len(data))
# 模擬網路傳輸
received_data = data
# 接收端解碼
received_text = received_data.decode("utf-8")
print("接收訊息:", received_text)
接收端顯示:
接收訊息: 第一池水溫正常 🐟
↓
中文與 Emoji 訊息
↓ UTF-8 encode()
位元組資料
↓ UART / TCP / MQTT
接收端
↓ UTF-8 decode()
還原中文與 Emoji
這就是文字編碼在現代物聯網系統中的實際用途。
需要注意的是,這個範例使用變數模擬資料傳輸,尚未建立真正的 UART、TCP 或 MQTT 連線。
十一、ASCII、Big5、Unicode、UTF-8 的差異
| 項目 | 主要特性 | 中文支援 | Emoji 支援 |
|---|---|---|---|
| ASCII | 7-bit 字元編碼 | 否 | 否 |
| Big5 | 繁體中文傳統編碼 | 部分中文字 | 一般不支援 |
| Unicode | 統一字元碼位標準 | 是 | 是 |
| UTF-8 | Unicode 的位元組編碼方式 | 是 | 是 |
其中最需要區分的是:
Unicode 是字元碼位標準,UTF-8 是實際編碼成位元組的方法。
十二、Python 課堂實作任務
任務一:Unicode 字元查詢器
請學生設計程式,輸入一個 Unicode 字元,顯示:
- 字元本身。
- Unicode 十進位數值。
- Unicode 十六進位碼位。
- UTF-8 位元組數量。
參考程式:
ch = input("請輸入一個字元:")
if len(ch) == 1:
print("字元:", ch)
print("Unicode:", ord(ch))
print("十六進位:", hex(ord(ch)))
print(
"UTF-8 長度:",
len(ch.encode("utf-8"))
)
else:
print("請輸入一個 Unicode 碼位")
任務二:比較 ASCII、Big5 與 UTF-8
請學生比較以下文字:
texts = [
"Python",
"智慧生活",
"智慧養殖",
"🐟"
]
分別嘗試使用 ASCII、Big5、UTF-8 編碼,記錄哪些文字可以成功編碼,以及編碼後需要多少位元組。
可使用 try-except 捕捉無法編碼的情況。
texts = ["Python", "智慧生活", "🐟"]
encodings = ["ascii", "big5", "utf-8"]
for text in texts:
print("文字:", text)
for encoding in encodings:
try:
data = text.encode(encoding)
print(
encoding,
"位元組數:",
len(data)
)
except UnicodeEncodeError:
print(encoding, "無法編碼")
print()
任務三:智慧養殖中文訊息傳輸
設計一個模擬智慧養殖訊息系統。
例如:
養殖池:第一池
水溫:28.5
狀態:正常 🐟
要求學生完成:
- 建立包含中文與 Emoji 的字串。
- 使用 UTF-8 編碼。
- 顯示位元組數量。
- 模擬資料傳輸。
- 使用 UTF-8 解碼。
- 將解碼後的訊息儲存為文字檔。
這個任務可以進一步延伸至 Raspberry Pi Pico W、ESP32、TCP Socket 與 MQTT 通訊。
十三、總結:為什麼 Python 可以處理中文與 Emoji?
從 ASCII 到 Unicode,再到 UTF-8,文字編碼技術的發展,讓電腦能夠處理全球不同語言的文字。
Python 3 的 str 使用 Unicode 字元模型,因此可以直接操作中文、日文、韓文與 Emoji。
當需要將文字寫入檔案或透過網路傳輸時,則可以使用 UTF-8 等編碼方式轉成位元組。
基本英文與控制字元
↓
Unicode
統一全球字元碼位
↓
UTF-8
將 Unicode 編碼成位元組
↓
Python
處理多語言文字與 Emoji
↓
檔案、網站、資料庫與物聯網
對 Python 初學者而言,應該掌握三個重要觀念:
- 字元與位元組不同:字串中的字元不一定只占一個位元組。
- Unicode 與 UTF-8 不同:Unicode 定義碼位,UTF-8 負責編碼。
- 編碼與解碼必須一致:否則可能產生亂碼或解碼錯誤。
理解這些觀念後,學生就能進一步學習 Python 檔案處理、CSV 資料分析、網際網路通訊與智慧生活物聯網應用。
參考資料
- Python 官方文件:Unicode HOWTO
- Python 官方文件:codecs
- Python 官方文件:Text Sequence Type — str
- Unicode Consortium:Unicode Standard
- RFC 3629:UTF-8
適用課程:Python 程式設計、Python 程式實習、網際網路應用、物聯網與智慧生活科技。
沒有留言:
張貼留言