2026年11月16日 星期一

從 ASCII 到 Unicode 與 UTF-8:為什麼 Python 可以處理中文與 Emoji?

從 ASCII 到 Unicode 與 UTF-8:為什麼 Python 可以處理中文與 Emoji?

在上一篇文章中,我們認識了 ASCII 編碼,知道電腦可以使用數字代表英文字母。

例如:

print(ord("A"))  # 65
print(chr(65))   # A

但是,ASCII 只能表示 128 個代碼,主要包含英文字母、數字、標點符號與控制字元。

那麼,為什麼 Python 可以直接處理以下文字?

message = "你好,Python!🐟🌱"

print(message)

電腦如何認識中文字「你」?又如何辨識魚🐟、植物🌱等 Emoji?

答案就在 Unicode 與 UTF-8。

本文將從 ASCII 的限制出發,逐步理解 Big5、Unicode、UTF-8,以及 Python 如何將文字轉換成可儲存、傳輸與還原的位元組資料。

一、為什麼 ASCII 無法處理中文?

ASCII 使用 7 個位元,可以表示 128 個代碼,範圍為 0~127。

例如:

字元 ASCII 數值
A65
B66
a97
048
空白32

然而,中文有數千個常用漢字,128 個代碼顯然不足以表示。

如果在 Python 中執行:

text = "中文"

data = text.encode("ascii")

print(data)

程式會產生:

UnicodeEncodeError

這是因為 ASCII 沒有定義中文字的編碼。

重要觀念:

Python 可以在字串中保存中文,但不代表所有編碼方式都能將中文轉成位元組。

文字是否能成功編碼,取決於所選擇的編碼方式。

二、ASCII 之後,中文曾經如何編碼?

在 Unicode 普及之前,不同地區發展出自己的文字編碼系統。

例如:

編碼 主要用途 特色
ASCII 基本英文與控制字元 7-bit,128 個代碼
Big5 繁體中文 曾廣泛用於臺灣繁體中文環境
GB2312 簡體中文 早期簡體中文編碼標準
Shift_JIS 日文 日本早期常用編碼之一
Unicode 全球多種語言 統一字元與碼位
UTF-8 全球多語言資料交換 Unicode 的可變長度編碼方式

Big5 為什麼曾經很重要?

Big5 是臺灣早期電腦處理繁體中文的重要編碼方式。

在當時,許多中文文書、資料庫與網站都使用 Big5。

但 Big5 並無法涵蓋所有 Unicode 字元,也不能直接表示一般 Emoji。

如果不同電腦使用不同的編碼方式,就可能產生亂碼。

原始文字
↓ 使用 Big5 編碼
位元組資料
↓ 錯誤使用 UTF-8 解碼
可能產生亂碼或解碼錯誤

因此,資訊系統需要一套更完整、跨語言的文字標準。

三、Unicode 是什麼?

Unicode 是一套統一的字元編碼標準,目標是讓不同語言的字元可以使用共同的碼位系統。

Unicode 為每個字元指定一個碼位(Code Point)。

例如:

字元 Unicode 碼位 十進位
AU+004165
中U+4E2D20013
文U+658725991
😀U+1F600128512
🐟U+1F41F128031

Unicode 碼位通常使用 U+ 加上十六進位數值表示。

例如 U+4E2D 就是中文字「中」。

Python 範例 1:查詢 Unicode 碼位

characters = ["A", "中", "文", "😀", "🐟"]

for ch in characters:
    print(ch, ord(ch), hex(ord(ch)))

執行結果:

A 65 0x41
中 20013 0x4e2d
文 25991 0x6587
😀 128512 0x1f600
🐟 128031 0x1f41f

從這個範例可以發現:

  • ASCII 字元也屬於 Unicode。
  • 中文字有自己的 Unicode 碼位。
  • Emoji 同樣可以有 Unicode 碼位。
  • Python 的 ord() 不只能處理 ASCII。
特別注意:

Unicode 碼位不是實際儲存在檔案中的位元組格式。

Unicode 定義字元及其碼位,而 UTF-8、UTF-16、UTF-32 等方式負責將碼位編碼成位元組。

四、UTF-8 是什麼?

UTF-8 是 Unicode 的一種編碼方式。

UTF 是 Unicode Transformation Format 的縮寫。

UTF-8 的重要特色是使用可變長度編碼。

不同字元可能使用不同數量的位元組。

Unicode 碼位範圍 UTF-8 位元組數
U+0000~U+007F1 byte
U+0080~U+07FF2 bytes
U+0800~U+FFFF3 bytes
U+10000~U+10FFFF4 bytes

上述範圍是 UTF-8 編碼長度的基本對應,其中 Unicode 代理碼位 U+D800~U+DFFF 不屬於可直接編碼的 Unicode 純量值。

常見字元的 UTF-8 長度

字元 UTF-8 長度
A1 byte
é2 bytes
中3 bytes
🐟4 bytes

UTF-8 還有一個重要優點:

ASCII 的 0~127 編碼值,在 UTF-8 中完全相容。

因此,原本只使用 ASCII 字元的資料,可以直接以 UTF-8 解碼。

五、Python 如何將中文轉成 UTF-8?

範例 2:使用 encode()

text = "中文"

data = text.encode("utf-8")

print(data)
print(list(data))

執行結果:

b'\xe4\xb8\xad\xe6\x96\x87'
[228, 184, 173, 230, 150, 135]

這六個數值就是 UTF-8 編碼後的六個位元組。

其中:

  • 「中」使用 3 個位元組:E4 B8 AD。
  • 「文」使用 3 個位元組:E6 96 87。

範例 3:將 UTF-8 解碼回中文

data = b'\xe4\xb8\xad\xe6\x96\x87'

text = data.decode("utf-8")

print(text)

執行結果:

中文
Python 字串 "中文"
↓ encode("utf-8")
E4 B8 AD E6 96 87
↓ decode("utf-8")
Python 字串 "中文"

六、Python 如何處理 Emoji?

Emoji 也是 Unicode 的重要應用。

例如:

message = "智慧養殖 🐟🌱"

print(message)

Python 3 可以直接在字串中使用這些符號。

範例 4:查看 Emoji 的編碼

emoji = "🐟"

print("字元:", emoji)
print("Unicode:", hex(ord(emoji)))
print("UTF-8:", emoji.encode("utf-8"))
print("位元組數:", len(emoji.encode("utf-8")))

執行結果:

字元: 🐟
Unicode: 0x1f41f
UTF-8: b'\xf0\x9f\x90\x9f'
位元組數: 4

魚的 Emoji 使用四個 UTF-8 位元組。

範例 5:比較中文字與 Emoji 的長度

texts = ["A", "中", "🐟", "智慧養殖"]

for text in texts:
    print(
        text,
        "字串長度:", len(text),
        "UTF-8 位元組:",
        len(text.encode("utf-8"))
    )

執行結果:

A 字串長度: 1 UTF-8 位元組: 1
中 字串長度: 1 UTF-8 位元組: 3
🐟 字串長度: 1 UTF-8 位元組: 4
智慧養殖 字串長度: 4 UTF-8 位元組: 12

這說明 Python 字串的長度與編碼後的位元組數量可能不同。

為什麼有些 Emoji 的 len() 不等於 1?

並不是所有畫面上看到的一個 Emoji 都只包含一個 Unicode 碼位。

例如:

emoji = "👩‍💻"

print(len(emoji))
print(len(emoji.encode("utf-8")))

執行結果:

3
11

這個 Emoji 由三個 Unicode 碼位組成:

  • 👩 女性人物。
  • 零寬連接符號(ZWJ)。
  • 💻 筆記型電腦。

透過 ZWJ,這些碼位可以在支援的環境中組合顯示為一個 Emoji。

重要觀念:

Python 的 len(str) 計算的是 Unicode 碼位數量,而不是畫面上看到的字形數量。

一個使用者感知的字元,可能由多個 Unicode 碼位組成。

七、Python 如何讀寫 UTF-8 中文檔案?

當 Python 處理文字檔案時,除了文字內容,也必須注意編碼方式。

範例 6:建立 UTF-8 中文文字檔

message = "智慧養殖:水溫28度 🐟"

with open(
    "message.txt",
    "w",
    encoding="utf-8"
) as file:
    file.write(message)

print("檔案寫入完成")

這個程式會建立 message.txt,並以 UTF-8 編碼儲存文字。

範例 7:讀取 UTF-8 中文文字檔

with open(
    "message.txt",
    "r",
    encoding="utf-8"
) as file:
    text = file.read()

print(text)

執行結果:

智慧養殖:水溫28度 🐟

使用 encoding="utf-8" 可以明確指定編碼,避免因不同作業系統的預設編碼而產生問題。

八、為什麼文字檔案會出現亂碼?

文字亂碼通常是因為寫入與讀取資料時使用不同的編碼方式。

例如,某個文字檔案原本使用 Big5 編碼,但讀取時卻使用 UTF-8。

原始中文
↓ Big5 編碼
位元組資料
↓ 錯誤使用 UTF-8 解碼
解碼錯誤或亂碼

範例 8:模擬編碼不一致

text = "中文"

# 使用 Big5 編碼
data = text.encode("big5")

print(data)

# 錯誤使用 UTF-8 解碼
result = data.decode("utf-8")

print(result)

執行時會產生 UnicodeDecodeError。

原因是這組 Big5 位元組不是合法的 UTF-8 序列。

範例 9:使用正確編碼解碼

text = "中文"

data = text.encode("big5")

result = data.decode("big5")

print(result)

執行結果:

中文
課堂練習:

請學生使用相同的中文字,分別以 Big5 與 UTF-8 編碼,觀察兩種編碼產生的位元組數值。

再嘗試使用錯誤的編碼解碼,觀察錯誤訊息。

九、Python 如何處理 CSV 中文資料?

CSV 是資料分析、智慧農業與物聯網常用的資料交換格式。

例如,智慧養殖系統可能儲存:

養殖池 水溫 pH
第一池28.57.5
第二池27.87.8

範例 10:建立 UTF-8 CSV 檔案

import csv

data = [
    ["養殖池", "水溫", "pH"],
    ["第一池", 28.5, 7.5],
    ["第二池", 27.8, 7.8]
]

with open(
    "water.csv",
    "w",
    newline="",
    encoding="utf-8-sig"
) as file:

    writer = csv.writer(file)
    writer.writerows(data)

print("CSV 建立完成")

這裡使用 utf-8-sig,會在檔案開頭寫入 UTF-8 BOM。

對某些 Windows Excel 環境而言,這有助於辨識 UTF-8 中文內容。

但並不是所有 CSV 檔案都需要 BOM。如果主要使用 Python、Linux 或網路服務,通常使用 UTF-8 即可。

範例 11:讀取 CSV 中文資料

import csv

with open(
    "water.csv",
    "r",
    newline="",
    encoding="utf-8-sig"
) as file:

    reader = csv.reader(file)

    for row in reader:
        print(row)

這個範例也可以作為後續 Pandas 資料分析課程的基礎。

十、物聯網應用:傳送中文與 Emoji

假設智慧養殖系統需要傳送以下訊息:

第一池水溫正常 🐟

由於包含中文與 Emoji,因此不能使用 ASCII 編碼。

我們可以使用 UTF-8。

範例 12:模擬物聯網訊息傳輸

# 感測器端
message = "第一池水溫正常 🐟"

# UTF-8 編碼
data = message.encode("utf-8")

print("傳送位元組:", data)
print("資料長度:", len(data))

# 模擬網路傳輸
received_data = data

# 接收端解碼
received_text = received_data.decode("utf-8")

print("接收訊息:", received_text)

接收端顯示:

接收訊息: 第一池水溫正常 🐟
智慧養殖設備
↓
中文與 Emoji 訊息
↓ UTF-8 encode()
位元組資料
↓ UART / TCP / MQTT
接收端
↓ UTF-8 decode()
還原中文與 Emoji

這就是文字編碼在現代物聯網系統中的實際用途。

需要注意的是,這個範例使用變數模擬資料傳輸,尚未建立真正的 UART、TCP 或 MQTT 連線。

十一、ASCII、Big5、Unicode、UTF-8 的差異

項目 主要特性 中文支援 Emoji 支援
ASCII 7-bit 字元編碼 否 否
Big5 繁體中文傳統編碼 部分中文字 一般不支援
Unicode 統一字元碼位標準 是 是
UTF-8 Unicode 的位元組編碼方式 是 是

其中最需要區分的是:

Unicode 是字元碼位標準,UTF-8 是實際編碼成位元組的方法。

十二、Python 課堂實作任務

任務一:Unicode 字元查詢器

請學生設計程式,輸入一個 Unicode 字元,顯示:

  • 字元本身。
  • Unicode 十進位數值。
  • Unicode 十六進位碼位。
  • UTF-8 位元組數量。

參考程式:

ch = input("請輸入一個字元:")

if len(ch) == 1:
    print("字元:", ch)
    print("Unicode:", ord(ch))
    print("十六進位:", hex(ord(ch)))
    print(
        "UTF-8 長度:",
        len(ch.encode("utf-8"))
    )
else:
    print("請輸入一個 Unicode 碼位")

任務二:比較 ASCII、Big5 與 UTF-8

請學生比較以下文字:

texts = [
    "Python",
    "智慧生活",
    "智慧養殖",
    "🐟"
]

分別嘗試使用 ASCII、Big5、UTF-8 編碼,記錄哪些文字可以成功編碼,以及編碼後需要多少位元組。

可使用 try-except 捕捉無法編碼的情況。

texts = ["Python", "智慧生活", "🐟"]

encodings = ["ascii", "big5", "utf-8"]

for text in texts:
    print("文字:", text)

    for encoding in encodings:
        try:
            data = text.encode(encoding)

            print(
                encoding,
                "位元組數:",
                len(data)
            )

        except UnicodeEncodeError:
            print(encoding, "無法編碼")

    print()

任務三:智慧養殖中文訊息傳輸

設計一個模擬智慧養殖訊息系統。

例如:

養殖池:第一池
水溫:28.5
狀態:正常 🐟

要求學生完成:

  1. 建立包含中文與 Emoji 的字串。
  2. 使用 UTF-8 編碼。
  3. 顯示位元組數量。
  4. 模擬資料傳輸。
  5. 使用 UTF-8 解碼。
  6. 將解碼後的訊息儲存為文字檔。

這個任務可以進一步延伸至 Raspberry Pi Pico W、ESP32、TCP Socket 與 MQTT 通訊。

十三、總結:為什麼 Python 可以處理中文與 Emoji?

從 ASCII 到 Unicode,再到 UTF-8,文字編碼技術的發展,讓電腦能夠處理全球不同語言的文字。

Python 3 的 str 使用 Unicode 字元模型,因此可以直接操作中文、日文、韓文與 Emoji。

當需要將文字寫入檔案或透過網路傳輸時,則可以使用 UTF-8 等編碼方式轉成位元組。

ASCII
基本英文與控制字元
↓
Unicode
統一全球字元碼位
↓
UTF-8
將 Unicode 編碼成位元組
↓
Python
處理多語言文字與 Emoji
↓
檔案、網站、資料庫與物聯網

對 Python 初學者而言,應該掌握三個重要觀念:

  1. 字元與位元組不同:字串中的字元不一定只占一個位元組。
  2. Unicode 與 UTF-8 不同:Unicode 定義碼位,UTF-8 負責編碼。
  3. 編碼與解碼必須一致:否則可能產生亂碼或解碼錯誤。

理解這些觀念後,學生就能進一步學習 Python 檔案處理、CSV 資料分析、網際網路通訊與智慧生活物聯網應用。

參考資料

適用課程:Python 程式設計、Python 程式實習、網際網路應用、物聯網與智慧生活科技。

沒有留言:

張貼留言