AI 技術入門｜圖解系列

生成式 AI 技術入門：七種核心方法與架構圖

生成式 AI 不只是一種技術。不同模型各有擅長：有的依序寫出文字，有的從雜訊生成圖片，有的先搜尋資料再整理答案。本文用七張簡化架構圖，認識常見方法如何運作，以及它們彼此的關係。

先抓住一個核心：生成式 AI 從輸入與上下文中學習規律，接著預測或合成新的內容。文字、圖片、聲音與影片的生成方法不完全相同，也常會組合使用。

一、大型語言模型（LLM）：讓機器理解並生成文字

大型語言模型（Large Language Model, LLM）透過大量文字資料學習語言模式、詞語關係與上下文。收到提示後，模型會根據目前內容計算後續文字的可能性，再逐步產生回答。現代 LLM 常以 Transformer 為基礎，並經過指令微調、偏好或安全性等後訓練，成為較能遵循指令的助理。

LLM 的簡化流程：將輸入轉成模型可處理的表示，再依上下文生成內容。

生活比喻：像一位讀過大量文章、熟悉語言接龍規律的寫作者。它能寫得流暢，但流暢不代表每個事實都正確；重要資訊仍要查證。

二、Transformer：掌握上下文關係的模型架構

Transformer 是一種深度學習架構，核心特色是注意力機制（Attention）：處理某個詞時，模型會衡量句中其他詞與它的關聯。這讓模型能在較長的文字範圍中建立上下文關係，也能有效平行處理訓練資料。

Transformer 的概念圖。不同產品會採用不同配置，並非每個模型都使用完整編碼器與解碼器。

注意力可想成閱讀時畫重點：理解「他把它放回原處」時，需要判斷「他」「它」「原處」分別對應什麼。常見元件還包括位置編碼、前饋神經網路、殘差連接與層正規化。

三、擴散模型（Diffusion）：從雜訊逐步生成內容

擴散模型常用於圖片生成。訓練時，模型觀察圖片逐步被雜訊覆蓋的過程，學習估計雜訊；生成時，從隨機雜訊開始，反覆移除雜訊，最後形成新圖片。文字提示可透過條件機制引導去噪方向。

正向過程讓資料逐漸變成雜訊；生成過程則由模型一步步還原結構。

簡單比喻：先把照片弄得越來越模糊，再教模型如何把模糊中的結構找回來。真正生成時，模型從雜訊開始「畫」出影像。

四、生成對抗網路（GAN）：生成器與判別器互相較勁

GAN 由兩個神經網路組成：生成器把隨機向量轉成假資料；判別器比較真實資料與生成資料，判斷兩者差異。訓練時生成器努力做得更像，判別器努力抓出破綻，兩者在對抗中改善。

GAN 的訓練核心是兩個網路輪流更新、互相競爭。

GAN 曾廣泛用於影像合成、修復與風格轉換。訓練可能較不穩定，例如生成結果缺少多樣性；因此不同任務也常採用擴散模型等其他方法。

五、變分自編碼器（VAE）：學習可取樣的潛在空間

VAE 先由編碼器把輸入轉成潛在分布，再從分布中取樣，交給解碼器重建資料。它不只記住單一壓縮向量，而是學習一個平滑、可取樣的潛在空間，因此可用於生成與表示學習。

VAE 用分布描述潛在表示，讓相近資料能落在相近區域並可由空間取樣生成。

訓練目標通常由兩部分組成：重建損失衡量輸出與輸入差異；KL 散度則鼓勵潛在分布接近預設的簡單分布（常見為標準常態分布）。

六、自回歸生成：一次預測一個 Token

自回歸（Autoregressive）生成會依序預測下一個單位。文字模型通常是預測下一個 Token；音訊或其他資料也能使用類似的逐步預測方式。每次選出下一個 Token 後，就把它加入上下文，再進行下一輪預測，直到產生結束符號。

自回歸生成像接龍：每一步都以已經出現的內容為條件。

溫度（temperature）、Top-k 或 Top-p 等解碼設定，會影響模型如何從候選 Token 中挑選下一個。較保守的設定通常輸出較穩定；較多樣的設定則可能帶來更多變化。

七、多模態生成：跨文字、圖像、音訊與影片

多模態模型能接收或產生不只一種形式的資料。模型會把文字、圖片、聲音或影片轉換成可共同處理的表示，再進行理解、融合與生成。不同模型支援的輸入與輸出組合不同，不能假設每個模型都能處理所有模態。

多模態模型可跨形式理解與生成，並可能同時使用多種輸入。

例子：提供一張活動照片並詢問「孩子正在做什麼？」屬於文字加圖片輸入、文字回答輸出；要求「根據這段描述生成插畫」則是文字輸入、圖片輸出。

八、檢索增強生成（RAG）：先找資料，再生成回答

RAG（Retrieval-Augmented Generation）會在生成答案前，先從指定文件或資料庫檢索相關內容，再把找到的片段提供給語言模型。這有助於回答內部知識、課程教材或較新的資料，也能讓答案附上來源線索。RAG 是結合檢索與生成的系統方法，不是單一模型架構。

RAG 分成離線建立索引與即時檢索回答兩個階段。

典型流程是：① 整理文件、② 切分段落、③ 建立向量索引、④ 依問題檢索片段、⑤ 將問題與片段交給 LLM 生成答案。檢索品質和資料更新方式會直接影響回答品質；RAG 也不能保證完全沒有錯誤，仍應檢查引用來源。

九、七種技術快速比較

技術	主要用途／特色	容易記住的關鍵
LLM	文字理解、對話、摘要、寫作與程式生成	根據上下文產生文字
Transformer	處理序列與上下文關係的模型架構	注意力衡量關聯
擴散模型	圖片生成、編輯，也可延伸至音訊或影片	從雜訊逐步去噪
GAN	合成資料、影像轉換與修復	生成器和判別器對抗
VAE	資料表示、壓縮與潛在空間生成	編碼分布、取樣、解碼
自回歸生成	逐步生成文字、語音或序列資料	預測下一個單位
多模態生成	跨文字、圖像、音訊與影片理解或生成	不同資料模態共同處理
RAG	接入文件或知識庫，讓回答引用外部資料	先檢索，再生成

要寫文章或回答問題

使用 LLM；若需回答指定教材或校內資料，可搭配 RAG。

要生成圖片

常見做法是擴散模型；GAN 和 VAE 也有生成應用。

要理解圖片與文字

使用支援對應輸入與輸出的多模態模型。

要理解模型如何生成文字

從 Transformer 的注意力與自回歸逐 Token 預測開始。

結語：這些技術會互相搭配

生成式 AI 的各種技術不是互斥選項。LLM 常使用 Transformer 架構，並以自回歸方式生成文字；多模態模型可把不同資料形式整合；RAG 則在模型生成前加入外部檢索。圖片生成也可能採用擴散等專用模型，再由產品系統串接提示詞、安全檢查與編輯功能。

理解架構圖的價值，在於知道每種方法「從哪裡開始、經過哪些步驟、產生什麼結果」，進而依教學、研究或實務需求選擇合適工具。

智慧生活科技專業社群

2026年10月21日星期三