這張圖說明大型語言模型（LLM）如何把一句話轉成模型可處理的數值，再依上下文逐步產生回答。
- 文字輸入：使用者輸入「今天天氣如何？」
- 分詞與向量表示：模型將文字切成 Token，例如「今天、天氣、如何」，再把每個 Token 轉成數值向量。
- Transformer 分析上下文：注意力機制計算不同 Token 之間的關聯；前饋神經網路進一步處理這些資訊。這些運算會經過多層堆疊，形成較完整的上下文表示。
- 預測下一個 Token：模型根據目前上下文，計算各候選 Token 的機率。圖中的「晴朗 0.62」是示意數值，不是固定答案或實際天氣資料。
- 逐步產生回答：模型選出一個 Token，加入上下文，再預測下一個 Token；重複這個過程，直到組成完整回答。
可以把它想成文字接龍：每一步都根據前面已知的內容，選出接下來最合適的詞語。生成得通順，不代表內容一定正確；例如天氣問題要得到即時資訊，仍需查詢天氣資料。
這張圖說明 Transformer 如何把輸入文字轉成模型能處理的數值表示，再透過「注意力」理解詞語之間的關係，最後逐步產生輸出文字。
一、輸入文字轉成向量
例如輸入「今天天氣很好」，模型先把句子切成 Token：
今天｜天氣｜很好
每個 Token 會轉成一組數值，稱為詞嵌入。接著加入位置編碼，讓模型知道詞語在句子中的順序。兩者相加後，形成 Transformer 的輸入表示。
二、編碼器理解上下文
圖左側是編碼器（Encoder）。它會經過多層相同類型的處理，每層主要包含：
- 多頭自注意力：讓每個 Token 參考其他 Token，計算它們對目前理解的重要程度。
例如判斷「很好」是在描述「天氣」，而不是其他事物。 - 殘差連接與層正規化：保留原始資訊，並讓數值變化較穩定。
- 前饋神經網路：進一步轉換每個位置的特徵。
經過多層處理後，編碼器會產生包含上下文資訊的表示。
三、解碼器逐步產生文字
圖右側是解碼器（Decoder），負責產生下一個 Token。它也由多層處理構成：
- 遮罩多頭自注意力只查看目前位置之前已生成的 Token，避免偷看後面的答案。
- 編碼器－解碼器注意力參考編碼器的輸出，讓生成內容能依據輸入文字。
- 前饋神經網路、殘差連接與層正規化再進一步處理資訊。
接著，線性層與 Softmax會計算詞彙表中各個 Token 成為下一個 Token 的機率。模型選出一個 Token，加入已生成內容，再重複預測，直到完成回答。
例如：
我 → 我覺得 → 我覺得今天 → 我覺得今天天氣 → …
四、注意力如何分配權重？
圖下方的注意力示意中，輸入會轉成三種向量：
- Q（Query，查詢）：目前要尋找什麼資訊？
- K（Key，鍵）：每個 Token 可以提供什麼資訊？
- V（Value，值）：每個 Token 實際提供的內容表示。
模型比較 Q 與各個 K，經 Softmax 得到注意力權重，再用權重加總 V。權重較高的詞，對目前的理解或生成影響較大。
「多頭」表示模型會用多組注意力，同時學習不同關係，例如詞義、句法或長距離關聯。
簡單比喻
Transformer 像一群一起閱讀的讀者：每個讀者負責注意句子中不同的線索，交換各自找到的關係，彙整後理解全文。生成回答時，解碼器再根據目前已寫出的內容，一個 Token 接一個 Token 地完成句子。
整體流程：
文字 → 分詞與向量化 → 編碼器理解上下文 → 解碼器預測下一個 Token → 組成文字回答
這張圖說明擴散模型如何學會生成圖片，可以分成「訓練」與「生成」兩個階段。
1. 訓練：逐步加入雜訊
上半部從一張清楚的橘貓圖片 \(x_0\) 開始，逐步加入高斯雜訊，變成 \(x_1\)、\(x_t\)，最後接近純雜訊 \(x_T\)。
模型在這個過程中學習：在不同時間步，圖片裡加入了什麼雜訊。
2. 生成：逐步移除雜訊
下半部則反過來。模型從一張隨機雜訊 \(x_T\) 開始，每次估計目前雜訊中的成分，並移除一部分，逐步得到更清晰的圖片，最後形成 \(x_0\)。
去噪網路會參考兩項資訊：
- 時間步 \(t\)：告訴模型目前處於去噪流程的哪個階段。
- 文字條件：例如「一隻橘貓坐在窗邊」，引導模型生成符合描述的內容。
圖中的 U-Net 或 Transformer 是可能採用的去噪網路架構；實際模型設計會依系統而不同。
簡單比喻
就像一張照片被雜訊蓋住，模型學會辨認雜訊並逐步清除。生成圖片時，它從一片雜訊開始，依提示詞反覆修整，最後形成新的影像。
這張圖是生成對抗網路（GAN）的架構。它由「生成器」和「判別器」組成，兩者交替訓練，像一場互相較勁的比賽。
1. 生成器：從雜訊產生資料
生成器接收隨機雜訊 \(z\)，例如從標準常態分布取樣，再把它轉換成一筆看起來像真實資料的內容。圖中示範的是生成一個手寫數字「7」。
2. 判別器：判斷資料真偽
判別器會收到兩種資料：
- 真實資料：訓練資料中的真實手寫數字。
- 生成資料：生成器製作的樣本。
它輸出一個分數，估計輸入資料是真實資料的可能性。圖中的 0.8 是示意值，表示判別器認為該樣本有較高機率是真實的。
3. 兩者交替學習
- 訓練判別器時：教它分辨真實資料與生成資料。
- 訓練生成器時：利用判別器提供的學習訊號，調整參數，讓產生的資料更像真實資料、較容易騙過判別器。
這個循環反覆進行，生成器逐漸提升生成品質，判別器也持續改善辨識能力。
簡單比喻：生成器像仿畫者，判別器像鑑定師。仿畫者根據鑑定結果改進作品，鑑定師也從更多作品中練習辨真偽。
這張圖是變分自編碼器（VAE）的工作流程：先把資料壓縮成一個可取樣的潛在分布，再從中取樣並重建資料。以手寫數字「7」為例：
編碼器分析輸入
輸入圖片 \(x\) 經過編碼器後，不會只變成一個固定的壓縮數值，而是轉成潛在分布的平均值 \(\mu\) 和標準差 \(\sigma\)。這表示模型學到「這張圖片可能對應到潛在空間中的哪些位置」。從分布中取樣
模型先取一個標準常態雜訊 \(\epsilon\)，再用
算出潛在向量 \(z\)。這個「重參數化」技巧讓取樣過程仍可配合神經網路訓練。
解碼器重建資料
解碼器把 \(z\) 轉回圖片，產生重建結果 \(\hat{x}\)。訓練時希望它看起來盡量接近原始輸入 \(x\)。同時調整兩種損失
- 重建損失：衡量重建圖片 \(\hat{x}\) 和原圖 \(x\) 差多少。
- KL 散度：讓每筆資料的潛在分布 \(q(z|x)\) 接近標準常態分布 \(p(z)\)，避免潛在空間散亂或彼此斷裂。
模型會一起降低兩種損失：
訓練完成後，可以直接從標準常態分布取樣一個 \(z\)，交給解碼器生成新資料；也能在潛在空間中移動，產生外觀逐漸變化的圖片。
**簡單比喻：**編碼器先把圖片放到一張有規則的「特徵地圖」上，解碼器再依地圖上的位置畫回圖片。KL 散度則幫忙把這張地圖整理得平滑、連續，讓新取樣的位置也有機會解碼成合理資料。
這張圖說明自回歸生成：語言模型每次預測一個 Token，將它接回上下文，再預測下一個，直到產生結束符號。
以圖中的句子「今天天氣很好」為例：
- 從起始符號開始：模型收到
<開始>，計算下一個 Token 的機率。 - 選出下一個 Token：例如「今天」機率最高，模型選出它。
- 把新 Token 加入上下文：上下文變成「今天」，模型再預測下一個 Token，例如「天氣」。
- 重複預測：上下文累積為「今天、天氣」，接著產生「很好」。
- 產生結束符號：模型選出
<結束>，表示回答完成。
圖上的機率數字是示意。模型實際選詞時會受到取樣策略影響，因此不一定每次都選機率最高的 Token。文字模型的 Token 也不一定剛好等於一個完整的詞，可能是字、詞的一部分或標點。
簡單比喻：像接龍遊戲，每次根據前面已經說出的內容，接出下一段；整句話是許多次預測串接而成。
這張圖說明多模態生成模型如何處理文字、圖片、音訊與影片，並依需求產生一種或多種形式的內容。
工作流程
接收輸入
模型可以收到文字、圖片、音訊或影片，也可以同時收到幾種。例如，一段文字提示加上一張參考圖片。各模態分別編碼
不同資料先由對應的編碼器轉成模型可處理的數值表示：文字由文字編碼器處理，圖片由圖像編碼器處理，音訊與影片也有各自的處理方式。融合資訊並理解關係
模型把不同輸入的特徵放在一起分析，理解它們如何互相補充。例如，文字提示描述「狗在海邊奔跑」，參考圖片則提供場景與色彩線索。依任務生成輸出
生成解碼器把模型的理解轉成指定形式的結果，例如文字說明、圖片、語音或影片片段。圖下方的例子是把文字提示與參考圖片結合，生成符合描述的新圖片。
簡單比喻
就像一位同時看圖、聽聲音、讀文字的創作者：先理解各種線索，再依照需求寫說明、畫圖或錄製語音。
各模型支援的輸入與輸出形式不同，因此不是每個多模態模型都能生成所有類型的內容。
這張圖說明 RAG（檢索增強生成）如何先從資料庫找相關資訊，再讓大型語言模型根據找到的資料回答。流程分成兩個階段：
一、資料建置：先整理好可搜尋的資料
這個階段通常事先完成，不必每次有人提問都重新處理文件。
- 收集資料：例如 PDF、Word、產品手冊、網頁或知識庫。
- 切分文字片段：把長文件拆成較小的段落，方便搜尋。
- 轉成向量：Embedding 模型把每個片段轉成數值向量，表示其語意。
- 建立索引：將向量和原始文字片段一起存入向量資料庫。
二、提問回答：依問題檢索並生成
使用者提問後，系統會：
- 將問題轉成向量。
- 到向量資料庫尋找語意相近的文字片段。
- 把問題和找到的片段組成提示，交給大型語言模型。
- 由模型依據這些資料撰寫回答，並可附上文件名稱或頁碼作為來源。
例如，詢問「公司今年的 ESG 目標是什麼？」系統會先找出 ESG 文件中相關段落，再請模型整理回答。
生活化比喻：像開卷考試。RAG 先幫模型從教材中找出相關頁面，再讓模型參考教材作答；這能減少只靠模型既有知識回答所造成的錯誤，但檢索到的資料若不完整或過時，回答仍可能不準確，因此仍要檢查來源。
沒有留言:
張貼留言