為什麼要考 iPAS AI 應用規劃師初級認證？

人工智慧（AI）正快速改變世界，從日常生活到產業應用都能看到它的影子。對於 IT 專業人士、學生或想轉職的人來說，iPAS AI 應用規劃師初級認證是一個重要的跳板。

認證對職涯發展的影響

拿到認證就像拿到一張「AI 通行證」，能證明我們具備基本的 AI 知識與應用能力，讓求職或升遷更有優勢。

認證在產業中的價值

許多公司在導入 AI 時，缺的不是工程師，而是能規劃應用的人才。這張證照正是要培養這樣的角色。

考試基本資訊

考試架構與題型

考試多以選擇題為主，測驗 AI 基礎知識、應用案例、倫理議題等。範圍廣但深度不會太難，重點是概念理解。

考試報名流程與費用

報名方式多為線上申請，初級要考兩科，一科 800 元，初級共兩科。各考季會公告報名時間。

iPAS AI 官方網站：https://www.ipas.org.tw/AIAP/

iPAS 報名登入頁面 https://www.ipas.org.tw/reg/System/Login

考試難度與通過率

屬於入門級，重點在於理解而不是死背。若有基礎資訊背景，準備起來相對輕鬆。2025/8/16 的過考率為 45%。

資料來源：https://www.ipas.org.tw/AIAP/AbilityPageContent.aspx?pgeno=f9025e73-ae4b-470c-95fc-4c7a7207031e

人工智慧概論 重點整理

簡報免費下載

1 人工智慧基礎概念

1.1 AI 發展階段分類

當我們談論人工智慧時，其實就像討論汽車的發展歷程一樣，有著不同的階段和層次。目前學術界普遍將人工智慧的發展分為三個主要階段，每個階段都代表著不同程度的智慧能力表現。

狹義人工智慧 (ANI – Artificial Narrow Intelligence) 是我們現在最常接觸到的AI類型，就像是專業的工匠一樣，每個AI系統都只專精於某一個特定領域。例如，Siri或Google Assistant這類語音助理只會處理語音相關的任務，而Netflix的推薦系統則專門分析你的觀影喜好來推薦電影。這些AI雖然在各自的領域表現出色，甚至可能超越人類，但它們無法跨領域運作。就像一個頂尖的西餐廚師可能完全不會做中式料理一樣，ANI只能在預設的範圍內發揮功能。

從ANI進一步發展，我們期待能達到**通用人工智慧 (AGI – Artificial General Intelligence)**的境界。AGI就像是一個真正聰明的人類一樣，能夠學習並處理各種不同類型的任務。想像一下，如果有一個AI既能幫你寫文章，又能解數學題，還能跟你聊天談心理，甚至能學會開車、做菜、彈鋼琴，這就是AGI的概念。不過，儘管科技界對此充滿期待，AGI目前仍然只存在於理論和研究階段，距離真正實現還有相當長的路要走。

而在更遙遠的未來，理論上可能出現超級人工智慧 (ASI – Artificial Super Intelligence)。ASI就像是把愛因斯坦、達文西、和牛頓的智慧結合起來，然後再放大無數倍的概念。這種AI不只是能做人類能做的事情，更能在所有領域都遠遠超越人類的表現。ASI更像是科幻小說中的概念，是一個極其遙遠且充滿不確定性的未來願景。

1.2 AI 發展三大浪潮

了解了AI的分類階段後，我們來看看AI是如何一步步發展到今天的樣貌。就像工業革命有好幾個階段一樣，AI的發展也經歷了三個主要的技術浪潮，每個浪潮都有其獨特的特色和貢獻。

第一波浪潮 (1950s-1970s)：符號主義 AI 是AI發展的起始點，這個時期的研究者相信智慧可以透過邏輯符號和規則來表達。就像我們用數學公式來描述物理定律一樣，早期的AI研究者試圖用邏輯符號來描述人類的思考過程。這個時期最著名的成果是專家系統，比如DENDRAL（用來分析化學分子結構）和MYCIN（用來診斷細菌感染）。這些系統就像是把專家的知識和經驗寫成一本詳細的規則手冊，然後讓電腦按照這些規則來解決問題。雖然在特定領域很有效，但這種方法需要人工輸入大量的規則，而且很難應對複雜多變的現實情況。

接著進入第二波浪潮 (1980s-2000s)：統計學習的時代，研究者開始意識到與其手動寫規則，不如讓機器自己從數據中學習規律。這就像是從「老師手把手教學生每一個步驟」轉變為「讓學生自己從大量練習題中歸納出解題方法」。這個時期發展出許多重要的機器學習演算法，包括決策樹、支援向量機(SVM)、隨機森林等。這些方法讓AI系統能夠從歷史數據中自動發現模式，並應用到新的情況中，大大提升了AI的實用性和靈活性。

而我們現在正處於第三波浪潮 (2010s-至今)：深度學習的黃金時代。深度學習的核心概念是模仿人類大腦的神經網路結構，就像建造一個簡化版的人工大腦一樣。這種方法特別善於處理複雜的數據，例如圖像、語音、和文字。深度學習讓AI在許多領域都有了突破性的進展，從AlphaGo擊敗圍棋世界冠軍，到ChatGPT能夠進行自然的對話，都是深度學習技術的成果。這個浪潮的特色是需要大量的數據和強大的運算能力，但換來的是前所未有的AI表現水準。

1.3 AI 任務執行基礎

經過前面兩個部分的介紹，我們已經了解AI的發展階段和歷史脈絡，現在讓我們深入探討AI到底是如何工作的。理解這個基礎原理對於後續學習各種AI技術和應用都至關重要。

AI的核心能力可以用一個簡單的概念來理解：從數據中學習模式，並進行推理與決策。這聽起來很抽象，但其實就像人類學習的過程一樣。想像一個小孩學習認識動物，他會看很多動物的圖片，慢慢學會區分貓、狗、鳥的特徵，然後當看到新的動物圖片時，就能根據之前學到的模式來判斷這是什麼動物。

這個過程與傳統的程式設計有著根本性的差異。傳統程式就像是一本詳細的操作手冊，程式設計師會寫下每一個步驟，告訴電腦在什麼情況下該做什麼事情。這種方法對於邏輯清楚、規則固定的任務很有效，但面對複雜多變的現實世界問題時就顯得力不從心。比如要寫一個程式來識別照片中的貓，用傳統方法幾乎是不可能的任務，因為貓的外觀千變萬化，很難用固定的規則來描述。

AI系統則採用完全不同的方法。它們不需要人類預先告訴它們所有的規則，而是透過分析大量的數據來自動發現其中的規律和模式。這就像是讓AI系統自己當學生，從無數的例子中學習，然後形成自己的「理解」。當面對新的情況時，AI系統會運用它從數據中學到的模式來做出推理和決策，這個過程更像是人類的直覺判斷，而不是機械式的規則執行。

這種學習和推理的能力讓AI能夠處理許多以前被認為只有人類才能做的任務，例如理解語言、識別圖像、預測趨勢等等。正是這個基本原理的威力，讓我們看到了AI在各個領域中不斷突破的可能性，也為我們進入下一個章節學習具體的AI技術和應用奠定了堅實的基礎。

2 機器學習類型與方法

機器學習就像是教電腦如何像人一樣學習和做決定的技術。就如同人類可以通過不同方式學習新事物，機器學習也有多種不同的學習方式，每種方式都適合解決不同類型的問題。接下來我們將深入探討四種主要的機器學習類型，讓您了解它們各自的特色和應用場景。

2.1 監督式學習 (Supervised Learning)

監督式學習可以想像成是有老師指導的學習過程。在這種學習方式中，我們會提供電腦大量已經有正確答案的資料，就像給學生練習題和標準答案一樣，讓機器從中學會如何處理類似的問題。這種學習方式的核心概念是使用已標記的資料進行訓練，其中「已標記」意思是每筆資料都有對應的正確答案。

在監督式學習中，有兩種主要的問題類型需要解決。第一種是分類問題，它的目的是將輸入資料對應到離散的類別中。想像一下郵件系統需要判斷每封郵件是正常郵件還是垃圾郵件，或是醫生需要根據X光片判斷病患是否有肺炎，這些都是典型的分類問題應用。在這些情況下，機器需要學會將輸入的資料歸類到預先定義好的類別中。

與分類問題相對的是迴歸問題，它的目的是預測連續數值而非離散類別。舉例來說，根據房屋的坪數、地點、屋齡等因素來預測房價，或是根據歷史銷售數據來預測下個月的銷售額，這些都屬於迴歸問題。線性迴歸就是解決這類問題的經典算法，它特別適合預測連續型目標變數。

為了解決這些不同類型的問題，監督式學習發展出許多常見算法。決策樹是其中一種具有高可解釋性的算法，它就像是建立一套決策規則，讓人們能夠清楚理解機器是如何做出判斷的。Logistic Regression則特別適合處理類別型預測問題，它能夠計算某個樣本屬於特定類別的機率。當面對更複雜的分類問題時，隨機森林算法會是很好的選擇，它結合多個決策樹的預測結果，通常能夠獲得更準確的預測結果。

2.2 非監督式學習 (Unsupervised Learning)

與監督式學習不同的是，非監督式學習就像是讓學生自己探索和發現規律，沒有標準答案可以參考。這種學習方式的最大特徵是使用未標記的數據，也就是說資料中沒有正確答案或目標輸出。機器必須自己從大量資料中發現隱藏模式，找出資料之間的關聯性和結構。

由於非監督式學習不需要訓練的目標輸出，它特別適合用來探索我們還不知道該尋找什麼的情況。比如說，一家公司想要了解顧客的消費行為模式，但不知道顧客可以分成幾種類型，這時就可以使用非監督式學習來自動發現顧客群體的特徵。

在非監督式學習中，聚類分析是最重要的技術之一，它的目標是將相似的資料點歸納到同一個群組中。K-means是最經典的聚類演算法，它會將資料分成預先指定數量的群組，並確保每個群組內的資料點盡可能相似，而不同群組間的差異盡可能大。另一個重要的聚類方法是DBSCAN，它是基於密度的聚類方法，能夠自動決定群組數量，並且對於形狀不規則的群組也有很好的處理能力。

2.3 強化學習 (Reinforcement Learning)

強化學習採用了一種截然不同的學習方式，它更像是透過反覆嘗試和接受回饋來學習的過程。想像一個小孩學習騎腳踏車，他會不斷嘗試不同的動作，當做對了就能保持平衡（獲得正面回饋），做錯了就可能跌倒（獲得負面回饋），透過這樣的過程逐漸學會騎車。強化學習的核心概念就是透過與環境互動學習，系統會根據行動的結果接收獎勵函數 (reward function) 的回饋，並據此調整未來的行為策略。

這種學習方式特別適合處理動態重複互動問題，也就是需要連續做出多個相關決策的情況。在這類問題中，當下的決策不僅會影響即時的結果，也會影響未來可能獲得的回報，因此系統需要學會平衡短期利益和長期利益。

在強化學習中有幾個關鍵要素需要理解。折扣因子 γ 是其中一個重要概念，它決定了系統對未來獎勵的重視程度。當折扣因子越接近1時，表示系統越重視未來獎勵，會更願意為了長期利益而犧牲短期回報。Q-Learning則是強化學習中的核心算法，它透過試誤與回饋的過程，讓系統學習在不同狀況下應該採取什麼行動才能獲得最佳的長期回報。

強化學習在許多前沿應用領域都有出色的表現。最著名的例子是圍棋AI AlphaGo，它透過與自己對弈數百萬局來學習最佳的下棋策略，最終擊敗了世界頂級的圍棋選手。在自動駕駛領域，車輛需要根據路況、交通號誌、行人等各種因素做出連續的駕駛決策，這正是強化學習擅長解決的問題類型。此外，在各種遊戲策略學習中，強化學習也展現了超越人類玩家的能力。

2.4 半監督學習與主動學習

在實際應用中，我們經常會遇到一個困難的問題：獲得大量已標記的訓練資料既昂貴又耗時。想像一下，如果要訓練一個醫學影像識別系統，需要請專業醫師標記成千上萬張影像，這不僅成本高昂，也需要大量時間。為了解決這個問題，研究人員發展出了半監督學習和主動學習這兩種方法，它們都嘗試更有效地利用有限的標記資料。

半監督學習是一種聰明的解決方案，它同時使用少量已標記和大量未標記資料來訓練模型。這種方法的核心理念是，即使某些資料沒有標準答案，它們仍然包含有用的資訊，可以幫助模型更好地理解資料的整體結構。重要的是，半監督學習可以自動從未標記資料中學習，不需要人工干預，這大大降低了人力成本。

主動學習則採用了另一種策略來最大化標記資料的價值。在這種方法中，模型會主動選擇最有價值的樣本請求標記，而不是隨機選擇需要標記的資料。這就像是一個聰明的學生，會主動向老師提問最能幫助自己學習的問題。主動學習使用查詢函數 Q 來從未標記樣本中選出信息量最大的樣本，但這個過程仍然需要人工參與標註過程。

儘管半監督學習和主動學習採用不同的策略，但它們有一個共同特點：都利用未標記資料來輔助監督學習。這兩種方法代表了機器學習領域對於如何更有效利用資料資源的重要探索，在資料標記成本高昂的現實環境中，它們為我們提供了實用且經濟的解決方案。

透過了解這四種主要的機器學習類型，我們可以看出每種方法都有其獨特的優勢和適用場景。監督式學習適合有明確目標的問題，非監督式學習適合探索性分析，強化學習適合需要連續決策的動態環境，而半監督學習和主動學習則提供了在資源有限情況下的實用解決方案。選擇合適的機器學習方法，就像選擇合適的工具一樣，需要根據具體問題的特性和可用資源來決定。

3. 資料預處理與品質管理

在人工智慧的世界裡，資料預處理就像是料理前的食材準備工作一樣重要。想像一下，如果我們拿到一堆雜亂無章的食材，有些已經腐壞、有些缺斤少兩、有些甚至不知道是什麼東西，直接拿去煮菜肯定做不出好料理。同樣地，機器學習模型也需要乾淨、整齊、品質良好的資料才能產生準確的預測結果。這就是為什麼我們需要先了解不同類型的資料，然後學會如何清理、轉換和精簡這些資料。

3.1 資料類型

在開始處理資料之前，我們必須先認識資料的基本分類，就像廚師要先認識食材的種類一樣。在人工智慧應用中，資料主要分為兩大類型：結構化資料和非結構化資料，每種類型都有不同的特性和處理需求。

結構化資料

結構化資料就像是整齊排列在表格中的資訊，每一欄都有固定的格式和意義。最常見的例子包括顧客交易記錄表格，裡面可能有日期、金額、商品名稱等欄位，每一筆記錄都按照相同的格式排列。Excel 財務報表也是典型的結構化資料，會計師將收入、支出、資產負債等數字按照固定的會計科目分類整理。此外，存放在各種資料庫中的欄位設定，每個欄位都有明確的資料類型定義，比如數字欄位只能存數字、日期欄位只能存日期格式，這些都屬於結構化資料的範疇。這類資料的特色是格式統一、容易理解，也相對容易進行分析處理。

非結構化資料

相對於結構化資料的整齊劃一，非結構化資料就像是各式各樣形狀不一的物品，沒有固定的格式可循。人臉影像是最典型的例子，每張照片的解析度、角度、光線條件都不相同，需要特殊的影像處理技術才能讓電腦理解其中的特徵。自然語言文字也是非結構化資料的代表，可能是客戶的評論、新聞文章或社群媒體貼文，長短不一、用詞各異，包含豐富的語意資訊但難以直接量化。醫療領域的 X光醫學影像同樣屬於非結構化資料，每張 X光片的拍攝角度和病灶位置都不盡相同。監控錄影畫面記錄著各種動態場景，而客服電話錄音則包含了語調、語速、方言等複雜的語音資訊，這些都需要運用深度學習等先進技術才能有效處理。

了解資料類型的差異後，我們就能選擇適當的預處理策略，這為接下來的資料清理工作奠定了重要基礎。

3.2 資料清理技術

認識了資料類型之後，接下來要面對的挑戰就是資料品質問題。就像收到一批蔬菜後要先挑揀一樣，我們需要識別並處理資料中的各種問題。在實際的資料科學專案中，最常遇到的問題包括空值、離群值和錯誤值，每種問題都需要不同的處理技術。

空值處理

空值就像是表格中的空白格子，代表某些資訊遺失了。處理這些空值時，我們需要根據資料的特性選擇適當的填補方法。對於數值型資料，比如客戶的年齡或消費金額，我們可以使用平均值來填補空缺，這樣能保持資料的整體趨勢不變。如果資料分布不均勻或存在極端值，中位數會是更好的選擇，因為它不會被異常高低的數值影響而產生偏差。至於類別型資料，像是客戶的職業別或居住地區，最合理的做法是使用眾數，也就是最常出現的類別來填補空缺。有時候，我們也可以選擇將空值視為一個獨立的類別進行處理，或者直接刪除包含空值的記錄，這取決於資料的完整性和分析需求，以及空值比例的高低。

離群值處理

處理完空值問題後，下一個挑戰是離群值。離群值的定義是指那些資料點與大多數資料落點距離極遠的數值，就像在一群身高正常的人中突然出現一個巨人一樣顯眼。這些異常值可能是測量錯誤造成的，也可能是真實存在的極端情況，但都會對機器學習模型的訓練產生不良影響。最常用的處理方法是天花板和地板處理法，具體做法是為數據設定一個合理的最大值上限（天花板）和最小值下限（地板），任何超出這個範圍的數值都會被調整到邊界值。這種方法既能保留大部分資料的原始特性，又能避免極端值對模型學習造成干擾，讓模型能夠學習到更穩定和一般化的規律。

錯誤值處理

最後一種常見的資料品質問題是錯誤值。這些是明顯不合理或不可能存在的數值，比如出現負數的年齡、超過 24 小時的時間，或是在性別欄位出現數字等明顯的資料輸入錯誤。當我們發現這些錯誤值時，如果無法判斷正確性或確定正確的數值應該是什麼，最安全的做法就是將這些錯誤值視為空值來處理，然後套用前面提到的空值處理方法。這種處理方式能夠避免錯誤資訊對模型造成誤導，同時保持資料處理的一致性。

清理完資料中的各種品質問題後，我們就為下一步的資料轉換做好了準備。

3.3 資料轉換技術

資料清理完成後，接下來面臨的挑戰是如何讓不同格式的資料能夠被機器學習模型理解和使用。這就像是翻譯工作，需要將各種「語言」的資料轉換成機器能夠「讀懂」的統一格式。在人工智慧的演算法世界中，大部分的機器學習模型都只能處理數值型資料，因此資料轉換是一個關鍵的預處理步驟。

類別型轉數值型

機器學習演算法基本上只能處理數字，所以我們需要將文字或類別資訊轉換成數值形式。最直觀的例子是教育程度的轉換，我們可以根據入學年齡將學歷轉換為對應的數值：小學對應 6 歲、國中對應 12 歲、高中對應 15 歲、大學對應 18 歲。這種轉換方法不僅讓機器能夠理解教育程度的概念，還保留了教育階段之間的順序關係和差距大小，讓模型能夠更準確地學習這些特徵對預測結果的影響。除了順序性的類別之外，對於沒有順序關係的類別資料，我們也可以使用 One-Hot Encoding 等技術將每個類別轉換成獨立的二進位特徵。

離散化方法

有時候我們需要將連續的數值資料切分成不同的區間，這個過程稱為離散化或分箱（Binning）。在處理客戶年齡或收入資料時，我們經常會用到兩種主要的離散化方法。等寬裝箱法是將資料範圍平均分割，比如將年齡從 0 到 100 歲分成 10 個區間，每個區間都是 10 歲的寬度。這種方法簡單直觀，計算容易，但可能會造成某些區間的資料過多或過少，導致資料分布不均。相對地，等分裝箱法則是確保每個區間包含相同數量的資料筆數，這樣能夠讓訓練樣本更加平衡，避免模型過度偏重某些特定區間的特徵，有助於提升模型的泛化能力。

資料一般化

在處理類別型資料時，資料一般化是類別型欄位最常用的清理方法。這個技巧的概念是將過於具體的類別合併成更廣泛的分組，既能簡化資料結構，又能提高模型的泛化能力。最典型的例子就是地理位置的一般化處理，我們可能原本有「台北市」、「新北市」、「桃園市」等詳細的城市資訊，但為了讓分析更有意義且減少雜訊，我們可以將這些具體位置一般化為「北部地區」、「中部地區」、「南部地區」等更廣泛的分類。這樣不僅減少了類別的數量，降低了模型的複雜度，也讓模型能夠學習到更穩定和可靠的地域特徵模式。

完成了資料轉換後，我們還需要考慮如何讓資料量更適合模型訓練的需求，這就進入了資料精簡的階段。

3.4 資料精簡技術

即使經過清理和轉換，我們的資料集可能仍然過於龐大或複雜，就像一個裝滿雜物的倉庫，需要進一步整理才能有效利用。在機器學習的實務應用中，資料精簡不僅能提升模型訓練的效率，還能改善模型的效果和穩定性，避免過度擬合的問題。

記錄精簡（Record Reduction）

記錄精簡的核心概念是減少資料的數量，但保留最有價值的資訊。首先要處理的是移除重複的資料列，這些重複記錄就像是同一張照片的多個副本，不僅佔用儲存空間和計算資源，還可能讓模型對某些特定模式產生過度偏好，影響學習的公正性。去除重複資料後，我們還需要從剩餘的資料中僅保留具代表性的樣本，就像從一大群人中挑選代表參加會議一樣，要確保選出的樣本能夠反映整體的特徵分布和變異情況。這種選擇性的資料精簡能夠在保持資料多樣性的同時，大幅提升訓練效率。

屬性值精簡（Value Reduction）

在處理類別型欄位時，我們經常會遇到一些出現頻率極低的屬性值。這些稀少的類別就像是偶爾出現的訪客，對整體分析的貢獻有限，卻會增加模型的複雜度並可能導致過度擬合。最有效的處理方式是將類別型欄位中出現極少的屬性值合併成一類，通常命名為「其他」或「雜項」。這種做法不僅簡化了資料結構，減少了需要學習的參數數量，還能讓模型更專注於學習那些真正重要且具有統計意義的主要類別特徵，提升模型的穩定性和可靠性。

屬性擴充

雖然叫做「精簡技術」，但有時候我們需要透過整合既有資料來創造新的、更有意義的屬性。這就像是將散落的積木組合成更完整的作品。在實務應用中，內部資料統整是常見的屬性擴充方式，最典型的例子是將客戶的個別交易紀錄加總計算出「每月消費總額」、「平均單筆消費金額」或「購買頻率」等衍生指標。這些新創建的屬性往往比原始的單筆交易記錄更能反映客戶的消費行為模式和偏好，為模型提供更有價值和更具預測力的學習資料。

經過資料精簡處理後，我們通常會得到一個更乾淨、更集中的資料集，但有時候這個資料集可能仍然很大，這時就需要考慮抽樣技術了。

3.5 抽樣方法

在大數據時代，我們經常面臨資料量過於龐大的挑戰。就像要了解一鍋湯的味道，我們不需要喝完整鍋，只需要嚐一小口就能判斷。抽樣方法的目的就是利用少量樣本推估整體母體的特性，既能保持統計的準確性，又能大幅提升處理效率。在機器學習的實務應用中，適當的抽樣策略能讓我們在合理的時間和運算資源限制內完成模型訓練，同時維持模型的效果。

分層抽樣

在所有抽樣方法中，分層抽樣是最能確保樣本代表性的技術之一。分層抽樣的核心概念是針對具有高同質性但互不重疊的群體分別進行抽樣，能確保各群體都有代表性。想像一下，如果我們要調查全國民眾對某項政策的看法，直接隨機抽樣可能會導致某些地區或年齡層的民眾比例失衡，讓調查結果出現偏差。使用分層抽樣的話，我們可以先將民眾依據地區、年齡、職業等重要特徵分成不同的層次，再從每一層中抽取適當比例的樣本。這樣能夠確保最終的樣本在各個重要特徵上都具有足夠的代表性，讓分析結果更能反映真實的母體情況，避免某些少數群體被忽略或某些多數群體被過度代表的問題。

透過這種精密的抽樣設計，我們不僅能有效控制資料處理的規模和成本，還能確保機器學習模型在訓練過程中接觸到各種不同類型的樣本，避免產生偏差或過度擬合的問題，提升模型在真實世界應用時的可靠性和穩定性。

經過完整的資料預處理與品質管理流程後，我們的原始資料已經轉變成適合機器學習模型使用的高品質資料集。從最初的資料類型識別，到清理各種品質問題，再到轉換資料格式、精簡資料規模，最後透過科學的抽樣方法選取訓練樣本，每一個步驟都是為了讓機器學習模型能夠學習到最準確、最有用的知識。這個紮實的基礎工作雖然耗時，但卻是成功建立可靠人工智慧系統不可或缺的重要環節，也是 AI 應用規劃師必須熟練掌握的核心技能之一。

4. 模型評估與性能指標

在機器學習中，建立好模型之後，最重要的就是評估它的表現好不好。就像我們考試後要看成績一樣，機器學習模型也需要透過各種方法來測試它的能力。在這個章節中，我們將學習如何正確地評估模型，以及遇到問題時該如何解決。

4.1 資料分割

想像一下，如果我們要測試一個學生的數學能力，絕對不能用他練習過的題目來考試，因為這樣測不出他真正的實力。機器學習也是同樣的道理，我們需要把資料分成不同的部分，才能真正了解模型的表現。

訓練資料 (Training Data) 就像是學生的練習題，專門用來訓練模型學習各種規律和模式。模型會透過這些資料來調整自己內部的參數，就像學生透過練習題來熟悉解題方法一樣。這部分的資料佔總資料的大部分，通常是70%到80%。

然而，光有練習是不夠的，我們還需要真正的考試來檢驗學習成果。測試資料 (Test Data) 就扮演著期末考的角色，專門用來評估模型在完全沒見過的資料上能有多好的表現。這個部分非常關鍵，因為它不能用於訓練或調整模型，必須保持「乾淨」的狀態，才能給出公正的評分。

除了基本的訓練測試分割，還有一個更精密的方法叫做 K-fold 交叉驗證。以 5-fold 為例，我們把所有資料分成5等份，然後進行5輪的訓練和測試。每一輪都用其中4份來訓練模型，剩下1份來測試，這樣總共會得到5個不同的測試結果。透過這種方法，我們可以更全面地了解模型的穩定性，就像一個學生考了5次不同的測驗，我們就能更準確地評估他的真實水準。

4.2 分類評估指標

當我們要評估一個分類模型的好壞時，就像醫生診斷病人一樣，我們需要知道模型預測的準確程度。這時候就需要用到各種評估指標，它們就像是不同角度的成績單，告訴我們模型在哪些方面表現好，哪些方面需要改進。

混淆矩陣相關指標 是最基本也最重要的評估工具。首先我們來了解幾個關鍵概念：TP (True Positive) 代表正確預測為正例的數量，TN (True Negative) 代表正確預測為負例的數量，FP (False Positive) 代表錯誤預測為正例的數量，FN (False Negative) 代表錯誤預測為負例的數量。

精確率 (Precision) 的計算公式是 TP / (TP + FP)，它告訴我們在所有預測為正例的案例中，有多少是真正正確的。就像一個醫生說100個人有病，結果真的有90人有病，那精確率就是90%。這個指標特別重要當我們不希望有太多誤報的時候，比如垃圾郵件過濾或者疾病診斷。

召回率 (Recall) 的計算公式是 TP / (TP + FN)，它衡量的是在所有實際為正例的案例中，我們成功找到了多少。延續上面的例子，如果實際有100個病人，醫生成功診斷出其中80個，那召回率就是80%。當我們不希望漏掉重要案例時，比如癌症篩檢或者詐騙偵測，召回率就變得非常重要。

準確率 (Accuracy) 的計算公式是 (TP + TN) / (TP + TN + FP + FN)，這是最直觀的指標，代表所有預測中正確的比例。不過要注意的是，當資料不平衡時（比如1000個案例中只有10個是正例），準確率可能會產生誤導，因為即使模型什麼都不做，只要都預測為負例，準確率也能達到99%。

除了這些基本指標，我們還有更進階的評估方法。ROC 曲線 是一個非常有用的視覺化工具，它繪製的是 TPR (真陽性率，也就是召回率) 對 FPR (假陽性率) 的關係圖。想像這是一個座標系，橫軸是誤報率，縱軸是正確檢出率，理想的模型會儘量接近左上角，代表高檢出率但低誤報率。

AUC (Area Under the Curve) 則是ROC曲線下方的面積，範圍從0到1。AUC值為0.5就代表模型的表現跟隨機猜測一樣，沒有任何預測能力；AUC值越接近1，表示模型的辨別能力越強。一般來說，AUC超過0.7就算是可接受的模型，超過0.8算是好模型，超過0.9就是優秀的模型了。

4.3 模型問題診斷

在模型訓練和評估的過程中，我們經常會遇到一些問題，就像醫生看病時會遇到各種症狀一樣。學會診斷這些問題並找出解決方法，是成為機器學習專家的關鍵技能。

過度擬合 (Overfitting) 是最常見的問題之一，就像一個學生死背題目答案，雖然練習題都做得很好，但遇到新題目就不會了。具體來說，過度擬合的現象是模型在訓練資料上的準確度很高，甚至可能達到100%，但在測試資料上的表現卻很差。這是因為模型過度學習了訓練資料中的特殊細節和噪音，而不是真正的規律和模式。

造成過度擬合的原因有很多，最主要的是模型太複雜，參數太多，就像用一個1000度的多項式去擬合10個資料點一樣，雖然能完美通過每個點，但對新資料的預測能力會很差。另一個原因是訓練資料太少，模型沒有足夠的範例來學習真正的規律，只能記住現有的資料。

除了過度擬合，我們還需要注意 訓練與測試差異 的問題。如果數值型屬性在訓練集與測試集的分佈差異過大，就會導致模型的準確度大幅下滑。這就像一個學生只練習過簡單的加法，突然考試時遇到複雜的微積分，當然會表現很差。比如說，如果訓練資料中的年齡都在20-30歲之間，但測試資料中的年齡卻在60-70歲之間，模型就很難做出準確的預測。

要發現這些問題，最重要的是要仔細觀察訓練過程中的學習曲線。如果訓練準確率持續上升，但驗證準確率卻開始下降或停滯，這就是過度擬合的明顯徵象。同時，我們也要檢查資料的統計特性，確保訓練集和測試集在各個屬性上的分佈都相近。

4.4 正則化技術

當我們發現模型出現過度擬合的問題時，就需要採取一些技術來解決。正則化技術 就像是給模型加上一些限制條件，防止它過度複雜化，確保它學到的是真正有用的規律而不是無意義的細節。

L1 正則化 是一種常用的方法，它的原理是在原本的損失函數中加入權重絕對值總和作為懲罰項。想像模型的每個權重都要付「稅」，權重越大，稅就越重。這樣模型就會傾向於使用較小的權重，甚至會把一些不重要的權重直接設為0，達到特徵選擇的效果。這就像一個公司在成本控制下，會自然地淘汰不必要的部門和職位。

L2 正則化 的做法類似，但它加入的是權重平方和作為懲罰項。與L1不同的是，L2正則化不會讓權重變成0，而是讓所有權重都變小。這種方法特別適合處理多重共線性的問題，就像把所有相關的特徵都保留，但降低它們的影響力，避免任何一個特徵過度主導模型的決策。

Dropout 是專門針對神經網路設計的正則化技術。它的做法是在訓練過程中隨機將某些神經元設為0，強迫模型不能過度依賴特定的神經元。這就像一個團隊中隨機讓某些成員請假，迫使整個團隊培養更好的協作能力和冗余機制。Dropout通常在訓練時使用，但在預測時會關閉，讓所有神經元都參與計算。

需要特別注意的是，梯度下降 雖然也是模型訓練中的重要技術，但它是一種最佳化方法，用來尋找最佳的模型參數，而不是正則化技術。梯度下降就像是在山上尋找最低點的過程，它告訴我們往哪個方向走才能讓損失函數最小，但它本身並不能防止過度擬合。

透過適當運用這些正則化技術，我們可以建立出既準確又穩定的模型。關鍵是要根據具體的問題和資料特性來選擇合適的方法，有時候甚至需要組合多種技術才能達到最佳效果。記住，機器學習的目標不是讓模型在訓練資料上表現完美，而是要讓它在現實世界的新資料上也能有良好的表現。

5. 深度學習與神經網路：從基礎概念到現代應用

5.1 神經網路基礎

想要了解深度學習，我們首先要搞清楚神經網路到底是什麼東西。簡單來說，神經網路就像是模仿人類大腦運作方式的一種電腦程式。就像我們的大腦有很多神經元互相連接，神經網路也是由許多人工神經元組成的網狀結構。

與傳統機器學習的區別

傳統的機器學習方法就像是教一個小朋友認識動物，我們需要先告訴他「狗有四條腿、有毛、會叫」這些特徵，然後他才能學會分辨狗和貓。但是神經網路就不一樣了，它可以透過多層結構自動學習這些複雜特徵。你只要給它看很多狗和貓的照片，它就能自己找出區別的方法，甚至發現一些我們人類沒注意到的細微差異。

這種能力特別適合處理非線性數據，什麼是非線性數據呢？想像一下畫一條直線來區分兩種東西，如果畫得出來就是線性的，畫不出來就是非線性的。現實世界的數據大多都是非線性的，像是語音、影像、文字等等，傳統方法很難處理，但神經網路卻能輕鬆應付。

不過神經網路也有個缺點，就是需要大量數據支持。就像小朋友要看過很多狗狗的照片才能準確認出狗狗一樣，神經網路也需要餵給它大量的範例資料才能學得好。如果數據太少，它可能會學得不夠準確，甚至出現過度學習（Overfitting）的問題。

5.2 深度學習模型類型

了解了神經網路的基本概念後，我們來看看現在有哪些不同類型的深度學習模型。這些模型就像是不同的工具，每一種都有它擅長的任務。

生成式 AI 模型

近年來最火紅的就是生成式 AI 模型了，這類模型的特色是能夠「創造」新的內容，而不只是分析或分類現有的資料。

首先是 GAN（Generative Adversarial Networks，生成對抗網絡）。GAN 的運作原理很有趣，就像是一場永不停歇的貓抓老鼠遊戲。它包含兩個部分：生成器和判別器。生成器就像是一個偽造者，專門生成假的資料；判別器則像是鑑定專家，專門分辨真假。透過生成器與判別器的對抗過程，生成器會越來越會做假，判別器也會越來越會分辨，最終生成器就能產出非常逼真的資料了。

接下來是 VAE（Variational Autoencoder，變分自編碼器）。VAE 結合了自編碼器和機率理論，它的工作方式比較像是先把資料壓縮成一個小小的密碼，然後再從這個密碼重建出原來的資料。通過這個過程，VAE 學會了如何用簡潔的方式表達複雜的資料，並且能夠生成新的、類似的內容。

在圖像生成領域最成功的要算是擴散模型（Diffusion Models）了。你可能聽過 DALL-E 或 Stable Diffusion 這些能夠根據文字描述生成圖片的神奇工具，它們背後用的就是擴散模型技術。擴散模型的概念就像是把一張清晰的照片慢慢加上雜訊變成雪花點，然後學會如何把雪花點反向處理變回清晰的照片。

非深度學習模型

雖然我們在談論深度學習，但也不能忽略一些傳統但依然有用的方法。SVM（Support Vector Machine，支持向量機）就是其中的佼佼者。SVM 是傳統機器學習算法，主要用於分類和迴歸任務。它的基本想法就是在數據中找到一條最佳的分界線，讓不同類別的資料能夠清楚分開。雖然 SVM 不是深度學習，但在某些特定情況下，它的表現仍然非常出色，而且計算速度快、需要的資料量也比較少。

5.3 現代架構

從傳統的神經網路發展到現在，有兩個重要的現代架構概念改變了整個遊戲規則，讓深度學習能夠處理更複雜的任務。

Transformer 模型

首先要介紹的是 Transformer 模型，它可以說是現代 AI 發展的關鍵技術。Transformer 的核心技術是注意力機制（Attention Mechanism）。什麼是注意力機制呢？想像你在讀一篇文章，當你讀到某個詞的時候，你的大腦會自動去注意跟這個詞相關的其他詞彙，這就是注意力的概念。

傳統的神經網路處理文字時必須按照順序一個字一個字讀，就像我們看書必須從左到右一樣。但是 Transformer 可以同時看整個句子，並且知道每個詞之間的關係有多重要。這種能力讓它在理解語言的語義和上下文方面表現得特別好。

正因為這個優勢，Transformer 成為了大型語言模型的基礎架構。你可能聽過 GPT、BERT 這些名字，它們都是建立在 Transformer 架構之上的。可以說，沒有 Transformer，就沒有現在我們看到的這些聰明的 AI 助手。

端到端學習

最後要談的是端到端學習（End-to-End Learning）這個重要概念。過去我們要讓電腦處理複雜任務時，通常需要把問題分解成很多小步驟，每一步都要人工設計特定的處理方法。比如說要讓電腦識別照片中的物體，我們可能需要先找邊緣、再找形狀、然後分析紋理等等，每一步都需要工程師精心設計。

但是端到端學習改變了這個做法，它能夠直接從原始輸入處理到最終輸出，中間的所有步驟都讓神經網路自己學習。這就像是給一個人看很多照片和對應的標籤，讓他自己摸索出識別的方法，而不是教他一堆規則。這種方法與傳統使用工程化特徵的方法完全不同，不但簡化了開發流程，往往還能得到更好的效果。

端到端學習的成功，標誌著我們從「教電腦怎麼做」轉變為「讓電腦自己學會怎麼做」的重大轉折。這個轉變不只是技術上的進步，更代表了我們對於人工智慧本質理解的深化，為未來更智慧、更靈活的 AI 系統奠定了堅實的基礎。

6. AI 應用與實務案例

在進入實務應用之前，我們需要先理解人工智慧的基本分類和運作方式。人工智慧技術依照功能特性，可以分為兩大類型：鑑別式AI和生成式AI。這兩種類型各有不同的強項和應用場景，了解它們的差異，能幫助我們選擇最適合的技術來解決實際問題。

6.1 鑑別式 vs 生成式 AI

鑑別式人工智慧是一種專門用來「辨認和分類」的AI技術。就像是一位經驗豐富的醫生，能夠從X光片中判斷病人是否有骨折，或是像銀行的風險管理專員，能從客戶的信用資料中判斷是否應該放款。鑑別式AI的核心功能是從大量資料中辨識出特定的模式，然後進行分類與預測。它的特徵在於能夠準確地從資料中辨識出樣本所屬的分類，但是它無法生成全新的內容，只能針對現有的資料進行分析、分類和預測工作。

相對於鑑別式AI的分析特性，生成式人工智慧則展現了「創造」的能力。它就像是一位多才多藝的藝術家，不僅能理解現有的作品，還能創作出全新的內容。生成式AI的主要應用包括創建合成數據樣本、生成文本內容，以及模擬各種數據分佈。不過需要注意的是，並非所有AI應用都屬於生成式範疇，例如分類醫學影像這類工作，實際上是鑑別式AI的應用領域，因為它專注於辨識和分類，而非生成新內容。

這兩種AI技術並不是互相競爭的關係，而是能夠協作互補的夥伴。協作案例的典型應用就是自動駕駛系統的開發。在這個應用中，生成式AI負責模擬各種複雜的交通場景，包括不同天氣條件、路況變化、行人行為等情況，創造出豐富多樣的訓練資料。接著，鑑別式AI則利用這些模擬資料來訓練自動駕駛模型，學習如何在真實環境中正確識別路標、行人、其他車輛，並做出適當的駕駛決策。

6.2 自然語言處理 (NLP)

從AI的基本分類開始，我們現在深入探討其中一個最重要的應用領域：自然語言處理。自然語言處理讓電腦能夠理解和處理人類的語言，就像是為電腦安裝了一套語言理解系統，讓機器能夠與人類進行更自然的溝通。

核心技術方面，自然語言處理涵蓋了多個重要的技術領域。首先是語音識別技術，它能將人類的語音轉換成文本，這項技術廣泛應用在語音助理系統中，讓我們可以直接對手機或智慧音箱說話來下達指令。接下來是自然語言生成技術，它能夠生成流暢、自然的文本內容，這項技術是聊天機器人能夠與用戶進行對話的關鍵。機器翻譯則是另一項重要應用，它能夠自動翻譯不同語言之間的內容，大大促進了多語言溝通的便利性。最後是語意分析技術，這是理解文本真正含義的核心技術，主要用於情感分析、文本分類，以及問答系統等應用場景。

在理解這些核心技術的運作方式時，我們需要掌握一些重要概念。Token是自然語言處理中的基本單位概念，可以想像成是文本的最小處理單元，通常是一個完整的單詞或是單詞的一部分。就像是將一本書拆解成一個個的字詞，電腦才能逐一處理和理解內容。另一個關鍵概念是Function Calling，這項技術讓大型語言模型具備了呼叫外部API和工具的能力，就像是為AI助理配備了各種專業工具，讓它能夠執行更多樣化的任務，而不僅僅是回答問題。

6.3 電腦視覺

自然語言處理讓電腦理解文字和語音，而電腦視覺則讓電腦擁有了「看」的能力。電腦視覺技術讓機器能夠處理和理解影像資料，就像是為電腦裝上了一雙智慧的眼睛。

應用場景中最貼近日常生活的例子就是超市的自動結帳系統。想像一下，當你在超市購物時，只需要將商品放入購物車，系統就能自動檢測出每件商品是什麼，並且立即進行計價收費，完全不需要人工掃描條碼或手動輸入。這整個過程的主要技術就是電腦視覺，系統透過攝影機拍攝的影像，運用深度學習演算法來識別不同的商品，判斷商品的種類、數量和價格，然後自動完成結帳流程。這不僅大幅提升了購物效率，也減少了人工作業的錯誤率。

6.4 聯邦學習

從個別技術應用轉向更複雜的協作學習機制，聯邦學習代表了一種全新的AI訓練方式。傳統的機器學習需要將所有資料集中到同一個地方進行訓練，但聯邦學習打破了這個限制，讓分散在不同地點的資料能夠共同參與模型訓練，同時保護資料的隱私和安全。

模型聚合目的是聯邦學習的核心機制。在這個過程中，中央伺服器會將各個客戶端回傳的模型參數進行整合，形成一個更新、更強大的全域模型。就像是集合眾人智慧的過程，每個參與者都貢獻自己的學習成果，最終形成一個比任何單一參與者都更優秀的整體模型。

聯邦學習的運作可以分為四個清楚的階段劃分。首先是初始模型下發階段，中央伺服器會提供一個基礎的初始模型給所有參與的客戶端，這就像是給每個學習者發放同樣的教材。接下來進入本地訓練階段，各個客戶端會使用自己的本地資料來訓練這個模型，每個參與者都根據自己的資料特性來改進模型。然後是參數回傳階段，各客戶端會將訓練後的模型參數上傳回中央伺服器，但重要的是只傳送參數而不傳送原始資料，這樣就能保護資料隱私。最後是模型聚合階段，中央伺服器會整合所有收到的參數，創造出一個融合了所有參與者學習成果的新模型，然後這個新模型又可以作為下一輪訓練的基礎，形成持續改進的循環。

透過這樣的機制，聯邦學習不僅解決了資料隱私的問題，也讓原本因為資料分散而無法進行大規模訓練的情況成為可能，為AI技術的應用開啟了更廣闊的可能性。

7. AI 治理與倫理

隨著人工智慧技術在我們生活中扮演越來越重要的角色，從智慧型手機的語音助理到自動駕駛汽車，從醫療診斷系統到金融風險評估，AI 已經深入到社會的各個層面。然而，技術的快速發展也帶來了前所未有的挑戰和風險。我們不能只關注 AI 技術能夠做什麼，更需要思考它應該如何被使用，以及如何確保這些強大的技術能夠以符合人類價值和社會利益的方式來運作。這就是為什麼 AI 治理與倫理成為當今最重要的議題之一。

7.1 AI 透明度

當我們談到 AI 透明度時，指的是 AI 決策過程的可解釋性和可理解性。想像一下，如果你去銀行申請貸款，銀行使用 AI 系統來決定是否批准你的申請，但是當你被拒絕時，銀行卻無法告訴你具體的原因，只說「AI 系統認為你不符合條件」。這種情況就是缺乏透明度的典型例子。

在現實世界中，許多 AI 系統都面臨著「黑箱」問題。這些系統雖然能夠產生準確的預測結果，但它們的決策過程往往非常複雜，連開發者本身都難以完全理解。深度學習神經網路就是一個典型的例子，它可能包含數百萬個參數和複雜的非線性關係，使得追蹤其決策邏輯變得極其困難。

然而，在許多重要的應用場景中，我們不能僅僅滿足於「AI 說對了」這樣的結果。特別是在醫療診斷、司法判決、金融信貸等攸關人們基本權益的領域，決策的透明度變得至關重要。醫生需要理解 AI 診斷系統的推理過程來驗證其合理性，法官需要了解風險評估系統的判斷依據，銀行客戶有權知道貸款被拒絕的具體原因。

因此，AI 透明度不僅是技術問題，更是建立社會信任的基礎。當人們能夠理解 AI 系統的決策邏輯時，他們更容易接受和信任這些系統的判斷，也更能夠在必要時對其進行挑戰和糾正。這也推動了可解釋 AI（Explainable AI，XAI）領域的發展，致力於開發能夠解釋自身決策過程的 AI 系統。

7.2 負責任 AI

建立 AI 透明度只是確保 AI 系統可靠性的第一步，更重要的是確保這些系統能夠以負責任的方式運作。負責任 AI 的概念涵蓋了多個重要層面，其中偏見緩解和責任歸屬是兩個核心要素。

偏見緩解是確保 AI 不對特定群體產生不公平結果的關鍵機制。AI 系統的偏見通常來自於訓練資料中隱含的社會偏見。例如，如果一個招聘 AI 系統是用過去的招聘紀錄來訓練的，而這些紀錄反映了歷史上存在的性別或種族歧視，那麼 AI 系統就可能學習並延續這些偏見，在未來的招聘決策中對某些群體產生系統性的不公平對待。

類似的問題也出現在其他領域。刑事司法系統中的風險評估工具可能對特定種族群體產生偏見，導致不公平的判決結果。醫療 AI 系統如果主要用某一族群的資料來訓練，可能在診斷其他族群的疾病時表現較差。金融 AI 系統可能因為歷史資料的限制而對女性或少數群體的信用評估產生偏見。

責任歸屬是負責任 AI 的另一個核心原則，明確指出 AI 系統行為的主要責任歸屬於開發者、部署者和管理者等相關人員。這個原則特別重要，因為它防止了「演算法責任稀釋」的問題。當 AI 系統出現錯誤或造成損害時，相關責任方不能簡單地將責任推給「AI 自己的判斷」，而必須承擔相應的法律和道德責任。

這種責任歸屬機制確保了人類在 AI 決策鏈中始終保持最終控制權和責任感。它要求 AI 系統的開發者在設計階段就要考慮潛在的風險和後果，部署者需要確保系統在適當的環境中使用，管理者則需要建立有效的監督和糾錯機制。

7.3 國際合作的重要性

隨著 AI 技術影響力的擴大，我們逐漸意識到 AI 治理不能僅靠單一國家或組織的努力，而需要全球範圍內的協調合作。AI 技術的無國界特性和其潛在的全球性影響，使得國際合作成為有效治理的必要條件。

國際合作在 AI 治理中的重要性首先體現在統一 AI 發展標準的需求上。目前，不同國家和地區對於 AI 系統的安全性、可靠性和倫理性要求存在差異，這不僅增加了跨國 AI 服務的複雜性，也可能導致「標準競次」的問題，即各國為了吸引 AI 產業而放寬標準。通過國際合作建立統一或相容的標準框架，可以確保 AI 技術在全球範圍內都能滿足基本的安全和倫理要求。

其次，國際合作有助於避免 AI 技術的濫用。某些 AI 技術如果被惡意使用，可能對全球安全和穩定造成威脅。例如，自主武器系統的開發、大規模監控技術的擴散，或者用於網路攻擊的 AI 工具等。這些威脅往往具有跨國性質，需要國際社會的共同努力來預防和應對。

最後，國際合作也能促進 AI 技術的轉移和共享，讓更多國家和地區能夠受益於 AI 發展的成果。這種合作不僅有助於縮小全球數位落差，也能夠集合世界各國的智慧和資源來解決人類面臨的共同挑戰，如氣候變化、疾病防治、貧困消除等全球性問題。

7.4 歐盟人工智慧法 (AI Act)

在國際 AI 治理的實踐中，歐盟人工智慧法（AI Act）是一個具有重大意義的里程碑。這部於 2021 年提出並在後續年份中不斷完善的法律，是全球首部全面性的 AI 監管法規，為世界各國的 AI 治理提供了重要的參考模式。

風險分級制度是 AI Act 的核心創新，它摒棄了「一刀切」的監管方式，而是根據 AI 應用可能造成的風險程度來制定相應的監管要求。這種分級方式既能確保高風險應用得到嚴格管控，又能避免過度監管阻礙技術創新，體現了監管的精準性和靈活性。

不可接受風險類別代表了歐盟認為應該完全禁止的 AI 應用。社會信用評分系統是其中最受關注的例子，特別是那些基於年齡、缺陷、種族等個人特徵來評定社會價值的系統。這類系統被認為根本性地違反了人類尊嚴和基本人權原則，無論技術多麼先進都不應該被允許。另一個被禁止的應用是公眾場所的遠程生物辨識系統，特別是用於執法目的的即時人臉識別系統。雖然這些技術在安全防護方面可能有其效用，但歐盟認為其對隱私權和行動自由的威脅過於嚴重，因此選擇了全面禁止的立場。

高風險類別涵蓋了那些可能對人身安全、健康或基本權利造成重大負面影響的 AI 應用。自動駕駛車輛是一個典型例子，因為系統故障可能直接威脅到駕駛員、乘客和其他道路使用者的生命安全。醫療診斷系統同樣被歸類為高風險應用，因為錯誤的診斷可能導致患者接受不當治療或錯過最佳治療時機。對於這些高風險應用，AI Act 要求進行嚴格的風險評估、合規性測試、人工監督，以及持續的監控和報告。

有限風險類別主要涉及那些需要向使用者披露其 AI 特性的系統。這類系統的風險相對較低，但仍需要確保使用者知道他們正在與 AI 互動，而不是與人類互動。例如，聊天機器人必須明確標示其 AI 身分，深度偽造內容必須清楚標註其人工生成的性質。

小或低風險類別包括了絕大多數的日常 AI 應用，如推薦系統、垃圾郵件過濾器、基本的客戶服務機器人等。這些應用的監管要求相對寬鬆，主要依賴行業自律和自願性的倫理準則來確保合規。

7.5 AI 安全風險

在理解了 AI 治理的制度框架後，我們需要深入探討 AI 技術可能帶來的具體安全風險。這些風險不僅是技術問題，更是可能影響整個社會穩定和公眾信任的重大挑戰。

Deepfake 與假訊息問題充分體現了 AI 技術的雙刃劍特性。AI 能夠生成具有真實外觀的虛假影像與語音，這項技術本身具有許多正當和創新的用途。在娛樂產業中，它可以用來製作電影特效，讓已故演員「復活」參與新作品的拍攝。在教育領域，它可以創造歷史人物的虛擬形象來進行互動式教學。在醫療復健中，它可以幫助失聲患者重建個人化的語音。

然而，同樣的技術也可能被惡意使用，對社會與輿論造成嚴重威脅。在政治領域，Deepfake 技術可能被用來製作政治人物的虛假言論，影響選舉結果或破壞國際關係。在社會層面，它可能被用來製作非經同意的不當內容，對個人名譽和心理健康造成嚴重傷害。在商業領域，它可能被用於詐騙和股市操縱，透過偽造企業高管的言論來影響股價。

更深層的威脅在於，當 Deepfake 技術變得普及且容易使用時，可能會導致整個社會對真實資訊的信任度下降。人們可能開始懷疑所有的影像和音頻內容，即使是真實的資訊也可能被質疑為「可能是假的」。這種現象被稱為「真相衰變」或「資訊末日」，它不僅會破壞公眾討論的基礎，也會削弱民主社會中事實驗證和理性辯論的可能性。

面對這些挑戰，我們需要從多個層面來建構防護機制。在技術層面，需要持續發展和改進 Deepfake 檢測技術，同時探索數位浮水印、區塊鏈驗證等內容真實性驗證方法。在法律層面，需要建立明確的法規來規範生成式 AI 技術的使用，並對惡意使用行為制定相應的懲罰措施。在教育層面，需要大幅提升公眾的媒體素養和批判思維能力，讓人們能夠更好地識別和應對假訊息。在社會層面，需要建立可信的資訊驗證機制和平台，讓公眾能夠便利地查證資訊的真實性。

小結

AI 治理與倫理是人工智慧發展過程中不可迴避的重要議題。從確保 AI 決策過程的透明度，到建立負責任的 AI 開發和應用框架；從推動國際社會的協調合作，到制定具體可行的法規制度；從識別和防範各種安全風險，到建構社會整體的應對能力，這些都是確保 AI 技術能夠真正造福人類社會的必要條件。

作為 AI 應用規劃師，我們不僅需要掌握技術層面的知識和技能，更需要具備深刻的倫理意識和社會責任感。在規劃和實施 AI 應用方案時，我們必須始終考慮技術對社會的潛在影響，確保我們的工作符合倫理標準和法律要求。只有這樣，我們才能真正發揮 AI 技術的正面價值，同時最大程度地避免其可能帶來的負面後果，為建構一個更加智慧、公平和安全的社會做出貢獻。

8 統計學習與分析方法：從基礎到實務的完整指南

在現今數位時代，資料分析已成為企業決策的重要依據。無論您是初學者還是想要深化理解的學習者，掌握統計學習與分析方法都是不可或缺的技能。本文將從最基礎的統計概念開始，循序漸進地帶您了解如何有效地處理和分析資料，並透過視覺化方法來呈現分析結果。

8.1 統計基礎概念：理解資料的核心特性

要進行有效的資料分析，我們首先必須了解資料的基本特性。就像醫生診斷病人需要先測量體溫、血壓等基本生理指標一樣，分析資料也需要先掌握幾個重要的統計指標。這些指標主要分為兩大類：集中趨勢衡量和變異程度指標。

集中趨勢衡量：找出資料的「中心點」

集中趨勢衡量就像是在一群人中找出「代表性人物」，它告訴我們資料大致集中在哪個數值附近。最常用的三種方法包括平均數（Mean）、中位數（Median）和眾數（Mode）。平均數是將所有數值加總後除以資料筆數，這是我們最熟悉的「平均值」概念。中位數則是將資料由小到大排列後，位於正中間的那個數值，它不會被極端值影響。眾數是資料中出現次數最多的數值，在了解消費者偏好或產品銷售狀況時特別有用。

需要特別注意的是，標準差（Standard Deviation）並不屬於集中趨勢衡量，而是屬於下一個要討論的變異程度指標。這個區別很重要，因為它們分別回答了不同的問題：集中趨勢告訴我們「資料集中在哪裡」，而變異程度則告訴我們「資料分散的程度如何」。

變異程度指標：評估資料的穩定性

了解了資料的中心位置後，接下來要關心的是資料的分散程度。標準差是最重要的變異程度指標，它衡量資料點與平均數之間的平均距離。在實際應用中，標準差具有重要的管理意義。例如在品質管理領域，當標準差顯著偏大時，這表示生產過程波動很大，產品品質不穩定。這就像是一個射箭手，如果每次射出的箭都落在靶心附近很小的範圍內，代表技術穩定；但如果箭散布在很大的範圍，就表示技術不夠穩定。

8.2 特徵選取技術：從眾多變數中找出關鍵因子

當我們面對一個包含數十個甚至數百個變數的資料集時，就像面對一個裝滿不同物品的倉庫，我們需要找出其中最有價值的物品。特徵選取技術就是幫助我們從眾多變數中挑選出最重要、最具預測能力的變數的方法。

常見的特徵選取方法

在眾多特徵選取方法中，皮爾森積差相關分析是最基礎也最常用的方法之一。它衡量兩個變數之間的線性相關程度，相關係數介於-1到1之間。當係數接近1時，表示兩個變數有很強的正相關；接近-1時表示強負相關；接近0則表示沒有線性關係。

除了相關分析外，主成分分析（PCA）是另一個重要的技術。PCA不僅能夠進行特徵選取，還能同時進行降維和特徵提取。它的工作原理是將原本複雜的高維度資料轉換成較低維度的資料，同時保留大部分的資訊內容。這就像是將一個立體的雕塑用平面攝影的方式呈現，雖然失去了一些立體感，但仍能保留主要的視覺特徵。

隨機森林（Random Forest）則提供了另一種特徵選取的思路。這個方法不是透過數學計算來評估變數重要性，而是透過機器學習演算法來提供特徵重要性評分。它會建立多個決策樹，然後統計每個變數在這些樹中的貢獻程度，從而判斷變數的重要性。

需要注意的非特徵選取技術

值得注意的是，並非所有的統計方法都是特徵選取技術。迴歸分析雖然是資料分析中的重要工具，但它主要是一種預測建模技術，而不是專門的特徵選取方法。迴歸分析的目的是建立變數之間的關係模型，用來預測未知的結果，這與特徵選取的目標有所不同。

8.3 視覺化方法：讓數據說話的藝術

統計分析的結果如果只是一堆數字，往往難以讓人快速理解。視覺化方法就像是資料的「翻譯員」，將複雜的數字轉換成直觀的圖形，讓人能夠一眼看出資料的特性和模式。

能夠判斷中心趨勢的視覺化方法

在眾多視覺化方法中，有些特別適合用來判斷資料的中心趨勢。散點圖是最直觀的方法之一，它將每個資料點在圖上標示出來，讓我們能夠直接看出資料的分布情況和集中位置。箱型圖（Box Plot）則是另一個強大的工具，它不僅能顯示中位數的位置，還能同時呈現資料的四分位數、極值和異常值，提供了資料分布的完整圖像。

直方圖則以長條圖的形式呈現資料的頻率分布，讓我們能夠清楚看出資料在不同數值區間的分布密度，進而判斷資料的中心趨勢和分布形狀。

無法判斷中心趨勢的視覺化方法

然而，並非所有的視覺化方法都適合用來判斷中心趨勢。雷達圖（Radar Chart）雖然在某些情況下很有用，但它主要是用來比較多個項目在不同維度上的表現，而不是用來判斷單一變數的中心趨勢。雷達圖更適合用來做多變數的比較分析，例如比較不同產品在價格、品質、服務等多個面向的表現。

8.4 資料品質與前處理的重要性：成功分析的基石

經過前面章節對統計方法和視覺化技術的介紹，我們可能會以為掌握這些技術就足以進行有效的資料分析。然而，實際上資料的品質和前處理工作往往決定了整個分析專案的成敗。正如建築物的品質取決於地基是否穩固，資料分析的成果也深深依賴於資料本身的品質。

CRISP-DM：業界標準的分析流程

在資料分析領域，CRISP-DM（Cross-Industry Standard Process for Data Mining）是一個跨產業通用的資料探勘標準處理流程。這個流程強調了資料前處理在整個分析過程中的重要地位。CRISP-DM將資料探勘專案分為六個階段，其中資料理解和資料準備就佔了整個專案時間的大部分，這說明了資料品質控制的重要性。

資料前處理的關鍵作用

高品質的資料能夠顯著提升後續模型訓練與預測效果，這是資料探勘成功與否的關鍵。想像一下，如果我們用髒污的鏡頭拍照，即使相機再高級，拍出來的照片品質也會大打折扣。同樣地，如果原始資料存在錯誤、缺失或不一致的問題，再先進的分析技術也無法產生可靠的結果。

因此，在進行任何複雜的統計分析或機器學習之前，我們必須先投入充分的時間和精力來清理和準備資料。這包括處理缺失值、識別和處理異常值、統一資料格式、以及確保資料的一致性和完整性。

屬性重要性的判斷依據

在資料前處理過程中，判斷哪些屬性重要、哪些可以捨棄，是一個需要謹慎考慮的問題。這個判斷通常依靠兩個重要來源：專家的經驗與直覺，以及機器學習演算法中的屬性重要性分析。專家憑藉對業務領域的深度了解，能夠識別出在理論上重要的變數；而機器學習演算法則能夠從資料中發現我們可能忽略的重要模式。

資料精簡的平衡考量

最後，我們需要認識到資料精簡是一個需要平衡的過程。透過特徵選取和資料簡化，我們可能會有些微的準確度損失，但同時能大幅提升分析效率。這就像是在地圖上選擇適當的比例尺：太詳細會讓地圖難以使用，太簡化又可能遺漏重要資訊。關鍵在於根據分析目標找到最適合的平衡點。

小結

統計學習與分析方法是一個既深且廣的領域，從基礎的統計概念到複雜的特徵選取技術，從直觀的視覺化呈現到嚴謹的資料前處理流程，每個環節都環環相扣，共同構築了現代資料科學的基礎架構。掌握這些方法不僅能幫助我們更好地理解資料，更能讓我們在面對複雜的商業問題時，有系統地找出有效的解決方案。記住，好的分析始於好的資料，而好的資料來自於細心的前處理工作。只有在紮實的基礎上，我們才能運用各種統計方法和視覺化技術，將隱藏在資料中的知識和洞察挖掘出來。

9 統計學習 AI 應用實例：從垃圾郵件過濾談起

當我們討論人工智慧（AI）的時候，很多人腦海中可能會浮現機器人或是會下圍棋的程式。但其實在我們的日常生活中，有一種叫做「統計學習 AI」的技術，早就默默地在幫我們處理各種問題了。這種技術的核心概念是透過大量的數據來學習規律，然後用這些學到的規律來預測或分類新的資料。

統計學習 AI 最大的特色是它會從過去的經驗中學習，就像人類會從過去的經驗中學到什麼是好的、什麼是壞的一樣。當我們給它看夠多的例子後，它就能自己找出這些例子之間的共同特徵，並且運用這些特徵來判斷新遇到的情況。這種學習方式讓統計學習 AI 在處理大量重複性工作時特別有效，尤其是需要分類或預測的任務。

代表應用：Spam Filter 垃圾郵件過濾系統

說到統計學習 AI 最成功的應用例子，垃圾郵件過濾系統（Spam Filter）絕對是其中的經典代表。每天我們的電子郵件信箱都會收到各式各樣的郵件，其中有些是我們真正需要的重要信件，但也有不少是廣告信、詐騙信或其他我們不想看到的垃圾郵件。如果要靠人工一封一封去檢查和分類，那將會是一個非常耗時且不切實際的工作。

垃圾郵件過濾系統的運作原理其實很簡單，但卻非常聰明。首先，系統會收集大量已經被標記為「垃圾郵件」和「正常郵件」的範例。接著，它會分析這些郵件的各種特徵，比如說郵件的標題通常包含哪些關鍵字、寄件者的網域名稱、郵件內容的用詞習慣、是否包含可疑的連結等等。透過統計分析，系統會學習到垃圾郵件和正常郵件在這些特徵上的差異。

經過訓練之後，當新的郵件送達時，過濾系統就會檢查這封郵件的各種特徵，然後根據之前學到的規律來計算這封郵件是垃圾郵件的機率。如果機率超過某個門檻，系統就會自動將這封郵件分類到垃圾郵件資料夾。這整個過程都是自動化的，不需要人工介入，而且隨著處理的郵件越來越多，系統的判斷準確度也會越來越高。

非統計學習 AI 的其他典型例子

為了讓大家更清楚統計學習 AI 的特色，我們來看看其他幾種不是使用統計學習方法的 AI 系統。這些系統雖然同樣很聰明，但它們的運作原理和學習方式都跟統計學習 AI 有很大的不同。

AlphaGo：強化學習的代表作

AlphaGo 是 Google DeepMind 開發的圍棋程式，它在 2016 年擊敗了世界圍棋冠軍李世乭，震驚了全世界。不過，AlphaGo 使用的技術叫做「強化學習」（Reinforcement Learning），這跟統計學習有著本質上的差異。強化學習的概念比較像是教小孩子學走路，系統會透過不斷的嘗試和錯誤來學習，每當它做出好的決定時就會得到獎勵，做出壞的決定時就會受到懲罰。

AlphaGo 透過跟自己對弈數百萬局來學習圍棋策略，它不是單純地從大量棋譜中找出統計規律，而是透過實際的對弈經驗來學習什麼樣的下法會帶來勝利。這種學習方式讓它能夠發現一些連人類職業棋手都沒想到的創新下法，展現出了超越傳統統計學習方法的能力。

MYCIN：符號邏輯專家系統的經典

MYCIN 是 1970 年代史丹佛大學開發的醫療診斷專家系統，它的目標是協助醫生診斷血液感染疾病並建議適當的抗生素治療。MYCIN 使用的技術叫做「符號邏輯」，這種方法是將專家的知識和經驗編寫成一系列的邏輯規則，然後透過邏輯推理來得出結論。

舉例來說，MYCIN 會包含像是「如果病人有發燒症狀，而且血液檢查顯示白血球數量異常，那麼可能是細菌感染」這樣的規則。當面對新的病例時，系統會根據病人的症狀和檢查結果，按照預先設定的邏輯規則一步步推理，最終得出診斷建議。這種方法跟統計學習完全不同，它不需要大量的訓練資料，而是直接將專家的知識轉化為電腦可以理解的邏輯規則。

Siri：多技術整合的現代語音助理

最後，我們來談談大家都很熟悉的 Siri。Siri 是蘋果公司開發的語音助理，它能夠理解我們說的話並且做出適當的回應。不過，Siri 並不是單純使用某一種 AI 技術，而是結合了多種不同的技術才能完成它的工作。

當我們對 Siri 說話時，它首先需要將我們的語音轉換成文字，這個過程使用的是語音識別技術。接著，它要理解我們說的話是什麼意思，這需要用到自然語言處理技術。然後，根據我們的要求，它可能需要搜尋資訊、設定提醒、播放音樂等等，這些功能又涉及到不同的技術模組。最後，它還要將回應轉換成語音說給我們聽，這又用到了語音合成技術。

雖然 Siri 的某些功能可能會用到統計學習的方法，比如說語音識別和自然語言理解，但它的整體架構是一個複雜的系統整合，包含了統計學習、規則推理、資料庫查詢等多種技術。這讓 Siri 跟單純的統計學習 AI 有很大的不同。

小結：統計學習 AI 的獨特價值

透過這些例子的比較，我們可以清楚地看出統計學習 AI 的特色和價值。它擅長處理需要從大量資料中找出規律的問題，像垃圾郵件過濾這樣的應用就是一個完美的例子。相對於需要專家知識的符號邏輯系統，或是需要透過試錯學習的強化學習系統，統計學習 AI 提供了一種相對簡單但非常有效的解決方案。

在今天的數位時代，我們每天都會產生大量的資料，而統計學習 AI 正是處理這些資料的最佳工具之一。從推薦系統到圖像識別，從信用卡詐騙檢測到股價預測，統計學習 AI 在各個領域都發揮著重要的作用，默默地讓我們的生活變得更加便利和安全。

10. 異常檢測

異常檢測是人工智慧領域中一個重要的技術，它的主要目標是要找出資料中那些不正常、不符合預期的部分。想像一下，如果我們每天都在觀察某個現象，大部分時候都會看到類似的模式，但偶爾會出現一些奇怪的情況，這些奇怪的情況就是我們要找的「異常」。異常檢測技術就像是一個敏銳的觀察者，能夠自動識別出這些不尋常的狀況。

在現實生活中，異常檢測的應用非常廣泛。比如說，銀行需要檢測信用卡是否被盜刷，網路安全公司要找出駭客的攻擊行為，製造業需要發現設備故障的徵兆，醫療機構要識別病人的異常生理指標等等。這些應用場景雖然不同，但都有一個共同點：我們需要從大量的正常資料中，快速且準確地找出那些異常的狀況。

為了更好地理解和處理不同性質的異常情況，研究人員將異常分成了幾個不同的類型。每種類型的異常都有其特殊的特徵和檢測方法，了解這些分類有助於我們選擇最適合的檢測技術。接下來，我們將詳細探討這四種主要的異常類型。

10.1 異常類型

點異常（Point Anomaly）

點異常是最直觀也是最常見的一種異常類型。當我們說某個資料點是異常的，通常指的就是點異常。這種異常的特徵是單一的資料點明顯偏離了正常的資料分布範圍或預期的參數值。

舉個簡單的例子，假設我們在監控一個網站的每日訪客數量，正常情況下每天大約有1000到1500個訪客。如果某一天突然出現了10000個訪客，這就是一個明顯的點異常。這個異常值可能代表著網站受到了異常的關注（比如被新聞報導），或者遭受了某種攻擊。

在技術實作上，檢測點異常通常會使用統計方法，比如計算每個資料點與平均值的距離，或者使用Z-score來判斷資料點是否超出了正常範圍。機器學習方法如One-Class SVM、Isolation Forest等也常被用來檢測這類異常。點異常的檢測相對簡單，但在處理高維度資料或複雜的資料分布時，仍然需要選擇適當的方法。

情境異常（Contextual Anomaly）

情境異常比點異常更加複雜，因為它需要考慮資料出現的背景或環境。同一個資料值在不同的情境下可能是正常的，也可能是異常的。這種異常通常與時間、地點或其他條件因素有關。

最典型的例子就是氣溫資料。在台灣，如果夏天7月份的氣溫是35度，這是完全正常的；但如果在冬天12月份出現35度的氣溫，這就是一個明顯的情境異常。同樣的溫度值，在不同的時間背景下有著完全不同的意義。

另一個例子是網路流量監控。在工作日的上午9點，網路流量很高是正常現象，因為大家都在上班使用網路；但如果在凌晨3點出現同樣高的流量，就可能是異常情況，需要進一步調查是否有異常活動發生。

檢測情境異常需要建立更複雜的模型，這些模型必須能夠理解和學習不同情境下的正常行為模式。時間序列分析、條件機率模型和基於規則的系統都是常用的技術手段。

集體異常（Collective Anomaly）

集體異常指的是多個資料點共同形成的異常模式。單獨看每個資料點可能都是正常的，但當這些點組合在一起時，就形成了一個異常的模式或行為。這種異常類型在序列資料或網路資料中特別常見。

舉例來說，在股票交易中，單筆小額交易都是正常的，但如果在短時間內出現大量的小額賣出交易，而且這些交易來自不同的帳戶，這個集體行為就可能是異常的，可能代表有人在進行大規模的股票操作。每筆交易本身沒有問題，但整體模式是可疑的。

在網路安全領域，一個駭客可能會進行多次小規模的嘗試登入，每次嘗試單獨看起來都很正常，但將這些嘗試組合起來看，就會發現這是一個暴力破解攻擊的模式。

檢測集體異常需要分析資料之間的關係和模式，常用的技術包括序列模式挖掘、圖形分析和基於距離的聚類方法。這類檢測通常比點異常檢測需要更多的計算資源和更複雜的算法。

系統性異常（Systematic Anomaly）

系統性異常是最複雜的一種異常類型，它表示整個系統層面出現了持續性的異常行為。這種異常不是偶發的，而是在系統中根深蒂固的問題，可能會影響系統的整體運作和表現。

在製造業中，如果一條生產線的產品品質逐漸下降，雖然每天的下降幅度很小，不容易被發現，但長期累積下來就會造成嚴重的品質問題。這種逐漸惡化的趨勢就是系統性異常的典型表現。

在金融系統中，如果某個交易系統的處理速度在幾個月內逐漸變慢，雖然每天的變化微小，但這種持續的性能下降可能預示著系統即將出現重大故障。這種異常需要長期的監控和分析才能發現。

檢測系統性異常需要長期的資料累積和趨勢分析。常用的技術包括時間序列分解、變點檢測（Change Point Detection）和長期趨勢分析。這類檢測對於預防性維護和系統優化具有重要意義。

小結

異常檢測中的四種主要異常類型各有其特點和應用場景。點異常處理的是單個明顯偏離的資料點，檢測相對直接；情境異常需要考慮資料的背景條件，檢測更加複雜；集體異常關注的是多個資料點形成的異常模式，需要分析資料間的關係；系統性異常則是最難檢測的，因為它涉及整個系統層面的持續性問題。

在實際應用中，一個完整的異常檢測系統往往需要能夠處理多種類型的異常。選擇適當的檢測方法和技術，需要根據具體的應用場景、資料特性和業務需求來決定。隨著資料量的增加和應用場景的複雜化，異常檢測技術也在不斷evolving，為各個領域提供更加精準和及時的異常識別能力。

簡報免費下載

The post iPAS AI 應用規劃師初級認證考試 人工智慧概論 重點整理&簡報下載 first appeared on 東東 GCP 教學 - GCP 實戰講師.

End-to-end training 是機器學習中的一種訓練方法，指的是讓整個神經網路或機器學習系統作為一個整體進行訓練，而不是分階段或分模塊訓練各個組件。

白話說明

機器學習的 end-to-end training（端到端訓練）是一種讓電腦從原始資料開始，一路學到最終答案的訓練方式。

想像你在教一個小孩認識動物照片，傳統方法可能是先教他認識眼睛、鼻子、耳朵等部位，再教他組合這些特徵來判斷是什麼動物。

但 end-to-end training 就像是直接給小孩看完整的動物照片，讓他自己學會從照片直接說出答案，中間所有的判斷過程都讓他自己摸索。

這種訓練方式之所以被稱為「端到端」，是因為整個學習過程涵蓋了從「輸入端」到「輸出端」的完整路徑。

以語音辨識為例，輸入端是聲音波形，輸出端是文字，end-to-end training 會讓 neural network（神經網路）自動學會如何直接從聲音轉換成文字，而不需要人為設定中間的音素辨識或語言模型等步驟。

傳統方法 vs End-to-end

傳統方法：將複雜系統拆分成多個子系統，分別訓練每個部分，再組合起來

End-to-end：從原始輸入直接到最終輸出，整個網路一起訓練優化

相較於傳統的 pipeline approach（管線方法），end-to-end training 有著顯著的優勢。傳統方法會把複雜問題拆解成多個小步驟，每個步驟分別訓練不同的 model（模型），然後串連起來。

但這種做法的問題是，前一步的錯誤會累積到後面的步驟，而且每個步驟的優化目標可能不一致。End-to-end training 則是用一個統一的 loss function（損失函數）來指導整個系統的學習，讓所有部分都朝向同一個目標協同合作。

優點

• 最優化效果更好：整個系統針對最終目標進行優化
• 減少累積誤差：避免各階段誤差累積
• 自動特徵學習：不需要人工設計中間特徵

缺點

• 需要大量數據：整個網路需要足夠數據才能有效訓練
• 計算資源需求高：同時訓練整個網路需要更多計算力
• 除錯困難：難以定位問題出在哪個部分

實際應用例子

• 語音識別：從音訊波形直接到文字輸出
• 機器翻譯：從源語言直接翻譯到目標語言
• 自動駕駛：從相機影像直接到駕駛決策

在實際應用上，end-to-end training 特別適合使用 deep learning（深度學習）技術。

因為深層的 neural network 有足夠的表達能力來學習複雜的映射關係，可以自動發現資料中的重要 features（特徵），而不需要人工設計 feature engineering（特徵工程）。

這種方法在 computer vision（電腦視覺）、natural language processing（自然語言處理）和 speech recognition（語音辨識）等領域都取得了突破性的成果，因為它讓機器能夠學到人類難以明確定義的複雜模式和規則。

這個概念在現代深度學習中非常重要，是許多突破性應用的基礎！

The post End-to-end Training （端到端訓練）是什麼？ first appeared on 東東 GCP 教學 - GCP 實戰講師.

想像你在訓練一個模型，模型裡有很多參數（權重）。

沒有正則化時：

• 模型可以自由調整這些參數到任何數值
• 可能會出現一些參數變得非常大，導致模型過度依賴某些特徵

L2正則化：

• 就像給模型加了一個「懲罰機制」
• 如果參數變得太大，就要付出「代價」
• 比如原本損失函數是 100，但因為參數太大，額外加上懲罰 20，變成 120
• 這樣模型就會傾向於使用較小的參數值
• 效果：讓模型變得更「謙虛」，不會過度依賴任何單一特徵

L1正則化：

• 類似L2，但懲罰方式不同
• 會讓一些不重要的參數直接變成0
• 效果：自動幫你選出最重要的特徵

Dropout

比喻：就像考試時隨機蒙住學生的眼睛

具體做法：

• 訓練時，隨機選擇一些神經元「休息」（輸出設為0）
• 比如有100個神經元，隨機讓30個休息，只用70個來學習
• 每次訓練都隨機選不同的神經元休息

為什麼有效：

• 防止模型過度依賴某幾個「明星神經元」
• 強迫每個神經元都要學會獨立工作
• 就像團隊合作，不能只靠一兩個人

早停法 (Early Stopping)

比喻：就像學習時要適時停止，避免「用功過頭」

具體做法：

訓練過程中：
第1輪：訓練誤差=10%，驗證誤差=12%
第2輪：訓練誤差=8%，驗證誤差=10%
第3輪：訓練誤差=6%，驗證誤差=9%
第4輪：訓練誤差=4%，驗證誤差=11% ← 驗證誤差開始上升！
第5輪：訓練誤差=2%，驗證誤差=13% ← 確認上升趨勢

在第4輪就停止訓練！

為什麼有效：

• 訓練誤差一直下降 = 模型在訓練數據上越來越好
• 驗證誤差開始上升 = 模型開始「背答案」，在新數據上變差
• 及時停止 = 避免過擬合

現實例子： 就像準備考試，練習題做得越來越好，但模擬考成績開始下降，這時就該停止死記硬背，避免只會做練習題而不會應用。

The post [AI 教學] 正則化 (Regularization) – 過度擬合 (Overfitting) 的解決方法 first appeared on 東東 GCP 教學 - GCP 實戰講師.

什麼是資策會生成式 AI 能力認證？

資策會生成式 AI 能力認證 是一個專門針對生成式人工智慧技術所設計的專業證照制度。這個認證的目標很明確，就是要幫助學習者建立完整的 AI 知識體系，從基礎理論到實際應用都涵蓋在內。

認證的核心價值與市場需求

我們可以把這個認證想像成一把開啟 AI 世界大門的鑰匙。在當今的就業市場中，擁有 AI 相關技能的人才供不應求，而生成式 AI 更是其中的熱門領域。根據市場調查顯示，具備生成式 AI 能力的專業人士，平均薪資比一般職位高出 30% 以上。

這個認證的價值不僅在於證明個人的技術能力，更重要的是它代表了一種思維模式的轉變。通過認證的學習過程，我們不只是學會使用工具，更學會如何用 AI 的角度思考問題、解決問題。這種思維能力在未來的工作環境中，將會變得越來越重要。

資策會生成式 AI 能力認證的 考試簡章。

認證適合哪些人報考？

這個認證的設計相當靈活，適合不同背景的專業人士。無論你是資訊科技從業人員、行銷企劃、內容創作者，還是企業管理階層，都能從這個認證中獲得價值。特別是那些希望在職涯中加入 AI 元素的工作者，這個認證更是不可或缺的敲門磚。

當然，對於完全沒有技術背景的人來說，可能需要更多的準備時間。但這並不意味著無法達成，因為認證的設計考慮到了不同程度學習者的需求，提供了循序漸進的學習路徑。

生成式 AI 認證考試範圍詳解 簡報下載

點此下載簡報

了解考試範圍是準備認證的第一步，就像我們在出發旅行前要先確認目的地一樣。資策會的生成式 AI 認證涵蓋了相當廣泛的知識領域，每個部分都有其重要性和相關性。

以下是自己從網路上收集，以及個人考過的經驗，並請 AI 協助整理之重點，如有雷同純屬巧合。

第一章：AI 基礎概念與生成式 AI 概覽

本章將帶領學員了解人工智慧的發展歷程，並深入探討生成式 AI 與傳統 AI 之間的異同，建立對 AI 領域的宏觀認知。

1.1 人工智慧發展歷程概覽

人工智慧的發展歷程如同學習一門學科的歷史背景，有助於我們理解現今技術的演進脈絡。從早期的專家系統 (Expert System) 到現今的大型語言模型 (Large Language Model)，每個階段都有其獨特的特徵與貢獻。本節將探討機器學習 (Machine Learning) 與深度學習 (Deep Learning) 如何在傳統規則式系統的基礎上發展起來。

1.2 生成式 AI 與傳統 AI 的比較

生成式 AI 與傳統 AI 雖然都依賴大量資料進行訓練與決策，但在訓練資料規模上，生成式 AI 可能大幾個量級。

    ◦ 共同特點 兩者都利用大量資料來進行訓練與決策。

    ◦ 主要差異

        ▪ 主要用途：傳統 AI 系統的用途通常是為了比人類更好的表現或更低的成本執行特定任務，例如偵測信用卡詐騙、判斷行車方向或未來駕駛車輛。而生成式 AI 的用途則更為廣泛，它能夠建立全新和原創的內容，這些內容與訓練資料相似，但並不存在於資料中。

        ▪ 成本：傳統 AI 的成本通常較低，而生成式 AI 的成本通常較高。

        ▪ 任務廣泛度：傳統 AI 的任務廣泛度較低，生成式 AI 則較高。

        ▪ 訓練方法：傳統 AI 通常採用監督式學習 (Supervised Learning)，而生成式 AI 則多採用非監督式學習 (Unsupervised Learning)。

1.3 多模態 AI 簡介

多模態 AI (Multimodal AI) 是一種能夠處理、解釋並結合多種資料形式的人工智慧。這些資料形式包括文字、圖像、音訊、視頻和數值資料。與傳統專注於單一資料類型的 AI 模型不同，多模態 AI 能夠跨越這些界限，同時處理多種輸入形式，並在不同資料類型之間建立聯繫和理解。其應用範例包含能夠看圖回答問題、生成與文字描述相符的圖像，或將影片內容轉換為文字描述的系統。

第二章：機器學習與深度學習核心原理

本章將深入探討生成式 AI 的技術基礎——機器學習與深度學習，從最基本的概念到複雜的神經網絡架構，幫助學員建立堅實的技術基礎。

2.1 機器學習基礎

機器學習是生成式 AI 的重要技術基礎，就像建築物的地基一樣。它主要分為三種基本原理：

    ◦ 監督式學習 (Supervised Learning)：透過標記數據進行訓練，模型學習如何從輸入映射到輸出。

    ◦ 非監督式學習 (Unsupervised Learning)：處理無標記數據，模型自主學習數據中的模式與結構。

    ◦ 強化學習 (Reinforcement Learning)：讓智能體透過與環境互動來學習如何做出決策，以最大化獎勵。

2.2 神經網絡概論

深度學習的核心是神經網絡 (Neural Network)，它被設計來模仿人腦的運作方式，透過層層處理來理解和生成資訊。

    ◦ 前饋網絡 (Feedforward Network)：信息從輸入層單向流向輸出層，是最基本的神經網絡類型。

2.3 訓練過程中的關鍵要素

    ◦ 損失函數 (Loss Function) 損失函數是訓練過程中的關鍵元素，它衡量模型預測與實際目標之間的差距。損失函數的數值是越小越好，表示模型的預測結果越接近真實目標。

    ◦ 反向傳播 (Backpropagation) 反向傳播是教電腦學習的一種方法，就像不斷糾正錯誤一樣。其過程包括：電腦先猜一個答案 (前向傳播)，然後計算猜錯了多少 (計算誤差)。接著，從最後一步往回檢查，看每一步錯在哪裡 (反向傳播誤差)，最後透過數學方法 (鏈式法則) 算出每個設定值需要如何調整，並微調這些設定值，讓下次猜得更準。反向傳播解決了如何有效率地調整複雜神經網絡的難題，在此方法發明之前，深度學習幾乎是不可能實現的。TensorFlow 和 PyTorch 等工具已將此複雜過程自動化。

2.4 序列數據處理的神經網絡模型

    ◦ 循環神經網絡 (RNN) RNN 是一種特殊的神經網絡結構，專門設計用來處理序列數據。與傳統前饋神經網絡不同，RNN 具有「記憶」能力，可以記住之前的信息並用於影響當前的輸出。

        ▪ 特點與應用：RNN 包含循環連接，允許信息持續流動，形成短期「記憶」。它特別適合處理有先後順序的時間序列數據，如文本、語音、視頻，並在序列的不同時間步驟中使用相同的權重參數。應用範圍廣泛，包括自然語言處理、語音識別、時間序列預測和音樂生成等。

        ▪ 梯度消失與梯度爆炸問題：傳統 RNN 存在梯度消失 (Gradient Vanishing) 和梯度爆炸 (Gradient Exploding) 問題，導致難以捕捉長期依賴關係。

            • 梯度消失是指在訓練過程中，梯度值變得異常小，接近於零，導致參數幾乎不更新，模型學習停滯，無法學習長距離依賴關係。主要原因包括激活函數的選擇 (如 Sigmoid/Tanh 導數接近零)、反向傳播的連乘效應和網路層數過多。

            • 梯度爆炸是指梯度值變得異常大，導致參數更新時出現非常大的變化，使模型無法收斂，甚至出現數值溢出。

        ▪ 解決方案：為了解決這些問題，發展出了多種改進版本，如 LSTM 和 GRU。其他方法包括使用 ReLU 等更好的激活函數、殘差連接、批量標準化、梯度裁剪和權重正則化等。

    ◦ 長短期記憶網絡 (LSTM) LSTM 由 Hochreiter 和 Schmidhuber 在 1997 年提出，能夠有效解決傳統 RNN 的梯度消失問題，捕捉數據中的長期依賴關係。

        ▪ 原理與門控機制：LSTM 的核心是細胞狀態 (cell state)，這是一個長期記憶通道。它包含三種門控機制：

            • 輸入門 (input gate)：控制新信息進入細胞狀態的程度。

            • 遺忘門 (forget gate)：決定哪些舊信息應該被丟棄。

            • 輸出門 (output gate)：控制細胞狀態對當前輸出的影響程度。

        ▪ 優勢與應用：LSTM 能夠處理長序列數據，廣泛應用於機器翻譯、語音識別和情感分析等需要理解長期上下文的任務。

    ◦ 門控循環單元 (GRU) GRU 由 Cho 等人在 2014 年提出，是 LSTM 的簡化版本。

        ▪ 原理與門控機制：GRU 直接使用隱藏狀態作為記憶，結構更簡單。它包含兩種門控機制：

            • 更新門 (update gate)：決定保留多少過去的信息和加入多少新信息。

            • 重置門 (reset gate)：決定如何將新輸入與過去的記憶結合。

        ▪ 優勢與應用：GRU 參數更少，訓練更快，在某些任務上性能與 LSTM 相當，特別是在數據集較小時可能表現更好。應用於文本分類、情感分析和音樂生成等。

        ▪ LSTM 與 GRU 比較：LSTM 更複雜，參數更多；GRU 結構更簡單，計算效率更高。在大多數任務上表現相似，但 LSTM 在需要記住非常長期依賴關係的任務上可能更有優勢。通常建議先嘗試 GRU，若效果不理想再嘗試 LSTM。

    ◦ 轉換器模型 (Transformer) Transformer 是一種革命性的 AI 設計方法，讓 AI 能夠同時「看到」一段文字的全部內容，理解文字間的關聯。它是目前音樂生成領域最先進的模型之一。

        ▪ 超越 RNN 的優勢：Transformer 相比 RNN 具有多項優勢，使其成為更強大和有彈性的序列表示方法。

            • 平行處理能力：Transformer 可以並行處理整個序列，而 RNN 必須按順序處理，這在訓練時間上具有巨大優勢。這也是 ChatGPT 能夠快速且適切回應的關鍵特性。

            • 長距離依賴性：通過自注意力機制 (self-attention)，Transformer 能更有效地捕捉序列中的長距離依賴關係，不會像 RNN 那樣遇到梯度消失問題。

            • 雙向理解：Transformer 可以同時考慮序列前後的上下文信息，而標準 RNN 只能考慮之前的信息。

            • 可擴展性：Transformer 架構易於擴展到更大的模型和數據集，促成了 BERT、GPT、Claude 等大型語言模型的發展。

            • 注意力分配：其注意力機制使模型可以動態地決定關注輸入序列中的哪些部分，比 RNN 的固定記憶機制更靈活.

第三章：生成式 AI 核心模型與技術

本章將深入介紹生成式 AI 中最為關鍵的幾種模型，包括生成對抗網絡、擴散模型、變分自動編碼器和卷積神經網絡，以及自回歸模型，理解它們的工作原理和應用。

3.1 生成式對抗網絡 (GAN)

GAN 由兩個相互競爭的神經網絡組成。

    ◦ 生成器 (Generator)：負責「創造」假的數據，像一個偽造者，從隨機噪聲開始，學習產生逼真的內容 (如圖像、音樂或文字)。

    ◦ 鑑別器 (Discriminator)：負責「鑑定」數據的真偽，像一個鑑定專家，區分真實數據和生成器製造的假數據。

    ◦ 工作原理與應用：兩個網絡之間形成「博弈」關係，生成器嘗試欺騙鑑別器，鑑別器努力提高鑑別能力。這種對抗過程讓生成器產生的內容越來越逼真，廣泛應用於高質量圖像、音頻、視頻的生成，以及藝術創作、數據增強、圖像修復等。GAN 尤其適合視訊和影像相關應用。兩個競爭的神經網路通常以 CNN 架構為基礎，但也可能是 RNN 或 Transformer 的變體。

3.2 擴散模型 (Diffusion Models)

擴散模型 是一類基於逐步添加和移除噪聲的生成模型。

    ◦ 工作原理：

        ▪ 前向過程 (擴散過程)：將隨機噪聲逐步添加到原始數據中，直到數據變成完全的噪聲。

        ▪ 反向過程 (去噪過程)：學習如何從噪聲中逐步恢復原始數據，這是模型實際生成內容的過程。

    ◦ 主要特點：生成質量高 (能產生非常逼真的圖像)、訓練穩定 (比 GAN 更容易訓練)、多樣性好 (能生成多樣化結果)、可控性強 (通過條件引導控制生成過程)。

    ◦ 應用範例：著名的模型應用包括 DALL-E、Stable Diffusion 和 Midjourney。這種模型不僅應用於圖像生成，也逐漸擴展到音頻、視頻和 3D 模型生成等領域。

    ◦ Stable Diffusion 的實現：Stable Diffusion 工具在增加/消除雜訊步驟中使用兩種 CNN 變體，並分別使用 VAE 編碼器和解碼器執行第一步和最後一步。

3.3 變分自動編碼器 (VAE)

VAE (Variational Autoencoder) 是一種特殊的深度學習模型，它能夠學習並創造出新的內容，就像電腦的「想像力工具」。

    ◦ 編碼器 (Encoder)：學習影像的重要特徵並壓縮資訊，以表示法儲存。它將輸入數據轉換成「潛在空間」中的一組分布參數 (均值 μ 和標準差 σ)。

    ◦ 解碼器 (Decoder)：從壓縮資訊中嘗試重新建立原始資訊。它從潛在空間採樣，然後生成原始數據空間的新樣本。

    ◦ 工作原理：類似於學習畫貓，編碼器學習貓的特徵，大腦形成「貓」的概念，解碼器根據概念創作新的貓。

    ◦ 損失函數組成：VAE 的損失函數通過兩種方式評估和改進：

        ▪ 重建損失：比較原始輸入與重建輸出的差異。

        ▪ KL 散度：確保潛在空間的分布有規律，使創造過程更穩定。

    ◦ 實際應用：圖像生成 (創造新的動物、人臉或藝術作品)、數據去噪、異常檢測和分子設計。

    ◦ 與影像生成整合：VAE 在神經網絡架構和訓練過程中運用創新，通常會整合到影像生成應用程式中。編碼器和解碼器可以分別使用不同的基礎架構，例如 RNN、CNN 或 Transformer。

3.4 卷積神經網絡 (CNN)

CNN 的核心在於它能夠自動學習圖像的特徵。

    ◦ 基本概念與核心元素：CNN 透過以下關鍵元素實現特徵學習：

        ▪ 卷積層 (Convolutional Layer)：使用「濾波器」或「卷積核」在圖像上掃描，尋找特定的圖像特徵 (如邊緣、紋理)。

        ▪ 池化層 (Pooling Layer)：幫助減少資料維度，同時保留重要資訊，常見有最大池化和平均池化。

        ▪ 激活函數 (Activation Function)：如 ReLU，引入非線性特性，讓網絡學習更複雜的模式。

        ▪ 全連接層 (Fully Connected Layer)：通常位於網絡末端，將學到的特徵映射到最終分類結果。

    ◦ 運作方式比喻：CNN 就像一位藝術鑑賞家，用小框框掃描畫作，注意特定元素，簡化記憶最突出特徵，最終結合所有觀察做出判斷。

    ◦ 優勢與應用：CNN 具有參數共享 (同一個特徵偵測器可用於整個圖像)、平移不變性 (無論物體位置如何，都能辨識) 和層次化特徵學習 (從簡單到抽象特徵) 的優勢。它已成為電腦視覺任務的基石，包括圖像分類、物體檢測、人臉辨識等多種應用。

3.5 自回歸模型 (Autoregressive Models)

自回歸模型 的核心思想是將序列數據中的每個元素視為依賴於之前元素的條件概率。

    ◦ 核心思想與應用領域：例如，在語言模型中，一個詞的出現概率取決於它前面出現的詞。應用於自然語言處理 (如 GPT 系列通過預測下一個詞生成文本)、時間序列分析、音頻處理和圖像生成。

    ◦ 與其他模型的區別：自回歸模型與自編碼器 (Autoencoder) 不同，後者專注於學習數據的壓縮表示，而自回歸模型則專注於序列預測和生成。

    ◦ 優缺點：

        ▪ 優點：在處理序列數據時非常有效；能夠捕捉序列中的長期依賴關係；生成的結果通常連貫且自然。

        ▪ 缺點：生成過程是順序的，不能並行化，可能較慢；可能存在錯誤累積問題；處理很長序列時可能會遺忘早期信息 (但注意力機制已改善)。

第四章：自然語言處理與大型語言模型應用

本章將聚焦於生成式 AI 在自然語言處理領域的應用，特別是大型語言模型 (LLM) 的崛起，以及不同主流模型的特性。

4.1 自然語言處理技術基礎

自然語言處理 (NLP) 是生成式 AI 中最重要的應用領域之一，它讓電腦能夠理解和生成人類的語言。核心概念包括詞向量 (Word Embedding) 和注意力機制 (Attention Mechanism)。

4.2 大型語言模型 (LLM) 擴展應用

近年來的趨勢是將大型語言模型的架構應用於其他領域，例如音樂生成。Google 的 MusicLM 和 OpenAI 的 Jukebox 都能夠根據文字描述生成音樂，例如「一首輕快的爵士鋼琴曲」。

4.3 主流大型語言模型解析

    ◦ GPT 系列 GPT (Generative Pre-trained Transformer) 系列是基於 Transformer 架構發展而來的自回歸語言模型。ChatGPT 便是最知名的生成式 AI 工具之一。

    ◦ BERT 模型 BERT 模型的核心特點是雙向語境理解能力。它通過「遮蔽語言模型」(Masked Language Model) 和「下一句預測」(Next Sentence Prediction) 兩個預訓練任務來學習文本表示。

        ▪ 與 GPT 系列的差異：BERT 可以同時考慮文本的左右上下文，而早期的 GPT 模型主要是單向的 (只從左到右)。在預訓練方式上，BERT 使用遮蔽語言模型，GPT 系列則使用自回歸語言模型。最新的 GPT-4 等模型規模遠大於 BERT。

        ▪ 與 LLaMA 系列的差異：LLaMA 是 Meta 發布的開源大型語言模型，BERT 也是開源的。LLaMA 更專注於高效的解碼器架構，而 BERT 是純編碼器模型。LLaMA 模型規模更大，生成能力更強。

    ◦ Claude 與其他對話式 AI Claude 是另一個重要的對話式 AI 平台。它在邏輯推理和文本分析方面表現出色，而 ChatGPT 則在創意寫作和程式開發上有不錯的表現。了解不同 AI 工具的特性和適用場景，有助於選擇最合適的工具。

——————————————————————————–

第五章：生成式 AI 實務應用

本章將探討生成式 AI 在不同領域的實際應用，包括音樂生成、影像生成和對話式 AI 工具的實作技巧，尤其是提示工程的重要性。

• 5.1 音樂生成 AI

音樂生成 AI 系統會學習大量現有音樂作品的模式 (旋律、和聲、節奏、結構)，學習音樂的「語法」和「規則」。訓練完成後，AI 可以從頭創作新音樂、根據提供的開頭繼續創作，或根據特定風格或情感提示生成相應音樂。

    ◦ 常用技術：

        ▪ 神經網絡模型：循環神經網絡 (RNN) 擅長處理序列資料，長短期記憶網絡 (LSTM) 能記住長時間的音樂模式，轉換器模型 (Transformer) 能夠同時關注音樂的多個部分。

        ▪ 生成式對抗網絡 (GAN)：包含生成音樂的網絡和評判真實度的網絡，通過競爭生成接近真實的音樂。

        ▪ 大型語言模型 (LLM) 擴展應用：如 Google 的 MusicLM 和 OpenAI 的 Jukebox，能根據文字描述生成音樂。

    ◦ 應用場景：電影和遊戲配樂創作、個人化音樂創作、音樂教育和學習工具，以及為內容創作者提供免版權音樂。

5.2 影像生成應用

電腦視覺讓機器「看懂」圖片和影像，而影像生成讓機器創造新的視覺內容，就像給機器裝上眼睛和畫筆。

    ◦ Midjourney 與 DALL-E 影像生成 影像生成工具為創意產業帶來革命性變化。Midjourney 和 DALL-E 是主流工具，它們的核心技術包括生成對抗網絡 (GAN) 和擴散模型 (Diffusion Model)。

        ▪ 有效影像描述技巧：需要學會撰寫有效的影像描述，包括風格指定、構圖要求、色彩配置等元素。例如，創造「未來城市」圖片可加上「cyberpunk style」、「neon lighting」、「aerial view」等關鍵詞。

        ▪ DALL-E 的文字整合優勢：DALL-E 在與文字的整合上有獨特的優勢。

5.3 ChatGPT 與 GPT 模型實作

要真正發揮 ChatGPT 的潛力，需要學會有效的提示工程技巧。

    ◦ 提示工程 (Prompt Engineering) 這是「如何與 AI 溝通」的技巧，能更有效地指導 AI 完成任務。

        ▪ 說明與簡單理解：就像給 AI 下指令的藝術，用對方式問問題，AI 就能給出更好的答案。

        ▪ 好與壞的提示範例：不好的提示如「黑洞是什麼？」，好的提示如「請用五歲小孩能懂的方式，用 3-5 個簡單句子解釋黑洞」。

        ▪ 應用場景：設計更自然的 AI 對話系統、創意寫作與內容生成、讓 AI 生成更準確的程式碼。

    ◦ API 應用 除了基本的對話功能，也需要了解 GPT 模型的 API 應用，包括如何透過程式呼叫 OpenAI 服務，以及如何設定參數控制輸出結果。

第六章：企業導入與倫理考量

本章將探討企業在導入生成式 AI 時的策略規劃、風險評估、資料治理與隱私保護，並著重於生成式 AI 所面臨的關鍵倫理議題。

6.1 AI 轉型規劃與風險評估

企業導入 AI 技術需要周詳的規劃和風險評估。

    ◦ 規劃重點：評估企業的 AI 成熟度、識別適合 AI 應用的業務場景，以及制定階段性的實施計劃。

    ◦ 風險評估面向：涉及技術風險、營運風險和法規風險等多個層面。例如，使用生成式 AI 可能面臨的著作權問題、資料洩露風險，以及對既有工作流程的衝擊等。

6.2 資料治理與隱私保護

資料是 AI 的燃料，但如何安全、合規地使用資料是企業必須面對的挑戰。

    ◦ 資料的重要性：需要專業知識和謹慎態度來處理珍貴的資料。

    ◦ 治理與保護措施：包括資料品質管理、資料安全控制，以及個人資料保護法 (PDPA) 等相關法規要求。特別是在使用雲端 AI 服務時，確保企業資料不被濫用是關鍵議題。

6.3 生成式 AI 倫理議題與挑戰

在 AI 應用中，有多項倫理考量需要被重視，以下列出各情境中未被明確涵蓋的倫理議題，這代表在設計或使用 AI 系統時，這些方面可能需要進一步的關注和改進：

    ◦ 偏見與公平性 (Bias & Fairness)：情境中需確保系統不會對特定群體產生不公平結果。例如，招聘系統避免因訓練數據偏見導致的不公平篩選，或智能家居 AI 如何確保對所有用戶公平。新聞摘要 AI 設計時也需避免政治偏見。

    ◦ 責任歸屬 (Responsibility)：當 AI 出錯或提供錯誤建議導致損失時，誰該負責？ 例如，智能客服 AI 出錯的責任歸屬 或金融諮詢 AI 錯誤建議導致損失的責任歸屬。

    ◦ 穩健與安全防護 (Robustness & Safety)：系統應有內建機制防止生成不適當內容，並保護使用者安全。例如，內容創作 AI 防止生成暴力內容、教育 AI 助手確保學生安全，以及智能家居 AI 系統的高安全性加密。

    ◦ 透明度 (Transparency)：系統應清楚表明自身是 AI 生成，並說明 AI 如何評估資料或提供建議的依據。例如，招聘公司告知應徵者 AI 輔助篩選，內容創作 AI 標明內容由 AI 生成，或智能客服 AI 清楚表明自己是 AI。

    ◦ 隱私保護 (Privacy Protection)：應明確說明如何保護應徵者的個人資料隱私，或用戶資料如何被使用和加密處理。例如，醫療診斷助手使用去識別化數據，智能家居 AI 系統採用高安全性加密保護用戶數據。

    ◦ 知識產權尊重 (Intellectual Property)：系統應避免完全複製受版權保護的作品，並處理可能的知識產權問題。例如，內容創作 AI 引用參考來源，影像 AI 創作者選擇作品是否用於訓練。

    ◦ 準確性與可靠性 (Accuracy & Reliability)：系統應定期更新以納入最新研究，並確保其建議存在風險的說明。例如，醫療診斷助手 AI 定期更新醫學研究，教育 AI 助手定期更新課程資料以維持準確性。

    ◦ 人類自主性 (Human Autonomy)：系統應強調其建議僅為初步建議，最終決定應由人類做出。例如，醫療診斷助手告知這只是初步建議，最終決定由醫生做出。影像 AI 未明確提到人類在決策過程中的最終自主權。

    ◦ 文化多樣性 (Cultural Diversity)：系統設計應考慮多種語言和表達方式，以服務不同文化背景的顧客，並確保不同背景學生獲得合適內容。例如，智能客服 AI 服務不同文化背景顧客。

    ◦ 長期影響考量 (Long-term Impact)：需要考量 AI 對社會、創意產業等可能產生的長期影響。例如，內容創作 AI 對社會和創意產業的長期影響 或城市規劃 AI 對社區的影響。

點此下載簡報

The post 資策會生成式 AI 能力認證考試是什麼？最完整的考試重點整理&簡報下載 first appeared on 東東 GCP 教學 - GCP 實戰講師.

上周聽 7-11 資安主管林寬宜的演講，摘要重點如下：

在「產業環境與挑戰」的更大背景脈絡下，零售業正積極擁抱數位轉型，

作為應對快速市場變化與嚴峻經營挑戰的核心策略。

整體而言，零售業的營運正從傳統模式轉向「高度依賴科技」與「數據驅動」的數位化管理，以提升效率、降低成本並優化消費者體驗。

一、 零售業營運面臨的關鍵痛點與挑戰

零售業被描述為一個「變化蠻快的一個產業」，市場「永遠都有在重分配」，這使得業者面臨巨大的成長壓力。

在此背景下，經營痛點凸顯了數位轉型的迫切性：

• 嚴重缺工問題：
  
  一般勞動者傾向轉往外送平台等工作，因為接單方便、薪水相近，而便利商店店員需學習結帳、收包裹、煮咖啡等多項複雜技能，導致人力難找且流失。

• 營運成本攀升：
  
  法規變動（如一例一休、年假增加）導致營運成本顯著上升（例如，多五天年假可能增加4千萬到5千萬台幣的成本）。
  
  此外，為提供多元服務（如現煮咖啡、熱壓吐司），設備投入和電費持續增加，擠壓獲利空間。

• 高競爭密度與業態模糊化：
  
  台灣便利商店密度極高，約 13,000 家店，平均約 2,000 人養一家店。
  
  同時，不同零售業態（如量販店、超市、便利商店）及業種（如藥妝店兼賣零食、國外店鋪賣模型）之間的界線日趨模糊，競爭超乎想像。

• 複雜且高難度的門市營運：
  
  便利商店店格小、商品數有限，但每日配送趟次多，對物流效率要求極高。
  
  店鋪多位於市中心，租金高、人力難尋，且店員需處理多樣化且複雜的作業。因此，門市作業效率的提升成為獲利關鍵。

二、 數位轉型的策略與應用

為應對上述痛點，零售業者積極導入數位工具與 AI 技術，將營運模式從勞力密集轉向科技驅動。

提升門市作業效率為核心目標：

• 透過與Google等科技公司合作，利用其工具加速數位化轉型，目標是「提高效率，不然就是學」。
  
• 數位化工程的思考點在於針對重複性高、作業複雜、易出錯且導入成本高的環節進行優化，關注導入速度與易回復性。

Google AI 工具的應用：

• 底層基礎設施：
  
  推薦使用 TPU (Tensor Processing Unit) 作為AI相關應用的基礎設施，因為Google自身大部分的模型都在TPU上運行，使其模型相對便宜，且在GPU無法達到的某些特定領域，TPU的效果會更好。
  
  中間層 – GCP (Google Cloud Platform)：
  使用者可以自行編寫程式碼，將每個模型與自己寫的agent溝通，形成統一的框架。
  
  上層應用 – Vertex AI：
  這是一個多模態的AI開發平台，不只支援專業程式碼 (procode) 開發，也支援其他方式，並能提供更多高階有趣的應用。

具體的數位轉型實例：

• 。Google Maps/My Business 應用於營運管理：
  
  ．透過與 Google 的系統串接，掌握並更新旗下 7200 家店鋪的精準資訊，取代過去群眾協作可能帶有情緒性評價的模式。
  
  ．將Google評論應用於營運決策，例如，7-ELEVEN 會查看 Google 評論（特別是三星以下評價）以改進門市動線（如 ATM 與廁所動線衝突），並要求區顧問進行改善。
  
  ．利用店鋪經緯度資訊進行展店分析，例如根據同業高績效店鋪的位置來尋找潛在的新店點。
  
  ．數據分析商品績效，如發現霜淇淋佔比下降，則能迅速調整設備或經營策略。
  
  ．在Google地圖上投放廣告內容，進行店鋪的行銷推廣.

• No-code 開發工具 (AppSheet)：
  
  。大幅縮短內部系統開發流程，從過去的半年至一年縮短至數小時，極大化提升開發效率。
  
  。已廣泛應用於公司內部 17 個部門，開發出超過 30 個工具。
  
  。案例：過去人工巡店拍照回傳統計門市狀況需耗時數天，現在透過 No-code 開發的 APP 可將流程縮短至一個小時。
  
  。應用於關係企業，並將過去實體印刷的行銷雙週刊改為電子書，節省大量印刷成本.

• AI 應用於門市自動化與智慧化：
  
  。自動化結帳：如在無人店或部分門市導入影像辨識技術，顧客拿取商品到櫃檯即可自動辨識金額並顯示QR Code，簡化結帳流程，實現「省力化」。
  
  。影像辨識：應用於防盜 (偵測異常行為)、貨架管理（即時辨識商品擺放是否正確，取代人工盤點）及人流分析。
  
  。AI 搜尋：運用向量演算法提升搜尋精準度與關聯性，即使輸入錯字也能找到相關產品，提高電商平台的搜尋效率。
  
  。AI 文案客服：與外部廠商合作，利用AI訓練文本來解決重複性高的顧客問題（例如iOPEN Mall 80%的賣家問題可透過此解決），達到自動化應答、快速找到答案的效果，同時降低人力成本。
  
  。RPA (Robotic Process Automation)：考慮運用RPA工具串接各個系統端點，進一步自動化流程。

善用外部資源與合作夥伴

• 。不迷信「公司規模大就要自己開發所有東西」的迷思，強調尋找「好的夥伴 (Partner)」如同「陪練員」的重要性。
  
  。透過外部廠商加速內部數位化進程，例如與專精文本訓練的廠商合作開發AI客服，不僅成本更低、速度更快，且能快速上線。
  
  。Google作為重要的合作夥伴，不僅提供技術支援，其後端客服團隊也能在系統問題發生時提供即時協助.

組織變革與人才培育

• 。在公司內部推動組織變革，例如在數位流程中，每個部門培養 1 至 2 名「種子」人員學習 No-code 開發，提升內部數位能力，並在遇到問題時能獲得外部夥伴的快速協助。

總結

總結來說，零售業的營運正經歷一場由內外部壓力驅動的全面數位轉型。

透過引入AI、No-code開發、雲端基礎設施以及策略性地運用外部資源，

旨在將傳統勞力密集的營運模式，轉變為高效、智能且數據驅動的體系，

從而降低成本、提升效率，並在激烈的市場競爭中維持獲利空間。

The post 零售業怎麼應用 Google 的 AI？7-11 的挑戰和數位轉型策略 first appeared on 東東 GCP 教學 - GCP 實戰講師.

Vertex AI 是 GCP 推出的 AI 開發平台，目的是為了簡化機器學習（ML）模型的開發、訓練、部署和管理。它包含了 AutoML 和自訂模型的建立和訓練，讓你能夠更輕鬆地運用 AI 技術，無論是沒有 AI 經驗的新手，還是 AI 的專家，都能利用這個平台加速 AI 產品開發。

記得 2022 年底 ChatGPT 爆紅的時候嗎？它讓大家第一次看到 AI 不只是冷冰冰的機器，而是能夠真正理解人類語言、寫文章、寫程式碼，甚至畫圖的強大工具。這種被稱為「生成式 AI」的技術，基本上就像是一個超級助手，你問什麼它就回答什麼。

不過科技永遠在進步，現在的 AI 已經不滿足於只是回答問題了。新一代的 AI，也就是所謂的 AI Agent（人工智慧代理）是一種能夠自行感知相關訊息、做出決定並執行各項行動的智慧系統。它可以根據資料分析和機器學習來適應不同情境，還能夠不斷改善自身的行為。

Vertex AI 三大功能簡介

說到企業應用，GCP 推出的 Vertex AI 平台就很適合企業用戶來開發。它就像是一個完整的 AI 工具箱，裡面有三個主要部分：

Agent Builder

這是專門用來建立 AI 助手的工具。企業可以用它來設計 AI 助手的各種功能，比如處理客服問題、管理內部系統等。

Model Builder

這個工具可以幫助企業打造自己的 AI 模型。它把複雜的機器學習過程變得簡單，就像是用積木搭建東西一樣容易。

Model Garden（模型花園）

你可以把它想像成一個大型的 AI 模型商店，裡面有 Google 自己的模型，也有其他公司的模型，企業可以直接挑選合適的來用。

三者之間的關係

• Agent Builder 可以用少數 Model Garden 的模型，但仍以本身的對話和搜尋功能為主。
• Model Builder 專注在機器學習，少數情況下可以微調給 Agent Builder 使用。
• Model Garden 提供預先訓練好的模型，給 Model Builder 微調，或是 Agent Builder 開發成應用程式。
• 三者之間部分互相整合，但仍然以獨立功能為主。

二、Agent Builder：低程式碼 (Low Code) 的 AI Agent 開發工具

Agent Builder 簡介

Agent Builder 是一個專門用於建立 AI Agent 的平台。它不僅整合了大型語言模型與 GCP 的各項服務，還支持廣泛的工具整合和客製化。通過直觀的對話流程設計和完善的測試功能，企業可以快速建立符合需求的 AI Agent。同時，平台還特別注重安全性和可控性，確保 AI 應用符合企業的管理規範。Agent Builder 主要包含兩個部分：

Vertex AI Agents（AI 助理）

這是一個能讓你的應用程式理解人類語言的系統。比如說你可以用它來做聊天機器人、語音助理和任何需要和使用者對話的功能，重點是它能聽懂使用者說什麼，並給出合適的回應。它的功能包含：

• 自然語言理解 – 能夠理解用戶的意圖和需求
• 多模態理解 – 可處理文字、圖片、聲音等多種形式的輸入
• 工具整合 – 可連接外部服務和 API
• 知識庫 – 能夠訪問和利用企業的數據資源
• 對話管理 – 維持上下文和管理對話流程
• 多語言支持 – 支持多種語言的互動

Vertex AI Search

這是一個進階的搜尋系統，讓你能在網站或 APP 中加入強大的搜尋功能。用途包含：

搜尋功能：

• 一般搜尋：跟 Google 搜尋一樣，但它是搜尋你自己的網站。
• 影音搜尋：特別適合用來搜尋影片和音樂這類的內容。
• 醫療資料搜尋：專門用來搜尋醫療紀錄的功能。

推薦功能：

• 影音推薦：根據使用者在看什麼來推薦相關影片。
• 一般推薦：推薦任何種類的內容（目前還在測試階段）。

Vertex AI Search 特別好用的地方

1. 很聰明：它能理解人類的說話方式，不會只找關鍵字。
2. 容易使用：自動修正錯字、建議搜尋和理解同義詞。
3. 有 AI 對話功能：可以用對話的方式來搜尋資料。
4. 會自己學習：會從使用者的使用習慣中學習，變得更準確。
5. 適合醫療用途：不需要特殊的搜尋語法，就能找到醫療資料。

簡單說，它就是讓你的網站或 APP 變得更聰明的工具包，能幫助使用者更容易找到他們要的東西，也能推薦他們可能感興趣的內容。

Vertex AI 操作示範

這個示範來自 Integrate Search in Applications using Vertex AI Agent Builder，我們要建立一個搜尋引擎，讓使用者可以搜尋 Google 的財報。 

假設你已經有一個 GCP 的專案，我們先來釘選經常使用的服務。從主選單選擇「查看所有產品」，在人工智慧的區塊找到 Vertex AI 和 Agent Builder，點擊圖釘的圖示：

接下來我們來啟用需要的 API，我們在 API 和服務的首頁點擊啟用「API 和服務」：

接著在搜尋欄位輸入 Discovery Engine API：

在搜尋結果當中點擊 Discovery Engine API：

我們目前看到 Discovery Engine API 尚未啟用，所以直接點擊「啟用」：

接下來你應該會看到像這樣的畫面，代表 Discovery Engine API 啟用完成：

我們再去 Agent Builder，進去後一樣會碰到啟用 API 的確認視窗，我們就點擊「CONTINUE AND ACTIVATE THE API」：

啟用完成畫面會自動跳轉到 Agent Builder 的主頁，我們點擊「建立應用程式」：

接下來我們會看到有五個搜尋的功能，我們現在點擊「文件搜尋」底下的「建立」按鈕：

我們將「Alphabet investor PDFs」輸入到應用程式和公司名稱的欄位，然後按「繼續」：

接下來點擊「建立資料儲存庫」，讓 Agent 可以進來這裡搜尋資料：

接著我們選取資料來源為 Cloud Storage，點擊下方的「Select」：

在資料類型的選項當中，我們選擇「非結構化文件」，同步處理頻率選擇「單次」，在「選擇要匯入的資料夾和檔案」，我們選擇「資料夾」然後將字串「cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs 」貼到欄位當中再按下「繼續」：

我們可以同時來看一下這個公開的 Cloud Storage 資料夾的檔案內容，可以確認是 Google 歷年來的財報資料：

接下來在資料儲存庫名稱的欄位，我們輸入「Unstructured data」，然後再按下建立：

在這個畫面要注意，我們建立的應用程式是有連結到我們建立的資料儲存庫，如果確認沒問題，就再次按下「建立」：

接下來我們等待幾分鐘讓 Agent Builder 去匯入資料，同時我們可以點擊「Activity」確認資料匯入情形：

我們可以在這裡確認資料匯入的過程是否有任何錯誤，也能看到已匯入的資料數量：

我們再點擊文件的「分頁」，可以看到它所找到的每一份資料的原始位置：

大約 18 分鐘左右，我們看到資料已經全部匯入完成，再點擊「Agent Builder」回到主頁：

在主頁我們看到已經建立好的應用程式，直接點擊「Alphabet Investor PDFs」：

我們看到兩個部分，下方是正常的文件搜尋結果，而上方是由生式式 AI 根據文件內容自行產生的文字，它直接告訴你相關的營收數字：

我們將搜尋的關鍵字改成「Google Product List」，會看到它直接生成 Google 完整的產品清單，非常方便，當然你還是要再次核對喔！

值得一提的是，我們可以在「設定」視窗裡任意去切換模型，來觀察不同的模型所生成的結果，非常方便：

在「整合」的頁面，我們可以設定要串接的外部服務，為了展示方便，我們在授權類型選擇「公開存取權」，然後再下方輸入要整合的網域，並且按下「儲存」：

畫面再往下捲動，我們看到它已經幫你準備好網頁的 HTML 原始碼，我們可以直接複製起來，貼到想要呈現搜尋框的頁面中：

這個畫面就是我在自己架設的網站上所呈現的結果：

到這裡我們成功建立了一個方便的 Agent，以後不用真的找到文件，它能夠直接告訴你答案，不覺得很方便嗎？

三、Model Builder：簡化 AI 模型的開發與訓練

Model Builder（模型建造器），這個工具可以幫助企業打造自己的 AI 模型。它把複雜的機器學習過程變得簡單，就像是用積木搭建東西一樣容易。目前有兩種建立 Model 的方法：

Custom Training 客製化的訓練

Vertex AI 提供代管的模型訓練服務，如果你是一位 AI 專家，了解各種 AI 的演算法，可以自己撰寫程式來開發 AI 模型。你就可以在 GCP 上面使用現成的模型開發環境，而不需要自己建立各種基礎建設。 

AutoML

如果你不是 AI 專家怎麼辦？AutoML 讓你不用自己撰寫演算法，就可以開發和訓練 AI 模型。 畢竟對大多數的人來說，並非人人都是 AI 專家。你可能是胸腔內科醫生、電子商務的行銷人員或正在判斷建築物類型，AI 的技術對你來說是一個門檻，但是不用擔心，你只要把手上的資料準備好，就可以讓 Google 來幫你建立和訓練 AI 模型。

假設你是一個行銷人員，你的手上有網站使用者的資料和過去的消費紀錄，你想要提高使用者購買產品的機率，但是你不知道該怎麼做。

你手上已經有一張表格包含特徵（使用者的屬性和行為）和標籤 （購買金額），你可以直接讓 AutoML 幫你建立和訓練模型。

這個模型可以幫你分類使用者，是屬於哪一種類型，例如瀏覽者、時尚前衛、最後一刻購物者或是折扣愛好者。

當模型訓練完成，部署上線之後，每當新的使用者進來，你的模型可以很快判斷，他是哪一種類型的使用者，你就可以立即提供適合他的促銷方案，進而帶動產品的銷售。

簡單的操作示範

這個示範來自 Identify Damaged Car Parts with Vertex AutoML Vision，我們要建立一個照片辨認的模型，這個模型要從一堆損壞的汽車照片當中，判斷它到底是哪一種零件。首先我們來啟用 Cloud Shell：

首先設定兩個環境變數，之後執行相關指令會用到：

export PROJECT_ID=[ 你的專案 ID ]

export BUCKET=[ 你之後要建立的 Cloud Storage Bucket ID ]

再執行建立 Bucket 的指令：

gsutil mb -p $PROJECT_ID -c standard -l us-central1 gs://$[BUCKET]

接下來我們把 Google 公開 Bucket 的資料，也就是汽車的照片，複製到我們剛建好的 Bucket：

gsutil -m cp -r gs://car_damage_lab_images/* gs://${BUCKET}

光是有照片本身還不夠，因為機器學習的過程中，你需要給 AutoML 一張表格，告訴它哪些照片（特徵）是屬於哪一種汽車零件（標籤），我們執行指令去取得表格： 

gsutil cp gs://car_damage_lab_metadata/data.csv .

我們可以看到如下的表格，可以知道前面 18 張都是屬於保險桿的照片，我們之後要傳給 AutoML，就像在教小嬰兒看動物照片那樣。 

另外這些照片的儲存位置，我們也要改成在我們專案環境裡面的位置，如下圖紅色框選處：

我們可以執行這個指令，來批次修改這個檔案的內容： 

sed -i -e “s/car_damage_lab_images/${BUCKET}/g” ./data.csv

執行完就可以看到每個照片的檔案路徑都一口氣改好了：

目前這個表格檔案還是放在 Cloud Shell，我們現在要把它複製到跟照片同樣的 Bucket 位置：

 gsutil cp ./data.csv gs://${BUCKET}

接下來我們進入 Vetex Ai，並且啟用建議的 API：

我們剛剛準備好的資料是放在 Cloud Storage ，而 Vertex AI 還不知道，我們必須要在這邊再建立一次資料集，讓它知道這個資料是要拿來訓練模型用的：

我們輸入資料集的名稱，然後在資料類型選擇「圖片」，分類方式選擇「單一標籤分類」，接著按下「建立」：

然後我們在「選取匯入方法」當中，選擇從「Cloud Storage 選取匯入檔案」，接著打開選取物件的視窗，找到我們剛剛準備好的表格，再按下「選取」：

我們在「匯入檔案路徑」欄位會看到綠色勾勾，表示它有讀取到檔案，我們再按「繼續」。畫面會跳轉到正在執行匯入流程的頁面，然後等待資料匯入完成：

當資料匯入完成，我們也會收到一封通知信，告訴你匯入作業成功，我們可以點擊上面提供的超連結，直接進入資料集的畫面：

你會看到它匯入了 100 張照片，這些照片都已經設定好標籤。我們可以在這個畫面調整標籤，如果確認資料都沒問題，可以按下右上角的「訓練新模型」：

在訓練方法的部分我們選擇 AutoML，然後按下繼續：

在這一頁，我們選擇「訓練新的模型」，加上模型的名稱，再按繼續：

在訓練選項的部分，選擇「Higher accuracy (new) 」，再按繼續：

在預算的部分要注意，最短的訓練時常為 8 小時，即使你的資料不多，它還是會以 8 小時計費，而每個小時的費用是 3.465 美金， 所以你訓練一次至少要花費 27.72 美金，如果不想花到這麼高的費用可以去 GCP 提供的 Lab 環境 操作。接著我們按下「開始訓練」：

大概 1 小時後，我們又收到了模型訓練完成的通知信，可以直接點擊它所提供的連結：

接下來我們會以 Vertex AI Lab 的擷圖來展示後續成果，因為它有提供 Cloud Run 做為 Model 上線運作的 AI 服務端點，可以直接呼叫。

我們就來將幾張測試圖片傳送給這個 Model 來分辨，我們再次打開 Cloud Shell，並且設定環境變數：

AUTOML_PROXY=https://automl-proxy-646123337508.us-centrall.run.app

INPUT DATA FILE=payload.json

上圖的環境變數中，我們有設定 INPUT_DATA_FILE=payload.json，它會包含我們要給模型判斷的圖片檔，但目前這個檔案還不存在。所以我們要建立 payload.json 檔案，把我們要測試的圖片藉由這個檔案送去給 Model 判斷。

你可能覺得奇怪，文字檔怎麼放圖？
我們不是直接上傳圖片，而是透過指令來傳送檔案，透過 Base64 Image Encoder 把圖片轉成 Base64 格式，只要把圖片拖曳進入網頁，它就產生 Base64 的字串，你看起來是亂碼，不要懷疑，它就是圖片的 Base64 格式， 把它複製起來：

接著打開 Cloud Shell 的檔案編輯器，將字串貼到 payload.json 檔案的 content 欄位，你會覺得怪怪的，但不要懷疑這是正確的：

現在我們可以開始測試了，執行下方指令，把圖片傳到 Cloud Run 去判斷： 

curl -X POST -H “Content-Type: application/json” $AUTOML_PROXY/v1 -d “@${INPUT_DATA_FILE}”

在它傳回的資料當中，Conficences 95% 指的是信心水準，代表我們有 95% 的信心相信它判斷的準確度，Display Name 寫的是「bumper」保險桿，可以知道他的判斷是正確的：

我們用相同指令再傳送另一張圖片給它，得到 96% 的信心水準，它的判斷是「hood」引擎蓋，也是正確的：

到這裡代表我們已經成功建立一個 AI 模型囉！過程中主要在準備資料，後執行一些指令，還沒到寫程式的程度喔！

四、Model Garden：預先訓練好的模型庫，快速導入 AI 解決方案

你可以把它想像成一個大型的 AI 模型商店，裡面有 Google 自己的模型，也有其他公司的模型，企業可以直接挑選合適的來用。

Model Garden 提供三大模型類別如下表：

我們在 Model Garden 的主畫面上可以看到，它有各種模型的列表，左邊有依照資料格式和工作場景的模型篩選器，和上方可以看到最新消息，例如最近討論熱烈的 DeepSeek 模型，已經可以在這裡找到：

我們選擇 Gemini 1.5 Pro 來看看：

我們選擇在「Vertex AI studio 開啟」： 

我們可以再提示區輸入提示詞，接著模型會再回應區產生回答，同時我們可以再設定區調整參數，看看它的回答是否會不一樣：

在設定區的部分，我們可以隨時切換成不同的模型而不需要另外打開其他的視窗。而在不同 Region，可以使用的模型可能會不一樣。

在溫度參數的部分，數值越大，代表回答內容的隨機程度越高，你也可以限制每次回應文字的上限。同時你也可以啟用「基準建立」，確保它的回應是有可靠的參考來源。最後你也可以決定讓它輸出純文字或者 JSON 格式的內容。

我們找到一張範例圖片拖曳進去，並且直接輸入中文的提示詞，請它來描述這張圖片，你會看到在回應區，它提供了詳細的描述資訊：

接下來我請它將照片中的時間和城巿用表格來呈現，它也如預期地整理成完整的表格：

我們回到主畫面再搜尋「OWL-ViT」，然後點擊該模型：

這次我們點擊開啟筆記本 （Notebook），這個功能就是「Colab Enterprise」，它是一個幫你設定好的 AI 開發環境，你可以在這裡調整這個模型：

打開之後你會看到一些程式碼，你可以輸入或調整它的程式碼，同時可以查查看它的執行結果：

在這裡要特別注意，當我們打開 Notebook 時，它會直接建立一台虛擬機器，規格是 e2-standard-4 和 100 GB 的 SSD Disk，當你沒有在使用記得要關起來喔！

我們回到 Model Garden 主畫面，再來看另外一個模型 Imagen 3，它是由 Google 所開發的圖片生成模型。

我們直接在下方輸入要想要生層的圖片描述，同時右邊也有各種參數可以選擇，包含生成的模型、照片的比例，以及產生圖片的數量，當我們按下「傳送」之後，就看到它生成了四隻可愛的倉鼠照片。

五、為什麼要選擇 Vertex AI？

不用學習 AI 演算法，可立即開發

我們不需要去學習各種 AI 的演算法或程式， Vertex AI 已經準備好簡易的開發環境和直觀的操作介面，你可以在上面輕易的建立、訓練和調整你的模型。 

一站式平台，整合 GCP 各項服務

在開發 AI 模型之前我們必須要收集整和理相關資料， 可以使用 Pub/Sub、Dataflow、Dataproc 等等，當你把資料儲存到 BigQuery 或 Cloud Storage 後，可以直接匯入 Vertex AI 。當模型訓練完成我們還可以直接部署上線，所以整個 AI 模型的生命週期，通通都在 GCP 上完成。不用切換到其他陌生的環境，提升了方便性與安全性。 

整合 Google 強大 AI 技術，提升模型效能

Google 在 AI 領域的領先地位無庸置疑，而 Vertex AI 直接提供 Google 自家 AI 研究的技術，例如：

• AutoML：無需寫程式碼即可訓練高效能機器學習模型，適合行銷人員與資料科學家。
• Gemini：內建 Google 最新的大型語言模型（LLM），適用於自然語言處理（NLP）、對話式 AI、生成式 AI 應用。
• TPU 支援：可使用 Google 自家研發的 Tensor Processing Unit（TPU），提供比 GPU 更快的 AI 訓練與推論效能。

內建 MLOps 工作流程

MLOps（Machine Learning Operations）是現代 AI 開發的重要關鍵，Vertex AI 內建多種 MLOps 工具，幫助企業加速 AI 的開發流程：

• Vertex AI Pipelines：自動化 AI 工作流程，確保模型訓練、部署與更新流程標準化。
• Feature Store：集中管理與重複使用特徵工程的資料，提升模型訓練的效率。
• Model Monitoring：監控模型在生產環境的表現，主動偵測數據漂移（Data Drift；因趨勢改變造成模型不準），確保 AI 訓練工作精準運行。

六、結論與未來發展

(一) 最新功能 Vertex AI RAG Engine 發布

Vertex AI RAG Engine 能夠整合你公司的內部資料，針對公司內部的問題來回答。一般的 AI（也就是大型語言模型 LLM）只能搜尋網路上公開的資訊，不知道你們公司內部的事，而它能夠尋找公司資料，給你精準的回答（例如去年的公司第四季營收），而不是直接回答「我不知道」。

企業可以將此功能用在客服系統，讓它更智慧的回答客戶問題，也可以讓員工可以直接詢問問題，而不用東翻西找查資料。在知識管理方面，可以集中公司的知識，讓大家學習更快，做好知識的傳承。由於 RAG Engine 才剛發佈，未來此功能必定會持續優化，給企業帶來更多價值。 

(二) 持續提供更多大型語言模型

目前（截稿前）已經支援超過 160 種模型，除了 Google 自己的 Gemini 和 Imagen 持續改版優化中，還有提供第三方的 Claude 模型，也有開源的 Llama 和 Gemma，甚至最新的 DeepSeek 模型，都以極快的速度收進 Model Garden。未來必定持續擴充，你一定可以找到最適合的模型。

(三) 更強的客製化能力

Google 計劃進一步提升 Vertex AI 的客製化選項，讓企業能更靈活地調整 AI 模型，以滿足不同產業的需求。例如，在 AutoML 和 MLOps 方面提供更多可以調整的參數，讓開發人員能夠更深入調整模型和部署環境。

(四) AI 民主化持續進行

自從當年 AutoML 的推出，讓大家開始能夠在不懂任何 AI 知識的情況下，開發自己的模型，現在生成式 AI 時代的到來，Google 必定會往低程式碼或無程式碼的方向持續發展，讓 AI 民主化更為徹底，達到人人都可以不只使用 AI，還能開發 AI。

結論

整個 AI 領域正在朝著更實用的方向發展。從最早的單純回答問題，到現在能夠處理特定專業領域的問題，甚至能夠主動完成任務。隨著技術越來越成熟，我們看到越來越多好用的工具出現，讓企業能更容易地運用 AI 來改善工作效率。

這些發展讓我們看到 AI 的未來充滿可能性。隨著 AI 變得越來越聰明，相信它們能為各行各業帶來更多便利，讓我們的工作和生活變得更輕鬆。

七、常見問題解答（FAQ）

Vertex AI 與 AI Platform 有什麼不同？

Vertex AI 是 AI Platform 的進化版本，提供了更完整的功能，包括 AutoML 和客製化的訓練，都整合在統一的操作界面上，以及更強大的模型管理和 MLOps 功能。

Vertex AI 適合初學者使用嗎？

適合，像 Agent Builder 和 Model Builder 只需要提供資料和一點點操作就可以建立應用程式和模型；Model Garden 只要選定想要的模型，就可以調整參數來測試 AI 回答的內容。

Vertex AI 適合的產業或應用

Agent Builder 適合任何需要對話機器人，或是搜尋功能的應用；Model Builder 產生的模型可以用來分類、辨識和預測等；Model Garden 則是可以用來生成任何你想要的文字或圖片；不管你在哪一個產業，只要你的工作流程牽涉到上述的應用，都可以使用 Vertex AI。

如何開始使用 Vertex AI？

只要你有一個正式的 GCP 專案環境，都可以立即開始使用 Vertex AI。 不過你也要啟用相關的 API，並且準備好訓練的資料。如果是要客製化模型，也需要熟悉相關的開發工具和 SDK 喔！

Model Garden 的模型可以客製化嗎？

Model Garden 中的許多模型都支援微調，這表示你可以使用自己的資料集來進一步訓練模型，以提高其在特定任務上的效能。你可以將多個模型組合在一起，用來開發出更複雜的系統。當然你還可以通過撰寫程式碼來修改模型的行為。

但是要注意，並非所有模型都支援所有客製化選項，而且客製化模型可能需要一定的技術知識和經驗。

Vertex AI 支援哪些 AI 框架？

目前提供 PyTorch、TensorFlow、scikit-learn 和 XGBoost，在 GCP 的官方文件都有相關的使用教學。

Vertex AI 的是如何計費的？

• Vertex AI 的 Agent，文字聊天 1,000 次輸入為 12 美金，但測試階段不計費。 Vertex AI Search 則是 1000 次 2 美元。
• AutoML，每小時訓練費為 3.465 美元，一次至少 8 小時。
• 自訂模型，主要是依照訓練主機的時數計費，例如台灣 （asis-east1）的 n1-standard-4 是每小時 0.253 美元。
• 以上只是針對常見應用舉例，各項功能可能和價格可能會不定期更新，建議以官方文件為準，使用前多確認相關費用，以免不小心誤開機器或 GPU，造成高額的帳單費用！

如何確保 Vertex AI 上的模型安全性？

因為 Vertex AI 整合在 GCP 上，你可以直接透過 IAM 權限控管、私有的存取服務（Private Access）、VPC Service Control 和加密的儲存等機制來保護模型和資料。

Vertex AI 的模型部署選項有哪些？

提供多種部署選項如線上預測（當做 API 即時呼叫）、批次預測（特定時間開機器來運作）、邊緣部署（部署到手機、IoT 設備或生產線）等。可以選擇虛擬機器或容器化的方式部署。

本文同時刊登於：

《【東東老師 X 思想科技】Vertex AI 核心功能 Agent Builder 和 Model Builder》

《【東東老師 X 思想科技】Vertex AI 核心功能 Model Garden 介紹》

The post Vertex AI 核心功能 Agent Builder、Model Builder 和 Model Garden 介紹 first appeared on 東東 GCP 教學 - GCP 實戰講師.

這裡說的自己專屬的環境，不包含現成的任何模型例如 Gemini 喔！

快速回答，有三個方法：Compute Engine、Vertex AI 和 Marketplace

而且有六種環境

1.Compute Engine VM 使用 GPU 自己裝開發工具

2.Compute Engine VM 使用 GPU 搭配 Google 配好的環境

3.Vertex AI 的舊版 VM

4.Vertex AI 使用者自己管理的 Notebook 環境

5.Vertex AI Google 代為管理的 Notebook 環境

6. GCP Marketplace 上各家廠商提供的 GPU 環境

先假設我們要用的 GPU 是 Nvidia Tesla V100

我們先一口氣釘選所有會用到的服務：

假設您已經在 GCP 的首頁

https://console.cloud.google.com/

點擊左上角三條線 => 解決方案 => 所有產品

點擊運算，釘選 Compute Engine

點擊人工智慧，釘選 Vertex AI

點擊右上角的 Marketplace

你應該會看到像這樣：

二、使用 Compute Engine 建立 AI 開發環境

進入 Compute Engine，建立執行個體，就是開 VM 的意思。

有一點要注意，就是 GPU 的型號很多種，不是每個 Region、每個 Zone 都有一樣的 GPU 可以用，請查詢下面這份文件：

https://cloud.google.com/compute/docs/gpus/gpu-regions-zones

像是 V100 GPU，在台灣只有 asia-east1-c 有而已。

選好就會看到 V100

然後選你想要的主機規格

這是說目前你開的是「純」的 Debian 作業系統，沒有裝任何 AI 開發工具的環境，如果你可以自己裝，就不用理它。

如果你想要它先幫你弄好 AI 環境，點擊切換映象檔。

點了之後，選擇你想要的環境。

你可以再展開看到更多環境。

下面有硬碟給你選，通常要選大一點，IOPS 才會高。

如果你主機是要從外部去連，像是從你的辦公室、你家或手機，建議設定防火牆只允許你的 IP 位址去連。

我建議的設定方法是，你就把主機名稱設定在網路標記。

然後去防火牆的地方，設定允許連線的 Port，來源只允許你的 IP，這樣才能避免駭客入侵。詳細操作可以參考這份文件。

其他選項看你的需求，如果沒有就按下建立，環境就開好了。

三、使用 Vertex AI 建立 AI 開發環境

主選單 => Vertex AI => Workbench

第一種環境，建立預先安裝好 AI 環境的 VM

這裡有三種環境，第一種是其實建立 Compute Engine 的 VM，不過也會幫你安裝一些工具。

新增執行個體

選擇 Region 和 Zone，和 AI 開發環境，要注意它都以新版為主，太舊的都找不到。

選規格

其他選項，沒問題按下建立即可。

第二種環境，建立使用者管理的 Notebook

啟用 Notebook API

點擊使用者自行管理的筆記本

跟上述類似，選好地區、環境、GPU，而 GPU 的型號要去進階選項才能挑選。

網路標記

機器類型，改成你要的 GPU，沒問題就可以按下建立。

方法三、建立代管的筆記本

下圖看到的錯誤是，代管的 Notebook，也不是每一個 Region 都有，像台灣 asia-east1，你要先看這份文件，確認是否支援：

https://cloud.google.com/vertex-ai/docs/general/locations#managed-notebooks-locations

然後再查詢下面這份文件，看看有沒有你要的 GPU：

https://cloud.google.com/compute/docs/gpus/gpu-regions-zones

因為台灣沒有代管的 Notebook，我先挑香港。

結果機器類型只有 T4

我再回去查文件，只有 europe-west4 才有 V100.

設定Region和網路標記再往下

它有個貼心的功能，怕你主機開著沒在用會燒錢，你可以設定主機閒置多久之後自動關機。

沒問題再按下建立即可。

三、從 Marketplace 建立第三方提供的 AI 開發環境

舉例來說，我要用 GPU 的話，可以直接在搜尋框輸入 Nvidia。

它秀出各種環境給你參考

你可以先按定價看看它可能會收多少錢，有沒有額外授權費等等。

目前選的看起來只有主機和GPU的費用。

因為你是在 GCP 上建立第三方的環境，要接受一些條款。

啟用一些 API，因為它可能會跟 GCP 的環境互動。

然後它報錯了，說配額不夠

點擊配額頁面會開新視窗，增加配額

回到原頁面

下方還說要使用 Service Account

我們就隨便取名一個 Service Account

選到你要用的 GPU

網路部分看你有沒有要特別設定的，沒有按下部署即可。

以上就是在三個地方建立 AI 開發環境的 6 種方法，給大家參考～

The post [GCP AI 教學] 如何在 GCP 建立 AI 包含 GPU 的環境？ first appeared on 東東 GCP 教學 - GCP 實戰講師.