博客

AWS 機器學習工程師認證 MLA-C02（Beta 期間代碼為 ME1-C02）全面替代舊版 MLA-C01。新版考試從過往「傳統特徵工程與單機訓練」為主的架構，正式演進為「傳統 MLOps + 生成式 AI 與大型語言模型維運（LLMOps）」的混合型考綱。

本指南彙整了 MLA-C02 的考試規格變動、四大領域權重核心考點、實戰實驗清單與避坑心法。

一、 考試規格與關鍵變遷速查

二、 四大核心領域拆解與高頻考點

  ┌────────────────────────────────────────────────────────────────────────┐
  │                    MLA-C02 四大核心領域架構與權重配比                  │
  └────────────────────────────────────────────────────────────────────────┘
    │ Domain 1 (28%): Data Preparation for ML and AI (資料準備與向量化)
    │ Domain 2 (24%): ML Model and Foundation Model (FM) Development (模型與基礎模型開發)
    │ Domain 3 (24%): Deployment and Orchestration of ML and AI Workflows (部署與編排)
    │ Domain 4 (24%): Operating, Monitoring, and Securing ML and AI Solutions (維運與安全)

Domain 1: Data Preparation for ML and AI (28%)

• 文字與多模態分塊（Chunking Strategies）：
  • Fixed-size chunking：需理解 Token 大小與重疊比例（Overlap %）對語意完整性的影響。
  • Hierarchical chunking（層級分塊）：用小區塊（Child）做向量精準檢索，傳回大區塊（Parent）作為 Prompt 上下文。
  • Semantic chunking（語意分塊）：基於語意自然斷句切分。
• 向量資料庫選型與整合：
  • Amazon OpenSearch Serverless (AOSS)：專用 Vector Search Collection 的網路策略（Network Policy）、加密（KMS）與資料存取策略（Data Access Policy）。
  • Amazon Aurora PostgreSQL 搭配 pgvector：適用於既有關係型資料庫系統的向量混合查詢。
• 傳統資料清洗工具：
  • AWS Glue DataBrew、SageMaker Data Wrangler 處理缺失值（Imputation）、異常值偵測與類別編碼（One-Hot vs. Ordinal）。

Domain 2: ML Model and Foundation Model (FM) Development (24%)

• 基礎模型選型與調用：
  • 掌握 Amazon Titan、Anthropic Claude、Meta Llama 3 等模型的優勢場景與 Context Window 限制。
  • 掌握 Prompt Engineering（Zero-shot, Few-shot, Chain-of-Thought）與 模型微調（PEFT / LoRA） 的決策邊界（成本、資料量與延遲權衡）。
• 模型評估矩陣（新增重點）：
  • 傳統 ML：Confusion Matrix、Precision、Recall、F1-Score、AUC-ROC、RMSE。
  • LLM 評估：ROUGE（摘要評估）、BLEU（翻譯評估）、BERTScore（語意相似度）、Perplexity（困惑度），以及結合 Amazon A2I 的人工審查（Human-in-the-loop）。

Domain 3: Deployment and Orchestration of ML and AI Workflows (24%)

• SageMaker 推論端點選型：
  • Real-time Inference：低延遲、持續流量、支援自動擴展與多模型端點（MME）。
  • Serverless Inference：間歇性或難以預測的流量、冷啟動容忍、成本最低。
  • Asynchronous Inference：Payload 較大（最高 1 GB）、處理時間長（最多 1 小時）、支援排隊（S3 傳輸）與縮容至零。
  • Batch Transform：離線大量資料批次推論。
• RAG 與 Agent 自動化管線：
  • Bedrock Knowledge Bases 增量同步：S3 文件更新後，必須透過 EventBridge 觸發 Lambda 調用 StartIngestionJob API 才能更新向量庫。
  • Bedrock Agents：透過 OpenAPI Schema 定義 Action Group，並綁定 AWS Lambda 執行後端業務邏輯。

Domain 4: Operating, Monitoring, and Securing ML and AI Solutions (24%)

• Amazon Bedrock Guardrails（必考大熱門）：
  • Sensitive Information Filters：PII 處置模式中，Mask（替換為標籤，模型仍可理解語境）與 Block（直接攔截）的適用場景。
  • Contextual Grounding Checks：
    • Grounding Score：模型回答是否有知識庫事實依據（防止模型腦補/幻覺）。
    • Relevance Score：模型回答是否符合使用者的提問意圖。
• 模型漂移監控：
  • SageMaker Model Monitor：Data Quality Drift、Model Quality Drift、Bias Drift 與 Feature Attribution Drift。
• 網路邊界與私有化：
  • 透過 AWS PrivateLink（VPC Endpoints）安全存取 Bedrock 與 SageMaker 端點，停用公網存取。

三、 必做動手實驗清單（Hands-on Lab Checklist）

純背題庫極易在長題幹情境題中失分，建議在 AWS 控制台親自完成以下三組實驗：

1. 端到端 RAG 知識庫搭建：
   • 建立一個 OpenSearch Serverless 的 Vector Collection。
   • 配置 Data Access Policy，將 Bedrock 專屬 IAM Role 加入授權。
   • 在 S3 上傳幾份 PDF 文件，於 Bedrock 建立 Knowledge Base，設定 Fixed Chunking 並完成一次 Sync。
   • 在控制台測試檢索問答（RetrieveAndGenerate）。
2. Bedrock Guardrails 攔截測試：
   • 建立一組 Guardrail，配置 PII 去識別化（Masking SSN/Email）與自訂 Denied Topics。
   • 設定 Contextual Grounding 門檻為 0.8，在測試視窗輸入誘導性問題，觀察攔截與過濾效果。
3. SageMaker Pipeline 與非同步端點：
   • 透過 Python SDK 體驗建立一個包含 Preprocessing、Training 與 RegisterModel 的三階段 Pipeline。
   • 觀察 Asynchronous Inference 端點在無請求時自動縮容至 0 節點的配置機制。

四、 考試常見題型避坑指南

1. 「S3 文件更新了，為什麼 RAG 回答還是舊的？」
   • ❌ 錯誤選項：等待 15 分鐘讓 S3 自動同步。
   • ✅ 正確選項：透過調用 bedrock-agent:StartIngestionJob 發起 Knowledge Base 同步作業。
2. 「如何防止內部員工在提問時將客戶身分證號碼送入模型，同時讓模型順利處理客服信件？」
   • ❌ 錯誤選項：在 Guardrail 中將 SSN 設為 Block（這會直接中斷服務）。
   • ✅ 正確選項：在 Guardrail 的 Sensitive Information Filters 中將 SSN 處理動作設為 Mask。
3. 「推論請求量極低，偶爾有突發流量，且能容忍幾秒的冷啟動延遲，如何達到最高成本效益？」
   • ❌ 錯誤選項：配置單台 ml.t3.medium 的 Real-time Endpoint。
   • ✅ 正確選項：選用 SageMaker Serverless Inference。
4. 「評估摘要任務（Text Summarization）的生成品質，應優先採用哪項自動化指標？」
   • ❌ 錯誤選項：BLEU（偏重機器翻譯精確匹配）或 RMSE（回歸問題）。
   • ✅ 正確選項：ROUGE（尤其是 ROUGE-1 / ROUGE-L）。

五、 衝刺學習資源推薦

• 官方文件：
  • AWS Certified Machine Learning Engineer – Associate Exam Guide（對照官方各領域 Task Statements）
  • Amazon Bedrock Developer Guide（重點精讀 Knowledge Bases 與 Guardrails 章節）
• 備考建議進度：
  • 第 1 週：傳統 ML 基礎複習（特徵工程、常用演算法、SageMaker 四大推論端點）。
  • 第 2 週：GenAI / LLMOps 專項攻克（Bedrock、RAG、OpenSearch Serverless、Guardrails、評估指標）。
  • 第 3 週：安全與維運合規（IAM Policy、KMS、VPC Endpoints、Model Monitor）。
  • 第 4 週：模擬題衝刺（注重分析 85 題長題幹的時間分配，平均每題控制在 1.8 分鐘以內）。

在大型語言模型（LLM）與智慧代理（Agentic AI）全面進入企業生產環境的當下，生成式 AI 認證已成為工程師履歷上含金量最高的技術背書之一。

在眾多原廠證照中，AWS AIP-C01（AWS Certified Generative AI Developer – Professional） 與 NVIDIA NCA-GENL（NVIDIA Certified Associate – Generative AI and LLMs） 是討論度最高的兩張專門認證。然而，許多人在備考時常感到困惑：這兩門考試到底差在哪？哪一張更符合我的職涯規劃？

一言以蔽之：AIP-C01 培養的是「雲端全託管應用與安全架構師」，而 NCA-GENL 考核的是「底層算力、加速框架與模型推論工程師」。

本文將從核心規格、技術深度、架構差異到適用客群，為你全方位拆解這兩張王牌認證的定位與選型邏輯。

一、 核心規格與技術維度全景對比

二、 核心技術視角深度拆解

看似都在考 LLM、RAG 與微調，但兩者切入技術問題的「視角」存在本質上的不同：

1. 模型怎麼跑？（黑盒子 API vs. 白盒子底層）

• AWS AIP-C01（模型是黑盒子）在 AWS 的架構下，你不需要深究顯卡如何切分顯存。你的重點在於如何運用雲端託管服務（Amazon Bedrock）：
  • 何時用 InvokeModel，何時用 InvokeModelWithResponseStream 實現即時打字機效果？
  • 如何在 On-Demand 與 Provisioned Throughput（預配置輸送量）之間權衡，壓低整體 Token 成本？
  • 如何在 S3 與 OpenSearch Serverless 之間無縫搭建 Knowledge Bases？
• NVIDIA NCA-GENL（模型是白盒子）NVIDIA 要求你深入理解 Transformer 的內部運作原理：
  • 什麼是 Self-Attention？KV Cache 是如何在多輪對話中吃滿 GPU 顯存的？
  • 遇到顯存瓶頸時，如何透過 FP8 / INT4 量化技術把 70B 參數的大模型塞入單張伺服器顯卡？
  • 如何配置 TensorRT-LLM 與 Triton Inference Server 達到微秒級的推論加速與動態批次處理（Dynamic Batching）？

2. 應用怎麼串？（Agentic Workflow vs. 開源框架）

• AWS AIP-C01（重度著墨企業級代理人工作流）考題高度聚焦於 Amazon Bedrock Agents：
  • 撰寫符合規範的 OpenAPI Schema 定義工具。
  • 透過 Action Groups 呼叫後端 AWS Lambda 執行業務邏輯（如查詢庫存、發起審批）。
  • 建立嚴密的 IAM 資源型原則（Resource-based Policy）確保 AI Agent 不會越權存取。
• NVIDIA NCA-GENL（重度著墨 NVIDIA 生態系與微調流程）考核重點落在 NVIDIA NeMo 框架與 NIM 微服務（NVIDIA Inference Microservices）：
  • 從零開始進行監督式微調（SFT）或參數高效微調（PEFT / LoRA）。
  • 使用 NeMo Guardrails 定義安全對話軌道（Colang 語言），防止模型在垂直行業落地時產生幻覺或偏離主題。

三、 你適合考哪一張？精準路徑指引

建議優先選擇 AWS AIP-C01 的情境：

1. 企業基礎設施已在公有雲（AWS 主場）公司的核心服務本就架構在 AWS（EC2、S3、RDS、IAM），當前任務是快速為內部系統導入 GenAI 功能，例如搭建企業內部私有知識庫（RAG）或自動化審批 Agent。
2. 軟體架構師 / 全端開發者 / Cloud & DevOps 工程師日常工作以 Python、TypeScript 撰寫業務邏輯、管理 API 閘道、配置 CI/CD 流程與權限隔離，不想花費大量時間手調底層 CUDA 核心或伺服器硬體規格。
3. 外商企業或大型雲端系統整合商（SI）從業者AIP-C01 屬於 AWS 最高級別的 Professional 憑證，在外商、金融科技（FinTech）以及 AWS Premier Tier 合作夥伴招標中具有顯著的履歷加分效益。

建議優先選擇 NVIDIA NCA-GENL 的情境：

1. 地端私有算力 / 伺服器硬體整合商（SI / ODM / OEM）面向金融機敏資料、半導體無塵室、政府國防等「資料嚴格禁止上公有雲」的客戶，必須在私有資料中心部署高密度 GPU 伺服器（Dell PowerEdge、HPE ProLiant）運行開源開源模型（Llama、Mistral）。
2. AI / MLOps / 演算法與效能優化工程師需要親自負責模型權重微調、量化壓縮、容器化封裝，並致力於在硬體資源有限的情況下將推論吞吐量（Throughput）與延遲（Latency）優化到極致。
3. 初探生成式 AI 的高性價比入門磚NCA 屬於 Associate 級別，備考負擔與考試費用（135 美元，相較於 AIP-C01 的 300 美元）更親民，適合作為檢驗自身大型語言模型基礎原理的第一張專科證照。

四、 總結與決策心法

• 選 AWS AIP-C01：走的是「業務驅動與雲端架構」路線——重視將成熟的模型快速落地到商業工作流中，注重隱私合規、身分治理與系統穩定度。
• 選 NVIDIA NCA-GENL：走的是「算力驅動與底層極限」路線——重視軟硬體協同效能，專注於榨乾每一顆 GPU 的浮點運算力與顯存頻寬。

根據你當前的企業技術架構與未來職涯發展目標進行選擇，才能讓證照成為你躍升頂尖 GenAI 專家的最佳助推器！

在 Dell Technologies Proven Professional（如 PowerScale Solutions Specialist、Infrastructure AI Solutions）等相關認證中，PowerScale 搭配 NVIDIA GPUDirect Storage (GDS) 是極高頻的架構設計與故障排除考點。

核心架構原理（資料路徑對比）

• 傳統 NFS 資料流（雙重跳躍）： Storage $\to$ NIC $\to$ CPU System RAM（Bounce Buffer） $\to$ PCIe Bus $\to$ GPU HBM。缺點：嚴重消耗主機 CPU 週期與記憶體頻寬，形成嚴重的 I/O 延遲（GPU Starvation）。
• GPUDirect Storage (GDS) 資料流（直接 DMA）： Storage $\to$ NIC (RDMA) $\to$ PCIe Switch $\to$ GPU HBM。技術核心：藉由 NFSoRDMA（NFS over RDMA） 與 NVIDIA cufile / nvidia-fs 驅動，完全繞過 CPU 與作業系統 Page Cache。

網路拓撲與硬體考點配置

1. 實體層與傳輸協定選擇
   • RoCEv2（RDMA over Converged Ethernet）：考題最常見情境，基於 100GbE / 200GbE / 400GbE 乙太網路。交換器端必須配置 PFC（Priority Flow Control） 與 ECN（Explicit Congestion Notification） 達成無損網路（Lossless Ethernet）。
   • InfiniBand（IB）：高階全閃存節點（如 F710 / F910，搭 Mellanox ConnectX-6/7）原生支援前端 HDR/NDR InfiniBand 直連。
2. NUMA 節點親和性（NUMA Affinity & PCIe Topology）
   • 經典陷阱題：計算節點裝有 8 張 GPU 與 4 張 200G NIC，但測試發現 GDS 效能未達預期。
   • 考點解法：考題要求考生確認 GPU 與 RDMA NIC 必須連接在同一個 PCIe Switch 或同一個 NUMA Node 上。若跨 NUMA（走 UPI/QPI 匯流排），GDS 將自動退回 bounce-buffer 模式或大幅降速。可用 nvidia-smi topo -m 指令檢驗（需顯示 PIX 或 PXB，避免 SYS）。

PowerScale OneFS 端配置要點

在 OneFS 叢集端，必須調整特定的全域與網路集區設定以支援高吞吐循序 I/O：

• 啟用 NFSoRDMA：
  • 在特定的 Network Subnet / Pool 中啟用 RDMA 協定：isi network pools modify <pool_id> --nfsv3-rdma=true（或透過 WebUI 勾選 RoCE/RDMA 支援）。
• 效能調優參數（AI 循序讀取特化）：
  • File Pool Policy：設定為 Streaming 模式，以最佳化大檔循序讀取預取（Prefetch）。
  • 停用干擾項：進行極限吞吐測試時，需考慮關閉或延後背景 Inline Deduplication 與 Compression，避免壓縮解壓縮演算法消耗節點 CPU。
  • Jumbo Frames：網路介面 MTU 必須嚴格設定為 9000（End-to-End 包括 Switch）。

GPU 計算節點（Client）端考點

• 掛載參數（Mount Options）：
  • GDS 典型搭配 NFSv3（或支援 RDMA 的 NFSv4.1/4.2）：Bashmount -o rdma,vers=3,rsize=1048576,wsize=1048576 <PowerScale_IP>:/ifs/data/ai /mnt/data
  • 必須特別注意指定 rdma 傳輸選項與最大傳輸塊大小（rsize=1048576 / 1MB）。
• 驅動與驗證工具：
  • 核心元件包含：MOFED（Mellanox OFED）、CUDA Toolkit 以及 nvidia-gds（包含 nvidia-fs.ko 內核模組）。
  • 必考檢驗工具：
    • gdscheck.py -p：驗證 GDS 環境完整性（檢查 NVFS 模組狀態、PCIe 拓撲、檔案系統支援度）。
    • gdsio：執行純 GDS 讀寫基準效能壓測工具。

認證常見情境題型示例

• 題型：故障排除（Troubleshooting）
  • 題目：工程師執行訓練工作負載時，發現儲存吞吐量受限於 2 GB/s，且計算節點 CPU 核心使用率飆升至 95%。執行 gdscheck.py 發現 GDS 運作於 FALLBACK_TO_POSIX 狀態。請選出兩項可能原因。
  • 正確選項方向：
    1. 計算節點上的 nvidia-fs 驅動模組未載入或 NFS 掛載未使用 rdma 傳輸參數。
    2. 程式碼開啟檔案時未使用具備對齊需求的 Direct I/O（如未採用 O_DIRECT 或未透過 cuFileHandleRegister 註冊）。

Exam SC-500: Implementing End-to-End Security Controls for Cloud and AI Workloads 是微軟接替 AZ-500 的次世代旗艦級安全工程師認證，通過後取得 Microsoft Certified: Cloud and AI Security Engineer Associate 認證。

考試基本規格

四大考核領域與佔比（Skills Measured）

SC-500 繼承了 AZ-500 約 75% 的基礎架構防禦體系，並將其餘 25% 擴展至 AI 模型、自主代理與資料外洩防護。

• 領域一：管理身分、存取與治理（Manage Identity, Access, and Governance，佔比 20–25%）
  • Microsoft Entra ID 核心配置：條件式存取（Conditional Access）、特權身分管理（PIM）、自訂 RBAC 角色與租戶存取邊界。
  • Agent Identity（新考點）：設定 Microsoft Entra Agent ID，為自主 AI 代理（Autonomous Agents）建立獨立身分識別、指派非實體憑證與微隔離權限。
  • 存取檢查與稽核：利用 Microsoft Purview 與 Entra Access Reviews 定期盤點高特權帳號與代理程式的爆炸半徑（Blast Radius）。
• 領域二：保護儲存、資料庫與網路架構（Secure Storage, Databases, and Networking，佔比 25–30%）
  • 網路邊界控制：Azure Firewall、NSG / ASG 規則、Azure DDoS Protection，以及跨虛擬網路的 Private Link 與專用端點（Private Endpoints）。
  • 資料存取防護：Azure Key Vault（金鑰/秘密輪替、存取策略與 HSM 硬體防護）、儲存體 SAS 權限管理、透明資料加密（TDE）與 Always Encrypted。
  • AI 資料管線保護：針對用於 AI 訓練/檢索增強生成（RAG）的儲存體與向量資料庫配置私有存取與傳輸加密。
• 領域三：保護運算負載與 AI 工作流程（Secure Compute, Including Security for AI，佔比 20–25%）
  • 雲端運算防護：AKS（Azure Kubernetes Service）安全基準、容器映像檔簽章、虛擬機器磁碟加密與修補管理。
  • Azure AI Foundry / Copilot Studio 安全（核心新增）：
    • 部署 API Gateway 與反向代理隔離大型模型端點。
    • 配置 Guardrails（護欄）與敏感字詞過濾，防範 Prompt Injection（提示詞注入）與越獄攻擊。
    • 控制模型微調（Fine-tuning）與向量檢索過程中的資料邊界，防止機密數據洩漏至模型輸出。
• 領域四：管理與監控整體安全態勢（Manage and Monitor Security Posture，佔比 20–25%）
  • Microsoft Defender for Cloud：態勢管理（CSPM）、安全分數優化、法規遵循儀表板配置。
  • Defender for AI Services：啟用對 AI 服務的威脅偵測，攔截惡意呼叫與異常 Token 耗盡攻擊。
  • Microsoft Sentinel（SIEM/SOAR）：撰寫 KQL（Kusto Query Language）查詢事件紀錄、設定自動化 Playbook 阻斷威脅，並整合 XDR 進行端到端事件關聯分析。

SC-500 與舊版 AZ-500 的關鍵差異

備考建議與實戰策略

• 補齊 AI 安全專用詞彙與機制熟讀微軟官方發布的 AI 安全架構指南，釐清 Content Safety、Prompt Shields、模型存取金鑰與受控身分（Managed Identity）的串接邏輯。
• 強化 KQL（Kusto Query Language）實務在「管理與監控」領域中，至少會出現 3–5 題需要閱讀或挑選正確 KQL 語法的考題，重點掌握安全警示聚合、身分異常登入與 API 呼叫突增的查詢語法。
• 利用 Microsoft Learn 沙盒進行實機模擬重點實作三項架構：
  1. 透過 Private Endpoint 連線 Azure OpenAI / Azure AI Search。
  2. 設定 Microsoft Entra Agent ID 與條件式存取規則。
  3. 配置 Defender for Cloud 的資安基準並排查合規性缺失。