在 AWS 上為自動駕駛汽車量產部署 AI 視覺系統

AWS 上的電腦視覺：SageMaker、Rekognition、ViTs 和 Meta 的 Segment Anything 模型，用於偵測、分割和數學運算。

從這 6.5 小時的課程，你會學到

使用 Segment Anything (SAM) 為大規模影像資料集建立端對端自動標註流程
了解 Vision Transformer (ViT) 的內部運作原理，包括影像區塊嵌入和自註意力機制
解釋 SAM 背後的核心數學原理，包括遮罩解碼和提示條件化
使用現代深度學習技術堆疊高效運行 GPU 加速的分割工作負載
比較 SAM ViT-B、ViT-L 和 ViT-H 模型，並根據成本、速度和準確性選擇合適的模型
整合 AWS Rekognition 進行進階目標偵測和元資料擷取
將 AWS Rekognition 的輸出與 SAM 遮罩結合，以建立精確的像素級標籤
可視化分割遮罩、邊界框和置信度分數，以便進行模型偵錯
分析開源 CV 模型和託管雲端服務之間的權衡
影像分割
如何在 AWS SageMaker 中使用開源模型
在大型影像上執行 SAM 時優化效能和記憶體使用
使用基於 AWS 的雲端服務可靠地擴展電腦視覺工作負載的管道
彌合理論（數學 + 模型）與實際生產管道之間的差距
AWS Rekognition
目標偵測

要求

Python 基礎
高中數學

課程說明

建立成功的電腦視覺產品 – 尤其是用於自動駕駛汽車感知的產品- 始於兩點：堅實的基礎和真正可擴展的系統。

在本課程中，您將學習如何使用 Meta 的 Segment Anything Model (SAM)、Vision Transformers (ViTs) 和 AWS Rekognition 建立您自己的自動駕駛風格視覺管線，同時真正理解這些模型背後的數學原理和直覺。

我們將從零開始探索 Vision Transformers，重點講解圖像塊嵌入、注意力機制和模型表示的清晰直觀的解釋。您將了解注意力、嵌入和相似性的底層數學原理，以及這些概念如何轉化為現代自動駕駛技術堆疊所依賴的感知能力。接下來，我們將深入研究 Meta 的 SAM 架構，解釋提示、嵌入和掩碼解碼如何協同工作以產生高品質的分割結果 – 再次將數學原理與您觀察到的行為聯繫起來，而不是將模型視為黑盒子。

接下來，您將了解這些開源模型如何融入實際的自動駕駛感知工作流程中。我們整合了 AWS Rekognition 來進行進階偵測和元資料擷取，並將其與 SAM 結合，建立自動化的像素級標註流程—此流程可用於擴展自動駕駛資料集的建立。在整個過程中，您將學習模型輸出（分數、嵌入、遮罩）如何與確保流程可靠性的底層目標和表示相關聯。

本課程著重強調視覺化和實踐理解。您將學習遮罩、邊界框、置信度訊號、嵌入和故障案例，並了解如何將數學概念直接轉化為可觀察、可調試和可改進的模型行為 – 這對於建立用於自動駕駛汽車等安全敏感型應用的感知系統至關重要。

課程結束時，您不僅會知道如何運行 SAM 或調用 AWS API，還會理解模型的工作原理，如何將託管雲端服務與開源研究相結合，以及如何像一個專注於可擴展自動駕駛車輛感知的真正電腦視覺新創公司那樣思考 – 而不僅僅是做一個演示。

如果您希望超越淺層教程，對現代電腦視覺系統獲得清晰、直觀的理解，那麼本課程是您的理想之選 – 從 Transformer 和分割背後的數學原理到自動駕駛中使用的生產級感知管道。

目標受眾

希望建構超越玩具範例的真實世界電腦視覺流程的機器學習工程師
希望在生產工作流程中應用 SAM 和 Vision Transformer 的電腦視覺工程師
希望實現影像標註自動化並加速資料集創建的資料科學家
對將開源視覺模型與 AWS 服務結合感興趣的 AI 工程師
轉型進入應用機器學習和電腦視覺領域的軟體工程師

講師簡介

Patrik Szepesi 機器學習工程師

Patrik Szepes 是一位資深機器學習工程師/資料科學家，他的職業生涯橫跨學術界、矽谷科技公司和全球領先的金融機構。Patrik 憑藉其專業知識，在自動駕駛汽車、銀行和醫療保健等多個領域開創了先進的機器學習解決方案。他多才多藝，曾在摩根士丹利和約翰迪爾等公司工作，並參與研發了世界上首批全自動農業車輛。Patrik 對該領域的貢獻不僅限於專業領域；作為奧布達大學( Óbuda University )的機器學習研究員，他開發了用於醫學影像分類的創新深度卷積神經網絡，其研究成果發表在《生物控制論》和《生物醫學工程》等知名期刊上。目前，他擔任一家總部位於加州的大型醫療保健公司的高級機器學習工程師。他曾擔任 AWS 技術推廣大使，目前持有以下 AWS 認證：AWS 機器學習專家認證和 AWS 解決方案架構師助理認證。