奈米學位學習方案-自駕車工程

Contents

課程簡介

自駕車是一種變革性技術，屬機器人技術、機器學習和工程技術的尖端科技。跟著世界上最先進技術的公司專家學習自動駕駛汽車團隊運用的技能和技術。

Udacity奈米學位介紹

預估完成時間：5 個月

你將學習到

在本課程中，你將學習為自動駕駛汽車提供動力的技術，涵蓋汽車的全部自動駕駛能力。使用深度學習與雷達( radar )和光達傳感器融合( lidar sensor fusion )，你將訓練車輛檢測和識別其周圍環境以通知導航。

課程事先準備

你需已有 Python, C++, 線性代數和微積分的知識

建議先修自動駕駛汽車介紹

課程內容

電腦視覺

在本課程中，你將培養自動駕駛汽車工程中常用的關鍵機器學習技能。你將了解機器學習專案的生命週期，從構建問題和選擇指標到訓練和改進模型。本課程將重點介紹相機傳感器，你將學習如何處理原始數位圖像，然後再將它們輸入不同的演算法，例如神經網路。你將使用 TensorFlow 構建卷積神經網路( convolutional neural networks )，並學習如何分類和檢測圖像中的物件。通過本課程，你將接觸到整個機器學習工作流程，並深入了解機器學習工程師的工作以及它如何轉化為自動駕駛汽車環境。

專案：Object Detection in an Urban Environment

在這個專案中，學生將創建一個卷積神經網路，使用來自 Waymo 開放資料集的數據來檢測和分類物件。學生將獲得一個城市環境圖像資料集，其中包含帶註釋的騎自行車者、行人和車輛。首先，他們將執行廣泛的資料分析，包括計算標籤分佈、顯示樣本圖像和檢查物件遮擋。學生將使用此分析來決定哪些增強對該專案有意義。然後，他們將訓練一個神經網路來檢測和分類物件。學生將使用 TensorBoard 監控培訓並決定何時結束。最後，他們將嘗試不同的超參數來提高性能。

傳感器融合

在本課程中，你將了解自動駕駛汽車的一個關鍵推動因素：傳感器融合。除了攝影機，自動駕駛汽車還依賴其他具有互補測量原理的傳感器來提高穩健性和可靠性。因此，你將了解光達傳感器及其在自動駕駛車輛傳感器套件中的作用。你將了解光達( lidar )的工作原理，了解當前可用的光達類型及其差異，並查看傳感器選擇的相關標準。此外，你還將學習如何使用深度學習方法檢測 3D 光達點雲中的車輛等物件，然後使用一組最先進的指標評估檢測性能。在課程的後半部分，你將學習如何使用擴展卡爾曼濾波器( Extended Kalman Filter )融合相機和光達檢測並隨時間跟蹤物體。你將獲得多目標跟蹤的實踐經驗，學習如何初始化、更新和刪除軌跡，使用數據關聯技術將測量值分配給軌跡，以及同時管理多個軌跡。完成課程後，你將擁有作為自動駕駛汽車傳感器融合工程師工作的堅實基礎。

專案：3D Object Detection

學生將首先加載和預處理 3D 光達點雲，然後使用深度學習方法檢測和分類物件（例如車輛、行人）。學生將評估和視覺化物件，包括計算關鍵性能指標。該專案與 Sensor Fusion 專案相結合，形成完整的檢測管道。

專案 : Sensor Fusion

在這個5專案中，學生將通過融合攝影相機和光達檢測來解決具有挑戰性的多目標跟蹤任務。他們將實施擴展卡爾曼濾波器以隨時間跟蹤多輛車輛，包括相機和光達的不同測量模型。這還需要一個用於軌道初始化和刪除的軌道管理模組，以及一個數據關聯模組來決定哪個測量源自哪個軌道。最後，學生將評估和視覺化跟蹤的物件。為了完成這個專案，學生將使用真實世界的資料集，因此面臨傳感器融合工程師的許多日常挑戰。

定位

在本課程中，你將了解所有關於機器人定位的知識，從一維運動模型到使用從光達傳感器獲得的三維點雲圖。你將首先了解自行車運動模型，這是一種在收集傳感器數據之前使用簡單運動來估計下一時間步位置的方法。然後，你將繼續使用馬爾可夫定位( Markov localization )來進行 1維物件跟蹤，以及進一步利用運動模型。從那裡，您將學習如何實現兩種掃描匹配演算法，即迭代最近點 (ICP, Iterative Closest Point) 和常態分佈轉換 (NDT, Normal Distributions Transform)，它們適用於 2D 和 3D 資料。最後，你將使用點雲庫 (PCL, Point Cloud Library) 中的這些掃描匹配演算法，使用從 CARLA 模擬器獲得的 3D 點雲地圖，通過光達感應來定位模擬的汽車。

專案 : Scan Matching Localization

在這個專案中，學生將使用 ICP 或 NDT 這兩種掃描匹配演算法來對齊來自 CARLA 模擬器的點雲掃描，並使用光達恢復模擬汽車的位置。學生需要在模擬環境中的整個駕駛過程中達到足夠的精確度，在車輛移動時適當地更新車輛的位置並獲取新的光達數據。

規畫

路徑規劃將車輛從一個點路由到另一個點，並處理出現緊急情況時的反應。賓士汽車 AI 團隊將帶你完成路徑規劃的三個階段。首先，你將應用模型驅動和數據驅動的方法來預測道路上其他車輛的行為。然後，你將構建一個有限狀態機來決定你自己的車輛應該執行的幾個操作中的哪一個。最後，你將生成一個安全舒適的軌跡來執行該操作。

專案：Motion Planning and Decision Making for Autonomous Vehicles

在這個專案中，你將實現傳統分層規劃器的兩個主要組件：行為規劃器和運動規劃器。兩者將協同工作，以避開停在路邊的靜態物體，避免因執行“輕推”或“變換車道”的操作與這些車輛發生碰撞，處理任何類型的交叉路口，並跟蹤行駛車道上的中心線。

控制

本課程將教你如何在獲得所需軌跡後控制汽車。換句話說，如何踩汽車的油門和方向盤使其沿著坐標描述的軌跡移動。本課程將涵蓋最基本但也是最常見的控制器：比例積分微分或 PID 控制器。你將了解反饋控制的基本原理以及它們如何用於自動駕駛技術。

專案：Control and Trajectory Tracking for Autonomous Vehicles

在這個專案中，你將應用你在本課程中獲得的技能來設計一個 PID 控制器來執行車輛軌跡跟蹤。給定作為位置陣列的軌跡和模擬環境，你將設計和編寫 PID 控制器並在業界使用的 CARLA 模擬器上測試其效率。該專案將幫助你了解 PID 控制器的功能和局限性，以及如何在實踐中使用反饋控制。最後，這個專案是對行業中使用的語言 C++ 程式設計的良好培訓。