自動駕駛超全的公開課合集?|?從感知到定位建圖,再到規(guī)控與就業(yè)!
1
感知
1.無人駕駛中感知的挑戰(zhàn)與嘗試講師:鄒曉藝元戎啟行點云感知方向技術(shù)負責人畢業(yè)于華南理工大學,曾就職于百度自動駕駛事業(yè)部,目前負責自動駕駛感知模塊的算法研發(fā)。在自動駕駛中,感知系統(tǒng)相當于自動駕駛汽車的眼睛,需要理解整個場景,包括檢測自動駕駛汽車周圍環(huán)境中的障礙物,同時需要對這些障礙物進行跟蹤獲得速度和預(yù)測其在未來一定時間內(nèi)的軌跡。由于無人駕駛場景的復(fù)雜性和多樣性,對感知系統(tǒng)提出了非常高的挑戰(zhàn)。本次公開課重點介紹下感知基本的模塊和典型方法,同時分享一些實際路測場景中遇到的問題和一些思考。2.自動駕駛感知算法簡介講師:王弢小鵬汽車自動駕駛北美視覺感知負責人,原Drive.ai聯(lián)合創(chuàng)始人。畢業(yè)于斯坦福大學,目前主攻深度學習在自動駕駛領(lǐng)域的應(yīng)用。環(huán)境感知是自動駕駛的核心技術(shù)之一,由于環(huán)境的復(fù)雜多變,自動駕駛的感知面臨諸多挑戰(zhàn)。通常來說,量產(chǎn)的環(huán)境感知方案需要滿足準確、完備、實時、經(jīng)濟等特性。? ??本次公開課將重點講解視覺感知算法的發(fā)展歷程以及發(fā)展趨勢,同時介紹量產(chǎn)的感知算法開發(fā)流程。3.自動駕駛感知前沿技術(shù)介紹講師:周寅Waymo研發(fā)經(jīng)理、特拉華大學博士
為了讓無人車自己思考,我們要先教會它如何理解周圍的世界。伴隨著深度學習的崛起和算力的提升,這些年環(huán)境感知性能得到了長足的進步。本次公開課將圍繞scalability,重點介紹環(huán)境感知中的熱點研究方向和前沿技術(shù)動態(tài)。通過這節(jié)課,學員將對自動駕駛系統(tǒng)架構(gòu)有一個整體的理解,并且對感知系統(tǒng)的核心問題以及前沿動態(tài)有比較深入的認識。4.自動駕駛純視覺3D物體檢測算法講師:王巖康奈爾大學博士
本次課程將針對自動駕駛場景,詳細介紹以相機為主的純視覺3D物體檢測算法,剖析以特斯拉為代表的使用純視覺的物體檢測方案的優(yōu)勢和劣勢。通過本次課程,你將學習如何用深度學習進行深度估計、3D物體檢測,同時了解純視覺3D物體檢測存在的挑戰(zhàn)。5.3D物體檢測的發(fā)展與未來講師:祁芮中臺Waymo高級研究科學家、斯坦福大學博士、清華大學本科
3D物體檢測在增強現(xiàn)實、機器人與自動駕駛中都有著普遍的應(yīng)用。隨著業(yè)界需求的增加與深度學習的出現(xiàn),相關(guān)的算法在近幾年有了長足的進步。本次公開課將從技術(shù)發(fā)展的角度,介紹幾種經(jīng)典的3D物體檢測算法以及它們之間的聯(lián)系,并延伸討論目前方法的局限性和未來的研究方向。通過這節(jié)課,學員將能對3D物體檢測算法有一個全局的認識,并且能了解潛在的研究機會。6.移動機器人視覺三維感知的現(xiàn)在與將來講師:王凱旋香港科技大學UAV group博士
相比于其他傳感器,相機能提供豐富的場景信息,同時在尺寸、重量、功耗及成本上有著巨大的優(yōu)勢,因此被廣泛應(yīng)用于移動機器人領(lǐng)域。在這個技術(shù)分享會上,我將介紹基于視覺的三維環(huán)境感知方案,即通過圖像序列對環(huán)境的三維結(jié)構(gòu)進行估計和重建;將介紹基于多視角幾何的方案以及當前基于深度學習的方案。這些方案被成功地應(yīng)用于無人機的自主飛行中。隨著技術(shù)的發(fā)展,我們也發(fā)現(xiàn)一些其他的場景表示方案, 我們將探討這些方案將會如何影響未來的實時三維場景重建技術(shù)。7.基于點云場景的三維物體檢測算法及應(yīng)用講師:史少帥香港中文大學多媒體實驗室博士生,研究方向為計算機視覺與深度學習,專注于深度學習在三維場景理解上的應(yīng)用。
3D object detection has been receiving increasing attention from both industry and academia thanks to its wide applications in various fields such as autonomous driving and robotics. In this tutorial we will first introduce the basic concepts of 3D object detection from point clouds, and then we will focus on three recent works to learn various deep learning methods about point-cloud-based 3D object detection.??8.基于三維點云場景的語義及實例分割講師:楊波牛津大學計算機系在讀博士,研究方向為計算機視覺與深度學習。
講師:胡慶擁牛津大學計算機系在讀博士,國防科技大學碩士,研究方向為3D視覺、機器人、機器學習。
Point cloud learning has lately attracted increasing attention due to its wide applications in many areas, such as autonomous driving, virtual reality, and robotics. In this tutorial, we will first give a brief introduction to the task of point cloud segmentation, as well as several milestones works in this area. Then, we will focus on two recent works from our group, including RandLA-Net, which is an efficient and lightweight neural architecture to directly infer per-point semantics for large-scale point clouds, and 3D-BoNet, which is a novel, conceptually simple and general framework for instance segmentation on 3D point clouds.9.深度學習在點云識別中的應(yīng)用講師:劉永成中科院自動化所在讀博士,研究興趣包括3D點云處理、圖像分割、多標簽圖像分類等。
講師:李瑞輝
香港中文大學計算機系在讀博士,主要研究方向為三維點云處理,三維重建等。
Part I1. 背景簡介:3D表示及分析方法;點云識別面臨的挑戰(zhàn)2. 相關(guān)工作:規(guī)則化處理;PointNet系列;圖卷積方法;卷積核設(shè)計3. 一些探索:Relation-Shape CNN (CVPR 2019);DensePoint (ICCV 2019)4. 總結(jié)展望Part II1. 背景介紹: 數(shù)據(jù)增廣 (Data Augment),以及2D圖像中的AutoAugment的工作;2. 初次探索: AutoAugment 在3D點云分類中的應(yīng)用:PointAugment(CVPR 2020 Oral)10.點云上的卷積神經(jīng)網(wǎng)絡(luò)及其部分應(yīng)用講師:李伏欣美國俄勒岡州立大學助理教授,2009年獲中科院自動化研究所工學博士學位。
Convolutional Neural Networks (CNNs) have led to a revolution in the recognition of raster images. However, many data, especially 3D data, come naturally in the form of point clouds where raster-based convolution operations are not readily available to be used. In this tutorial we will discuss several recent work that make it possible to build a convolutional network or similar operations on point clouds.
2
定位建圖
1.視覺SLAM基礎(chǔ)講師:高翔慕尼黑工業(yè)大學博士后、清華大學自動化系博士
Lecture 1.三維幾何基礎(chǔ)知識介紹1).SLAM的定義、基礎(chǔ)框架與數(shù)學表達形式2).三維幾何學基礎(chǔ)知識3).狀態(tài)估計、非線性優(yōu)化與最小二乘的原理4).李群與李代數(shù)Lecture 2.SLAM前端與后端原理介紹1).特征點法的視覺里程計2).光流法的視覺里程計3).增量式優(yōu)化、批量式優(yōu)化與位姿圖2.語義信息增強的激光雷達SLAM講師:陳謝沅澧德國波恩大學博士生,師從Cyrill Stachniss教授,RoboCup機器人世界杯救援機器人組技術(shù)委員會成員。準確可靠的定位與建圖是大多數(shù)移動機器人以及無人車系統(tǒng)的關(guān)鍵組成部分。激光雷達傳感器憑借其高精度以及對光照變化十分魯棒等優(yōu)點,目前被廣泛應(yīng)用于SLAM問題中。近年來,隨著深度學習的發(fā)展,語義信息在機器人定位與建圖中的起到了越來越重要的作用。語義信息包含對環(huán)境更高層級的理解,可以為SLAM提供更可靠的數(shù)據(jù)關(guān)聯(lián),幫助SLAM在現(xiàn)實復(fù)雜地動態(tài)環(huán)境中更加魯棒地進行運動估計,從而實現(xiàn)更高精度地定位與建圖。同時,語義信息還可以幫助SLAM進行更可靠的地點識別以及閉環(huán)檢測。3.深度學習與視覺SLAM講師:楊楠慕尼黑工業(yè)大學博士生,師從Daniel Cremers教授,主要研究方向為視覺SLAM及其與深度學習的融合。
在視覺SLAM領(lǐng)域,近年來以深度學習技術(shù)為代表的層次化圖像特征提取方法,并成功應(yīng)用于SLAM幀間估計和閉環(huán)檢測。深度學習算法是當前計算機視覺領(lǐng)域主流的識別算法,其依賴多層神經(jīng)網(wǎng)絡(luò)學習圖像的層次化特征表示,與傳統(tǒng)識別方法相比,可以實現(xiàn)更高的識別準確率。同時,深度學習還可以將圖像與語義進行關(guān)聯(lián),與SLAM技術(shù)結(jié)合生成環(huán)境的語義地圖,構(gòu)建環(huán)境的語義知識庫,供機器人進行認知與任務(wù)推理,提高機器人服務(wù)能力和人機交互的智能性。4.視覺SLAM開源代碼論文帶讀(ORB_SLAM2)講師:劉國慶ORB_SLAM2:視覺SLAM領(lǐng)域中特征點法的代表作,也是首個同時適用于單目、雙目和RGB-D相機的開源SLAM方案。代碼主要分為三個線程:前端實時定位跟蹤、后端優(yōu)化建圖與回環(huán)檢測。整套代碼幾乎涉及到了視覺SLAM系統(tǒng)的方方面面:從單目系統(tǒng)初始化、特征提取匹配,到LocalBA、GlobalBA的優(yōu)化設(shè)計,到關(guān)鍵幀的選取、地圖的復(fù)用,以及諸多巧妙設(shè)計的工程技巧等等。代碼結(jié)構(gòu)較為清晰,稱得上是最適合新手學習的第一套VSLAM代碼。5.因子圖的理論基礎(chǔ)與在機器人中的應(yīng)用講師:董靖佐治亞理工學院計算機博士,主要研究方向包括機器人學、機器人領(lǐng)域相關(guān)的感知問題。近十幾年來,作為一種概率圖模型,因子圖在機器人領(lǐng)域(特別是SLAM問題)中得到廣泛的應(yīng)用。在大規(guī)模SLAM問題上,因子圖與傳統(tǒng)卡爾曼濾波相比,具有速度快、精度高等優(yōu)點。在本次講座中,我們將初步了解因子圖模型以及因子圖在機器人學中的應(yīng)用。
3
規(guī)控
1.量產(chǎn)自動駕駛中的規(guī)劃控制現(xiàn)狀講師:肖志光小鵬汽車創(chuàng)始團隊成員
小鵬汽車自動駕駛產(chǎn)品開發(fā)高級總監(jiān)小鵬XPILOT2.0輔助駕駛系統(tǒng)量產(chǎn)主導(dǎo)者規(guī)劃控制是自動駕駛核心技術(shù)之一,主要解決車在路上如何行駛的問題,需要綜合考慮行駛過程中的碰撞安全、交通規(guī)則、駕乘舒適性、節(jié)能高效等特性。本次公開課重點介紹自動駕駛中規(guī)劃控制的主要功能,并分享量產(chǎn)自動駕駛研發(fā)中的實際難點及解決思路。2.視覺導(dǎo)航:從狀態(tài)估計到運動規(guī)劃講師:張子潮蘇黎世大學Robotics and Perception Group博士生,導(dǎo)師為Davide Scaramuzza教授。主要研究方向為視覺SLAM及其在移動機器人導(dǎo)航中的應(yīng)用。
1).基于視覺的狀態(tài)估計1.1)視覺SLAM簡介1.2) 移動機器人視覺SLAM算法的特點2).考慮感知約束的運動規(guī)劃2.1) 理論工具:Fisher Information2.2) 基于Fisher Information的運動規(guī)劃和地圖表示3).總結(jié)與展望3.視覺狀態(tài)估計及其在無人系統(tǒng)中的應(yīng)用講師:宋宇縱目科技無人駕駛事業(yè)部首席科學家,北京交通大學自動化系副教授。
感知、狀態(tài)估計、規(guī)劃、控制是機器人自主移動的核心要素,其中,狀態(tài)估計處于技術(shù)體系的核心位置。該報告將首先為大家梳理典型視覺(