浙江大學錢煒：無人駕駛中的人工智能挑戰

隨著人工智能技術的發展，無人駕駛逐漸變得可能。雖然人工智能發展給無人駕駛帶來了諸多紅利，但是該領域依舊存在著一些人工智能技術挑戰。

近日，在雷鋒網(公眾號：雷鋒網)AI 研習社公開課上，浙江大學計算機科學與技術學院博士錢煒分享了其參與的無人駕駛相關工作。公開課回放視頻網址：http://www.mooc.ai/open/course/577=aitechtalkqianwei

錢煒：浙江大學計算機科學與技術學院博士，導師是何曉飛教授。其具有多年機器學習和深度學習研究經驗，在人工智能頂級會議 IJCAI 上 發表多篇論文。此外，他還具有豐富的視覺算法研發經驗，曾作為核心成員參與參與某明星創業公司的深度學習平臺的搭建及算法研發，并作為國內某知名公司無人駕駛團隊初始成員參與視覺感知模塊的設計與研發。現為飛步科技感知算法負責人。

分享主題：

無人駕駛中的人工智能挑戰

分享提綱：

1、無人駕駛的愿景

2、人工智能發展帶來的機遇

3、無人駕駛中的挑戰

雷鋒網 AI 研習社將其分享內容整理如下：

今天跟大家分享無人駕駛中的人工智能挑戰。首先介紹一下為什么需要做無人駕駛?

全球平均每分鐘就有 2.5 人死于交通事故，在 2015 年全球前十位死亡原因中，只有交通事故是與身體狀況無關的，應該有能力避免掉的。具體到交通事故的原因，其中 94% 都與車輛和行駛環境無關，而是由司機的失誤造成的，大部分的失誤又來源于障礙物的錯誤識別、駕駛員的失誤決策，如果我們給車輛安裝 360 度無死角的傳感器組合，由計算機程序來識別和決策，駕駛失誤的可能性幾乎能降到 0。

地面交通工具在不斷革新，我們希望無人駕駛汽車能為大家提供一個更安全的環境，將司機從疲勞駕駛的潛在危險中解脫出來。為此 Google 從 2009 年就開始研發無人駕駛汽車，近幾年，業界對無人駕駛汽車的投入也越發龐大，大家也覺得無人駕駛技術的落地越來越近了。

我們公司也提供了全棧式的無人駕駛解決方案：

（關于該全棧式的無人駕駛解決方案的講解，請回看視頻 00：01 ： 55 處，http://www.mooc.ai/open/course/577=aitechtalkqianwei）

人工智能的發展給無人駕駛帶來了不少紅利，其中最重要的還是深度學習和智能芯片。

在深度學習出現之前，傳統的機器學習方法在面對下面這樣的圖片是難以判斷圖片的類別，它會先構造人工特征，比如圖像利用顏色和紋理、音頻采用音高和響度，文本則采用文本等，將它們輸入到淺層神經網絡，邏輯回歸等判別器來判別結果。構造好的人工特征的好壞很大程度上決定著判別器的判別結果。

為此，研究人員構建了 SIFT 、SURF 等優秀的人工特征，這些特征在 2012 年前確實表現非常好，但不如深度學習的表現。2006 年，Hinton 等人提出深度學習的概念，建立起人腦一樣具有深層結構的神經網絡，人腦神經元是有層次的，信號一層一層向前傳遞。比如在圖像任務中，深度學習會直接輸入原始圖像而不是人工構造好的特征，然后模型有層次地抽象特征和表達，最后的高級特征和模型輸出會高度相關，能夠得到很好的效果。

相較于深層學習，我們將傳統的機器學習叫做淺層學習。與淺層學習不同，深度學習能有效利用海量數據，隨著訓練數據數量的提升，深度學習方法能達到更高的準確率。

如果將深度學習所需的元素當做一架火箭，那數據就是深度學習的燃料，比如 ImageNet 比賽，可獲得數百萬張圖片進行分類;計算力是引擎，幾十年前由于大數據的限制，人們無法很好地訓練數據，而隨著技術的發展以及 GPU 服務器、集群、云計算的出現，數據已經能夠支撐大規模的計算，另外隨著人才的加入，計算力的更新也日益加快;算法是核心組件，例如 CNN、RNN;平臺是基礎，例如 Tensorflow, Caffe, Pytorch。

總體而言，深度學習帶來了更好的環境感知結果更好的環境特征表達，從而做出更加準確的決策。

深度學習需要非常好的算力，無人駕駛汽車的 CPU+GPU 需要 2000-3000 W，消耗非常驚人的。不過非常幸運的是，現在很多芯片都朝著高性能、低功耗的方向在發展，比如 FPGA 的功耗就比一般的 CPU、GPU 低很多，英偉達之后推出的 TX2，Google 的 TPU 等芯片的功耗更低，算力更強。

為此我們也設計了功耗低于 10w，能滿足車載模型所需算力的芯片，來加速無人駕駛汽車的落地。我們首創了深度學習專用 MPV 架構，其除了集成超過 13 億(全中國人口)納米級晶體管 (人類頭發的 1/3000)，能高度并行的數據讀寫、計算外，還為無人駕駛定制了大型計算模塊 。

（關于這一 MPV 架構更詳細的講解，請回看視頻 00：09：30 處，http://www.mooc.ai/open/course/577=aitechtalkqianwei）

智能芯片為無人駕駛帶來了更低的功耗和更高的算力，在其幫助下，車輛對緊急情況的響應速度比 F-1 賽車手還快，從而大大提高了無人駕駛的安全程度。

盡管人工智能的發展帶來了很多幫助，但是無人駕駛中仍然存在很多挑戰。我講一個和大家關系比較緊密但是容易被忽視的問題——對于問題的理解。

下面，為了說明「盡管我們有了很好的深度學習模型，但是這些模型的直接使用仍然不能很好解決我們現實中的問題」這一無人駕駛面臨的挑戰，我以視覺障礙物檢測、視覺車道檢測和復雜場景定位為例來進行闡述：

（關于視覺障礙物檢測、視覺車道檢測和復雜場景定位這三個案例的講解，請回看視頻 00： 11：55 處，http://www.mooc.ai/open/course/577=aitechtalkqianwei）

針對這些挑戰，我們采用的方法也很簡單——傳統 SLAM(simultaneous localization and mapping，也稱為 CML (Concurrent Mapping and Localization)方案，它是即時定位與地圖構建，或并發建圖與定位，是無人駕駛中無人車理解場景結構、獲取自身在周圍環境中的相對位置的核心技術。我們利用激光雷達、視覺傳感器以及所給數據，配合上 GPS 和 IMU 就可以做到厘米級、全天候的復雜場景定位，這在無人駕駛中還是非常重要的。

傳統 SLAM 一般使用基于特征點的模式(feature-based)，但這種模式并不能很好地適用于無人駕駛場景。

第一，由于場景重復性較大且視覺特征單調，可能出現大量特征點誤匹配現象;

第二，受制于光照弱、場景視覺特征貧乏，易于出現大范圍無特征點區域;

第三，無人駕駛狀況會有大量動態場景，而在動態物體上檢測出大量特征點，容易導致整體 SLAM 系統解算精度很差。

基于上面的原因，我們拋棄特征點，而采用基于場景結構化的 SLAM 解決方案，從而顯著提高了整套 SLAM 系統在弱視覺特征場景(光照條件差，場景視覺特征單調且大量重復等)中的高精度定位與建圖效果。

與傳統 SLAM 相比，它有以下優點：

第一，顯著規避在動態物體上找到大量視覺特征的問題，保證 SLAM 系統解算精度;

第二，在弱視覺特征區域也以場景結構的形式提取出了豐富的場景特征;

第三，相比較點匹配，結構匹配可以在很大程度上降低誤匹配概率。

盡管深度學習在不斷發展，讓我們覺得視覺識別可以實現語義信息非常充分的高級抽象特征，然而，簡單使用這些特征并不能提高 SLAM 的效果，我們需要真正找到問題的痛點來進行處理。

最后介紹一下創新工場等主辦的 AI Challenger 2018 全球 AI 挑戰賽，在這個比賽中你會使用到非常強的模型、很多的模型融合，并且還能獲得從更多角度去理解問題的思維方式。

（關于 AI Challenger 2018 全球 AI 挑戰賽的具體介紹，請回看視頻 00： 32：41 處，

以上就是本期嘉賓的全部分享內容。更多公開課視頻請到雷鋒網AI研習社社區(https://club.leiphone.com/)觀看。關注微信公眾號：AI 研習社(okweiwu)，可獲取最新公開課直播時間預告。

關于AI Challenger

「AI Challenger 全球 AI 挑戰賽」是面向全球人工智能人才的開源數據集和編程競賽平臺。今年的AI Challenger 2018 由創新工場、搜狗、美團點評、美圖聯合主辦，賽事獎金超過 300 萬人民幣，另外參賽者還有機會獲得聯合主辦方提供的工作、實習和投資。

AI Challenger 2018 數據集和競賽已于 8 月 29 日開放，將于11 月11 日截止，并于12 月 18-19 日進行競賽的總決賽答辯和頒獎。賽事具體信息請點擊http://ai.yanxishe.com/page/blogDetail/8792進行詳細了解。