中國(guó)首款異構(gòu)融合類腦計(jì)算芯片“天機(jī)芯”登Nature封面

清華大學(xué)開發(fā)出全球首款異構(gòu)融合類腦計(jì)算芯片 ——“天機(jī)芯”，由該芯片驅(qū)動(dòng)的的 “無(wú)人駕駛自行車” 登上了最新一期Nature封面!

這項(xiàng)研究由依托精密儀器系的清華大學(xué)類腦計(jì)算研究中心施路平教授團(tuán)隊(duì)進(jìn)行，演示了一輛由新型人工智能芯片驅(qū)動(dòng)的自動(dòng)駕駛自行車。

基于此研究成果的論文 “面向人工通用智能的異構(gòu)天機(jī)芯片架構(gòu)”(Towards artificial general intelligence with hybrid Tianjic chip architecture)作為封面文章登上了8月1日《自然》(Nature)，實(shí)現(xiàn)了中國(guó)在芯片和人工智能兩大領(lǐng)域《自然》論文零的突破。

天機(jī)芯片5x5陣列擴(kuò)展板

現(xiàn)階段，發(fā)展人工通用智能的方法主要有兩種：一種是以神經(jīng)科學(xué)為基礎(chǔ)，盡量模擬人類大腦;另一種是以計(jì)算機(jī)科學(xué)為導(dǎo)向，讓計(jì)算機(jī)運(yùn)行機(jī)器學(xué)習(xí)算法。二者各有優(yōu)缺點(diǎn)，目前將兩者融合被公認(rèn)為最佳解決方案之一。發(fā)展一個(gè)二者融合的計(jì)算平臺(tái)將是推動(dòng)融合的一個(gè)關(guān)鍵。新型芯片融合了兩條技術(shù)路線，這種融合技術(shù)有望提升各個(gè)系統(tǒng)的能力，推動(dòng)人工通用智能的研究和發(fā)展。

這種混合芯片被命名為“天機(jī)芯”(Tianjic)，有多個(gè)高度可重構(gòu)的功能性核，可以同時(shí)支持機(jī)器學(xué)習(xí)算法和現(xiàn)有類腦計(jì)算算法。

研究人員用一個(gè)自動(dòng)行駛自行車系統(tǒng)驗(yàn)證了這一混合芯片的處理能力。

這是一個(gè)異構(gòu)可擴(kuò)展人工通用智能開發(fā)演示平臺(tái)，利用一塊天機(jī)芯片，展示了自行車的自平衡、動(dòng)態(tài)感知、目標(biāo)探測(cè)、跟蹤、自動(dòng)避障、過(guò)障、語(yǔ)音理解、自主決策等功能。

裝有天機(jī)芯的無(wú)人駕駛自行車

試驗(yàn)中，無(wú)人自行車不僅可以識(shí)別語(yǔ)音指令、實(shí)現(xiàn)自平衡控制，還能對(duì)前方行人進(jìn)行探測(cè)和跟蹤，并自動(dòng)避障。

S型路線跟蹤

語(yǔ)音控制 “左轉(zhuǎn)”

語(yǔ)音控制 “直行和加速”

自主避障

施路平教授表示，這只是非常初步的一個(gè)研究，但這項(xiàng)研究或能為面向人工通用智能計(jì)算平臺(tái)的進(jìn)一步發(fā)展起到促進(jìn)作用。

接下來(lái)，新智元帶來(lái)對(duì)這一突破性研究的詳細(xì)解讀，以及對(duì)施路平團(tuán)隊(duì)的采訪。

“天機(jī)芯”：支持計(jì)算機(jī)科學(xué)和類腦計(jì)算融合的AGI之路

一般認(rèn)為，實(shí)現(xiàn)通用人工智能(AGI)有兩條路：分別為計(jì)算機(jī)科學(xué)導(dǎo)向和神經(jīng)科學(xué)導(dǎo)向。由于這兩條路的思路、理念和實(shí)現(xiàn)方案存在根本差異，分別依賴于不同開發(fā)平臺(tái)，彼此互不兼容，這給AGI技術(shù)的開發(fā)造成很大阻礙。目前迫切需要一個(gè)同時(shí)支持兩種方法的通用平臺(tái)。

施路平團(tuán)隊(duì)開發(fā)的“天機(jī)芯”(Tianjic芯片)就做到了這一點(diǎn)，可以為AGI技術(shù)提供一個(gè)混合協(xié)同的開發(fā)平臺(tái)。

Tianjic芯片和測(cè)試板

Tianjic芯片采用眾核架構(gòu)、可重構(gòu)功能核模塊和混合編碼方案的類數(shù)據(jù)流控制模式，不僅可以適應(yīng)基于計(jì)算機(jī)科學(xué)的機(jī)器學(xué)習(xí)算法，還可以輕松實(shí)現(xiàn)受大腦原理啟發(fā)的神經(jīng)計(jì)算模型和多種編碼方案。

天機(jī)異構(gòu)融合類腦計(jì)算架構(gòu)

僅用一個(gè)芯片，就可以在無(wú)人駕駛自行車系統(tǒng)中同時(shí)處理多種算法和模型，實(shí)現(xiàn)實(shí)時(shí)目標(biāo)檢測(cè)、跟蹤、語(yǔ)音控制、避障和平衡控制。這一研究預(yù)計(jì)可以為通用性更高的硬件平臺(tái)發(fā)展開拓新的道路，促進(jìn)AGI技術(shù)的開發(fā)。

鑒于目前機(jī)器學(xué)習(xí)和神經(jīng)科學(xué)的進(jìn)步，AGI系統(tǒng)至少應(yīng)具有以下特征：

能夠支持在神經(jīng)網(wǎng)絡(luò)中進(jìn)行豐富的空間、時(shí)間和時(shí)空關(guān)系的表達(dá)。支持分層、多粒度和多域網(wǎng)絡(luò)拓?fù)浼軜?gòu)，不限于某一專門的網(wǎng)絡(luò)結(jié)構(gòu)。支持各種模型，算法和編碼方案。支持多個(gè)專用神經(jīng)網(wǎng)絡(luò)的交織合作，這些神經(jīng)網(wǎng)絡(luò)可能是為并行處理不同任務(wù)而設(shè)計(jì)的。這些特征需要在一個(gè)通用化的平臺(tái)中高效地運(yùn)行，即能夠在統(tǒng)一框架中實(shí)現(xiàn)對(duì)主流的人工神經(jīng)網(wǎng)絡(luò)(ANN)以及受神經(jīng)科學(xué)啟發(fā)的模型和算法的支持。

圖1：實(shí)現(xiàn)AGI開發(fā)的混合路線

為了支持這些功能，團(tuán)隊(duì)開發(fā)了一種跨范式計(jì)算平臺(tái)，可以適應(yīng)面向計(jì)算機(jī)科學(xué)和神經(jīng)科學(xué)的神經(jīng)網(wǎng)絡(luò)(圖1)，兼容各種神經(jīng)模型和算法，尤其是基于生物學(xué)的(如脈沖神經(jīng)網(wǎng)絡(luò)，即SNN)要素。

通常，ANN和SNN在信息表示、計(jì)算原理和記憶組織方面具有不同的建模方式(如圖2a所示)。二者最大的差異是，ANN以精確的多位值來(lái)處理信息，而SNN使用二進(jìn)制脈沖序列。ANN神經(jīng)元和SNN神經(jīng)元之間的實(shí)現(xiàn)比較如圖2b所示。

另一方面，ANN和SNN神經(jīng)元之間也存在一些相似之處，這就為模型間的融合留下了空間。通過(guò)對(duì)ANN和SNN的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行詳細(xì)比較，將計(jì)算模型解析并對(duì)應(yīng)到相關(guān)的神經(jīng)元功能模塊上 - 即軸突、突觸、樹突和胞體，從而構(gòu)建一個(gè)跨范式的統(tǒng)一神經(jīng)元方案(如圖2c所示)。團(tuán)隊(duì)設(shè)計(jì)了同時(shí)適用兩種方案的突觸和樹突，而軸突和體細(xì)胞通過(guò)獨(dú)立重構(gòu)來(lái)改變功能。

圖2 Tianjic芯片設(shè)計(jì)示意圖

圖2d是一個(gè)完整的單功能核(FCore)示意圖，包括軸突、突觸、樹突、胞體和路由部分。為了實(shí)現(xiàn)深度融合，幾乎整個(gè)FCore都可以重新配置，以便在不同模式下實(shí)現(xiàn)高利用率。FCore能夠涵蓋大多數(shù)ANN和SNN使用的線性積分和非線性變換操作。該芯片上的FCores以二維2D網(wǎng)格方式排列，如圖2e和2f所示。

Tianjic芯片和其后端布局圖如圖3a所示。芯片由156個(gè)?FCore?組成，包含大約40000個(gè)神經(jīng)元和1000萬(wàn)個(gè)突觸。Tianjic芯片采用28納米半導(dǎo)體工藝制造，面積為3.8×3.8平方毫米。每個(gè)獨(dú)立模塊占用的芯片面積，包括軸突，電流，信號(hào)，路由器，控制器和其他芯片開銷，如圖3b所示。由于資源可以重復(fù)使用，用以兼容SNN和ANN模式的區(qū)域僅占總面積的3% 左右。FCore的功耗分解如圖3c所示。

圖3芯片評(píng)估和建模摘要示意圖

Tianjic能夠支持多種神經(jīng)網(wǎng)絡(luò)模型，包括基于神經(jīng)科學(xué)的網(wǎng)絡(luò)(如SNN，以及基于生物學(xué)啟發(fā)的神經(jīng)網(wǎng)絡(luò))和基于計(jì)算機(jī)科學(xué)的網(wǎng)絡(luò)(如MLP，CNN和RNN等)。圖3d所示為在Tianjic芯片上測(cè)試不同網(wǎng)絡(luò)模型與通用處理單元的測(cè)試結(jié)果。

如圖3e所示，具有樹突中繼的混合神經(jīng)網(wǎng)絡(luò)可突破傳統(tǒng)神經(jīng)形態(tài)芯片F(xiàn)an in/fan out的限制，避免SNN網(wǎng)絡(luò)的精度損失(+11.5%)。采用這種混合模式增加的額外開銷小到可以忽略不計(jì)，因?yàn)門ianjic可以自然地在FCore中實(shí)現(xiàn)異構(gòu)轉(zhuǎn)換。使用Tianjic還可以探索更具生物學(xué)意義的認(rèn)知模型(如圖3f所示)。

語(yǔ)音控制，自動(dòng)避障，這輛無(wú)人自行車很秀

為了證明構(gòu)建類腦跨范式智能系統(tǒng)的可行性，團(tuán)隊(duì)利用無(wú)人駕駛自行車發(fā)展了一個(gè)異構(gòu)可擴(kuò)展人工通用智能開發(fā)展示平臺(tái)，在一塊Tianjic芯片內(nèi)并行部署并同時(shí)運(yùn)行多個(gè)專用網(wǎng)絡(luò)。

實(shí)驗(yàn)中的自行車配備了多種算法和模型，能夠執(zhí)行實(shí)時(shí)物體檢測(cè)、跟蹤，語(yǔ)音命令識(shí)別、加速、減速、躲避障礙、控制平衡和決策等任務(wù)(圖4a)。

自動(dòng)行駛自行車演示平臺(tái)

要實(shí)現(xiàn)這些任務(wù)，需要克服三個(gè)主要挑戰(zhàn)：

首先，在室外自然環(huán)境中成功檢測(cè)并平滑跟蹤移動(dòng)目標(biāo)、跨越減速帶，并在必要時(shí)自動(dòng)避開障礙物。

第二，需實(shí)時(shí)響應(yīng)平衡控制、語(yǔ)音命令和視覺感知產(chǎn)生實(shí)時(shí)電機(jī)控制信號(hào)，以保持自行車在正確的方向上運(yùn)動(dòng)。

第三，實(shí)現(xiàn)多種信息的集成處理和快速?zèng)Q策。

圖4：基于Tianjic芯片多模型整合平臺(tái)的無(wú)人駕駛自行車各項(xiàng)測(cè)試結(jié)果

為了完成這些任務(wù)，團(tuán)隊(duì)開發(fā)了幾個(gè)神經(jīng)網(wǎng)絡(luò)，包括用于圖像處理和物體檢測(cè)的CNN，用于人類目標(biāo)跟蹤的CANN，用于語(yǔ)音命令識(shí)別的SNN，用于姿態(tài)平衡和方向控制的MLP，還有用于決策控制的混合網(wǎng)絡(luò)。

由于芯片的分散式架構(gòu)和任意路由拓?fù)洌琓ianjic芯片平臺(tái)可以實(shí)現(xiàn)所有神經(jīng)網(wǎng)絡(luò)模型的并行化運(yùn)行，并實(shí)現(xiàn)多個(gè)模型之間的無(wú)縫通信，使自行車能夠順利完成這些任務(wù)。圖4c顯示響應(yīng)不同語(yǔ)音命令的輸出信號(hào)。

圖4d顯示自行車在跟蹤、避障和和 “S形” 曲線行進(jìn)時(shí)的輸出控制信號(hào)。圖4e為基于物理量度的不同速度下的車輛姿態(tài)和轉(zhuǎn)向控制的學(xué)習(xí)情況。

Tianjic芯片可以同時(shí)支持基于計(jì)算機(jī)科學(xué)的機(jī)器學(xué)習(xí)算法和基于神經(jīng)科學(xué)的生物學(xué)模型，可以自由地集成各種神經(jīng)網(wǎng)絡(luò)和混合編碼方案，實(shí)現(xiàn)多網(wǎng)絡(luò)之間的無(wú)縫通信，包括SNN和ANN。

總而言之，本文介紹了一種新穎的類腦計(jì)算的芯片架構(gòu)，通過(guò)將交叉范式模型和算法集成到一個(gè)平臺(tái)上來(lái)實(shí)現(xiàn)靈活性和擴(kuò)展性。希望這一研究成果能夠加速AGI的發(fā)展，推動(dòng)新的實(shí)際應(yīng)用的發(fā)展。

7年磨煉 “天機(jī)芯”，自行車是一個(gè)五臟俱全的類腦計(jì)算平臺(tái)

對(duì)于這項(xiàng)研究中大家比較關(guān)心的幾個(gè)問(wèn)題，清華大學(xué)精密儀器系教授施路平、清華大學(xué)精密儀器系副研究員裴京、加州大學(xué)圣塔芭芭拉分校博士后鄧?yán)诖硌芯繄F(tuán)隊(duì)接受了媒體的采訪。

問(wèn)：研究中遇到的最大的挑戰(zhàn)是什么？

施路平：我們是從2012年就開始孕育這項(xiàng)研究，遇到了很多的挑戰(zhàn)，但是我們認(rèn)為，最大挑戰(zhàn)不來(lái)自于科學(xué)、也不來(lái)自技術(shù)，而是在于學(xué)科的分布不利于我們解決這樣的一個(gè)問(wèn)題，所以我們認(rèn)為多學(xué)科深度融合是解決這個(gè)問(wèn)題的關(guān)鍵。所以在這項(xiàng)研究當(dāng)中，我們組成了一個(gè)多學(xué)科融合的團(tuán)隊(duì)，由七個(gè)院系組成了一個(gè)類腦計(jì)算研究中心，覆蓋腦科學(xué)、計(jì)算機(jī)、微電子、電子、精儀、自動(dòng)化、材料等。在這里，特別感謝清華大學(xué)校各位領(lǐng)導(dǎo)對(duì)跨學(xué)科建設(shè)的大力支持，這是本項(xiàng)目取得成功的關(guān)鍵。

鄧?yán)冢涸谛酒矫妫龅降淖畲筇魬?zhàn)是如何實(shí)現(xiàn)深度和高效的融合。我強(qiáng)調(diào)兩點(diǎn)：

第一，是深度和高效。目前比較火的神經(jīng)網(wǎng)絡(luò)模型有兩類，一類是從計(jì)算機(jī)科學(xué)來(lái)的，一類是從腦科學(xué)來(lái)的。這兩種模型的語(yǔ)言有很大不同，它們有不一樣的計(jì)算原理，有不一樣的信號(hào)編碼方式，也有不一樣的應(yīng)用場(chǎng)景，所以它們所需要的計(jì)算架構(gòu)和存儲(chǔ)架構(gòu)是非常不一樣的，哪怕設(shè)計(jì)的優(yōu)化目標(biāo)都是很不一樣的，這一點(diǎn)可以從目前我們能看到的一些深度學(xué)習(xí)加速器，還有一些神經(jīng)形態(tài)芯片，它們基本上設(shè)計(jì)體系都是獨(dú)立的。因此可以看出，深度融合并不簡(jiǎn)單，并不是說(shuō)設(shè)計(jì)一個(gè)深度學(xué)習(xí)加速模塊、再設(shè)計(jì)一個(gè)神經(jīng)形態(tài)模塊、再把它們拼到一起就可以了，這樣是行不通的，我們很難確定每部分的比例是多少，因?yàn)楝F(xiàn)實(shí)中的應(yīng)用是復(fù)雜多變的，這不是高效的。

第二，如果構(gòu)建一個(gè)異構(gòu)的混合模型，可能還需要在兩個(gè)模塊之間有專門的信號(hào)轉(zhuǎn)換單元，這又會(huì)有很多額外的成本，所以，如何設(shè)計(jì)一套芯片架構(gòu)來(lái)兼容這兩類模型，而且又可以靈活的配置和具有高性能，這也是我們芯片設(shè)計(jì)中的挑戰(zhàn)。

問(wèn)：為什么選擇無(wú)人自行車作為一個(gè)切入點(diǎn)？

施路平：自行車是為我們芯片服務(wù)的。當(dāng)時(shí)我們經(jīng)過(guò)了反復(fù)的深入討論，確定要開發(fā)一款什么樣的應(yīng)用平臺(tái)來(lái)展示我們這樣一個(gè)異構(gòu)融合新的功能，這是一件不容易的事情。我們有四點(diǎn)考量：

第一，我們希望這是一個(gè)有點(diǎn)類似大腦的一個(gè)多模態(tài)系統(tǒng)，而不是像現(xiàn)在AI的一些做算法，只做單一應(yīng)用。我們希望這是一個(gè)覆蓋感知決策和執(zhí)行的完整的鏈路，這樣才能夠給我們異構(gòu)融合的多種模型提供支撐，所以這是與單一模型不同的。

第二，我們希望這個(gè)也是能夠與真實(shí)環(huán)境交互的，而不是說(shuō)在機(jī)房里面做一下實(shí)驗(yàn)或者在電腦里做一套仿真。我們希望它能夠是一個(gè)真實(shí)環(huán)境交互。

第三，我們希望這個(gè)系統(tǒng)它最好是對(duì)我們的處理芯片是有功耗和實(shí)時(shí)性要求的，這樣才能夠體現(xiàn)我們專用芯片的優(yōu)勢(shì)。

第四，是因?yàn)槲覀円ㄟ^(guò)做反復(fù)的實(shí)驗(yàn)，我們希望這個(gè)系統(tǒng)是可控的、可擴(kuò)展的。

通過(guò)考量上述幾點(diǎn)，我們最終選擇了無(wú)人自行車平臺(tái)，讓它有語(yǔ)音識(shí)別的功能、有目標(biāo)探測(cè)追蹤的功能，可以運(yùn)動(dòng)控制、避障、自主決策。所以它看起來(lái)雖然很小，但實(shí)際上是一個(gè)五臟俱全的小型的類腦計(jì)算平臺(tái)。

問(wèn)：類腦可以超越人腦嗎？

施路平：大家對(duì)于類腦技術(shù)能否超越人腦這方面很感興趣。實(shí)際上這就和大家始終在問(wèn)電腦如何來(lái)超越人腦一樣。

電腦早就超越了人腦，只是說(shuō)在哪些方面。我們大家現(xiàn)在認(rèn)為天才所具有的那些我們嘆為觀止的能力，其實(shí)現(xiàn)在的電腦是很容易來(lái)實(shí)現(xiàn)的，比如說(shuō)記得快、記得準(zhǔn)、算得快、算得準(zhǔn)等等，在這些方面，對(duì)于計(jì)算機(jī)來(lái)講都是小兒科。

但是目前在很多智能的層次，特別是對(duì)于不確定性的問(wèn)題，對(duì)于比如說(shuō)學(xué)習(xí)、自主決策等很多領(lǐng)域，計(jì)算機(jī)和人腦還是有相當(dāng)大的距離。

計(jì)算機(jī)會(huì)逐漸的縮小差距，至于最后能否全面的超過(guò)人腦，我個(gè)人覺得從技術(shù)的層面會(huì)越來(lái)越多，因?yàn)橛?jì)算機(jī)的發(fā)展有一個(gè)特點(diǎn)，就是它從不退步，它一直往前走。但是我相信我們?nèi)耸怯兄腔鄣模覀儠?huì)在發(fā)展的過(guò)程當(dāng)中來(lái)逐漸的完善我們對(duì)于研究領(lǐng)域的一個(gè)理解，來(lái)把控它的風(fēng)險(xiǎn)，因?yàn)槲蚁嘈湃藗冎詫?duì)這個(gè)問(wèn)題重視，是因?yàn)槲覀儞?dān)心會(huì)不會(huì)像科幻電影說(shuō)的那樣毀滅人類。

實(shí)際上，能毀滅人類的東西我們?cè)缇鸵呀?jīng)造出來(lái)了，就是核武器，但是為什么現(xiàn)在它沒(méi)有毀滅人類?是因?yàn)槲覀冋莆账⑽覀兛梢钥刂扑Ｏ耦惸X計(jì)算、強(qiáng)人工智能、人工通用智能這些東西，我們相信人類可以很好地利用我們的智慧來(lái)規(guī)范它的發(fā)展的路徑，來(lái)讓它造福于我們?nèi)祟悾畲笙薅鹊谋苊饽切╋L(fēng)險(xiǎn)。

本文合作單位包括北京靈汐科技有限公司、北京師范大學(xué)、新加坡科技與設(shè)計(jì)大學(xué)和美國(guó)加州大學(xué)圣芭芭拉分校。