神經網絡揭秘人類手勢的奧秘

記得上次有人翻過你的推特嗎?無論這樣的舉動是否伴有語言上的表達，你都知道它究竟是什么意思。

從行動到意義的轉換能夠無縫而直接，是因為我們被賦予了不用交談和傾聽就能表達和理解的能力。我們可以通過指向、模仿來增強敘事，通過有節奏的比劃強調并通過簡單的手指組合來傳達整個反應，從而引導對方的注意力。

雖然實際呈現的細微差別略有不同，但是通過肢體動作來輔助溝通的趨勢是普遍的。例如，在巴布亞新幾內亞，人們會指著他們的鼻子和頭，而在老撾，人們有時會用嘴唇。在加納，左手指向可能是禁忌，而在希臘或土耳其，用食指和拇指形成一個環以表示一切都OK可能會讓你陷入困境。

盡管手勢(gestures)多種多樣，但我們可以將其粗略地定義為用于重復或強調消息的動作(無論該消息是否被明確說出)。手勢是“代表行動”的動作，但它也可以傳達抽象或隱喻信息。它是我們從很小的時候就開始使用的工具，即使先天性失明的孩子在演講期間也會在某種程度上用肢體語言來進行表達。每個人都會這樣做。然而，我們很少有人停下來考慮將手勢視為一種研究現象——去思考它的神經生物學原理，它的發展，以及它在幫助我們理解他人行為方面的作用。隨著研究人員對神經網絡的探索逐步深入，人們發現手勢會引導我們的感知，就像感知會指導我們的行為。

手勢：先天傾向

Susan Goldin-Meadow在人類肢體語言領域做出了突出的貢獻，雖然，正如她所說，在20世紀70年代她首次對手勢產生興趣時，“手勢還沒有成為人們關注的領域。”少數人曾做過手勢方面的研究，但是幾乎完全是非言語行為研究的一個分支。此后，她開始研究手勢在學習和語言創造中的作用，包括聾兒在不接觸手語時創建的手勢系統。(手語不同于手勢，因為它構成了一個完全發展的語言系統。)目前，她是芝加哥大學的一名教授，管理著一個最著名的實驗室，研究手勢的產生和感知。

“這是一個關于未說出口的想法的美妙窗口，而且未說出口的想法往往是最有趣的。”她這樣說道，同時用了很多手勢來輔助表達。

?

(圖：芝加哥大學心理學教授Susan Goldin-Meadow協助創建了現代手勢研究領域。她的職業生涯始于探索手勢在學習和語言創造中的作用。)

許多接受過Goldin-Meadow培訓的研究人員現在正在芝加哥大學以外探索類似的問題。Miriam Novack在2016年攻讀了Goldin-Meadow的博士學位，作為西北大學的博士后，她研究的問題是手勢在人的一生中如何發展和演變。

根據大多數報道，Novack解釋說，沒有其他物種可以用“指向(point)”來傳達意義，甚至黑猩猩或猿類也不可以，除非它們是由人類飼養的。相比之下，人類嬰兒在說話之前經常這樣做，我們產生和理解符號行為的能力與語言同步發展。手勢也是課堂上的一個有價值的工具，它可以幫助幼兒將動詞延展到新的語境或解決數學方程式。“但是，當孩子們開始明白我們的手部動作是用于交際時，并不一定清楚它們是信息的一部分。”

當孩子們找不到表達自己的詞語時，他們會通過雙手來“交談”。Novack發現，嬰兒從肢體行動中獲得意義的能力隨著年齡的增長而增加。成年人如此自然地做到這一點，因而很容易忽略——將比劃的形狀和軌跡的映射意義放在一起并不是一件容易的事。

手勢可能是簡單的動作，但它們不是孤立地運作。研究表明，手勢不僅可以增強語言，還有助于語言的習得。事實上，兩者可能共享一些相同的神經系統。人們在一生中接觸到的手勢體驗也可以幫助我們從別人的動作中汲取意義。但是，單個細胞或整個神經網絡是否能夠調解我們破譯他人行為的能力，這一點仍有爭議。

大腦：體驗認知

Noam Chomsky是語言學和認知科學領域的著名學者，長期以來一直認為語言和感知行為系統是不同的實體—— 其不需要在手勢交流中協同工作，即使它們都是傳達和解釋象征思想的手段。研究人員尚未完全理解大腦中語言的組織方式，因而這個問題尚未得到解決。但許多科學家，如Anthony Dick認為這兩個功能依賴于一些相同的大腦結構。

?

(圖：佛羅里達國際大學的神經科學家Anthony Dick發現手勢和語言依賴于某些相同的大腦結構。)

Dick及其同事使用功能磁共振成像(fMRI)掃描大腦活動，證明了手勢與語言處理能夠協同工作。所涉及的具體領域和激活程度隨年齡而變化，這表明年輕的大腦仍在磨練其手勢 - 語言整合技能并改善區域之間的聯系。用Dick的話說，“手勢本質上是更廣泛的語言系統中的一個尖頂”，它集成了語義處理區域和感知行為區域。但是，語言本身在多大程度上是一種感知行為經驗，一種了解依賴于感官印象和動作的世界的方式?

Manuela Macedonia最近剛取得了語言學碩士學位，她注意到一個學習意大利語學生群體中反復出現的模式：無論他們重復多少次同樣的話，他們仍然無法結結巴巴地說出一個連貫的句子。在教學過程中，她讓學生聽，寫，練習和重復，正如Chomsky所倡導的那樣，但這還不夠。有些東西缺失了。Macedonia正在接近一個聽起來很像Dick的假設：這種語言不過是模塊化。

?

(圖：Manuela Macedonia表示，通過將手勢與運動和感官體驗聯系起來，手勢體驗可以豐富人們對言語知識的理解。)

Macedonia認為，當孩子們學習第一語言時，他們會用整個身體吸收信息。例如，“洋蔥”這個詞與所有五種感官緊密相連：洋蔥具有球根狀，紙質皮層沙沙作響，苦味以及切片時產生催淚的氣味。甚至像“喜悅”這樣的抽象概念也有多重感官成分，比如微笑，歡笑和歡樂。在某種程度上，認知是“呈現(embodied)”——大腦的活動可以通過身體的行為和經驗來改變，反之亦然。因此，如果學生只是傾聽、寫作、練習和重復，那么學習外國詞語就不會成功，因為這些口頭經驗被剝奪了他們的感官聯想。

Macedonia發現，通過執行語義相關手勢來強化新單詞的學習者能夠改善記憶。不要簡單地重復“橋”這個詞：在你背誦時用雙手做一個拱門，這樣做可以使大腦保留更深的記憶，因為單詞是一生中獲得的經驗集群的標簽。

多感官學習允許像“洋蔥”這樣的詞語生活在大腦中的多個位置 - 它們分布在整個網絡中。如果一個節點由于忽略而衰減，則另一個活動節點可以恢復它，因為它們都已連接。“每個節點都知道其他節點知道什么。”Macedonia說。

神經：體驗連接

用手勢來豐富語言的力量僅代表手勢與感官體驗相結合的一種方式，行為產生和感知也是如此。Elizabeth Wakefield認為，手勢和理解背后的神經系統受到我們過去產生相同動作的經驗的影響。

?

(圖：芝加哥Loyola大學的神經科學家Elizabeth Wakefield是最早使用腦部掃描研究兒童和成人手勢感知發展的人之一。)

Wakefield研究日常行動如何幫助學習和影響認知。在深入研究這些問題之前，她需要了解手勢處理是如何發展的。為此，她進行了一項fMRI研究，該研究是首批檢查兒童和成人手勢感知的研究之一。

參與者觀看一則視頻，視頻中一位女演員在說話的同時做手勢，研究發現，參與者的視覺和語言處理區域并不是唯一的活躍區域，與動作相關的腦區域也是活躍的。區別在于，成年人在這些地區表現出比兒童更多的活動，Wakefield認為這是因為成年人在做出類似動作方面有更多經驗(兒童在說話時傾向于減少姿勢)。

Wakefield的研究并不是唯一證據。無數實驗證明，芭蕾、籃球、彈吉他等動作都有類似的動作“鏡像”現象。在這種情況下，當技術人員觀察他們的工藝由他人執行時，其感覺運動區域較普通人而言更活躍。(矛盾的是，一些實驗觀察到完全相反的效果：專家的大腦反應比非專家少。但研究人員認為，在這些情況下，經驗使得他們的大腦在處理動作方面更有效率。 )

Gallaudet大學的助理教授Lorna Quandt研究了聾人和聽力障礙者中的這些現象。她使用腦電圖(EEG)將手勢分解為感覺運動組件，以顯示某些行為的記憶會改變我們預測和感知他人手勢的方式。

?

(圖：Gallaudet大學助理教授Lorna Quandt研究了某些行為的經驗如何影響我們對他人手勢的看法。)

在一項研究中，她和同事記錄了成年參與者的EEG模式，同時處理了不同顏色和重量的物體，參與者的大腦反應就像他們自己操縱物品一樣。此外，其神經活動反映了他們自己的經驗：腦電圖模式表明他們對物體是重物還是輕物的回憶可預測地影響了他們對這個人正在做什么的看法。

“當我看到你表演手勢時，我不只是處理我所看到你做的事情，我正在處理我認為你接下來要做的事。”大腦會預測感覺運動經驗，即使只是在毫秒間。

究竟需要多少行為經驗?根據Quandt的實驗，對于在色彩關聯方面變得更專業的直接任務，只需一次觸覺試驗就足夠了。根據Dick的觀點，大腦運動區域即使在人類不能活動但觀察其他人的運動(一種被稱為“觀察 - 執行匹配”的現象)的情況下也很活躍。仍有爭議的是這些相同地區從其他人的行為中獲取意義的程度。更有爭議的是什么機制將成為通過感覺運動激活加強理解的基礎。這是跨多個大腦區域的協調活動，還是可以歸結為單個細胞的活動?

鏡像神經元或網絡？

一個多世紀以前，心理學家Walter Pillsbury寫道：“心靈中沒有任何東西不能用行為來解釋。”這種說法在鏡像神經元理論中有其現代化的表現，手勢和言語可以通過關鍵大腦區域中單個細胞的激活來解釋。然而，關于鏡像神經元在日常行為中的作用的現有證據可能已被過度闡釋。

鏡像神經元理論起源于20世紀90年代，研究人員發現，當動物做出一些目標導向的動作如抓取時，特定神經元會發生反應。科學家們驚訝地發現，當猴子被動地觀察到一個實驗者做出類似的動作時，同樣的細胞也會被激活。這似乎是觀察 - 執行匹配的明顯案例，只不過是在單細胞層面。

研究人員提出了一些可能的解釋：也許這些“鏡像神經元”只是簡單地傳達有關動作的信息，以幫助猴子選擇合適的運動反應。例如，如果我向你伸出手來發起握手，你的自然反應可能是反映我并做同樣的事情。

隨著歲月的流逝，有證據表明人類的機制相似，鏡像神經元則涉及一系列現象，包括同理心、模仿、利他主義和自閉癥譜系障礙等。此外，鏡像神經元也與語言和手勢相關聯。

加州大學認知與語言科學教授Gregory Hickok是一位堅定的鏡像神經元評論家，他堅持認為，幾十年前，鏡像神經元理論的創始人將其重心放在了錯誤的解釋之上。在他看來，鏡像神經元值得徹底研究，但精確關注它們在言語和行動理解中的作用阻礙了研究的進展。他認為，觀察 - 執行匹配更可能涉及到運動規劃而不是理解。

據荷蘭神經科學研究所社會腦實驗室負責人Valeria Gazzola說，即使那些繼續支持行動理解理論的人也開始踩剎車。雖然她是鏡像神經元理論的倡導者，但Gazzola承認，對于“理解”行動的實際意義并沒有達成共識。“仍有一些變化和誤解，”她說。雖然鏡像神經元是認知的重要組成部分，但“無論它們是否解釋了整個故事，我都會說這可能不是真的。”

最初，大多數人類鏡像的證據來自于使用諸如fMRI、EEG、腦磁圖等技術同時探測數百萬個神經元活動的研究。研究人員已經開始嘗試像fMRI適應這樣的技術，他們可以用來分析特定皮層區域的細胞亞群。但他們很少有機會從人腦中的單個細胞中直接測量，這將提供鏡像神經元活動的最直接證據。

“我毫不懷疑鏡像神經元的存在，”Hickok說，“但所有這些腦成像和大腦激活研究都是相關的。他們沒有告訴你關于因果關系的事情。“

此外，由于運動障礙而無法移動或說話的人，如嚴重的腦癱，在大多數情況下仍能感知言語和手勢。他們不需要功能完備的運動系統(和鏡像神經元)來執行需要動作理解的任務。Hickok說，即使在猴子身上，也沒有證據表明鏡像神經元的損傷會導致動作觀察中的缺陷。

由于關于個體細胞的說法仍然難以憑經驗證實，今天大多數研究者都會仔細斟酌他們的觀點。猴子可能有“鏡像神經元”，但人類有“鏡像系統”。(據Hickok所述，即使是針對猴子的研究也更傾向于關注網絡中的鏡像效果和系統)。

Quandt認為自己是一名鏡像神經元中間人，根據她的腦電圖實驗，沒有聲稱不同的經歷如何改變個體細胞的功能。也就是說，她“完全相信”人類感覺運動系統的某些部分參與解析和處理其他人的手勢。“我百分百肯定這是真的。”她說。研究人員可能無法確定幫助我們與身體進行交流和學習的確切細胞，但多感官系統之間的重疊是不可否認的。手勢使我們能夠表達自己，它也塑造了我們理解和解釋他人的方式。引用Quandt的一篇論文：“其他人的行為是通過自我的視角來感知的。”