人工智能引發(fā)的奇跡恐怕早就不再是新聞了,這熱潮當(dāng)然是在去年三月李世乭與AlphaGo(阿法狗)的對(duì)弈開(kāi)始廣為世人知道。前天(10月19日),一篇Nature重磅論文“Mastering the game of Go without human knowledge”引發(fā)國(guó)內(nèi)廣泛熱議,人工智能再次刷新人們的認(rèn)識(shí)。
新一代的AlphaGo Zero,被翻譯為阿法元,不依賴于任何人類(lèi)的棋譜,不參考人類(lèi)任何先驗(yàn)知識(shí),完全靠自己強(qiáng)化學(xué)習(xí)(reinforcement learning)和參悟,它花三天時(shí)間就可以自己左右互博490萬(wàn)棋局。阿法元棋藝增長(zhǎng)遠(yuǎn)超阿法狗,以100:0,百戰(zhàn)百勝。此前,阿法狗曾花了幾個(gè)月時(shí)間,學(xué)習(xí)人類(lèi)三千萬(wàn)棋局,才打敗人類(lèi)。
阿法元不再被人類(lèi)認(rèn)知所局限,能夠發(fā)現(xiàn)新知識(shí),開(kāi)發(fā)新策略,它讓深度學(xué)習(xí)用于復(fù)雜決策更加方便可行。美國(guó)杜克大學(xué)人工智能專(zhuān)家陳怡然說(shuō):我覺(jué)得最有趣的是證明了人類(lèi)經(jīng)驗(yàn)由于樣本空間大小的限制,往往都收斂于局部而不自知(或無(wú)法發(fā)現(xiàn)),機(jī)器學(xué)習(xí)可以突破這個(gè)限制。
無(wú)怪乎紐約客最近的封面文章《人類(lèi)未來(lái)只能給機(jī)器人打下手》,并配了一幅人類(lèi)向機(jī)器人乞討的場(chǎng)景的圖片。
這篇文章,就著重說(shuō)一下,人類(lèi)要向人工智能學(xué)習(xí)的三堂課。
深度學(xué)習(xí)
事實(shí)上,帶動(dòng)這波人工智能背后的關(guān)鍵技術(shù)——深度學(xué)習(xí)(deep learning),早在2012年就開(kāi)始在各種國(guó)際舞臺(tái)上發(fā)光發(fā)熱。在全球最知名的ImageNet機(jī)器視覺(jué)舞臺(tái)上,由深度學(xué)習(xí)之父Hinton領(lǐng)軍的團(tuán)隊(duì),首次參賽就讓原本停滯難以再進(jìn)步的正確率大幅提升。(2010為72%,2011年為74%,2012年為85%)。不僅如此,這個(gè)數(shù)字進(jìn)步的速度令人咋舌,在短短三年的時(shí)間內(nèi),微軟研究院用了高達(dá)152層的神經(jīng)網(wǎng)絡(luò)讓正確率提升到95.06%,這個(gè)數(shù)字背后的意義在于,機(jī)器終于跨過(guò)了人類(lèi)視覺(jué)的94.9%的壁壘。
從此之后,深度學(xué)習(xí)就一再創(chuàng)造奇跡,2017年在語(yǔ)音轉(zhuǎn)文字上,以95.51%的正確率贏過(guò)了人力速記員的單詞正確率94.9%(這數(shù)字的確跟視覺(jué)的壁壘是一樣的,人類(lèi)為何常�?ㄔ�95%這關(guān),值得研究)。DeepMind團(tuán)隊(duì)則是在唇語(yǔ)領(lǐng)域上以超高的93.4%贏過(guò)了人類(lèi)79.6%的水平。來(lái)自卡耐基梅隆大學(xué)操刀的Libratus,也在一對(duì)一不限注的德州撲克國(guó)際競(jìng)賽中,擊敗所有的人類(lèi)參賽者。
在看到這一波波的機(jī)器的勝績(jī)之后,大家首先會(huì)擔(dān)憂工作是否會(huì)不保,但是讓我們今天先把這件事放一邊,我們從算法原理(放心,后方無(wú)致人昏睡的數(shù)學(xué))的角度來(lái)看看,到底是什么關(guān)鍵點(diǎn)造就了這些成果。身為深度學(xué)習(xí)的從業(yè)人員的我,有時(shí)覺(jué)得這些神經(jīng)網(wǎng)絡(luò)不僅是單單模仿人類(lèi),在某些地方甚至是人類(lèi)沒(méi)有做到位的部分,卻能在深度學(xué)習(xí)身上看到。
第一堂課:分享、共享
深度學(xué)習(xí)是從機(jī)器視覺(jué)領(lǐng)域開(kāi)始展露頭角的,可是要知道,神經(jīng)網(wǎng)絡(luò)(neural network)這項(xiàng)技術(shù)至今已經(jīng)將近80年了。我依然記憶猶新的是我之前在教授機(jī)器學(xué)習(xí)的課程中,常常告訴學(xué)生神經(jīng)網(wǎng)絡(luò)的權(quán)重又多又復(fù)雜、缺乏好的方式進(jìn)行優(yōu)化,所以耗費(fèi)時(shí)間極長(zhǎng),沒(méi)事不建議使用……之類(lèi)云云。但是為何現(xiàn)在更深更復(fù)雜的網(wǎng)絡(luò)卻能夠處理,除了現(xiàn)在是一個(gè)前所未有充滿計(jì)算力的時(shí)代,大家手上任何一臺(tái)智能手機(jī)的計(jì)算力其實(shí)都超過(guò)當(dāng)初阿波羅號(hào)登月美國(guó)太空總署后臺(tái)的超級(jí)計(jì)算機(jī),這些計(jì)算力當(dāng)然也是助力之一。但是其實(shí)真正關(guān)鍵則是來(lái)自于“共享權(quán)重”的概念,分享正是人工智能要教人類(lèi)的第一堂課。
拿人類(lèi)的視覺(jué)來(lái)說(shuō),當(dāng)一只貓不管出現(xiàn)在我們視野的哪個(gè)位置,他始終就是一只貓,不會(huì)變成任何其他的動(dòng)物。這個(gè)現(xiàn)象意味著我們?nèi)祟?lèi)視網(wǎng)膜的1.2億個(gè)視桿細(xì)胞,其實(shí)都是用同一套規(guī)則在解讀世界的。所以現(xiàn)代的深度學(xué)習(xí)有別于以往神經(jīng)網(wǎng)絡(luò)每個(gè)神經(jīng)元各自學(xué)習(xí)的做法,而改為同深度神經(jīng)元共享權(quán)重(在此各位可以把權(quán)重視為學(xué)習(xí)到的特征)。如此一來(lái)不但節(jié)省了數(shù)億倍的運(yùn)算量,而且每個(gè)神經(jīng)元都能學(xué)習(xí)到比過(guò)去各自學(xué)習(xí)時(shí)更完整的特征。
回頭看看人類(lèi),共享難道不是推動(dòng)人類(lèi)進(jìn)步的一大助力嗎?現(xiàn)在人工智能風(fēng)潮能夠比過(guò)往來(lái)的更強(qiáng)烈,其實(shí)跟現(xiàn)在所有主流分析框架都是開(kāi)源有著密不可分的關(guān)系,對(duì),全部都是開(kāi)源且免費(fèi)….。2008年,全球最大的面向開(kāi)源軟件項(xiàng)目的托管平臺(tái)Github問(wèn)世(我們常戲稱(chēng)這是全球最大的同性交友平臺(tái)),帶動(dòng)了程序代碼分享的風(fēng)氣,而這些分享其實(shí)也是人類(lèi)文明在近期能夠以前所未有的速度進(jìn)步的主因。對(duì)許多人來(lái)說(shuō)分享往往會(huì)變成濫好人的同義詞,我們先跳開(kāi)那些共享單車(chē)、共享充電寶這些前景還不明確的商業(yè)模式,若是仔細(xì)解讀這兩年硅谷拿到高額投資的初創(chuàng)企業(yè),有一半以上都有將技術(shù)開(kāi)源。把視為公司核心競(jìng)爭(zhēng)力的技術(shù)開(kāi)源是否意味著公司貶值?但是事實(shí)上透過(guò)開(kāi)源冷啟動(dòng)所獲得的用戶基數(shù),以及透過(guò)開(kāi)源來(lái)提升代碼與產(chǎn)品的質(zhì)量,這些新創(chuàng)公司從開(kāi)源上得到的好處其實(shí)是遠(yuǎn)超過(guò)敝帚自珍的。
第二堂課:專(zhuān)注
除了共享權(quán)重之外,另一個(gè)概念“感知域”也是深刻地影響機(jī)器視覺(jué)的效果。在以前的神經(jīng)網(wǎng)絡(luò)中,我們總是企圖要讓每個(gè)神經(jīng)元學(xué)習(xí)與全體所有神經(jīng)元之間的關(guān)聯(lián),這個(gè)想法造成計(jì)算量膨脹到人類(lèi)無(wú)法解決,但是想想我們?nèi)嗽诳礀|西時(shí),總是把目光聚焦在一處,其他周遭的畫(huà)面就變得模糊,這個(gè)概念被用在了深度學(xué)習(xí)帶來(lái)了感知域的觀念,也就是說(shuō)只需要專(zhuān)注在周遭的神經(jīng)元就可以,其他較遠(yuǎn)的都可以不用管他,專(zhuān)注,正是人工智能要教人類(lèi)的第二堂課。
再來(lái)我們把角度從視覺(jué)換成聽(tīng)覺(jué),語(yǔ)音識(shí)別是大家最普遍使用的人工智能應(yīng)用之一,從早期的語(yǔ)音轉(zhuǎn)文本,到現(xiàn)在更進(jìn)一步的去理解句子中的語(yǔ)意,用的是我們稱(chēng)之為遞歸神經(jīng)網(wǎng)絡(luò)(RNN)的技術(shù)。它一樣有著共享權(quán)重的特性,而且它具備了本次的輸出就是下一次的輸入這樣的遞歸結(jié)構(gòu),很適合用來(lái)處理本質(zhì)就是序列的語(yǔ)音與語(yǔ)言。像是神經(jīng)網(wǎng)絡(luò)翻譯技術(shù)就是廣為人知的,但是畢竟語(yǔ)言的本質(zhì)比圖像抽象很多,所以早期深度學(xué)習(xí)處理語(yǔ)意這塊并不能得到很好的成果,這個(gè)問(wèn)題一直到了一個(gè)新的技術(shù)觀念問(wèn)世為止,那就是“注意力(attention)”。這個(gè)技術(shù)概念其實(shí)非常直接,當(dāng)我們?cè)诜g一段英文時(shí),通常是看完整句后,然后除了要翻譯的字詞之外,還會(huì)推敲一下上下文,有些字是特別重要的,會(huì)造成語(yǔ)意的極大差異,而有些字則是有或沒(méi)有都不至于造成嚴(yán)重的影響。評(píng)估這些特定范圍的字的影響力的機(jī)制就被稱(chēng)為“注意力”。
人類(lèi)世界也是這樣,就像是有些新創(chuàng)公司急著每種商業(yè)模式都想碰一碰鉆一鉆,但是往往只會(huì)落到徒勞無(wú)功的下場(chǎng)。唯有專(zhuān)注,不僅要在特定領(lǐng)域中做到最好,而且要具備強(qiáng)大的“注意力”機(jī)制,才能夠從千絲萬(wàn)縷的信息中,找出真正值得全心投入的領(lǐng)域。
第三堂課:全局觀
人工智能要教人類(lèi)的第三堂課是“全局觀”。還記得柯杰在人機(jī)大戰(zhàn)后談到AlphaGo說(shuō)到,“感覺(jué)AlphaGo和去年判若兩人,當(dāng)時(shí)覺(jué)得他的棋很接近人,現(xiàn)在感覺(jué)越來(lái)越像圍棋上帝……”。為何會(huì)讓人感到不像人而像神,而這中間的差別是什么,我認(rèn)為巴菲特的名言在此分外貼切——“人們總是在該恐懼的時(shí)候貪婪,在該貪婪的時(shí)候恐懼”,我想這就是人性的一個(gè)很好的批注。說(shuō)人工智能像神其實(shí)有點(diǎn)言過(guò)其實(shí),但是若是說(shuō)到讓人感受到神性的部分,恐怕在于人類(lèi)總是會(huì)被當(dāng)下的情勢(shì)、被自己心中的貪嗔癡所束縛而做出錯(cuò)誤的決定,而機(jī)器卻能夠完全不被影響,只往最后目標(biāo)前進(jìn)。
在每個(gè)深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)中,我們都會(huì)給予它一個(gè)損失函數(shù),神經(jīng)網(wǎng)絡(luò)的任務(wù)就是要想辦法透過(guò)學(xué)習(xí)來(lái)讓損失降低。那如果兩個(gè)任務(wù)不同且損失不同的神經(jīng)網(wǎng)絡(luò)銬在一起時(shí)(我們稱(chēng)之為聯(lián)合學(xué)習(xí)),會(huì)發(fā)生甚么事。如果是人類(lèi)的世界,恐怕兩個(gè)人都會(huì)著眼于自己的損失最小化,而做出錯(cuò)誤的決定,最后導(dǎo)致雙輸。那深度學(xué)習(xí)呢?下面這張圖是我之前在處理這種聯(lián)合學(xué)習(xí)的截圖,當(dāng)時(shí)看到這個(gè)景象其實(shí)整個(gè)人是深受感動(dòng)的。神經(jīng)網(wǎng)絡(luò)的做法是,它們可以一起接受短期的損失增加,甚至像圖中是短期損失高到嚇人,但是他們卻能攜手度過(guò),一起邁向整體損失更低的新境界,在深度學(xué)習(xí)的眼中,只有全局目標(biāo),不會(huì)受短期損失影響。仔細(xì)想想人類(lèi)的文明,多少資源都浪費(fèi)在大家為了鞏固自己的短期利益,而造成全體眾人皆輸?shù)膽K境,有時(shí)想想也荒謬,在商業(yè)世界失去了的人性,反而能在人工智能身上找回來(lái)。
我不知道未來(lái)的世界會(huì)如何,我只知道現(xiàn)在是站在新的工業(yè)革命的起點(diǎn),既然分享、專(zhuān)注、全局觀,能將沒(méi)用的神經(jīng)網(wǎng)絡(luò)改頭換面,我相信人類(lèi)也能再次進(jìn)化,創(chuàng)造新的文明奇跡,更何況這些本來(lái)就是我們?cè)鴵碛械莵G失的初心……