近年最酷成果都來自深度強化學習

此次OpenAI推出的解魔方機器手，并不是像以往一樣使用專業算法來解決某一個特定任務(如果換一個任務，還需要重新編程)，而是通過某種學習方法，對機器人進行訓練，讓機械手具備類人手的解決問題的能力。但馬庫斯卻認為這個成果描述有誤導，更恰當的描述應該是“用強化學習操縱魔方”或者是“用靈巧的機器人手操縱物體的進展”。

“馬庫斯過于強調‘用強化學習操縱魔方’有點挑剔字眼，其實OpenAI魔方機器手和‘深層思維’發布的《星際爭霸2》智能體‘阿爾法星’進化版都使用了深度強化學習技術。深度強化學習是目前公認的在現有技術中最有可能實現通用人工智能的技術。”天津大學智能與計算學部軟件學院副教授郝建業解釋說，目前機器學習有三大分支，監督學習、非監督學習和強化學習，深度學習屬于監督學習里目前最主流的一類技術。深度強化學習是深度學習與強化學習的融合，是將深度神經網絡整合到強化學習框架當中。

“近幾年，深度強化學習發展迅猛，它在處理復雜、多方面和決策問題方面顯示出巨大的潛力。目前深度強化學習技術主要應用在一些游戲、比賽中。”郝建業介紹，2016年，谷歌的“阿爾法圍棋”(AlphaGo)擊敗了世界頂級圍棋選手李世石、柯潔，轟動一時，成為人工智能領域的一個里程碑。“阿爾法圍棋”的核心就在于使用了深度強化學習算法，使得計算機能夠通過自對弈的方式不斷提升棋力。此后又有臉書(Facebook)在DOTA2游戲中打敗了頂級職業選手；CMU團隊研發的德州撲克AI冷撲大師輕松擊敗頂級玩家。

此外，“深層思維”還運用深度強化學習優化了數據中心的耗能；谷歌則利用深度強化學習完成深度神經網絡的自動架構搜索，提出了AutoML服務，借此將機器學習作為一種服務推廣到千家萬戶。在我國，對于深度強化學習技術的應用也不少，阿里、騰訊、百度等國內團隊將深度強化學習應用到搜索、推薦、營銷、派單和路徑規劃等實際問題的決策中。

最有可能實現通用人工智能的技術

人工智能發展到現在的高度，技術上較大的功臣應該屬于深度學習算法。深度學習利用多層神經網絡，從海量的數據中學習，從而實現對未來的預測，并使人工智能系統越來越智能。目前我們應用的安防監控、自動駕駛、語音識別、百度地圖等都是深度學習技術在圖像視覺、語音識別、自然語言理解等領域的應用。

而強化學習也是目前機器學習領域的熱門技術，與基于已知標簽訓練模型的監督學習不同，強化學習能夠在沒有計算機的明確指示下，像人一樣實現自主學習。當達到一定的學習量之后，強化學習系統就能夠預測出正確的結果。“強化學習的基本思想是，學習在不同環境和不同狀態下，哪種行為能夠使得預期利益最大化。”郝建業介紹，新版“阿爾法星”智能體就采用了強化學習的自對戰技術，其學習過程不需要數據標注，而是由獎勵函數進行主導。智能體獲得獎勵得分或贏得一場比賽，它會得到積極的反饋，智能體就會根據對戰的成績好壞，來調整行為動作。這猶如嬰兒學走路，會根據產生的結果好壞來調整行為動作。

目前對通用人工智能的定義主要有兩個特點，一是端對端的學習，二是任務自適應， 無需人類參與調控而勝任不同的任務。深度強化學習可以將深度學習的感知能力和強化學習的決策能力相結合，直接根據輸入的信息進行控制，是一種更接近人類思維方式的人工智能技術。在與世界的正常互動過程中，強化學習會通過試錯法利用獎勵來學習，這跟自然學習過程非常相似。比如單手解魔方機器手，它可能需要利用深度學習的識圖技術等看到魔方，而后還需強化學習的模型讓機器手在不斷的試錯過程中自主學習。在強化學習中，可以使用較少的訓練信息，這樣做的優勢是信息更充足，而且不受監督者技能限制。深度強化學習朝構建對世界擁有更高級理解的自主系統又邁出了一步，這也是為什么說深度強化學習是目前公認的在現有技術中最有可能實現通用人工智能的技術。

未來通用人工智能還需依托腦科學發展

“雖然說深度強化學習技術最有可能實現通用人工智能，但是并不能說就一定能夠實現，我們離真正的通用人工智能還是有很大差距的。”郝建業表示，深度學習和強化學習結合的時候，對現實情況的枚舉就變成首先需要對現實情況進行模式識別，然后進行有限模式的枚舉，從而減少計算的壓力，但是所需的數據將比其他機器學習算法要大得多。如果將場景擴展到多智能體的深度強化學習，那么需要的數據和算力是呈指數級上升的，目前還沒有平臺能夠提供強化學習所需要的海量數據，無法窮舉現實中可能遇到的種種復雜情況。這種數據需求在很多現實領域中都是無法實現的。

舉例說明，比如強化學習需要大量的試錯，如果把單手解魔方機器手應用到做飯的現實場景，那么它可能會把食材弄一地，也可能把一整袋鹽倒到鍋中，還有可能引起火災。因此通過試錯學習的模式，在現實場景中是無法實現的。

此外，深度學習和強化學習都是機器學習領域中最難調試成功的，它的成功案例其實不算很多，但是一旦推出，都會引起轟動。并且，這是一個連隨機種子都會大大影響學習效果的模型框架。同樣的模型，訓練10次可能7次是失敗的，3次是成功的。還有一點，深度強化學習極其容易過擬合到智能體當前交互的環境中，所以環境稍有改變，之前看起來表現出色的智能體，很可能就會犯低級錯誤。

“人類認識事物的時候，一般都是通過數據進行因果推理和判斷，才得出相應的解決方案。而目前的人工智能系統卻并不能實現這種因果推導。”郝建業表示，可能未來通用人工智能的發展，還需要依托于腦科學的發展，目前我們對人腦的認知還處于非常初級的階段。大腦對事物的認知過程、解決問題的過程以及思考的能力等機制還都不清楚，因此，目前人工智能的發展，離這種真正能模擬人類智能思考的通用人工智能還有很長的路要走。

延伸閱讀

人工智能晉級《星際爭霸2》玩家最高等級

一項在《星際爭霸2》歐洲服務器上開展的“盲測”顯示，谷歌旗下“深層思維”公司開發的人工智能程序“阿爾法星”在游戲中超越99.8%的人類玩家，在游戲的人族、神族和蟲族排名中均達到最高的“宗師”級別。“深層思維”研發團隊在日前出版的英國《自然》雜志上報告了這項成果。

據介紹，在《星際爭霸2》官網歐洲服務器上，“阿爾法星”使用與人類玩家相同的地圖和條件匿名參與游戲，并能在無人干預情況下持續自我改進。為了讓測試更公平，團隊還根據人類玩家的水平限制了機器的某些能力，比如將“阿爾法星”的動作頻率降低到與熟練人類玩家接近，并把它的視野限制在攝像頭范圍內。

“深層思維”研發團隊認為，訓練“阿爾法星”的先進方法以及算法架構未來有望用于解決復雜的實際問題，包括天氣預測、氣候模型計算以及語言理解等。但也有學者對現階段人工智能挑戰戰略游戲的能力持保守態度。加拿大紐芬蘭紀念大學人工智能學者戴夫·丘吉爾認為，“阿爾法星”仍有許多弱點，比如無法抵御以前從未見過的戰略等。

陳 曦