今年11月，世界盃又要開賽了。
到時候，不管踢不踢，踢得好還是踢得不好，又會有很多人開始聊足球了。
沒辦法，誰叫足球是世界第一大運動。
不過比起世界杯，科學家對年度機器人盃3D模擬聯盟更感興趣。
不久前，來自英國人工智慧公司DeepMind的研究團隊，利用一種加速版運動課程，透過電腦模擬數十年足球比賽的情況，訓練AI學會了熟練地控制數字人形足球運動員。
相關研究發表在《科學機器人》雜誌。
論文地址：https://www.science.org/doi/10.1126/scirobotics.abo0235
#顯然，這已經不是第一次「AI足球員」進入大眾視野了。
AI足球員的進化簡史
#早在2016年，AlphaGo在圍棋上戰勝李世石後沒多久，Deepmind就開始琢磨讓AI踢足球了。
當年6月，DeepMind的研究人員讓AI控制一隻螞蟻形狀的物體去追逐小球，然後帶球直至將其送進球門得分。
根據DeepMind小組負責人David Silver的說法，借助當時谷歌最新開發出非同步Actor-Critic演算法，即A3C，AI不僅完成了這個項目，而且在整個過程中不需要向他灌輸有關力學的知識。
這項實驗，讓「AI踢足球」迎來了開門紅。
到了2019年，DeepMind已經訓練了許多「Player」，它們分別由不同訓練計畫製作而成的，DeepMind從中選擇10個雙人足球團隊。
這10個團隊每個都有250億幀的學習經驗，DeepMind收集了它們之間的100萬場比賽。
然後DeepMind設定環境，讓多個AI一起踢足球賽，並且提前設定了規則，獎勵整個「足球隊」而不是去鼓勵某個「AI球員」的個人成績，以促成整個球隊的進步。
DeepMind用這種方式證明了，AI是可以互相合作的。
看起來一切順利，然而到了2020年，DeepMind的AI球員出問題了。
根據腦極體提供的資料，在一場比賽中，一方的足球機器人排成一排向球門發起射擊，但機器人守門員卻並沒有準備防守，而是一屁股倒在地上開始胡亂擺動了雙腿。
你以為這就完了？ too naive！
接著，擔任前鋒的機器人球員跳了一段十分令人困惑的舞蹈，跺跺腳，揮揮手，啪嘰一下摔倒在地上。
這一幕讓觀眾極為震驚：見過放水的，沒看過這麼放水的！
為何會這樣呢？
這還要從背後的原理說起。
「AI踢足球」的開始，研究人員就採用了強化學習這條路。
先前，AlphaGo的學習是基於監督學習，也就是透過標記好的資料集來進行訓練的。
但這種方式對資料的「潔淨」程度要求高：一旦資料有問題，AI就會犯錯。
與之相比，強化學習是模仿人類的學習模式，AI以「試錯」的方式進行學習，對了受獎，錯了受罰，從而建立正確的聯繫。
看起來比傳統的監督學習智慧了不少，但還是有漏洞。
例如，AI會對獎懲措施產生錯誤的理解，因而產生奇怪的策略。
OpenAI曾經設計了一個賽艇遊戲，AI原本的任務是完成比賽。
研究者設定了兩種獎勵，一是完成比賽，二是收集環境中的分數。結果就是智能體找到了一片區域，在那裡不停地轉圈「刷分」，最後自然沒能完成比賽，但它的得分反而更高。
這次，AI踢出了什麼新花樣
雖然AI踢足球出現過翻車現場，但研究人員沒有放棄。
文章開頭提到，DeepMind的研究團隊在訓練「AI足球員」上有了新突破。
#根據論文描述，儘管DeepMind團隊在此次研究中簡化了遊戲規則，並將兩隊球員人數限定在了2-3人，但「AI足球員」可以完成帶球突破、身體對抗、精準射門等動作。
那研究人員是怎麼訓練「AI足球員」的呢？
簡單來說，就是將監督學習與強化學習結合。
第一步，AI需要觀看人類踢足球的影片剪輯，學會自然行走，因為AI開始並不知道要在足球場上做什麼。
第二步，AI在強化學習的演算法下，練習運球和射門。
這兩步，AI大約能在24小時內完成。
第三步，就用用比賽的形式訓練，AI機器人進行2對2比賽，這一步需要耗時2到3週，主要是讓AI學會團隊協作,以及預測傳球等更高難度的運動控制。
這次「AI 足球員」的表現還是讓研究團隊覺得比較滿意。
DeepMind團隊認為，這項研究推動了人工系統向人類水平運動智慧向前邁進。
不過，DeepMind團隊還是比較清醒，他們知道，這次突破還是有限制的。
例如，比賽是2v2，而不是現實足球比賽常用的11v11，還不能說明AI可以參加更複雜的足球比賽。
此外，即使是簡單的2v2比賽，也沒辦法直接用在機器人硬體上。
換句話說，科學家還不能研發出可以踢足球的機器人。
參考資料：https://www.science.org/doi/10.1126/scirobotics.abo0235
https://sports.yahoo.com/deepmind- ai-now-play-football-134345563.html?guccounter=2
https://www.woshipm.com/ai/3619952.htmlhttp://it.people.com.cn/n1/2016 /0622/c1009-28467916.html
以上是AI能「踢足球」了，但AI機器人還不能的詳細內容。更多資訊請關注PHP中文網其他相關文章！
