關於最強AlphaGo Zero是如何製作的真相就在這裡

AlphaGo Zero是谷歌子公司Deepmind程式的新版本。

從空白狀態開始，沒有任何人工輸入，AlphaGo Zero能夠快速自學圍棋，並以100：0的比分擊敗了“前輩”。

歷史。 2017 年 10 月 19 日凌晨，在國際學術期刊《自然》上發表的一項研究中，谷歌旗下公司 DeepMind 報道稱，新版程式 AlphaGo Zero：從空白狀態，無需任何人工輸入，即可快速自行學習圍棋，並以 100：0 的分數擊敗“前輩”。

一旦DeepMind的**公布，TPU的銷量可能會大幅增加。 其100：0的記錄被懷疑是“製造”。

1] 經過 3 天的訓練，他以 100：0 的比分擊敗了他的兄弟 Alphogo Lee，在訓練 40 天後擊敗了他的另乙個兄弟 Alphogo Master

它是如何工作的。 “摒棄人類體驗”和“自我訓練”並不是Alphago Zero最大的亮點，關鍵是採用了新的強化學習（強化學習演算法）和演算法的新發展。 [1]

Alphago Zero只有4個TPU，人類經驗為零，只有3天的自我訓練和490萬次自我遊戲。 但它以 100：0 的記錄擊敗了它的前輩。 [1]

老版的alphago，雖然魔力不大，但斧頭和鑿子的痕跡卻是可觀的。 就像乙個機械人女友，雖然她有一張驚豔的臉，但她有乙隻機械手，聲音和谷歌娘一樣冷酷（誤誤）。 理想的Go AI應該是簡單、優雅、自然的，就像死屋（霧）的妻子荒垣結衣一樣。

而新版的alphago確實創造了乙個栩栩如生的gakki（錯誤地）。 具體來說，與原來的alphago相比，Alphago Zero有以下改進： 1.將策略網路和價值網路合併，形成乙個既能輸出策略P又能輸出值V的新網路。

新網路的結構已得到簡化。 新策略價值網路的輸入特徵平面數量從 48 個減少到 17 個。 其中，與圍棋知識相關的輸入特徵（自由、梯子）已被移除。

2.新策略價值網路只需要通過強化學習進行訓練，不需要監督學習。 也就是說，不需要輸入人類大師的棋局作為初始訓練樣本，而只需隨機滴入初始訓練樣本即可。 3、優化蒙特卡羅搜尋樹，主要是為了消除快速上線策略，節省大量實際計算成本。

快速移動的策略還需要輸入大量人類已知的圍棋知識，例如如何殺死大眼睛（nakade，例如直死點）。

三、D. 四、五等棋類唯一一招式的刀柄）。消除快速移動的需要也省去了輸入這些知識的麻煩。 4、將卷積網路改為殘差網路，提高訓練效率。

剩下的是乙個從頭開始訓練的神經網路和AlphaGo Zero，它使用MCTS演算法進行遊戲，該演算法簡單得令人難以置信。 說起來容易做起來難。 這些改進似乎很容易想到，因為Alphago Zero是研究人員的理想女神。

而第乙個版本的alphago還不夠女神，不是因為研究者不想，而是因為他暫時做不到。 例如，在 AlphaGo Fan 版本中，神經網路的輸入由 48 個特徵平面組成。 這兩個平面表示移動是否是成功的標誌，以及移動是否是成功的逃生。

從技術上講，主要創新如下：從多網路到單網路。 最初的阿爾法圍棋使用兩個網路，決策網路用於最佳移動，價值網路用於評估當前情況的優缺點。

這一次，AlphaGo Zero將兩個網路合二為一，新的網路同時輸出移動P和情況得分V。 從卷積網路到殘差網路（再次拜拜開明神） **作者證明，架構的改變對結果的影響非常大！ 請參考下面的對比表。

“dual”表示組合網路，“sep”表示單獨的網路，“conv”表示一般卷積網路，“res”表示殘餘網路。 使用相同的訓練樣本和相同的訓練步驟，Dual-Res 的 ELO 得分比原 Alpha Go 的 SEP-CON 架構高出 1000 多分，這表明新的網路架構提高了網路的表達能力，更容易訓練。 <>