AlphaGo 深度揭秘

 　　今日，在乌镇围棋峰会人工智能高峰论坛上，AlphaGo之父、DeepMind创始人戴密斯·哈萨比斯(Demis Hassabis)和DeepMind首席科学家大卫·席尔瓦（David Silver）在论坛上透露了关于AlphaGo的重要信息，以及AlphaGo究竟意味着什么？让人们能详细了解到AlphaGo背后的秘密。

 

　　AlphaGo是什么？

 

　　AlphaGo 是第一个击败人类职业围棋选手并战胜围棋世界冠军的程序，是围棋史上最具实力的选手之一。2016 年 3 月，在全世界超过一亿观众的关注下，AlphaGo 经过5局对弈，最终以 4 比 1 的总比分战胜了围棋世界冠军李世石，这场比赛成为了人工智能领域的一个重要里程碑。过去曾有专家预测人工智能需要十年的时间才有可能战胜人类职业选手，在这场比赛之后，AlphaGo 凭借其“充满创意而又机智”的下法，跻身围棋界最高职业称号——职业九段行列，成为历史上首个获得这一荣誉的非人类棋手。

 

　　AlphaGo如何进行训练？

 

　　一直以来，围棋就被认为是传统游戏中对人工智能最具挑战性的项目。这不仅仅是因为围棋包含了庞大的搜索空间，更是因为对于落子位置的评估难度已远远超过了简单的启发式算法。

 

　　为了应对围棋的巨大复杂性，AlphaGo 采用了一种新颖的机器学习技术，结合了监督学习和强化学习的优势。通过训练形成一个策略网络（policy network），将棋盘上的局势作为输入信息，并对所有可行的落子位置生成一个概率分布。然后，训练出一个价值网络（value network）对自我对弈进行预测，以 -1（对手的绝对胜利）到1（AlphaGo的绝对胜利）的标准，预测所有可行落子位置的结果。这两个网络自身都十分强大，而 AlphaGo将这两种网络整合进基于概率的蒙特卡罗树搜索（MCTS）中，实现了它真正的优势。最后，新版的AlphaGo 产生大量自我对弈棋局，为下一代版本提供了训练数据，此过程循环往复。

 

　　AlphaGo 如何决定落子？

 

　　在获取棋局信息后，AlphaGo 会根据策略网络探索哪个位置同时具备高潜在价值和高可能性，进而决定最佳落子位置。在分配的搜索时间结束时，模拟过程中被系统最频繁考察的位置将成为 AlphaGo 的最终选择。在经过先期的全盘探索和过程中对最佳落子的不断揣摩后，AlphaGo的搜索算法就能在其计算能力之上加入近似人类的直觉判断。

 

　　历代AlphaGo的数据对比

 

　　DeepMind把AlphaGo粗略分成几个版本：

 

　　第一代，是击败樊麾的AlphaGo Fan。与Zen/Crazy Stone等之前的围棋软件相比，棋力要高出4子。

 

　　第二代，是击败李世石的AlphaGo Lee。与上一代相比，棋力高出3子。

 

　　第三代，是柯洁如今的对手，也是年初60连胜的：AlphaGo Master。相比于击败李世石的版本，棋力又再次提升3子。

 

　　新版AlphaGo比旧版AlphaGo要“强三子”令柯洁十分惊讶，江铸久和芮乃伟特意找到哈萨比斯确认这个“三子”到底是什么意思，哈萨比斯明确表示是在棋盘上先摆上三颗子。芮乃伟私下笑说自己愿意被让三个与AlphaGo一战。 ????

 

　　AlphaGo Lee和AlphaGo Master有着根本不同。

 

　　新版AlphaGo Master使用单TPU运算，拥有更强的策略/价值网络，由于应用了更高效的算法，运算量只有上一代AlphaGo Lee的十分之一。所以单个TPU机器足以支撑。

 

　　旧版的AlphaGo Lee使用50个TPU进行计算，每次搜索计算后续50步，计算速度为10000个位置/秒。

 

　　作为对比，20年前击败卡斯帕罗夫的IBM深蓝，可以搜索计算一亿个位置。席尔瓦表示，AlphaGo并不需要搜索那么多位置。

 

　　根据公开资料推测，此次AlphaGo2.0的技术原理与之前有着巨大不同：

 

　　1. 放弃了监督学习，没有再用人的3000万局棋谱进行训练。这本是AlphaGo最亮眼的算法，也是今天主流机器学习不可避免的核心条件：依赖于优质的数据，在这个特定问题下就这么被再次突破了。

 

　　2. 放弃了蒙特卡洛树搜索，不再进行暴力计算。理论上，算法越笨，就越需要暴力计算做补充。算法越聪明，就可以大大减少暴力计算。从AlphaGo 2.0的“马甲”Master的历史行为看，走棋非常迅速，约在每10秒钟就走棋一步，如此速度很可能是放弃了暴力的计算。

 

　　3. 极大地强化了增强学习的作用，之前敲边鼓的算法，正式成为扛把子主力。想想看有多励志：两台白痴机器，遵守走棋和获胜规则，从随机走棋开始日夜切磋，总结经验，不断批评和自我批评，一周后终成大器。

 

　　在这样的算法下，AlphaGo 2.0对计算资源开销极小，把当前棋局输入神经网络，电流流过，输出就是最佳的走棋方案。我猜测如此算法下，有可能仅仅依靠一个GPU工作，每一步棋消耗的能源接近人的大脑。

 

　　换句话说，DeepMind的目标是构建通用人工智能。所谓通用人工智能，首先AI具备学习的能力，其次能举一反三，执行各种不同的任务。如何抵达这个目标？哈萨比斯说有两个工具：深度学习、强化学习。

 

　　AlphaGo就是深度学习和强化学习的结合。AlphaGo也是DeepMind迈向通用人工智能目标的一步，尽管现在它更多的专注于围棋领域。

 

　　哈萨比斯表示，希望通过AlphaGo的研究，让机器获得直觉和创造力。

 

　　这里所谓的直觉，是通过体验直接获得的初步感知。无法表达出来，可通过行为确认其存在和正误。

 

　　而创造力，是通过组合已有知识产生新颖或独特想法的能力。AlphaGo显然已展示出了这些能力，尽管领域有限。

人机大战第一局AlphaGo战胜柯洁

　　5月23日，人机大战第一局在浙江乌镇打响，经过猜先柯洁执黑先行。现在第一局比赛结束，围棋人工智能AlphaGo执白1/4子战胜目前等级分排名世界第一的中国棋手柯洁，暂时1比0领先，双方的第二局比赛将于25日10：30继续进行。

　　在赛前的演讲中，DeepMind创始人哈萨比斯就表示，并不同意这是人机大赛，而是人利用电脑发现新的知识。无论结果如何，最终胜利都属于人类。

　　他说，围棋的美妙在于，我们就像探索宇宙一样在围棋棋盘上探索新的打法。围棋对于人工智能是一个巨大的挑战，因为其定式变化多样，新版的AlphaGo是一个完全的创新，人机大战的本质是，人类通过人工智能探索新知识的过程，AlphaGo类似哈勃望远镜一样，是人类的一个工具。

　　谷歌董事长埃里克-施密特则发言表示，人类无需纠结人工智能是否会带来威胁，人工智能会为人类打造更好的生活，人类需要与人工智能结合，就能在各个领域产生了巨大的影响。 ????无论结果如何，最终胜利都属于人类。

　　在赛后发布会上，柯洁和AlphaGo创始人哈萨比斯以及DeepMind 强化学习团队首席程序员David Silver出席并回答了提问。

　　哈萨比斯称：“今年和柯洁对阵的Alphago是单机版，采用十个TPU在云上运行，而不是去年的分布式版本。跟去年相比，本次对弈的新版AlphaGo计算量小了十倍，自我对弈能力更强，运行起来更简单，更好，功耗也更小。”

　　输棋的柯洁在赛后的记者会上表示，能够和Alphago进行这三盘比赛，是他一生中最大的荣幸。 ????

　　柯洁苦笑道：“今天很多棋不在意料之中，印象最深的是几手断，人类不可能这么下，它兼顾了很多地方，一石二鸟，太出色了，输的没脾气。”

　　柯洁觉得在AlphaGo那没有什么棋是不可以下的，“因为印象中AlphaGo非常贪念实地，所以开局下了点三三，但没想到开局还是被它占了实地。感觉AlphaGo与去年完全两个人，去年它接近人，有弱点，这次它对棋的理解远胜于人，想胜只能找bug，但很难找。能跟AlphaGo对决是我最大的荣幸，AlphaGo是围棋上帝，很感谢对手。”

　　我对这场对局的看法是，目前的AlphaGo实在太强大了，李世石恐怕会成为最后一个击败过AlphaGo的人类。 ????

　　以下为人机大战第一局比赛棋谱图。

柯洁挑战AlphaGo 中国乌镇围棋峰会启动

 　　5月23日至27日，柯洁与AlphaGo的三番棋人机大战以及人机团队赛、配对赛将在浙江乌镇进行。比赛将采用中国规则，获胜者将获得1000万元奖金。除奖金外，比赛还设有30万美元出场费。在未来的几天里，月光博客也将在现场对这场比赛进行直播和点评。

 

　　最新赔率显示，AlphaGo赢得比赛的赔率只有1.05，占据碾压性的优势。而柯洁这边的赔率却高达8.00。

 

　　2016年3月，李世石和AlphaGo的围棋人机大战，最终比分定格在了1-4。就在战胜李世石之后，AlphaGo曾化身Master，在网络上与人类棋手对弈拿下60胜1平0负的战绩，其中包括战胜中日韩围棋界职业九段以及聂卫平、常昊、古力等名家。60连胜的战绩在围棋界堪称是不可思议的纪录。

 

　　现在，已经升级到2.0版本的谷歌人工智能AlphaGo将重燃“人机大战”战火，而此番来挑战的将是现今世界棋力第一的中国围棋选手柯洁。此版本AlphaGo的棋力比去年战胜李世石的那个版本有大幅增长，因此我觉得，三局中柯洁能赢一盘就算是非常大的成功了。

 

　　比赛日程如下：

 

　　5月23日：

 

　　9:00-10:00 开幕式

 

　　10:30-17:30 柯洁比赛第一场

 

　　18:00-19:00 新闻发布会

 

　　5月24日：

 

　　9:00-17:00 人工智能论坛

 

　　5月25日：

 

　　10:30-17:30 柯洁比赛第二场

 

　　18:00-19:00 新闻发布会

 

　　5月26日：

 

　　8:30-12:30 配对赛

 

　　13:30-18:30 团队赛

 

　　19:00-20:00 新闻发布会

 

　　5月27日：

 

　　10:30-17:30 柯洁比赛第三场

 

　　18:00-19:00 新闻发布会&闭幕式

 

AlphaGo的创新

　　作为曾在2015年与AlphaGo交锋的第一人，中国旅欧职业棋手、欧洲冠军樊麾（Lucas Baker）撰文详细阐述了围棋程序的棋风和下棋套路，以及其在最近对局中使用的战略和战术创新。以下为樊麾全文：

　　人工智能最为重要的作用之一，在于它帮助人类了解并发掘复杂领域中新知识的能力。人工智能在数个领域的运用已经让我们对它的能力得以惊鸿一瞥。例如，运用算法，我们为数据中心大幅优化了能源的使用。当然，还有我们的围棋程序——AlphaGo。

　　自从去年三月首尔那场载入史册的比赛以来，AlphaGo已经为围棋这个古老的游戏开启了 新纪元。对局中，AlphaGo显示出了非凡的创造性，也使用了一些前所未有的有趣招法，这在围棋职业棋手和爱好者之间都引起了广泛关注，大家纷纷在对局中尝试人工智能曾使用的招法和战术。在这个过程中，人们对于千百年流传下来那些被认为具有普遍性的围棋常识，展开了新的思考。

　　“AlphaGo去年对阵李世石九段的那几局棋，可以说整个颠覆了棋手们对于围棋的认知。AlphaGo所展现出来的实力大大超出我们的预期，并且给围棋带来了很多新的思路。”

　　——时越，职业九段，世界冠军

　　“我相信所有棋手都或多或少受到了‘阿老师’的影响。AlphaGo的对局让我们感受到围棋的自由性，没有任何一招棋是绝对不可能的。如今，每一名棋手都在尝试新的风格，这在过去是不可想象的。”

　　——周睿羊，职业九段，世界冠军

　　在乌镇围棋峰会即将到来之际，我们总结了AlphaGo最近在对局中使用的战略和战术创新，以及这些招法所展现的关于围棋的一些新认知。

　　AlphaGo 的棋风

　　AlphaGo最强大的地方，并不体现在具体某一手棋或者某个局部变化中，而是它在每一局棋里所展现出来的独特视角。虽然AlphaGo的棋风本身并不容易总结，但是总体来说，AlphaGo更倾向于使用一种自由、开放式的行棋风格。在它的世界里，没有什么先入为主的概念，也没有什么必须要遵守的规则，这让它得以打破常规，发现当前棋局中最高效的一手。在接下来的两局棋里，AlphaGo这种独特的对局哲学，常常让它下出违反第一感、但却极具威力的一手棋。

　　虽然围棋是围地盘的游戏，但事实上最具决定性的部分在于如何平衡棋盘上的各个局部。在这一点上，AlphaGo展现出了卓越的能力。尤其值得一提的是，AlphaGo对于外势的把控可以说到达了出神入化的地步，具体来说，它可以近乎准确地判断棋盘上现有棋子能给周围区域带来多大的影响力。虽说棋子的影响力本身很难衡量，但是AlphaGo强大的价值网络让它能够把棋盘上所有的棋子当作一个整体来考虑，因此它的判断几近精确。AlphaGo的这种能力，使得它能够把局部棋子的影响力，转变为全局的优势。

　　本局，黑方（AlphaGo）实空很少，白方占了三个角，但是黑方全局外势较为可观。特别是图中三角形标记的交换，一方面帮助白方加强了左上角实地，同时也扩张了黑方的大模样。通常，棋手们不愿意做这样的交换，因为白方得到的是显而易见的实地，而黑方所得还有很大不确定性。但是AlphaGo结合了精确的判断以及对于风险的把控，使得这一手棋成为可能。

　　不过，对于外势价值的判断完全取决于当前局面，如果外势的价值可能被削弱，AlphaGo也会自愿放弃外势。在上图的对局中，AlphaGo最为令人震惊的几手棋，出现在右侧的六子二路连爬。围棋有一句棋谚：四路外势线，三路实地线，二路失败线。AlphaGo的这几招棋粗看之下正应了这句棋谚，因为这几手交换让白棋变强的同时还拥有了外势，而黑棋仅仅在边上围住四目实空。大多数棋手以图中这样的二路连爬为耻，因此会在第一时间否定这种下法。然而，AlphaGo判断如果能用这些交换将白棋的棋子分断，之后再通过对于白棋几块棋的攻击，慢慢将白棋获得的外势侵消掉，这种下法更利于确保优势。

　　新手、新型

　　Alphago近期也弈出了一些布局阶段的新手，其中最有代表性的当属开局的点三三和妖刀定式的新变化。两者都打破常规，并且在更深入的研究后得到认可。

　　开局点三三

　　围棋中最注重实地的定式之一，无疑是角部的点三三定式：

　　这种下法能够快速占据角部地盘，但是传统围棋书都将这个定式归类为不适合开局阶段使用，因为它给予对方太多外势：

　　AlphaGo的创新在于它省略了有三角形标记的这些交换，使角部保持了未完成的形态：

　　虽然角部不如定式那么安定，但是黑棋保留了从左边出逃和之后完成定式的见合下法（两者选其一），在抢占角地的同时也只让出了部分外势。这种战术在职业棋手中引起轰动，而且已经有棋手将它应用在了正式比赛中：

　　第18届韩国麦馨杯，第一轮

　　2017-01-10： 韩钟振 九段（黑）—— 金成龙 九段（白） 白胜2.5目（贴目6.5目）

　　棋谱来源 Go4Go.net

　　新妖刀定式

　　最初以人类对局作为数据基础，AlphaGo了解现代定式，而且一般都会按照定式来下棋。但是，在以变化复杂著称的妖刀定式中（得名于被诅咒的村正妖刀），AlphaGo采取了变招：

　　从这个棋型开始，一般定式黑棋占边，白棋占角：

　　但是，AlphaGo常常更愿意牺牲出头的权利，换取角部实地：

　　大多数棋手不愿选择这个变化，因为让黑棋得到了一道厚势，但是白棋接下来的下法宣告了黑棋外势的价值并没有看上去的那么巨大。如果黑棋不进一步加强自己的外势，甚至于还可能成为白棋攻击的目标。韩国顶尖棋手金志锡最近在一场比赛战中选择了这个变化，并且赢得了这盘对局：

　　第22届韩国GS加德士杯，第二轮

　　2017-02-10：柳珉滢 五段（黑）——金志锡 九段（白） 白中盘胜（贴目6.5目）

　　棋谱来源Go4Go.net

　　更多期待

　　AlphaGo的创新正在对职业棋界产生着越来越深远的影响，我们希望在接下来的乌镇围棋峰会上，提供更多合作研究的机会。我们兴奋地期待着AlphaGo和人类职业棋手协力，共同探索围棋的真谛。

谷歌地图帮你预测周围停车状况

　　Android版谷歌地图上线目的地停车预测功能，停车难度分为三个级别，服务目前覆盖25个美国大型城市。

　　买车容易养车难，养车容易停车难，其实不只是在中国，外国友人想要找个没人的位置停车也不简单。

　　最近贴心的谷歌地图就上线了一项新功能，能够帮助车主预测周围好不好停车，毕竟谁都不想因为找不到车位而在约会上迟到。

　　据了解，谷歌地图通过调用历史数据来预测周遭的停车难易度，从高到低分为Limited、Medium和Easy三个级别，如果看到了红色的Limited标志，就要慎重考虑一下目的地了。现在该功能已经上线最新的Android版谷歌地图，相信其他平台也会很快跟进。

　　值得一提的是，这并不是地图第一次利用巨大的安装量和数据来开发新功能，比如去年11月谷歌就基于匿名位置数据和搜索结果推出了Popular Times，使得用户能在谷歌搜索和谷歌地图上查看商家们最繁忙的时间段。

　　如果想要知道停车难易度，用户首先需要规划路线，然后相关预测就会出现在目的地卡片上。目前，该功能已经率先登陆旧金山、西雅图、迈阿密、亚特兰大、波士顿、芝加哥、底特律、洛杉矶等25个大型城市，因为越是在人口密集的地区，就越容易出现停车资源分配不均的问题。

勒索软件“自杀开关”域名遭受DDoS攻击

　　过去一周，勒索软件“WannaCry”给全球许多使用旧版 Windows 操作系统的机构和普通用户带来了惨痛的经历。尽管微软早于 2017 年 3 月发布了安全补丁，但仍有许多未及时更新的用户中招。如果不能在限定时间内支付等值 300 美元比特币的赎金，他们只能眼睁睁地看着被加密的资料丢失。万幸的是，一位名叫 Marcus Hutchins 的研究人员，通过某个“自杀开关”成功阻止了该恶意软件的传播。

　　其在分析了恶意软件代码后发现，被 WannaCry 感染的计算机会尝试与某个“由一长串无意义字符组成的域名”通信。于是在好奇心的驱使下，白帽黑客尝试注册了该域名，结果竟然意外阻断了该恶意软件的传播。

　　不过最新消息是，幕后黑手仍然试图让 WannaCry 死灰复燃，其策略是利用各种可能的手段来攻击上文所述的这个“无意义域名”—— 比如分布式拒绝服务（DdoS）攻击。
 

　　据《连线》报道，僵尸网络已经向这个“自杀开关域名”发起了一波又一波的 DDoS 攻击。当前我们暂不知道幕后主使的身份，但有研究人员认为这是一帮以牺牲无辜者的利益来取乐的人。
 

　　最后，某位法国安全研究人员在几天前找到了一个或许有助于修复被 WannaCry 勒索软件加密文档的方法，并且推出了一款名叫“wannakiwi”的工具（下载地址）。
 

　　编译自BGR,原文链接

针对Windows XP系统的勒索病毒恢复软件

　　法国Quarkslab研究员阿德里安·古奈特发布了一款软件，表示Windows XP系统如果遭到WCry勒索病毒的感染，那么用户可以自行解密数据，而不必支付300至600美元的赎金。

　　古奈特发布了一款软件。他表示，该软件帮他发现了实验室中被感染Windows XP计算机所需的数据解密密钥。该软件尚未在Windows XP系统中得到大范围测试，而即使软件有效，也仍然存在限制。在上周WCry病毒爆发的过程中，Windows XP系统并不是受影响的重灾区，因此这一恢复技术的价值有限。

　　他将这款软件命名为Wannakey。他表示：“这款软件只在Windows XP下进行过测试，并且已知只对Windows XP有效。如果希望使用这款软件，那么计算机在被感染之后不能进行过重启。此外，你还需要一定的运气，软件可能不是对所有情况都有效。”

　　Comae Technologies创始人、研究员马特·苏奇（Matt Suiche）报告称，古奈特的解密工具没有效果。

　　WCry勒索病毒也被称作WannaCry，在感染计算机后会对计算机上的所有数据进行加密，而黑客要求受害者支付300至600美元的赎金，从而获得恢复数据的密钥。该勒索软件使用了Windows中集成的微软密码API（应用程序接口）去处理多项功能，包括生成文件的加密解密密钥。在创建并获得密钥后，在大部分版本的Windows中，API会清除该密钥。

　　不过，Windows XP存在的限制会导致API无法清除密钥。因此，在计算机关机重启之前，用于生成WCry密钥的主序列可能会一直驻留在内存中。WannaKey能扫描Windows XP系统内存，提取其中的相关信息。

　　古奈特表示：“如果你足够幸运（即相关的内存块尚未被重新分配或清除），这些主序列可能仍驻留在内存里。”

　　他同时在Twitter上表示：“我完整地完成了解密过程。我可以确认，在这台电脑上，密钥可以从XP中恢复。”他在Twitter消息中提供了电脑屏幕截图。

　　Wannakey的下载地址：https://github.com/aguinet/wannakey/blob/master/bin/search_primes.exe