两年前谷歌旗下人工智能部门DeepMind开发的人工智能击败了世界围棋冠军而一举成名。现在，DeepMind的另一个项目已经学会了如何玩多人游戏《雷神之锤》。而就在上月底，由马斯克联合创立的人工智能非营利研究机构OpenAI宣布，其开发的AI(人工智能)组队在5对5对战中战胜了游戏Dota2的顶尖业余玩家。这被认为是继阿尔法狗大战柯洁之后的又一里程碑事件。
组队赢了Dota 2
6月25日，著名非营利机构OpenAI宣布：其研究的OpenAI Five能像人类一样“组队”，首次在5对5对战中战胜Dota 2人类玩家，平均天梯分数超4200分(超过近90%玩家)。比尔·盖茨评价说：“这是一个了不起的成就，因为它们的胜利需要团队合作和协作，这是人工智能前进道路上的一大里程碑。”
会玩《雷神之锤》
7月3日，DeepMind表示开发了创新和强化学习技术，使AI系统能在《雷神之锤III竞技场》的游戏中达到人类的游戏水平。研究者们举行了竞赛，参赛队伍有3种形式：人类玩家组队、机器人组队、机器人和人类玩家组队。最终全员为机器人的小队胜率达到74%(老手玩家胜率约为52%，普通玩家为43%)。
怎么赢的？AI一日，人间180年
学得迅速
设计者让OpenAI Five通过自我对抗的方式从随机权重开始学习，随着训练的进行，英雄从漫无目的地闲逛到出现战斗的“意识”。几天之后，AI的策略就非常接近人类了。据报道，AI的训练量级非常大，每天都能完成人类玩家180年的练习量。
算得飞快
OpenAI Five使用在256个GPU和128000个CPU内核上运行的扩展版近端策略优化进行训练。OpenAI每4帧评估一次局势，并产生2万个决策，这样的循环每场游戏平均会进行2万次。OpenAI平均每分钟可进行150-170次操作，平均反应时间为80毫秒。
独特风格
在游戏玩法上，OpenAI Five还形成了一些“风格”和独特策略，比如经常来牺牲自己的优势路以压制敌人的优势路，迫使战斗转移到对手更难防御的一边；AI英雄还会自我牺牲，把人类玩家引诱出高地，确保团队其他成员能推塔成功。
团队精神
OpenAI Five的英雄之间并没有具体的通信渠道，它们通过被研究人员称为“团队精神”的超参数控制团队合作。设计者表示：“我们能够从比赛中感受到，AI算法间的协作意图似乎是一种非常自然的本能表现。当用一位人类玩家替换掉5位AI玩家中的一位，人类玩家也表示能够体会到AI队友对他的支援。”
为什么要让AI打游戏？
自从AI征服了围棋之后，就有人工智能公司表示，要让人工智能在即时战略游戏中战胜顶级人类玩家。在棋类游戏中形势的变化是很容易被量化的，即使是复杂的围棋也只是在19×19的棋盘中进行的。像《星际争霸》这样的即时战略游戏，每个单位可能占据的位置远比这个数字多得多。相比较而言，棋类游戏更加清晰和有跳跃性，而即时战略游戏更加混乱并有连续性，显然后者更接近于真实的世界。如果将游戏之中多个AI之间的合作延伸到AI技术商业化应用场景，这类多种AI算法将可以应用于在线交易、广告竞价排名、生产线上多样化制造等场景。此外，具有团队合作的AI与人类也可进行合作。 宗合
AI是怎么学会“团结协作”的？
和AI的对阵，人类又败下阵来。这一次，AI不仅在智商上赢过了人类，而且还有了团结协作的能力。这个巨大进步让人不寒而栗：AI难道有了“人的意识”？被AI全面取代的日子，真的又近了一步？
AI们学会的“协作”，其实是“强化学习”算法
记者就这一问题采访了南京航空航天大学人工智能学院陈松灿教授。陈松灿认为，这一比赛结果的确说明AI玩游戏的“水准”又提高了，但我们也没必要过分恐慌，因为AI的“协作”能力从本质上说依然是“算法”在支撑，因此，“人的意识”说显然是不存在的。
DOTA游戏里，AI是怎么实现“协作”的？陈松灿介绍，这其中起主要作用的是一种名为“强化学习”的算法。“玩游戏的人都有这样的经历，一个人玩时，想的是‘怎么让自己赢’，而几个好朋友组成‘战队’团队玩游戏时，肯定会想着‘协作’，让团队获得游戏的胜利。AI的世界里，也有这样的‘获胜’规则。”陈松灿说，AI之间的“协作”，是一种强化学习算法，它可以达到“策略最优”的目的。单人游戏的时候，AI只要关心策略实施后自己获得的奖赏。多人协作游戏中，每个AI需要关心策略实施后自己获得的奖赏，以及整个团队获得的奖赏。“如果某个操作会给自己带来很大的奖赏，但是会导致团队损失，那么这个操作会被尽量避免。”
AI这么高的“智商”是哪儿来的？
很多人好奇，AI为什么能这么聪明？陈松灿教授解释，人工智能有很强的学习能力，“有了高性能计算设备和大量的数据资源，我们设计的先进算法就能从数据中学习出有用的知识。机器相对于人类来说，可以不知疲倦地24个小时自我学习，自我博弈，远远高于人类自我学习的时间。”
其实，AI的勤勉也是人类赋予的，陈松灿介绍，类似“协作”，“聪明”也是人类为AI设计的一种算法，“研究人员通过历史数据、设计算法等方式教给它们知识，可以这么说，人工智能中人才是幕后英雄。”
因此，陈松灿否认了“人工智能取代人”的说法，“比起取代，我更认为人和人工智能相互协作是趋势。为什么人与人能相互协作，人与机器就不行呢？”
这些“通了电的脑袋”有了新的协作小伙伴
别小瞧“协作”，AI实现的每一项新技能，其实背后都是人类大量的人力和技术投入。在我们身边，专业的人工智能学院也逐渐兴起。陈松灿教授介绍，江苏众多高校，如南京大学、南京航空航天大学都设立了人工智能学院及相关专业方向。“计算机视觉、机器学习、自然语言处理，这些人工智能范畴的技术扮演着越来越重要的角色，因此人工智能专业人才的需求越来越大。”
在南航人工智能研究院，科研人员正在努力将人工智能技术应用到无人机中，“通了电的脑袋”有了新的“协作”小伙伴。陈松灿透露，无人机研究原本就是南航的特色，南航人工智能研究院目前正在进行的这项研究，意在让人工智能加持下的无人机“视力”更加出众，能够在飞行中更加灵活地躲过障碍，更好地执行任务。 实习生 马腾跃
扬子晚报全媒体记者 杨甜子
原标题：AI组团打游戏击败人类 难道真有了“人的意识”？|陈松灿|算法|玩家
