促进强化学习落地产业界：网易推出强化编程框架

实验结果显示：蓝色线条为端到端的模型，效果最差；红色为网络加规则的混合模型一开始上升很快，且始终优于蓝色；绿色线条为分层模型，最初低于红色，但在后续训练过程中逐渐变成收益最高的一条曲线。验证了复杂问题中引入人工经验进行混合编程与问题分解进行分层网络训练的优势。

实验结果对比

在过去的一年多时间里，伏羲实验室已经利用该框架将深度强化学习应用于游戏产业。目前已在网易的多款自研产品中取得成果并上线，涵盖MMORPG、篮球、动作及休闲等众多品类。

下面是强化编程框架在潮人篮球这款游戏中的应用实例。以多网络的方式实现了篮球游戏内的AI设计，通过流程图实现attack、defense、ball clear、free ball四个网络的建模，编辑对应的神经网络，调用RL插件接口，，在Web前端申请计算资源进行训练。

网易伏羲工作室强化编程框架 视频1 流程图工具建模实例 （来源：）

视频1 流程图工具建模实例

可以看到4个网络的训练随着机器人的状态进行切换

网易伏羲工作室强化编程框架 视频2 网络训练实例 （来源：）

视频2 网络训练实例

最终，在潮人篮球线上3V3模式中，3个AI Bot胜率达82%，2个AI与1个玩家人机合作胜率达70%。

网易伏羲工作室强化编程框架 视频3 潮人篮球3v3强化学习AI Bot （来源：）

视频3 潮人篮球3v3强化学习AI Bot

网易伏羲实验室

网易伏羲实验室是国内首家专业游戏AI研究机构，成立于2017年9月，目前已有160名成员。实验室在强化学习、自然语言处理、计算机视觉和虚拟人等方向开展学术研究及产业落地尝试。愿景是“以人工智能技术点亮游戏未来”，希望运用人工智能的尖端技术为玩家营造新世代的游戏体验，同时借助游戏平台的海量数据和仿真环境，推动人工智能技术发展。

在本届NeurIPS Expo研讨会上，伏羲实验室提出了一种新的强化编程框架，能够让没有任何强化学习背景知识的使用者也能将这项技术应用到现实问题，促进强化学习在产业界落地。该框架是对传统编程的增强，使用者能够以调用一种可学习函数的方式使用强化学习，方便的实现逻辑规则与强化学习的混合编程及多网络协同学习，该框架还提供了可视化的流程图前端工具和集成各种算法的后端云平台，能够更加快捷地实现上述编程模式。此外，很多后续工作也在进行，如集成AutoML、支持模仿学习等。

在该框架的工作中，南京大学LAMDA实验室的俞扬教授团队与伏羲团队建立了合作，并计划将该框架用于星际AI和基于环境建模的模仿学习研究中。该框架已经在多款网易的游戏中应用，并计划和氪信科技一起将其推广到金融领域。网易方面表示，希望这套强化编程框架不断改进变得更加通用，让强化学习技术更快的在产业应用中发挥价值，未来帮助用户解决更多实际问题。同时也欢迎各界积极交流、探讨，共同推进AI技术发展。

本文来源：网易 责任编辑：乔俊婧_NBJ11279

（编辑：云计算网_宿迁站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!