乒乓球人工智能机器人战胜人类！它能够灵活切换正反手，无论是擦网还是高空球都能接住，专业教练表示其技能已达到中级选手的水平。
编辑日期：2024年08月10日
你看，一不留神，你就赢了专业教练一个球！
正反手可以快速切换，连续进攻也完全不成问题~
面对一些突发的战术，例如长球、高球或是擦网球，也能沉着稳定地应对。
在实际测试中，机器人能够实时适应不同的对手风格，最终赢得了与所有初学者的比赛，并且在与中级水平玩家的对抗中也取得了55%的胜率。
小小的乒乓球，拿下来！
与其对战的美国乒乓球明星 Barney J. Reed 给出了高度评价：超出了预期，这个机器人已经达到了中级水平。
看完它的表现后，网友们纷纷留言表示：可以买吗？我很想要。
乒乓球是一项对体力、策略和技术等各方面要求都很高的运动，人类通常需要经过多年的训练才能掌握。
因此，与国际象棋或围棋等纯策略游戏不同，乒乓球对于机器人的高速运动、实时精确控制、策略决策和系统设计等方面的能力提出了综合性挑战，成为了考验其整体能力的重要标准。
例如，面对球的不同落点，机器人需要迅速调整位置；而对于明显出界的球，机器人则应选择不予接取。
团队组织了一场乒乓球比赛，邀请了29名不同技术水平的选手参加，包括初学者、中级、高级以及专业级选手。
人类与机器人进行了三场比赛，比赛遵循标准的乒乓球规则。（但由于机器人无法发球，因此整场比赛均由人类发球）
在此之前，实际上已有乒乓球机器人的研究，但此次谷歌机器人的独特之处在于它能与未曾交手的人类进行全方位的竞技对战。
它能够迅速适应人类的各种打球风格。
比如看这位选手，在比赛刚开始时，机器人显然还在适应阶段，因此人类选手以9比2的大比分领先于机器人。
但在接下来的一局中，机器人显然已经熟悉了对手的风格，一直紧咬比分。双方你来我往，打得非常胶着。
最终，在所有的对手中，机器人赢得了所有初学者级别的比赛，并且在与中级选手的比赛中获得了55%的胜率。
虽然目前机器人还无法打败高级选手，但从人类的各种反馈来看，大家都很乐意与这个机器人一同游戏。
在介绍方法之前，我们先来看一下乒乓球机器人的硬件配置。
主体使用的是ABB公司的1100型六自由度瑞士机械臂，该机械臂安装在两条Festo直线导轨上，以便能在平面上移动。横向移动的导轨长度为4米，而纵向移动的导轨长度为2米。
机械臂上安装了一个3D打印的球拍手柄和一个装有短颗粒胶皮的球拍。
就是这样一个小东西，是怎么学会打乒乓球的呢？
总的来说，采用的是结合了强化学习和模仿学习的混合训练方法。
团队设计了一种分层和模块化的策略架构，其中包括一个低级技能库（LLC）和一个高级控制器（HLC）的代理（Agent）。
LLC 是一系列专门化的策略集合，其中每个策略都经过训练以执行特定的乒乓球技巧，比如正手击球、反手击球、发球等。这些 LLC 采用了 CNN（卷积神经网络）架构，并通过仿真环境中的进化策略算法来进行训练。
训练过程采用了从现实世界收集的球状态数据集，以保证模拟环境与真实环境的一致性。
而 HLC 则负责在每次接收到球时选择最合适的 LLC。
包含多个组件：风格策略，用于选择正手或反手击球；旋转分类器，用于识别来球的旋转类型；LLC技能描述符，描述每个LLC的能力；一组启发式策略，用于根据当前情况筛选候选LLC。
HLC还利用在线学习的LLC偏好来适应对手的特点，并弥补从仿真到现实的差距。
具体而言，团队首先收集了一部分人类比赛的数据，并设置了初始任务条件，随后利用强化学习在模拟环境中训练一个智能体（Agent），最终将所学策略零样本部署到现实世界中。
其中运用了MuJoCo物理引擎来精准模拟球体及机器人的动态特性，涵盖了空气阻力、马格努斯效应等要素，并且还专门设计了对付上旋球的“修正”方法。通过在模拟过程中切换不同的球拍参数，以此来重现现实世界中的上旋与下旋效果。
在代理（Agent）与人类持续对战的过程中，可以产生更多的训练任务条件，并进行循环的训练-部署过程。
机器人的技能逐渐提升，比赛也逐渐变得更加复杂，但仍然基于现实世界的任务条件。机器人在收集数据后，还能够发现自己能力的不足之处，并且随后通过在模拟环境中不断训练来弥补这些缺陷。
通过这种方式，机器人的技能可以在模拟与现实相结合的循环过程中实现自动迭代和持续改进。
此外，这个机器人还能通过追踪对手的行为和打法来适应不同的对手，例如对手倾向于将球打回到桌子的哪个位置。
这样可以尝试不同的技巧，监视自己的成功率，并实时调整策略。
在与人类对打的实验中，研究团队也发现了该机器人的一个弱点：它不擅长处理下旋球。
根据对球旋转的估计，绘制出机器人上台的概率图。结果显示，在面对更多下旋球时，其上台率有显著的下降。
研究人员指出，机器人在处理弧线低且接近球桌的球时会遇到困难。为了防止撞到球桌，机器人的动作很难调整，并且在实时判断球的旋转类型方面也存在局限性。
研究机器人打乒乓球，谷歌早在很久以前就已开始。相关的研究项目和成果也是数不胜数：
例如，在谷歌之前的i-Sim2Real研究中，训练的机器人能与人连续对打340次而不让球落地，这相当于连续对打超过4分钟。
其他团队也曾有过乒乓球机器人，比如这种，还可以发球：
以及像日本国家队和中国台湾的队伍，也都使用机器人来陪伴他们的奥运选手训练。
那么，有些小伙伴就会疑惑，这和谷歌这次发布的机器人有何不同？
有一位网友给出了解释：
所以，什么时候才能看到与我们的国家队对决呢？（Doge）
项目主页：
参考链接：
注意：您未提供需要重写的具体内容，仅重写了“参考链接”部分。若需重写其他内容，请提供详细信息。
本文出自微信公众号：量子位（ID：QbitAI），作者：白交西风
