乒乓球AI机器人赢了人类专业教练:达到中级选手水平
发布时间:2024-08-11 发布者:文案编辑 来源:原创/投稿/转载

  实际测试中,机器人实时适应不同选手风格,最终赢下了与初学者的所有比赛,同中级玩家对打也有55%的胜率。

  与它对阵的美国乒乓球明星Barney J. Reed给予了高度评价:超出预期,这个机器人已经达到中级水平。

  乒乓球是一项对体力和战略、技巧等各方面综合要求很高的运动,人类也往往要经过多年训练才能掌握。

  因此,不同于像象棋、围棋这种纯战略游戏,对于机器人而言,乒乓球成为考验其综合能力的重要基准,比如高速运动、实时的精准控制、战略决策、系统设计等等。

  人类与机器人进行了3场比赛,比赛遵循标准乒乓球规则。(不过由于机器人无法发球,整场由人类来发球)

  在此之前,其实也有相应的乒乓球机器人研究,此次谷歌机器人的特别之处在于,它能够同从未见过的人类进行全面的竞技对决。

  虽然目前机器人还没有办法战胜高级选手,但在人类的各种反馈中,可以看到,大家都很乐意同这个机器人玩耍。

  主体采用的是6自由度的瑞士公司ABB 1100机械臂,装置在两个Festo直线导轨上,使其能够在平面内移动。横向移动导轨长4米,纵向移动导轨长2米。

  团队设计了分层和模块化的策略架构,Agent包括一个低级技能库(LLC)和一个高级控制器(HLC)。

  LLC是一组专门的策略,每个策略都经过训练来执行特定的乒乓球技能,如正手击球、反手击球、发球等。这些LLC使用CNN架构,通过仿真环境中的进化策略算法进行训练。

  包含多个组件:风格策略,用于选择正手或反手;旋转分类器,用于识别来球的旋转类型;LLC技能描述符,描述每个LLC的能力;一组启发式策略,用于根据当前情况shortlist候选LLC。

  具体来说,团队先是收集了少量人类比赛数据,设置初始化任务条件,然后用强化学习在模拟环境中训练一个Agent,再将策略零样本部署到真实世界中。

  其中使用MuJoCo物理引擎精确模拟球和机器人动力学,包括空气阻力、Magnus效应等,还设计处理了上旋球“校正”,通过在仿真中切换不同的球拍参数来模拟真实世界中的上旋和下旋效果。

  机器人技能逐渐提升,比赛也逐渐变得复杂,但仍基于现实世界的任务条件。机器人收集完数据,还能发现其能力的不足,随后通过在模拟环境中持续训练来弥补这些缺陷。

  此外,这个机器人还能追踪对手的行为和打法来适应不同的对手,比如对手倾向于将球打回桌子的哪一侧。

  研究人员表示,机器人在处理弧线低且接近球桌的球时,为避免撞击到球桌,很难处理好,而且在实时确定球的旋转类型上也存在局限。

  比如谷歌之前的i-Sim2Real研究中,训练的机器人与人类打球,最多可连续打340次不落地,相当于连续打了4分钟+。

相关内容

热点推荐