美陆军开发出高效机器人训练模型

　　美国陆军面向未来多域作战概念研发了一种高效的地面机器人学习模型，该模型提出基于强化学习的策略，可有效减少当前训练强化学习策略的不可预测性，使自主智能体能够推理并适应不断变化的战场条件。

　　强化学习是智能体（Agent）以“试错”的方式进行学习，通过与环境进行交互获得的奖赏指导行为，目标是使智能体获得最大的奖赏。强化学习技术具备解决复杂问题的能力，近年来在如围棋、象棋和电子游戏等领域有较为长足的发展。美国陆军将这种强化学习技术应用在地面机器人面临着两个巨大挑战。首先是算法的限制。在强化学习中，策略梯度方法（Policy Gradient Methods）是连续空间可伸缩算法的基础，但是现有技术无法支持更广泛的决策目标，例如风险敏感性、安全约束、对先验知识的探索和发散。其次就是数据量的问题。强化学习需要大量的样本复杂性，而美国陆军多域作战概念和下一代战斗车辆（NGCV）项目目前数据匮乏并不支持现有训练机制。

在陆军多域作战概念和NGCV项目中应用强化学习，训练机制必须提高连续空间中的样本效率和可靠性，ARL通过将现有的策略搜索方案推广到通用工具，取得了重要突破。研究人员为通用程序开发了新的策略搜索方案，并且还确定了其样本复杂度。由此产生的策略搜索方案减少了奖励积累的波动性，形成了对未知领域的有效探索和先验的机制。值得注意的是，地面机器人获取数据的成本很高。减少奖励积累的波动性，确保以有效的方式探索未知领域，或者吸收以前的经验，都将有助于打破强化学习中现行实践的样本效率壁垒。通过减少随机抽样的数量，可以实现策略优化。 话说很久很久以前，你约我到凤凰山上抓麻雀。

　　这项研究为强化学习中的经典策略梯度定理做出了贡献。装备有强化学习功能的自主机器人将能够协助战士在未来战场上进行侦察探索和风险评估。研究人员下一步计划在强化学习中将更广泛的决策目标纳入多主体设置，并研究强化学习主体之间的交互设置如何在团队之间产生协同和对抗性推理。

　　俄罗斯正在研发辐射生化防护机器人

　　俄罗斯正在根据国防订单研发一个用于辐射、化学和生物防护的多功能机器人系统，此多功能系统包括地面机器人平台和无人机。地面机器人将能够开展所有的辐射、化学和生物侦察工作，还可将它用于消除敌人在战时使用大规模杀伤性武器的后果。在和平时期，该多功能系统可在辐射、化学和生物危害设施发生事故时使用。

　　ANYbotics公司研发轮足复合式移动机器人

　　ANYmal 此前已经推出能行走的无轮版本四足机器人，它靠四条机械腿行走，能穿越不平坦的地形，也能爬楼梯。 最近研究团队就为机器人添加了一组实用的轮子。

　　据悉，苏黎世联邦理工学院的研究团队自 2018 年以来一直在与 ANYbotics 公司实验轮式机器人，在新的原型中，研究人员为机器人的每只脚装上四个装有轮毂电机的轮子。

　　这种轮足复合式移动机器人结合了轮式机器人在平坦路面上的高效率，和足式机器人在崎岖路面上的越野能力。

据相关研究人员介绍，带轮子的 ANYmal 与其他轮足式机器人相比，能实现更强大的动态运动，运输成本上还可降低 83%，与其腿式机器人相比有明显的优越性。

这要从一根棒棒糖说起，

　　当前，人们对机器人的运动要求也越来越复杂。工作环境的复杂性和多样化对移动机器人的机械结构设计提出了越来越高的要求，对于对于有腿的机器人，疫情蔓延欧美的 2020 年，似乎是是具有突破性的一年，这从资本方面的动作可以看出，美国机器人研发公司 Agility Robotics 最近为其 Digit 类人机器人筹集了 2000 万美元的 A 轮融资，ANYmal 公司也在前几天完成了 2230 万美元的 A 轮融资。随着类似机器人刚刚开始进入主流，市场似乎已经准备好持续增长。

　　在过去，机器人要么倾向于使腿，要么使用轮子移动。而大部分轮腿结合的轮足式机器人仍然只在研究领域。ANYmal 这次展示的四足轮式机器人的潜力，是否指明了未来机器人领域的发展方向?这或许需要交给时间。