"实体智慧社区"已降临！机械人穿梭市场采买食材，街头巷尾尽是忙碌身影。这一切源于上海AI实验室的创新成果，科技让生活更智能。
编辑日期：2024年07月22日
来自凹非寺的明敏报道，一场科技革命正在上演——超真实的机器人社区已然诞生！
在这片未来之境，机器人如同人类一般，在超市中挑选商品：
它们不仅能够采购食材，还能亲自下厨烹饪美食：
办公室内，机器人与人类同事并肩工作，轻松取咖啡：
不仅如此，机器狗与机械手臂同样在这座“智慧城市”中畅行无阻。
这一切，源于上海AI实验室的创新构想——GRUtopia（中文名：桃源），首个模拟互动3D世界。由十万计交互场景编织而成，细致注解营造出栩栩如生的城市景观。
涵盖从室内到户外，餐馆、超市、办公区、住宅等89种多元场景。
大模型赋能的NPC，与机器人展开生动对话，构建沉浸式交流体验。
借助这一平台，各类机器人得以在虚拟小镇中模拟多样行为，遵循Sim2Real理念，显著减少具身智能在真实世界的数据采集挑战与成本。
项目即将开源，目前GitHub已发布初步演示安装指南。
安装完毕后，您可在演示中操控仿生机器人探索室内空间，视角随心切换，自由度拉满。
【实体智慧社区】震撼登场！机器人穿梭于市集，采集信息，科技感爆棚！
三大核心亮点，引领未来潮流：
GRScenes，超大规模场景数据库，打破界限，拓宽机器人行动版图。不再局限于家居一角，超市、医院、户外乐园、文化场馆...无所不至。精心打造100场景，囊括2956互动物件与22001静态物品，96种类别，细节满分。
GRResidents，智能NPC生态系统，由强大模型支撑，深谙环境奥秘。空间关系推理，动态对话，任务分配，样样精通。此系统催生GRUtopia无限任务，机器人挑战无极限。
交叉验证，人机协同，NPC描述定位准确率令人惊艳。实验一：NPC随机描述一物，人类能否精准定位？实验二：人类描述，NPC找物，默契度如何？
【实体智慧社区】，机器人穿梭市场采集，未来已来！
调用各类大型模型的效果参差不齐，总体而言，GPT-4o展现出了最优表现。
GRBench是一项专门衡量具身智能效能的评测标准，它由三个递进的测评项目构成：目标定位导航、社交定位导航及定位操作，难度依次升级。
为深入探究NPC与控制API效能，研究团队引入了基于LLM与VLM的参照标准，以此验证评测框架的可行性。
实证数据揭示，相较随机策略，在全部测评环节中，依托大型模型作为后台代理的方案均展现出更佳效能。
值得一提的是，Qwen-VL在对话互动方面的表现超越了GPT-4o。
从全局视角审视，GRUtopia相较于其他平台，在各项指标上均显示出更强的优势。
此项前沿研究由上海人工智能实验室OpenRobot Lab主导，专注于探索具身通用人工智能领域，力图构建一套融软件、硬件、虚拟与现实于一体的全面机器人算法体系。
在今年五月，项目团队推出了Grounded 3D-LLM，一款创新的具身多模态大型模型。它能自动生成从物品至局部空间的场景描绘和具身对话数据集，显著克服了三维场景解析的瓶颈。
相关论文可于https://arxiv.org/abs/2407.10943查阅，而GitHub项目页面则位于https://github.com/openrobotlab/grutopia?tab=readme-ov-file。
这家背后的公司近期完成了近八千万美元的融资，为“实体智慧社区”概念注入活力，机器人在市场中灵活穿梭采集信息。
这股趋势吸引了众多投资者的目光，他们视之为前景无限的数据源泉。社交媒体上，网友们热切呼吁波士顿动力关注这一领域。
联想创投亦在此浪潮中，宣布将2024年CVC创投周聚焦于此。有评论指出，“充足的资金足以一次性破解难题”。
让我们邀请大型模型扮演专家角色，共同探讨这一领域的未来可能性。
大家在看
