大数跨境
0
0

斯坦福机器人感知系统,开源!

斯坦福机器人感知系统,开源! GitHubTopp
2024-09-07
0

“我们必须感知才能移动,但我们也必须移动才能感知” – 斯坦福大学教授Gibson

机器人感知系统

源代码

http://www.gitpp.com/plang/gibsonenv

机器人研究最前沿的技术

真实环境:实体代理的真实世界感知

命名:吉布森环境以James J. Gibson命名,他是《视觉感知的生态方法》一书的作者,1979 年。“我们必须感知才能移动,但我们也必须移动才能感知” – JJ Gibson

请访问斯坦福大学网站http://gibsonenv.stanford.edu/ ) 了解更多技术细节。该存储库旨在用于分发环境和安装/运行说明。

数据库

完整的数据库包括 572 个空间和 1440 个楼层,可以在此处下载。在这里可以看到吉布森所有空间的多样化可视化为了使核心资产下载包对用户来说更轻松,我们包含了一小部分空间 (39)。用户可以下载其余空间并将其添加到资产文件夹中。如果您希望将 Gibson 的模拟器与这些数据集一起使用,我们还将斯坦福 2D3DSMatterport 3D集成为单独的数据集(在此处访问)。

目录

  • 安装

    • 快速安装(docker)

    • 从源头构建

    • 卸载

  • 快速开始

    • 吉布森第一人称射击游戏

    • 网页用户界面

    • 渲染语义

    • 机器人代理

    • ROS配置

  • 编写 RL 代理的代码

  • 环境配置

  • 护目镜:将代理转移到现实世界

  • 引文

安装

安装方法

安装 gibson 有两种方法,A. 使用我们的 docker 镜像(推荐)和 B. 从源代码构建。

系统要求

最低系统要求如下:

对于 docker 安装(A):

  • 乌班图16.04

  • Nvidia GPU,显存 > 6.0GB

  • Nvidia 驱动程序 >= 384

  • CUDA >= 9.0,CuDNN >= v7

对于从源头构建(B):

  • 乌班图 >= 14.04

  • Nvidia GPU,显存 > 6.0GB

  • Nvidia 驱动程序 >= 375

  • CUDA >= 8.0,CuDNN >= v5

下载数据

首先,我们的环境核心资产数据可以在这里获取。您可以按照下面的安装指南正确下载并设置它们。gibson/assets文件夹存储运行gibson环境所需的数据(代理模型、环境等)。用户可以添加更多环境文件以gibson/assets/dataset在更多环境中运行gibson。访问数据库自述文件以下载更多空间。使用Gibson的数据库之前请签署许可协议。


页用户界面

运行 Gibson 时,您可以使用 启动 Web 用户界面python gibson/utils/web_ui.py python gibson/utils/web_ui.py 5552当您无法物理访问运行 gibson 的计算机或在无头云环境中运行时,这非常有用。您需要更改mode配置文件才能web_ui使用 Web 用户界面。

渲染语义

当模型被语义注释时,Gibson 可以提供逐像素的逐帧语义掩码。截至目前,我们已为此目的整合了斯坦福 2D-3D-语义数据集Matterport 3D的模型。您可以在Gibson 中访问它们我们建议您参考原始数据集的参考,以获取其语义类和注释的列表。

有关 Gibson 中渲染语义的详细说明,请参阅语义说明作为安装附带的入门数据集中的一个示例,space7包括斯坦福 2D-3D-Semantics 风格注释。

机器人感知系统的主要功能是将机器人各种内部状态信息和环境信息从信号转变为机器人自身或者机器人之间能够理解和应用的数据、信息。这包括感知与自身工作状态相关的机械量,如位移、速度、加速度、力和力矩等。此外,机器人感知系统还具备以下重要功能:

  1. 视觉感知技术:这是工业机器人感知的一个重要方面。视觉伺服系统将视觉信息作为反馈信号,用于控制调整机器人的位置和姿态。在半导体和电子行业中,这种应用尤为突出。机器视觉系统还在质量检测、识别工件、食品分拣、包装的各个方面得到了广泛应用。

  2. 自主决策和智能控制:机器人感知系统能够通过对感知数据的处理和分析,结合预先设定的任务和目标,自主地进行决策和规划行动。这使得机器人能够实现对外部设备的智能控制,以及对周围环境的感知、自主决策和智能控制。

在具体实现上,工业机器人感知系统通常由传感器、处理器和执行器组成。传感器负责接收来自环境的信号,并将其转化为数字或模拟信号;处理器则负责处理这些信号,并根据接收到的指令执行正确的任务;执行器则根据处理器的指令执行具体的任务,如位移、旋转或抓取操作。

总的来说,机器人感知系统是机器人实现自主决策、智能控制以及与周围环境进行交互的关键。随着技术的不断发展,机器人感知系统的功能和应用领域将进一步扩大和深化。


“我们必须感知才能移动,但我们也必须移动才能感知” – 斯坦福大学教授Gibson

机器人感知系统

源代码

http://www.gitpp.com/plang/gibsonenv

【声明】内容源于网络
0
0
GitHubTopp
top开源系统分享
内容 334
粉丝 0
GitHubTopp top开源系统分享
总阅读0
粉丝0
内容334