大数跨境
0
0

VR运动头盔实时同步,360°全景视频回传,这只扫地狗是如此“不安分”!

VR运动头盔实时同步,360°全景视频回传,这只扫地狗是如此“不安分”! DF创客社区
2018-03-28
2
导读:DF创客社区大咖Rubin Huang,带你进入360°无死角的沉浸式网真体验!
欢迎来到服“造”的世界


随着消费级机器人的不断普及

懒惰的人类经过实践的检验

挖掘到了扫地机器人更多的“潜能”


比如这样 ↓↓↓


不仅把活干完,还能帮你带娃

主人不在家,宠物新玩伴


当然作为创客,除了探索以上“新功能”

是否还存在其他更加高级的玩法?

每到这种需要深刻思考的关键时刻

总有社区大神要放大招


扫地狗当然不只是用来带娃逗宠

还能打造超高性价比的网真机器人



* PS : 本文经项目原作者Rubin Huang同意后发表

下拉至文末点击“阅读原文”可查看完整制作教程


【Teleroomba操控篇】


VR头盔实时同步,360°全景视频回传

极客打造沉浸式网真体验!



DF创客社区大咖Rubin Huang

利用Lattepanda开发板将Roomba改装

开发出超高性价比的网真体验机器人

——Teleroomba ——

点击边框调出视频工具条
 


Teleroomba不仅能进行卫生打扫

还能让我们的动作语言呈现在网真互动之中

进行多媒体分享


点击边框调出视频工具条
 

Teleroomba操作视频


你可以通过游戏手柄

控制机器人的运动,运行速度,摄像头角度



没有游戏手柄的情况下

通过鼠标拖拽实现机器人向各个方向的运行



如果你有适于手机的VR头盔

头盔的朝向可以被直接传递给摄像头

与用户脸部方向同步



最重要的功能:360°实时全景视频回传

在网真机器人行驶的同时

能够进入球形视角

看到360°全景实时图像的每一个角落



【Teleroomba教程篇】


如何在预算有限的情况下制造机器人?

改装扫地狗!



 1. 选择合适的设备及开发平台 


一方面,扫地狗制造商iRobot

提供了一个叫做“create”系列的扫地狗

它允许对其串口发送指令以控制其行为

并得到机器人自带传感器的数据

另一方面,LattePanda这块微型电脑开发板

自带Wifi和蓝牙,可以运行Linux或Windows10

整合Arduino用于数字、模拟电路控制

并通过串口通讯和主体进行连接


 一句话:这简直是件神器

*PS:登陆DFRobot商城(www.dfrobot.com.cn)

可查看产品详情页


  2.机器人结构设计与加工  


显然扫地狗和网真机器人的身高差太远

必须以扫地狗为底层基础结构

在此之上设计一个支架系统固定设备


机器人结构设计手稿


三维打印明显难以满足体量偏大的组件加工

因此使用了以有机玻璃结合单脚架的结构

这样机器人的高度可灵活调节



结构配件设计图纸


因为进行视频通话时处理器升温明显

长时间的高温必然影响处理器寿命

需要安装一个热沉导体

再通过一个微型风扇将其中的热空气吹走


热沉系统组装

微电脑组件加装到主体结构


越来越多的设备添加到LattePanda上

跳线和数据线数量急剧上升

因此我设计了一个简单的PCB

针脚可以直接插入LattePanda上的Arduino

管理GPIO到扫地狗Mini DIN串口的跳线


自定义PCB管理错综复杂的跳线


扫地狗的串口采用七针Mini DIN

可从亚马逊上上购买

并根据需要焊上跳线

另一段则根据PCB制作自定义接口


制作MiniDIN数据线


在为机器人接入360°相机同时

我也加装了一个方便于遥控驾驶的2D相机

蓝牙音箱则安装在2D相机的反方向

与LattePanda通过蓝牙无线连接


.安装其他部分:相机,扬声器,显示屏


Teleroomba上通过GoPro配件

将迷你触摸屏固定在了单脚架结构上


机器人的最顶端

安装有NeoPixel 环状LED指示器

及ThetaS 360°全景相机


机器人顶端设备


  3. 开发软件控制系统  


下图概括了一下软件系统的分布

Teleroomba的软件结构比较复杂

概括来讲包含控制界面,嵌入式部分的代码以及用于网络连接的服务器代码三个部分


控制者端,支持用户界面以及连接输入设备,如操纵杆,VR头盔,采集数据并转化为遥控数据。

(node.js)


机器人端支持控制器与扫地狗的串口通信,文件系统,控制伺服电机以及控制LED指示器。

(Node.js/Bash/C/Arduino)


网络连接/服务器路由,伺服用户界面,建立WebRTC连接以及其他TCP通道。

(Front-endJavaScript/Node.js)


视频通话使用了Google的WebRTC技术,技术特点是能够同时收发低延迟视频、音频媒体流和数据流,即进行视频通话时同步发送控制数据。用户界面显示全部为运行在Chrome浏览器中的网页应用。


  4. 其他说明  


用户界面:专注于驾驶

我将Teleroomba的功能进行整理

并安排于这个可折叠的侧栏之中

这允许我全屏显示机器人相机回传图像


用户界面


还有个专门为调试设计的状态显示工具

以颜色区分具体信息

方便快速定位系统问题


调试工具


LED 行进方向指示器

顶部安装了一个环状的NeoPixel

来显示当前的行进状态


LED 行进方向指示器


最后给大家总结了

一份制作整个机器人的用料清单

总体开销大约在700美元左右

除了一些自定义的组件

大部分组件采购于于亚马逊

总体开发时间算下来大概是6个月



关于项目作者—Rubin Huang




Rubin Huang,本科毕业于北京航空航天大学新媒体艺术与设计学院,插画艺术专业。后于2014年赴纽约大学人机交互专业(Interactive Telecommunication Program)获得硕士学位并留校一年任研究员,现为互无线互联网技术公司Ubiquiti Networks产品经理。


到这里开发Teleroomba的故事差不多就结束了,你对这只“不安分”的扫地狗感兴趣吗?欢迎到社区一起交流!


查看更多使用DFRobot的项目可访问Rubin个人主页:http://rubinhuang.com



NYU ITP 作品推荐阅读:

智能穿戴时尚圈 | 新锐女创客一出马,你们这些工科男都弱爆了!

手相之诗 | 科技进步是否真正削弱了人类传统文化中的迷信与敬畏?



*欢迎转发朋友圈。如需转载,请注明出处和原作者。


项目干货戳这里


2017年度编辑选择奖 上篇

2017年度编辑选择奖 下篇

DIY树莓派游戏机 | 蓝牙音乐频谱播放器

IMA期末作业展 | 波士顿动力机器人最新视频

 Micro:bit圣诞项目合辑 | DIY迷你装载机 | Sparrow

物联网项目精选 | 最美程序媛重返维密秀 | 手相之诗

3D打印履带车 | wifi 气象站 | 极简感应灯 | lululu时钟鹿

 3D打印私有云机箱 |智能家居——Siri语音控制旋转灯

 音乐打击垫Launchpad 新加坡ITE学生作品特辑


点击“阅读原文”,查看Teleroomba完整制作教程!

【声明】内容源于网络
0
0
DF创客社区
我们是专注于创新和开源硬件开发的公司——DFRobot成立的创客社区,无论你是资深创客还是小白,这里都有你的一席之地。一个人玩自己的项目,你只是寂寞宅;一群人看你玩项目,你就是技术牛!快来分享你的项目吧!
内容 1282
粉丝 0
DF创客社区 我们是专注于创新和开源硬件开发的公司——DFRobot成立的创客社区,无论你是资深创客还是小白,这里都有你的一席之地。一个人玩自己的项目,你只是寂寞宅;一群人看你玩项目,你就是技术牛!快来分享你的项目吧!
总阅读2.4k
粉丝0
内容1.3k