蘑菇云项目真人秀
时间:3.14 15:30-21:30
地点:B站
人物:蘑菇云的小伙伴们
任务:创客版“健身环大冒险”
疫情期间,蘑菇云的小伙伴虽然各自宅在家里,但搞事情的心还在蠢蠢欲动。
2020年2月底的某一天,在家宅的几位蘑菇云小伙伴在讨论在家怎么搞事情。
飘移菌
我想用用树莓派做的数据可视化装置,用来监测自己立的Flag的进度
这个想法很棒,正好可以用在监督Rockets在疫情期间做运动的Flag上
嘚嘚
飘移菌
那说干就干,咱俩分头找人一起搞事情
阵容确定
August
用加速度传感器来进行判断,但是觉得要在身体上加一个传感器实在很累赘。
用压力传感器来进行判断蹲起产生的压力差,但分析判断为可靠性差。
Light
Rockets
我们一定要有一个落地的解决方案,现在投票。
投票结果:
用视觉的方案来进行运动方案的判断。通过树莓派的进行摄像头图像分析不仅可以体现树莓派的强大算力,也给自己一个挑战,了解TensorFlow在树莓派上的应用,到底是不是可行。
在确定了大的方向后,又根据各自的分工确定了相关的时间节点和交付内容。
在接下来几天里,大家基本完成了软件的测试和方案的确定。
技术调试
在疫情期间,快递的收发甚至运输都受到了极大的影响,需要采购的硬件都没有办法很快的到达手上,所有的硬件还都在路上。那怎么办呢?
为了尽快的进行测试,Light在网上找到了相关的视频,用视频进行测试。
也安排Rockets在家做深蹲并拍照下来供测试。让Rockets还没有开始比赛就已经动了起来。
在家宅就不高兴换衣服了,Rockets就直接穿睡衣上镜。。。
与此同时,漂移君为了让Rockets能顺利的摄像头,在家里先用自己的树莓派接上树莓派摄像头,进行测试。
树莓派摄像头调好了,可以迎来首次实时测试了。
好像有什么不对?
原来是飘移菌家里的小喵咪汤圆出镜了。
大家在腾讯会议里看到汤圆都非常的开心,边云撸猫的同时也加快了各自的进度。
通过light的配合,骨架识别posenet分别在服务器端和本地端都运行了起来。
根据现场提供的摄像头图像,经过紧张的调试,骨架分析成功的完成了。
第一次测试骨架分析还是比较顺利的。
技术框架
为了大家能更好的配合,Light准备了一个技术方案的框架。
整体来说,因为大家都在家里进行相应的准备,没有办法一起弄,所以,所有的操作都是通过网络来进行实现,因此light的整个框架设计就体现了这样的思想。所有的处理都是通过网络来进行的。利用rtmp服务器进行视频流的传输,用mqtt的服务器来进行控制信号的传输,每个人负责的服务都在各自的树莓派上进行。摄像头接在树莓派上,用于进行图像采集。posenet用于骨架识别和动作分析。B站弹幕也由树莓派来进行抓取并将特定数据传输至mqtt服务器参与控制。一台树莓派用来控制步进电机,一台树莓派用来控制舵机。
与此同时,嘚嘚与小伙伴也正在准备装置的版面也到位了。
直播展示
3月14日15:30在B站正式开始直播。
首先Rockets和骑驴作为主持人给大家介绍了挑战项目
既然这是一个真人秀,一切都按照真人秀的模样来,Rockets和漂移君按照事先的剧本开始了他们的表演。
但接下来的重头戏就没有办法演了,一切准备工作都是在直播前刚简单跑通,其实大家都是非常紧张的。不知道会不会在接下来的过程中翻车。
接下来就是重头戏——接力撸代码
漂移菌给大家讲了树莓派网络如何搭建,Rockets在指导下完成了树莓派的环境配置。
Light讲了骨架识别的内容,对于动作分析的代码进行了演示讲解。
漂移菌分享了电机驱动程序,调通之后演示了电机的正转与反转。
同时我们也准备了一个码表,用来监测蹲起的速度。何老大对于舵机以及驱动进行了讲解。
最后漂移菌讲解了mqtt以及rtmp部分。
【联调】
每个部分都OK之后,我们进行了最终的联调,但奇怪的是飘移菌这段一直抓取不到数据,很有可能是网络的问题。最后采用了终极大法——重启系统。最后多次的尝试下,问题得以解决,联调测试完毕,项目完整演示要开始啦!
为了增加趣味性,Jeff用一下午时间做出了B站的弹幕抓取,大家弹幕发送“#加油”,装置的小猴子会有助力上升,如果弹幕“#加量”的话,小猴子就会下降,也就意味着Rockets要做的更卖力才可以让小猴子上升。
在发布了这个功能后,马上被“#加量”刷屏了,虽然Rockets已经做的非常卖力了,可是小猴子依然在刚刚起步的地方没什么变化。
Rockets累的气喘吁吁,主持人见状也开始劝网友善良,渐渐的“#加油”也刷屏了,小猴子终于登顶。完成挑战的Rockets晃晃悠悠的来到镜头前,说大概这一波把疫情期间的运动量都补齐了。
成功完成挑战!
王辉也加入了挑战,最终败在“恶魔观众”手里,在满屏的“#加量”的“绝望”中最后放弃了挑战。
还有时间,我们接入了最后一位挑战观众,年轻的小伙子果然体力好,在“加油”和“加量”持平的状态下很快也完成了挑战。
我们Pi Day挑战终于圆满的完成了。
Rockets
没想到最后我们把项目跑出来了!首先我要感谢家里人的支持,为了保证直播的网速,我老婆一整天都没有上网。
飘移菌
我老婆也是,没上网也没有开扫地机器人。玩创客也少不了家人的支持。还要特别感谢一下August,在tflite和PoseNet解决方案上贡献了完备的代码,Light在解决方案上做了很好的优化,连夜调出来非常给力。何斌速度也很快,需求给过去一天就搞定了。这次跟大家一起配合跑树莓派,很有意思!
王辉
这才是一个完整的Pi Day,从早到晚的玩了一整天的树莓派。
Light
跟大家一起玩的很开心!Jeff的弹幕抓取做出来,效果就更好了!
今天特别感谢大家,我们是在线上玩出了之前在线下空间做项目的感觉,创客就是一起搞事情!疫情过后我们也会把装置放在蘑菇云,欢迎大家一起来做运动!一起搞更多有趣的项目!
另外,我们将项目代码开源在这里,大家也可以做出自己的Flag监督装置哦!
www.github.com/piday4fun
嘚嘚
2013年11月9日蘑菇云首次对外开放,这是浦东第一家创客空间。【蘑菇云开放夜】每周在浦东(周四)、DIY、工作坊等创客方式向社会大众开放,让所有人感受自由自造的魅力,分享创造的喜悦!
蘑菇云创客空间
自由自造的
分享、学习

