于我而言，创作是语言的探索
交互、平面、程序都只是手段，VR、AR、还是视频都只是载体，它们是为了解决探索中的问题而服务的
探索的根源来自于的好奇。我去年去盲校调研过，认识了几个朋友，有个盲人朋友，她可以通过回声探位到两米左右的大型障碍物。这种人类获得跟蝙蝠一样的生物声呐能力，能从反射回的声音中提取信息探测周围环境，究竟是一种什么样的感受体验？
据我调查，失明一年以上的盲人基本丧失了视觉记忆，也就丧失了视神经反馈的能力，因此他们做梦是没有图像的。而盲人对于环境，有一套自己完整的认知体系，主要由听触觉感受构成。没有了视觉信息干扰，加上对听觉信息的强化锻炼，盲人对声音信息的接收与反馈能力比健视人要强上许多倍，也就是说其实生物声呐和视觉能力一样，只要听视器官正常，我们人类是可以通过学习获得的。但是健视人长期依赖视觉，声波测物的能力弱小到被我们忽略
我想在实体空间中用视觉的形式，还原盲人这种靠回声定位与触摸构建起来的认知体系
研究过程大致是
思考视觉呈现的效果，做sketch工作板和效果预设
初期的视觉效果是通过PS和画出来的
这个是动作捕捉，数据化空间中的人物位置
然后我需要想办法实现效果预设
首先需要量化声音，再反馈给视觉
能够测算声音数据
声音数据大小反馈给图像
声音大小决定图像虚实
定位追踪，距离决定粒子效果
动作捕捉给个逻辑
加上之前做的声音反馈图像的逻辑，自己做的sound和minim和capture使用权限的插件，做出通过声音信息测定位置距离反馈影像，达成预设时想的视觉效果：根据声源产生虚实变化，行动时有轨迹和虚影，轮廓模糊抽象，视觉化声呐听觉感受
然后再通过尝试各种手段，做各种测试
呈现出最终效果
／物体自己发声时，从发声点开始逐渐将听觉视化，模拟盲人对发声物体逐渐产生认知的过程，离得越近，对发声点定向探测和反馈的视觉越清晰具体。
／物体不发声时，体验者自己发出声音，在声音的影响范围内，根据声音大小远近呈现物体轮廓虚实，模拟人体声纳／
／在离得足够近以及我们通过触摸物体时发声，声音探测重叠，极为细微的声音都可以呈现十分清晰的图像／
寻找载体
processing结合unity再置入HTC VIVE vr眼镜，当真让我体会了一把什么权限都没有，什么都得自己做的绝望。
processing是一个闭源的，没有资源库的程序艺术制作工具，就给一个sketch板，只能用类似java的语言写script，格式也就一个pde。但是优点是不受啥限制，开发可能性和自由度极高。自己没事写写程序玩还行，非要拿来开发应用还需要布展，那真是作死。调用电脑麦克风需要自己写插件，调用摄像头需要自己写插件，收音器需要插件，processing版本一更新插件全不能用了。放进uinty里也需要自己做插件，还好找到了unitypackage.unicessing。买了个vr眼镜作为载体但是不知道怎么把自己做的东西放进去运行，最后还是通过自己写权限+买了steam vr里的一个插件才把自己做的应用放进htc vive眼镜里。
差点就找朋友自己给我做个头戴一体机式的小电脑了。
总的来讲这种尝试属于费力不讨好，特别麻烦但是效果不明显。为了让载体和应用磨合，我测试了得有一个多月，一换地方还是时常会出现问题，完全不适合无专人看管且展位拥挤的本科生毕业展。
剩下的操作和测试以及各种技术手段尝试我也实在懒得说了，为了自己想要的效果，缺啥试啥，慢慢往里填
基本理念和思路都在上面
剩下的就是动脑动手的事
出于爱好用processing做的无限变幻动态壁纸
第一个叫蝴蝶 第二个叫茧，自己起的名字
展览现场
需要带上我改装过的VR眼镜，
戴上之后不发出声音也不进行触碰探索，眼前就是一片漆黑
1.发出声音给空间定位
2.触碰感受细节（图为人在触摸台灯和电脑）
3.另外我还作为爱好研究了一下声音触发影像，并把它放进了毕业答辩环节。用语音叫出和我同名的虚拟助手（影像），帮我进行讲解。因为声音资源库和声音识别技术限制，而且触发条件也比较严苛，就没有拿来展出。
另外特别感谢肖翰飞和马志强老师对我的指导和帮助
作者：杜宇慧（ash木宇）
中央美术学院2014本科／设计
少熬夜，多喝热水
不然会变肥宅