大数跨境

解锁全球可持续发展洞察

解锁全球可持续发展洞察 亚马逊
2018-12-10
3
导读:亚马逊可持续发展数据倡议正在营造公平的竞争环境,使研究人员能够以前所未有的规模访问和分析海量数据集。
即使看起来只是一堆数字,数据集也能描绘出一幅引人注目的画面。以你五天的天气预报为例。该计算将大量细节简化——其中一些来自美国的一个称为NEXRAD– 以便您查看即将到来的天气。但当NEXRAD气象数据档案最近在亚马逊网络服务上可用时,康奈尔大学的一个研究团队看到的不仅仅是降雨、阳光和风模式。
他们看到了完全不同的东西。
通过访问气象雷达的海量数据,他们得以探索美国夜空中一种鲜为人知的现象:鸟类迁徙。他们的研究追踪了秋季向南迁徙的超过40亿只鸟类,揭示了它们的去向以及哪些个体存活下来,这一成果源于他们所称的“有史以来规模最大的描述动物移动的数据集之一”。
The亚马逊可持续发展数据倡议扩大对旨在推动可持续性创新的数据的访问——在 AWS 上托管 NEXRAD 等数据档案。该举措使天气预报模型、卫星图像、空气质量测量和其他公共数据集更易于通过云端获取,并提供用于分析的计算工具。
这一倡议是在团队之间数月的对话中逐步形成的亚马逊可持续发展和Amazon Web Services (AWS). 随着时间的推移,各团队意识到,共同努力改善对亚马逊用于支持其可持续发展目标所需数据集的访问权限,也能够赋能更广泛的非营利组织、企业和学术研究人员社区,使他们能够利用这些数据。该倡议旨在为所有从事可持续发展问题工作的人提供支持既需要掌握如何使用云技术,又需要能够访问可整合以提供新见解并推动新解决方案的数据集。
康奈尔大学关于鸟类迁徙的论文是一项“绝对令人惊叹的研究”,”康奈尔大学首席数据官埃德·基恩斯表示美国国家海洋和大气管理局(NOAA)“负责运营NEXRAD的联邦机构。‘老实说,如果这些数据集没有在Amazon平台上提供,这是不可能完成的。’”

云的力量

亚马逊可持续发展团队去年开始与AWS合作,着手将海量的公共数据进行仓储化存储,这些数据描述了我们的星球。尽管这些数据集一直免费开放,但研究人员可能缺乏通过自有本地数据中心利用这些资源所需的计算能力。
"如果你运气好,拥有良好的网络连接和充足的存储空间,大约一天半就可以下载1TB的数据," AWS开放数据全球负责人Jed Sundwall表示。例如,NEXRAD档案库的大小为300TB(1TB等于1,024GB)。为了帮助理解这个量级,1TB可以存储500小时的电影内容。
当数据存储在云端——即远程、通过互联网连接的服务器上时,任何人都可以查看和分析这些数据,而无需自行获取副本或担心保持数据更新。Sundwall表示:"这非常强大,因为它使研究人员能够以更低成本更快地进行实验,从而获得更多洞察。我们经常听到客户反馈,称他们现在能够实现几年前还被认为是科幻的事情。"
虽然亚马逊可持续发展数据倡议最初的想法是将资源聚合到云端,但它很快演变成了更具深远意义的项目。
亚马逊可持续发展团队的高级首席科学家、同时也是加州大学伯克利分校环境与劳工政策副教授Dara O'Rourke表示:"几乎从一开始,我们就发现我们所能提供的价值只是冰山一角。"
在与研究人员的交流中,人们清楚地意识到,他们不仅需要访问数据本身,还需要技术专长和计算工具,而亚马逊已经能够提供这两者。例如,NASA最近利用AWS上的机器学习技术,估算飓风风速的速度比之前的方法快了六倍。
O'Rourke表示:"很少有气候研究人员接触过最新、最前沿的机器学习和人工智能工具,但这些工具对他们来说可能具有极高的价值。因此,我们正努力将这些数据集中到一个更容易访问的地方,并为这些研究人员提供一套他们从未拥有过的工具。"

聚焦天空之眼

AWS提供的访问权限和计算工具共同推动了由各类群体主导的可持续发展项目,参与者范围从大学研究人员到地方政府,从联邦机构到私营初创企业。例如,非洲五个国家的卫星图像已被整合到非洲区域数据立方体中,这是一个旨在解决土地利用、水资源和城市化和相关问题的全球合作伙伴关系。
在加纳,非法矿工在一个月的时间里对土地进行掠夺式开采,砍伐树木并留下被污染的水坑。"这是一场环境灾难,"帮助通过NASA主导数据立方体工作的布莱恩·基洛赫说。
加纳当局仅靠直升机和飞机所能监控的地面范围有限。但基洛克表示:‘借助每两到三天获取一次的卫星图像,以及配套的先进算法,你可以瞬间发现变化。’该数据立方体通过亚马逊云科技(AWS)提供,因其将特定位置随时间变化的多层卫星数据堆叠而得名,它也在为农业和城市规划和决策提供支持。基洛克表示,他希望将该努力扩展至非洲其他地区乃至全球。
AWS 还向该地球观测组织(GEO)一个政府间组织,以便发展中国家的政府机构和研究团体能够利用大数据为可持续发展决策提供依据。该资助于11月底刚刚宣布,将支持一系列广泛的项目,但GEO外部关系负责人Steven Ramage表示,已收到多项与灾害风险管理工具和服务相关的申请。
“我们希望帮助人们自助,”拉马奇说,“通过这种方式,使我们所有人能够应对人类面临的一些最大挑战。”

全球影响,本地效应

虽然其中一些工作显然着眼于宏观大局,但同样可以具体到单个城市街区。在弗吉尼亚州,易受洪水侵袭的城镇正在使用传感器监测水位,并将数据上传至云端,作为StormSense项目。当地居民可以询问 Alexa 关于水位的情况在特定地点或订阅带有危险洪水警报的应用程序。
弗吉尼亚海滩市数据官员斯里达尔·卡特拉加达表示,这些数据还用于预测洪水可能发生的位置,并有望最终为指示驾驶员在道路被淹时掉头的标志提供动力,该市正在参与该项目。
StormSense 正在从弗吉尼亚海滩、纽波特纽斯和汉普顿锚地等沿海城市收集数据。Katragadda 指出,每个地区可能有各自的水位采集与展示系统,为了使该项目得以扩展,需要对这些系统进行整合。
“你只有在云端才能实现良好的扩展,”他说。“不同城市可以使用不同的传感器,但我们可以将数据集中到一个地方进行汇总。”
在加利福尼亚州,Cal-Adapt该倡议正在利用 AWS 开放加州研究社区的气候数据——包括海平面上升、野火发生率、积雪量和其他指标的相关信息。
"下一代全球气候模型的空间和时间分辨率比之前的更高,模型输出包含的变量也前所未有地多," Cal-Adapt 执行董事南希·托马斯(Nancy Thomas)表示。
托马斯表示,该组织正在使用AWS Lambda来增强研究人员应用于日常气候参数(如极端高温天数)的计算能力,并以交互式地图格式呈现,从而突出显示时空上的气候异常。
"开放数据访问对于使复杂的气候研究变得易于理解、可获取和可操作至关重要," 她说。
有时测量结果非常专业,其直接应用并不明显,但经过与我们的专家讨论后,人们会说:‘啊哈!原来这些数据可以这样用。’这让我们感到非常兴奋。

美国国家海洋和大气管理局(NOAA)首席数据官埃德·基恩斯(Ed Kearns)

构建数据社区

对于 NOAA 而言,将 NEXRAD 数据及其他资源托管在云端已减轻了其自有服务器的压力。
"亚马逊所做的真正令人称道之处在于,他们提供这些 NOAA 数据时,对任何人消耗的数据量没有明显的限制," NOAA 的基恩斯说。
他补充道,亚马逊与 NOAA 专家之间的持续对话有助于塑造机构发布的内容。亚马逊向其客户传达哪些数据集具有吸引力,而 NOAA 则帮助解释这些数据集及其用途。
"有时测量结果非常专业,其直接应用并不明显," 他说,"但经过与我们的专家讨论后,人们会说:‘啊哈!原来这些数据可以这样用。’这让我们感到非常兴奋。"
随着亚马逊可持续发展数据倡议的发展,它产生了飞轮效应:更多数据吸引更多用户,进而带来更多数据和更多用户。许多用户是公民科学家、企业家或来自康奈尔大学等机构的研究人员,他们从以往难以获取的数据中得出完全出乎意料且富有创见的洞察。
"当我们与 NOAA 合作开放其天气雷达数据的访问权限时,我们从未想过它会被用作描述动物运动的 dataset," 桑德沃尔(Sundwall)在谈及这项鸟类研究时表示。
如果你能让拥有不同视角、不同优先事项和不同方法的人获取数据,你将从中获得更大的价值。
了解更多关于亚马逊可持续发展数据倡议的信息。
【声明】内容源于网络
0
0
亚马逊
亚马逊旨在借助亚马逊全球资源,帮助中国卖家抓住跨境电商新机遇,发展出口业务,拓展全球市场,打造国际品牌。
内容 3102
粉丝 0
亚马逊 亚马逊旨在借助亚马逊全球资源,帮助中国卖家抓住跨境电商新机遇,发展出口业务,拓展全球市场,打造国际品牌。
总阅读354.2k
粉丝0
内容3.1k