9月4日，神经信息处理系统基金会（Neural Information Processing Systems Foundation）为其年度会议发放了2000至2500张门票。该会议是机器学习领域的首席会议，现简称NeurIPS。
门票在12分钟内售罄。
会议组织者预计12月第一周在蒙特利尔会议中心（Palais des Congrès de Montréal）将有8000名与会者出席，大部分门票预留给了演讲者、赞助商、审稿人及其他参会者。尽管如此，首批公开售票迅速售罄，充分证明了机器学习所激发的热情。
贝恩德·舍尔科普夫（Bernhard Schölkopf），亚马逊零售部门首席机器学习科学家
“直到人们意识到，通过使用海量数据集、强大的计算基础设施和最先进的机器学习方法，可以取得切实的进展，AI研究才有所突破。”亚马逊零售部门首席机器学习科学家、NeurIPS顾问委员会成员贝恩德·舍尔科普夫表示。“这使NeurIPS从机器学习领域的顶级会议转变为最热门的AI会议。”
亚历克斯·斯莫拉（Alex Smola），亚马逊云科技Deep Engine团队机器学习总监
“海报环节可能是NeurIPS的最佳部分，因为你可以与作者进行更高程度的互动，并深入讨论技术细节。”亚马逊云科技Deep Engine团队机器学习总监、NeurIPS领域主席亚历克斯·斯莫拉说。“这一点至今无可匹敌。同样，研讨会也非常有价值。它们已演变为小型会议——实际上规模并不小，最大的研讨会吸引了数百人参加。”
迪莱克·哈卡尼-图尔（Dilek Hakkani-Tür），Alexa AI团队高级首席科学家
去年，Alexa AI团队高级首席科学家迪莱克·哈卡尼-图尔受邀在首届NeurIPS对话式AI研讨会上发表演讲。“参会人数令人惊叹，”她说，“那是最大的研讨会会场之一，也是最拥挤的研讨会之一。我预计今年会更加拥挤。”
哈卡尼-图尔是今年研讨会的组织者之一，其程序委员会中还有八位来自亚马逊的科学家。“今年的论文投稿量比去年高出50%以上，”她说。“长期以来，人们在面向任务的对话方面做了大量工作，但过去几年里，更多工作集中在基于闲聊或社交机器人类型的系统上。许多投稿都涉及这些方向。”
她补充道：“我们在图像处理、语音以及许多机器学习问题上看到了大量进展。但在对话领域，让机器学会如何在开放域中进行对话仍然非常困难。我认为这正是人们致力于解决这一问题的原因。”
亚马逊是该会议的顶级（钻石级）赞助商，同时也是Women in Machine Learning和Black in AI研讨会。十位亚马逊研究人员担任NeurIPS的董事会成员和委员会成员，另有15人作为八篇会议论文的共同作者。
亚马逊还将在展览厅设立展位——其内部陈列着一个巨大的（可工作的）Echo设备复制品，极具辨识度。
亚马逊研究人员参与NeurIPS，使他们能够从宝贵的视角评估会议议程，并洞察机器学习研究的现状。
“五年前，感觉90%的会议内容都围绕深度学习展开，”亚马逊核心AI组的机器学习科学总监、同时也是NeurIPS演示与竞赛主席的Ralf Herbrich表示，“如今出现了一种趋势，即解决我们称为机器学习的模式识别与未来事件预测问题的方法日益多样化。我认为这非常健康。”
Herbrich特别关注两种方法。一种是被称为贝叶斯学习的技术复兴。传统机器学习试图从数据集中识别描述数据的统计模式；而贝叶斯学习在尝试识别相同类型模式的同时，还会估计这些被识别模式正确的概率。
亚马逊核心AI组机器学习科学总监Ralf Herbrich
这意味着贝叶斯系统比传统机器学习系统能更高效地学习。当贝叶斯系统对其统计模型的准确性赋予较低概率时，新数据可以大幅修改该模型。然而，随着可能准确性的增加，模型对变化的抵抗力也会增强。
“对亚马逊而言，这是最有趣的问题之一，因为我们认为更多的选择对客户更有利，”Herbrich说，“但更多的选择也意味着更长的长尾实体，无论是书籍、时尚单品还是食品杂货。从定义上讲，长尾是一组稀疏的观察结果。在那里你需要的是更接近人类推理能力的方法，它可以从极少示例中学习。”
Herbrich看到的另一种受到越来越多关注的机器学习技术是脉冲神经网络。近年来主导机器学习领域的深度神经网络由多层虚拟“神经元”组成，它们从下层接收数据，进行处理，然后传递给上层。对于输入网络的任何给定数据，个体神经元执行的许多（如果不是大多数）计算最终都与输出无关，并被过滤掉。尽管如此，这些计算仍会被执行。
在脉冲神经网络中，这种更逼真地模拟人脑的模型里，神经元仅在接收到其被训练识别的特定输入时才会“放电”——也就是说，只有当它对输出有贡献时。由于对于任何给定输入，只有少量神经元会放电，因此脉冲神经网络比传统的深度神经网络具有更高的能效。
“想象一下像 Echo 这样的设备，”Herbrich 说。“我们在上面运行相当智能的计算，用于检测唤醒词。现在设想一个使用电池供电的场景。随着越来越多的计算向边缘端迁移，能效成为一个重要的考量因素，因为它限制了设备的使用频率和使用地点。”
Inderjit Dhillon 是亚马逊搜索技术组的杰出研究员（Amazon Fellow），同时也是德克萨斯大学奥斯汀分校计算机科学教授，他曾担任 NeurIPS 的高级领域主席，负责监督约 5,000 篇论文投稿的评审工作。他观察到这些投稿中的一个趋势是，对所谓对抗性方法的关注日益集中。
“我认为人们确实存在这样的担忧：如果汽车制造商开始将神经网络部署到自动驾驶汽车等场景中，那么汽车误读交通标志有多容易？”Dhillon 说。“你可以尝试通过生成对抗样本来提高神经网络的鲁棒性。你研究神经网络的学习方式，然后构造那些可能欺骗神经网络的对抗样本，接着重新训练网络，使其在这些样本上做出正确预测，从而增强网络的鲁棒性。”
例如，Alexa AI 副总裁兼 Alexa 自然理解组主任 Prem Natarajan 是 NeurIPS 一篇题为《无监督对抗不变性》的论文的资深作者，该论文考察了用于清除数据集中可能误导机器学习系统的“干扰因素”的对抗技术。
“我还发现有一条关于人工智能社会影响以及人工智能公平性的主线，”Dhillon 补充道。“令我印象深刻的是，这些内容似乎更多地出现在特邀报告和研讨会中，而在实际的技术论文中则较少涉及。这些都是非常重要的社会问题，我们希望越来越多的人开始以技术视角来思考这些问题。”
带有亚马逊合著者的 NeurIPS 论文
(亚马逊研究人员加粗显示)：
- "可扩展超参数迁移学习" | 作者：Valerio Perrone, Rodolphe Jenatton, Matthias Seeger, Cedric Archambeau
- "Deep State Space Models for Time Series Forecasting" | 作者：Syama Sundar Rangapuram, Matthias Seeger, Jan Gasthaus, Lorenzo Stella, Bernie Wang, Tim Januschowski
- "Unsupervised Adversarial Invariance" | 作者：Ayush Jaiswal, Rex Yuu Wu, Wael Abd-Almageed, Prem Natarajan
- “模型比较的 informative features" | 作者：Wittawat Jitkrittum, Heishiro Kanagawa, Patsorn Sangkloy, James Hays, 伯恩哈德·舍尔科普夫, 亚瑟·格雷顿
- “循环动力学模型的时间抽象" | 作者：Alexander Neitz、Giambattista Parascandolo、Stefan Bauer, 伯恩哈德·舍尔科普夫
- "缓解机器学习的影响差异是否需要治疗差异？" | 作者：Zachary Lipton, 朱利安·麦考利, 亚历山德拉·丘莱切瓦
- "理解机器教学中自适应性的作用：以版本空间学习器为例" | 作者：陈宇鑫, Adish Singla, Oisin Mac Aodha, Pietro Perona, Yisong Yue
- "通过子采样实现隐私增强：基于耦合与散度的紧界分析" | 作者: Borja Balle, Gilles Barthe, Marco Gaboardi
亚马逊参与者研讨会
- 对话式人工智能:
- 亚马逊组织者: 迪莱克·哈卡尼-图尔克
- 程序委员会: 阿米娜·沙比比尔, 昌德拉·卡特里, 凯文·斯莫尔, 兰伯特·马蒂亚斯, 帕明德·巴蒂亚, 普拉文·博迪古特拉, 拉维·贾恩, 杨岩
- 机器人学中的模仿学习及其挑战：
- Amazon组织者：Siddhartha Srinivasa
- Emergent Communication
- 特邀演讲：He He
NeurIPS委员会和董事会中的Amazon研究人员
- 高级领域主席：Inderjit Dhillon, S. V. N. 维什瓦纳坦
- 领域主席：Alex Smola, Borja Balle, Cedric Archambeau, Peter Gehler
- 研讨会项目委员会成员：Matthias Seeger
- 顾问委员会成员：Bernhard Schoelkopf
- Board member: Neil Lawrence
- Press chair: Neil Lawrence
- Demo chair: Ralf Herbrich