AMiner平台（https://www.aminer.cn）由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。
深度学习可以自动学习出有用的特征，脱离了对特征工程的依赖，在图像、语音等任务上取得了超越其他算法的结果。这种成功很大程度上得益于新神经网络结构的出现，如ResNet、Inception、DenseNet等。但设计出高性能的神经网络需要大量的专业知识与反复试验，成本极高，限制了神经网络在很多问题上的应用。
神经结构搜索（Neural Architecture Search，简称NAS）是一种自动设计神经网络的技术，可以通过算法根据样本集自动设计出高性能的网络结构，在某些任务上甚至可以媲美人类专家的水准，甚至发现某些人类之前未曾提出的网络结构，这可以有效的降低神经网络的使用和实现成本。
根据AMiner-IJCAI 2020词云图，我们发现表征学习、图神经网络、深度强化学习、深度神经网络、神经结构搜索等都是今年比较火的Topic，受到了很多人的关注。今天我们给大家分享的是IJCAI 2020五篇必读的多标签学习（Neural Architecture Search）相关论文。
1.论文名称：AdaBERT: Task-Adaptive BERT Compression with Differentiable Neural Architecture Search
论文链接：https://www.aminer.cn/pub/5e1d915f3a55ac91798fe9bf?conf=ijcai2020
简介：诸如BERT之类的大型预训练语言模型已经证明了它们在各种自然语言处理任务中的有效性。但是，巨大的参数大小使它们难以部署在需要使用有限资源快速推断的实时应用程序中。现有方法将BERT压缩为小型模型，而这种压缩与任务无关，即，针对所有不同的下游任务使用相同的压缩BERT。受面向任务的BERT压缩的必要性和好处的启发，我们提出了一种新颖的压缩方法AdaBERT，该方法利用可微的神经体系结构搜索将BERT自动压缩为适用于特定任务的任务自适应小模型。我们合并了一个面向任务的知识提炼损失，以提供搜索提示，并把效率感知损失作为搜索约束，这使任务自适应BERT压缩的效率和效果之间可以达到良好的平衡。我们在几个NLP任务上评估了AdaBERT，结果表明，这些支持任务的压缩模型在推理时间上比BERT快12.7到29.3倍，在参数大小方面比BERT快11.5到17.0倍，同时保持了相当的性能
2.论文名称：CP-NAS: Child-Parent Neural Architecture Search for 1-bit CNNs
论文链接：https://www.aminer.cn/pub/5eafe7e091e01198d3986547?conf=ijcai2020
简介：神经体系结构搜索（NAS）被证明是生成许多应用程序可用的神经体系结构的最佳方法，可以满足许多任务的需要，但仍然受到高计算成本和内存消耗的挑战。同时，具有二值化权重和激活的1位卷积神经网络（CNN）显示了其在资源受限的嵌入式设备中的潜力。一种自然的方法是使用1位CNN来利用NAS在统一框架中的优势来减少NAS的计算和内存成本。为此，将Child-Parent（CP）模型引入可区分的NAS，以在全精度模型（Parent）的监督下搜索二值化体系结构（Child）。在搜索阶段，Child-Parent模型使用由子模型和父模型的准确性生成的指标来评估性能，并以较小的潜力放弃操作。在训练阶段，引入内核级CP损失以优化二值化网络。大量实验表明，所提出的CP-NAS在CIFAR和ImageNet数据库上均达到了与传统NAS相当的精度。通过二值化的权重和激活，它在CIFAR-10上的准确度达到95.27％，在ImageNet上达到64.3％，并且搜索速度比现有技术快了30％
3.论文名称：Graph Neural Architecture Search
论文链接：https://www.aminer.cn/pub/5ef96b048806af6ef2772081?conf=ijcai2020
简介：图形神经网络（GNN）最近作为一种强大的工具而出现，用于分析非欧几里得数据，例如社交网络数据。尽管取得了成功，但图神经网络的设计仍需要大量的手工工作和领域知识。在本文中，我们提出了一种图神经结构搜索方法（GraphNAS），该方法可以基于强化学习自动设计最佳的图神经结构。具体来说，GraphNAS使用循环网络生成描述图神经网络架构的可变长度字符串，并使用策略梯度训练循环网络，以在验证数据集上最大化所生成架构的预期准确性。此外，为了提高GraphNAS在大型网络上的搜索效率，GraphNAS将搜索空间从整个体系结构空间限制到在每个单个体系结构层上构建的最佳搜索结果的顺序连接。对真实数据集的实验表明，GraphNAS可以设计一种新颖的网络体系结构，在验证集准确性方面可以与人类发明的最佳体系结构相媲美。此外，在转移学习任务中，我们观察到由GraphNAS设计的图神经体系结构，当转移到新的数据集时，仍在预测准确性方面得到了改善
4.论文名称：One-Shot Neural Architecture Search via Novelty Driven Sampling
论文链接：https://www.aminer.cn/pub/5ef96b048806af6ef277215d?conf=ijcai2020
简介：一击式神经体系结构搜索（NAS）由于其计算效率高而受到广泛关注。大多数最先进的一站式NAS方法都基于从超级网络继承权重的验证准确性，以此作为搜索最佳性能架构的垫脚石，并采用双层优化模式，并假设此验证准确性与测试近似重新训练后的准确性。但是，最近的工作发现，对于这些“单发” NAS方法，上述验证准确性与测试准确性之间没有正相关关系，并且这种基于奖励的超级网络训练采样还带来了“越来越富裕”的问题。为了解决这个欺骗性问题，本文提出了一种新方法，即高效新奇驱动的神经体系结构搜索，以对最异常的体系结构进行采样以训练超网。具体而言，采用单路径超网，并且在每个步骤中仅对通过我们的新颖性搜索采样的单个体系结构的权重进行优化，以大大减少内存需求。实验证明了我们基于新颖搜索的体系结构采样方法的有效性和效率。
5.论文名称：SI-VDNAS: Semi-Implicit Variational Dropout for Hierarchical One-shot Neural Architecture Search
论文链接：https://www.aminer.cn/pub/5ef96b048806af6ef2772177?conf=ijcai2020
简介：贝叶斯方法提高了神经体系结构搜索（NAS）的可解释性和稳定性。 在本文中，我们提出了一种新颖的概率方法，即半隐式变体辍学一次神经结构搜索（SI-VDNAS），该方法利用半隐式变体辍学来支持具有可变操作和边缘的体系结构搜索。 SI-VDNAS实现了稳定的训练，不会受到跳过连接操作的过度选择的影响。 实验结果表明，SI-VDNAS在0.8 GPU天内发现了仅2.7 MB参数的融合架构，并且在CIFAR-10上可以实现2.60％的top-1错误率。 当融合架构转移到CIFAR-100和ImageNet（移动设置）时，其top-1错误率可以达到16.20％和25.6％。
更多IJCAI2020论文，可以关注公众号或者链接直达IJCAI2020专题，最前沿的研究方向和最全面的论文数据等你来~
添加“小脉”微信，留言“IJCAI”，即可加入【IJCAI2020会议交流群】，与更多论文作者学习交流！
阅读原文，直达“IJCAI2020”会议专题，了解更多会议论文!
