论文名：
Collaborative Deep Metric Learning for Video Understanding
作者：
Joonseok Lee (Google AI Perception), Sami Abu-El-Haija (Google AI Perception), Balakrishnan Varadarajan (Google AI Perception), Apostol (Paul) Natsev (Google AI Perception)
推荐理由：
“Collaborative Deep Metric Learning for Video Understanding”是Google AI Perception的一篇文章，这篇文章是提出了一个新的深度学习框架，大大提高了视频理解的精度。传统的视频分析的研究大多针对特定问题，比如视频分类、视频搜索、个性化推荐等；这篇文章提出一个新的表示学习方法，把传统的几个问题都归一化为统一表示的学习问题。最后在2亿多个YouTube视频数据上的实验表明，无论视频分类还是视频推荐都比传统方法好的多。本质上，这篇文章解决的视频理解的问题可以用下图的例子来解释。
图：视频推荐（左）和视频搜索（右）
从方法论文，这篇文章的方法其实很简单，首先对视频的内容进行表示学习，具体来说用的是Inception-v3 网络，另一方面对音频信息也进行表示学习，这里用了一个基于VGG的音频模型和ResNet-50的网络结构。学习的时候使用了排序的Triplet loss，也就是给定三个视频（Anchor、Positive、Negative），保证学习的时候Anchor视频和Positive更相似，和Negative更不相似（Negative可以随机选择一个）。学习的时候把刚才单独学习到的表示作为Triplet Loss function的输入，然后学习每个视频的混合表示（包括视频和音频）。混合策略可以有Early Fusion（右下图中的第一个混合策略），或者Late Fusion（右下图中的第一个混合策略）。
图：方法框架
最后在视频推荐和视频检索方面的效果都很不错。下图是视频推荐的评测结果以及在YouTube-8M数据集上的视频检索的例子。
Abstract
The goal of video understanding is to develop algorithms that enable machines understand videos at the level of human experts. Researchers have tackled various domains including video classification, search, personalized recommendation, and more. However, there is a research gap in combining these domains in one unified learning framework. Towards that, we propose a deep network that embeds videos using their audio-visual content, onto a metric space which preserves video-to-video relationships. Then, we use the trained embedding network to tackle various domains including video classification and recommendation, showing significant improvements over state-of-the-art baselines. The proposed approach is highly scalable to deploy on large-scale video sharing platforms like YouTube.
论文获取方式：后台回复“12月8日”
[关于转载]：本文为“学术头条”原创文章。转载仅限全文转载并保留文章标题及内容，不得删改、添加内容绕开原创保护，且文章开头必须注明：转自“SciTouTiao”微信公众号。谢谢您的合作。
分享干货
AMiner迄今为止已发布14期AI系列研究报告，您可在后台回复对应数字获取报告。
1 → 《自动驾驶研究报告》
2 → 《机器人研究报告》
3 → 《区块链研究报告》
4 → 《行为经济学研究报告》
5 → 《机器翻译研究报告》
6 → 《通信与人工智能研究报告》
7 → 《自动驾驶研究报告》前沿版
8 → 《自然语言处理研究报告》
9 → 《计算机图形学研究报告》
10 → 《超级计算机研究报告》
11 → 《3D打印研究报告》
12 → 《智能机器人研究报告》前沿版
13 → 《人脸识别研究报告》
14 → 《人工智能芯片研究报告》
推荐阅读：
通过网络表征学习赋能社会网络计算——经典论文推荐（DeepWalk、LINE、PTE、DeepInf）
大约只有4%～5%的用户会完成MOOC课程，如何挽留有退课风险的用户？
2018 ACM Fellow|美国约占84%，罗彻斯特大学入选人数最多，国内机构无人入选
一万字纯干货|机器学习博士手把手教你入门LSTM（附代码资料）
微信公众号菜单栏为大家设置了“论文推荐”和“优质分享”专栏，“北京讲座”移至“优质分享”专栏内，欢迎大家关注。
学术头条
发掘科技创新的原动力
您的分享就是我们最大的动力
点击阅读原文获取此论文