来源：caches to caches
作者：Gregory J Stein
智能观 编译
【智能观】本文作者是麻省理工学院电气工程与计算机科学系的博士Gregory J Stein。
2017年有大量的学术论文发表，其中不乏有几篇令人眼前一亮。本文介绍了过去一年中我非常喜欢的五篇论文。对于每一篇文章，我会阐述论文的“目标”，简要总结作者的工作，并解释为什么我觉得它很有趣。
最酷视觉效果奖
标题：使用Cycle-Consistent实现未配对图像到图像转换
作者： Jun-Yan Zhu, Taesung Park, Phillip Isola, Alexei A. Efros（来自伯克利AI研究）
目标：学习在未配对的图像集之间进行转换。
我在此不是要说明作者是怎么做到这些的，而是让大家看一些令人难以置信的结果。
作者从马和斑马等不同领域的两组图像入手，学习两种翻译网络:一个将马的图像翻译成斑马的图像，另一个将斑马的图像翻译成马的图像。每个翻译器都执行一种转换，但是，网络并不只识别单个图像的风格，而是找到一组图像总的风格。
转换网络被训练成一对生成对抗网络，每个网络都试图欺骗鉴别者，让他们相信 “翻译”后的图像是真实的。另外引入“循环一致性损失”，保证图像在通过两个转换网络后不会受损。
本文的视觉效果令人惊叹，我强烈建议你去看看他们GitHub项目中的更多示例。
我对这篇论文之所以感兴趣，是因为它使用的方法跟以前的许多都不同，神经网络学会在未配对的图像集之间进行转换，为不存在匹配图像对或难以获得匹配图像对的图像转换提供了可能。此外，论文代码非常易于使用和实验，这也证明了其方法的稳健性。
项目链接：
https://junyanz.github.io/CycleGAN/
最巧妙奖
标题：Wasserstein GAN
作者：Martin Arjovsky，Soumith Chintala，LéonBottou（来自克朗数学研究所和Facebook AI 研究）
目标：使用更好的目标函数来更稳定地训练GAN。
本文提出了一种用不同的目标函数训练生成对抗性网络的方法。新提出的目标函数使标准 GAN的训练更稳定, 因为它避免了训练过程中的梯度消失问题。
使用这个新的目标函数后，作者还解决了模式崩溃（标准GAN只能从可能输出的子集中产生一个样本）的问题。例如，如果用GAN生成手写数字4和6，则GAN可能只生成数字4，并且在训练过程中无法避免产生局部最小值。通过消除训练目标中消失的梯度，Wasserstein GAN避免了这个问题。
这篇论文是非常巧妙的：作者提出一个简单的想法，通过数学论证，解释了改进当前现状的原因，产生了一个令人印象深刻的结果，并说明了它的有效性。此外，作者提出的改进很容易在几乎所有流行的深层学习框架中实现，从而使改进建议变得实用。
最有用奖
标题：通过对抗性训练从模拟和无监督图像中学习
作者：Ashish Shrivastava，Tomas Pfister，Oncel Tuzel，Josh Susskind，Wenda Wang，Russ Webb（苹果公司）
目标：使用真实世界的图像使模拟训练数据更适合实际应用。
收集真实世界的数据可能是困难和耗时的。因此, 许多研究人员经常使用模拟工具, 它们能够生成大量的标记训练数据。然而，大多数模拟数据无法更好地训练需要实际数据的深度学习系统。
为了克服这一局限性, 本文利用生成对抗网络 (GAN)和未标记的真实世界图像对标记的模拟图像进行细化。作者训练了一个“精细化网络”来欺骗一个辨别分类器，这个分类器的作用是区分模拟图像和真实图像。随着“精细化网络”和辨别分类器的协同训练，模拟图像看起来非常逼真。
当看到这篇论文时，我立即对它产生了兴趣，因为它第一个提出了弥合模拟和现实世界数据差距的实用方法。关键是使用的算法是无监督的，这意味着用户不需要人工写入真实世界的数据。对于深度学习应用程序来说，数据是王道，如果想要解决的问题没有公共数据集可以使用，就需要自己收集和标记数据，然而大多数学术实验室，如我所在的实验室，没有足够的资源快速生成新的研究领域所需要的数据量。本文想表达的是，只要你有一个模拟器，你有要解决的问题，就能够生成需要的训练数据。
最令人印象深刻奖
标题：在没有人类知识的情况下掌握围棋游戏
作者：David Silver，Julian Schrittwieser，Karen Simonyan，Ianannis Antonoglou，Aja Huang，Arthur Guez，Thomas Hubert，Lucas Baker，Matthew Lai，Adrian Bolton，Yutian Chen，Timothy Lillicrap，Fan Hui，Laurent Sifre，George van den Driessche，Thore Graepel＆Demis Hassabis（来自DeepMind）
目标：不借助任何人类棋谱学习围棋游戏。
在过去一年中，我承认谷歌的DeepMind取得了令人印象深刻的成就，特别是AlphaGo在围棋领域取得的辉煌成就，许多人都熟悉他们2016年的成果，他们构建的系统采用围棋高手的对弈棋谱击败了世界名将李世石。
2017年AlphaGo Zero则避免学习任何人类的知识或游戏玩法：它通过“自我对弈”进行训练。这是靠改进的强化学习训练程序实现的，在此过程中，之前使用的策略被改为对游戏进行前瞻性模拟，用于指导搜索的神经网络也得到改进，训练速度更快。AlphaGo Zero甚至超越了AlphaGo的表现。
尽管我对这篇论文的兴趣主要集中在工程学层面，但AlphaGo采用的经典算法和深度学习结合的方法也让我关注，在这种方法中，蒙特卡洛树搜索的增加使系统性能优于单片神经网络。作为机器人研究者，我被这种组合方法所折服：使用经典算法作为决策的主干，并使用机器学习来提高性能或克服计算限制。这篇论文和2016 年AlphaGo论文一样棒，都写得很好，充满了有趣的技术细节和见解，值得详细阅读。
最发人深思奖
标题：深度图像先验
作者：Dmitry Ulyanov，Andrea Vedaldi和Victor Lempitsky（来自Skolkovo科学与技术学院和牛津大学）
目标：了解神经网络模型在实验中传递的信息。
这篇有趣的论文，让我和我的同事们谈了好几天。本文的作者不使用目前的标准，用大量的数据来训练一个深层的神经网络，而是想探讨如何利用神经网络本身作为先验知识来帮助人们处理一些常见的图像处理任务。
他们从一个未经训练的神经网络开始，用作者的话说就是，“不是在图像空间中寻找答案，而是在神经网络的参数空间中寻找答案”，并避免使用大型数据集调整神经网络。
我对此非常着迷：神经网络的结构对数据有什么意义？怎样才能更好地理解这种意义？如何利用这种方法来建立更好的网络模型？当然，作为研究者，我们大概知道网络结构对数据施加了一些限制：如果斑马图像全部都颠倒了，Cycle GAN方法就不好用了。然而，这篇论文的作者提出了一些关于神经网络模型的深刻的问题，并为2018年提供了一些有趣的研究方向。
结论
显然，这份清单并不是很全面，但是我欢迎你在下面的评论中写下你的想法和你心中的深度学习领域的“奥斯卡”榜单。
原文链接：
http://cachestocaches.com/2017/12/favorite-deep-learning-2017/
—完—
亲爱的朋友：
在你从事的或喜欢的领域，你心中是否也有一份这样的榜单？
安！
智能观 一米
2018-1-4 于北京中关村
想知道AI加教育领域有哪些最新研究成果？
想要AI领域更多的干货？
想了解更多专家的“智能观”？
请在对话界面点击“找找看”，去获取你想要的内容吧。
声明：
编译文章旨在帮助读者了解行业新思想、新观点及新动态，为原作者观点，不代表智能观观点。
有人问：你们为什么要做智能观？为什么关注AI+教育？
我想，这不是一个选择。
当AI开始颠覆各行各业时，我们首先想到了教育。未来是我们正在为之努力的地方，教育可以影响当下，改变未来。
我们用心观察和记录教育在这个时代的蜕变；努力把前沿的动态、最新的进展、先进的观点带到你面前，希望与你一起思考和探索。我们相信，长出AI翅膀的教育，会创造出无限可能。