Google与Facebook全新无监督表征学习算法

2020年初，Google和Facebook分别提出SimCLR和MoCo两个算法，均能够在无标注的数据上学习图像数据表征。两个算法背后的框架都是对比学习（contrastive learning）。

对比学习的核心训练信号是图片的“可区分性”。模型需要区分两个输入是来自于同一图片的不同视角，还是来自完全不同的两张图片。这个任务不需要人类标注，因此可以使用大量无标签数据进行训练。尽管Google和Facebook的两个工作对很多训练的细节问题进行了不同的处理，但是他们都表明，无监督学习模型可以接近甚至达到有监督模型的效果。

MoCo论文链接：https://arxiv.org/pdf/1911.05722.pdf

MoCo代码链接：https://github.com/facebookresearch/moco

SimCLR论文链接：https://arxiv.org/abs/2002.05709

SimCLR代码链接：https://github.com/google-research/simclr

SimCLR Google AI Blog地址：https://ai.googleblog.com/2020/04/advancing-self-supervised-and-semi.html

深度学习理论迎来整合与突破

深度学习是当前人工智能领域最受关注的方法，在各类监督和非监督学习任务上获得了巨大成功，不仅大幅超越了传统机器学习算法，而且在某些特定的应用场景中，已经接近甚至达到了人类的水平。然而，研究者迄今对深度学习成功背后的根本原因仍然知之甚少，对其为何表现出比传统机器学习方法更优越的性能尚未建立完整的理论解释。这一重大理论缺陷背后蕴藏着深度学习科研科学性与可重复性的危机，制约着以深度学习为代表的主流人工智能技术的发展。

人工智能的发展历史，统计学习理论的建立和完善不仅为支持向量机（SVM）、核方法（Kernel Methods）等机器学习算法。与传统统计模型和机器学习算法相比，深度神经网络具有多个显著特点，如具有多层复合结构、过参数化导致的不可识别性、优化问题高维非凸等。此外，深度神经网络的训练通常采用随机梯度下降、随机失活、批标准化等具有隐士正则化效果的策略。这些与传统模型和算法截然不同的特点，使得对深度神经网络进行严格的理论分析异常困难，需要从数学、统计和计算的不同角度，以及表示能力、泛化能力、算法收敛性和稳定性等多个侧面，对现有的统计学习理论进行再思考、整合与重构。

近几年，深度学习理论研究的主要进展集中在浅层无穷宽网络的理论分析以及对“双下降”现象的理论解释两方面。对于两层无穷宽网络的，可以用近似网络参数分布的平均场理论和刻画参数演化动力学的神经正切核理论进行分析。这些理论较好地描述了浅层网络的性质，但对理解宽度受限的深度网络帮助不大，无法说明深度网络相对传统核方法的优越性。另一研究热点“双下降”现象则表明，深度网络等过参数化模型或许并不完全遵循经典的“偏差-方差权衡”，为理解正则化在深度学习泛化理论中扮演的关键角色提供了新的视角。

深度学习理论能否取得根本性突破，关键在于发现和建立联系各个理论的桥梁，融合与发展来自基础学、概率统计、数值计算等各个数学分支的理论工具。这些理论创新将有望提升对深度学习的理解，从浅层网络和局部性质向深度网络和全局性质不断深化和拓展，并整合与完善统计学、机器学习和数据科学的理论框架，为下一代人工智能提供强大的理论指引和方法学驱动。

机器学习向分布式隐私保护方向演进

近年来，数据隐私保护逐渐成为各界关注的热点问题。在保护数据隐私的限制下，多机构联合进行机器学习模型训练需要密码学、分布式系统以及人工智能等多学科交叉的指导。当前热门的联邦学习能够解决一部分隐私保护的问题，但在计算性能、高可用性、可编程性、可证明安全性等领域，目前仍然存在诸多技术及工程难题，需要研究人员去攻破。

分布式隐私保护机器学习系统的计算性能非常重要，而常见系统的计算性能主要受限于（同态）密码学计算，包括加密、解密、密码加/乘等。而机器学习算法的特点是在张量（tensor）上操作，批次加密、并行加密会带来较大的性能提升；同时新硬件（FPGA、GPU），新（同态）加密算法的引入，也会带来极大的性能提升。

分布式隐私保护机器学习主要面向地理分布场景，在公网不稳定连接环境下如何进行高可用的机器学习模型训练，需要算法设计和系统设计两方面努力。在算法设计中，需要引入异步/半异步更新机制；在系统设计中需要探索更新备份与重发机制，保证高可用模型训练与预测。

基于因果学习的信息检索模型与系统成为重要发展方向

信息检索领域目前亟待解决从海量检索数据中有效挖掘变量间因果关系的问题。探索兼具数据关联分析能力及因果推断能力的智能信息检索模型，实现可推理、可迁移、可解释的智能信息检索系统，已成为智能信息检索领域的重要发展方向。

因果学习通过反事实世界的模拟，推断变量间的因果关系，解决样本的有偏问题及结果的可解释性问题。一方面，可通过在抽象层面上对世界进行模拟来想象潜在行为会导致的结果；另一方面，可通过模拟当前世界存在的事件来推断出原因。同时，它也需要解决面向信息检索的预训练问题，帮助信息检索系统间的高效迁移能力。

对于用户数据纠偏、排序公平性、离线模型评价等信息检索中的挑战性问题，反事实框架下的因果学习将提供可靠的解决方案。这需要从因果关系的定义和表达、处理变量的设置与选择、反事实方法的建模与求解等方面深入探究。同时需要汲取经济学、统计学、公共管理等众多领域对因果推断的研究成果，并结合强化学习、无偏学习、持续学习等机器学习前沿研究的最新进展进行突破。

本文永久更新地址: https://notlate.cn/p/720be21459dc63ff/