序言
在探索复杂数据背后的秘密时,深度学习如同一把锐利的钥匙,特别是其核心的表示学习机制,为我们打开了一扇通往未知世界的大门。表示学习不仅仅是数据的简单编码或转换,它更是深度挖掘数据内在结构、关系与规律的过程。在这一过程中,深度学习模型能够自动发现并提取出数据中隐藏的、潜在的有价值信息,这些信息往往为我们揭示了现象背后的深层原因和机制。正是这种能力,使得表示学习成为解决复杂问题、揭示潜在原因的强有力工具。
提供发现潜在原因的线索
-
我们回到最初的问题之一来结束
表示学习
:什么原因能够使一个表示比另一个表示更好?- 首先在
深度学习之表示学习 - 半监督解释因果关系篇
中介绍的一个答案是,一个理想的表示能够区分生成数据变化的潜在因果因子,特别是那些与我们的应用相关的因素。 - 表示学习的大多数策略都会引入一些有助于学习潜在变动因素的线索。这些线索可以帮助学习器将这些观察到的因素与其他因素分开。
- 监督学习提供了非常强的线索:每个观察向量 x \boldsymbol{x} x 的标签 y \boldsymbol{y} y,它通常直接指定了至少一个变化因素。
- 更一般地,为了利用丰富的无标签的数据,表示学习会使用关于潜在因素的其他不太直接的提示。
- 这些提示包含一些我们(学习算法的设计者)为了引导学习器而强加的隐式先验信念。
- 诸如没有免费午餐定理的这些结果表明,正则化策略对于获得良好泛化是很有必要的。
- 当不可能找到一个普遍良好的正则化策略时,深度学习的一个目标是找到一套相当通用的正则化策略,能够适用于各种各样的 AI \text{AI} AI任务(类似于人和动物能够解决的任务)。
- 首先在
-
在此,我们提供了一些通用正则化策略的列表。该列表显然是不详尽的,但是给出了一些学习算法是如何发现对应着潜在因素的特征的具体示例。
-
该列表由 Bengio et al. (2013e) \text{Bengio et al. (2013e)} Bengio et al. (2013e) 中
应用数学与机器学习基础 - 概率与信息论篇 - 为什么要用概率
提出,这里进行了部分拓展。-
平滑:
-
线性:
-
多个解释因子:
-
因果因子:
- 该模型认为学习到的表示所描述的变量是观察数据 x \boldsymbol{x} x 的成因,而并非反过来。
- 正如
深度学习之表示学习 - 半监督解释因果关系篇
中讨论的,这对于半监督学习是有利的,当潜在成因上的分布发生改变,或者我们应用模型到一个新的任务上时,学习到的模型都会更加鲁棒。
-
深度,或者解释因子的层次组织:
- 高级抽象概念能够通过将简单概念层次化来定义。
- 从另一个角度来看,深层架构表达了我们认为任务应该由多个程序步骤完成的观念,每一个步骤回溯到先前步骤完成处理的输出。
-
任务间共享因素:
- 当多个对应到不同变量 y i \text{y}_i yi 的任务共享相同的输入 x \text{x} x 时,或者当每个任务关联到全局输入 x \text{x} x 的子集或者函数 f ( i ) ( x ) f^{(i)}(\text{x}) f(i)(x) 时,我们会假设每个变量 y i \text{y}_i yi 关联到来自相关因素 h \mathbf{h} h 公共池的不同子集。
- 因为这些子集有重叠,所以通过共享的中间表示 P ( h ∣ x ) P(\mathbf{h} \mid \mathbf{x}) P(h∣x) 来学习所有的 P ( y i ∣ x ) P (\text{y}_i \mid \mathbf{x}) P(yi∣x) 能够使任务间共享统计信息。
-
流形:
-
自然聚类:
-
时间和空间相干性:
- 慢特征分析和相关的算法假设,最重要的解释因子随时间变化很缓慢,或者至少假设预测真实的潜在解释因子比预测诸如像素值这类原始观察会更容易些。
- 参考
线性因子模型 - 慢特征分析(SFA)篇
,进一步了解这个方法。
-
稀疏性:
- 假设大部分特征和大部分输入不相关——在表示猫的图像时,没有必要使用象鼻的特征。
- 因此,我们可以强加一个先验,任何可以解释为 ‘‘存在’’或 ‘‘不存在’’ 的特征在大多数时间都是不存在的。
-
简化因素依赖性:
- 在良好的高级表示中,因素会通过简单的依赖相互关联。
- 边缘独立可能是最简单的, P ( h ) = ∏ i P ( h i ) P(\mathbf{h}) = \prod_i P(\mathbf{h}_i) P(h)=∏iP(hi)。
- 但是线性依赖或浅层自编码器所能表示的依赖关系也是合理的假设。
- 这可以在许多物理定律中看出来,并且可以假设,在学习到表示的顶层插入线性预测器或分解的先验。
-
-
表示学习的概念将许多深度学习形式联系到了一起。 前馈网络和循环网络,自编码器和深度概率模型都在学习和使用表示。学习最佳表示仍然是一个令人兴奋的研究方向。
总结
深度学习之表示学习,以其独特的视角和方法,为我们提供了发现数据背后潜在原因的宝贵线索。通过构建深层次的网络结构,表示学习能够深入数据的内核,揭示出那些肉眼难以察觉的规律和模式。这些规律和模式不仅帮助我们更好地理解数据本身,更为我们解决实际问题、制定科学决策提供了有力支持。在未来的发展中,随着技术的不断进步和应用场景的不断拓展,深度学习之表示学习必将在更多领域展现出其强大的潜力和价值,为我们揭示更多自然界的奥秘和规律。
往期内容回顾
深度学习之表示学习 - 引言篇
深度学习之表示学习 - 半监督解释因果关系篇
深度学习自编码器 - 分布式表示篇
应用数学与机器学习基础 - 概率与信息论篇
线性因子模型 - 慢特征分析(SFA)篇