人工智能–苦乐交融的建模

每个模型都是错误的,但是某些模型很有用

0
5455
图片来源:Pixabay

在过去的几十年中,我们已经看到了人工智能(AI)的巨大进步。但是,这一进展并没有稳定地实现。途中起伏很大。在某些阶段中,人们甚至不敢公开承诺使用人工智能一词,因为该领域的声誉受到严重损害。当时从事AI的任何人都被视为梦想家。这也导致该领域的不同名称和细分被称为机器学习,数据挖掘或模式识别。

图1:AI炒作周期,摩尔’法则,与不断增长的数字数据量相比。

在最近的博客中 理查德·萨顿(Richard Sutton)发布,计算能力的不足被认为是迄今为止遇到的起起伏伏的重要原因。在他的详尽分析中,我们发现,一般模型总是优于主要由专家知识驱动的模型。随着计算能力的提高,通用模型的性能已经超过了手工制作的基于专家知识的模型。但是,当通用模型在计算上变得过于昂贵时,摩尔定律发生了变化,使用通用方法的进一步发展变得不可能。图1示意性地展示了这种发展。基于这一分析,得出的结论是,专家知识的整合是对资源的浪费,因为人们只需要等到足够的计算能力可用于解决机器智能的下一个里程碑就可以。这个结论是非常激进的,值得进一步分析。因此,我们将有一个简短的历史视角,实际上是最近在KDnuggets上发表的三篇文章的简短摘要。

首先 AI炒作 开始于1950年代,并导致该领域的重要发展。明斯基(Minsky)开发了第一台称为随机神经模拟强化计算机(SNARC)的神经网络机器,该机器受到生物学设计的启发,并将神经元映射到了电机中。感知器的进一步发展是使受生物学启发的神经元在计算机程序中可训练的感知器。那个时代的另一个重要发展是发明了基于规则的语法模型,该模型用于解决第一个简单的自然语言处理任务。同样,图灵测试的概念也属于AI的这一时期。随着这些伟大的发展,人们对AI的期望越来越高。但是,这些概念无法达到他们的期望,并在许多日常生活中失败了。这些怀疑得到了理论观察的进一步支持,例如由于Perceptron不能线性分离,因此它无法学习逻辑XOR函数。结果,人工智能的资金被大大削减了,这也被称为今天的AI Winter。 

在里面 80年代的AI魅力 回。第二波繁荣是通过开发更重要的技术(例如使多层感知器可训练的反向传播算法)以及理论观察到的,即具有单个隐藏层的神经网络已经是通用的函数逼近器而促进了这一繁荣。开发了递归网络,强化学习使博弈论也可以训练。那个时代的另一个突破是统计语言模型的开发,该模型逐渐开始取代基于规则的系统。当时甚至已经探索了深层和卷积网络。然而,在数值不稳定性的支持下,不断增长的计算需求导致训练时间较长。同时,出现了其他基于模型的,不太复杂的技术,例如支持向量机和集成,这些技术逐渐减少了神经网络的重要性,因为可以在更短的时间内获得相同或更好的结果。特别是凸优化和变分方法成为重要的概念,有效地结束了第二次AI炒作。那时,已知神经网络效率低下并且数值不稳定。由于其他方法更加有效并且可以更有效地处理数据,因此许多研究人员不再将时间花在这个方向上。

第三炒作期,我们目前正在经历的挑战又一次受到许多重要突破的推动。我们已经看到计算机击败了世界一流的围棋选手,创造了艺术,并解决了以前难以出现的任务,例如图像字幕。当前阶段的一个主要主题是不再需要手工制作和功能设计,而深度学习算法可立即解决所有问题。实际上,已经发现了重要的概念,这些重要的概念可以概括为许多最新方法。深度卷积网络已经取代了SIFT和小波理论等多尺度方法。同样,可训练的卷积神经网络在语音处理中已经表现出优于所谓的梅尔频率倒谱系数(MFCC)的能力,而这些特征已经占据了该领域近50年的历史。似乎很多理论已经在 过去已经过时。但是,必须记住,事实上,深层网络设计通常受经典特征提取模型的启发,图像处理特征与Wavelet变换有着截然不同的相似性,而音频处理网络仍形成隐式滤波器组。这样,知识仍然存在,但是 以其他形式编码。仍然必须承认,先前算法的可训练版本明显优于其先前版本。

我们当前的分析缺少第三个要素,这是当今AI成功的另一个推动力:用于训练机器学习算法的数字数据的可用性(请参见图1)。在一个 最近的文章 Helbing及其同事观察到数据每12个月翻一番,即使GPU处理能力也仅在18个月翻一番。结果,我们很快将不再能够像今天一样处理详尽的数据。我们要么只能处理有限数量的数据,要么必须限制用于处理数据的方法的复杂性。结果,基于模型的方法可能很快就会被接管,并且我们可能会经历另一个时期,非通用模型和专用模型将推动研究。

这种研究似乎是徒劳的,因为它有时可能会被更通用的模型所取代。但是,我们必须牢记模型的另一个重要优势:可以对模型进行相应的理解和操纵。以一个物理公式为例,可以针对一个或另一个变量求解。我们可以对所有模型执行此操作,并使用它们的属性将它们重新排列以适应新的用途。这是我们目前的深度学习模型无法做到的。必须从头开始对它们进行培训,并且它们的重用能力是有限的。这样的模型还有很多可以提供当前深度学习无法完成的功能。

在不久的将来,我们已经可以推测,这种由知识驱动的AI将在几年后被真正的通用AI所取代,该AI能够自行创建,维护和重用这些模型。 如萨顿所预测。但是,本文作者认为,将领域知识与深度学习相结合的方法是徒劳的,因为下一级别的推广将通过从模型驱动的AI中汲取的教训来实现。在开发模型驱动的AI时,我们将了解如何构建良好的可训练模型AI解决方案,并最终创建自动化方法来实现相同的目标。

当然,很难做出预测,尤其是对未来的预测。 无论是普通的无模型方法还是模型驱动的科学,我们都在期待机器学习,模式识别和数据挖掘令人兴奋的几年!

如果您喜欢此博客文章,建议您阅读MarkTechPost.com上的其他文章(//www.b3eiq2.cn/author/andreas-maier/)或查看我们的免费深度学习资源(//www5.cs.fau.de/lectures/free-deep-learning-resources/ )。

本文的文本和图像均受知识共享许可4.0署名许可。随时重用和共享这项工作的任何部分。

广告deeplearning.ai与一名学习者的深度学习专业化横幅,戴着眼镜在笔记本电脑上。

发表评论

请输入您的评论!
请在这里输入您的名字

该网站使用Akismet减少垃圾邮件。 了解如何处理您的评论数据.