归纳性偏见可能弥合当前深度学习与人类认知能力之间的差距

0
2632
//arxiv.org/pdf/2011.15091.pdf

当前,机器学习(ML)模型可在各个领域中找到应用,许多ML系统在各种领域中都已取得了非凡的准确性。但是,在许多情况下,根据训练数据集和遇到的任务,答案似乎不一致。因此,是否模型’的推理或判断是正确的受到质疑。了解人类智能将有助于构建智能机器。但是像物理学一样,仅靠原理是不足以预测大脑等复杂系统的行为的。我们需要大量的计算来模拟类人的智力。 

蒙特利尔大学Mila的Anirudh Goyal和Yoshua Bengio建议,可以定性地扩展深度学习,而不用添加其他数据和计算资源。在他们 一篇新论文,《用于深度认知的深度学习的归纳偏置》,他们探索归纳偏差如何弥合当前深度学习与人类认知能力之间的差距,从而使深度学习更接近于人类水平的AI。

当前,深度学习(DL)包含了人类和其他动物中发现的几种基本归纳偏差。该团队建议,增加这些归纳性偏见可以促进深度学习。将注意力集中在涉及更高层次和顺序意识处理的偏见上,可以将DL从目前在高度监督的学习任务中对分配内理解的成功提高到更强大且人性化的分布式概念转移学习能力。

广告Coursera Plus标语,包含约翰·霍普金斯大学,谷歌和密歇根大学的课程,突出显示数据科学职业发展的内容

研究人员讨论了基于更高层次的认知,因果依赖的声明性知识,生物学灵感和更高层次的认知表征的归纳偏见。他们利用了 系统1和系统2 Daniel Kahneman在《思考,快与慢》一书中提出了二分法. 这里的系统1指的是当前深度学习的能力。例如,直观,快速,自动,扎根于感官知觉。另一方面,系统2表示理性,有序,缓慢,逻辑,有意识并可以用语言表达。

该团队建议DL利用系统1的能力来执行系统2的任务’在处理动态条件时,计算主力将是高效的。换句话说,他们可能会学会在不断变化的情况下思考和执行类似人类的任务。

他们确定了未来DL研究的几个开放性问题和途径,包括:

  • 新规划技术中的归纳偏差。
  • 共同学习大型编码器和具有高级变量的大型通用模型。
  • 通过低级编程和硬件设计要求对模块和数据点进行计算,并改革神经体系结构。
  •  将声明性知识形式和推理机制与单个体系结构中的模块性统一起来。

研究人员指出,关于使用归纳偏置的提议思想仍处于成熟的早期阶段。需要进一步研究以提高理解水平,并确定将这些先验知识纳入神经体系结构和训练框架的合适方法。

Paper: //arxiv.org/pdf/2011.15091.pdf

广告

发表评论

请输入您的评论!
请在这里输入您的名字

该网站使用Akismet减少垃圾邮件。 了解如何处理您的评论数据.