机器学习元数据(MLMD):一个跟踪机器学习工作流完整谱系的库

0
1142
Source: //blog.tensorflow.org/2021/01/ml-metadata-version-control-for-ml.html

版本控制用于跟踪在软件代码中所做的修改。同样,在构建机器学习(ML)系统时,必须跟踪事物,例如用于训练模型的数据集,使用的超参数和管道,用于创建模型的tensorflow的版本等等。

ML工件’历史和沿袭比简单的线性日志要复杂得多。 Git可用于在某种程度上跟踪代码,但是我们需要一些东西来跟踪您的模型,数据集等。 ML代码和模型,数据集等工件的复杂性需要类似的方法。

因此,研究人员引入了机器学习元数据( MLMD ), 一种   独立的  library to track one’s entire ML workflow’包括数据摄取,数据预处理,验证,培训,评估,部署等全部内容。MLMD还提供 与TensorFlow Extended集成

广告 Coursera Plus标语,包含约翰·霍普金斯大学,谷歌和密歇根大学的课程,突出显示数据科学职业发展的内容

除了对模型进行版本控制外,ML Metadata还可以捕获训练过程’完整的沿袭,包括数据集,超参数和软件依赖项。作为ML工程师,可以使用MLMD将错误的模型追溯到其数据集,甚至可以从错误的数据集追溯到对其进行训练的模型。在ML基础架构中工作时,还可以使用MLMD记录其管道’的当前状态,并启用基于事件的编排。用户还可以进行优化,例如在输入和代码相同的情况下跳过某个步骤,从而记住管道中的步骤。 MLMD 可以集成到培训系统中,以创建日志以供以后自动查询。完整的培训谱系自动记录是使用MLMD的最佳方法,因为它无需额外的努力即可保存完整的历史记录。

MLMD 是Google多种内部MLOps解决方案的关键基础。此外,Google Cloud将MLMD之类的工具集成到其核心MLOps平台中:

//www.tensorflow.org/tfx/guide/mlmd

所有这些服务的基础是AI平台中的ML元数据管理服务,它使AI团队可以跟踪他们运行的所有必要工件和实验,从而提供精选的操作分类账和详细的模型沿袭。这可以帮助用户确定用于调试,审核或协作的任何AI模型系列的模型来源。 AI Platform Pipelines将自动跟踪工件和沿袭,并且AI团队可以将ML元数据服务直接用于自定义工作负载,古董和元数据跟踪。

Source://blog.tensorflow.org/2021/01/ml-metadata-version-control-for-ml.html

Github: //github.com/google/ml-metadata

Tutorial: //www.tensorflow.org/tfx/tutorials/mlmd/mlmd_tutorial

广告

发表评论

请输入您的评论!
请在这里输入您的名字

该网站使用Akismet减少垃圾邮件。 了解如何处理您的评论数据.