TensorFlow发布MinDiff:一种解决机器学习模型中不公平偏见的技术

0
4940
资源: //github.com/tensorflow/tensorflow

一年前,TensorFlow开源了一个平台,该平台能够对机器学习(ML)模型性能进行切片评估,该平台称为 公平指标。响应评估是避免偏差并允许公司确定模型如何为各种用户使用的第一步。为了确定他们的模型在特定数据片段上的表现不佳,TensorFlow团队需要提出一些策略来缓解这种情况,以避免产生或加强不公平的偏见, 谷歌的AI原则.

几天前,TensorFlow宣布了一种解决机器学习(ML)模型中不公平偏见的技术,称为 敏迪夫。 敏迪夫通过惩罚模型之间各组得分的差异来处理给定的数据切片。在训练模型时,它将尝试通过使分布更接近来最小化损失。 敏迪夫是迈向更广泛的模型修复库的第一步,该模型修复库适用于不同用例。 

敏迪夫是一种模型修复技术,旨在均衡两个分布。通过惩罚分布差异,它可以平衡用户数据不同部分的错误率。

广告Coursera Plus标语,包含约翰·霍普金斯大学,谷歌和密歇根大学的课程,突出显示数据科学职业发展的内容

通常,当用户尝试最小化属于敏感类别的数据切片和性能更好的切片之间的假阴性率(FNR)或假阳性率(FPR)之间的差异时,用户应使用MinDiff。 

从数据集中的两个给定示例中,该技术对模型进行了惩罚,同时训练了两组之间分配分数的不相似性。所施加的惩罚与两组之间的差异成正比(基于预测分数)。

通过在损失中增加一个成分来应用罚款。惩罚可以定义为模型预测分布差异的度量。该模型试图通过使分布更接近来最小化损失。

用户经常发现MinDiff高效且有效,同时不会降低产品所需的性能。不过,这仍取决于应用程序和产品所有者的决定。

//ai.googleblog.com/2020/11/mitigating-unfair-bias-in-ml-models.html

您可以访问以下网址开始使用MinDiff: 敏迪夫页面 on tensorflow.org。在以下位置找到有关MinDiff研究的信息 谷歌 AI博客。要了解有关评估公平性的更多信息,请访问 本指南.

资源: //blog.tensorflow.org/2020/11/applying-mindiff-to-improve-model.html 

参考: //ai.googleblog.com/2020/11/mitigating-unfair-bias-in-ml-models.html

模型修复案例研究: //github.com/tensorflow/model-remediation/blob/master/docs/min_diff/tutorials/min_diff_keras.ipynb

广告

发表评论

请输入您的评论!
请在这里输入您的名字

该网站使用Akismet减少垃圾邮件。 了解如何处理您的评论数据.