领英开源LiFT以实现大规模机器学习工作流程中的公平性衡量

0
1377
图片作者 BedexpStockPixabay

尽管目前有许多方法和库在实践中用于分析机器学习模型中的公平性,但它们都仍然局限于某些或其他因素。这些工具不是专门解决大规模问题(以及这种规模所带来的固有挑战),而是与特定的云环境相关联。

为了解决此问题,LinkedIn引入了一个名为LiFT(领英公平工具包)。 LiFT是一个Scala / Spark库,可根据大量公平性定义在大规模机器学习工作流程中测量公平性。

LiFT的主要功能包括灵活部署ML工作流以及在ML培训系统的不同阶段进行集成。它被设计为可重用的库,其核心也可以用于临时公平性分析。除了灵活性之外,LiFT还具有可伸缩性,可以分布在多个节点上,以分析和缩放各种机器学习模型中的偏差测量。

广告Coursera Plus标语,包含约翰·霍普金斯大学,谷歌和密歇根大学的课程,突出显示数据科学职业发展的内容
//engineering.linkedin.com/blog/2020/lift-addressing-bias-in-large-scale-ai-applications

Github: //github.com/linkedin/LiFT

领英: //engineering.linkedin.com/blog/2020/lift-addressing-bias-in-large-scale-ai-applications

广告

发表评论

请输入您的评论!
请在这里输入您的名字

该网站使用Akismet减少垃圾邮件。 了解如何处理您的评论数据.