领英开源GDMix:深度排名个性化的AI框架

0
1779
资源: //engineering.linkedin.com/blog/2020/gdmix--a-deep-ranking-personalization-framework

领英开源广义深度混合南粤风采36选7(GDMix),该框架可提高AI个性化南粤风采36选7的训练效率。它支持深度学习南粤风采36选7,因此相对于LinkedIn的先前版本有所改进,  光子ML.

GDMix训练两种南粤风采36选7:固定效应南粤风采36选7和随机效应南粤风采36选7,用于搜索个性化和推荐系统。通常,这些南粤风采36选7很难单独教授。尽管如此,GDMix仍将大型南粤风采36选7分解为全局南粤风采36选7(固定效果)和许多小型南粤风采36选7(随机效果),然后分别求解,从而加快了流程。这种方法允许使用商品硬件更快地训练南粤风采36选7,并且不需要内存,专用处理器和网络设备。

GDMix使用TensorFlow进行数据读取和梯度计算,从而使各种数据集的训练速度提高了10%至40%(与Photon ML相比)。该框架会自动训练和评估南粤风采36选7,并可以处理数亿个南粤风采36选7。

广告Coursera Plus标语,包含约翰·霍普金斯大学,谷歌和密歇根大学的课程,突出显示数据科学职业发展的内容
//engineering.linkedin.com/blog/2020/gdmix–a-deep-ranking-personalization-framework

文本删除 可以用作GDMix中的全局固定效果南粤风采36选7以进行本地训练。 文本删除适用于各种任务,包括多类分类,搜索和推荐排名以及查询理解。使用深度神经网络,它利用语义匹配来了解搜索和推荐系统中的成员意图。 文本删除和DMix将自动训练和评估用户指定的固定效果南粤风采36选7类型,并将该南粤风采36选7连接到后续的随机效果南粤风采36选7。 GDMix当前支持深度自然南粤风采36选7和逻辑回归南粤风采36选7。 文本删除支持用户设计的任意南粤风采36选7,并在GDMix之外进行训练。

GDMix的发布成功地在LinkedIn上发布了用于测量AI南粤风采36选7公平性的工具包: 领英公平工具包(LiFT)。在训练期间使用LiFT进行测量 偏见 在语料库中。它评估南粤风采36选7的公平性概念,同时检测子组之间性能的差异。据LinkedIn称,在训练之前,LiFT在内部用于测量南粤风采36选7训练数据集的公平性指标。

资源: //engineering.linkedin.com/blog/2020/gdmix–a-deep-ranking-personalization-framework

Github: //github.com/linkedin/gdmix


广告

发表评论

请输入您的评论!
请在这里输入您的名字

该网站使用Akismet减少垃圾邮件。 了解如何处理您的评论数据.