深心如何使用JAX加速南粤风采36选7研究

0
2620
资源: //github.com/google/jax#jax-autograd-and-xla-

JAX是Google研究人员为高性能数值计算开发的Python库。其API基于NumPy。 NumPy是在科学计算中应用的功能的集合。开发人员广泛采用Python和NumPy,从而使JAX变得简单,灵活且易于使用。 JAX及其开放源码库的发展中的生态系统协助并加速了许多机器学习项目。

深心的JAX

在支持南粤风采36选7研究的同时,必须确保南粤风采36选7实验可扩展到实际应用。推进南粤风采36选7研究需要平衡快速原型制作和快速迭代。 深心的研究人员采用了使核心JAX库继续进行新研究方向的方法。

一种方法是将每个研究项目中开发的最重要和最关键的构建基块提取到经过良好测试和有效的组件中。这使研究人员可以从代码重用,错误修复以及核心库算法成分的性能改进中受益。

其他考虑因素包括确保它与现有TensorFlow库的设计保持一致。每个库都有特定的范围,并且完全可以与不同的项目一起使用。

深心的JAX生态系统

深心的JAX库开源生态系统包括几个支持机器学习研究的库。这包括:   

  • ku句 对于神经网络模块: Haiku是TensorFlow的神经网络库,是使模型参数和其他模型状态的管理更简单的神经网络库。它允许用户使用简单的面向对象的编程模型,同时利用JAX的纯功能范例的强大功能和简单性。它已被外部项目如 深化NumPyro.
//deepmind.com/blog/article/using-jax-to-accelerate-our-research
  • Optax 用于梯度处理和优化: Optax 是一个梯度转换库,其中包括合成运算符,使用户可以在单个代码行中实现许多标准优化器。用例: 挽歌亚麻和 萨克斯
//deepmind.com/blog/article/using-jax-to-accelerate-our-research
  • 拉克斯 for RL algorithms: RLax是一个库,为构建强化学习(RL)代理提供了必要的构建基块。它的组成部分包括各种算法和思想,例如TD学习,参与者批评家,策略梯度,MAP,近端策略优化,非线性价值转换,通用价值函数以及许多探索技术。 Acme 是基于RLax组件构建的功能全面的代理框架的示例。
//deepmind.com/blog/article/using-jax-to-accelerate-our-research
  • x 用于可靠的代码和测试: Chex是一个实用程序库,旨在帮助用户编写可靠的JAX代码。它是测试工具的集合,库作者使用这些工具来验证标准构件是否正确和健壮,并由最终用户检查测试代码。该库在DeepMind的整个过程中使用,并已在外部项目中使用,例如  and MineRL.
//deepmind.com/blog/article/using-jax-to-accelerate-our-research
  • 杰拉普 对于神经图网络: Jraph支持在JAX中使用GNN。它是一个轻量级的库,为图,一组实用程序图和可扩展图神经网络模型的“动物园”提供标准化的数据结构。其他基本功能包括:利用硬件加速器的GraphTuples批处理,通过掩蔽和填充对可变形状图的JIT编译支持以及在输入分区上定义的损失。与其他库一样,Jraph对用户选择神经网络库没有任何限制。
//deepmind.com/blog/article/using-jax-to-accelerate-our-research

资源: //deepmind.com/blog/article/using-jax-to-accelerate-our-research

Github: //github.com/google/jax#jax-autograd-and-xla-

广告deeplearning.ai与一名学习者的深度学习专业化横幅,戴着眼镜在笔记本电脑上。

发表评论

请输入您的评论!
请在这里输入您的名字

该网站使用Akismet减少垃圾邮件。 了解如何处理您的评论数据.