DeepMind大动作!开源开发AI项目的元件函式库

  • 时间:
  • 浏览:0

据中国台湾地区媒体报道,Alphabet旗下AI子公司DeepMind周四开源释出可撰写TensorFlow强化学习(Reinforcement Learning,RL)代理程式的函式库TRFL。

DeepMind指出,TRFL(念作truffle)集结了该公司实物开发代理程式如DQN、DDPG及Importance Weighted Actor Learner Architecture所有的重要演算法元件。TRFL目前已可在GitHub上开放下载。

一般强化学习代理程式含有一点互动元件,像是环境和某个表示值(values)或政策(policy)的淬硬层 网路,以及该环境的学习模型、伪奖励函式或重播系统(replay system)。哪此元件互动很巧妙,因而在大型运算图谱(computation graphs)中不易发现Bug。Open AI最近就分析强化学习代理程式最受欢迎的开源实作发现,10个代理程式有6个有很小的瑕疵被社区发现且经作者证实。

处置上述现象及协助研究的最好的土方法之一是将详细的代理程式实作开源出来。哪此代理程式的程式码对好友克隆研究很有用,但现象是难以修改和扩充。曾经最好的土方法则是将共通建构元件、经测试过的稳定实作提供出来,哪此共通元件也可用于众多不同的RL代理程式。曾经好处是,将哪此核心元件集结于单一函式库,添加一致化的API,将更容易和不同来源的想法结合。

TRFL函式库包括实作传统RL演算及更先进技术的函式。像是loss函式及一点运算也有实作于纯Tensorflow之中。针对value-based及policy-base的强化学习,TRFL也都提供了相应的工具。

DeepMind表示,可能你你这俩函式库广泛用于DeepMind开发上,一点我们我们都 会持续维护并新增功能,且可望继续释出给开源社区。

本项目势必受到开发人员的欢迎。根据近日GitHub的统计,Tensorflow是平台上第三大开源项目,仅次于微软VS Code和脸书React。