中国弟弟PhillipWang复制了一个ChatGPT

先说程序员有多快。第一个开源的ChatGPT项目已经出现了！

基于谷歌语言模型的PaLM架构和从人类反馈中加强学习的方法，中国弟弟Phillip Wang复制了一个ChatGPT。

项目GitHub star已经超过1.7k，而且还在飙升。

可是，一反常态，网友们看到开源ChatGPT并没有抢，反而都提出了问题:

这......有人能跑。

开源，但不完全开放。

项目的核心内容是在PaLM架构上实现基于人类反馈的强化学习。

其中PaLM是谷歌在今年4月发布的5400亿参数全能机型基于通路系统的训练，伯特之父雅各布·德夫林是主要贡献者之一

PaLM可以完成写代码，聊天，语言理解等任务，在大多数任务中实现了小样本的SOTA学习性能

另一个核心点是RLHF的来自人类反馈的强化学习。

OpenAI在提出InstructGPT的时候就使用了这种方法，可以让AI的回答更加符合情境要求，减少危害性。

它分为三个步骤:

第一步是找一些人写下示范答案，以微调GPT—3模型并训练监督模型基线。

第二步，收集一个问题的几组不同的输出数据，由人类对几组答案进行排序，在这个数据集上训练奖励模型。

再次，采用RM作为奖励函数，近端策略优化算法对GPT—3策略进行微调，加强学习方法，使奖励最大化。

ChatGPT使用的GPT—3.5，其中text—davinci—002是在code—davinci—002的基础上使用InstructGPT训练方法改进的。

大致有三个步骤:

我们先训练一下PaLM，就像其他自回归变压器一样。

第二...

等等，练掌你确定这不是开玩笑吗

现在我明白为什么大家都觉得这个开源项目根本跑不起来了...

打个不恰当的比方，这就好比你想吃熊肉，你得先自己给熊头上。

项目里只有PaLM架构和代码，没有预训练的权重。

所以完成第一步后，大概效果是...

说到这里，继续往下看...

然后，用强化学习对之前训练好的模型和奖励模型进行微调。

经过这三步，你就可以得到一个开源版本的ChatGPT了。

中间的问题包括巨大的计算量，庞大的模型和难以收集的文本...所以有些人不禁要问:

没有可能，也没用。

不过，也有网友认为这本质上是好事。

AI的一个关键区别是，每一次重大突破，都会很快出现一个开源版本。

而LAION也推出了类似的项目Open Assistant，将通过众筹脑力联合开发一款开源聊天AI。

稳定扩散使用的开放数据集就是这个组织做的。

感兴趣的童鞋不妨试试~

PaLM—rlhf—pytorch主页:

打开助手主页:

参考链接: