ChatGPT火爆的背后是技术的驱动，接收注册验证码的平台火爆到一块多一条信息

OpenAI又火了！最近很多人的朋友圈都混进了一个让人既爱又怕的狠角色，以至于Stackoverflow不得不赶紧下架。

最近，OpenAI发布了聊天AI ChatGPT，短短几天，其用户数量直接达到百万级，甚至服务器一度被注册用户挤爆。

网友们对此感到惊讶“超越谷歌搜索”神器到底是怎么做到的？到底靠谱吗？

事件回顾

OpenAI公司最近发布了基于旗舰GPT系列的大型语言模型ChatGPT(LLM)，是专门用于对话交互的模型。用户可以下载公司的免费演示版本。

大多数大型语言模型都是发布的(LLM)同样，ChatGPT的发布也引起了一些争议。在发布后的短短几个小时内，这种新的语言模型在Twitter上引起了轰动，用户上传了令人印象深刻的ChatGPT成就或灾难性失败的截图。

然而，从大型语言模型的广泛角度来看，ChatGPT反映了该领域短暂而丰富的历史，代表了在短短几年内取得的进展，以及需要解决的基本问题。

没有监督学习的梦想

无监督学习仍然是人工智能社区的目标之一，互联网上有大量有价值的知识和信息。但直到最近，大多数信息都不能用于机器学习系统。大多数机器学习和深度学习应用程序都受到监督，这意味着人类必须收集大量的数据样本并注释每个样本来训练机器学习系统。

随着Transformer架构（大型语言模型的关键组件）的出现，这种情况发生了变化。Transformer模型可以使用大量的无标记文本语料库进行训练。它们随机屏蔽文本部分，并试图预测缺失部分。通过反复执行此操作，Transformer调整其参数，以表示大序列中不同单词之间的关系。

这已被证明是一种非常有效和可扩展的策略。可以收集非常大的训练语料库，无需人工标记，从而创建和训练越来越大的Transformer模型。研究和实验表明，Transformer模型和大型语言模型(LLM)随着规模的增加，它们可以生成更长的连贯文本序列。大型语言模型(LLM)它还展示了大规模的应急能力。

回归监督学习回归监督学习

大型语言模型(LLM)通常只有文本，这意味着它们缺乏丰富的多感官体验，试图模仿它们。尽管GPT-3等大型语言模型(LLM)它取得了令人印象深刻的成就，但它们存在一些基本缺陷，使它们无法预测需要常识、逻辑、规划、推理和其他知识的任务，而这些知识通常在文本中被省略。大型语言模型(LLM)以产生幻觉反应、连贯但实际上是虚假的文本和经常误解用户提示的明显意图而闻名。

通过增加模型及其培训语料库的规模，科学家可以减少大型语言模型中明显错误的频率。但根本问题并没有消失，即使是最大的大型语言模型(LLM)也会在很小的推动下犯愚蠢的错误。

若大型语言模型(LLM)仅在科学研究实验室中跟踪基准测试的性能可能不是一个大问题。然而，随着人们在实际应用中使用大型语言模型(LLM)对解决这些问题和其他问题越来越感兴趣。工程师必须确保他们的机器学习模型在不同的条件下保持强大，并满足用户的需求和要求。

为了解决这个问题，OpenAI利用人类反馈加强学习(RLHF)此前开发的技术用于优化和强化学习模型。加强学习的人类反馈(RLHF)不是让强化学习模型随机探索其环境和行为，而是利用人类主管的偶尔反馈来引导代理朝着正确的方向前进。强化学习人类反馈(RLHF)其优点是，它可以通过极小的人为反馈来改善加强学习代理的培训。

OpenAI后来强化了人类反馈的学习(RLHF)InstructGPT是一种大型语言模型(LLM)该系列旨在更好地理解和响应用户提示中的指令。InstructGPT是GPT-3模型，根据人类反馈进行微调。

这显然是一种权衡。人工注释可能成为可扩展训练过程中的瓶颈。然而，OpenAI通过在无监督学习和有监督学习之间找到正确的平衡，可以获得更好的响应指令、减少有害输出和资源优化等重要好处。根据OpenAI的研究结果，13亿参数的InstructionGPT通常优于1750亿参数的GPT-3模型。

ChatGPT的训练过程

基于InstructGPT模型的经验，ChatGPT是基于的。在用户提示和模型响应中，人工注释器创建了一组示例对话。这些数据用于基于微调构建ChatGPT的GPT-3.5模型。下一步，将为微调模型提供新的提示，并提供一些响应。标记人员对这些反应进行排名。然后，从这些交互中生成的数据被用于训练奖励模型，这有助于进一步微调加强学习管道中的大型语言模型(LLM)。

OpenAI还没有披露强化学习过程的所有细节，但人们想知道这个过程“不可扩展的成本”，也就是说，需要多少人力。

ChatGPT能在多大程度上信任？

ChatGPT的结果令人印象深刻。该模型完成了各种任务，包括提供代码反馈、写诗、用不同的音调解释技术概念、生成人工智能模型的提示。

然而，该模型也容易出现类似于大型语言模型的情况(LLM)所犯的错误，如引用不存在的论文和书籍，误解直观的物理学，以及组合失败。

人们对这些失败并不感到惊讶。ChatGPT没有发挥任何神奇的作用，它应该遇到与前一代相同的问题。然而，在现实世界的应用中，我们在哪里可以信任它？显然，这里有一些有价值的内容，正如人们在Codex和GitHubCopilot中看到的，大型语言模型(LLM)它可以非常有效地使用。

在这里，决定ChatGPT是否有用的是与之一起实现的工具和保护类型。例如，ChatGPT可能成为企业创建聊天机器人的一个很好的平台，比如编码和图形设计的数字合作伙伴。首先，如果它遵循InstructGPT的例子，它应该能够以更少的参数获得复杂模型的性能，这将使其具有成本效益。此外，如果OpenAI提供工具，企业可以实现自己的人类反馈，加强学习(RLHF)对于微调，它可以进一步优化特定的应用程序。在大多数情况下，它比聊天机器人更有用。聊天机器人可以随意谈论任何事情。最后，如果为应用程序开发人员提供集成ChatGPT和应用程序场景的工具，并将其输入和输出映射到特定的应用程序事件和操作中，他们将能够设置正确的护栏，以防止模型不稳定。

基本上，OpenAI创建了一个强大的人工智能工具，但它有明显的缺陷。它现在需要创建一个正确的开发工具生态系统，以确保产品团队能够利用ChatGPT的力量。GPT-为许多不可预测的应用开辟了道路，因此了解ChatGPT的库存将非常有趣。