能在笔记本电脑上运行开源的克隆 ChatGPT-GPT4All诞生

在 ChatGPT 输出上训练的开源聊天机器人


github地址：
https://github.com/nomic-ai/gpt4all



介绍
展开在接下来的六个月内暂停训练比 GPT-4 更强大的人工智能系统。

尽管技术成就显着，但它们仍然是闭门造车。尽管它的名字，OpenAI 长期以来一直受到一些人的批评，因为它没有发布他们的模型，甚至被一些人称为ClosedAI。研究人员和爱好者都在努力寻找开源替代品。

如果错过了最近的发展，应该查看 Meta 的LLaMA ( GitHub )，它应该优于 GPT-3。它是在 GNU 许可下获得许可的，虽然它不是严格开源的，但可以在注册后获得权重。这种开放显然是为了 LLaMA 的利益，社区很快就继续开发它。它很快以llama.cpp的形式移植到 C/C++，斯坦福大学的研究人员将其扩展到一个指令跟随模型，例如 ChatGPT，并将其命名为Alpaca。还有GPT4All，这篇博文是关于它的。我将很快介绍它，最后，将了解如何在本地运行它以及会发生什么。

但首先，让我们反思一下社区在短时间内开发开放版本的速度有多快。为了了解这些技术的变革性，下面是各个 GitHub 存储库的 GitHub 星数（衡量受欢迎程度）。作为参考，流行的PyTorch 框架在六年内收集了大约 65,000 颗星。下面的图表是大约。一个月。



GPT4 ALL

现在，让我们更深入地介绍GPT4All。这是Nomic AI的助手式聊天机器人，刚刚公开发布。



如何基于现有的语言模型（如 LLaMA）创建类似 ChatGPT 的助手式聊天机器人？答案可能会让您大吃一惊：您与聊天机器人互动并尝试了解它的行为。就 gpt4all 而言，这意味着从公开可用的数据源收集各种问题和提示样本，然后将它们交给 ChatGPT（更具体地说是 GPT-3.5-Turbo）以生成 806,199 个高质量的提示生成对。接下来，整理数据并删除低多样性响应，并确保数据涵盖广泛的主题。训练数据后，他们发现他们的模型比同类产品表现更好。

对我来说，其中一个主要吸引力在于作者发布了模型的量化 4 位版本。这是什么意思？实际上，您在模型中以降低的精度而不是全精度执行某些操作，因此可以拥有更紧凑的模型。虽然像 ChatGPT 这样的模型在 Nvidia 的A100等专用硬件上运行，这是一款配备高达 80 GB RAM 的硬件怪兽，价格为 15,000 美元，但对于 GPT4All，这意味着您可以在消费级硬件上执行该模型。现在，让我们开始运行自己的：


设置东西
运行 GPT4All 的说明很简单，只要您安装了正在运行的 Python。只需按照GitHub 存储库上的设置说明进行操作即可。

下载量化检查点（请参阅自己尝试）。这是 4.2 Gb 的大小，我以 1.4 Mb/s 的速度下载它，所以这需要一段时间

• 克隆环境
• 将检查点复制到chat
• 设置环境并安装要求
• 运行
  

我在 M1 MacBook Pro 上对此进行了测试，这意味着只需导航到chat- 文件夹并执行./gpt4all-lora-quantized-OSX-m1.




设置一切应该只花你几分钟。就我而言，下载是最慢的部分。在我的机器上，结果是实时返回的。


结果
现在，准备运行的 GPT4All 量化模型在基准测试时表现如何？虽然有详尽的基准测试集，但以下是可以预期的一些快速见解：




虽然有一些明显的错误（NLP-> NLU），但实际上我对输出感到非常惊讶。

让我们尝试一些更有创意的东西，比如诗歌：




我发现这确实非常有用——同样，考虑到这是在 MacBook Pro 笔记本电脑上运行的。虽然它可能不在 GPT-3.5 甚至 GPT-4 级别，但它肯定有一些魔力。


使用注意事项
使用 GPT4All 时，请牢记作者的使用注意事项：

“GPT4All 模型重量和数据仅用于研究目的并仅获得许可，禁止任何商业用途。GPT4All 基于 LLaMA，具有非商业许可。辅助数据是从 OpenAI 的 GPT-3.5-Turbo 收集的，其使用条款禁止开发与 OpenAI 进行商业竞争的模型。”

此外，请注意 ChatGPT 具有多项安全功能。

ChatGPT免费交流社区：

获取更多资源：
领取100本书+1T资源
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26480

大数据5个项目视频
http://www.aboutyun.com/forum.php?mod=viewthread&tid=25235

名企资源、名企面试题、最新BAT面试题、专题面试题等资源汇总
https://www.aboutyun.com/forum.php?mod=viewthread&tid=27732