4 个可以直接在 PC 上运行的免费 AI 聊天机器人

快速阅读: 据《电脑世界》最新报道，本文介绍了可在本地PC上运行的四个聊天机器人：Gemma 2、Llama、Msty和GPT4All。这些聊天机器人能够利用本地硬件，如GPU和RAM，实现快速响应。其中，Gemma 2和Llama适用于不同硬件配置，而Msty和GPT4All则提供了更多的模型选择和高级功能。这些聊天机器人可帮助用户在本地环境中进行文本生成和对话，无需依赖云端服务。

由OpenAI开发的人工智能聊天机器人ChatGPT引发了关于生成式人工智能的热潮，并主导了大部分媒体报道。然而，除了OpenAI的AI模型外，还有其他值得关注的聊天机器人。与ChatGPT不同的是，这些聊天机器人也可以在本地PC上使用，甚至可以无限期免费使用。我们将向您展示四个可以在旧硬件上运行的本地聊天机器人。您可以与它们对话或创建文本。这里介绍的聊天机器人通常由两部分组成，前端和AI模型，即大型语言模型。安装工具后，您可以选择哪个模型在前端运行。如果您了解基本操作，使用起来并不难。然而，一些聊天机器人提供了非常广泛的设置选项。使用这些选项需要专业知识。不过，聊天机器人也可以通过默认设置很好地运行。

### 本地AI能做什么

您对本地大型语言模型（LLM）的期望也取决于您提供的内容：LLM需要计算能力和大量RAM才能快速响应。如果这些要求没有得到满足，大型模型甚至无法启动，而小型模型则会花费令人痛苦的长时间来响应。如果您的PC配备了最新的NVIDIA或AMD显卡，则速度会更快，因为大多数本地聊天机器人和AI模型可以利用硬件的GPU。如果您只有一块较弱的显卡，一切计算都必须由CPU完成——这需要时间。如果您只有8GB的RAM，您只能启动非常小的AI模型。尽管它们可以正确回答许多简单的问题，但它们很快就会在边缘话题上遇到问题。提供12GB RAM的计算机已经相当不错，但16GB RAM或更多更好。这样，即使是工作在7到12亿参数的AI模型也能平稳运行。通常可以通过模型名称识别它有多少参数。最后，像2B或7B这样的附加说明代表20亿或70亿。

### 硬件推荐

– **Gemma 2 2B**，拥有26亿参数，已经在8GB RAM下运行且无需GPU支持。结果通常快速且结构良好。
– 如果您需要一个更不费力的AI模型，例如可以在聊天机器人LM Studio中使用的Llama 3.2 1B。
– 如果您的PC配备了大量RAM和快速GPU，请尝试Gemma 2 7B或稍大的Llama模型，如Llama 3.1 8B。您可以通过聊天机器人Msty、GPT4All或LM Studio加载这些模型。有关Llama文件的AI模型信息可以在下面找到。

### Llamafile

Llamafile是与本地聊天机器人通信的最简单方式。该项目的目标是使AI对每个人可用。这就是为什么创建者将所有必要的文件，即前端和AI模型，打包成一个单一文件——Llamafile。您只需启动该文件，聊天机器人就能在浏览器中使用。然而，用户界面不是很吸引人。Llamafile聊天机器人有不同的版本，每个版本都有不同的AI模型。使用Llava模型，您还可以将图像集成到聊天中。总的来说，Llamafile作为聊天机器人很容易使用。

#### 简单的安装

只有一个文件被下载到您的电脑上。文件名根据所选模型的不同而有所变化。例如，如果您选择了带有Llava 1.5模型和70亿参数的Llamafile，文件名为“llava-v1.5-7bq4.llamafile”。由于缺少.exe扩展名，您需要下载后在Windows资源管理器中重命名文件。您可以点击“是”忽略Windows资源管理器的警告。文件名将变为：“llava-v1.5-7b-q4.llamafile.exe。”双击该文件以启动聊天机器人。在较旧的PC上，Microsoft Defender SmartScreen可能需要一段时间才会发出警告。点击“始终运行”。将打开一个提示窗口，但这只是针对程序的。聊天机器人没有自己的用户界面，必须在浏览器中操作。如果默认浏览器未自动启动，请启动它并输入地址127.0.0.1:8080或localhost:8080。如果您想使用不同的AI模型，您必须下载另一个Llamafile。这些可以在Llamafile.ai网站下方的“其他示例Llamafile”表中找到。每个Llamafile都需要文件扩展名.exe。

#### 使用Llamafile聊天

浏览器中的用户界面显示了聊天机器人的设置选项。聊天输入位于页面底部的“说点什么”下。如果您启动了一个带有Llava模型（llava-v1.5-7b-q4.llamafile）的Llamafile，您不仅可以聊天，还可以通过“上传图片”和“发送”功能让图片被解释。Llava代表“大型语言和视觉助手”。要结束聊天机器人，只需关闭提示。提示：Llava文件可以在您自己的网络中使用。在家庭网络中的一台强大的PC上启动聊天机器人。确保其他PC有权访问此计算机。然后，您可以通过互联网浏览器和运行聊天机器人的PC的IP地址从那里使用聊天机器人。

### Msty

Msty提供访问许多语言模型的机会，良好的用户指导以及导入您自己的文件供AI使用。并非所有功能都一目了然，但经过短时间熟悉后很容易使用。如果您想完全本地化地将您自己的文件提供给AI，您可以在Msty的所谓知识栈中这样做。这听起来可能有点夸张。然而，Msty实际上提供了在这里介绍的四个聊天机器人中最好的文件集成。

#### Msty的安装

Msty有两个版本可供下载：一个支持NVIDIA和AMD GPU，另一个仅用于CPU运行。当您启动Msty安装向导时，可以选择本地安装（“设置本地AI”）或服务器安装。对于本地安装，在窗口的下半部分已经选择了Gemma 2模型。这个模型只有1.6GB大小，非常适合在较弱的硬件上进行文本创作。如果您点击“Gemma2”，可以选择另外五个模型。以后，您可以通过“本地AI模型”从一个组织良好的库中加载许多更多的模型，例如Gemma 2 2B或Llama 3.1 8B。“浏览并在线下载模型”可以让您访问AI页面www.ollama.com和www.huggingface.com，因此您可以访问大多数免费的AI模型。Msty的一个特殊功能是您可以同时向几个AI模型寻求建议。但是您的PC应该有足够的内存以便快速响应。否则您将不得不等待很长时间才能得到最终答案。

#### Msty的漂亮界面，丰富的功能

Msty的用户界面吸引人且结构良好。当然，并非所有东西都是立即明显的，但如果您熟悉Msty，您可以快速使用该工具，集成新模型，并整合您自己的文件。Msty提供了对各个模型的许多复杂选项的部分图形菜单访问。此外，Msty提供所谓的分割聊天。用户界面会显示两个或更多的聊天条目。每个聊天都可以选择不同的AI模型。但是您只需要输入一次问题。这允许您比较几个模型。

#### 添加您自己的文件

您可以通过“知识栈”轻松整合您自己的文件。您可以选择哪个嵌入模型来准备您的数据供LLMs使用。默认情况下使用混合面包嵌入大型模型。但是也可以加载其他嵌入工具。但是在选择模型时应小心，因为可以选择在线嵌入模型，例如来自Open AI。然而，这意味着您的数据将会被发送到Open AI的服务器进行处理。每次查询都会被发送到Open AI。在您将自己的文档添加到“知识堆栈”之后，选择聊天输入行下方的“附加知识堆栈并与其聊天”。勾选您堆栈前的复选框并提问。模型会搜索您的数据以找到答案。不过，目前这还不太可靠。

### GPT4All

GPT4All提供了一些模型、一个简单的用户界面和读取您自己文件的功能。与Msty相比，聊天模型的选择较少，但模型选择更为清晰。GPT4All聊天机器人是一个稳定的前端，提供了丰富的AI模型选择，并可以从Huggingface.com加载更多的模型。用户界面结构良好，您可以迅速找到自己的方向。我们发现GPT4All的安装既快捷又方便。可以在“模型”选项下选择AI模型。展示了诸如Llama 3 8B、Llama 3.2 3B、微软Phi 3 Mini和EM德国Mistral等模型。对于每个模型，指定了运行该模型所需的PC必须具有的可用RAM量。还可以使用搜索功能访问Huggingface.com上的AI模型。此外，可以通过API密钥集成来自Open AI（ChatGPT）和Mistral的在线模型——对于那些不仅想本地聊天的人来说。经过简短的引导阶段，在此期间明确了如何加载模型以及在哪里可以进行聊天选择后，操作变得简单。可以通过“本地文档”使您自己的文件可供AI模型使用。与Msty不同的是，无法设置哪个嵌入模型来准备数据。所有情况下都使用Nomic-embed-textv1.5模型。在我们的测试中，该工具运行稳定。这个模型应该也能在较旧的硬件上运行而无需长时间等待。下载模型后，必须通过弹出窗口并通过“加载模型”启动。可以使用Ctrl-Shift-M组合键或“发现”放大镜符号等添加其他模型。在LM Studio窗口底部，您可以使用三个按钮“用户”、“高级用户”和“开发者”更改程序视图。在第一种情况下，用户界面类似于浏览器中的ChatGPT；在其他两种情况下，视图补充了额外的信息，例如响应中包含多少个标记以及它们计算的速度有多快。这些特性和对AI模型许多细节的访问使LM Studio特别吸引高级用户。您可以进行许多细微调整并查看信息。您自己的文本只能被整合到聊天中，而不能永久提供给语言模型。当您向聊天中添加文档时，LM Studio会自动判断文档是否足够短，足以完全放入AI模型的提示中。如果不，文档将使用检索增强生成（RAG）检查重要内容，仅将这些内容提供给聊天中的模型。然而，文本通常不会被完全捕捉。

(以上内容均由Ai生成)