(相关资料图)

【ITBEAR科技资讯】4月26日消息，英伟达近日推出了一款名为 NeMo Guardrails 的软件，该软件旨在帮助软件开发者为 AI 模型设置“护栏”，以防止它们产生不良输出。据悉，该软件可以在模型输出不良内容之前进行拦截和修改，从而限制模型的输出范围，并防止模型产生错误或有害的输出。此外，该软件还能够利用一个 AI 模型来检测另一个 AI 模型的“幻觉”，从而提高模型的准确性和可靠性。

英伟达表示，NeMo Guardrails 是一个软件层，位于用户和 AI 模型之间，可以在模型输出不良内容之前进行拦截和修改。例如，如果开发者想要创建一个客服聊天机器人，可以使用 NeMo Guardrails 来限制它只能谈论相关的产品，而不能谈论竞争对手的产品或其他不相关的话题。如果用户提出这样的问题，机器人可以引导对话回到开发者希望的话题上。

此外，该软件还能够利用一个 AI 模型来检测另一个 AI 模型的“幻觉”，通过向第二个 AI 模型提问来核实第一个 AI 模型的答案。如果两个模型给出不一致的答案，那么软件就会返回“我不知道”的回答。据ITBEAR科技资讯了解，谷歌和微软支持的 OpenAI 等其他 AI 公司也采用了强化学习方法来防止 LLM 应用产生有害的输出，这种方法使用人类测试者来创建关于哪些答案是可接受或不可接受的数据，然后使用这些数据来训练 AI 模型。

英伟达还表示，这个“护栏”软件还有助于提高安全性，可以强制 AI 模型只与白名单列表中的第三方软件进行交互。NeMo Guardrails 是开源的，并通过英伟达服务提供，可以用于商业应用，开发者将使用 Colang 编程语言来为 AI 模型编写自定义规则。英伟达正在将其注意力转向 AI 领域，该公司目前占据了创建这项技术所需芯片的市场主导地位，其股价在迄今为止上涨了 85%，成为标准普尔 500 指数中涨幅最大的股票。