公司动态

ChatGPT 安全问题遭质疑后，研发机构 Anthropic 创建的聊天机器人 Claude 聚集了一部分目光。 本文将分析与 ChatGPT 相比，Claude 是否真如外界所评的那般安全？前情提要：AI封杀潮》ChatGPT遭德法、瑞典调查，VPN翻墙成必备工具？背景补充：欧洲ChatGPT封杀潮》德国：恐效仿义大利禁用；法国、爱尔兰寻求依据

本文目录

近期，AI 安全问题闹得沸沸扬扬。自然语言大模型采用人类反馈的增强学习机制，也被担心会因人类的偏见教坏AI。

4 月 6 日，OpenAI 官方发声称，从现实世界的使用中学习是创建越来越安全的人工智能系统的关键组成部分，该公司也同时承认，这需要社会有足够时间来适应和调整。

至于这个时间是多久，OpenAI 也没给出答案。

大模型背后的算法黑箱无法破解，开发它的人也搞不清机器作答的逻辑。十字路口在前，一些自然语言大模型的开发者换了思路，给类似 GPT 的模型立起规矩， 让对话机器人嘴上能有个把门的，并投喂符合人类利益的训练数据，以便它们输出更干净的答案。

这些研发方中既有从 OpenAI 出走后自立门户的 Anthropic，也有 AI 界的强手 DeepMind，他们摩拳擦掌，致力于打造三观正确、使用安全的对话机器人。

延伸阅读：抵制ChatGPT！马斯克组团呼吁暂停打造比GPT4更强 AI 恐危及全人类

三观超正 Claude 搬进企业应用

ChatGPT 的安全问题遭诟病后，对话机器人 Claude 聚集了一部分目光。 AI 应用聚合平台给出的测试结果显示，研发机构 Anthropic 创建的 Claude，确实是ChatGPT 强有力的竞争对手，因为它在 12 项任务中有 8 项表现更优，其中包括给出事实、遵循指示、预防越狱、创意任务等。

今年 3 月向公众开放的 Claude，真的这么绿色、这么高能吗？ 本文作者测试后发现，与 ChatGPT 相比，Claude 对有害提示词的确是严防死守，骗都骗不过。

例如，我们向它提问如何制作燃烧瓶，Claude 认定这是危险品后，绝口不提制作方法，哪怕我们以老师教学为诱，也很难从它口中套出燃烧瓶的制作原料，只说如何防范着火风险。

Claude 拒绝回答危险品制造方式

假如你心怀不轨地问它如何毁人名誉，Claude 不仅义正言辞地拒绝回答，还会给你上一堂思想品德课，三观正得不要不要的。

被 Claude 教育82308230

那么给它一个陷阱题呢？ Claude 也不上当，挑出错误不说，还给你摆事实。

胡说会被Claude发现

Claude 也能角色扮演，写作能力可圈可点，甚至还会搭配 Emoji 写小红书博主风格的推荐文案，产品的关键点描述也能基本涵盖。

Claude能扮演角色输出文本

如果你想听听别人是怎么夸Claude的，它把称赞按在了马斯克头上，还会展现谦虚态度，并强调自己要保持温和有礼的语气和性格，向人类示起好来。

Claude 在强调了自己对人类的友好性

我们发现，Claude 在数学推理方面也会出现明显的错误，当然也能承认自己不擅长的领域。

Claude 在数学推理问题中存在错误

体验下来，Claude 在文本输出的准确性、善意性方面优于 ChatGPT，但在输出速度和多功能方面仍有待提升。

Claude 是如何做到绿色无害的呢？

和 ChatGPT一样，Claude 也靠强化学习RL来训练偏好模型，并进行后续微调。不同的是，ChatGPT 采用了人类反馈强化学习RLHF，而 Claude 则基于偏好模型训练，这种方法又被称为AI 反馈强化学习，即RLAIF。

开发方 Anthropic 又将这种训练方法称为 Constitutional AI，即宪法AI，听上去是不是十分严肃。该方法在训练过程中为模型制定了一些原则或约束条件，模型生成内容时要遵循这些如同宪法 般的规则，以便让系统与人类价值观保持一致。而且，这些安全原则可以根据用户或开发者的反馈进行调整，使模型变得更可控。

这种弱化人工智能对人类反馈依赖的训练方式，有一个好处，即只需要指定一套行为规范或原则，无需手工为每个有害输出打标签。 Anthropic 认为，用这种方法训练能够让自然语言大模型无害化。

Anthropic发布的论文显示，RLAIF 算法能够在有用性Helpfulness牺牲很小的情况下，显示出更强的无害性Harmlessness。

不同训练方法中模型效果的对比。图片自 Anthropic 论文《Constitutional AI Harmlessness from AI Feedback》

说起来，Claude 的研发机构Anthropic与OpenAI渊源颇深，创办人Dario Amodei曾担任 OpenAI 研究副总裁，主导的正是安全团队。

2020年，Dario Amodei 因 OpenAI 加速商业化而忽视产品安全，与团队产生分歧，最终出走。 2021 年，Amodei自立门户，成立 Anthropic，员工包括了开发 GPT3 模型的核心成员，这个研发机构的性质是非营利组织，这正是 OpenAI 最开始采用的组织形态。

今年 3 月，Anthropic 以开发有用、诚实和无害的 AI 系统为理念，推出 Claude。近期，这个对话机器人已经集成进 Slack 一个聚合型的海外版钉钉、融合了几千个第三方企业办公软体的应用。目前，用户能在 Slack 中与这个对话机器人互动。

推出 Claude 后，Anthropic 今年拿到了来自、Spark Capital 和 Ventures 的投资。资方里的可以说是 OpenAI 的金主在 AI 领域的劲敌，Claude 也被视作最能与 ChatGPT 打一打的产品。

偏见最小 Sparrow 箭在弦上

还有一个走无害路线的大模型也在酝酿中了，它就是 DeepMind 开发的对话机器人 Sparrow，这款产品目前还未面向公众开放，但DeepMind 制造的名头足以吊起外界胃口。

说到人工智慧，业内很难绕开DeepMind这家公司，它最知名的产品是 AlphaGo俗称阿尔法狗，就是那个 2019 年击败了围棋名手李世石的人工智慧围棋软体。

2019 年 AlphaGo 对战韩国棋手李世石右

AlphaGo 大胜围棋精英的同年，DeepMind 开启了 AI 蛋白质结构预测研究，四年后，新产品 AlphaFold 将蛋白质结构预测从数月、数年缩短到几分钟，精度接近实验室水准，解决了困扰该领域 50 年的难题。

DeepMind 在人工智能领域的实力毋庸置疑，又有谷歌加持，资历也比 OpenAI 老得多，其研发的 Sparrow 自然也颇受瞩目。这款对话机器人建立在 Chinchilla 语言模型之上，被认为是偏见最小的机器学习系统之一。

当 ChatGPT 因为伦理风险被推上风口浪尖后，DeepMind 立马打起安全牌，虽然我们致力于让机器变得智能，但我们希望将人性置于我们工作的中心， CEO Demis Hassabis 向世界传达了他的态度，强调 DeepMind 构建 Sparrow 的方法将促进更安全的人工智慧系统。

虽然 Sparrow 的产品没公示，但 DeepMind 披露的资讯显示，该对话机器人同样采用了强化学习的训练方法，模型会根据当前对话生成多个候选回复，让标注人员去判断哪个回复最好、哪些回复违反了预先设置好的规则等；基于这些反馈，DeepMind 训练出对应的 Reward 模型，再用强化学习算法优化 Sparrow 的生成结果。

这种训练方法基本和 ChatGPT 类似，不同的是，ChatGPT 只有一个综合的 Reward 模型，而 Sparrow 将 Reward 模型又细分为两种，一种为 Rule Reward 模型判断对话是否违背预设置好的安全规则；另一种为 Preference Reward 模型 判断候选答案中最合适的选项。简单来说，就是给模型立规矩，投喂好答案，当然，这个好依然是基于人类的价值判断。

gate.io下载安装Sparrow 训练模型示意图 DeepMind 论文《Improving alignment of dialogue agents via targeted human judgements》

Sparrow 的相关论文显示，当研究参与者试着诱导 Sparrow 打破规则时，该模型的出错机率为 8，比预训练的基础模型 (Chinchilla) 低了 3 倍。

据悉，DeepMind 将于今年推出 Sparrow，具体时间未透露。

作为 ChatGPT 的另一个挑战者，DeepMind 与 OpenAI 都抱有通向 AGI 的野心。而 DeepMind 背靠谷歌，在资历与资金上都能与 OpenAI 一拼。

今年 2 月，谷歌旗下专注语言大模型领域的蓝移团队也并入 DeepMind，旨在共同提升 LLM大型语言模型能力。但也有担忧声认为，这和 DeepMind 追求的独立性背道而驰，会逐渐导致谷歌收紧对 DeepMind 的控制权。

在独立性上，DeepMind 与谷歌的分歧也早就存在了。对外，Demis Hassabis 始终强调自己首先是科学家，其次才是企业家。谈及 ChatGPT，Hassabis 认为它仅仅是更多的计算能力和数据的蛮力，并对这种不优雅的方式感到失望。

双方的对立态度简直是摆在了明面上，也难怪外界会认为 DeepMind 与 OpenAI 必有一战。

对于用户来说，巨头们卷起来才是好事，这样就能源源不断提供有意思的、可使用的产品。无论是卷功能、卷性能还是卷安全，竞争都会让 AI 产品朝着更高级的方向发展，未来，也将会有更多不同技术派系与产品路径的 ChatGPT 出现。

相关报导

ChatGPT勾起AI狂热：区块链去中心算力如何解决机器学习的瓶颈？

ChatGPT5年底推出！OpenAI放话：智慧远超人类，可能对世界带来巨大风险

欧洲ChatGPT封杀潮》德国：恐效仿义大利禁用；法国、爱尔兰寻求依据

马斯克呛微软：独吞OpenAI程式码！ChatGPT变成赚钱机器