智谱 GLM 大模型在模型幻觉排行榜中居首

近日，智谱 GLM-4-9B 模型在基于幻觉评估模型 HHEM-2.1-Open 的大模型幻觉排行榜中，以 1.3% 的幻觉率排名第一。

据悉，智谱 GLM-4-9B 模型在该排行榜中，超过 OpenAI 的 GPT 系列和 Google 的 Gemini 系列在内的一众世界顶尖模型。从具体来看，智谱 GLM-4-9B 模型事实一致性率高达 98.7%，回答率 100%，幻觉率则仅有 1.3%，在参评的 85 个模型中排名第一。

据了解，智谱 GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。 在语义、数学、推理、代码和知识等多方面的数据集测评中，GLM-4-9B 及其人类偏好对齐的版本 GLM-4-9B-Chat 均表现出较高的性能。

此外，大模型幻觉排行榜所使用的 HHEM 系列模型由 Vectara 开发，旨在检测大模型在总结文本内容时发生幻觉的概率。HHEM 系列模型采用了来自事实一致性研究的各种开源数据集， HHEM 会向参评的模型输入文档，评估其输出内容在幻觉和内容准确性方面的表现，并根据综合得分排名。