唐杰团队为了与社区一起更好地推动大模型技术的发展，同时开源了包含62亿参数的双语ChatGLM-6B模型。

　　不幸的是，论文挑战没有通过，我们把GLM-130B的链接扔给它，让它简要概括一下主题时，它说的根本不是这篇。

　　它对新信息的掌握度不错，知道推特现在的CEO是马斯克，也知道何恺明3月10日回归学界的事情，但还没发现GPT-4已经发布了。

　　据官方介绍，ChatGLM参考了ChatGPT的设计思路，在千亿基座模型GLM-130B中注入了代码预训练，通过有监督微调等技术来实现人类意图对齐（就是让机器的回答符合人类价值观、人类期望）。

　　它是由清华大学知识工程实验室(KEG)与智谱AI共同研发的一个大规模中英文预训练语言模型，参数1300亿，去年8月正式对外发布。

　　不同于BERT、GPT-3以及T5的架构，GLM-130B是一个包含多目标函数的自回归预训练模型。

　　在Stanford报告的30个世界主流大模型评测中，GLM-130B也成为了亚洲唯一入选的模型。

　　比如在准确性和恶意性指标上与GPT-3 175B (davinci) 接近或持平，鲁棒性和校准误差在所有千亿规模的基座大模型（作为公平对比，只对比无指令提示微调模型）中也可圈可点。

　　而就在CCF最近的一场会议上，有现场观众提问：ChatGPT为什么没有诞生在中国？是我们没有关注这件事吗？

　　除了这个聊天机器人ChatGLM，唐杰团队这次也把GLM-130B的“缩小版”ChatGLM-6B开源了出来。

　　当然，缺点就是容量只有60亿，其模型记忆和语言能力较弱，不擅长逻辑类问题（如数学、编程），以及多轮对话可能会出现上下文丢失和理解错误的情况。

　　本文为澎湃号作者或机构在澎湃新闻上传并发布，仅代表该作者或机构观点，不代表澎湃新闻的观点或立场，澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。