2023年6月2日，上海交通大学电子信息与电气工程学院赵海教授做客教学发展中心教与学讲坛，带来“对话式大语言模型ChatGPT：挑战与机遇”专题分享，全校多个院系的60余位教师参加了本次活动。
赵老师从自我介绍、人工智能、语言模型简要历史、对话式大语言模型ChatGPT的演化和工业革命等方面进行了分享。
首先，赵老师重点介绍了他的研究方向和成果，指出大语言模型是团队的优势之一，并展示了团队目前预训练阶段的BatGPT效果。
其次，赵老师介绍了人工智能的诞生、发展及挑战，指出人工智能的最初目标是实现和人脑一样的智能能力，他认为强人工智能是发展趋势，即从脑计划到预训练模型，赵老师进一步从要素和目标分析了脑计划和预训练语言模型的区别。
然后，赵老师介绍了语言模型简史，他指出n-gram语言模型是最基本最核心的模型，详细介绍了区分式和生成式两种预训练语言模型，指出生成和自回归在机器学习上是等价的，强调了预训练语言模型在机器学习方式具有重大作用。接着，赵老师从训练方法和模型架构介绍了预训练语言模型到大语言模型的转变，指出大语言模型扩展了模型大小、预训练数据和总计算量，具有性能更强，出现涌现能力的优势，并从VC维角度进一步解释。
关于如何进化到对话式大语言模型，赵老师首先介绍了上下文提示、思维链提示的提示学习，然后从先进特性、进化简史、技术路线和优缺点详细介绍了ChatGPT，他指出ChatGPT是近乎全能的文本生成能力，并从架构、层数和输入长度分析ChatGPT的进化，强调关键技术是对大模型的指令微调和基于人类反馈的强化学习。赵老师还认为ChatGPT的快速工业化可以成为搜索引擎的智能替代者。
最后，赵老师介绍了工业界的反应，从特点、应用和局限性等方面介绍了Claude、Bard、文心一言等类似ChatGPT的产品。赵老师还分享了多模态于认知模式，指出大语言模型处于多模态模型的中枢地位。面对大模型发展的焦虑，赵老师认为虽然对法学、司法和社会科学等学科有一定冲击，但现阶段在数学定理发现和证明等自然科学问题存在局限性。他指出大语言模型缺乏认知能力和对真实事件的感知能力。
在交流讨论环节，赵老师和与会老师就生成式语言模型、ChatGPT的模型输出、ChatGPT对社会的挑战等问题进行了热烈交流和探讨。
本次讲座内容新颖，讲解详细，为我校教师进一步了解人工智能发展创造良好机会。
撰稿：华子怡
摄影：徐倩云
修改：谢艳梅