计算机软件及计算机应用

大语言模型开放性生成文本中的职业性别偏见研究

标题: 大语言模型开放性生成文本中的职业性别偏见研究

作者: 张旭,郭梦清,朱述承,于东,刘颖

第一作者: 张旭

机构: 北京语言大学信息科学学院,清华大学人文学院,北京语言大学信息科学学院（国家语言资源监测与研究平面媒体中心）

期刊: 数字人文

发表日期: 2024-09-30

论文摘要: 大语言模型问世以来，在自然语言处理诸多任务上都取得了惊人的表现。但其中可能存在的安全性和公平性问题也引起了人们的重视，特别是模型生成文本可能含有对特定职业、性别等群体的偏见和歧视。文章通过两种性别表征形式，构造了显性和隐性的性别职业提示语，提示大语言模型生成开放性文本，并从情感极性、词汇丰富度和冒犯性程度三个维度对生成文本的偏见进行分析，评估并比较传统模型与以ChatGPT为代表的大语言模型中的职业显性性别和隐性性别交叉偏见。实验结果表明，职业性别交叉身份信息会减少ChatGPT生成文本中的偏见；另外，ChatGPT相比之前的GPT-2模型在生成能力和消除偏见上有所进步，在多种组合身份提示下的生成文本更加积极、多样，冒犯性内容显著减少。此研究对推动语言模型偏见识别、消除工作具有借鉴意义。

知网阅读链接: 点击跳转