第八届挑战赛C2-基于BERT深度语言模型的“智慧政务”文本挖掘应用

摘要：

本文基于近年来语言智能的里程碑技术BERT深度语言模型围绕“智慧政务”文本挖掘的主题 完成了（1）留言自动分类、（2）热点问题挖掘、（3）答复意见质量评价3项工作。在任务（1）上BERT模型在测试集上的F-score达到了92.89%，明显优于基线模型LSTM与Fasttext。在任务（2）上，我们创新提出了基于Affinity Propagation的算法对留言进行初步聚类，再通过命名实体识别进一步过滤异常值的策略。并结合话题时长、留言数、留言的点赞与反对数共3类因素，综合评价了每个问题的热度值。在任务（3）上，我们从相关性、可解释性、完整性等角度出发，提出了9项特征综合评价答复意见。这有助于客观、全面反映答复意见的质量，提高政府工作人员的办事水平与群众的满意度。

关键词：BERT深度模型；智慧政务；文本分类；AP聚类；命名实体识别；热点挖掘；答复质量评价

阅读原文