第六届挑战赛B1-基于协同过滤与卷积神经网络的电视产品的营销推荐研究

摘要:

智能推荐系统是个性化信息服务的重要组成部分，可以实现主动精准地为用户推荐感兴趣的信息。随着互联网上信息的增长和用户个性化需求的提高，推荐系统的应用日益广泛，成为电子商务、社会网络、视频和音乐点播等个性化服务的核心技术。本文围绕电视产品的营销推荐系统及其若干关键模型与推荐算法进行了一系列研究，主要研究内容和研究成果如下所示：

1、针对原始的用户收视和点播电视节目的信息以及电视产品的相关信息，我们对原始的数据集先进行数据清洗和属性规约，然后在处理后结构化的数据集上进行数据挖掘，获取关于电视节目营销推荐有价值的信息。我们基于正则化表达式对电视节目正题名中的冗余信息进行剔除，并基于观看时长和观看频率加权对电视节目产品进行隐性评分。

2、针对用户分类与产品打包问题，我们首先构建了用户标签体系表和产品标签体系表，然后以小时为粒度统计附件一中的电视节目播放类型，其次根据用户收视信息的时间特征，进行用户画像。同时，采用网络爬虫技术，提取附件二中电视节目产品的类型字段，根据类型字段为产品标定相应的标签。

3、品节目记录，并针对该用户对电视节目的观看时长和观看次数进行求和统计。附件一中用户单片点播信息共计38010条记录，经过数据规约处理后，共计3627条有效信息，包括352个用户对527种电视节目产品的点播记录。同样对附件二中的电视节目产品进行规约化处理，原附件二中电视节目产品共计18480个，对电视节目产品归一化后得到共计2123个电视节目产品。

4、针对附件一中处理后的用户单片点播信息进行分析，我们将38010条记录进行规约后得到3627条有效信息，包括352个用户对527种电视节目产品的点播记录。为了更好地实现电视产品营销推荐，我们设计了六种推荐算法，分别为SVD、SVD++、KNNBaseline、Normal Predictor、Co-Clustering和Text-CNN，并提出了有效的融合式推荐模型，有效地解决了电视产品的精准营销推荐问题。

5、针对附件一中的用户和附件二中无历史点播行为的新产品，我们采用基于K- Means的用户-电视节目产品双重聚类方法对用户和产品进行分类打包，对于附件三中的无任何历史行为的用户采用非个性化推荐方案，有效地解决了用户冷启动与产品冷启动问题。

最后，针对所提出的推荐算法和优化模型进行了分析和评价，结合推荐系统评价指标体系，设计了不同评测指标下的各推荐算法的性能对比实验。我们针对大量实验数据的95%置信水平下的Turkey-HSD进行方差分析，分析结果显示本文所提出的文本卷积神经网络(Text-CNN)新型推荐算法在准确率指标上性能明显优于传统的协同过滤算法，说明Text-CNN方法能够精准地推荐用户需要的电视点播节目产品。同时，传统的推荐算法如SVD在F1指数上也明显占优，说明该算法也是一种解决电视产品营销推荐问题的有效推荐算法。鉴于此，本文有效地融合了六种不同的推荐算法，从而给出了更加合理的电视节目产品推荐方案，为广播电视的智能化营销推荐提供科学依据和决策支持。 

关键词：电视节目产品；网络爬虫；冷启动问题；模型融合；Text-CNN

阅读原文