目标域特征感知与互补用户迁移的跨域推荐模型

段乐乐,李博一,丁滋钊,朱小飞

(重庆理工大学 计算机科学与工程学院,重庆 400054)

0 引 言

推荐系统[1,2]被广泛应用于各种各样的商业场合中,如电子商务系统、社交网络系统等[1-3],在信息过载问题越来越突出的背景下,推荐系统因其能从海量的信息中筛选出合适的部分来为用户提供推荐服务而扮演着越来越重要的角色.近年来,推荐系统的研究工作吸引了大量来自工业界和学术界的研究人员.然而,大多数的推荐系统模型由于无法很好的解决数据稀疏性问题,导致系统对于新用户始终无法提供令人满意的推荐性能.

作为一种十分有效的数据稀疏性问题解决方案,跨域推荐技术通过将用户信息相对丰富的源域知识迁移到目标领域中来缓解目标领域的数据稀疏性问题.为了更好的将源域的知识迁移到目标领域中去,现存许多工作[4-7]基于“所有用户在源域和目标域中的偏好之间的关系共享”的假设,在源域和目标域之间为所有用户学习一个公共的映射函数,以实现将源域中的知识迁移到目标域中去.然而,这个假设也许是不切实际的,不同的用户在源域和目标域的偏好的关系并不完全一致,这种在源域和目标域之间学习一个公共的映射函数来进行知识迁移的方法难以准确反映每一个用户的偏好信息,因此基于这种方式的跨域推荐系统无法反映用户的个性化偏好.对于这个问题,最近,Zhu等人[8]的PTUPCDR模型提出了为每一个用户分别提供个性化的映射函数,考虑到了不同的用户的不同的偏好信息,较好的克服了基于公共的映射函数的方法的弊端,实现了更好的跨域推荐性能.

基于公共映射函数的方法[4,5]仅仅关注到了用户间的公共属性,缺乏对不同用户个性属性的显式建模;Zhu等人[8]提出的PTUPCDR模型虽然考虑到了不同用户的不同的偏好信息,但其基于个性化映射函数的方法仅仅关注了单个用户的个性属性,缺乏了对所有用户的公共的属性的显式建模.因此,不管是基于公共的映射函数的方法还是基于个性化映射函数的方法,对于用户的建模都是有失偏颇的,单独建模任何一个方面都无法使模型性能达到最优,需要同时考虑到用户的公共属性和个性化的属性才能更全面刻画用户信息,达到更优的推荐性能.

除此之外,现有的跨域推荐算法[3-7]过多的将研究重点放在了如何将源域的知识更好的迁移到目标域中去,却忽视了对目标域知识本身的探索,忽略了目标域本身的某些信息对解决冷启动问题的作用.这也有可能将导致跨域推荐结果的次优.比如当源域中的某些用户的交互数据本身就不够充足时,学习到的源域知识相对不足,在这种情况下,源域迁移的知识对目标域的冷启动问题的帮助自然十分有限;另外,近年来,用于解决冷启动问题的单域推荐系统的发展也取得了相当的进展,因此,当源域知识相对不足时,目标领域本身的知识对于解决冷启动问题就至关重要.

对于以上问题,本文提出了一个新的跨域推荐模型CDRTFC(a Cross-Domain Recommendation model based on Target domain Feature awareness and Complementary user Transfer),首先,CDRTFC学习一个用户公有属性和私有属性互补的映射模块来更全面的迁移用户在源域中的知识;其次,CDRTFC在目标域中学习一个关系网络来提取目标域的用户特征,最后,CDRTFC通过互补的映射函数将源域迁移的知识与通过关系网络获得的目标域用户特征进行融合,得到最终的用户表示,最后进行推荐.本文的主要贡献可以总结为以下3个方面:

·针对现存的基于映射函数的方法存在的“有偏”的问题,提出了个性-共性互补映射模块,实现用户个性与共性属性的互补,更全面刻画用户在目标域的特征.

·针对现存的跨域推荐方法存在的缺乏对目标域知识的挖掘的不足,提出了用户感知目标域特征抽取模块,以抽取合适的目标域特征,实现更好推荐性能.

·本文提出的方法在3个跨域推荐任务上均实现了最优的性能证明了本文所提出方法的有效性.

1 相关工作

1.1 跨域推荐

推荐系统中的冷启动问题长期以来都是十分具有挑战性的问题,是任何一个推荐系统都无法绕开的关键问题.近年来越来越多的研究者致力于推荐系统中冷启动问题的解决,并由此衍生出了各种各样的模型[9-12],其中,在通过充分利用信息相对丰富的源域知识来帮助目标域缓解数据稀疏性和冷启动问题上取得了相当不错的效果.表明了源域知识对于目标域的推荐系统性能的提升的有效性.具体而言,Singh等人[13]提出的CMF模型是对矩阵分解模型的扩展,源域和目标域重叠用户共享嵌入表示;Pan等人[14]提出的CST模型利用源域预训练好的用户嵌入来初始化目标域的用户嵌入,同时约束共享的用户和商品使其在两个域的嵌入尽可能接近;Hu等人[15]提出的CoNet模型在两个领域的结构中交互知识,实现对偶知识迁移;He等人[16]提出的MINDTL模型将目标域的信息与从源域的的评分矩阵中抽取的评分模式信息相结合进行推荐;Li等人[17]提出的DDTCDR模型认为不论是源域和目标域都有各自特定的领域知识,提出了一种新的隐藏正交映射来抽取用户在源域和目标域中的知识,与此同时也保留了用户在不同领域的隐藏空间表示的关系;Man 等人[5]提出的EMCDR模型通过隐藏因子模型分别学习到源域和目标域的用户和商品嵌入表示,然后在学习到的嵌入表示的基础上利用两个域的公共用户学习一个映射函数,最后利用映射函数将源域用户表示映射到目标域,进行推荐;Zhu 等人[8]出的PTUPCDR模型利用元学习技术为每个用户分别学习一个映射函数,模型能够充分考虑到每个用户的个性化特征;本文的工作基于PTUPCDR模型,指出了PTUPCDR缺失了对用户共性特征的建模和对目标域特征本身的挖掘,提出了共性-个性互补映射模块和目标域特征挖掘的用户感知目标域特征抽取模块,并取得了最优的性能.

1.2 冷启动推荐

冷启动问题[18-20]是推荐系统不可避免的十分具有挑战性的问题,推荐系统主要目标在于解决信息过载的问题,向用户从海量的商品中挑选出用户可能感兴趣的商品进行推荐,其中涉及到用户和商品两类对象,不论是将新商品推荐给合适的用户还是给新用户推荐合适的商品都十分具有挑战性,因为不论是新用户还是新商品,由于缺乏必要的交互数据,对于已有推荐系统来说难以准确刻画用户和商品的特征,导致推荐性能不理想.然而,在当今信息时代,尤其是对于互联网产品来说,新用户、新商品往往是持续产生的,冷启动问题更是常态,伴随着推荐系统运转的整个周期;此外,推荐系统拥有更好的冷启动推荐性能才能吸引更多的新用户,并提升用户粘性,实现更大的效益,因此,如何解决好冷启动问题就成为推荐系统的重中之重.

现有的工作主要利用一些辅助信息来帮助缓解冷启动问题.对于新用户,可以利用先验数据信息进行推荐,比如给新用户推荐热门商品;也可以利用用户在注册时的信息进行推荐,比如性别、年龄、爱好等[21,22];对于新的商品,可以利用商品本身的属性信息进行推荐,比如商品的品类、用途等描述[8,23];除此之外,近年来,跨域推荐系统[24-26]在通过充分利用信息相对丰富的源域[5]来帮助目标域缓解冷启动问题上取得了十分不错的效果,越来越受到重视,吸引了越来越多的研究,本文也跟随这一脚步,提出了新的利用辅助域知识来缓解冷启动问题的跨域推荐方法CDRTFC.

2 方法与模型

2.1 问题定义

在跨域推荐系统中,通常包含源和目标两个域,每个域都有各自的用户集合U={u1,u2,…,u|U|}、商品集合V={v1,v2,…,v|V|}和对应的评分矩阵R∈|U|×|V|,其中,ui∈U表示用户集合中的第i(1≤i≤n)个用户,vj∈V表示商品集合中的第j(1≤j≤m)个商品,rij∈表示用户ui对商品vj的评分.为了区别两个域的不同表示,本文使用上标d∈{s,t}来加以标识.比如,源域的用户、商品和评分矩阵分别表示为Us、Vs和Rs,目标域的用户、商品和评分分别表示为Ut、Vt和Rt.此外,由于本文的方法基于两个域的公共用户,定义两个领域的公共用户表示为Uo=Us∩Ut,因此,后文中不论是个性-共性互补映射函数模块的学习还是用户感知的目标域特征抽取模块的学习都基于公共用户集合Uo.与此同时,Vs∩Vt=∅,即在两个不同的领域之间不存在公共的商品.另外,对于跨域推荐系统来说,冷启动用户表示那些存在于源域中但不存在于目标域中的用户,记为Uc={u|u∈Usandu∉Ut}.跨域推荐的目标是利用源域的评分Rs和目标域的评分Rt来辅助目标域中的冷启动用户u∈Uc的推荐.本文所提出的CDRTFC模型框架如图1所示.

图1 CDRTFC模型整体框架图Fig.1 Overall framework of the CDRTFC model

2.2 单域隐藏因子建模

(1)

对于模型参数θ的优化可通过公式(2)进行:

(2)

2.3 个性-共性互补映射

基于公共映射函数的方法仅仅关注到了用户间的公共属性,缺乏对不同用户个性的属性的显式建模;而基于个性化映射函数的方法仅仅关注了单个用户的个性化属性,缺乏了对所有用户的公共属性的显式建模.因此,不论单独对个性还是共性进行建模,都有可能导致结果次优,而将两者结合起来,相互补充进行建模,更有可能取得更好的结果,基于此,本文提出了个性-共性互补映射模块来对用户的个性属性和公共属性进行互补建模,如图1模块(a)所示.

2.3.1 用户个性化映射

对于用户个性化映射表示,本文借鉴PTUPCDR[8]的做法,首先根据用户的对商品的交互序列获取用户特征,再将此用户特征输入元网络得到输出权重向量,再以此权重向量作为映射函数的参数,达到个性化映射表示的目的,具体过程如下:

(3)

其中,αj表示用户ui对商品vj的注意力分数,pui∈d表示基于商品的用户特征.上式可以直观地理解为不同的交互商品对于刻画对目标域有用的可迁移的用户特征的贡献不同,具体贡献的大小通过注意力分数αj来刻画,分数越大,贡献就越大.而具体的注意力分数αj可以通过注意力网络得到:

(4)

结合基于参数生成的元学习方法,将前面获得的基于商品的用户特征表示pui作为元学习网络的输入,生成相应的输出并进一步将其输出作为映射函数的权重参数,最终通过该映射函数获得该源域用户在目标域的的个性化表示.具体过程可作如下形式化:

wui=fmeta(pui;ε)

(5)

(6)

2.3.2 用户共有特征映射

(7)

2.4 用户感知目标域特征抽取

(8)

(9)

(10)

(11)

其中,Wa∈d×zd为可训练参数.

最后,将通过互补映射迁移的用户表示与用户感知的目标域特征表示进行融合,得到最终的用户表示:

(12)

3 模型优化

由于本文的跨域推荐框架的学习主要基于两个域的公共用户,因此,本模型中的所有参数均基于公共用户的监督信号进行优化.为了学习映射函数,现存的大多数的基于映射函数的方法[3-6]采用一种映射导向的优化过程来学习,具体来讲就是直接通过最小化经过映射函数转换的源域的用户表示[30]与该用户在目标域中的表示的距离来学习映射函数.然而,由于某些用户的交互记录较少,学习到的用户或商品的嵌入表示可能并不准确,为了减少这种不准确的嵌入表示带来的影响,本文与PTUPCDR[8]保持一致,采用任务导向的优化过程来训练模型,这样模型的训练直接以推荐目标为导向,能尽可能的减少嵌入表示的不准确性带来的消极影响,具体优化目标如下:

(13)

4 实 验

4.1 实验设置

4.1.1 数据集

为便于与其他模型公平比较,本文选用现存的大多数方法[4,10,31]都采用的数据集,即Amazon数据集,它是现实场景下用户商品交互行为的大规模数据集.具体地,本文使用Amazon-5cores数据集,并且从总共24中类别中挑选出3种流行的数据类别:movies_and_tv(Movie),cds_and_vinyl(Music),and books(Book),并据所选数据集定义3种跨域任务类别,分别为任务1:Movie-Music,任务2:Book-Movie 和任务3:Book-Music.所有的数据划分与处理细节均与PTUPCDR保持一致.详细任务数据统计信息如表1所示.

表1 不同跨域任务数据集信息统计Table 1 Statistics of different cross-domain task datasets

4.1.2 评价指标

亚马逊评论数据集包含每一次交互行为用户对于商品的评分(0-5分),预测用户对商品的评分本质上属于回归问题,因此,与已有的工作[5,10,30]保持一致,本文选用平均绝对误差(MAE)和均方根误差(RMSE)作为评价指标,为了方便表示,在下文中,均方根误差和平均绝对误差均用RMSE和MAE表示.其计算方式如下:

(14)

(15)

4.1.3 基线模型

本文所提出的CDRTFC模型大体上可以将其归为基于映射的跨域推荐算法,并且其并不借助除了用户商品交互数据之外的其他辅助信息,因此本文所提出的模型主要与同样基于映射的跨域推荐算法[4,5,7]进行比较,因此,本文选取以下模型作为比较的基线模型:

①TGT.接用目标域数据训练的矩阵分解模型.

②MF[12].CMF可以看做是矩阵分解模型MF的扩展,使其可以应用于跨域推荐系统中,其公共用户的嵌入表示在源域和目标域保持一致;

③EMCDR[5].CDR是十分流行的一种跨域推荐算法,许多基于映射的跨域推荐算法均由其发展而来.其首先通过隐藏因子模型分别学习到源域和目标域的用户和商品嵌入表示,然后根据学习到的嵌入表示利用两个域的公共用户学习一个映射函数,最后利用映射函数将源域用户和映射到目标域,进行推荐.

④DCDCSR[6].CDCSR考虑到不同用户的稀疏度对于学习到的表示准确性的影响,缓解了过于稀疏导致的表示不准确的问题,提升了模型的鲁棒性.

⑤SSCDR[4].SCDR考虑到源域和目标域重叠用户过少时映射函数容易过拟合的问题,并应用半监督学习来缓解这个问题.

⑥PTUPCDR[8].TUPCDR利用元学习技术为每个用户分别学习一个映射函数,使模型能够充分考虑到每个用户的个性化特征,是目前性能最优的基线模型.

4.2 总体实验

总体实验结果如表2、表3所示,最优的结果采用加粗表示,Imp%表示本文的方法CDRTFC相对于最好的基线性能的相对提升百分比.

表2 本文提出的模型CDRTFC在平均绝对误差(MAE)评价指标上与其他模型的对比Table 2 Comparison of the proposed CDRTFC in the mean absolute error(MAE)with other models

表3 本文提出的模型CDRTFC在均方根误差(RMSE)评价指标上与其他模型的对比Table 3 Comparison of the proposed CDRTFC in the root mean square error(RMSE)with other models

表2展示了本文提出的模型CDRTFC在平均绝对误差(MAE)评价指标上与其他基线模型性能的对比,从表中可以看到,本文提出的模型在平均绝对误差(MAE)指标上的表现超过了所有的基线模型,其中,在任务1和任务3中的效果提升明显,在任务2中的提升相对较小.原因可能在于对于任务1和任务3,由于两个域的重叠用户较少,可能导致映射函数的学习不够充分,无法准确迁移源域知识到目标域,也即是说源域知识对目标域的帮助有限,而通过本文提出的用户感知目标域特征抽取模块通过目标域本身的知识挖掘可以有效弥补这个不足,因此提升较大;而对于任务2,由于重叠用户较多,已有的基线模型就能学习到较好的映射函数,本文的方法的改进效果则相对减弱,因而最终的提升相对较小.

表3展示了本文提出的模型CDRTFC在均方根误差(RMSE)评价指标上与其他基线模型性能的对比,结果与表2类似,均取得了最优的性能,其中,在任务1和任务3中的效果提升明显,在任务2中的提升相对较小.具体原因分析与表2一致.

4.3 消融实验

为验证本文所提出的个性-共性互补映射模块与用户感知的目标域特征抽取模块的有效性,本文进一步对其做了以下消融实验,其中,w/o com 表示将个性-共性互补映射模块替换为PTUPCDR提出的个性化映射函数模块,即仅考虑各个用户的个性化属性,忽略其共有属性;w/o t_fea 表示移除本文提出的用户感知目标域特征抽取模块,即不考虑对目标域知识本身的挖掘与利用,仅仅利用源域迁移的知识.具体结果见表4、表5.根据表4、表5,可以发现,本文所提出的任何一个单个模块的添加都能获得优于所有基线模型的结果,尤其是个性-共性互补映射模块提升比较显著,而用户感知的目标域特征抽取模块对性能的提升相对较小,表明源域的知识仍然是性能提升的主要来源,目标域抽取的特征的作用更多在于源域知识相对不足时的弥补,这不仅证明了本文所提出的两大模块的有效性,同时也说明了总体实验中提出的猜想的可靠性.值得注意的是,在少数情况下,本文所提出的两个模块在同时应用时效果会略低于仅应用个性-共性互补映射模块时的情形,猜想原因可能在于在引入目标域特征时,也可能会引入噪声,导致模型性能下降,这一部分的内容将作为未来的研究工作.

表4 对于平均绝对误差(MAE)的消融实验Table 4 Ablation experiments for mean absolute error(MAE)

表5 对于均方根误差(RMSE)的消融实验Table 5 Ablation experiments for root mean square error(RMSE)

4.4 通用性实验

为验证本文所提出的模型在不同的底层模型上的泛化能力,在该实验中,进一步展示了本文所提出的模型在以MF和GMF为底层模型上的与其他的跨域推荐模型的性能比较,具体比较结果如图2、图3、图4和图5所示,可知不论是以MF为底层模型还是以GMF为底层模型,本文所提出的模型均能取得最优性能,表明本文所提出的具有一定的通用性.

图2 基于MF模型,本文所提出的CDRTFC模型与EMCDR、PTUPCDR关于平均绝对误差(MAE)性能对比实验Fig.2 Based on the MF model,the CDRTFC model proposed in this paper compares the performance of the average absolute error(MAE)with EMCDR and PTUPCDR

图3 基于MF模型,本文所提出的CDRTFC模型与EMCDR、PTUPCDR关于均方根(RMSE)性能对比实验Fig.3 Based on the MF model,the CDRTFC model proposed in this paper is compared with EMCDR and PTUPCDR on root mean square(RMSE)performance图4 基于GMF模型,本文所提出的CDRTFC模型与EMCDR、PTUPCDR关于平均绝对误差(MAE)性能对比实验Fig.4 Based on the GMF model,the CDRTFC model proposed in this paper compares the performance of the average absolute error(MAE)with EMCDR and PTUPCDR图5 基于GMF模型,本文所提出的CDRTFC模型与EMCDR、PTUPCDR关于均方根(RMSE)性能对比实验Fig.5 Based on the MF model,the CDRTFC model proposed in this paper is compared with EMCDR and PTUPCDR on root mean square(RMSE)performance

4.5 参数敏感性实验

为验证本文所提出模型的鲁棒性,本实验分别测试了模型在目标域中采样关键集的个数和每一个关键集内包含的用户个数对模型性能的影响.同时,为了简便起见,在测试其中一个因素对模型性能影响时,固定另一个因素不变;即在测试关键集个数对模型性能影响时,固定每个关键集内的用户数量为100,类似地,当测试关键集内用户数量对模型性能影响时,固定采样的关键集个数为4;另外,为了尽可能真实地反映超参数对模型性能的影响,每一种任务的实验结果都基于β=50%设置下进行.即训练集和测试集各占一半.具体的实验结果如图6、图7、图8和图9所示.根据实验结果,总体来看,不同超参数设置对于模型最终性能的影响比较小,说明CDRTFC模型对于超参数设置比较稳定.

图6 对于不同任务,关键集内用户数量对平均绝对误差(MAE)的影响Fig.6 Effect of the number of users in the key set on the mean absolute error(MAE)for different tasks图7 对于不同任务,关键集内用户个数对均方根误差(RMSE)的影响Fig.7 Effect of the number of users in the key set on the root mean square error(RMSE)for different tasks图8 对于不同任务,关键集数量对平均绝对误差(MAE)性能的影响Fig.8 Effect of the number of key sets on mean absolute error(MAE)performance for different tasks图9 对于不同任务,关键集数量对均方根误差(RMSE)性能的影响Fig.9 Effect of the number of key sets on root mean square error(RMSE)performance for different tasks

对于各个任务而言,取得最优性能时超参数的组合不同.具体的,对于任务1而言,当关键集个数固定为4个的情况下,用户数量为100时取得最好的结果;当用户数量固定为100个的情况下,关键集数量取值为4时取得最好的结果;对于任务2,大体上也能获得类似的结果;但对于任务3而言,结果与前两个任务有一定的差别,当关键集个数固定为4时,用户数量为250个时效果最好;当用户数量固定为100个的情况下,关键集数量取值为3或5时取得最好的结果;但总体的结果波动不大,验证了本文所提出的模型的鲁棒性.

5 总 结

针对现有的基于映射的跨域推荐模型所存在的不足,本文提出了目标域特征感知与互补用户迁移的跨域推荐模型.一方面,互补知识迁移模块同时考虑到了用户的个性与共性信息,克服了原有模型或仅考虑用户共性信息或仅考虑用户个性信息的缺陷;另一方面,用户感知目标域特征抽取模块提出对目标域知识进行挖掘,弥补了现有跨域推荐模型忽略目标域本身知识挖掘的不足,进一步提升了模型的性能.实验结果表明,本文提出的目标域特征感知与互补用户迁移的跨域推荐模型总体性能在不同数据集下均优于基线模型.但通过消融实验表明,本模型对于目标域特征知识的抽取域融合方面仍存在一定缺陷,比如可能会引入噪声等,因此,对于如何更有效地抽取与融合目标域特征知识仍有待进一步研究,这也将作为作者未来的研究工作之一.