独立概率完全加权关联规则的并行挖掘算法

李成严 李鑫宇 张磊 王广泽

摘要：关联规则挖掘主要用于发现隐藏在数据中的知识。加权关联规则挖掘能更有效地挖掘出项目重要性不同的规则。针对人工赋权的方法存在一定的主观随意性，没有充分利用数据本身特征且串行算法无法处理大数据集的问题。提出了独立概率完全加权关联规则的并行挖掘算法，該算法以项在当前数据集中出现概率为依据进行完全加权模型构建，以挖掘出更多用户所期待的关联规则。采用前缀划分、位图存储等技术分别解决加权频繁项集筛选、候选加权频繁项集生成所造成时间代价高的问题。引入分布式并行计算思想，并在Spark框架下编程实现，使算法可以在大数据环境下对加权关联规则进行高效挖掘。利用数值实例对该模型和算法进行了验证，结果表明此算法可在保证算法时间效率优越的同时获得更多隐藏信息。

关键词：关联规则挖掘；完全加权；独立概率；并行计算