一种极速学习机人体行为识别模型迁移方法

王忠民, 屈 肃

(西安邮电大学 计算机学院， 陕西 西安 710121)

一种极速学习机人体行为识别模型迁移方法

王忠民, 屈 肃

(西安邮电大学 计算机学院， 陕西 西安 710121)

针对移动用户行为识别的问题，提出一种带权值样本筛选的迁移学习方法。该方法通过将训练集分割重构并赋样本权值，依据训练样本在对应极速学习机分类器上的判别结果对其权值进行修改，经过多次迭代后筛选出与迁移样本最相似的训练集，从而构建迁移行为识别模型。测试结果表明，迁移学习后的行为识别模型能有效提高分类正确率。

行为识别；迁移学习；极速学习机；集成学习

人体行为识别是人工智能与模式识别领域内的一个新兴的研究方向，主要分为基于视觉的人体行为识别以及基于加速度传感器的人体行为识别两个方向[1-2]。随着移动设备迅速发展，加速度传感器已经成为了智能手机中必备的集成器件，给构建基于智能手机的人体行为识别提供了必要条件。由于具有便携性强，数据采集方便等优势，基于智能手机的人体行为识别模型在智能家居、行为检测、健康监控、卡路里追踪记录等方面均有应用，具有广泛的发展前景[3]。利用智能手机中内置的三轴加速度传感器，采集人们日常行为的加速度数据，可以构建用户通用行为识别模型[4-5]。但是在实际应用中，固定行为识别模型面临着挑战，即用户行为个性化以及设备放置位置多样化。在面对新用户时，由个体行为差异性而导致的行为数据在特征空间上的不同分布，降低了通用模型的识别正确率，另外，不同用户放置手机位置的习惯不同，使得手机位置和方向的不固定，这在一定程度上也影响了模型的性能[6]。为了解决通用行为识别模型对新用户的自适应性问题，需要对通用模型进行迁移学习[7]。

在面对新用户时，通用模型由于缺少新用户带标记的行为数据，并且新数据与原始训练集的数据分布也不尽相同，因此给模型的修改带来很大困难。相比传统的机器学习，迁移学习可以解决由于训练数据和测试数据的不同分布而带来的不便，使系统具有识别和将先前任务中学习到的知识及技巧应用到新的任务或领域的能力[8]。比较经典的迁移学习方法TrAdaboost模型，是一种基于实例的迁移学习方法[9]，通过改进Adaboost方法，使用少量的标记样本对训练样本进行标记，是一种二分类问题的迁移学习方法，但是这种方法将迁移辅助数据和目标数据这两部分数据集直接组合在一起,组成一个混合数据集作为新的训练集进行训练，得到分类模型，辅助数据中存在大量冗余数据,这些数据可能与目标数据集很不相似,不但会影响模型的训练速度,还会导致分类精度的下降。文献[10]中的处理方法是把新用户的样本数据添加到训练集中重新训练模型，进而可以得到自适应后的新模型，但是新用户样本数量较原训练集较少，重新训练对模型的改动不大，并且时间消耗较大。

为改进多类别行为识别的迁移学习方法识别精度的问题，本文提出一种带权值样本筛选的迁移学习方法(Transfer Learning based on Weighted Sample Selecting，TLWSS)，利用训练集样本在ELM(Extreme Learning Machine) 分类器上的判别结果进行集成学习[11]，根据多次迭代后的样本权值删除冗余样本，筛选出与新用户行为数据特征分布更相似的样本，构建最终的分类器模型。

1 基于迁移学习的行为识别模型

利用智能手机中内置的三轴加速度计采集人体日常行为活动的加速度值，通过低通滤波删除干扰较大的样本，并对样本数据进行合成。在合成加速度的基础上提取时域及频域的特征值，作为构建通用行为识别模型的训练样本集。选用ELM作为构建识别模型的分类方法，可以得到样本的分类结果及计算时间。在通用模型的基础上针对新用户的个性样本进行模型的自适应性迁移。对新用户行为样本进行与训练集相同的预处理，同时利用TLWSS算法将源域训练集进行等量随机分割，将二者合并得到一系列的组合训练子集。分别对各子集中的两域样本进行学习，根据TLWSS算法中各子分类器的分类结果，从源域训练集中寻找到与目标域样本最相似的训练样本，并以此重新构建训练集。新的训练集包含的样本更加适合新用户的行为特点，在特征值层面上有更相近的数据分布，对ELM模型进行重新训练，可以得到迁移学习后的具有自适应性的行为识别模型，如图1所示。

图1 基于迁移学习的行为识别自适应性模型

2 TLWSS模型迁移方法

2.1 迁移样本集处理与重构

TLWSS算法中对训练样本集的重构如图2所示。在对训练样本的处理阶段中，将源域训练样本集Ta随机等量分割为互不相交的N个子集，并为每个样本赋相同的权值初值W。之后将N个训练子集分别与目标域迁移训练样本集Tr结合，成为N个组合训练集子集T，利用ELM在这N个组合训练子集上分别构建分类器，并以训练集的分类结果作为冗余样本删除的依据。在对训练样本的重构阶段中，根据每个组合训练子集在分类器上的分类结果对样本权值进行修改，分类错误的样本权值增大，反之权值不变。在经过K次迭代后，根据样本权值进行排序，筛选出权值较小的样本，并构建最终的新训练集Tnew。

图2 迁移样本集处理与重构

通过分割样本集，缩小样本数量，并有记忆地修改样本权值，不仅可以减少时间消耗，而且能更高效的筛选出与目标域更相似的样本，增加了迁移学习的有效性。

2.2 带权值样本筛选的迁移学习算法

带权值样本筛选的迁移学习算法(TLWSS)是在TrAdaboost算法的基础上进行的改进，是一种基于实例迁移学习的方法。鉴于ELM具有训练速度快，正确率高以及泛化性能好的特性[12-13]，TLWSS算法采用ELM作为基分类器算法。

在对样本集的处理过程中，TrAdaboost算法将迁移训练样本集以及源域训练样本集同等对待处理，由于迁移训练样本的数量很少，这样的处理办法不仅降低了迁移学习的有效性，而且增加了模型训练的时间消耗。TLWSS在处理训练样本集时，将训练样本集进行等量随机分割并分别与迁移训练样本集进行重构，得到一系列组合训练子集，通过引入一个样本衰减参数α，作为每次迭代判断时对每个源域训练样本权值修改的叠加项，从而可以有记忆地对样本权值进行修改，使得判断错误的样本权值迅速增加。

利用TrAdaboost算法中β值对每个W进行修改，经过K次迭代后，根据其大小排序，删除权值较大的样本，可以筛选出与目标域迁移训练样本更相似的训练样本集，并以此作为新的训练数据集。利用ELM方法对行为通用为识别模型进行重新训练，得到经过迁移学习后的具有用户自适应性的行为识别模型。

定义1 样本集表示为

T={(x1,y1),(x2,y2),…,(xn,yn)},

其中xn为输入样本的特征向量，yn为样本标签。

定义2 训练样本权值的初始化

TLWSS算法描述如下。

步骤1 确定算法各输入值，即训练样本集Ta，迁移学习样本集Tr，测试样本集Te，迭代次数K，样本权值衰减参数α。

步骤3 构建新训练子集T1,T2,…TN，并定义

(1)

其中n为样本个数，K为迭代次数。

步骤4 Fort←1 to K

(1) Fori←1 to N

(2) 调用ELM，在Ti上构建分类器

(3) 修改权值向量

(2)

其中j=1,2,…,n。

(4) End for;

End for。

Tnew=Tnew1∪Tnew2∪…∪TnewN；

步骤6 调用ELM算法，根据Trf构建最终分类器Hfinal。

3 实验结果及分析

3.1 实验数据集

实验数据使用Android智能手机采集。9名测试者均配备了具有阈值为-2g到2g(g=9.8m/s2)加速度传感器的智能手机(华为、中兴、魅族、小米、三星、HTC等品牌)，测试内容包括走路、跑步、静止以及上楼和下楼5种行为，测试者的手机放置的位置为手中、包中以及裤兜中，所有测试者分别将手机放置在3种放置位置，对5种行为各进行10次测试。由于手机放置的位置以及方向的不同，会对采集的数据带来一定的噪声干扰。通过低通滤波器进行滤噪后，可以根据三轴加速度值在时域上的波形，删除噪声较大的样本。采用求合成加速的方法，消除方向不固定所带来的影响。统计样本个数如表1所示。

表1 样本行为个数统计

为了得到行为加速度数据在特征空间上的数据分布，进一步分析构建模型，对合成加速度值进行特征提取，作为构建模型的输入。在时域和频域上共提取了11个特征值，分别为平均值、中位数、方差、标准差、最大值、最小值、范围、均方根、直流分量、系数和以及频谱能量。为了消除奇异样本数据，统一特征值数量级，便于数据处理，对样本特征值数据进行归一化处理。

3.2 实验模型设计

将测试者编号为0～8，其中0～2号的测试数据依次作为测试样本集，3～8号的测试数据作为训练样本集。在实验过程中，随机选出每个测试样本集的1/3的数据作为每个测试样本的迁移训练样本集，剩余2/3用作测试样本。将训练样本随机等量分割为8个子集，即N为8，并将在迭代过程中的迭代次数K定为7次。在使用ELM构建分类器模型时，由于隐含层节点个数并没有一个规范化的表达式来确定，通常靠经验值确定。通过多次实验结果，选取测试集正确率最高的情况，即隐含层节点个数为100。

实验使用ELM方法，在训练样本集上构建通用行为识别模型。实验将对测试集分情况讨论，即先将每个测试集均按手机放置位置进行分类，测试每个不同位置的样本在迁移学习前后的行为识别正确率；之后对每个测试集所有位置的样本再进行实验，记录测试集在迁移学习前后的行为分类正确率。对每个测试集进行10次实验，得到迁移学习前和迁移学习后的分类正确率的平均值。

为了更好的对比验证TLWSS算法的有效性，实验分为两部分，第一部分是根据训练集的重构情况进行实验。即将训练集分为样本未分组未加权(即通用行为识别模型训练集)、样本分组未加权、以及样本分组加权(即TLWSS算法训练集)三种类型，分别与迁移训练集组合成新的训练集，为保证样本数保持一致，对于样本无权值的情况，随机选取与样本有权值情况等量的训练集，构建最终的分类器模型。并根据上文提到是否区分测试集位置进行实验结果统计。

第二部分是根据分类器类型进行实验。由于最终构建的分类器与每个单独训练集上的分类器相独立，实验将对最终分类器的分类性能与单独训练的分类器性能进行对比，以说明迁移学习的有效性。

3.3 实验结果分析

在TLWSS模型参数的确定过程中，经过10次实验取平均值，可以得到样本权值衰减参数α与测试集正确率关系曲线，如图3所示，为保证测试集的正确率最高，取α为0.65。

图3 衰减参数α与测试集正确率的关系

对每组实验对应的测试集正确率取平均值，并列表分析。

第一部分实验的结果分别如表2至表4所示。从表2、表3中可以看出，在构建通用行为识别模型即训练集无处理时，测试集正确率最低，对训练集进行只分组未加权处理后，测试集正确率有了小幅度提高，在TLWSS算法即对训练集分组加权即后，测试集正确率明显增加。表4及表5是对比TLWSS算法和通用模型测试集正确率增加值的统计。可以看出，在对单一位置的样本进行迁移学习后，正确率较未迁移学习时有明显提升，最高增加14.579%。与此同时，在对不区分位置的样本进行迁移学习后，正确率也较之前提升了7.697%～10.762%。从而证明了TLWSS算法中对训练样本的分割及重构的处理办法，可以有效地提升识别正确率。

表2 不同类型训练集单一位置的分类正确率统计

表3 不同类型训练集所有位置的分类正确率统计

表4 单一位置迁移学习前后分类正确率增加值统计

表5 所有位置迁移学习前后分类正确率增加值统计

第二部分的实验结果分别如表6和表7所示。其中h1至h8代表TLWSS算法中各组合训练子集对应训练的分类器，Hfinal表示最终构建的分类器。通过实验结果对比，在对单一位置以及未区分位置的样本进行TLWSS算法分类后，可以得出Hfinal分类器的行为识别正确率最高，优于各子分类器，进一步说明了根据重构后的训练集构建最终的分类器可以达到提升测试集正确率的目的。

表6 不同分类器单一位置的分类正确率统计

表7 不同分类器所有位置的分类正确率统计

4 结束语

提出基于极速学习机的带权值样本筛选的迁移学习方法，通过对源域训练样本进行集成学习，更改样本权值，筛选出和新用户行为样本相似性较高的样本。这些样本在特征空间上具有与目标域样本更相似的数据分布，用这些样本作为新的训练集进行迁移学习，可以得到具有自适应性的行为识别模型。通过对手机放置在单一位置，以及未区分手机位置的测试集进行实验，结果表明，迁移学习后的具有自适应性的行为识别模型较通用模型的行为识别正确率有明显增加，有效地提高了新用户时行为识别正确率。

[1] Xue Yang, Jin Lianwen. Discrimination between upstairs and downstairs based on accelerometer[J]. IEICE Transactions on Information and Systems, 2011, E94-D(6),1173-1177.

[2] 王忠民,曹栋. 基于蚁群算法的行为识别特征优选方法[J]. 西安邮电大学学报, 2014,19(1):73-77.

[3] 何卫华.人体行为识别关键技术研究[D]. 重庆：重庆大学, 2012:1-8.

[4] 衡霞，王忠民.基于手机加速度传感器的人体行为识别[J].西安邮电大学学报，2014,19(6)：76-79.

[5] 徐川龙,顾勤龙,姚明海. 一种基于三维加速度传感器的人体行为识别方法[J]. 计算机系统应用,2013,22(6):132-135.

[6] 薛洋.基于单个加速度传感器的人体运动模式识别[D]. 广州：华南理工大学，2011:56-68.

[7] 赵中堂，马倩，陈益强.个人运动管理系统中的行为识别方法[J].计算机工程，2013,39(1):213-224.

[8] Pan S J, Yang Qiang. A survey on transfer learning[J]. IEEE Transactions on Knowledge and Data Engineering, 2010, 22(10): 1345-1359.

[9] Dai Wenyuan, Yang Qiang, Xue Guirong, et al. Boosting for transfer learning[C]//Proceedings of the 24th international conference on Machine learning: ACM International Conference Proceeding Series. New York: ACM, 2007:193-200.

[10] Chen Yiqiang, Zhao Zhongtang, Wang Shuangquan, et al. Extreme learning machine-based device displacement free activity recognition model[J]. Soft Computing, 2012, 16(9): 1617-1625.

[11] 谭爱平，陈浩，吴伯桥.基于SVM的网络入侵检测集成学习算法[J].计算机科学,2014,41(2),197-200.

[12] Huang Guangbin, Zhou Hongming, Ding Xiaojian, et al. Extreme Learning Machine for Regression and Multiclass Classification[J]. IEEE Transactions on System, Man, and Cybernetics, Part B:Cybernetics, 2012, 42(2),513-529.

[13] 胡蓉，徐蔚鸿.一种带修剪的增量极速学习机模糊神经网络[J].计算机科学,2013,40(5),279-282.

[责任编辑:祝剑]

Human activity recognition transfer learning based on extreme learning machine

WANG Zhongmin, QU Su

(School of Computer Science and Technology, Xi’an University of Posts and Telecommunications, Xi’an 710121, China)

To increase the accuracy of the mobile user activity recognition, a novel algorithm named Transfer Learning Based on Weighted Sample Selecting (TLWSS) is proposed. By reconstructing the sampling training set segmentation and assigning weights, TLWSS can modify the weights on the basis of the training sample discriminant results in corresponding Extreme Learning Machine (ELM) classifier. It has the ability of screening more similar sample training set with the transfer set, especially after many iterations. Eventually the final activity recognition model will be built. Experimental results show that the activity recognition model after transfer learning has higher classification accuracy.

activity recognition, transfer learning, extreme learning machine, ensemble learning

2014-09-18

国家自然科学基金资助项目(61373166); 工业和信息化部软科学研究计划资助项目(2014R32);陕西省工业攻关计划资助项目(2012K06-05); 陕西省教育厅产业化培育基金资助项目(2012JC22)

王忠民(1967-)，男，博士，教授，从事智能信息处理研究。E-mail: zmwang@xupt.edu.cn 屈肃(1988-)，女，硕士研究生，研究方向为模式识别与人工智能。E-mail: qusuxian@sina.com

10.13682/j.issn.2095-6533.2015.01.010

TP391

A

2095-6533(2015)01-0049-06