基于书写笔迹的青少年情绪检测方法与系统实现

摘  要： 成长中的青少年时常会感受到很大的心理压力和冲突，导致情绪起伏不定。而人的书写笔迹与其情绪性情紧密关联。透过一个人的书写笔迹，不但可以了解其人之个性，更可观察其性情与身心健康之状态。鉴于书写笔迹是一种自然的、真实的、没有受到伪装污染，且保留个性的一种痕迹，本文提出一种根据青少年的书写笔迹，采用卷积神经网络，检测青少年情绪的方法，并实现了一个基于书写笔迹的青少年心情检测APP软件。实验表明该方法在识别青少年“平和”与“紧张”两类情绪方面，准确性超过90%，增加训练数据，准确性甚至可达95.50%。

关键词：青少年;书写笔迹;情绪检测;卷積神经网络

中图分类号： TP391.41    文献标识码：ADOI：10.3969/j.issn.1003-6970.2019.09.025

本文著录格式：冯舒婷. 基于书写笔迹的青少年情绪检测方法与系统实现[J]. 软件，2019，40（9）：105-109

Teenagers Emotion Detection Method and Implemention Based on Handwritings

FENG Shu-ting

（Tsinghua University High School， Beijing100084，China）

【Abstract】：Growing teenagers often feel great psychological stress and conflicts， leading to emotional ups and downs. The writing strokes of people are closely related to their emotions. Through ones handwriting， we can understand not only his/her personality， but also the status of his/her temperament and mental health. In view of the fact that handwriting is a natural， real， non-disguised， and non-polluted personal trace， we present a handwriting-based teenagers emotion detection method using convolutional neural networks， and implement it into a mobile APP. Our experimental result shows that the method can achieve the accuracy of over 90% in identifying teenagers peaceful or tension emotion. Increasing the size of the training data set， we can even achieve 95.50% detection accuracy.

【Key words】：Teenager; Handwriting; Emotion detection; Convolutional neural network

0  引言

青春期是人生成长的重要时期，也是人生发育和心理成熟的关键时期。这一时期不仅是生理方面的发展，更为重要的是心理方面的发展。这个时期既有幼儿时期的稚气，又有想脱离这种稚气达到成人思想的趋势。这一时期的青少年又达不到成人思想上的成熟度，所以在这个混饨时期心理发展是最重要的。但是，当今快速发展的经济与社会不约而同地带给青少年方方面面的压力，使得成长中的承受着学业、交往、家庭、情感、自我认知等方方面面的压力;而独立、自我意识日益增强的青少年，在很多方面，尤其是在情感方面，不愿对父母老师说出坏情绪，经验的不足又常常使其不能正确面对。过多的压力得不到及时有效疏导很容易引起心理健康问题。目前，我国约有3000万青少年处于心理亚健康状态。

另一方面，书写笔迹与人的情绪性情紧密关联。人的喜怒哀乐的思想情趣、向往追求都会从字的神采、风格上反映出来。我国古语常说：“字如其人”、“相人不如相字”、“见字如面”、“笔迹乃心迹”……关于人的性情、情绪与书写的关系，我国历代书法家、文学家、文献家、哲学家都有精辟论述。西汉末期，易理学家扬雄就说过：“书、心画也。”意思

是说书法是人的心理描绘，是以线条来表达和抒发作者情感心绪变化的。唐朝著名书法家孙过庭认为，书法可以“达其性情，形其哀乐”。他认为书写笔迹反映书写者的品德性情与喜怒哀乐。元代书法家陈绎曾在《翰林要诀》中论述得更为具体：“喜怒哀乐，各有分数，喜则气和而字舒，怒则气粗而字险，哀即气郁而字敛，乐则气平而字丽。情有重轻，则字之敛舒险丽亦有浅深，变化无穷。”人欢喜时，心气和谐，写出来的字就舒放;人发怒时，心气粗闷，写来的字就险绝;人悲哀时，心气忧郁，写出来的字就内敛;人高兴时，心气平和，写出来的字就秀丽。到了清代，文学家刘熙载在其《艺概·书概》中有：“书，如也。如其学，如其才，如其志，总之日如其人而已。”著名的“字如其人”即来源于此^[3]。

现代笔迹研究学者徐庆元、马鹏程指出：“情感主要看其字体大小、转折角、笔画粗细、末笔情况、书写速度。”人在不同心境下字体笔迹也会发生细微变化。心情平和高兴时，字迹工整，笔画舒畅，横笔多向上抬;紧张不安时，笔迹多局促潦草，文字倾斜不均匀;烦躁时，写出的字往往松散，比例不当;愤怒时字体结构不合理、笔力重，有夸张的笔画。心情郁闷或悲痛时，笔迹多局促，笔画拘谨生涩，运笔凝重呆板，文字倾斜不均匀;愤怒时字体结构不合理、笔力重，有夸张的笔画^[1-2]。因此，透过一个人的书写笔迹，不但可以了解其人之个性，更进而可观察其性情与身心健康之状态。另一方面，书写笔迹本身又是一种自然的、真实的、没有受到伪装污染，且保留個性的一种痕迹。这些为我们通过青少年书写笔迹，及时感知检测学生们的情绪变化奠定基础。

目前，无论是国内还是国外，用户情感检测工作主要依靠用户发布到社交媒体上的文本信息与图片，尚未有通过书写笔迹，通过深度机器学习，自动检测用户情绪的先例。

1  相关工作

笔迹学研究在国外三百年前已初露端倪，兴起与发展至今有一百余年的历史，现已在西方发达国家得到广泛的使用。但是，我国的笔迹分析研究目前尚处于发展初期，尚未形成行业和很规范的市场，笔迹专业人才数量过少，主要还分布在公安部门、少数高校、研究机构、书法界等，聚焦于笔迹鉴定与手写字体识别，难以满足巨大的、潜在的市场需求。

当前，基于社交媒体（如微博）的用户情感检测工作吸引了众多研究者，其主要采用文本分类的机器学习方法^[4]，对用户发表的文本内容进行情感极性的解析。此类研究的局限性在于：（1）用户情感检测的准确性依赖于完备的情感词典，而用户的网络词典不断演变，导致此词典也需要不断更新;（2）用户发表的文本内容具有隐晦性，用户的文字表达内容可能与其内在情感不一致，造成错误检测结果。

但是，相比用户发表的主观文字内容，用户的书写笔迹更为客观，是用户自然的、真实的、没有受到伪装污染，且保留个性的一种痕迹，这些为我们通过青少年书写笔迹，及时准确感知检测学生们的情绪变化提供可能。

2  基于书写笔迹的青少年情绪检测方法

为了自动检测青少年用户的情绪，我们将用户的一份书写笔迹拍照生成一副图片，通过卷积神经网络，识别出书写者的平和或紧张情绪。本章首先概述卷积神经网络技术，随后给出其在青少年情绪检测上的应用。

2.1 卷积神经网络概述

卷积神经网络是一种受到视觉感知机制启发，可训练的深度学习结构，在模式分类、图像处理方面有出色表现^[5-9]。其优势在于它能通过卷积操作，有效提取原始图像特征，无需对图像进行预处理或手工特征提取。

卷积神经网络的基本工作在于特征提取与特征映射。一般由输入层、若干卷积层、若干池化层、全连接网络层和输出层组成。图1展示了一个含有2个卷积层的神经网络。第一个卷积层包含三个卷积核，每个卷积核把原始输入图像卷积得到一个特征图，该特征图可以看做是通过卷积变换提取到的图像特征。通过三个卷积核，可以得到三个特征图，也就是对原始图像提取出三组不同的特征，也称做三个通道。在第一个卷积层之后，池化层对三个特征图做了下采样，得到了三个更小的特征图。接着，第二个卷积层有5个卷积核。每个卷积核都把前面下采样之后的3个特征图卷积在一起，得到一个新的特征图。这样，5个卷积核就得到了5个特征图。紧接着，第二个池化层继续对5个特征图进行下采样，得到了5个更小的特征图。图1所示网络的最后两层是全连接层。第一个全连接层的每个神经元，和上一层5个特征图中的每个神经元相连，第二个全连接层（也就是输出层）的每个神经元，则和第一个全连接层的每个神经元相连，这样得到了整个神经网络的输出。

2.2 基于卷积神经网络的笔迹心情检测实现细节与验证

我们将青少年用户的一份书写笔迹拍照生成一副图片，通过卷积神经网络，自动识别出书写者的平和或紧张情绪。本文实现的基于笔迹的情绪检测CNN模型共分为五层，包含三个卷积采样层和两个全连接层和一个输入层，如图2所示。

输入层中图像为64*512像素，因为是彩色图像，所以根据RGB分为3色，输入的每张图像实际尺寸为64*512*3。

根据表1参数设置，经过卷积采样层1后，该图像的尺寸变为16*64*16，以此类推经过之后两层分别变为4*8*64和1*1*256，图像被整理成一个长度为256的向量V。V随后经过全连接层1与全连接层2的运算：

F₁=VW₁（V?R²⁵⁶，W₁?R^256*32，F₁?R³²）

F₂=F₁W₂（F₁?R³²，W₂?R^32*2，F₂?R²）

我们可调用softmax函数对该图像的极性进行分类，分别计算出属于紧张心情还是属于平和心情的概率：p（y|X）=softmax（F₂）。

在本实验中，学习率设置为0.0001，批处理尺寸设置为50，优化器为adam。

实验字迹数据集来自一位高中学生的语文平时作业与考试（含期中、期末、测验）卷面。每张字迹图片含有一行，共10个汉字。我们将平时作业时的字迹图片标注为平和情绪字迹，考试时的字迹图片标注为紧张情绪字迹。我们总共获得1566张字迹图片，其中，紧张情绪字迹480张，平和情绪字迹1086张。

为了测试数据集大小对字迹情绪检测方法准确性的影响，我们做了如下2组实验，检测结果如表2和图3所示。

实验一数据：

（训练集）紧张情绪字迹图片226张，平和情绪字迹图片614张;

（测试集）余下紧张情绪字迹图片100张，平和情绪字迹图片100张。

实验二数据：

（训练集）紧张情绪字迹图片380张，平和情绪字迹图片986张;

（测试集）紧张情绪字迹图片100张，平和情绪字迹图片100张。

表2中的结果显示，随着训练数据的增大，我们进一步观察了模型检测结果的混淆情况，如表3所示。

在实验二中，为了客观与严谨，我们使用和实验一相同的测试集，仅将新增的数据增加到训练集中。通过结果我们可以发现，在进行实验一时，由于数据不均衡（训练集中紧张样本与平和样本之比为0.36），在测试集中的实验结果显示，模型会更倾向于将样本预测为平和情绪，导致查全率仅为84%，58%的测试集样本被预测为平和情绪。

为了克服以上问题，这里增加了实验二，通过扩大数据集，使得训练集中的两类样本分布更加均衡，使得准确性与F1-Measure分别从92.00%、91.30%提高到95.50%、95.48%。同时，实验二中50.5%的测试集样本被预测为平和情绪，49.5%的测试集样本被预测为紧张情绪，分类器的分类也更加均衡。

3  基于书写笔迹的青少年情绪检测APP实现

基于书写笔迹的青少年情绪检测APP软件由前端和服务器后端两部分构成^[10]。前端采用HTML5 应用程序开发框架，在该框架下可以基于Web技术，如HTML、CSS和Javascript等，通过加入原生native模块构建接近原生体验的移动应用程序。后台采用深度学习框架Tensorflow 1.5，用Python语言实现CNN情绪检测程序，后台采用Flask框架，Flask是一个基于Python實现的Web开发的微框架，它旨在为开发者在开发过程当中保持核心简单的部分而同时又易于开发者进行更多的额外扩展。

4  结论

本文提出一种根据青少年的书写笔迹识别青少年情绪的方法，通过对书写笔迹图片的预处理与卷积神经网络的运用，识别青少年“平和”与“紧张”两类情绪，准确性超过90%。通过扩大数据集，使得训练集中的两类样本分布更加均衡，识别准确性与F1-Measure可以分别从92.00%、91.30%提高到95.50%、95.48%。基于此方法，设计并实现了一个青少年心情检测APP软件。未来工作将考虑青少年用户更多的情绪类别，如愉悦、愤怒、恐惧、悲伤等，拓展青少年情绪识别任务的研究范围。

参考文献

[1] 徐庆元. 笔迹与心迹——笔迹触觉的个性心理[M]. 贵州省新闻出版局出版， 1999.

[2] 马鹏程. 汉字笔迹心理学—笔迹心理分析技术与应用[M]. 辽宁大学出版社， 2006.

[3] 黄翰琳. 字如其人：笔迹心灵解码学[M]. 中国经济出版社， 2009.

[4] 张玉环， 钱江. 基于两种 LSTM 结构的文本情感分析[J]. 软件， 2018， 39（1）： 116-120.

[5] 刘腾飞， 于双元， 张洪涛， 等. 基于循环和卷积神经网络的文本分类研究[J]. 软件， 2018， 39（01）： 64-69.

[6] 百度百科. 卷积神经网络[OL]. 2018.

[7] 宋婷婷， 徐世许. 基于全采样和 L1 范数降采样的卷积神经网络图像分类方法[J]. 软件， 2018， 39（2）： 75-80.

[8] 张晓明， 尹鸿峰. 基于卷积神经网络和语义信息的场景分类[J]. 软件， 2018， 39（1）： 29-34.

[9] 吴亚熙， 岑峰. 基于卷积神经网络的多层级目标检测方法[J]. 软件， 2018， 39（4）： 164-169.

[10] 司亚清， 刘蕾. 智能手机用户体验的影响因素研究[J]. 软件， 2015， 36（3）： 111-115.

（上接第100页）