基于脑波驱动的电子音乐合成器产品设计

1.澳门城市大学创新设计学院 .吉林艺术学院 颜成宇 孙博 马映彤

1 脑波与脑波音乐

1.1 脑波概述

十九世纪末，德国精神科医生Hans Berger 见电鳗放出电气，便推断人类也存在着生物电活动现象。1924 年，Hans Berger 首次在头盖骨受损患者的大脑中检测出电磁波变化，由于这些信号是以电磁波形式传播的，因此被命名为“脑波”。脑波即人脑中的神经细胞活动时发生的电气性摆动，并以图表形式呈现。它的振动频率在一定程度上与人的意识活动相对应，因而引起众多研究者的关注。1934 年，英国剑桥大学的E.D Adrian 博士和B.H.C.Mathew 博士再次证实了脑波的存在。

1.2 脑波音乐概述

由于脑波与音乐具有相似的信号形式，因此二者之间的关系始终是神经科学、心理学等领域研究的热点问题[1]。将脑电波转换为音乐，离不开信号数据的可视化应用。19 世纪下半叶，生理学家Etienne-Jules Marey 首创了用图形法记录多种生理信号，揭开了成像技术发展的序幕。1929 年，德国精神病学家Hans Berger 发表了人类脑电图的首次报道，科学家们开始不断探寻关于人的行为与大脑皮层神经细胞活动之间的联系。

1934 年，迎来了脑波与声音联系起来的首次尝试，神经生理学家Edgar Adrian 呈现了Berger 节律的实验结果，将脑电信号转化为声音信号，并通过扬声器播放[2]。由此可知，与音频信号一样，脑电波也具备声波频率的数据可听化参数。要想采用听觉来感知脑电波，那么通过扬声器就可将脑电波转化成声音。但是当时脑电信号和人声、乐声的频率范围相差较大。直至50 年代开始，信号处理的发展使脑电信号分析方式得到了显著改善，通过技术可将脑电信号的频率与人声、乐声的频率相契合。由此证实，利用音频的振幅可以进行脑电信号与音乐信号之间的转化，脑波与音乐之间确实存在一定的相关性[3]。

2 电子音乐合成器概述

电子音乐合成器是指一种能够产生音频信号的电子乐器。它的工作原理是先产生电信号，然后利用电信号仪表放大器接收信号，从而推动音频输出设备发出声音。电子音乐合成器的特点是不仅能模拟，如传统乐器、人声、海浪声等以自然形态存在的声音，又可以独立生成非自然发生的电子声音。目前，电子音乐合成器的应用几乎贯穿了所有音乐流派和风格，被认为是目前音乐产业最重要的乐器之一。

2.1 电子音乐合成器的发展

电子音乐合成器的起源可追溯到19 世纪末。当时以利沙·格雷为代表的科学家发现，人们可以通过控制电磁电路上的机械振动获取声音[4]。1876 年，他开发了一种音乐电报机，使用钢制成的簧片作为振荡器，通过电话线和电磁石传送信号，并被认为是电子音乐合成器的前身。1929 年，来自法国的Edouard Coupleux 和 Joseph Givelet 推出了一种乐器，并将它的非官方名称简写为Coupleux-Givelet 合成器，这是历史上第一次有人将乐器称为电子音乐合成器。

历史上第一台公认的、真正意义上的电子音乐合成器诞生于1955 年，美国无线电公司制作了一台名为MKI 的加法合成器[5]。现今大多数电子音乐合成器所使用的有源模块，如滑音器、包络发生器等，都已在这台机器上有所体现。1956 年，MKI 的出现标志着电子音乐合成器一词的正式引入。1971 年Moog 公司推出了键盘合成器Minimoog Model D，它的出现标志着电子音乐合成器的首次商业成功。1983 年，Yamaha 推出了更加稳定可靠的数字合成器DX7。90 年代随着计算机的发展，出现了如Serum可复刻经典模拟合成器等更多音色的软件合成器。至此，电子音乐合成器的形态被赋予了新的技术特征。

2.2 电子音乐合成器的分类

关于电子音乐合成器的分类，广义上可以分为模拟合成器和数字合成器。模拟合成器靠电子信号振动发声，所有的组件都通过旋钮等调节电压来控制，极易调节的电压能产生无数的音响结构。数字合成器使用数字计算干预处理电子信号振动的某一环节来达到将模拟信号数字化，或直接使用数字信号。从狭义上来讲，电子音乐合成器也可以按功能分为减法合成器、波表合成器、FM合成器、采样合成器及粒子合成器。

3 国内外基于脑波驱动的电子音乐合成器产品设计现状

脑电波与声音交互的研究起始于神经生理学家Edgar Adrian将Berger Rhythm 的实验进行重现，将脑电转化为音频通过扬声器进行播放[6]。1965 年，实验音乐作曲家Alvin Lucier 用脑波创造出第一首脑波音乐Music for the solo performer。通过对其脑波信号的阿尔法波进行放大，将脑电信号转为声音信号映射到乐器中进行演奏。20 世纪末，在脑电和音频技术飞速发展的基础上诞生了BCMI，可用脑波控制音乐演奏且声音动听。

3.1 国内基于脑波驱动的电子音乐合成器产品设计现状

国内的研究起步较晚且侧重于医学研究领域。2009 年，就职于电子科技大学的吴丹博士第一次提出基于无标度性的脑波音乐编码假说[7]。该假说是在EEG 与音乐都遵循“无标度性”这一非线性动力学现象的基础上提出的。2012 年，神经信息教育部重点实验室卢竞等人进一步运用和EEG 同步提取的FMRI 来映射音乐中的声音强度，从而制作了EEG 与FMRI 信号结合的音乐，该音乐比纯粹的脑波音乐更符合无标度性[8]。2013 年，吴丹进一步发展了基于“艺术滤波”策略的多声部合奏脑波音乐。研究结论表明，大脑实现多脑区之间的协作就类似于多声部音乐中不同声部的合作。

3.2 国外基于脑波驱动的电子音乐合成器产品设计现状

国外脑波音乐研究有数十年的历史，研究侧重于两方面：一方面是实验音乐创作，将脑电转化为MIDI 信号映射到音乐合成器中输出声音。如作曲家约翰·凯奇是世界公认的对实验音乐起源与发展有重大意义的作曲家。目前的脑电检测技术可映射出人兴奋、紧张、轻松等情绪。如Grace Leslie 采用脑电信息采集技术开发出将大脑和身体用作乐器，Grace 的心跳、神经电活动和其他生理信息反馈可以从接口收集输入计算机，将它转化为声音。Grace 在演奏长笛的同时，需要仔细调整情绪和身体状态，以在表演中创造出和谐的音调。另一方面是基于脑机接口的出现，使用脑电信号驱动乐器进行演奏。

4 基于脑波驱动的电子音乐合成器产品设计意义

4.1 丰富了电子音乐产业的创作方式

通过脑电波驱动的电子音乐可以在不同思维状态下创作出具有生物属性的电子音乐，这是一种全新的创作方式。它改变了传统音乐创作的固有形式，使音乐的创作从“情感化”向“情感数据”的转变，提供了具有生物信号数据的创作新视角。

4.2 激发了艺术家们的创作积极性

脑电波数据的产生通过电子音乐合成器进行数据处理，并驱动设计出契合用户生理状态的音乐，这种新创作工具的研究有助于激发艺术家们的创作灵感，丰富创作的思维逻辑，提高创作效率，从而激发艺术家对于电子合成音乐创作的积极性。

4.3 推动了国内音乐产业的发展

中国正进入数字化和智能化的新时代，这有效地推动了国内音乐创作领域的传承和发展，对于打造国家文化软实力，提高国家文化形象具有重大意义。这不仅重建了人们对国内音乐领域的认知结构，而且构建了一种全新的文化展示形式。

5 基于脑波驱动的电子音乐合成器产品设计思路

5.1 功能设计

从基于脑波驱动的电子音乐合成器（以下简称为脑波电子合成器）的功能实现方面来讲，使用脑波来驱动电子音乐合成器发声主要经过采集脑电信号数据、参数映射、信号转换、输出MIDI四个步骤：第一，通过使用穿戴式脑波传感器作为脑机接口运用在使用者身上，以标准脑电图采集法来获取脑电图信息。接着，需要对收集的脑电信号数据进行特征分析。这里使用到一种技术，被称为脑电图，用于监视测量人脑所放射生物电的活动，它广泛地运用在临床试验及科研领域。基于数值范围脑电信号可分类为5 种：α波，在浅意识状态下8—14 Hz；β波：在意识清醒状态下为14—30 Hz；γ波：被测人集中注意力于一点时在30 Hz 以上；δ波：在测试者对事物视而不见听而不闻的意识状态下为4Hz 以下；以及θ波：在潜意识过程中4—8 Hz。根据这5 种波形可展现人不同时期不同状态下人们的情绪。第二，通过放大处理、信号滤波、模拟数字信号转换等分析方法得到想要的特征参数，并将其映射成控制声音或音乐合成所需要的参数。参数映射不仅能够灵敏地、实时地检测脑电波振幅频率的微小变化，而且还能够显示脑电图和音乐都遵循的无标度定律这一基本特征。根据费希纳定律，脑波的基本属性和与乐音之间存在着一种对应关系，通过映射算法将大脑皮层电信号的振幅、周期、映射规则转换成先后对应的音高、音长、音量三大音乐的基本特性[9]。第三，在第二步的基础上，可以将映射后的参数作为元数据来调节合成器的电压，由此驱动合成器进行电子振动，这里相当于一个脑电波到MIDI 信息的接口。第四步发射MIDI 信号，可选择与其他的合成器组件或计算机等输入设备进行连接，或者直接连接扬声器进行发声。

5.2 交互方式设计

设计脑波电子合成器的理念在于，提供了一种不需要使用者进行任何肌肉控制就可以进行音乐交互与表演的方式。因此，脑波电子合成器设计要避免过多的实体操控，可交互的部分聚焦于对脑波分类的切换和对外部接口的扩展。用户在使用过程中通过集中注意力、冥想、调节情绪等，借助“思想”的力量来完成对产品的使用和音乐的创作：一方面是在表演和音乐创作方向具有创新的、实验性的意义；另一方面借助此种交互形式帮助由于疾病或先天缺陷不能、不方便进行肌肉控制行动的人群来完成艺术创作或体验等需求。

5.3 结构设计

从结构上来说，脑波电子合成器集成了脑机接口及振荡器、滤波器等基本组件，并开放与其他合成器和MIDI 输入设备、音频输入设备的接口，增加屏幕等可视化界面来监测脑波波形，实时反馈用户的大脑活动和情绪状态。采用模块化的组成结构，一方面脑波传感器与脑波电子合成器在形式和功能上都能进行分离，以保证后续对组件的更换与维护不会影响正常的使用；另一方面有利于对双方的功能进行升级和拓展。同时，内置的脑机接口既能配合脑波电子合成器本身完成对脑电波数据的采集接收，又可以作为独立的内置模块与其他电子音乐合成器组件进行数据通讯。

5.4 外观设计

在外观上，文章中研究的产品虽然在形式上符合东海岸风格合成器注重简单易用性的理念，但它的交互方式决定了它是一种具有创新性工作流程的西海岸风格合成器。因此，在造型设计方面，产品主要由非侵入式脑波传感器和接收脑波信号的合成器两部分构成，分别使用头戴式设计和模块化设计来保持风格的一致性。在材料设计方面，传感器部分应使用碳纤维、ABS 等兼具轻便与坚固特性的材料，结合人体工程学保证使用过程的舒适性，减少穿戴设备对表演者心理状态的干扰。合成器部分与传感器部分保持调性的一致，外壳材料要保证其便携性，且有利于脑波信号的接收与发射。在色彩设计方面，应当使用黑或白这种无情感倾向的颜色，让观众聚焦于音乐和表演本身，弱化产品的装饰性。

6 基于脑波驱动的电子音乐合成器产品设计实践

6.1 设计理念

脑波驱动的电子音乐合成器使用了实验性的交互模式且易于控制，兼备探索性和实用性。对于刚刚接触电子合成器领域的入门新手来说，人性化的使用流程和操控界面容易上手。而对于经验丰富的音乐家来说，新的使用方式很大程度上提高了趣味性，为音乐家、作曲家等拓宽了新的创作思路。

6.2 功能设计

文章中研究的产品提供了脑电波波形实时可视化、信号放大、信号门电路输出、MIDI 信号输出四种功能。脑波电子合成器在操控界面上达到了极简，只保留了三种类型的硬件操作，其中缩放频率的旋钮是唯一可干预所输入脑电波信息源的部分，信号门电路输出功能可以发出电平信号来控制包络发生器等新的模块，使之能与常规电子合成器的用户生态有机地结合起来。MIDI 信号输出功能负责与其他支持MIDI 信号通讯的设备，如软件合成器、激光灯、音响等进行交互来拓宽表演的边界。

6.3 外观设计

6.3.1 产品控件设计

产品控件设计是根据合成器内部的模块结构进行的，这些硬件由算法支持，并决定了它的作用[10]。从产品的功能性和用户的操作性考量，在设计中体现出人性化的理念，把脑波这种抽象、无实体的存在形成信息可视化系统。控件设计分为5 组，分别对应5 种脑电图波形的信号采集。在每一组控制区域内分为：（1）波形视觉化显示区；（2）信号放大调节旋钮；（3）信号门电路输出接口；（4）MIDI 信号输出接口。

6.3.2 产品操作界面设计

产品操作界面设计的逻辑和风格遵循以下三方面内容的指导：产品目标、硬件（设备）接口、用户习惯。产品目标要求界面的设计要体现产品性质，也就决定了界面中的元素和元素间的主次关系，因此脑波的可视化监测屏幕被放置在产品的最上方。整体元素排布与用户使用习惯的风格一致，在进行用户界面设计时应充分考虑体验设计理论，并结合用户对其他音乐合成器的使用经验进行设计，来保持用户习惯的一致性。

6.4 设计呈现

综合以上的观点，此次产品的设计以功能创新为出发点，外观设计充分考虑电子合成器用户的使用经验和操作习惯，既突破了现有产品的框架，又有着延续用户生态的优势。产品最终的效果如图1、图2 所示，黑色机身体现工业美学，上方的品牌包装使用了国际主义风格，兼具实用性与美观性。

图1 产品操作界面

图2 产品外观与人机交互

7 结语

随着现代科技的发展，基于脑波的人机交互已成为电子乐器创新设计的重要方向。文章将电子乐器设计相关理论运用到脑波驱动的电子音乐合成器创新设计之中，为电子音乐合成器产品设计提供了新的思路。文章通过实践验证理论，真正意义上融合了软件设计与硬件设计，解决了基于脑波驱动的电子音乐合成器一体化的创新设计问题。在未来的研究中将继续对电子音乐合成器的创新性设计进行探索，进一步完善研究实证实验，优化产品的迭代设计。