音乐数据分析：格式与应用探析

音乐数据是音乐分析的基础，在数据时代，音乐数据建设是一个基础性工作，无论是收集零散数据，还是自身创建数据，一定数量的音乐数据集是研究机构、专业院校或音乐行业组织的数据基础。随着多媒体和计算机网络技术的迅速发展，音乐信息的数量急剧增长，目前，音乐大数据时代已经到来，音乐数据的分布正呈现分散管理向集中管理转化。以中国的音乐市场为例，截至2017年9月，腾讯、阿里、网易、百度四大音乐平台已经占了主要的国内市场；其中网易音乐拥有500万首歌曲的音乐数据，用户数已突破3亿，歌单总数达3200万；腾讯音乐拥有1500万首歌曲的音乐数据；中国音乐集团（目前已经和腾讯音乐合并为腾讯音乐娱乐集团TME）拥有正版歌曲数量近2000万首，拥有4.6亿月活用户。

音乐数据的表示格式很多，从音乐信息的承载格式看，文本格式、图像格式、音序格式、音频格式、视频格式、流媒体格式等都是音乐信息的载体，乐谱是最常见的图像格式的音乐载体，MIDI（Musical Instrument Digital Interface，乐器数字接口）是最常用的音序格式载体，MusicXML是逐步流行的基于网络的音乐文本格式，MP3则是最流行的音频格式载体。

乐谱是按记谱法记录音乐的音乐实例，是音乐传承传播的主要载体之一，是目前为止记录音乐信息量历史最长的音乐表示方式。记谱法是音乐信息表示方法，是基本音乐元素和使用规范的集合，它用规定的符号和形状来表示音乐元素，然后利用这些音乐元素按一定的使用规划组成乐谱。最早用音乐符号表示音乐可以追溯到美索不达米亚的楔形文字板[27]，而中国周代的《礼记·投壶》中鼓谱的若干个记谱符号被认为是中国最早的音乐乐谱形式实例[28]，最早的完整乐谱则为中国南北朝时期丘明（494—590）的古琴琴曲《碣石调·幽兰》[29]。在人类历史上，不同的时期、时代和地区，出现过很多形态各异的记谱法，有些记谱法被流传下来，有些被广泛使用，有些逐步消亡。如中国古代最流行的记谱法有工尺谱记谱法、减字谱记谱法等，现代中国流行的是简谱记谱法，而全球音乐界则流行五线谱记谱法，直到现在乐谱仍然是音乐的主要载体之一。

目前，乐谱数据分散于各个不同的网站，为不同的人群提供服务，一些乐谱量较大的网站受到了音乐工作人员的频繁访问；如拥有143000个专业合唱曲目的乐谱和26500个作曲家信息的法国MUSICA INTERNATIONAL公司网站，受到了合唱团体的欢迎；拥有超过10000种基督教圣歌、作者、作曲家传记、赞美诗历史和许多教派的福音歌曲的赞美诗网站，为宗教人员提供音乐服务；一些教育机构也为研究人员提供了包括乐谱在内的音乐资料，如美国田纳西州大学音乐图书馆收藏有50000多首歌曲，Johns Hopkins大学图书馆资源的一部分，收集了29000本乐谱，以1780～1960年间出版的美国流行音乐乐谱为主。中国国内的音乐工作者也为乐谱数据的收集和交换做出重要贡献，如国内乐谱分享第一平台“中国乐谱网”已经拥有20多万份乐曲乐谱并按不同乐谱进行分类，包括钢琴谱、简谱、乐谱总谱、二胡谱、电子琴谱、古筝谱、口琴谱、葫芦丝谱、扬琴谱、合唱谱、原创曲谱、笛箫谱、小提琴谱、鼓谱、手风琴谱和萨克斯谱等，当然，网站提供的乐谱是由网友分享的，乐谱的质量控制和音乐信息的准确度对乐谱的使用会带来一定的影响。

数字乐谱通常是数字图像格式存在，它的产生有两种基本途径，一种是原有纸质乐谱经过扫描后存储为数字乐谱，一般扫描后的乐谱是图像；另一种是人工通过软件输入音乐信息，然后形成完整的乐谱，如Finale制谱软件可以制作用于印刷精良的乐谱，这些软件通常可以把输入的音乐信息保存为多种乐谱格式，如图像格式、PDF格式或MusicXML格式等。这两种不同途径得到的乐谱在乐谱谱面清晰度上通常不同，扫描得到的乐谱一般有较多的噪声，如黑色污点污块、音符粘连、谱面倾斜、缺页等，不利于音乐信息的再利用，而输入得到的乐谱通常很少有或者没有噪声，能完整保留乐曲的音乐信息。

音频格式是存储音乐信息的主要格式，是目前为止记录音乐信息量最大的音乐表示方式。音频格式是对声音文件的编码和解码格式，由于人耳生理结构的局限性，通常最大带宽为20kHz，目前有两类主流的音频格式，分别是无损格式和有损格式，如WAV、APE等是无损格式，MP3、Windows Media Audio（WMA）、Ogg Vorbis（OGG）和AAC等是有损格式音频，其中MP3是目前最流行的音频格式。MP3（Moving Picture Experts Group Audio Layer Ⅲ）是一种音频压缩技术，它利用MPEG Audio Layer 3的技术，将音乐以1:10甚至1:12的压缩率，压缩成容量较小的文件。这样一首5分钟的歌曲的MP3格式的音乐文件，其大小就小于5M，节省了存储空间，降低了网络传播的带宽占用，方便了音乐文件的传播和存储。

作为主要的音乐表示方式，上文提到的中国音乐市场的主流四大音乐平台所拥有的音乐数据主要是音频数据，这些音乐平台基于庞大的音频数据仓库，利用数据挖掘技术对用户收听音乐数据进行分析，能精准地为用户提供合适的音频数据，提高用户的体验舒适度。秦继伟等人针对现有音乐推荐系统中音乐情感分析方法很难满足用户情感需求的问题，提出音乐内涵空间方法分析音乐情感，该方法选取音乐力度、速度、音强等表现要素，基于两极尺度的语义，构建音乐内涵空间，通过音乐内涵空间表示音乐情感，减少了音频特征客观水平与主观情感范围之间的差距，解决了情感标签标注音乐中由于用户情感经历不同造成的对音乐情感标注的主观差异性问题，在10672条音乐评价数据集上，采用Kendall's tau距离进行有效验证，与基于情感标签推荐相比，实验结果表明，基于音乐内涵空间推荐音乐能较好地满足用户的情感需求。[30]

MIDI格式是重要的音乐媒体，自20世纪80年代产生以来，已经成为了主要的数字音乐格式之一，它是包括硬件接口标准以及电子音乐信号在不同硬件之间的异步串行传输协议，是音乐信号在电子乐器之间传输的标准，现在大多数的音乐软件都支持MIDI格式，在音乐创作、音乐编辑、音乐演出、音乐出版、音响行业、教育行业等领域得到了广泛的应用，是音乐信息存储和交换的事实标准。由于MIDI格式的音乐文件记录了音乐的全部乐谱和演奏的全过程，音乐数据的很多基本特征可以被直接提取出，因此，在音乐数据分析中，MIDI格式的音乐数据是最常用的音乐数据之一。刘丹等人以MIDI音乐数据为素材，全面总结了音乐特征识别领域所取得的主要研究成果，重点介绍了MIDI音乐数据的音乐特征提取、描述、分析和识别等方面采用的各种智能分析处理方法，并对该领域中存在的主要困难和将来的发展方向提出了一些看法。[31]

在乐谱数据、MIDI数据、音频数据等音乐媒体之间，不同的音乐媒体可以相互转化，这三种音乐媒体之间的相互转化所采用的技术，如图2-1所示。(https://www.xing528.com)

图2-1　乐谱数据、MIDI数据、音频数据之间的转化技术

从音频数据转化为MIDI数据，一般利用模式识别等人工智能技术对音频数据进行模式分类，并转化为MIDI数据进行存储和传播，它是音频识别的主要研究内容之一。张一彬等人对1990年以后音频识别研究领域所取得的研究成果进行综述，包括基于内容的音频或音乐信号自动分类、分割、检索以及音乐作品自动分析等内容。[32]

MIDI数据转化为音频数据，只有利用音色库才可以把MIDI数据转换为音频数据，许多音乐软件有自动为MIDI数据添加音色的功能，缺省的音色是钢琴。MIDI数据转化为乐谱数据，需要利用MIDI数据编辑软件以及图形学的方法，把MIDI数据转换为图形呈现，并保存为图像格式的乐谱。

图像格式的乐谱数据转化为MIDI数据，是光学乐谱识别（Optical Music Recognition, OMR）的研究内容，OMR利用计算机进行数字乐谱图像处理与识别的技术，它利用扫描仪等数字化设备，将纸质乐谱以图像的形式输入到计算机，经过图像处理与识别，把乐谱图像自动转化为标准的音乐格式文件。

音频数据转化为乐谱数据，最常见的方法是人工听辨记谱，也可以先通过音频识别技术把音频数据转化为MIDI数据，再利用MIDI编辑软件，利用图形学知识把MIDI数据转化为乐谱数据。乐谱数据转化为音频数据最常用的方式是人工演奏乐谱，也可以先通过OMR技术把乐谱转化为MIDI数据，再利用音乐软件加上音色，转化为音频数据。

音乐数据是基于时间的时态数据，时态数据处理常常包含实时性需求，音乐数据的采集、处理、表示和推理会面临特定挑战。如在音乐演奏中，音乐数据的采集就面临着实时处理突发事情的需求，音乐数据的来源多样，一般采用分布式采集机制，来源不同的分布式数据源所产生的数据要求被实时可靠地集中到一个数据中心，常采用日志记录各个不同来源的音乐数据，并使用触发器确保及时处理音乐数据。在音乐数据处理中，时态一致性是音乐数据管理面临的一个挑战，音乐是个性化的，一首乐曲在不同的场景下常需要被不同处理，不同用户对同一首乐曲的处理结果不同，带有一定的个性化特点，这时在音乐数据中心，保持此乐曲的数据一致性以适应未来场景是一大挑战。音乐数据往往容量较大，处理过程中会面临带宽阻塞、延迟或数据缺失等问题，为保证数据的完整性，设计合理的恢复策略是音乐数据处理过程中面临的另一大挑战。

音乐数据是异构数据，音乐文本、乐谱图像、音频等音乐数据格式各异，音乐数据的优化表示也是数据管理所面临的难题。同时，海量的音乐数据也对系统和硬件设施提出了高要求，数据吞吐量大、数据复制困难、维护成本高昂，是音乐数据管理的又一困难。

针对快速增长、不断变化的音乐数据，设计与实现合适的音乐数据表示和处理方法，构建处理流数据的合适算法，满足分布式环境下的实时采集、存储和传输，并保持时态一致性是音乐数据面临的主要问题的解决方案。