信息处理设备、信息处理方法和信息处理程序与流程

信息处理设备、信息处理方法和信息处理程序
1.相关申请
技术领域
2.本公开涉及信息处理设备、信息处理方法和信息处理程序。


背景技术：

3.随着人工智能(ai)的进步，本领域中计算机的应用已经取得了进展。例如，已知一种技术，其中，对作为学习数据的现有音乐执行机器学习以生成用于音乐生成的模型，并且使计算机创作新音乐(例如，专利文献1)。在这样的技术中，可以通过使用马尔可夫模型来模仿现有音乐的特征或产生更自然的旋律。
4.引用列表
5.专利文献
6.专利文献1：us 9,110,817


技术实现要素：

7.技术问题
8.根据传统技术，因为通过ai提出(生成)的音乐信息可用于作曲作品(composition work)，所以用户可基于更多各种观点进行作曲。
9.ai的自动作曲功能针对一般用户设置，并且一般用户仅可以通过设置诸如亮和暗的图像来接收自动创作的音乐信息。另一方面，由于创作音乐的制作者在创作音乐的过程中经常专门设置音乐的特征，例如和弦进程(chord progression)和低音进程(bass progression)，所以制作者要求接收匹配音乐的特征而不是图像的音乐信息的提供。
10.因此，本公开提出了能够提高用户进行音乐创作的便利性的信息处理设备、信息处理方法和信息处理程序。
11.问题的解决方案
12.为了解决上述问题，根据本公开的信息处理设备包括：获取单元，获取音乐信息；提取单元，从由获取单元获取的音乐信息提取多种类型的特征量；以及生成单元，其生成其中由提取单元提取的多种类型的特征量与预定的识别信息相关联的信息作为音乐特征信息，所述音乐特征信息在使用机器学习的作曲处理中被用作学习数据。
附图说明
13.图1是示出根据实施方式的信息处理的流程的概念图。
14.图2是示出根据实施方式的样式信息的数据配置的实例的示图。
15.图3是示出了根据实施方式的用户终端的显示屏幕的实例的示图。
16.图4是示出了根据实施方式的用户终端的显示屏幕的实例的示图。
17.图5是示出根据实施方式的用户终端的显示屏幕的实例的示图。
18.图6是示出根据实施方式的用户终端的显示屏幕的实例的示图。
19.图7是示出根据实施方式的用户终端的显示屏幕的实例的示图。
20.图8是示出了根据实施方式的信息处理的流程的概念图。
21.图9为示出根据实施方式的信息处理系统的实例的示图。
22.图10说明了根据实施方式的受版权保护的作品管理设备的配置。
23.图11是示出了根据实施方式的受版权保护的音乐信息存储单元的实例的示图。
24.图12是示出根据实施方式的音乐存储单元的实例的示图。
25.图13是示出根据实施方式的特征信息存储单元的实例的示图。
26.图14是说明根据实施方式的整体信息的配置的示图。
27.图15是示出根据实施方式的构成音乐特征信息的时间序列信息的实例的示图。
28.图16是示出根据实施方式的信息处理设备的配置实例的示图。
29.图17是示出根据实施方式的用户信息存储单元的实例的示图。
30.图18是示出根据实施方式的样式信息存储单元的实例的示图。
31.图19为示出根据实施方式的所有权信息存储单元的实例的示图；
32.图20是示出根据实施方式的制作信息存储单元的实例的示图。
33.图21是示出根据实施方式的用户终端的配置实例的示图。
34.图22是示出根据实施方式的信息处理的过程的序列图。
35.图23是示出根据实施方式的信息处理的过程的序列图。
36.图24是示出根据实施方式的信息处理的过程的序列图。
37.图25为示出信息处理系统的配置的概念图的实例的示图。
38.图26是示出根据实施方式的用户界面的实例的示图。
39.图27是示出根据实施方式的用户界面的实例的示图。
40.图28是示出实现信息处理设备、受版权保护的作品管理设备和用户终端的功能的计算机的实例的硬件配置图。
具体实施方式
41.以下将基于附图详细描述本公开的实施方式。应注意，根据本实施方式的信息处理设备、信息处理方法、信息处理程序不受实施方式的限制。此外，在下面描述的每个实施方式中，相同的部分由相同的参考标号表示，并且将省略重复的描述。
42.将按照以下描述的项目的顺序描述本公开。
43.1.实施方式
44.1-1.根据本实施方式的信息处理的实例
45.1-2.根据本实施方式的信息处理系统的配置
46.1-3.根据本实施方式的受版权保护的作品管理设备的配置
47.1-4.根据本实施方式的信息处理设备的配置
48.1-5.根据实施方式的用户终端的配置
49.1-6.根据本实施方式的信息处理的过程
50.1-6-1.生成受版权保护的音乐信息的样式信息的处理
51.1-6-2.生成由制作者创作的音乐信息的样式信息的处理
52.1-6-3.更新样式信息的处理
53.1-7.信息处理系统配置的概念图
54.1-7-1.关于总体配置
55.1-7-2.关于受版权保护的音乐管理服务器设备
56.1-7-3.关于服务器设备
57.1-7-4.关于音乐制作者应用单元
58.2.根据本实施方式的效果
59.3.其他实施方式
60.3-1.其他配置实例
61.3-2.其他
62.4.硬件配置
63.[1.实施方式]
[0064]
[1-1.根据实施方式的信息处理的实例]
[0065]
首先，将参照图1描述根据本公开的信息处理的实例。图1是示出根据实施方式的信息处理的流程的概念图。根据实施方式的信息处理由受版权保护的作品管理设备100、信息处理设备200以及用户终端300执行。
[0066]
在本实施方式中，将描述其中信息处理设备200是提供与创作内容(信息)有关的服务作为受版权保护的作品(也被简称为“服务”)的信息处理设备的情况作为实例。应注意，在下文中，将音乐(音乐内容)描述为内容的实例，但是内容不限于音乐，并且可以是各种类型的内容，诸如电影的视频内容或者诸如书籍(小说等)的角色内容。此外，本文中所指的音乐不限于一个完整的音乐(整体)，并且是包括构成一首歌曲(音乐)的声源的一部分和诸如用于采样的短音的各种音乐信息的概念。
[0067]
信息处理设备200通过使用专用网络n2(参见图9)与管理受版权保护的音乐信息的受版权保护的作品管理设备100通信。专用网络n2例如是具有id地址认证的安全虚拟专用网络(vpn)或互联网通信。信息处理设备200通过使用诸如因特网的网络n1(参见图9)与使用由信息处理设备200提供的服务的用户的用户终端300通信。要注意的是，用户终端300的数量不限于图1中所示的数量。
[0068]
受版权保护的作品管理设备100是注册和管理受版权保护的音乐信息的服务器设备。受版权保护的作品管理设备100定期地注册受版权保护的音乐信息。受版权保护的作品管理设备100从注册的受版权保护的音乐信息中提取多种类型的特征量，并且经由专用网络n2将所提取的特征量传输到信息处理设备200。
[0069]
用户终端300是诸如个人计算机(pc)或平板终端的信息处理终端。各种程序应用被安装在用户终端300中。与音乐创作相关的应用被安装在用户终端300中。例如，用户终端300具有通过ai的自动作曲功能，该功能由插件(扩展应用)添加至实现综合音乐制作环境(comprehensive music production environment)的诸如daw的应用。例如，插件可采用斯坦伯格的虚拟工作室技术(vst)(注册商标)、audiounits、avid audio extension(aax)等的形式。此外，用户终端300不限于daw，并且可以使用例如移动应用(诸如ios)。
[0070]
用户终端300激活并执行daw和ai的自动作曲功能，与信息处理设备200通信，并且接收由信息处理设备200作曲的音乐信息的提供。
[0071]
用户终端300的用户是操作和管理整个系统的管理者、创作音乐的作曲者、编排者、诸如演播室工程师的制作者、以及经由自动作曲功能接收音乐信息的提供的一般用户中的任意一个。在本实施例中，假定制作者uc使用用户终端300。
[0072]
信息处理设备200是执行与用户终端300的ai的自动作曲功能相关的信息处理的服务器设备。例如，信息处理设备200是所谓的云服务器，根据用户终端300的指令信息通过ai执行自动作曲，并且将生成的音乐信息提供给用户终端300。
[0073]
信息处理设备200执行机器学习以生成用于音乐生成的作曲模型。例如，信息处理设备200将使用马尔可夫模型等自动作曲的音乐信息提供给用户终端300。
[0074]
信息处理设备200使用样式信息(音乐特征信息)作为作曲模型的学习数据。样式信息是将从音乐信息中提取出的作为多个种类的特征量的诸如和弦进程、旋律、低音进程等多个种类的特征量与预定的识别信息关联起来并使用于使用了机器学习的作曲处理的信息。信息处理设备200从受版权保护的音乐信息或制作者创作的音乐信息获得多种类型的特征量，并编译特征量并为每条音乐信息分配样式信息id(预定识别信息)，以生成多条样式信息并创建数据库。
[0075]
图2是示出根据实施例的样式信息的数据配置的实例的示图。样式信息包括作为样式信息的识别信息的样式信息id 710、样式调色板序列信息(style palette sequence information)720(音乐顺序信息)、样式调色板信息730(音乐格式信息)、乐谱信息740和歌词信息750。
[0076]
乐谱信息740包括从音乐提取的多种类型的特征量。乐谱信息740包括乐谱id、旋律信息、和弦进程信息、低音信息和鼓信息。乐谱id是乐谱信息的识别信息。旋律信息是具有规定长度的小节中的旋律。和弦进程信息是表示具有规定长度的小节中的和弦进程的信息。低音信息是指示具有规定长度的小节中的低音声音进程的信息。鼓信息是表示在具有规定长度的小节中的鼓声进程(鼓的模式或节奏)的信息。
[0077]
歌词信息750包括歌词id和歌词信息。歌词id是歌词信息的识别信息。歌词信息是表示具有规定长度的小节中的歌词的信息。歌词信息例如是作为歌词源的短语或字符关键字。信息处理设备200还可以通过使用样式信息700的多条歌词信息750来执行自动歌词写入。
[0078]
样式调色板信息730是其中针对相同小节的乐谱信息740的乐谱id和歌词信息750的歌词id与作为样式调色板信息的识别信息的样式调色板id相关联地注册的信息。
[0079]
样式调色板序列信息720是指示样式调色板信息730的顺序的信息。样式调色板序列信息720包括多个集合，每个集合包括唯一地指示样式调色板信息730的样式调色板id和条小节索引，以便作为用于管理样式调色板信息730在音乐中的顺序的信息。例如，在图2中示出的实例的情况下，定义音乐的第一至第四小节对应于样式调色板id 731a，第五至第八小节对应于样式调色板id 731b，并且第x至第y小节对应于样式调色板id 731z。
[0080]
信息处理设备200使用样式信息700作为学习数据来执行机器学习并且执行作曲处理。因此，信息处理设备200不学习音乐信息本身，而是学习包括从音乐信息中提取的诸如弦进程、旋律、低音进程等多种类型的特征量的样式信息。即，因为信息处理设备200学习从音乐信息预先提取的多个特征量，所以与学习音乐信息本身的双倍相比，信息处理的负荷较小，并且可以有效地向用户提供音乐信息。
[0081]
具体地，将描述制作者的音乐创作的过程。图3至图7是示出根据实施方式的用户终端300的显示屏幕的实例的示图。当制作者激活用户终端300上的自动作曲功能时，图3中示出的窗口370被显示在用户终端300上。
[0082]
注意，窗口370包括作曲参数设置单元371、样式信息显示单元372、作曲控制单元373和制作的音乐显示编辑单元374。作曲参数设置单元371是其中可以设置诸如音符时值(note duration)和复杂度的参数的区域。样式信息显示单元372是其中可以通过关键字输入或下拉选择来选择要用于作曲的样式信息的区域。作曲控制单元373是可以通过选择作曲执行指令按钮来做出作曲指令的区域。制作的音乐显示编辑单元374是显示显示有旋律和歌词的多个钢琴卷轴(piano roll)的区域。
[0083]
然后，如图4所示，当选择样式调色板选择下拉372a时，包括在信息处理设备200中的每个样式信息的和弦进程被显示在列表中作为候选。
[0084]
和弦进程候选可以任何顺序显示，诸如字母顺序、制作者的使用次数大的顺序、所有用户的使用次数大的顺序、以及样式信息的生成顺序。关于和弦进程，可以显示包括在信息处理设备200中的样式信息的全部或仅一部分。当存在许多和弦进程候选时，可以用寻呼机(pager)来选择显示区域。此外，当制作者在搜索关键字输入字段372b中输入期望的和弦进程时，信息处理设备200可提取包括和弦进程的样式信息并且在样式调色板选择下拉372a中显示所提取的每条样式信息的和弦进程信息的列表。
[0085]
制作者从样式调色板选择下拉372a中呈现的和弦进程中选择期望的和弦进程，并且选择作曲执行指令按钮。由此，信息处理设备200提取具有所选择的和弦进程的样式信息，使用所提取的样式信息700作为学习数据来执行机器学习，并且执行作曲处理。然后，信息处理设备200将音乐信息提供给用户终端300。结果，制作者可以仅通过从在样式调色板选择下拉372a中呈现的和弦进程中选择期望的和弦进程来接收根据和弦进程生成的音乐信息的提供。
[0086]
另外，由于样式信息700包括作为特征量的歌词信息，因此仅通过输入期望的歌词，制作者可以接收与歌词匹配的样式信息的呈现。具体地，如图5所示，当制作者在搜索关键字输入字段372b中输入期望的歌词时，信息处理设备200可提取具有歌词或者与歌词相似的歌词的样式信息并且在样式调色板选择下拉372a中显示所提取的每条样式信息的歌词信息的列表。
[0087]
制作者从在样式调色板选择下拉372a中呈现的歌词信息中选择期望的歌词信息并且选择作曲执行指令按钮。由此，信息处理设备200提取具有所选择的歌词信息的样式信息，使用所提取的样式信息700作为学习数据来执行机器学习，执行作曲处理，并且向用户终端300提供音乐信息。
[0088]
结果，制作者可以仅通过从在样式调色板选择下拉372a中呈现的歌词中选择期望的歌词来接收根据歌词生成的音乐信息的提供。此时，信息处理设备200可根据生成的音乐自动生成歌词，并且向用户终端300提供其中旋律与歌词相关联的音乐信息。在这种情况下，在用户终端300的屏幕上，在图6的旋律显示钢琴卷轴374a上显示旋律和与旋律对应的歌词。
[0089]
此外，如图7所示，在制作者输入歌词的情况下，用户终端300可显示从信息处理设备200中呈现的样式信息的和弦进程的候选列表并且支持制作者的音乐创作。
[0090]
如上所述，信息处理设备200生成具有音乐信息的多种类型的特征量的样式信息作为作曲模型的学习数据集，并且使作曲模型学习样式信息。由此，信息处理设备200向制作者提供根据音乐的特征构成的音乐信息。在下文中，将参考图1描述根据本实施方式的信息处理中的样式信息生成处理的流程。
[0091]
如图1所示，当新注册受版权保护的音乐信息时(步骤s11)，受版权保护的作品管理设备100从每条新注册的受版权保护的音乐信息中提取多种类型的特征量(步骤s12)。此时，例如，受版权保护的作品管理设备100使用十二音调分析技术提取特征量。然后，信息处理设备200从受版权保护的作品管理设备100获取多种类型的特征量(步骤s13)，编译特征量并为每条音乐信息分配样式信息id以生成对应于每条音乐信息的样式信息(步骤s14)。
[0092]
此外，当通过用户终端300的制作者uc的操作输入诸如弦进程、旋律、低音进程等的特征量来创作新音乐时，信息处理设备200获取包括每个特征量的音乐信息(步骤s21)。然后，信息处理设备200从所获取的音乐信息中提取诸如弦进程、旋律、低音进程等特征量(步骤s22)。然后，信息处理设备200通过编译特征量并为每条音乐信息分配样式信息id来生成对应于每条音乐信息的样式信息(步骤s23)。信息处理设备200通过执行图1中示出的处理生成多条样式信息700并且创建数据库。
[0093]
然后，在根据本实施方式的信息处理中，可以更新样式信息。图8是示出了根据本实施方式的信息处理的流程的概念图。如图8所示，在制作者uc创作音乐的同时，当制作者uc选择样式信息时(步骤s31)，信息处理设备200学习样式信息以执行作曲处理，并将音乐信息输出至用户终端300(步骤s32)。用户uc基于所提供的音乐信息进一步执行演奏。当接收到演奏信息时(步骤s33)，信息处理设备200将演奏信息添加到用于作曲的样式信息并更新样式信息(步骤s34)。
[0094]
如上所述，在根据本实施方式的信息处理中，根据制作者uc对音乐的创作来更新所使用的样式信息。由此，信息处理设备200可使样式信息更接近制作者uc的音乐创作风格，并且编排并提供与制作者uc的风格匹配的音乐信息。
[0095]
上面已经描述了根据本实施方式的信息处理的总体流程的概述。在图9和随后的附图中，将描述包括受版权保护的作品管理设备100、信息处理设备200和用户终端300的信息处理系统1的配置，并且将按顺序描述各种处理的细节。
[0096]
[1-2.根据实施方式的信息处理系统的配置]
[0097]
图9是示出了根据实施方式的信息处理系统1的实例的示图。如图9所示，信息处理系统1包括用户终端300-1至300-3、信息处理设备200和受版权保护的作品管理设备100。信息处理系统1用作受版权保护的作品管理系统或学习模型信息管理系统。在图9的实例中，示出了三个用户终端300-1至300-3，但是在没有特别区分地描述时称为用户终端300。
[0098]
信息处理设备200和用户终端300经由网络n1通过有线或无线地可通信地彼此连接。此外，信息处理设备200和受版权保护的作品管理设备100经由专用网络n2通过有线或无线地可通信地彼此连接。
[0099]
受版权保护的作品管理设备100管理受版权保护的音乐信息。受版权保护的作品管理设备100定期地注册受版权保护的音乐信息。受版权保护的作品管理设备100从注册的受版权保护的音乐信息中提取多种类型的特征量，并且将所提取的特征量发送到信息处理设备200。
[0100]
用户终端300将由制作者创作的音乐信息发送到信息处理设备200，并且当自动作曲功能被激活时，接收由信息处理设备200作曲的音乐信息的提供。
[0101]
信息处理设备200从受版权保护的音乐信息或制作者创作的音乐信息生成作为学习数据的样式信息，并且执行机器学习以生成作曲模型。信息处理设备200将使用所生成的模型自动作曲的音乐信息提供给用户终端300。
[0102]
[1-3.根据实施方式的受版权保护的作品管理设备的配置]
[0103]
接下来，将参考图10描述在图9中示出的受版权保护的作品管理设备100的配置。图10为示出根据该实施方式的受版权保护的作品管理设备100的配置实例的示图。如图10所示，受版权保护的作品管理设备100包括通信单元110、存储单元120和控制单元130。
[0104]
通信单元110由例如网络接口卡(nic)等实现。通信单元110通过有线或者无线地连接至专用网络n2，并且经由专用网络n2将信息传输至信息处理设备200并且从信息处理设备200接收信息。
[0105]
存储单元120由例如半导体存储元件(诸如随机存取存储器(ram)或闪存)或存储设备(诸如硬盘或光盘)实现。存储单元120存储用于信息处理的各种数据。存储单元120包括受版权保护的音乐信息存储单元121、音乐存储单元122和特征信息存储单元123。
[0106]
受版权保护的音乐信息存储单元121存储关于作为过去制作的受版权保护的作品的受版权保护的音乐的信息。图11为示出根据实施方式的受版权保护的音乐信息存储单元121的实例的示图。
[0107]
如图11所示，受版权保护的音乐id、受版权保护的音乐元信息和mp3文件名存储在受版权保护的音乐信息存储单元121中。例如，受版权保护的音乐id是用于唯一地指定诸如beat1es、michael jackson等的受版权保护的音乐的识别信息。受版权保护的音乐元信息例如是关于受版权保护的音乐的附加信息，诸如受版权保护的音乐的标题、艺术家名称、专辑名称、发行日期、流派、情绪和歌词。mp3文件名是用于指定受版权保护的音乐的mp3文件的文件名。
[0108]
音乐存储单元122存储受版权保护的音乐的音乐信息。图12是示出根据实施方式的音乐存储单元122的实例的示图。如图12所示，音乐存储单元122存储每个受版权保护的音乐的mp3文件。mp3文件可以由存储在受版权保护的音乐信息存储单元121中的mp3文件名指定。
[0109]
特征信息存储单元123存储受版权保护的音乐的多种类型的特征量。图13是示出根据实施方式的特征信息存储单元123的实例的示图。如图13所示，在特征信息存储单元123中，与受版权保护的音乐id相关联地存储受版权保护的音乐特征量。受版权保护的音乐特征信息包括指示整个受版权保护的音乐的特征的整体信息和指示特征按时间序列改变的时间序列信息。
[0110]
图14是示出根据实施方式的整体信息的实例的示图。如图14所示，整体信息包括例如节奏信息(tempo information)、时间签名信息以及诸如流派和情绪的音乐类型信息。音乐类型信息例如是诸如十二音调分析技术的自动声道(channel)的信息。
[0111]
图15是示出根据实施方式的构成受版权保护的音乐特征信息的时间序列信息的实例的示图。如图15所示，时间序列信息包括例如节拍信息、和弦进程信息、音乐结构信息以及旋律信息。节拍信息包括例如每个节拍的时间位置信息和每个小节的时间位置信息，
诸如节拍器。和弦进程信息是根据音乐流的伴奏和弦的时间序列进程的信息，例如，指示诸如“c-f-am-g7”的和弦进程的信息。音乐结构信息是诸如作为整体音乐的结构的“第1节-第2节-和声-第1节-和声”的信息。例如，旋律信息包括从音乐的音频信息类推的旋律线的信息。
[0112]
返回参考图10，将继续描述。控制单元130通过例如使用随机存取存储器(ram)等作为工作区域执行存储在用户终端300内部的程序的中央处理单元(cpu)、微处理单元(mpu)等来实现。此外，控制单元130是控制器，并且可以通过例如集成电路(诸如专用集成电路(asic)或现场可编程门阵列(fpga))来实现。
[0113]
控制单元130包括管理单元131、提取单元132和发送单元133，并且实现或执行下述的信息处理的功能或操作。
[0114]
管理单元131管理与受版权保护的作品管理设备100相关的各种信息。例如，管理单元131将各种信息存储在存储单元120中，并且适当地更新所存储的信息。具体地，管理单元131将新的受版权保护的音乐存储在受版权保护的音乐信息存储单元121中并更新关于新的受版权保护的音乐的信息。
[0115]
提取单元132从受版权保护的音乐信息中提取多种类型的特征量。提取单元132以预设定时获取定期地注册的受版权保护的音乐信息，并且从获取的受版权保护的音乐信息中提取作为特征量的和弦进程信息、节拍信息、旋律信息和鼓信息。提取单元132相对于每个新注册的受版权保护的音乐提取每个受版权保护的音乐的mp3文件的音乐特征量，并获得特征信息。提取单元132使用例如十二音调分析技术从音乐信息中提取各种特征量，并且在特征信息存储单元123中将所提取的特征量注册为受版权保护的音乐特征信息。
[0116]
提取单元132经由信息处理设备200从由系统管理员使用的管理人员终端(未示出)接收受版权保护的音乐提取指令，以对受版权保护的音乐信息执行特征量提取处理。可替代地，提取单元132通过从信息处理设备200接收受版权保护的音乐提取指令相对于受版权保护的音乐信息执行特征量提取处理。
[0117]
传输单元133将由提取单元132提取的受版权保护的音乐信息的多种类型的特征量与例如关于受版权保护的音乐信息(诸如音乐结构信息、受版权保护的音乐元信息等)的信息一起传输至信息处理设备200。
[0118]
[1-4.根据实施方式的信息处理设备的配置]
[0119]
接下来，将参考图16描述在图9中示出的信息处理设备200的配置。图16是示出根据实施方式的信息处理设备200的配置实例的示图。如图16所示，信息处理设备200包括通信单元210、存储单元220以及控制单元230。应注意，信息处理设备200可包括从管理信息处理设备200的管理者等接收各种操作的输入单元(例如，键盘、鼠标等)以及用于显示各种信息的显示单元(例如，液晶显示器等)。
[0120]
通信单元210由例如nic等实现。通信单元210通过有线或无线地连接至网络n1和专用网络n2，并且经由网络n或专用网络n2将信息传输至用户终端300、受版权保护的作品管理设备100等和从用户终端300、受版权保护的作品管理设备100等接收信息。
[0121]
存储单元220由例如半导体存储元件(诸如ram或闪存)或存储设备(诸如硬盘或光盘)实现。存储单元220存储用于信息处理的各种数据。
[0122]
如图16所示，存储单元220包括用户信息存储单元221、样式信息存储单元222、所
有权信息存储单元223、制作信息存储单元224和操作历史信息存储单元225。
[0123]
用户信息存储单元221存储关于用户的各种信息(用户信息)。图17是示出根据实施方式的用户信息存储单元221的实例的示图。
[0124]
用户信息存储单元221存储包括用户id、用户元信息和权限信息(authority information)的用户信息。用户信息存储单元221将与每个用户id对应的用户元信息或权限信息与每个用户id关联存储。
[0125]
用户id表示用于唯一地指定用户的识别信息。例如，用户id表示用于唯一地指定诸如制作者、一般用户、系统管理员等的用户的识别信息。用户元信息例如是用户的附加信息，诸如用户的名称和地址。作为权限信息，例如，存储用于识别权限的值，诸如系统管理员权限信息、制作者权限信息和一般用户权限信息。注意，用户信息存储单元221不限于以上内容，并且可以根据目的存储各种类型的信息。关于用户的各种信息可以用户元信息存储。例如，在用户是自然人的情况下，人口统计属性信息、心理属性信息(诸如用户的性别和年龄)等可以以用户元信息存储。
[0126]
样式信息存储单元222存储关于作曲模型的信息。图18是示出根据实施方式的样式信息存储单元222的实例的示图。
[0127]
样式信息存储单元222存储学习模型信息，包括模型信息id、创作者id、模型信息元信息、样式信息700、受版权保护的作品id、以及共享可用性信息。样式信息存储单元222与每个模型信息id相关联地存储对应于每个模型信息id的创作者id、模型信息元信息、样式信息、受版权保护的作品id以及共享可用性信息。
[0128]
模型信息id表示用于唯一地指定作曲模型信息的识别信息。创作者id表示用于唯一地指定对应的作曲模型信息的创作者的识别信息。例如，创作者id表示用于唯一地指定诸如系统管理者、制作者、一般用户等的用户的识别信息。
[0129]
模型信息元信息例如是表示要学习的受版权保护的作品的特征的信息。学习模型信息元信息是诸如音乐的节拍、风格、诸如亮和暗的气氛、诸如第一节、第二节和和声的音乐的结构、和弦进程、音阶(scale)和教会调式(church mode)等信息。
[0130]
样式信息700是由包括在信息处理设备200中的生成单元233(下面描述)生成的作曲模型的学习数据。如图2所示，样式信息是这样的信息，其中，从音乐信息中提取的诸如弦进程、旋律和低音进程的多种类型的特征量与预定的识别信息相关联。
[0131]
共享可用性信息表示例如是否可以共享相应的学习模型。作为共享可用性信息，例如，存储用于指定和识别是否可以共享相应学习模型的值。
[0132]
注意，样式信息存储单元222不限于上述，并且可以根据目的存储各种类型的信息。例如，作曲模型信息元信息可以存储与作曲模型相关的各种类型的附加信息，诸如与创作作曲模型时的日期和时间相关的信息。
[0133]
所有权信息存储单元223存储关于在创作音乐时由创作音乐的制作者选择的样式信息的各种信息。图19是示出根据实施方式的所有权信息存储单元223的实例的示图。所有权信息存储单元223将创作音乐的制作者的用户id和由制作者选择的样式信息id彼此相关联地存储。
[0134]
制作信息存储单元224存储关于所制作的音乐的各种信息。图20是示出根据实施方式的制作信息存储单元224的实例的示图。如图20所示，制作信息存储单元224将创作音
乐的制作者的用户id和由制作者创作的乐谱id彼此相关联地存储。
[0135]
操作历史信息存储单元225存储制作者对用户终端300的操作历史信息。操作历史信息存储单元225将与每个用户id相对应的操作历史与每个用户id相关联地存储。操作历史信息表示制作者的操作历史。例如，操作历史信息可包括关于制作者的操作的各种信息，诸如由制作者执行的操作的内容、执行操作的日期和时间等。操作的实例包括从信息处理设备200呈现的样式信息的选择、作曲执行指令按钮的选择以及从信息处理设备200接收的音乐信息的再现和编辑。
[0136]
返回参考图16，将继续描述。控制单元230通过例如使用ram等作为工作区域执行存储在信息处理设备200中的程序(例如，根据本实施方式的信息处理程序)的cpu、mpu等来实现。此外，控制单元130是控制器，并且可以通过例如集成电路(诸如asic或fpga)来实现。
[0137]
控制单元230包括获取单元231、提取单元232、生成单元233、接收单元234、选择单元235、传输单元236、作曲单元237以及更新单元238，并且实现或执行下面描述的信息处理的功能或操作。
[0138]
获取单元231获取音乐信息。获取单元231经由网络n1与用户终端300通信以获取由制作者创作的音乐信息。音乐信息由制作者使用安装在用户终端300中的与音乐创作相关的应用(即，自动作曲功能)来创作，并且包括与音乐相关的特征量，诸如，和弦进程、旋律、低音进程和鼓音进程。此外，获取单元231经由专用网络n2与受版权保护的作品管理设备100通信，并且接收由受版权保护的作品管理设备100的提取单元132提取的受版权保护的音乐信息的多种类型的特征量以及关于受版权保护的音乐信息的信息。即，获取单元231经由专用网络n2从受版权保护的作品管理设备100接收用于每个新注册的受版权保护的音乐的受版权保护的音乐特征信息。
[0139]
提取单元232从音乐信息提取多种类型的特征量。提取单元132从制作者创作的音乐信息中提取作为特征量的和弦进程信息、节拍信息、旋律信息和鼓信息。提取单元232使用例如十二音调分析技术从音乐信息中提取各种特征量。
[0140]
生成单元233生成样式信息作为作曲处理中的学习数据，在样式信息中，由提取单元232提取的多种类型的特征量与样式信息id相关联。生成单元233将关于由制作者创作的音乐信息的样式信息700的样式信息id和制作者的用户id彼此相关联地注册在制作信息存储单元224中。生成单元233可以将受版权保护的音乐id与关于在受版权保护的作品管理设备100中注册的音乐信息的样式信息700的风格id相关联。
[0141]
接收单元234接收从用户终端300发送的各种信息。例如，接收单元234接收关于使用用户终端300中的自动作曲功能的制作者的信息以及关于制作者选择的样式信息的信息。此外，接收单元234还可以接收要与样式信息700链接的音乐的注册、样式信息的编辑等。
[0142]
当在用户终端300中激活自动作曲功能时，选择单元235选择样式信息的全部或部分。
[0143]
发送单元236将由选择单元235选择的样式信息的呈现信息发送给用户终端300。由此，在用户终端300的样式调色板选择下拉372a中，每个样式信息的和弦进程或歌词信息的列表被显示为候选。然后，当从用户终端300接收到给出关于选择任何呈现的样式信息的指令的指令信息时，选择单元235从样式信息存储单元222中选择所选择的样式信息。
[0144]
作曲单元237基于由选择单元235选择的样式信息，使用机器学习作曲音乐信息，并且将作曲的音乐信息传输至用户终端300。作曲单元237可以使用各种现有的音乐生成算法来作曲音乐。例如，作曲单元237可以使用利用马尔可夫链的音乐生成算法，或者可以使用利用深度学习的音乐生成算法。此外，作曲单元237可以针对从用户终端300发送的指令信息生成多条音乐信息。由此，制作者可以从作曲单元237接收多个建议，并且因此可以使用更多的各种信息来进行作曲工作。
[0145]
在从用户终端300接收到基于由作曲单元237作曲的音乐信息的演奏信息的情况下，更新单元238将演奏信息添加到选择的样式信息，以更新选择的样式信息。
[0146]
[1-5.根据实施方式的用户终端的配置]
[0147]
接下来，将参考图21描述在图9中示出的用户终端300的配置。图21是示出根据实施方式的用户终端300的配置实例的示图。如图21所示，用户终端300包括通信单元310、输入单元320、输出单元330、存储单元340、控制单元350和显示单元360。
[0148]
通信单元310由例如nic、通信电路等实现。通信单元310通过有线或无线地连接至网络n1，并且经由网络n1将信息传输至另一设备等(诸如，信息处理设备200、另一终端设备等)并且从另一设备等(诸如，信息处理设备200、另一终端设备等)接收信息。
[0149]
各种操作从用户被输入到输入单元320。输入单元320包括连接至用户终端3000的键盘和鼠标。输入单元320从用户接收输入。输入单元320使用键盘或鼠标接收用户输入。输入单元320可具有检测语音的功能。在这种情况下，输入单元320可包括检测语音的麦克风。
[0150]
各种信息可经由显示单元360输入到输入单元320。在这种情况下，输入单元320可具有能够实现与键盘和鼠标的功能等同的功能的触摸面板。在这种情况下，输入单元12通过各种传感器实现的触摸面板的功能经由显示屏幕接收来自用户的各种操作。应注意，作为检测通过输入单元320的用户操作的方法，在平板终端中主要采用电容方法，但是可以采用任何方法，只要可以检测用户的操作并且可以实现触摸面板的功能即可，诸如，电阻膜方法、表面声波方法、红外方法以及电磁感应方法，其是其他检测方法。此外，用户终端300可以包括还接收通过按钮等的操作的输入单元。
[0151]
输出单元330输出各种信息。输出单元330包括输出声音的扬声器。
[0152]
存储单元340由例如半导体存储元件(诸如ram或闪存)或存储设备(诸如硬盘或光盘)实现。存储单元340存储用于显示信息的各种信息。
[0153]
例如，通过使用ram等作为工作区域执行存储在用户终端300中的程序的cpu、mpu等实现控制单元350。此外，控制单元350是控制器，并且可以通过例如asic或fpga等集成电路来实现。控制单元350包括显示控制单元351、注册单元352、传输/接收单元353、选择单元354、再现单元355和演奏接收单元(performance reception unit)356。
[0154]
显示控制单元351控制相对于显示单元360的各种显示。显示控制单元351控制显示单元360的显示。显示控制单元351基于从信息处理设备200接收的信息控制显示单元360的显示。显示控制单元351基于通过控制单元350的每个部件的处理所产生的信息来控制显示单元360的显示。显示控制单元351可利用显示图像的应用来控制显示单元360的显示。
[0155]
显示控制单元351通过daw和ai使用自动作曲功能的应用使显示单元360显示窗口370(参见图3至图7)等。此外，当从信息处理设备200接收样式信息的呈现信息时，显示控制单元351在窗口370的样式调色板选择下拉372a(参见图4)中显示所呈现的样式信息的和弦
进程和歌词。此外，当接收由信息处理设备200生成的音乐信息和歌词信息时，显示控制单元351在窗口370的旋律显示钢琴卷轴374a(见图7)上显示旋律和与旋律对应的歌词。
[0156]
注册单元352接收各种信息的注册。例如，注册单元352接收在激活daw等时由用户设置的鼓模式、和弦进程和旋律的注册。例如，通过显示图像im11、im21、im31和im41(图26和图27)的应用注册鼓模式、和弦进程和旋律。
[0157]
发送/接收单元353与信息处理设备200通信，并且发送和接收各种信息。发送/接收单元353将包括由注册单元352接收的鼓模式、和弦进程和旋律的音乐信息发送到信息处理设备200。此外，当激活自动作曲功能时，发送/接收单元353接收从信息处理设备200发送的样式信息的呈现信息。发送/接收单元353将给出关于选择样式信息的指令的指令信息发送到信息处理设备200。然后，传输/接收单元353接收由信息处理设备200生成的音乐信息和歌词信息。此外，发送/接收单元353将关于用户终端300接收的演奏的演奏信息发送到信息处理设备200。
[0158]
选择单元354选择从信息处理设备200中呈现的任何样式信息。例如，由用户通过输入单元320的操作来选择窗口370的样式调色板选择下拉372a(参见图4)中显示的和弦进程中的任何和弦进程。由此，选择单元354将用于选择与所选择的和弦进程相对应的样式信息的指示信息从发送/接收单元353发送至信息处理设备200。
[0159]
再现单元355再现由信息处理设备200生成的音乐信息。具体而言，再现单元255对音乐数据所包含的旋律、和弦和低音中的每个设定任意的乐器信息，并再现每条数据。注意，再现单元255也可以对旋律、和弦、低音各自的组合进行再现。
[0160]
演奏接收单元356在制作者使用自动作曲功能执行演奏以及作曲时接收制作者的演奏。例如，演奏接收单元356接收通过自动作曲功能根据由信息处理设备200生成的音乐信息的再现要执行的演奏信息。
[0161]
显示单元360显示各种信息。显示单元360由例如液晶显示器、有机电致发光(el)显示器等实现。显示单元360根据显示控制单元351的控制显示各种信息。显示单元360还可显示诸如从信息处理设备200提供的图像的信息。
[0162]
[1-6.根据实施方式的信息处理的过程]
[0163]
[1-6-1.生成受版权保护的音乐信息的样式信息的处理]
[0164]
接下来，参照图22，描述根据实施方式的各种信息处理的过程。首先，作为根据实施方式的一条信息处理，将描述有关受版权保护的音乐信息的样式信息的自动生成处理。图22是示出根据实施方式的信息处理的过程的序列图。
[0165]
如图22中所示，当新注册受版权保护的音乐信息时(步骤s101)，受版权保护的作品管理设备100从每条新注册的受版权保护的音乐信息中提取多种类型的特征量(步骤s102)。此时，例如，受版权保护的作品管理设备100使用十二音调分析技术提取特征量。然后，受版权保护的作品管理设备100经由专用网络n2将包括从受版权保护的音乐信息中提取的多种类型的特征量的受版权保护的音乐特征信息和关于受版权保护的音乐信息的信息传输到信息处理设备200(步骤s103)。
[0166]
信息处理设备200基于所接收的受版权保护的音乐特征信息自动创作样式信息700(步骤s104)。例如，信息处理设备200可根据受版权保护的音乐特征信息的节拍信息、和弦进程信息以及旋律信息生成乐谱信息740。例如，信息处理设备200可从受版权保护的音
乐元信息的歌词信息生成歌词信息750。
[0167]
例如，信息处理设备200可对来自多条乐谱信息740和歌词信息750的弦信息的类似和弦进程进行捆绑以生成样式调色板信息730。类似的和弦进程例如是相同的和弦进程。可替代地，类似的和弦进程可以是使得每个和弦被分类成主音(tonic，t)、下属音(sub-dominat，s)和属音(dominat，d)，并且t、s和d的序列是相同的。注意，在c大调(c major)和a小调(a minor)的情况下，t是c/em/am，s是f和dm，并且d是g和dm7-5。然后，由于和弦进程c-d-g-c和em-dm-bm7-5-am均为t-s-d-t，因此可以认为它们是相同的和弦进程。此外，关于类似和弦进程，可以例如基于机器学习或深度学习而不是使用音乐理论来对类似和弦进程进行分类。
[0168]
此外，信息处理设备200可以将自动生成的样式调色板信息730独立地注册在样式调色板序列信息720中。信息处理设备200可以生成并注册其中布置了多条样式调色板信息730的样式调色板序列信息720。当布置多条样式调色板信息730时，信息处理设备200可参考音乐结构信息布置样式调色板信息730。
[0169]
随后，信息处理设备200将所生成的样式信息与受版权保护的音乐信息的识别信息相关联地注册(步骤s105)，并且将样式信息存储在样式信息存储单元222中。
[0170]
[1-6-2.生成由制作者创作的音乐信息的样式信息的处理]
[0171]
还可相对于制作者创作的音乐信息来生成样式信息。因此，将参考图23描述生成关于由制作者创作的音乐信息的样式信息的处理。图23是示出根据实施方式的信息处理的过程的序列图。
[0172]
如图23所示，当制作者操作用户终端300时，激活诸如daw的作曲功能(步骤s111)，并且选择样式信息的创作(步骤s112)，从用户终端300发送指示作曲开始的作曲开始信息(步骤s113)。然后，当接收到作曲开始信息时，信息处理设备200发送作曲所需的信息(步骤s114)。
[0173]
随后，用户终端300根据ui指令通过制作者的操作注册鼓模式(例如，hight hat、bass drumus、snare的节拍、小节数和节拍位置)(步骤s115)。当步骤s115结束时，用户终端300根据制作者的操作注册和弦进程(步骤s116)。
[0174]
在步骤s116结束之后，作曲功能应用自动执行鼓进程和和弦进程，因此，制作者将旋律多次输入到用户终端300。通过该输入操作，用户终端300注册输入的旋律(步骤s117)。用户可使用作曲功能另外输入歌词信息。用户终端300继续旋律注册，直到用户的旋律输入结束。当用户的旋律注册结束时(步骤s118)，用户终端300将制作者的音乐信息发送到信息处理设备200(步骤s119)。音乐信息包括诸如鼓模式、和弦进程和旋律的特征量。
[0175]
信息处理设备200提取音乐信息中包括的每个特征量以生成乐谱信息和歌词信息，并且从乐谱信息和歌词信息生成样式调色板信息(步骤s120)。
[0176]
然后，信息处理设备200获得音乐信息的每条样式调色板序列信息，并且通过将样式信息id与乐谱信息、歌词信息、样式调色板信息以及样式调色板序列信息相关联来生成样式信息700(步骤s121)。
[0177]
信息处理设备200将样式信息700注册在样式信息存储单元222中(步骤s122)。同时，信息处理设备200将其中样式信息id和制作者的用户id彼此相关联的数据注册在所有权信息存储单元223中。然后，信息处理设备200将其中制作者的乐谱id和用户id彼此相关
联的数据注册在制作信息存储单元224中，并且结束样式信息生成处理。注意，可以通过制作者使用作曲功能排列多条样式调色板信息来生成样式调色板序列信息。
[0178]
通过执行图22和图23的处理，在信息处理设备200中累积多条样式信息700。诸如制作者之类的用户可以从多条样式信息中选择所期望的一条样式信息并且使用自动作曲。
[0179]
[1-6-3.更新样式信息的处理]
[0180]
样式信息还可由制作者更新。因此，将参考图24描述生成关于由制作者创作的音乐信息的样式信息的处理。图24是示出根据实施方式的信息处理的过程的序列图。
[0181]
在根据制作者激活用户终端300上的自动作曲功能而接收到作曲开始信息时(步骤s132)(步骤s131)，信息处理设备200选择样式信息(步骤s133)并且将样式信息的呈现信息发送给用户终端300(步骤s134)。例如，信息处理设备200从样式信息存储单元222中选择所有样式信息、制作者使用的次数超过预定次数的样式信息、或者所有用户使用的次数超过预定次数的样式信息，并且发送所选择的样式信息的呈现信息。
[0182]
然后，用户终端300基于呈现信息显示样式信息的列表(步骤s135)。例如，用户终端300将样式信息的和弦进程的列表显示为候选。然后，在用户终端300中，当制作者选择样式信息时(步骤s136)，将指示所选择的样式信息的选择信息发送至信息处理设备200(步骤s137)。
[0183]
信息处理设备200提取所选择的样式信息，使用所提取的样式信息作为学习数据来执行机器学习并且执行作曲处理(步骤s138)，并且将音乐信息提供给用户终端300(步骤s139)。要注意的是，信息处理设备200通过提取单元232提取作曲的音乐信息的特征量，在存储单元220中存储包括特征量的新乐谱信息，并且在所有权信息存储单元223中注册新乐谱信息。
[0184]
当再现所提供的音乐时(步骤s140)，用户终端300接收演奏处理(步骤s141)。制作者使用midi键盘等进行演奏的情况下，演奏信息是midi信息。当接收演奏信息的传输时(步骤s142)，信息处理设备200从演奏信息中提取特征量(步骤s143)。
[0185]
信息处理设备200通过将从演奏信息中提取的特征量作为乐谱信息添加到制作者所选择的样式信息中来更新样式信息(步骤s144)。由此，由于制作者的实际演奏被添加到制作者选择的样式信息，因此使用样式信息自动作曲的音乐信息接近制作者的样式。即，可以使样式信息接近演奏音乐的制作者的风格。重复步骤s140到s142的处理，直到制作者结束演奏为止。然后，在重复步骤s140到s142的重复处理中产生的乐谱信息被存储在存储单元220中，直到音乐完成。
[0186]
由此，利用信息处理系统1，由于制作者的实际演奏被添加到制作者选择的样式信息，因此使用样式信息自动作曲的音乐信息接近制作者的风格。即，利用信息处理系统1，可以使样式信息接近演奏音乐的制作者的风格。
[0187]
然后，当制作者的演奏结束时(步骤s145：是)，制作者例如操作用户终端300进行设置处理(步骤s146)和混合熟悉处理(mixing and mastering processing)(步骤s147)。
[0188]
[1-7.信息处理系统的配置的概念图]
[0189]
此处，将参考图25概念地描述信息处理系统中的每个功能、硬件配置和数据。图25为示出信息处理系统的配置的概念图的示例的示图。具体地，图25是示出了作为应用信息处理系统1的实例的系统的功能概要的示意图。
[0190]
[1-7-1.关于总体构造]
[0191]
图25中示出的受版权保护的音乐管理服务器设备对应于信息处理系统1中的受版权保护的作品管理设备100。图25中示出的服务器设备对应于信息处理系统1中的信息处理设备200。此外，图25中示出的系统管理器应用单元对应于安装在系统管理器所使用的终端中的应用。此外，图25中示出的制作者应用程序单元对应于安装在信息处理系统1中的用户终端300中的应用程序。此外，图25中示出的普通用户应用程序单元对应于安装在普通用户所使用的终端中的应用程序。在图25的实例中，示出了一个系统管理器应用单元、一个音乐制作者应用单元以及一个通用用户应用单元，但是根据对应终端的数量，可包括多个这些单元。
[0192]
图25中示出的受版权保护的音乐管理服务器装置的控制单元对应于受版权保护的作品管理设备100的控制单元130。例如，受版权保护的音乐管理服务器装置的受版权保护的音乐管理单元对应于受版权保护的作品管理设备100的管理单元131。受版权保护的音乐管理服务器设备的受版权保护的音乐特征信息分析功能对应于受版权保护的作品管理设备100的提取单元132。受版权保护的音乐管理服务器装置的受版权保护的音乐管理服务器数据库单元对应于受版权保护的作品管理设备100的存储单元120。
[0193]
图25中示出的服务器设备的学习处理单元和控制单元对应于信息处理设备200的控制单元230。例如，服务器设备的学习处理单元对应于信息处理设备200的作曲单元237。服务器装置的服务器数据库单元与信息处理设备200的存储单元220相对应。
[0194]
图25中示出的音乐制作者应用程序单元的显示操作单元和控制单元对应于用户终端300的控制单元350。例如，音乐制作者应用单元的显示操作单元对应于用户终端300的显示控制单元351。系统管理器应用单元和普通用户应用单元的显示操作单元和控制单元对应于每个用户使用的终端装置的控制单元。
[0195]
如图25所示，服务器设备经由诸如因特网的网络n1连接至系统管理器应用单元、音乐制作者应用单元以及一般用户应用单元。此外，服务器设备经由专用网络n2连接至受版权保护的音乐管理服务器设备。
[0196]
[1-7-2.关于受版权保护的音乐管理服务器设备]
[0197]
首先，将描述与受版权保护的音乐管理服务器设备相关的配置。
[0198]
受版权保护的音乐管理服务器设备包括控制单元和受版权保护的音乐管理服务器数据库单元。受版权保护的音乐管理服务器设备的控制单元包括受版权保护的音乐管理功能和受版权保护的音乐特征信息分析功能。
[0199]
[1-7-3.关于服务器设备]
[0200]
首先，将描述与服务器设备相关的配置。
[0201]
服务器设备包括控制单元、学习处理单元和服务器数据库单元。服务器设备的控制单元具有生成的音乐信息管理功能、样式信息管理功能、用户操作历史信息管理功能和受版权保护的音乐分析功能。服务器设备的学习处理单元具有机器学习处理功能和深度学习处理功能。
[0202]
[1-7-4.关于音乐制作者应用单元]
[0203]
接下来，将描述与音乐制作者应用单元相关的配置。
[0204]
音乐制作者应用单元包括显示操作单元和控制单元。音乐制作者应用单元的显示
操作单元具有制作的音乐信息显示功能和样式信息显示编辑功能。音乐制作者应用单元具有样式信息共享功能和用户操作历史信息发送功能。
[0205]
音乐制作者应用单元例如是音乐编辑软件(daw等)，并且能够通过制作的音乐信息显示功能显示例如音乐信息。例如，当daw具有ai辅助的音乐制作功能时，可以使用学习模型信息显示编辑功能制作新音乐信息。系统管理者应用单元和普通用户应用单元具有相同的配置，并且用户对系统的权限不同。
[0206]
[1-8.ui(用户界面)]
[0207]
这里，将参考图26和图27描述包括通过应用(音乐创作应用)的信息显示的自动作曲功能的细节。图26和图27是示出根据实施方式的用户界面的实例的示图。
[0208]
图26示出了当在用户终端300的屏幕上显示音乐创作应用时的用户界面的实例。
[0209]
在图26中示出的实例中，用户界面if11显示由音乐创作应用程序接收的音乐数据。注意，虽然以下将描述细节，但是音乐创作应用中的音乐数据包括三种类型的数据：旋律、和弦和低音。图26中示出的用户界面if11显示三种类型的数据中与旋律相关的数据。
[0210]
设置信息st11显示关于作为自动作曲功能中设置信息的实例的样式调色板的信息。样式调色板是用于指定成为机器学习的学习数据的样式信息的指定信息。
[0211]
设置信息st12显示关于和音(harmony)的信息，这是自动作曲功能中设置信息的实例。关于和音的信息是例如用于确定包含在和弦中的组成声音出现在由信息处理设备200组成的音乐数据中的旋律中的概率的信息。例如，当用户将与和音有关的信息设置为“严格”时，包括在和弦中的组成声音出现在自动作曲的音乐数据中的旋律中的概率增加。另一方面，当用户将与和音有关的信息设置为“松散”时，包括在和弦中的组成声音出现在自动作曲音乐数据的旋律中的概率降低。图26的实例指示用户将有关和音的信息应用于“严格”。
[0212]
设置信息st13显示音符时值信息，这是自动作曲功能中的设置信息的实例。例如，音符时值信息是用于确定由信息处理设备200作曲的音乐数据中的音符时值的信息。例如，当用户将音符时值信息设置为“长”时，具有相对长长度的要发出的声音的音符(例如，整个音符、半音符等)出现在自动作曲的音乐数据中的概率增加。另一方面，当用户将音符时值信息设置为“短”时，具有相对短长度的要发出的声音的音符(例如，第八音符、第十六音符等)出现在自动作曲的音乐数据中的概率增加。
[0213]
设置信息st14显示用于确定包括在指定信息(由用户指定的样式调色板)中的除了素材音乐之外的素材音乐的类型和量的信息，该指定信息是自动作曲功能中的设置信息的实例。这样的信息是例如用于确定是否基于在由信息处理设备200作曲的音乐数据中由用户指定的样式调色板中包括的音乐严格执行学习的信息。例如，当用户将这样的信息设置为“永不”时，除了包括在样式调色板中的音乐之外的音乐不太可能在自动作曲的学习中使用。另一方面，当用户将这样的信息设置为“仅”时，除了包括在样式调色板中的音乐之外的音乐更可能被用于自动作曲的学习中。
[0214]
音乐数据mdt1显示从信息处理设备200发送的特定音乐数据。在图26的实例中，音乐数据mdt1包括表示诸如cm的和弦进程的信息、表示小节中的音高或音符时值的信息、音符的音高的转换(换言之，旋律)等。此外，如图26所示，例如，音乐数据mdt1可包括四种类型的不同内容。即，信息处理设备200可发送多条音乐数据而不是仅发送一种类型的自动作曲
的音乐数据。由此，用户能够从多个产生的音乐数据候选中选择其喜爱的音乐数据，或者通过组合多条音乐数据来对喜爱的音乐作曲。
[0215]
应注意，图26中示出的用户界面if11显示与三种类型的数据中的旋律相关的数据：包括在音乐数据中的旋律、和弦和低音，并且其他数据被显示在另一用户界面上。将参照图27描述这一点。
[0216]
如图27所示，除了显示与旋律相关的数据的用户界面if11之外，用户终端300还可以在屏幕上显示显示与和弦相关的数据的用户界面if12和显示与低音声音相关的数据的用户界面if13。尽管在图27中未示出，但是在用户界面if12或用户界面if13上显示与用户界面if11中的音乐数据mdt1不同的音符信息。具体而言，在用户界面if12上显示与对应于音乐数据的旋律的和弦有关的音符信息(例如，cm和弦的组成声音等)。此外，与对应于音乐数据的旋律或和弦的低音有关的音符信息(例如，在cm和弦的情况下，“c”声音等)被显示在用户界面if13上。
[0217]
用户可以从所显示的用户界面if11、用户界面if12和用户界面if13中选择要复制的信息，并且执行诸如编辑低音的一部分的工作。
[0218]
[2.根据本实施方式的效果]
[0219]
如上所述，根据本实施方式的信息处理设备(实施方式中的信息处理设备200)包括获取单元(实施方式中的获取单元231)、提取单元(实施方式中的提取单元232)和生成单元(实施方式中的生成单元233)。获取单元获取音乐信息。提取单元从由获取单元获取的音乐信息中提取多种类型的特征量。生成单元生成其中由提取单元提取的多种类型的特征量与预定的识别信息相关联的信息，作为在使用机器学习的作曲处理中用作学习数据的音乐特征信息(实施例中的样式信息)。
[0220]
如上所述，根据实施方式的信息处理设备可以生成具有音乐信息的多种类型的特征量的样式信息作为作曲模型的学习数据集。根据实施方式的信息处理设备使作曲模型学习样式信息，使得可以将根据音乐的特征作曲的音乐信息提供给包括制作者的每个用户。因此，根据实施方式的信息处理设备可以提高用户的音乐创作的便利性。
[0221]
此外，获取单元通过从终端设备(实施例中的用户终端300)接收包括与由制作者使用安装在终端设备中的音乐创作相关应用创作的音乐相关的特征量的音乐信息来获取音乐信息。提取单元提取包括在音乐信息中的多种类型的特征量。生成单元将制作者的识别信息与音乐特征信息相关联。由此，信息处理设备可以生成关于制作者创作的音乐信息的音乐特征信息。
[0222]
另外，制作者所创作的与音乐有关的特征量是具有规定长度的小节中表示和弦进程的和弦进程信息、表示旋律的旋律信息、以及表示低音进程的低音信号。因此，关于由制作者创作的音乐信息，因为信息处理设备可以使用与制作者创作的音乐有关的特征量来生成音乐特征信息，所以可以快速生成音乐特征信息。
[0223]
另外，与制作者创作的音乐有关的特征量是具有规定长度的小节中表示鼓进程的鼓进程信息。因此，信息处理设备可以生成包括鼓进程信息的音乐特征信息。
[0224]
此外，获取单元以预设定时获取定期地注册的受版权保护的音乐信息。提取单元从受版权保护的音乐信息中提取多种类型的特征量。生成单元将受版权保护的音乐信息的识别信息与样式信息相关联。因此，信息处理设备200可自动生成关于定期地注册的受版权
保护的音乐信息的音乐特征信息。
[0225]
此外，信息处理设备包括根据从安装有音乐创作相关应用的终端装置接收的指令信息发送音乐特征信息的呈现信息的发送单元(本实施例中的发送单元236)。信息处理设备包括作曲单元(实施例中的作曲单元237)，当从终端装置接收到音乐特征信息的选择时，作曲单元基于所选择的特征信息，使用机器学习来对音乐信息进行作曲，并且将作曲的音乐信息发送到终端装置。由此，信息处理设备将与指令信息相对应的音乐特征信息呈现给终端装置，使得制作者可以从音乐特征信息中选择期望的音乐特征信息。然后，信息处理设备可以提供基于制作者所期望的音乐特征信息构成的音乐信息。
[0226]
此外，信息处理设备进一步包括更新单元(实施例中的更新单元238)，当从终端装置接收基于由作曲单元发送的音乐信息的演奏信息时，更新单元将演奏信息添加到选择的音乐特征信息，并更新选择的音乐特征信息。由此，信息处理设备可以通过将制作者的演奏信息添加到所选择的音乐特征信息来使音乐特征信息更接近演奏音乐的制作者的风格。
[0227]
另外，提取部从音乐信息中提取具有规定长度的小节中的表示和弦进程的和弦进程信息、表示旋律的旋律信息以及表示低音进程的低音信息作为特征量。生成单元生成包括具有规定长度的小节中的表示和弦的进程的和弦的进程信息、表示旋律的旋律信息、表示低音声音的进程的低音信息的乐谱信息，并将乐谱信息设置为音乐特征信息的组成部分。由此，信息处理设备可以生成包括和弦进程信息、旋律信息和低音信息的音乐特征信息。然后，在作曲时，信息处理设备学习诸如和弦进程信息、旋律信息和低音信息的特征量，而不是音乐信息本身，使得可以有效地将音乐信息提供给用户。
[0228]
提取单元从音乐信息中提取表示在具有规定长度的小节中的鼓声进程的鼓信息作为特征量。生成单元还将鼓进度信息添加到乐谱信息。由此，信息处理设备可以生成包括和弦进程信息、旋律信息、低音信息和鼓信息的音乐特征信息。
[0229]
生成单元根据添加到音乐信息中的歌词信息，生成表示具有规定长度的小节中的歌词的歌词信息，并且将歌词信息设置为音乐特征信息的组成部分。由此，在终端装置搜索歌词的情况下，由于信息处理设备可以提取包括歌词或与歌词类似的歌词的音乐特征信息，并且向终端装置呈现音乐特征信息，因此可以提高用户的音乐创作的便利性。此外，信息处理设备能够自动生成歌词。
[0230]
生成单元生成音乐格式信息，在音乐格式信息中，针对相同小节的乐谱信息的识别信息和歌词信息的识别信息被彼此关联地注册，并且将音乐格式信息设置为音乐特征信息的组成部分。信息处理设备可以通过学习音乐特征信息进一步提供用户期望的音乐信息。
[0231]
生成单元将具有与音乐格式信息中注册的乐谱信息的和弦进程信息相似的和弦进程信息的乐谱信息的识别信息添加并注册到音乐格式信息中。因此，信息处理设备可以随着音乐的结构对音乐信息进行作曲。
[0232]
生成单元生成指示音乐格式信息的顺序的音乐顺序信息并且将音乐顺序信息设置为音乐特征信息的组成部分。因为信息处理设备还可以学习音乐格式信息的顺序，所以可以进一步提高学习准确度。
[0233]
[3.其他实施方式]
[0234]
除了上述实施方式和变形之外，根据上述实施方式和变形的处理可以各种不同的
形式(变形)执行。
[0235]
[3-1.其他配置实例]
[0236]
每个上述配置是示例性的，并且信息处理系统1可以是任何系统配置，只要能够实现上述信息处理即可。例如，受版权保护的作品管理设备100和信息处理设备200可被集成。
[0237]
[3-2.其他]
[0238]
另外，在以上各实施方式中描述的各处理中，可以手动进行描述为自动执行的全部或一些处理，或者可以通过已知方法自动进行描述为手动执行的全部或一些处理。另外，除非另外指明，否则可以任意地改变在文档和附图中指示的处理过程、特定名称和包括各种数据和参数的信息。例如，在每个附图中示出的各种信息不限于示出的信息。
[0239]
此外，在附图中示出的每个装置的每个组件在功能上是概念性的，并且不一定如在附图中示出的那样物理地配置。即，装置的分布和整合的具体形式不限于所示出的那些，并且其全部或一部分可以根据各种负载、使用情况等在功能上或物理上分布和整合到任意单元中。
[0240]
此外，在不与处理内容矛盾的范围内可以适当地组合上述实施方式和变形例。
[0241]
此外，在本说明书中描述的效果仅是示例而不是限制性的，并且可以存在其他效果。
[0242]
[4.硬件配置]
[0243]
例如，通过具有如图28中所示的配置的计算机1000实现根据上述实施方式和变形例的信息装置(例如，信息处理设备200、受版权保护的作品管理设备100、用户终端300等)。图28是示出实施信息处理设备200、受版权保护的作品管理设备100和用户终端300的功能的计算机1000的实例的硬件配置图。在下文中，将描述根据本实施方式的信息处理设备200作为实例。计算机1000包括cpu 1100、ram 1200、只读存储器(rom)1300、硬盘驱动器(hdd)1400、通信接口1500和输入/输出接口1600。计算机1000的每个单元通过总线1050连接。
[0244]
cpu1100基于存储在rom 1300或hdd 1400中的程序进行操作，并且控制每个单元。例如，cpu 1100将存储在rom 1300或hdd 1400中的程序加载到ram1200，并执行与各种程序相应的处理。
[0245]
rom 1300存储引导程序，诸如，在计算机1000被激活时由cpu 1100执行的基本输入输出系统(bios)、取决于计算机1000的硬件的程序等。
[0246]
hdd 1400是非瞬时地记录由cpu1100执行的程序、由该程序使用的数据等的计算机可读记录介质。具体地，hdd 1400是记录作为程序数据1450的实例的根据本公开的信息处理程序的记录介质。
[0247]
通信接口1500是用于计算机1000连接到外部网络1550(例如，互联网)的接口。例如，cpu 1100经由通信接口1500从另一设备接收数据或者向另一设备发送由cpu 1100生成的数据。
[0248]
输入/输出接口1600是用于连接输入/输出装置1650和计算机1000的接口。例如，cpu 1100经由输入/输出接口1600从诸如键盘和鼠标的输入装置接收数据。此外，cpu 1100经由输入/输出接口1600将数据传输至诸如显示器、扬声器、打印机等的输出设备。此外，输入/输出接口1600可以用作读取记录在预定记录介质(介质)中的程序等的介质接口。例如，介质是诸如数字通用盘(dvd)、相变可重写盘(pd)的光学记录介质、诸如磁光盘(mo)的磁光
记录介质、磁带介质、磁记录介质、半导体存储器等。
[0249]
例如，在计算机1000用作根据实施方式的信息处理设备200的情况下，计算机1000的cpu 1100执行加载到ram 1200上的信息处理程序以实现控制单元130等的功能。此外，hdd 1400将根据本公开的信息处理程序和数据存储在存储单元120中。注意，cpu 1100从hdd 1400读取程序数据1450并执行程序数据，但是作为另一实例，可以经由外部网络1550从另一装置获取这些程序。
[0250]
应注意，本技术还可具有以下配置。
[0251]
(1)一种信息处理设备，包括：
[0252]
获取单元，获取音乐信息；
[0253]
提取单元，从由获取单元获取的音乐信息提取多种类型的特征量；以及
[0254]
生成单元，生成其中由提取单元提取的多种类型的特征量与预定识别信息相关联的信息作为音乐特征信息，所述音乐特征信息在使用机器学习的作曲处理中被用作学习数据。
[0255]
(2)根据(1)所述的信息处理设备，其中
[0256]
获取单元通过从终端装置接收由制作者使用安装在终端装置中的音乐创作相关应用创作的音乐信息来获取音乐信息，
[0257]
提取单元提取在音乐信息中的多种类型的特征量，并且
[0258]
生成单元将制作者的识别信息与音乐特征信息相关联。
[0259]
(3)根据(2)所述的信息处理设备，其中，由制作者创作的音乐信息包括具有规定长度的小节中的指示和弦进程的弦进程信息、指示旋律的旋律信息以及指示低音进程的低音信号。
[0260]
(4)根据(3)所述的信息处理设备，其中，由制作者创作的音乐信息包括具有规定长度的小节中的表示鼓进程的鼓进程信息。
[0261]
(5)根据(1)所述的信息处理设备，其中
[0262]
获取单元以预设定时获取定期地注册的受版权保护的音乐信息，
[0263]
提取单元从受版权保护的音乐信息中提取多种类型的特征量，并且
[0264]
生成单元将受版权保护的音乐信息的识别信息与音乐特征信息相关联。
[0265]
(6)根据(1)的信息处理设备，进一步包括：
[0266]
发送单元，根据从安装有音乐创作相关应用的终端装置接收的指令信息，发送音乐特征信息的呈现信息；以及
[0267]
作曲单元，当从终端设备接收音乐特征信息的选择时，基于所选择的音乐特征信息，使用机器学习来对音乐信息进行作曲，并将所作曲的音乐信息传输至终端设备。
[0268]
(7)根据(6)所述的信息处理设备，进一步包括：
[0269]
更新单元，当从终端设备接收基于由作曲单元传输的音乐信息的演奏信息时，将演奏信息添加到选择的音乐特征信息并且更新选择的音乐特征信息。
[0270]
(8)根据(1)所述的信息处理设备，其中
[0271]
提取单元从音乐信息中提取具有规定长度的小节中的表示和弦进程的和弦进程信息、表示旋律的旋律信息以及表示低音进程的低音信号作为特征量，以及
[0272]
生成单元生成包括在规定长度的小节中的表示和弦进程的和弦进程信息、表示旋
律的旋律信息以及表示低音进程的低音信息的乐谱信息，并将乐谱信息设定为音乐特征信息的组成部分。
[0273]
(9)根据(8)所述的信息处理设备，其中
[0274]
提取单元从音乐信息中提取表示在具有规定长度的小节中的鼓声进程的鼓信息作为特征量，并且
[0275]
生成单元还将鼓信息添加到乐谱信息。
[0276]
(10)根据(8)所述的信息处理设备，其中，所述生成单元从添加到音乐信息中的歌词信息生成表示在具有规定长度的小节中的歌词的歌词信息，并且将歌词信息设置为音乐特征信息的组成部分。
[0277]
(11)根据(10)所述的信息处理设备，其中，生成单元生成音乐格式信息，并且将音乐格式信息设置为音乐特征信息的组成部分，在音乐格式信息中，针对相同小节的乐谱信息的识别信息和歌词信息的识别信息被彼此关联地注册。
[0278]
(12)根据(11)所述的信息处理设备，其中，生成单元将具有与在音乐格式信息中注册的乐谱信息的和弦进程信息相似的和弦进程信息的乐谱信息的识别信息添加并注册到音乐格式信息中。
[0279]
(13)根据(11)所述的信息处理设备，其中，生成单元生成表示音乐格式信息的顺序的音乐顺序信息并且将音乐顺序信息设置为音乐特征信息的组成部分。
[0280]
(14)一种由计算机执行的信息处理方法，所述方法包括：
[0281]
获取音乐信息；
[0282]
从所获取的音乐信息中提取多种类型的特征量；以及
[0283]
生成其中所提取的多种类型的特征量与预定的识别信息相关联的信息作为将在使用机器学习的作曲处理中使用的音乐特征信息。
[0284]
(15)一种信息处理程序，使计算机：
[0285]
获取音乐信息；
[0286]
从所获取的音乐信息提取多种类型的特征量；以及
[0287]
生成其中所提取的多种类型的特征量与预定的识别信息相关联的信息作为将在使用机器学习的作曲处理中使用的音乐特征信息。
[0288]
参考标号列表
[0289]
1 信息处理系统
[0290]
100 受版权保护的作品管理设备
[0291]
110、210、310 通信单元
[0292]
120、220、340 存储单元
[0293]
130、230、350 控制单元
[0294]
121 受版权保护的音乐信息存储单元
[0295]
122 音乐存储单元
[0296]
123 特征信息存储单元
[0297]
131 管理单元
[0298]
132 提取单元
[0299]
133 传输单元
[0300]
200 信息处理设备
[0301]
221 用户信息存储单元
[0302]
222 样式信息存储单元
[0303]
223 所有权信息存储单元
[0304]
224 制作信息存储单元
[0305]
225 操作历史信息存储单元
[0306]
231 获取单元
[0307]
232 提取单元
[0308]
233 生成单元
[0309]
234 接收单元
[0310]
235 选择单元
[0311]
236 传输单元
[0312]
237 作曲单元
[0313]
238 更新单元
[0314]
300 用户终端
[0315]
320 输入单元
[0316]
330 输出单元
[0317]
351 显示控制单元
[0318]
352 注册单元
[0319]
353 发送/接收单元
[0320]
354 选择单元
[0321]
355 再现单元
[0322]
356 演奏接收单元
[0323]
360 显示单元。