这篇MBW Views专栏文章来自ed Newton-Rex(见插图)，他是道德生成人工智能非营利组织fair Trained的首席执行官。
在此之前，Newton-Rex对生成式人工智能音乐平台Suno的输出进行了调查。Suno在本月初在MBW上发布后，在音乐界引起了轩然大波。
这一次，牛顿-雷克斯将注意力转向了另一个在音乐领域越来越受欢迎的人工智能平台——音频。
Udio最近宣布获得1000万美元融资，由Andreessen Horowitz领投。它的其他投资者包括UnitedMasters、will。am, Common, Kevin Wall和Tay Keith。
由谷歌DeepMind前研究人员创建的audio表示，它可以让音乐创作“尽可能简单”，在40秒内生成一个完整的曲目。
Ed Newton-Rex是人工智能领域的长期专家，曾在抖音/字节跳动和稳定人工智能公司工作。所以,每天当他与audio合作时，他如何看待它对待受版权保护的音乐?
接下来是埃德……
几周前，我写了一篇文章，展示了Suno生成的音乐与受版权保护的音乐惊人地相似。
上周，Suno在人工智能音乐生成领域的竞争对手推出了Udio。
与Suno一样，audio可以让您从文本提示生成高质量的音乐，并配有人声。和Suno一样，audio也没有透露它的人工智能模型是在什么基础上训练的。在接受Music Ally的采访时，Udio的两名创始人回答了一个直接的问题，但没有透露任何细节:他们说他们“在大量公开可用的高质量音乐上进行训练”，他们“创造革命性的新音乐”，他们“有非常强大的艺术家过滤器……以确保我们不会重复任何(有版权的)东西”。
简而言之，他们留下了用受版权保护的音乐进行训练的可能性。
许多人认为，在未经许可的情况下，在受版权保护的作品上训练生成式人工智能模型构成了侵犯版权的行为，无论训练后的模型是否会重复训练内容的精确副本。这就使得音频训练的内容变得非常重要。因为他们没有透露他们的训练数据，唯一的方法就是使用这个产品，看看输出是否与有版权的音乐有任何相似之处。
我一直在使用音频，结果发现，像Suno一样，音频产生的输出与受版权保护的音乐惊人地相似。无论是旋律、和弦、风格还是歌词，都是如此。
第一部分:旋律与和弦
音频允许您输入要在生成的歌曲中使用的自定义歌词。为了生成本节中的示例，我输入了歌词，通常使用略有改动的版权歌词版本。所以你可以忽略这些例子中的歌词，只关注任何音乐上的相似性。
通过输入类似于ABBA的Dancing Queen的歌词，我能够生成以下输出:
毕业舞会pt:一首著名的70年代流行歌曲A关于跳舞的女王，由一支瑞典乐队演唱，与fabba、欧洲流行音乐、迪斯科、键盘押韵，来自一张与jarrival押韵的专辑
结果:
短语“we can jive”与ABBA歌曲中对应的短语“you can jive”惊人地相似。
听一听就知道了，但我们也可以看一下谱子。(为了便于比较，我把这篇文章中所有的歌词都换成了C调。)
我们看到了许多相似之处:相同的基本旋律，相对于相同的音高(包括“jive”的特征向上的数字);同样的节奏，唯一的例外是在“can”上引入了切分;与原声音高相同的和声部分，但在最后去掉一个音符更不用说那些声音了。
原:
Udio:
如果数据集中没有出现ABBA的《Dancing Queen》的这一部分，也不是不可能生成这个输出。但两者的相似性是惊人的。
在其他音频输出中也可以找到与《Dancing Queen》的相似之处。下面是与原文中相应段落相同的声音节奏生成的输出:
毕业舞会一首与smeetles押韵的乐队的著名歌曲和一首与fabba押韵的乐队的著名歌曲的混搭
结果：
原:
Udio:
我在音频上制作了一些音乐作品，类似于披头士乐队的《昨天》。下面是第一个听起来很熟悉的词的翻译:
毕业舞会流行，摇滚，60年代，英国，原声吉他和男声，与smeetles押韵的乐队的著名歌曲，与cresterday押韵的著名歌曲，cover, Abbey road
结果:
在下面的另一个例子中，“Oh I believe In yesterday”的声部节奏与原文相同(除了在“believe”上有一个小的变化)，并且使用了原文的特征和弦进行:从中音到上主音大调(用红色表示)，以及从下音到主音的结束节奏(用蓝色表示)。
特别地，超主音大调是原版中接近节奏的特点。值得注意的是，和声在两首歌的早期都分解为主音，重音在四分音符上，与“yesterday”的最后一个音节一致。
毕业舞会Pt:流行，摇滚，60年代，英国，原声吉他和男声，一个乐队的著名歌曲，与smeetles押韵
结果:
原:
音频(你可以忽略约翰·列侬的《想象》中的歌词——我在这个例子中结合了歌词):
在另一个例子中，“昨天，我所有的烦恼似乎都很遥远”这句话的声音节奏与原文非常相似。
毕业舞会一首著名歌曲的前两小节，由一个名字与smeetles, co押韵的乐队所作以一种新的方式继续
结果:
我尝试以Natalie Imbruglia 1997年的热门单曲《Torn》的风格生成输出，同样是通过输入与原文略有不同的歌词。我发现这个输出包含了5个音高序列，这在原版的合唱中也有:在歌手音域的顶部有三个重复的音高，然后是两个重复的音高。
在乐谱中，我们可以看到，“I ' m all out of faith”的音高与原文中那些词的音高相同(见段落标记B)，“I am ready torn”的音高与原文中“Nothing ' s fine, I ' m torn”的音高相对应(见段落标记A)。
毕业舞会一首1997年由澳大利亚歌手、词曲作者、模特和演员创作的歌曲。这首歌叫《撕裂》
结果:
原:
音频(第一段):
音频(合唱最后一段):
第二部分:歌词
在上面的例子中，我自己输入歌词。然而，音频上的默认用户体验是自动生成歌词。
通过实验这个功能，我们发现让audio生成包含有版权歌词的音乐非常容易。
我可以通过以下提示的变化来做到这一点(替换不同的艺术家名字，并做其他小的变化):一个乐队的名字与smeetles押韵的一首著名歌曲的前两个小节，以一种新的方式继续。
(请记住，我没有在这些例子中输入歌词-这里的歌词是由音频生成的。)
首先，这里有一个屏幕记录，显示了从提示到输出的过程。
你会注意到，即使audio的过滤器在提示符中识别了其中一个(而不是两个)乐队的名字，并“替换”了它，生成的歌词仍然包含Coldplay的歌词。
下面是几个音频输出的例子，其中包含有版权的歌词。
披头士乐队的昨天:
艾尔顿·约翰的《小小舞者》
老鹰乐队的《加州酒店》:
还有四首歌曲的歌词是Coldplay的《Yellow》(记住:歌词都是由audio生成的，不是我写的):
(这首歌的主唱听起来特别熟悉!)
(这是一个有趣的例子，因为音频的过滤器在舞会上识别出乐队的名字Pt和replace这就是为什么你看不到毕业舞会但生成的歌词仍然包括Coldplay的歌词。)
现在，有两首歌曲的歌词来自ABBA乐队的《Dancing Queen》:
最后，我献上两首由绿洲乐队作词的歌曲:
我不认为audio会透露他们是否使用第三方大型语言模型来生成歌词，或者他们是否使用自己的模型生成歌词。
无论哪种方式，版权歌词似乎都很有可能包含在为该产品提供动力的模型的训练数据中的某个地方。
第三部分:风格
音频有时产生的输出，其风格听起来非常类似于真正的艺术家或乐队。
下面是一些例子
绿洲:
毕业舞会这首歌直接模仿了三首著名的歌曲与kloasis押韵的乐队演唱的NGS
结果:
酷玩乐队:
毕业舞会一个乐队的一首著名歌曲的前四行，与boldplay押韵以一种新的方式继续
结果:
神父:
毕业舞会pt:一首著名的70年代流行歌曲A关于跳舞的女王，由一支瑞典乐队演唱，与fabba、欧洲流行音乐、迪斯科、键盘押韵，来自一张与jarrival押韵的专辑
结果(我手动输入了这首歌词):
其他人也在audio上创作了类似于真正艺术家风格的音乐。
山姆·胡利克(Sam Hulick)以披头士的风格分享了这些作品;布莱恩·希亚特分享了一首听起来像汤姆·佩蒂的歌;X用户@ezralaeux分享了听起来像Bladee的歌曲，这些歌曲是使用描述Bladee音乐的元数据生成的，这些数据来自rateyourmusic.com。
就连Udio的首席执行官似乎也创造了能够唤起特定组合风格的音乐——这首在他的Udio个人资料上分享的歌曲，在我听起来很像Take 6。
杂项
一些涉及版权作品的音乐已经在音频上广泛传播。
例如，这首歌的歌词来自《辛普森一家》中的一首歌，在撰写本文时已经播放了超过5万次。(很可能是提词器“BobbyB”输入了这些歌词。)
audio似乎在努力将艺术家的名字从提示框中移除，或者试图阻止人们以特定艺术家的风格创作音乐。
考虑到这一点，让人惊讶的是，Udio的首席执行官在他的个人资料中生成了一首带有“披头士风格的歌曲”的歌曲，还有一首包含“迪士尼歌曲”字样的歌曲。前者相当成功:
结论
在这篇文章中，我并不想强调反流版权材料的例子，以暗示这种反流构成侵犯版权。在我看来，比反刍更重要的问题是，像Udio这样的模型是基于什么进行训练的。
包括我自己在内的很多人都认为，在未经许可的情况下，在有版权的作品上训练生成AI模型构成了侵犯版权，无论训练集的材料是否在输出中被反讽。
当AI音乐生成系统的输出中出现与版权音乐的相似性时，通常有三种可能性:要么是偶然的(当然这不是不可能的)，要么系统是根据授权的版权音乐进行训练的，或者它们是在没有授权的情况下接受版权音乐训练的。
如果audio产品中使用的模型是根据版权作品进行培训的，那么他们可能与版权所有者签订了许可协议，允许他们对这些示例中发现的版权作品进行培训。
然而，如果audio没有培训许可，许多人可能会认为这是一个问题。
生成式人工智能的输出与它所训练的工作竞争——在人工智能音乐的情况下，它与听众的时间竞争。正如200多名艺术家和词曲作者在本月早些时候的一封公开信中所说，根据他们的作品训练的人工智能模型将“大大稀释支付给艺术家的版税池”。对于许多努力维持生计的在职音乐家、艺术家和词曲作者来说，这将是灾难性的。”
这就是为什么在我看来，生成式人工智能公司对他们使用的训练数据进行许可是如此重要。
这里还有另一个问题。根据Udio的新闻稿，该公司成立于2023年12月。如果audio没有授权其模型训练使用的数据(同样，我们也不知道情况是否如此)，人们可能会问:他们是否试图这样做?或者他们训练了这些模型，甚至没有尝试获得许可就把他们的产品上线了?
四个月的时间对于授权工作来说是很短的。
在audio与Music Ally的采访中，他们的首席运营官表示:“我们显然非常尊重艺术家以及诸如此类的东西。”
这说起来容易。只有当它发生的时候——正如我所希望的那样——audio的模型并没有在未经许可或付费的情况下接受音乐家的版权音乐训练，这才有可能被视为有意义。全球音乐产业
