Dettato 將多樂器音訊轉為 MIDI,並按樂器分軌
Dettato:多乐器音频转 MIDI,每个乐器一个音轨,再加一个鼓组音轨
KobiMusic 開源的 Dettato 音樂轉錄模型可在 CPU 或 GPU 上把音訊轉成 MIDI,每種樂器各設一條音軌,另加一條鼓組音軌。
Dettato 是 KobiMusic 开源的音乐转录模型,可以在自己的电脑(CPU、GPU)上运行。你只需输入一段音频,它就能生成一个 MIDI 文件,每个乐器对应一个音轨,外加一个鼓组音轨。@Appinn

将 MP3/WAV 转换为 MIDI
MP3 和 WAV 里存的是录下来的声音。MIDI 更像一份演奏指令,记着哪个音在什么时候响、响多久、弹多重。
电脑读到这些指令,再用你选的乐器音源把它演奏出来。

上图中,上半部分是音频文件的波形图,也是普通音频编辑软件中看到的。下半部分是 MIDI 钢琴卷帘。方块越高,音越高。方块从哪里开始、拉多长,对应音符什么时候响、响多久。蓝色是旋律,紫色是低音。
比如你想学弹开头那几秒,就在钢琴卷帘上看音高和顺序,放慢播放,跟着原曲核对。觉得其中一个音太高,把对应的方块往下拖就行。往左拖可以让它早点响,拉长右边缘可以让它多响一会儿。
Dettato 工作原理

如何使用?
安装比较简单,一行就行了,可以交给 AI 处理。
运行也是:
pip install git+https://github.com/kobimusic/dettato dettato song.mp3 -o out/
第一次运行会从 Hugging Face 下载模型。转换后,out 文件夹里会有 song.mid 和记录轨道、音符数量等信息的 song.json。遇到读不了的 MP3,可以装 FFmpeg 再试。
四种模型
模型文件的尺寸都不大,几十MB 级别:
| 模型 | 参数 | 它的作用 | |
|---|---|---|---|
| 1 | kobimusic/dettato | 15.3M | 音频注释:88个调的起始、结束和音高,每个调有两个声部 |
| 2 | kobimusic/dettato-evidence | 4.9M | 利用转录者自身的证据修正笔记:删掉错误的音符,修正起音和结尾,添加遗漏的音符 |
| 3 | kobimusic/dettato-grouper | 290万 | 将每个音符放入乐器轨道并命名乐器 |
| 4 | kobimusic/dettato-drums | 5.0M | General MIDI鼓键上的鼓击声、鼓组和管弦打击乐器 |
什么电脑能跑 Dettato?
Dettato 需要 Python 3.10 或更新版本和 PyTorch 2.2 或更新版本。普通 Windows 或 Linux 电脑用 CPU 就能跑。开发者用笔记本的 CPU 转录 15 秒音频,花了 87 秒,包含模型加载时间。
作为对比,用 RTX 5060(8 GB 显存)转录一首 4 分钟的歌,约用 15 秒,显存峰值低于 4 GB。
M 系列 Mac 可以装 PyTorch,用 dettato song.mp3 -o out/ --device cpu 指定 CPU 运行。Mac 上实际要跑多久,要看电脑和录音长度。
获取
音乐爱好者们,快去试试吧,硬件门槛极低的大模型了。
原文:https://www.appinn.com/dettato/
©2021 青小蛙 for 小众软件 | 加入我们 | 投稿 | 订阅指南
3659b075e72a5b7b1b87ea74aa7932ff
点击这里留言、和原作者一起评论
來源:小眾軟件 · appinn.com