Lightweight Music Source Separation — Listening Test

同一個模型家族、四種大小（部署後 1.35 – 5.7 MB，INT8 權重），從 44.1 kHz 立體聲混音中分離出人聲與伴奏。 伴奏由「混音減去分離出的人聲」得到，因此一顆模型就能同時輸出兩個音軌。試聽片段取自 MUSDB18-HQ 測試集歌曲 Juliet's Rescue – Heartbeats 的 20 秒（1:35 – 1:55），這首歌從未用於訓練。建議戴耳機聆聽。

客觀評估

MUSDB18-HQ 測試集，全部 50 首。cSDR 的算法是把所有歌曲切成 1 秒片段、分別計算 SDR，再取中位數。 離線推論使用 12 秒視窗、75% 重疊。↑ 越高越好。

模型大小參數量GMACs / 每 2 秒音訊INT8 檔案大小人聲 cSDR（FP32）人聲 cSDR（INT8）↑
L≈ 5.5 M38.85.72 MB10.9510.93
M≈ 4.2 M31.64.42 MB10.8110.79
S≈ 2.6 M16.22.75 MB9.959.94
XS≈ 1.2 M7.161.35 MB9.139.13
DTTNet（公開權重，以相同流程重新評分）≈ 5.0 M–4.97 MB10.1310.11
Vocals cSDR versus deployed model size for sizes L, M, S, XS and the DTTNet baseline
M 與 L 的差距在 0.14 dB 以內；XS 只有四分之一的大小，仍保有 9.13 dB。
Vocals cSDR versus analysis window length for sizes L and XS
串流模式：視窗越短，模型能看到的音樂上下文越少。兩種大小都在 2 秒視窗出現轉折點。 以「混音 − 人聲」得到的伴奏，L（INT8）的 cSDR 為 20.01 dB，高於專門訓練的伴奏模型。

試聽片段

分數是相對於參考音軌的 cSDR，分別列出整首歌與播放器中 20 秒片段的分數。

人聲 20 秒片段 · 44.1 kHz 立體聲

Spectrograms: mixture, reference, sizes L, M, S, XS
由上到下：混音 · 參考音軌 · L · M · S · XS（0–11 kHz，80 dB 動態範圍；圖中標示的 cSDR 為整首歌的分數）。
混音MUSDB18-HQ 測試集
LINT8 權重 · 約 5.5 M 參數 · 5.72 MBcSDR 整首 11.15 · 片段 11.23 dB
MINT8 權重 · 約 4.2 M 參數 · 4.42 MBcSDR 整首 11.09 · 片段 11.30 dB
SINT8 權重 · 約 2.6 M 參數 · 2.75 MBcSDR 整首 10.28 · 片段 10.39 dB
XSINT8 權重 · 約 1.2 M 參數 · 1.35 MB · smallestcSDR 整首 9.69 · 片段 10.16 dB
參考人聲原始分軌

伴奏 20 秒片段 · 44.1 kHz 立體聲

Spectrograms: mixture, reference, sizes L, M, S, XS
由上到下：混音 · 參考音軌 · L · M · S · XS（0–11 kHz，80 dB 動態範圍；圖中標示的 cSDR 為整首歌的分數）。
混音MUSDB18-HQ 測試集直接當作伴奏的 cSDR：整首 6.53 · 片段 9.31 dB
LINT8 權重 · 約 5.5 M 參數 · 5.72 MBcSDR 整首 20.43 · 片段 20.95 dB
MINT8 權重 · 約 4.2 M 參數 · 4.42 MBcSDR 整首 20.33 · 片段 20.88 dB
SINT8 權重 · 約 2.6 M 參數 · 2.75 MBcSDR 整首 19.31 · 片段 19.90 dB
XSINT8 權重 · 約 1.2 M 參數 · 1.35 MB · smallestcSDR 整首 18.65 · 片段 19.11 dB
參考伴奏原始分軌