Neural Speech Denoiser — Listening Test

取自公開 VCTK-DEMAND 測試集的五段含噪語音,由編譯後的 C 函式庫以三種模型寬度降噪。所有音檔皆為16 kHz 單聲道;降噪後的音檔是函式庫 int16 串流路徑的實際輸出(抑制強度 1.0),比輸入晚一個 16 ms 幀,與裝置上的執行結果完全相同。建議戴耳機聆聽,並與每張卡片最後一列的乾淨錄音室原音比較。

客觀評測

我們的完整尺寸模型與已發表的輕量級即時降噪模型並列。DNS OVRL 分數取自各模型自己的論文,並非在同一測試集上量測,僅供量級參考。

年份模型參數量MMAC / sDNS OVRL ↑
2018RNNoise~60 K~402.53
2024FSPEN79 K89未公開
2025UL-UNAS171 K352.71
2026本專案 (W16)≈ 24 K332.93

我們的三種模型寬度:在保留的含噪測試集上以 DNSMOS(無參考的 P.808 MOS 與 P.835 SIG / BAK / OVRL)評分。模型以 DNS-Challenge 的語音與噪音資料訓練。↑ 越高越好。

版本可訓練參數MMAC / sP.808 ↑SIG ↑BAK ↑OVRL ↑
W16≈ 24 K333.633.223.952.93
W12≈ 15 K223.503.153.882.84
W8≈ 7.9 K143.443.103.802.77
W8 + KD(由 W16 蒸餾)≈ 7.9 K143.483.133.812.80
各模型版本的 DNSMOS OVRL 對算力
DNSMOS 整體分數對算力。W8 + KD 在算力不變下比 W8 高 0.03 OVRL。

資源佔用

嵌入式建置:GCC 15、-O3 -ffast-math、單精度硬體浮點。算力為指令集模擬器量到的指令數,是 cycle 的近似值,不是實際晶片量測。函式庫本身不佔任何靜態 RAM;所有狀態都放在呼叫端提供的單一instance 記憶體區塊中。

W16W12W8 + KD
算力(百萬指令 / 秒)133.389.854.8
每 16 ms 幀的指令數2.13 M1.44 M0.88 M
Flash:程式碼 + 權重121.7 KB86.4 KB58.3 KB
函式庫靜態 RAM(.bss + .data)000
Instance RAM(呼叫端配置)95.9 KB74.2 KB54.3 KB
合計217.6 KB160.6 KB112.6 KB

試聽音檔

每段音檔的 DNSMOS(無參考)與相對乾淨原音的 SI-SNR,皆直接以播放器背後的檔案計算;SI-SNR 在扣除函式庫的一幀延遲後量測。 五段平均 — OVRL:含噪 2.76 → W16 2.89 · W12 2.95 · W8 + KD 2.88(乾淨原音 3.23);SI-SNR:含噪 10.4 dB → W16 15.8 · W12 16.3 · W8 + KD 15.6 dB。

p232_005 英語 · 男性語者 · 6.2 秒

p232_005 的頻譜圖:含噪、W16、W12、W8 + KD、乾淨原音
由上至下:含噪輸入 · W16 · W12 · W8 + KD · 乾淨原音(0–8 kHz,80 dB 動態範圍)。
含噪輸入16 kHz,VCTK-DEMAND 測試集OVRL 2.51 · SIG 3.55 · BAK 2.54 · SI-SNR 1.9 dB
W16函式庫輸出OVRL 2.96 · SIG 3.27 · BAK 3.91 · SI-SNR 11.8 dB
W12函式庫輸出OVRL 3.04 · SIG 3.31 · BAK 4.02 · SI-SNR 13.2 dB
W8 + KD函式庫輸出 · 最小資源佔用OVRL 2.82 · SIG 3.13 · BAK 3.86 · SI-SNR 12.6 dB
乾淨原音錄音室錄音OVRL 3.40 · SIG 3.63 · BAK 4.13

p232_070 英語 · 男性語者 · 2.5 秒

p232_070 的頻譜圖:含噪、W16、W12、W8 + KD、乾淨原音
由上至下:含噪輸入 · W16 · W12 · W8 + KD · 乾淨原音(0–8 kHz,80 dB 動態範圍)。
含噪輸入16 kHz,VCTK-DEMAND 測試集OVRL 2.85 · SIG 3.60 · BAK 3.20 · SI-SNR 11.3 dB
W16函式庫輸出OVRL 2.94 · SIG 3.31 · BAK 3.81 · SI-SNR 14.9 dB
W12函式庫輸出OVRL 3.21 · SIG 3.44 · BAK 4.10 · SI-SNR 15.5 dB
W8 + KD函式庫輸出 · 最小資源佔用OVRL 3.08 · SIG 3.35 · BAK 4.03 · SI-SNR 14.6 dB
乾淨原音錄音室錄音OVRL 3.37 · SIG 3.61 · BAK 4.12

p232_358 英語 · 男性語者 · 1.7 秒

p232_358 的頻譜圖:含噪、W16、W12、W8 + KD、乾淨原音
由上至下:含噪輸入 · W16 · W12 · W8 + KD · 乾淨原音(0–8 kHz,80 dB 動態範圍)。
含噪輸入16 kHz,VCTK-DEMAND 測試集OVRL 3.21 · SIG 3.54 · BAK 4.00 · SI-SNR 15.5 dB
W16函式庫輸出OVRL 3.24 · SIG 3.51 · BAK 4.10 · SI-SNR 19.6 dB
W12函式庫輸出OVRL 3.24 · SIG 3.48 · BAK 4.13 · SI-SNR 21.9 dB
W8 + KD函式庫輸出 · 最小資源佔用OVRL 3.22 · SIG 3.45 · BAK 4.15 · SI-SNR 21.7 dB
乾淨原音錄音室錄音OVRL 3.31 · SIG 3.60 · BAK 4.07

p257_240 英語 · 女性語者 · 2.9 秒

p257_240 的頻譜圖:含噪、W16、W12、W8 + KD、乾淨原音
由上至下:含噪輸入 · W16 · W12 · W8 + KD · 乾淨原音(0–8 kHz,80 dB 動態範圍)。
含噪輸入16 kHz,VCTK-DEMAND 測試集OVRL 2.71 · SIG 3.57 · BAK 2.98 · SI-SNR 16.7 dB
W16函式庫輸出OVRL 2.68 · SIG 3.15 · BAK 3.51 · SI-SNR 19.9 dB
W12函式庫輸出OVRL 2.58 · SIG 2.90 · BAK 3.92 · SI-SNR 18.3 dB
W8 + KD函式庫輸出 · 最小資源佔用OVRL 2.72 · SIG 3.11 · BAK 3.69 · SI-SNR 17.9 dB
乾淨原音錄音室錄音OVRL 3.13 · SIG 3.49 · BAK 3.89

p257_430 英語 · 女性語者 · 3.4 秒

p257_430 的頻譜圖:含噪、W16、W12、W8 + KD、乾淨原音
由上至下:含噪輸入 · W16 · W12 · W8 + KD · 乾淨原音(0–8 kHz,80 dB 動態範圍)。
含噪輸入16 kHz,VCTK-DEMAND 測試集OVRL 2.50 · SIG 3.52 · BAK 2.60 · SI-SNR 6.7 dB
W16函式庫輸出OVRL 2.64 · SIG 2.93 · BAK 3.84 · SI-SNR 12.8 dB
W12函式庫輸出OVRL 2.69 · SIG 2.94 · BAK 3.99 · SI-SNR 12.7 dB
W8 + KD函式庫輸出 · 最小資源佔用OVRL 2.58 · SIG 2.91 · BAK 3.76 · SI-SNR 11.4 dB
乾淨原音錄音室錄音OVRL 2.93 · SIG 3.35 · BAK 3.78