Neural Speech Denoiser — Listening Test
取自公開 VCTK-DEMAND 測試集的五段含噪語音,由編譯後的 C 函式庫以三種模型寬度降噪。所有音檔皆為16 kHz 單聲道;降噪後的音檔是函式庫 int16 串流路徑的實際輸出(抑制強度 1.0),比輸入晚一個 16 ms 幀,與裝置上的執行結果完全相同。建議戴耳機聆聽,並與每張卡片最後一列的乾淨錄音室原音比較。
客觀評測
我們的完整尺寸模型與已發表的輕量級即時降噪模型並列。DNS OVRL 分數取自各模型自己的論文,並非在同一測試集上量測,僅供量級參考。
我們的三種模型寬度:在保留的含噪測試集上以 DNSMOS(無參考的 P.808 MOS 與 P.835 SIG / BAK / OVRL)評分。模型以 DNS-Challenge 的語音與噪音資料訓練。↑ 越高越好。
DNSMOS 整體分數對算力。W8 + KD 在算力不變下比 W8 高 0.03 OVRL。
資源佔用
嵌入式建置:GCC 15、-O3 -ffast-math、單精度硬體浮點。算力為指令集模擬器量到的指令數,是 cycle 的近似值,不是實際晶片量測。函式庫本身不佔任何靜態 RAM;所有狀態都放在呼叫端提供的單一instance 記憶體區塊中。
試聽音檔
每段音檔的 DNSMOS(無參考)與相對乾淨原音的 SI-SNR,皆直接以播放器背後的檔案計算;SI-SNR 在扣除函式庫的一幀延遲後量測。
五段平均 — OVRL:含噪 2.76 → W16 2.89 · W12 2.95 · W8 + KD 2.88(乾淨原音 3.23);SI-SNR:含噪 10.4 dB → W16 15.8 · W12 16.3 · W8 + KD 15.6 dB。
p232_005 英語 · 男性語者 · 6.2 秒
由上至下:含噪輸入 · W16 · W12 · W8 + KD · 乾淨原音(0–8 kHz,80 dB 動態範圍)。
| 含噪輸入16 kHz,VCTK-DEMAND 測試集OVRL 2.51 · SIG 3.55 · BAK 2.54 · SI-SNR 1.9 dB | |
| W16函式庫輸出OVRL 2.96 · SIG 3.27 · BAK 3.91 · SI-SNR 11.8 dB | |
| W12函式庫輸出OVRL 3.04 · SIG 3.31 · BAK 4.02 · SI-SNR 13.2 dB | |
| W8 + KD函式庫輸出 · 最小資源佔用OVRL 2.82 · SIG 3.13 · BAK 3.86 · SI-SNR 12.6 dB | |
| 乾淨原音錄音室錄音OVRL 3.40 · SIG 3.63 · BAK 4.13 | |
p232_070 英語 · 男性語者 · 2.5 秒
由上至下:含噪輸入 · W16 · W12 · W8 + KD · 乾淨原音(0–8 kHz,80 dB 動態範圍)。
| 含噪輸入16 kHz,VCTK-DEMAND 測試集OVRL 2.85 · SIG 3.60 · BAK 3.20 · SI-SNR 11.3 dB | |
| W16函式庫輸出OVRL 2.94 · SIG 3.31 · BAK 3.81 · SI-SNR 14.9 dB | |
| W12函式庫輸出OVRL 3.21 · SIG 3.44 · BAK 4.10 · SI-SNR 15.5 dB | |
| W8 + KD函式庫輸出 · 最小資源佔用OVRL 3.08 · SIG 3.35 · BAK 4.03 · SI-SNR 14.6 dB | |
| 乾淨原音錄音室錄音OVRL 3.37 · SIG 3.61 · BAK 4.12 | |
p232_358 英語 · 男性語者 · 1.7 秒
由上至下:含噪輸入 · W16 · W12 · W8 + KD · 乾淨原音(0–8 kHz,80 dB 動態範圍)。
| 含噪輸入16 kHz,VCTK-DEMAND 測試集OVRL 3.21 · SIG 3.54 · BAK 4.00 · SI-SNR 15.5 dB | |
| W16函式庫輸出OVRL 3.24 · SIG 3.51 · BAK 4.10 · SI-SNR 19.6 dB | |
| W12函式庫輸出OVRL 3.24 · SIG 3.48 · BAK 4.13 · SI-SNR 21.9 dB | |
| W8 + KD函式庫輸出 · 最小資源佔用OVRL 3.22 · SIG 3.45 · BAK 4.15 · SI-SNR 21.7 dB | |
| 乾淨原音錄音室錄音OVRL 3.31 · SIG 3.60 · BAK 4.07 | |
p257_240 英語 · 女性語者 · 2.9 秒
由上至下:含噪輸入 · W16 · W12 · W8 + KD · 乾淨原音(0–8 kHz,80 dB 動態範圍)。
| 含噪輸入16 kHz,VCTK-DEMAND 測試集OVRL 2.71 · SIG 3.57 · BAK 2.98 · SI-SNR 16.7 dB | |
| W16函式庫輸出OVRL 2.68 · SIG 3.15 · BAK 3.51 · SI-SNR 19.9 dB | |
| W12函式庫輸出OVRL 2.58 · SIG 2.90 · BAK 3.92 · SI-SNR 18.3 dB | |
| W8 + KD函式庫輸出 · 最小資源佔用OVRL 2.72 · SIG 3.11 · BAK 3.69 · SI-SNR 17.9 dB | |
| 乾淨原音錄音室錄音OVRL 3.13 · SIG 3.49 · BAK 3.89 | |
p257_430 英語 · 女性語者 · 3.4 秒
由上至下:含噪輸入 · W16 · W12 · W8 + KD · 乾淨原音(0–8 kHz,80 dB 動態範圍)。
| 含噪輸入16 kHz,VCTK-DEMAND 測試集OVRL 2.50 · SIG 3.52 · BAK 2.60 · SI-SNR 6.7 dB | |
| W16函式庫輸出OVRL 2.64 · SIG 2.93 · BAK 3.84 · SI-SNR 12.8 dB | |
| W12函式庫輸出OVRL 2.69 · SIG 2.94 · BAK 3.99 · SI-SNR 12.7 dB | |
| W8 + KD函式庫輸出 · 最小資源佔用OVRL 2.58 · SIG 2.91 · BAK 3.76 · SI-SNR 11.4 dB | |
| 乾淨原音錄音室錄音OVRL 2.93 · SIG 3.35 · BAK 3.78 | |