UVR5歌曲伴奏提取,人聲分離軟件,原理已超過我的認知

ID:688692 · 發(fā)表于 2022-10-30 17:05

這個軟件叫做Ultimate Vocal Remover，網上很容易搜索到并下載安裝，所以資源我就不轉了。
但是他的處理結果已經完全不在我的知識認知體系內了。
從模電一路走來，調音臺，運放疊加，濾波電路，很好理解。
音效混響效果，數字采樣后延遲疊加，可以理解
均衡器，也就是濾波器，可以理解。
發(fā)展到后面的數字調音臺，先采樣，用dsp做疊加處理，AGC，F(xiàn)FT濾波，也能理解

但是這個，能把混在一起的音頻重新分離出來，我從電子學的角度我理解不了

雖然是知道用的是AI技術，經過訓練后得到的AI模型。
真的是模擬大腦了？人腦很容易腦補將一首音樂中的各個元素分離出來的聲音，現(xiàn)在計算機也可以了。原理是什么？

分離得到的伴奏.rar (5.39 MB, 下載次數: 10)

分離得到的人聲.rar (4.01 MB, 下載次數: 7)

怎么設置附件不需要黑幣下載？下載附件的，自己給個回帖獎勵先補回來吧。

ID:284488 · 發(fā)表于 2022-10-31 09:32

謝謝樓主之貼心分享！

ID:262 · 發(fā)表于 2022-11-1 23:21

這個不一定要ai技術,很久以前就有類似功能了,頻率分離

ID:844772 · 發(fā)表于 2022-11-2 08:55

我沒用過，但想來技術難度不大，但工作量大。主要是用傅里葉分解，把時域變換到頻域，如果不懂看看科普4G通訊的原理，每種樂器、男女聲音，都有特征頻譜的，尤其各種樂器頻譜比較固定，如果把樂器的特征做數據庫，就可以把每樣的樂器聲音單獨提取出來，剩下的就是人聲了。其實人聲音雖然差異大其實也不難，就像圖像識別人和動物，不過是計算所有特征點的歐拉距離的大小，這里會用機器學習，用于抽取計算哪些特征頻譜用于和標準數據庫比較歐拉距離，然后以此分類不同樂器和人聲等。另外，我在網上見過潛水艇聲吶屏幕的截圖，覺得聲吶也是這么分析遇到的船的。

ID:688692 · 發(fā)表于 2022-11-2 10:04

glinfei 發(fā)表于 2022-11-2 08:55
我沒用過，但想來技術難度不大，但工作量大。主要是用傅里葉分解，把時域變換到頻域，如果不懂看看科普4G通 ...

你說的是FFT分析后，用數據庫里面的頻譜數據對結果進行匹配消減，然后反變換回來得到時域原始信號？

但是就是這個幅度這塊我都想不出如何處理。
同一個樂器，演奏的時候，音量是變化的，那么得到的頻譜幅度也是變化的。
另外，樂器音準是不可能完全準確的
所以他這個都能完全分立出來我就想不通了。

幾個已知的特征信號混合后，濾除其中一個，這個我還是能理解的
現(xiàn)在這個幾乎是相當于未知的N個信號，也能分離出來。

ID:965189 · 發(fā)表于 2022-11-2 10:17

以前的簡單消人聲電路是用相位實現(xiàn)的。

ID:688692 · 發(fā)表于 2022-11-2 10:20

君工創(chuàng) 發(fā)表于 2022-11-2 10:17
以前的簡單消人聲電路是用相位實現(xiàn)的。

那是直接用兩個聲道相減，因為人聲是在兩聲道中同幅度同相位的，減掉就沒了。
但是連帶的很多居中的樂器也沒了。效果差得很。

ID:1034262 · 發(fā)表于 2022-11-2 11:15

我也搞音頻的，這個軟件是我兒子玩的時候跟我說的，我就給他幾首流行歌，真的可以將歌聲、音樂分立出來，不帶一點雜音的，附加失真也很小，真的是強大。

ID:844772 · 發(fā)表于 2022-11-2 11:31

cnos 發(fā)表于 2022-11-2 10:04
你說的是FFT分析后，用數據庫里面的頻譜數據對結果進行匹配消減，然后反變換回來得到時域原始信號？

...

能搞懂FFT，就能設計這個軟件了。任何樂器無論發(fā)強音還是弱音我們都能分辨出來，是因為音色問題，我剛才說特征譜線指一個樂器發(fā)出的一個音符，它基音和泛音頻率集合和幅度關系，音準、音色等等問題不過是導致的頻點的漂移和幅度關系的變化，這是有范圍的，實際也是通過計算歐拉距離來處理的。你后一個問題應該是：一起發(fā)聲的樂器，基音必然是相同的，很多泛音也相同，怎么處理？實質還是頻譜特征問題，每種樂器泛音都不同，找出特征差異就可以區(qū)分開，然后還有計算各自的能量密度，自然就區(qū)分了。我覺得這個事難度就是有個各種樂器數據庫，這個工作量非常大，就跟人的樣子識別用的那個一樣，估計有個好心人給共享了，所以突然一大堆這種軟件就出現(xiàn)了。

ID:383215 · 發(fā)表于 2022-11-4 15:17

感謝樓主的的分享！孤陋寡聞的我，想不到這世界上還有那么好的軟件，這個軟件的原理我不清楚，只是我平時比較喜歡唱歌，有的歌很難找到好的伴奏，看到樓主的這個帖子，很想下載UVR5試試，經過百度得知，UVR5下載不太方便，最關鍵的是對電腦要求太高，我的電腦性能太一般，下載了也不見得好用，百度還說有在線的伴奏提取，于是找到一個人聲分離網站，上傳了我需要分離伴奏的歌曲，幾分鐘搞定一首歌，可以免費整曲試聽，下載需要成為VIP，我以錄音方式得到伴奏。從昨天到現(xiàn)在，我已經把我特別喜歡唱的幾首歌通過這個網站得到伴奏，這些伴奏雖然和原聲伴奏相比有一定差距，但是，比那些伴奏網上的消音版要好很多很多，用來翻唱歌曲、自娛自樂綽綽有余，我喜歡的一些老歌受當時錄音技術的限制，分離出來的伴奏效果稍差一些，用無損音樂分離出來的伴奏就比較好一些。從百度的描述來看，這個人聲分離網站用的軟件，可能還不一定就是UVR5，或許UVR5分離伴奏的效果更好，再看看其他分離伴奏的網站，或者以后搞一個性能好一點的電腦下載UVR5用來分離伴奏。

ID:844772 · 發(fā)表于 2022-11-4 17:37

質量好不好就看他們用卷積神經網絡訓練的量大不大了，不過把數據庫不認識的頻率剔除降噪，這樣出來的音樂是不是更像電聲樂器了。

ID:688692 · 發(fā)表于 2022-11-4 23:35

kmsj 發(fā)表于 2022-11-4 15:17
感謝樓主的的分享！孤陋寡聞的我，想不到這世界上還有那么好的軟件，這個軟件的原理我不清楚，只是我平時比 ...

沒那么玄乎，i5 4代的CPU都能跑。一開始總是出錯，后來百度才找到原因，我把虛擬內存關閉了，重新打開就好了。

高配電腦可以利用顯卡計算速度快很多，低配電腦用CPU計算稍微慢點但是我覺得速度還是可以接受的。
URV5的下載一搜就有呢，5.4版，5個G大小，一般都網盤。阿里云盤和百度網盤都行。

ID:1065366 · 發(fā)表于 2023-3-6 10:15

coody_sz 發(fā)表于 2022-11-2 11:15
我也搞音頻的，這個軟件是我兒子玩的時候跟我說的，我就給他幾首流行歌，真的可以將歌聲、音樂分立出來，不 ...

你好，我提取的伴奏就不行，一些地方直接就沒有伴奏了，直接就是沒有音樂，這是怎么回事啊，謝謝

帳號		自動登錄	找回密碼
密碼			立即注冊


500 黑幣	回復本帖可獲得 5 黑幣獎勵! 每人限 3 次