而前者,隨著上周的即夢v2.1,得到了很好的解決。后者,過往有N多產品試圖去解決,但是解決的都很差。閉源的有11labs,英文強到爆炸,中文幾乎沒法聽總是一股子大佐味。開源的,有F5、GPT-sovits、ChatTTS等等,但是不僅本地部署使用困難,出來的情緒說實話,也不咋地。
而這個周末,中文的語音克隆痛點,我發現,被解決了。我直接給大家聽一段我用克隆的AI唐國強老師,念滿江紅的語音。玩了將近2年的AI聲音了,我也是第一次見,能用中文念詩,念的如此情緒飽滿的AI聲音。
嗯,就是那個把人物情緒表演拉滿,在海外AI視頻圈大殺特殺的海螺AI。周末我打開海螺AI,準備跑幾個case視頻的時候,意外的發現,他們悄悄的居然在海外版上線了Audio模塊。
今年1月我就寫過一篇海螺AI聲音克隆的文章,但是那時候,只能在AI助手上,克隆你自己。海螺AI Audio網址在此:https://www.hailuo.ai/audio最頂上左邊的就是Audio,剛剛新上的聲音功能,最右邊那個就是之前爆火的Video。
海螺AI的Audio用起來也非常的簡單,最左邊的側邊欄,分為兩個tab。第一個是Text to Speech(TTS),也就是你克隆完的聲音模型可以在這個地方進行文字生成音頻了。
第二個就是Voices,可以在里面進行聲音的克隆。直接點那個“創建您的聲音克隆”按鈕,目前每個人可以免費創建3個聲音。
上傳的語音最少上傳10s的音頻片段就可以克隆了,不過這個樣本其實不是特別夠,所以我一般推薦音頻素材最好在30s左右,當然你也可以更長,不過一般不需要超過5分鐘。這里我直接去B站,扒了一段唐國強老師在《三國演義》里面的朗誦片段。有個降噪選項,可選可不選,如果你的素材比較純凈干凈,可以不用。開的話可以幫你把一些背景音什么的都剔除掉。
最后需要選一下原始素材的語言,海螺AI支持12種語言,分別是:中文、粵語、英語、韓語、日語、印尼語、西語、葡語、法語、意大利語、俄語、德語。你的原始素材的語言是什么樣的,就選什么語言,克隆出來的聲音模型就會得到最好的效果,比如我上傳的這個唐國強老師的素材是中文的,就選中文就行。很快,大概只要幾十秒的時間,唐國強老師的聲音,就克隆好了。
點擊此位置,就可以切換到剛剛克隆完的唐國強老師的聲音模型。我們直接,讓唐國強老師,來念一首李白的《將進酒》吧。
這首詩我太喜歡了,《長安三萬里》李白那一段上天入地,駕鶴登仙的演繹,更是將這首詩在我心中的地位,推向了最巔峰。
“主人何為言少錢,徑須沽取對君酌。五花馬,千金裘,呼兒將出換美酒,與爾同銷萬古愁?!?/strong>
目前有六種情緒:開心、生氣、悲傷、驚訝、恐懼、厭惡。《將進酒》的最后一段,在我的認知里,雖然一種憤慨,有一種激昂,但是底層情緒,確是悲涼的。點擊生成,幾秒鐘的時間,一段語音,就出現在了你的面前。
為了更加形象的展示,我把這段音頻做了個照片驅動對口型,視頻看起來更直觀一些。而這句話,如果讓11labs克隆林黛玉的聲音來念呢,我給你們聽一下,有多么的鬼畜。
不是說11labs不好,11labs一直以來是世界上公認的最強的AI聲音產品,但是在中文表現上,真的是沒法用的狀態。
而這一次,海螺AI挺身而出,終于,補足了中文領域幾乎是空白的短板,把中文的聲音克隆的音色相似度和情緒,推上了巔峰。
成功率也極高,我想說的是,我上面所有的case,全部是一遍直出,沒有抽過一次卡,這點,真的難能可貴。影視颶風是我最喜歡以及最崇拜的頻道,沒有之一。相信看過影視颶風的觀眾也都無數次聽過TIM那句:“Hello大家好,我是TIM,歡迎收看影視颶風?!?/strong>而這一次,我們讓AI來說這句話,讓大家聽聽,海螺AI的復刻有多么的強。注意,為了避免擬合,所以我在上傳到海螺AI的30秒TIM的素材里,是沒有這句開場白的,都是他在聊一些別的東西。跟我記憶中已經聽過無數次的TIM的開場白,沒有任何區別。作為一個見證了這兩年AI發展的親歷者,這一周的感受格外強烈。從即夢讓中文海報一夜之間"通關",到海螺AI讓中文語音克隆達到了前所未有的高度,我仿佛看到了中文AI能力的爆發時刻。想想兩年前,我們還在為中文大模型和國際巨頭的差距而焦慮。當我們能用AI輕松制作出中文海報,當唐國強老師的聲音能被完美克隆,當林黛玉的語氣都能被精準還原。
閱讀原文:原文鏈接
該文章在 2025/1/7 11:46:14 編輯過