VITS
arxiv.orgASRU2023VITSベースのSinging Voice Conversion(SVC)モデルの提案Voice Conversion Challenge 2023 (SVCC2023)に参加したT02チームの手法。 SVCC2023についてはこちらの記事にまとめた。ninhydrin.hatenablog.com 手法 アーキテクチャ全体像は図2を…
![はてなブックマーク - [論文メモ] VITS-based Singing Voice Conversion System with DSPGAN post-processing for SVCC2023](https://b.hatena.ne.jp/entry/image/https://ninhydrin.hatenablog.com/entry/2023/10/16/101134)
arxiv.orgVITSベースのSinging Voice Conversion(SVC)モデルの提案 4回目となる Voice Conversion ChallengeはSinging Voice Conversion Challenge(SVCC)となりより難しい歌声変換タスクとなって開催された。 SVCC2023についてはこちらの記事にまとめた。 ni…
![はてなブックマーク - [論文メモ] VITS-Based Singing Voice Conversion Leveraging Whisper and multi-scale F0 Modeling](https://b.hatena.ne.jp/entry/image/https://ninhydrin.hatenablog.com/entry/2023/10/10/103000)
arxiv.orgICASSP 2023Wave-U-NetをdIscriminatorとして採用する。HiFi-GANやVITSではdiscriminatorのアンサンブルを採用し高品質な音声を学習している。 しかしアンサンブルすればパラメータが増加し学習時間が長くなる。 アンサンブルではなく、強力なdiscr…
![はてなブックマーク - [論文メモ] WAVE-U-NET DISCRIMINATOR: FAST AND LIGHTWEIGHT DISCRIMINATOR FOR GENERATIVE ADVERSARIAL NETWORK-BASED SPEECH SYNTHESIS](https://b.hatena.ne.jp/entry/image/https://ninhydrin.hatenablog.com/entry/2023/08/09/101041)
arxiv.orgzero-shot multi-speaker TTSのための話者を明示的に正規化するSNAC layerの提案既存のzero-shot multi-speaker TTS (ZMS-TTS)では話者専用のエンコーダを用意してstyle transferの要領で変換することが多い。 またそのときにはFastSpeech系のfeed-…
![はてなブックマーク - [論文メモ] SNAC: Speaker-normalized affine coupling layer in flow-based architecture for zero-shot multi-speaker text-to-speech](https://b.hatena.ne.jp/entry/image/https://ninhydrin.hatenablog.com/entry/2023/07/07/103615)
arxiv.org歌声変換チャレンジ 概要 2016年から開始されたVoice Conversion Challenge(VCC)は対象話者への声変換をベース目標としてやってきた。VCC2020では自然性についてはまだ人間レベルではないにしろ正解話者との類似度は非常に高くなった。そこで音声変…
![はてなブックマーク - [論文メモ] THE SINGING VOICE CONVERSION CHALLENGE 2023](https://b.hatena.ne.jp/entry/image/https://ninhydrin.hatenablog.com/entry/2023/06/29/095627)
ICASSP2023 https://ieeexplore.ieee.org/document/10095323VITSの改良VITSはE2EなTTS(VCもできるけど)モデルでテキストから複数話者の発話を生成できるが、テキストが同じでも発音は人によって異なるためここに情報のギャップが発生する。それをなんとかし…
![はてなブックマーク - [論文メモ] CYFI-TTS: CYCLIC NORMALIZING FLOW WITH FINE-GRAINED REPRESENTATION FOR END-TO-END TEXT-TO-SPEECH](https://b.hatena.ne.jp/entry/image/https://ninhydrin.hatenablog.com/entry/2023/06/09/094934)
テキストを利用しないone-shot可能なVITSベースのVoice Conversion(VC) arxiv.org github.comよくVCではコンテンツとスタイル(話者情報)を分離して再合成するという形式が多い。しかしその多くはコンテンツ情報にスタイルがリークしていたり大量のアノテーシ…
![はてなブックマーク - [論文メモ] FREEVC: TOWARDS HIGH-QUALITY TEXT-FREE ONE-SHOT VOICE CONVERSION](https://b.hatena.ne.jp/entry/image/https://ninhydrin.hatenablog.com/entry/2023/01/26/102808)
