また,シフトさせて余った部分はゼロにするため,IFFTした音声は元データよりも振幅が小さくなるため,振幅を大きくする操作も行います. 男性 の話し声は500Hz, 女性 の話し声は1, 000Hzなので500Hzシフトさせれば音声変換できるはずですが,500Hzではイマイチ分かりにくかったので1, 000~1, 500Hzくらいシフトさせます. shift_frequencyを正の値にすれば低く,負の値にすれば高くなります. # 元データを保管 fft_original = (fft) # 周波数をシフト # shift_frequencyがプラスで周波数が低く,マイナスで高くなる shift_frequency = 1500 # シフトさせる周波数(Hz) shift = int(shift_frequency*len(fft)/FrameRate) #周波数→データインデックスにスケール変換 for f in range(0, int(len(fft)/2)): if( (f+shift > 0) and (f+shift < int(len(fft)/2))): fft[f] = fft_original[f+shift] fft[-1*f] = fft_original[-1*f-shift] else: fft[f] = 0 fft[-1*f] = 0 改めて振幅を計算します. fft_amp = (fft / (N / 2)) # 振幅成分を計算 逆高速フーリエ変換(IFFT)して音声データを時系列に戻す 編集したデータをIFFTします. テキストを自動で読み上げ「音読のプロ」｜ソースネクスト. # IFFT処理 グラフをプロットします. #グラフ表示 FFTデータが左にシフトしていることが分かると思いますが,振幅は削られているのでそれをIFFTしたデータの振幅も元データよりも小さくなっています. そのため,出力される音声データは小さくなりますから,振幅を大きくしましょう. 以下のような関数を作成します. # 自動的に増幅する振幅を計算する関数 def Auto_amp_coefficient(original_data, edited_data): amp = max(original_data)/max(edited_data) return amp やっていることは単純で,小さくなったIFFTを何倍大きくするかを決定する関数です.
2016/5/31 2016/6/1 音声編集 VSTプラグインである「RoVee」を使用して、マイクから入力した音声を(リアルタイムで)男声・女声に変換する方法について紹介します。 RoVeeとは? RoVee(ロビー)は、VSTプラグインの1つで、主に以下の様なことが出来ます。 男声への変声 女声への変声 ロボット声への変声 ダウンロード 以下のページからダウンロード出来ます。 ソフトウェア – RoVee 1. 21 | g200kg Music & Software 使い方 VSTプラグインが使用できるソフトなら、どんなソフトからでも使用できます。 音声編集ソフト(DAW)なら、ほとんどのソフトがVSTプラグインに対応しています。 例えば Audacity なら、解凍したフォルダの中にある「」を、Audacityの「Plug-Ins」フォルダの中に移動すれば、「エフェクト」の中から使えるようになります。 RoVeeのパラメータについて解説 簡単に解説です。 実際に操作してる動画 すごく分かりやすく解説されている作者様の動画です↓ このページの情報は以上です。 関連ページ: 「パソコンで電話する事が出来るソフト」にて、自分の声を変声する方法について紹介します。 具体的には、 Line Sky...
2-1-2D CNN Generator まず、音声情報はどのような特徴を持っているかを確認してみます。上の図は、女性と男性の声を Mel-Spectrogram で可視化したもので、Y軸は周波数、X軸は時間軸、色は周波数成分の音の強を表しています。 同じセリフの発話ですが、声の速さ・高さ・イントネーションなどの音声特徴によって、違う形のグラフを生成しています。(特に、低い周波数での男女差が目立ちます。) このように、人々の音声情報は, 連続的な音波情報の集まりであり、様々な音声特徴量を含んでいることが分かります。 この音声情報の時間的・階層的特徴を学習に用いるため、CycleGAN VCモデルは2-1-2D CNN Generatorを使用しています。 2-1-2D CNN構造(論文中Fig. 2)は上図のような形になります。2D CNNでDownsample・Upsampleを行い、1D CNNで主な音声変換を行っています。この論文では、 2D CNNを使うことで、オリジナル音声の構造を保存しながら、音声特徴の変換が出来る。 1D CNNを使うことで、ダイナミックな音声特徴変換が出来る。 と述べられています。 2. Two-step Adversarial Loss CycleGANモデルで大事なことは、Cycle Consistencyを維持することです。普通のCycleGANでは下図(論文中Fig.