Jetson nanoでTacotron2を動かしてみます。なお本記事は2019年11月末時点のものです。ツールのバージョンアップ等により、この手順で動かなくなることもありうるので、あらかじめご容赦ください。 Jetson NanoでTacotron2＋WaveGlowが動きましたが、実行に約…

前回はDecoderの概要部分でしたので、次は中身を見ていきたいと思います。 2.6 decode,2.7 Location Sensitive Attention,2.8 Postnet,2.9 Tacotron2.inferenceの出力。複雑なところは図にまとめました。

前回の続きです。誤記、わかりやすくするため、たびたび加筆、修正するかも知れませんが、ご容赦頂きたく。akifukka.hatenablog.com 2.3 Decoderの概要 ここからはmodel.pyのクラスTacotron2のinferenceの次の文の中身になります。Decoderはちょっと入り組ん…

以前Colaboratoryで試して、英語の音声合成ができることはわかったので、日本語を目標にまずはtacotron2の中身を解説してみます。Googleの論文とNVIDIA実装を中心に見ていきます。 過去にColaboratoryで試した時の記事akifukka.hatenablog.com GoogleのTacot…

少し解説を。(1)メル スペクトログラム(2)発声の仕組み(3)耳での音の周波数成分分解(4)声帯の発生音周波数と声道（喉、口）の共鳴スペクトラム(5)ケプストラム python用ライブラリlibrosaを使って音声の周波数解析も試してみます。

ディープラーニングによって音声合成も目覚ましく進歩しているようです。 2019年4月に発表されたマイクロソフトAIりんなの歌の完成度は非常に高く、人と区別つきません。まだ、誰もが使える技術ではありませんが、いつかは誰もがつかえるようになるでしょう…