リアルタイムローカルTTS（3100万パラメータ、5.6倍CPU、音声クローニング、ONNX）

皆さん、私の大幅にアップグレードしたVITSベースを基に、外部話者埋め込み（Resemble AIのResemblyzer）で条件付けしたTTSモデルを作りました。約3100万パラメータ（ONNX）のこのモデルは、レイテンシとローカル推論に最適化されており、既にエクスポート済みです。小型で高速なモデルでどこまでできるか限界に挑戦してみました。サーバーCPUで5.6倍のリアルタイム速度で動作し、音声クローニング、音声ブレンディング（2人以上の話者を混ぜて新しい声を作成）をサポートしています。ライセンスはApache 2.0で、音素化にはDeepPhonemizer（MIT）を使用しているため、ライセンス問題はありません。リポジトリにはチェックポイント、実行方法、ColabとHuggingFaceデモへのリンクが含まれています。ただし、小型モデルのため音質は最高ではなく、LibriTTS-R + VCTK（両方とも完全オープンデータセット）で学習しているため、話者類似性も完璧ではありません。それでも、お役に立てれば幸いです。