Novemade
すべての実験

二十九の音声付きロケールをオフラインで製作する

子ども向けアプリの完全な多言語音声セットを、有料の音声 API も文字単位の課金もなしに、一台の GPU でローカルに製作できるか。

ラボ

·

六歳未満の子ども向けのアプリは音声が最優先の製品です。対象の読者は字が読めないので、すべての指示、数、ごほうびを話さなければなりません。それを通常の方法でローカライズするとは、音声合成のベンダー、内容が変わるたびに増える文字単位の請求、そしてアプリの寿命のあいだ資金が続かなければならない依存を抱えることです。

代わりに私たちはパッケージ全体をオフラインで製作しました。二十九のロケールにわたる二人の話者、加えて数と色の行については二歳と三歳向けのより穏やかな別のテイク、十五の音楽トラック、八つの効果音です。各行にはそのテキスト、ファイル、生成したモデル、QA の結果を記録したマニフェストの項目があり、音楽と効果音のファイルにはそれぞれファイル単位のライセンス記録があります。

自動化にできなかったのは、チームの誰も話さない言語で、その一行が子どもに正しく聞こえるかを判断することでした。その部分は人間に残り、パッケージは QA が完了したと示唆するのではなく、そうであることを明示的に述べる試聴チェックリストとともに出荷されます。

分かったこと

ここまでに分かったこと。

  1. 01

    形式は好みではなくプラットフォームの決定です。ブリーフは Opus を求めましたが、iOS は Flutter の音声を AVPlayer に通し、AVPlayer には Opus も OGG のデコーダーもないため、Opus のみのビルドは iPhone で無音になります。パッケージは既定で .m4a の AAC-LC を出荷し、Opus は同一のファイル名で Android 専用の代替として保ちます。

  2. 02

    ロケールのフォールバックの連鎖は、その場で作るのではなく設計しなければなりません。厳密なロケール、次に基底言語、次に英語。一度書き下し、プレイヤーがそれを守ります。

  3. 03

    出自の記録は製作時には安く、あとから復元するには高い。生成しながらモデル、ライセンス、QA の結果をファイル単位で記録するのに費用はかかりませんでした。あとから取り戻すなら、すべてを再生成することになっていたでしょう。

Pivumo について

この実験は Pivumo をつくる中から生まれました。