人の言葉に応答するCGキャラクター

卒研の紹介です。 人が話かけると応答するCGアニメキャラクターを作りました。このようなアプリを1から作るのは容易ではありません。そこで今回は、NHKのTVMLというアプリを利用しました。

NHKのTVMLとは、CGキャラクターの動作のシーケンス(順序)を記述した「台本」と呼ばれるものを用意すると、キャラクターがその通りに動き、簡単なアニメを作ることができるというものです。
TVMLの動作原理は、TVMLプレーヤーに約20個のポーズ(姿勢)が登録されていて、このポーズの発現順を「台本」に記述していきます。

ポーズには「立つ」、「向きを変える」、「喋る」、「おじぎ」などがあり、キャラクターの関節の形で記述します(次の図)。

卒研では、音声で「台本名」を指定してCGキャラクターに演技をさせます。比較的短い「台本」を沢山用意しておくことにより、(場面は限定的ですが)簡単な会話が成立します。

今回は、複雑な動作の記述を可能にするため、新たに約30種類の「ポーズ」をTVMLプレーヤーに付け加えると共に、約40の「台本」を用意しました。

付け加えたポーズには、「頭をかかえる」や、「腕で○や×を作る」などがあり、 台本には「スクワット」、「ヨガ」などがあります。

なお、人の声から台本名を認識させるためには、Juliusというフリーの音声認識ソフトを使用しています。Juliusの音声認識には「どんな言葉でも認識するモード」と「登録語だけを認識するモード」があり、今回の台本の認識率は前者が約34%、後者が約87%でした。