初音ミクにみる音声合成の可能性

初音ミク(はつねみく)はメロディと歌詞を入力すると、歌を合成音声で出力されるソフトの名称です。
元々は人間の声なのですが、それを元に自然な音声を合成することができるヤマハの技術「VOCALOID 2」により、クリプトン・フューチャー・メディアという会社が制作・販売して大ヒットとなっています。


音声合成(Speech synthesis)は、人間の音声を人工的に作る技術のことです。
映画『2001年宇宙の旅』で、コンピュータ HAL 9000 クライマックスに歌うシーンは印象的ですが、このシーンができるきっかけとなったのが、物理学者 John Larry Kelly, Jr.とLouis Gerstmeng がベル研究所で IBM 704 により音声合成のデモンストレーションを行い、その際に Daisy Bell を歌わせたというエピソードによります。
この歌をアーサー・C・クラークも聴いていたのです。
当時からすればかなり衝撃だったことでしょう。

コンピュータの作り出す合成音声は、抑揚が平坦でぎこちないという印象がありますが、音声合成の技術進展により、年々飛躍的に進歩しています。
特に、これまでの主な合成は主に、合成は録音された人間の音声を用いず、周波数・音色・雑音レベルのパラメータを調整して人工的に波形を作り音声を作るフォルマント合成 (formant synthesis) という方式や、数年前のカーナビゲーションの案内のように、予め録音していた音声を単純に並び替えた方式が利用されてきました。
このため、合成された音声はロボット的で、人間の発声とは全く異なるものでした。

しかし、その後、連結的合成 (concatenative synthesis)の技術が進み、抑揚や、つなぎ目の自然さが飛躍的に改善されました。

一例として Pentax の音声合成体験サイトをご紹介します。

日本語も英語もOKです。かなり自然な音声であることに驚かされます。
是非試してみてください。 ⇒ 入口はこちらから


さて、初音ミクの話に戻ります。
この音声の元となっているのは、歌手ではなく、声優の方だそうです。
当初は、歌手にオファーしていたそうですが、自分の声を元にクローンが作られたり、自分の持ち歌のカバーが出回ってしまうなどの懸念で、敬遠されてしまったようです。


初音ミクが爆発的な人気になった大きな要因は、動画投稿サイトのニコニコ動画や、YouTube に、ユーザーからの作品がアップロードされたことによります。
そこに上げられている作品は、本物の歌手が歌っているのではないかと錯覚してしまうほどのレベルのものもあります。

YouTubeに上げられている中から幾つかご紹介します。

はじめてのチュウ


この↓あたりはそのまま使っても全くと言っていいほど違和感ないです。


ヤマダ電気


演歌もこなします。
設定されたキャラクターとのギャップ感が何ともいえません。
こぶしもそれなりに再現されています。

越冬つばめ

ここでコーヒーブレークです。
初音ミクは、音声合成のソフトですが、よりリアリティーを持たせるために、キャラクター設定がされています。
緑色の髪の女の子がその設定されたキャラクターです。
このキャラクター、よく「ネギ」を持っているのですが、なぜ「ネギ」なのかというと、フィンランドの Loituma というグループが歌っている民謡、Levan polkka をこの初音ミクに歌わせたとろ、とてもしっくりくるということで話題になったことが元になっているようです。

オリジナルはこちら

Loituma
http://www.hersenscheet.com/loituma.php

その初音ミク版はこちら


そして、こんなものもあります。ある意味究極です。


般若心経木魚付き

 

いろいろと応用ができそうです。

特に、はじめてのチュウのように

カラオケなどで同曲を歌う多くの人はこの歌声に挑戦するも、大抵は喉が限界に達してしまう。ものまね歌唱番組では、ヘリウムガスを使ってこの独特な声を再現した人もいる。(Wikiペディア

というような難易度の高い歌も、難なく正確に歌い上げてしまいます。


例えば自分の声をサンプリングして、様々な歌を歌わせてみたり、抑揚やアヤ、節回しなどを読経や声明、御詠歌など学習させることにより、データとしての記録・保存も可能です。
もちろん、この合成音声が生の音声を越えるということは無いでしょうが、一つのサンプルテキストとしての資料は作ることができるのではないかと思います。


まだまだ出始めのソフトでありますので、まだまだ改善すべき点はあるでしょうけれども、向う数年でさらに飛躍的な進歩を遂げることでしょう。

投稿者: kameno 日時: 2007年11月24日 11:17

コメント: 初音ミクにみる音声合成の可能性

おはようございます!ゆがです。
やっとひとつの作品(母子手帳ケース)が完成!もてる技術の限りを結集しました。(むろん、あげるんですけどね)

面白いソフト。歌をうたうのは大好き。キャラもかわゆい。
『ぬ?べ?』に出てくる「眠鬼」ちゃんみたい。

「歌あそび」もこんなソフトが出て、どんどん進化していくのでしょうか。お経や能のお謡いなんかも稽古できるのがいいですね。そのときはそれに似合ったキモノガールとか、セクシーな尼さんとか、巫女さんなんか使えたら素敵。

投稿者 ゆが | 2007年11月27日 11:06

ゆがさん
お経や声明などは、口伝(直接の伝承)が基本ですから、抵抗があるかもしれませんが、記録の一つとして活用することはできるかもしれませんね。
とにかく出始めの技術ですから、今後の進化に期待です。
※作品完成おめでとうございました!

投稿者 kameno | 2007年11月27日 18:03

コメントを送る