トップ » Vol.28 » 初音ミクから学ぶデジタルコンテンツの可能性

Accumu Vol.28

初音ミクから学ぶデジタルコンテンツの可能性

京都情報大学院大学教授
伊藤博之

KCGIの伊藤博之教授がKCGグループ全学生に特別講義
2022年1月にオンライン実施

「未来から来た初めての音」が名前の由来というバーチャル・シンガーは,長引くコロナ禍にもくじけず,元気あふれるパフォーマンスで多くのファンを魅了する―。世界中で人気のボーカロイド(VOCALOID)「初音ミク」の生みの親でクリプトン・フューチャー・メディア株式会社(本社:札幌市,創立:1995年)代表取締役の伊藤博之氏は,2013年から京都情報大学院大学(KCGI)の教授を務める。コンピュータと音を接点としたソフトウェアの開発を続ける伊藤教授は,これからのIT業界を担うKCGグループの全学生を対象とする特別講義を毎年開講。コンテンツビジネスの第一人者として,「初音ミク」誕生の経緯や成長ぶり,幅広い分野での活躍,音声技術・3DCG技術への取り組みを丁寧に説明し,学生たちのIT学習意欲に刺激を与える。

初音ミクは2007年8月31日生まれ,歌詞とメロディを入力すると音声合成で歌ってくれるソフトウェアで,「身長158センチ,体重42キロ,16歳」の人気キャラクター。国内外でライブコンサートが開催され,日本文化を世界に発信するクールジャパンの象徴的存在になっている。

2022年1月14日,新型コロナウイルス感染予防のためオンラインで開催された伊藤教授特別講義の内容を紹介する。

伊藤教授特別講義

「ツクルを創る」

クリプトン・フューチャー・メディアという会社をやっている伊藤博之です。いま,札幌からオンライン接続しています。会社のキャッチコピーは「ツクルを創る」。“ナイものは創ってしまえ”という心意気で事業をしています。

なんで「つくる」に注目して会社を運営しているかというと,作るという行為は人の本能的な欲求だと思うんです。こういう欲求は,なかなか止まることはないので,そういうことを事業にして,会社を継続的に社会に役立てる形で大きくしていけるかと思ったわけです。

どんな「ツクルを創る」かですけど,これ(講義画面)は当社で運営している音楽クリエイター向けのツールを配信するプラットフォームで「SONICWIRE(ソニックワイヤー)」というサイトです。音楽を作るときにソフトウェアが必要ですよね。楽器のソフトとかプラグインという,そのエフェクトのソフトとかをオンラインで配信しているプラットフォームです。1万6,000種類くらいの製品が置かれています。SONICWIREは音楽を作るクリエイター向けのプラットフォームです。

作った音楽をどこかで配信したい,お金に換えたい,そのためのプラットフォーム「ROUTER.FM」を運営しています。このプラットフォームを使うことで,SpotifyとかApple Music,Amazon,Line Music,いろんなサービスに音楽を届けることができます。そこで得られた収益を我々が受け取って,クリエイターにお返ししますっていうサービスです。

これ(講義画面)は音楽カードという,クレジットカードぐらいのサイズのカード型音楽メディアで,裏側にQRコードが付いているんです。スキャンすると音楽がダウンロードできるカードで,アイドルとかビジュアル系バンドとか,コレクションとしてファンがそのカードを買って,音楽をダウンロードする形でこのソリューションを使っていただいている。ダウンロードだとお店で売れないけど,カード型メディアであればお店で,即売会で売ったりできるので,非常に重宝されています。

あと,初音ミクですね。歌声を合成するソフトウェアです。音楽を作るソフトにキャラクターを付与し,製品化して販売しているわけです。キャラクターに関しては,オープンライセンス…二次創作してネットで配信して,そういう利用はどうぞご自由にということで展開しています。

インターネットで初音ミクは活躍していますけど,ネットは国境がないので,日本だけじゃなくアジアとか欧米とか,たくさんのファンが世界中におりまして,そういった方々に対して,商用展開も盛んに行っています。

これ(講義画面)は社内です。コロナ禍でほとんど出社している社員はいなくて,みんなテレワークしています。いま,ちょっと雪で覆われていますけど,窓から北海道庁を見つけることができ,結構きれいな緑と山が見えます。

会社は,九つのチームで構成されています。チームというのは,普通の会社でいうと部みたいなものです。「がやがや」と「もくもく」2種類ありまして,がやがやチームは五つ。がやがやとディスカッション,会話しながら進めていく仕事を担当しているチームです。もくもくは3チームあるんですけど,パソコンに向かってもくもく(黙々)と仕事するチームで,デザインとかシステムの開発担当者が属しています。

得意分野を追求

各チームがばらばらに仕事しているんですけど,案件ごとに有機的につながりながら,仕事をこなしていく体制になっています。うちの会社は,事業がTの字型をしています。うちは,音とかバーチャル・インスツルメントというソフトウェア,配信だったり,特に音に関して深く掘り下げてきました(Tの字の縦棒)。たくさんのサウンドの商材とか,その商材をオンラインで配信するプラットフォームを作ったり,音をとにかく極めようと,音について掘り下げてきました。

深く掘り下げると,いろんな知識が身につくんです。音に関するライセンス事業だったり,配信であればサーバーを使った配信のシステムを作ったりもしますし,そうするとインターネットの技術にも明るくなる。その獲得した知識を,他に何か応用できないかと考えます(Tの字の横棒)。音,音楽に関する知識を応用して,いろんなWebとかアプリの開発をしたり,初音ミクはじめキャラクターに関することを応用するとゲームやVRの開発,キャラクターのライセンシング,イベント制作をしたり。いろんな形で応用し,ビジネスの範囲を広げていくことができています。

深く掘り下げ,しっかり応用もしていくことによって,正三角形のようなビジネス構造を思い浮かべながら,ビジネスをつくっていく。掘り下げていくだけで,何も応用しなかったら細長い三角形になって,この三角形の面積が売り上げとか収益に比例すると思いますが,小さな面積しか得られないんです。コア,得意分野を持たずに何でもかんでも手を出しても平べったい三角形ができあがるだけで,これも面積は小さいですよね。得意分野をしっかり持ち,追求することによって,いろんなことができていくはず。そのできることを他のことに応用できないかと考え,事業を行っている会社です。取引先は,音楽業界,楽器業界だったり,ゲーム関係の会社もお付き合いがあります。

デジタルサウンド

デジタルサウンド…デジタルの言葉は釈迦に説法ですよね。念のためにおさらいで,デジタルの反意語はアナログです。デジタルとは,広辞苑の定義で,ある量を0と1の2進数で表すことです。世の中の信号って大体アナログです。音はもちろん光もそうです。アナログは,しまっておくというかデータ化することがなかなか難しいので,デジタル化します。デジタル化することをサンプリングっていいます。(講義画面)下の方に方眼紙のようなマス目のある図があります。塗りつぶした部分が0,塗りつぶされてないのが1みたいに,0,1の情報に置き換えることをデジタル化,サンプリングといいます。アナログ信号もこういう形でサンプリングしてデジタルデータにしています。

音も元々はアナログの信号ですけどデジタル化し,そのうえでファイルとしてしまっておくことができます。音をしまっておく時に使うフォーマットには,大きく分けて2種類ある。一つはMIDI,もう一つはPCMといいます。MIDIは楽譜情報です。それに対してPCMは録音した音そのものです。先ほどの方眼紙のような状態になったものをPCMといいます。データ量はPCMの方が圧倒的にでかいです。

昔30年前,MIDI情報からスタートしました。パソコン通信とか通信カラオケです。だんだん回線が太くなって動画,音楽が自由に送れるようになった。最近はMIDIよりもPCMの情報をやり取りすることが増えてるけども,昔はMIDIでデータを送るというところからデジタルサウンドはスタートしました。ちなみにMIDIは音そのものではない。規格です。MIDIは,AMEI(音楽電子事業協会)という団体が規格を策定していて,うちもAMEIのメンバーです。ヤマハとか,第一興商とかカラオケメーカー,楽器メーカー,ゲームメーカーなどが会員の団体です。

ボーカロイドを使ったことがある方であればVSQXというファイルフォーマットを見たことがあるかもしれませんけど,これも広い意味でのMIDIです。

PCMは,アナログデータをデジタル化したものですね。録音した音楽そのものです。CD…みなさんまだ使っていると思うんですけど,中にはデジタルにエンコードされた音が入っています。CDに入っている音の解像度が44.1キロヘルツの16ビットです。ヘルツって周波数のことです。44.1キロは…キロは1,000なので…4万4,100ですよね。1秒間に4万4,100回サンプリングする頻度の,解像度です。

1回のサンプリングごとに16ビットのマス目に収めるんです。16ビットというのはそういう意味です。CD,wavファイル,Macを使っている方であればaiffファイルっていう形式,見たことあるかと思うんですけど,これもオーディオファイルです。CDもwavもaiffも全部非圧縮フォーマットです。それに対して圧縮フォーマットもいくつかありまして,というか圧縮フォーマットの方がみなさんにはなじみ深いかもしれませんね。例えばmp3とかwma,あとmp4もあるし動画ファイルですよね。mpって付くのは,大抵圧縮フォーマットです。音楽をSpotifyとかApple Musicで聴く方も多いと思うんですけど,あれストリーミングフォーマットです。ストリーミングも圧縮フォーマットの一つです。これら全部PCMといいます。

MA

音って,コンテンツつくるとき大事です。なぜ,どのぐらい大事かというと,心理学の言葉で,視聴覚の聴覚優位という法則があります。視聴覚の中で,聴覚が一番敏感に反応するっていうセオリーです。人間が生まれて最初に反応するのが音というか聴覚らしい。音は心理的に影響を与えやすい刺激なので,映像を作るとき映像に時間をかけて凝るだけじゃなくて,音に凝ることによってシーンを効果的に演出することができます。例えば怖いおじさんも,この(講義画面)写真だけじゃなくて音を付けるともっと怖くなります。(音声流す)こんな感じでちょっと怖くなります。宇宙船に音を付けると迫力が増します。

映像作品に音を付ける工程のことをMAといいます。マルチ・オーディオの略ですね。MA作業にはもちろん音が必要ですけど,映画を撮るときにはロケでアクターのセリフをマイクで収録します。例えば映画の中で銃撃シーンがあるからといって映像を作るときに銃は撃たないですよね。銃は危ないし,捕まっちゃいますので,そもそも撃てないわけです。銃の音はどうやって,映画のシーンの中に組み込まれていくかというと,録音した音の素材集が売られているんです。それを加工しながら,MAスタジオで映像に,銃撃の音を足し込んであげる。映像制作するときには,効果音ライブラリーとか,ちょっと感動的なシーンを彩るBGMのライブラリーだったり,そういう音の素材集が必要になってきます。

効果音ライブラリー,BGMライブラリーというのが存在する。実在する音であれば録音しますけど,例えばUFOの音,恐竜の声,魔法をかける音って実在しないわけです。そういうものを映像に付けたい場合は効果音ライブラリーを使うのが手っ取り早いです。

BGMも音楽は著作物なので勝手に使えないんです。使う場合にはその音楽の権利を持っている人に交渉してお金を払って使う。結構高いので,BGMライブラリーという著作権フリーの音楽ライブラリーを使えば,比較的安く権利処理された音楽を映像の中に組み込むことができます。そういう制作をされている方は,ライブラリーを活用するといいと思います。

サンプルパックという素材集もあります。これは音楽を作る素材集です。ちょっとデモ…音をいくつかお聞かせします。サンプルパックの音です。(講義画面に)波形,ギザギザが見えていますけど,これ一つひとつが音です。いまドラムの音をかけました。短いですよね。普通にかけると短く終わっちゃうけど,後ろに行くともう一回頭から繰り返すループ再生をした状態でかけてみます。まあ,なんかリズムっぽくなった。で,ギターとかベースとか素材として一つのサンプルパックの中に曲の断片がいろいろ入っていて,それをつなぎ合わせると,1曲作れちゃう。サンプルパックを使って作った曲があるのでかけます。自分でギターも弾いてドラムもたたいて,ベースも弾いてというと結構大変ですけど,サンプルパックを使うと楽器を弾かなくても自分の好きなタイミングで,楽器をオンしたりオフしたりしながら,曲を作ることができます。

素材集はいろんな種類が出ていて,リズムとかもたくさんあって,自分が好きなリズムを選んで,それを使いながら,そこにギターを弾いたり歌を乗っけたりしながら,効率よく曲って作れるんです。いろんなバリエーションがあるので,後でさしかえることもできます。こういうのをサンプルパックといいます。音の素材集ですね。

DTM

DTMって聞いたことありますか。デスク・トップ・ミュージックの略で,コンピュータで音楽を作ることをいいます。昔はハードウェアをたくさん買ってDTMをやってたので,何百万円もかけなきゃそろわなかったけど,いまはソフトウェア化されているので,無料に近いくらいで始められます。

DTMを始めるとき必要なもの。機材,スピーカーとかヘッドホン。オーディオ・インタフェースもあったらいいけど,なくても大体自分のパソコンの中に簡易的なオーディオ・インタフェースは入っているので,それを使っても大丈夫です。あとMIDIキーボード,MIDIコントローラはあれば便利です。これ(講義画面)はMIDIキーボード。ドミソみたいなデータを打ち込むときに,マウスでクルクルやるよりも鍵盤から直接入力した方が,割と直感的で速かったりします。これはMIDIコントローラです。つまみ…トラックっていうんですけど,ドラムトラックとかボーカルのトラックとかの音量調節するときに,こういうフェーダーを使うと結構直感的にできて便利です。

あと,DTMを始めるとき必要なものとして,DAW…デジタル・オーディオ・ワークステーションの略で音楽を制作するソフトウェアのことです。たくさんの音を読み込んだり,音楽をバランスしながら作っていくソフトです。DAWは音楽を作る要になるソフトなので,フリー版から始めてもいいと思います。DAWに差し込むプラグインはたくさん出ています。プラグインは,エコーみたいに音に響きを与えたり,音をつぶしたり,音を持ち上げたりするエフェクターですけど,必要に応じて使えばいいと思います。

DTMするときに必要な三つ目として音源です。簡単にいうと楽器です。ギター,ピアノ,トランペットとかです。ただDTMはコンピュータなので,デジタル化された楽器です。ソフトウェアとしてパソコンにインストールして使う楽器のことを,音源,ソフト音源,バーチャル・インスツルメントとかいいます。ボーカロイドも音源です。

バーチャル・インスツルメント

音源,バーチャル・インスツルメントのことを説明します。読んで字のごとくですけど,バーチャルは仮想の,インスツルメントは楽器という意味ですね。仮想楽器。実物は存在しないけれども,コンピュータにインストールして使うソフトウェア化された楽器のことをバーチャル・インスツルメントといいます。いま,ほとんどのクリエイターはバーチャル・インスツルメントを使いながら曲を作っていると思うんですが,何かの方法でその楽器を代用する技術は,結構昔からあります。

その代表的な,バーチャル・インスツルメントの元祖みたいな1960年代に登場したメロトロンという楽器があります。見た目こんな感じ(講義画面)です。ちょっとでかい電子ピアノみたいです。この楽器の箱をパカッと開けると,手前に鍵盤があります。奥に細長い鍵盤に対応したスリットがくっついています。スリットは磁気テープで,これに音を録音する。その音が,その鍵盤の数だけ,鍵盤に対応してセットされている構造です。一個一個のスリット…磁気テープにどんな音が録音されているかというと,ある楽器の演奏した音そのものが入っている。ドレミファソラシドの鍵盤があって,ドの音にはドの音階で録音されたその楽器の演奏が,レの音にはレの音階でレコードしたその楽器の音が入っています。鍵盤を弾いたときに,対応するスリットが回転し中に入っている音を再生し始める。そうすることによって,そこに楽器がないけど,そのまねをすることができるという楽器です。

物は試しに,メロトロンの音を聞いてみましょう。ビートルズの「ストロベリー・フィールズ・フォーエバー」という曲。たぶん全員聞いたことがあると思います。曲の冒頭にフルートの音が入っています。このフルートの音は本物じゃなくて,メロトロンの音です。耳を澄ませて聞いてみてください(音楽再生)。有名な大御所の,古い楽曲ですけど,メロトロンの音が使われています。メロトロンは,テープのパッケージを別な音色にさしかえることができたので,フルートの他にもオーボエ,バイオリンの音だったり,結構たくさんバリエーションがあるんです。

もう一曲。コーラス…人間の声のメロトロンのテープのセットがあって,それを使った楽曲があります。古いロックですけど,10ccというバンドの「アイム・ノット・イン・ラブ」,この曲も有名です。冒頭から人の声のアンサンブルがかかっているんですけども,それがまさにメロトロンになります(音楽再生)。ワーっていう声が全編にかかっている,メロトロンの音色です。こういう,コンピュータになる前のアナログの方式でバーチャル・インスツルメントを実現した例がありました。

コンピュータが出始めの頃は,チップをハードウェアとして鍵盤楽器の中に組み込んで,バーチャル・インスツルメントになるような楽器が出ていました。これ(講義画面)は「フェアライト」という楽器です。結構でかいです。1980年代の楽器なので処理速度,性能はさえないけど,こういう楽器が出ました。これは「シンクラビア」というアンティークな楽器ですけど,高級外車1台買える値段らしい。小室哲哉さんが何台もこれをステージに上げて使っていました。

昔は何千万円,何百万円したんですね,こういったバーチャル・インスツルメントの製品が。で,価格をぐんと下げたのが日本のメーカーでした。これ(講義画面)はローランドが出した「サンプラー」というバーチャル・インスツルメントの機械ですけど,32万円だった。まだ高いなあって印象ですけど当時,何百万円もほかのメーカーはしたので,画期的な値段でした。それ以降ローランドもそうですしアカイとかヤマハとか日本のメーカーが席巻する。世界の電子楽器のほとんど,良い製品は日本製という時代が1990年代に訪れるんです。

でも,それも長くは続かなくて,2000年代以降は日本のメーカーが造った製品が衰退していきます。なぜかというと,ハードウェアの時代からソフトウェアにチェンジした。つまりパソコンにソフトとして楽器をインストールする方式にどんどん変わっていったんです。それによって,ハードウェアの製品は1個30万円です安いでしょ,といっても,ソフトウェアであれば3万円とか2万円みたいな価格なので,そっちにどんどん人気が移っていっちゃった。ソフトウェアを開発している会社は,比較的欧米が多かった。なので,いまもそうですけどバーチャル・インスツルメントの基本的なソフトを作っている会社は日本じゃなくて,欧米のメーカーが多いです。

これ(講義画面)はドラムのバーチャル・インスツルメントです。ドラムの音って結構でかいですよね。本物をアパートに置いてたたいちゃうと近所迷惑なので,難しいです。でもソフトウェアであればパソコンにインストールして使うだけ。(講義)画面に表示している楽器はオーケストラで,まあドラムは頑張れば買えますけど,オーケストラは買えないですよね。(音楽再生)こんな感じの音楽をコンピュータの中で作ってしまえるというのがバーチャル・インスツルメントを使うメリットです。

人間の歌声も

いろんな楽器が製品化されているので,人間の歌声もバーチャル・インスツルメント化したい,と取り組んだのがボーカロイドです。初音ミクですね。初音ミクは,歌声のバーチャル・インスツルメントです。ヤマハのボーカロイド技術を使って開発しました。最新バージョンは「初音ミクNT」といいます。音声合成技術って昔からあるんです。昭和の時代から。コンピュータミュージックも昔からあります。コンピュータが出て,コンピュータミュージックとゲームのソフトが大体最初の頃に出るくらい,コンピュータと音楽って親和性が高くて。だからコンピュータミュージックってソフトの分野も,新しいものじゃないんです。だけど,この二つのハイブリッドといいますか,接点である歌唱合成技術というのは,あまり取り組まれてこなかった。ましてやそこにキャラクターをくっつけるという試みは当社がやるまでは,全くなかったんです。

キャラクターを付けて歌声合成ソフトを出しました。そうしたところ,ユーチューブとかニコニコ動画を中心にいろんな創作が生まれたんです。ある創作から別の創作が生まれるという創作の連鎖が起きました。ボーカロイド初音ミクの正体は歌声合成技術ですけど,そこにキャラクターをくっつけたことによって,創作の連鎖が速いペースで起こりやすくなったといえます。元々ソフトウェアとして発売した初音ミクですけど,ソフトウェアというだけじゃなくて,キャラクターとしても知られるようになっていきました。

キャラクターとして使いたい…歌声ソフトだけじゃなくて絵を描いたり,CGを作ったりということですね。そういう要望が非常に多くなり,権利をどうスムーズにクリアするか当社も取り組んでいかざるを得なくなりました。その際に二つの権利処理について考える必要があって,一つは当社,元々の初音ミクの原著作物としての権利。もう一つは初音ミクを題材にファンが作ったファンアートの権利。この二つをどう権利処理するか,大きなポイントとして取り組みました。

1番目の取り組みの答えとして,ライセンスを発効しました。音楽ではプログラマが,オープンソースのプログラム使って自分の作品を作ることが多いと思うんです。オープンソースってアパッチ,GPLとかいくつかライセンスがあります。あれのキャラクター版だと思ってください。こういう範囲であれば自由にやってくださいと宣言するんです。簡単に書くとマル(○)って箇所はやっていいですよ,でもバツ(×)っていう箇所はやっちゃ駄目ですよ。二次創作物を自由に作ってください,それは公開自由ですが宣伝とか広告のために使うことは駄目ですよ,と。他の人の作品を自分のものだと偽って使うことも駄目ですよ,といくつかこれはやっちゃ駄目というポイントを規定した。その範囲内で自由に使ってくださいという風に取り決めたライセンスです。

2番目のファンアートに関する取り決めは,端的にいうと投稿サイトを作りました。「piapro(ピアプロ)」といいます。非常にたくさんの作品が投稿されています。初音ミクを出すだけじゃなくて,なるべくたくさんの方に創作を萎縮せずにしていただくためにライセンスの発効をしました。そういったいろんな取り組みを行って,たくさんのクリエイターが育つというか,現れていく。代表的な方,ハチさん…米津玄師さんも初音ミクのクリエイター活動をしていた方ですし,千本桜を作った黒うさPさんとか,たくさんの音楽クリエイターが現れます。音楽だけじゃなくてイラスト,小説,衣装だったりいろんなジャンルに波及してくる。インターネットを中心とした創作の連鎖的な広がりをGoogleがテレビCMにしたものがありますので,ちょっとご覧ください(映像再生)。この動画でも分かるように,コンテンツって使えば使うほど価値が増えるという法則があると,私は思っています。コピーしちゃ駄目,絶対使わせません,という風に鍵を掛けてしまっといても増えないんです。だからいかに,いろんな人に使ってもらうか,コラボレーションしていくかがすごく大事だと思っています。

コラボレーション

いろんなコラボレーションに取り組んでいます。プリキュアとコラボしたり,シンカリオンという男の子向けのアニメ,バーチャル・シンガーだけど髪さらさらっていうメーカー,プロのアーティストともコラボしました。千葉市の市章が初音ミクに似ているというネット情報から,実際に千葉市とコラボレーションしてアクセスが集中したこともありました。

私が住んでいる北海道での取り組みは,雪でできた初音ミク…雪まつりというイベントが毎年2月に札幌であるんですが,雪まつりに初音ミクの雪像を作ったことがきっかけでスタートした「スノーミク(SNOW MIKU)」というイベントです。雪まつりを開催するタイミングで札幌中心にスノーミクを開いて,北海道にいろんな方が来るきっかけづくりをします。青森県の弘前市であった桜ミクっていう桜色の初音ミクですけども,桜祭りイベントにキャラクターが登場という取り組みもやっています。

世界での取り組みにいきます。ご当地というかその国の中ではすごく知名度が高いキャラクターっているんですよね。例えば女の子「ママンちゃん」。タイでは国民的に知られたキャラクターですが,初音ミクがコラボをやった。猫ちゃんのキャラクターがカナダの若い子の中では人気で,そのキャラクターとコラボしたり。あと韓国のウサギのキャラクターと一緒にコラボ。日本でも人気出始めてる「マイリトルポニー」っていうユニコーンのキャラクターの会社とのコラボですね。それぞれ,いろんな国のご当地,知る人ぞ知るキャラクターとコラボレーションすると,その国で初音ミクの知名度を上げていくことができます。

そうかと思えば,アートですね。アート作品の中で初音ミクを活用する動きもあって,オペラ作品というか,デジタルアートの作品ですけど,世界中いくつかの都市で上演しています。初音ミクが着る格子状の衣装は,ルイ・ヴィトンのデザイナーでもあるマーク・ジェイコブズさんが作った衣装です。ファッションメーカーともコラボレーションする機会があって,VOGUEというファッション誌とのコラボですけど,ジバンシーのデザイナーが作った衣装を身にまとった初音ミクです。アースミュージック&エコロジーというアパレルブランドとのコラボレーションもあります。

日本の伝統芸能ともいろいろやっています。超歌舞伎という歌舞伎とのコラボレーションで,実際に舞台で初音ミクのCGが中村獅童さんと共演させていただいております。京都でも2021年秋に,南座で舞台が行われました。

で,もちろんテクノロジーですね。CGとかロボティクスという分野で初音ミクを活用した研究・開発も多々あります。「Project DIVA」という,ゲームの中でキャラクターが登場して歌って踊って,そのタイミングに合わせてボタンを押して得点を競ういわゆる音ゲー。このゲームに初音ミクのCG,歌って踊るCGを作るわけです。

そのCGを舞台に上げるとコンサートができるということで,初音ミクはバーチャルですけども,リアルにステージに上がってコンサートをすることも,できるようになりました。ちょっと映像を見ていただけますか(映像再生),この会場はニューヨークです。コロナ禍以降は日本の国内でしかコンサートができない。毎年一度,東京と大阪でイベントを開催しております。コロナ禍ですけど,2020年,2021年どちらも開催しました。マジカルミライというイベントです。コンサートだけじゃなくて,初音ミクのファン,ボーカロイドのファン,そういった方々は絵を描くとか音楽を聴くとか,創作にすごく関心がある。コンサートを見るだけじゃなくて,いろんなクリエイターの作品を見る。ワークショップもいろいろやって,そういうところでモノ作りのきっかけをつくっています。(講義画面は)楽器を体験するブース。なかなかトランペットとかバイオリンとかいう楽器を体験する機会もないけど,こういうイベントに合わせて,いろんなことを体験して,何かを始めるきっかけになってくれるといいなと思っています。コロナ禍前までは,たくさんの外国人も含めた方がいらっしゃって,日本で行われるイベントですけども,世界中からファンが訪れてくれました。

日本でやるから外国の方来てくださいだけじゃなくて,我々の方から外国の方に行ってコンサートするということも,多くありました。「MIKU EXPO」という名前で世界ツアーを開催しています。2014年に始まったけどコロナ前までの5年間に,27都市で公演しました。最新の公演は2020年1月,ヨーロッパツアーやってます。この直後にコロナが世界的にまん延した流れですね。

技術開発

うちの会社,Tの字型をしていると話しましたが,コンサートを行う会社じゃなかったんです。だけど,初音ミク,歌声合成ソフトを出し,初音ミクのコンサートを手掛けるようになりました。で,どうすればコンサートが実現できるかっていう,その技術の部分に関しては,じゃあせっかくだから自分たちで,と作りました。2014年にレディ・ガガさんから,コンサートの前座をやってくれないかというお話をいただいたんです。前座なので10分で設営して10分ではけて,みたいなね。そういう結構無理な仕様を要求され…じゃ,それに合うシステムを作って,そのうえで前座をしようということになったんです。バンドとか設営すると時間かかっちゃうんでバンドなしで,その代わり人けがないとちょっと寂しいから,ダンサーを日本から連れてって共演するっていう,そういったステージでした。

オーケストラとの共演。オーケストラって指揮者が真ん中にいて指揮棒を振る,そのタイミングでテンポが発生するんです。そのテンポに合わせて,オーケストラは演奏する。当然ミクもそのテンポに合わせて歌って,ダンスをしてという風にしなければオーケストラの公演にならない。そのためにはリアルタイムにCGを生成する技術が必要で,それを,unityベースですけど開発して,いくつかのコンサートをやりました。

コロナ禍でも…‼

コロナ禍になり,なかなかリアルでコンサートができなくなりました。じゃ,コンサートをあきらめるのか,コロナ禍前のコンサートってどういう風にやれば実現できるかと考え,例えばVRのライブですね。去年,一昨年続けてやらせていただいています。

毎年中国でイベントを開催していました。それがコロナ禍で渡航できなくなっちゃった。その代わり日本で中国向けのライブを制作して,中国コンサートをオンラインベースで実現しました。2020年と2021年も,つい半月前ですけど,ライブを実現しました。なかなかコロナ禍で,コンサートはできないけど,先ほどお話ししたMIKU EXPOという世界ツアーは2014年からスタートして,毎年必ずどこかの国ではライブやってたんです。2021年はどこにも行けない年になって,じゃあMIKU EXPO今年はやらないってことになったらちょっと悔しいので,オンライン形式で実施しました。オンラインをするに当たって,費用が掛かるけど,クラウドファンディングで集めました。結局大きな金額を集めまして,オンラインベースですけどもコンサートを実施できました。

これ(講演画像)はコンサートの様子ですけど,AR合成するんです,初音ミクを。実際の舞台の場所は札幌です。JR札幌駅の屋上で,そこをロケ地にしてコンサートを行ったんです。だから札幌の街並みもちょっと見えるんですね。夜景を背景に初音ミクをARで合成し,さらに実在しないオブジェなんかも。上の方にオブジェが浮いてますが,CGです。会場には光,照明があるんですけど,初音ミクの足元見ていただければ,ちゃーんと影が付いていることが分かるんです。CGで制作しながら,映像を作っていくわけです。舞台の中に,実在しない光の玉みたいなものを揺らせたりとか,実際の舞台でこういった演出は不可能ですけど,CGというかARで合成しているから可能になります。せっかくなので映像を見ていただきます。(映像再生)

実はこのコンサート開催に合わせて,楽曲コンテストを世界中のクリエイターを対象に行いました。そのグランプリ作品,楽曲名は「サウザンド・リトル・ボイセズ(Thousand Little Voices)」で,ボルト・キッドさんとフランジャー・ムースさんという2人の合作ですが,ボルト・キッドさんはドイツの方です。フランジャー・ムースさんはアメリカのカリフォルニア出身で,図書館職員だそうです。国が違う方がコラボレーションした作品で,さらにCGとして登場する衣装も,これも衣装デザインコンテストを別に行って,そこのグランプリ作品です。マレーシアの学生アイズマリルさん。いろんな国の方がコラボレーションして札幌でライブするという,すごく多国籍な感じの取り組みだったんです。こういうことも初音ミクとかMIKU EXPOというイベントを通じて,行われているということもちょっと紹介したかったことでした。

MIKU EXPOは,今年もなかなか海外に行ってコンサートするのは難しい状況だと思うんです。それで2022年どうしようかと考えた結果,「MIKU EXPOリワインド(REWIND)」という名前でコンサートを,オンラインですることにしました。MIKU EXPOって,一番最初2014年はジャカルタからスタートして世界中ツアーしました。その会場で観客は見られてるんですけど,どこも配信しなかったということで,秘蔵の映像があるんです。秘蔵映像をつなげる形で,リワインド…巻き戻して,過去からもう1回そのEXPOを見てみようという,そういったコンサート,映像イベントです。6月に開催することにしました。無料で配信することになっていますので,MIKU EXPOのホームページをチェックしてぜひご覧いただきたいと思います。

CGだけじゃなく,うち元々音の会社なんで,音声の研究開発もやっておりまして,音声変換技術なんかも自社で開発しています。だから初音ミクってまあ歌声合成ソフト,結構ぎこちないしゃべりしかできなかったんですけど,最近は人らしく話すこともできるようになってきました。ゲーム「プロジェクト・セカイ」ではこの技術を使って歌声やスピーチを作ったりしながら,ゲームの中に出られるようにしております。

講義は以上です。ご清聴ありがとうございました。

この著者の他の記事を読む
伊藤 博之
Hiroyuki Itoh
  • 北海学園大学経済学士
  • 北海道大学で職員として勤務後,1995年にクリプトン・フューチャー・メディア株式会社設立。代表取締役。「初音ミク」を創出
  • 日本文化を海外に発信している功績が高く評価され,2013年秋に藍綬褒章を受章

上記の肩書・経歴等はアキューム28号発刊当時のものです。