ＡＩを使って舞台に字幕を自動的に映し出す世界初の公演が１月１０日、福井市の「ハーモニーホールふくい」で行われました。字幕を使用した上演の円滑化にとどまらず、舞台演出の新しい可能性を十分に予感させたプロジェクト。今後の展開が楽しみな試みをリポートします。(読売新聞美術展ナビ編集班　岡部匡志)

ＡＩ字幕は、芸術と科学技術の異分野融合を目指す東京藝術大学ＣＯＩ拠点（※１）と、同拠点の参画企業であるヤマハが連携し、開発を進めてきました。あらかじめ演奏と字幕を出すタイミングをＡＩに記憶させたうえで、本番ではＡＩが実際の演奏状況を確認しながら、その進行に合わせて字幕を映写する仕組みです。クラシックの演奏の場合、とりわけ微妙な呼吸や間合いが要求され、演奏ごとにテンポや入りのタイミングが変わることが珍しくなく、ＡＩにも高い対応能力が求められます。

今回は東京藝大ＣＯＩ拠点インクルーシブアーツ研究グループの新井鷗子特任教授（横浜みなとみらいホール館長）が構成と脚本を担当。同ＣＯＩ拠点・共感覚メディア研究グループの桐山孝司教授らのグループが映像、ヤマハ株式会社研究開発統括部の田邑元一主幹らのグループがＡＩを構築。藝大とヤマハがそれぞれの強みを生かし、「ハーモニーホールふくい」が全面的に協力して、先進的な取り組みが実現できました。

舞台の質を上げるＡＩ字幕

日本で上演されるオペラの大半はイタリア語やドイツ語などの外国語で歌われます。このため上演では字幕が不可欠で、従来はスタッフが楽譜を見ながら、舞台の進行に合わせて手作業で切り替えていました。今回のプロジェクトを主導した東京藝大の新井鷗子特任教授は「長時間にわたる複雑な作業でミスが出やすく、ズレるとお客様から苦情が出ることもたびたび。こうした分野でＡＩが活用できれば、舞台上演の質を上げることができます」とその狙いについて説明します。

舞台演出のツールとしても期待

さらに今回は単に字幕を出すだけではなく、字幕の文字に動きをつけたり、大きさを変えたり、徐々に文字を浮かび上がらせたり消したりなど、アーティスティックな工夫を様々に施しました。客席に文字情報を届けるという役割にとどまらず、舞台の演出効果を盛り上げるツールのひとつにしようという、「攻め」の考えからです。こうした複雑な文字情報の処理はＡＩを介在させない限り難しかったのです。

絶妙のタイミングで字幕が浮かび、消える

世界初の試みで上演されたのは、ヴェルディの「椿姫」のハイライト版です。世界で最も上演回数の多いオペラのひとつで、パリの高級娼婦と青年貴族の悲恋物語として有名です。出演は主役・ヴィオレッタの小林沙羅さん、青年貴族・アルフレートの西村悟さん、ピアノの河原忠之さん、ナレーションの山田恵梨子さんの４人。約１時間にわたって「乾杯の歌」「花から花へ」「パリを離れて」など有名な楽曲を次々と披露しました。歌詞はイタリア語です。

ストーリーや歌詞のイメージに合わせて字幕がふわふわと浮かぶように動いたり、にじむように消えて行ったりと、ロマンティックな演出が効果的でした。常に歌いだしの絶妙なタイミングで文字が出てきて、ズレる場面は一回もなく、しまいには字幕の存在を忘れるほど。最後の場面でヴィオレッタがばたりと倒れ、アルフレートの腕の中で息絶えると、客席からは大きな拍手が沸き起こりました。

「字幕がオペラの世界の一部に」

この日、客席で演奏を聴いた音楽評論家の室田尚子さんは「映し出される字幕の字体や色合い、動きなどがオペラの世界の一部になっていたと思います。また、ホールの上品な雰囲気ともマッチしていて、自然に受け入れることができたのがとてもよかったです」と振り返りました。ダイジェストの動画↓をご覧ください。これまでの字幕との違いがよく分かると思います。

聴衆と出演者のストレスも軽減

通常の舞台では、舞台袖に据え付けられたディスプレイに字幕を出す形式が一般的ですが、この形は聴衆が字幕を読もうとするたびに、舞台から左右へ視線を動かす必要があります。このことは聴衆にとっても、また聴き手の視線が舞台からずれることが分かる出演者にとっても、悩みのタネでした。今回は舞台後方の大きなスクリーンに字幕を出したので、お客は歌手の演技を見ながら字幕を読むことができました。字体や文字の大きさを工夫すればそれほど目立たない形で映写することも可能ですし、文字を出す場所を変えることもできます。場合によってはプロジェクションマッピングの手法で、建物や壁、衣裳などの舞台装置そのものに字幕を映写することもできます。

舞台を終えた直後の出演者に感想を伺いました。

「ＡＩは私たちの仲間」「舞台を変える」～演奏家の声

数々のオペラに主役で出演し、舞台経験豊富な人気ソプラノ歌手の小林沙羅さんは「リハーサルで、ＡＩがしっかり歌に追随してくれることが分かっていたので、安心して舞台に集中できました。ＡＩがまるで仲間のように感じました」と満足そう。

相手役のテノール、西村悟さんは「舞台を盛り上げる素晴らしい試み。大きな公演でも普及してほしいですね」と話しました。

また、日本を代表する歌手がこぞって共演を希望する名手で、やはり数多くの舞台を踏んでいるベテランピアニスト・河原忠之さんも「字幕が柔らかく動くなどして、楽曲や演奏者の感性にとても合っていました。舞台が変わりますね」と驚いていました。

東京藝大の新井鷗子特任教授は「漢字を使う言葉の特性で、短い文でも多くの情報を載せられるため、日本では字幕が何かと注目され、聴衆の要求レベルも高いのです。そうした積み重ねの上に生まれたＡＩの活用は、舞台上演の重要な技術革新になるでしょう。本格的なオペラ公演でも使えるめどが立ちました」と今回の公演の意義を振り返ります。

予想外の使われ方も？夢広がるAI字幕

そのうえで、新井特任教授は「プロジェクションマッピングなどと組み合わせることで、衣裳の上に字幕を出したり、漫画の吹き出しのように出演者のすぐそばに文字を出すことも可能だと思います。予想もしない使い方を考える人が出てくるかもしれません。演出家や舞台美術に関心のあるアーティストから様々なアイデアが寄せられることに期待したいです。外国にこうした技術を輸出できたら素晴らしいです」と夢を膨らませていました。それほど時間がかからずに、皆さんの身近なところでもＡＩ字幕の公演を見られるようになるかもしれません。

（おわり）

（※）東京藝術大学ＣＯＩ拠点・・豊かな生活環境の構築に向け、国が提唱した「革新的イノベーション創出プログラム（ＣＯＩ　ＳＴＲＥＡＭ）」に沿って、企業や大学単独ではできない革新的なイノベーションを産学連携で実現するための組織。

◇あわせて読みたい

【探訪】「ＡＩピアノ」が教える人間の営みの深遠　なぜ人と人は「合わせる」ことができるのか　年明けには世界初「ＡＩ字幕」も　東京藝大、ヤマハ、ハーモニーホールふくいの試み