【世界初のAI字幕が登場】先端技術が拓く新しい舞台表現 「ニューイヤーコンサート2022 テクノロジーとクラシックで遊ぶ新年!」リポート

舞台と字幕が織りなす新しい可能性を示したニューイヤーコンサート(1月10日、ハーモニーホールふくいで)©office PhotoStyle

AIを使って舞台に字幕を自動的に映し出す世界初の公演が1月10日、福井市の「ハーモニーホールふくい」で行われました。字幕を使用した上演の円滑化にとどまらず、舞台演出の新しい可能性を十分に予感させたプロジェクト。今後の展開が楽しみな試みをリポートします。(読売新聞美術展ナビ編集班 岡部匡志)

その優れた音響で、内外の演奏家から絶賛される「ハーモニーホールふくい」。公演当日はこの時期の北陸として珍しく晴天に恵まれました。(1月10日、福井市で)

AI字幕は、芸術と科学技術の異分野融合を目指す東京藝術大学COI拠点(※1)と、同拠点の参画企業であるヤマハが連携し、開発を進めてきました。あらかじめ演奏と字幕を出すタイミングをAIに記憶させたうえで、本番ではAIが実際の演奏状況を確認しながら、その進行に合わせて字幕を映写する仕組みです。クラシックの演奏の場合、とりわけ微妙な呼吸や間合いが要求され、演奏ごとにテンポや入りのタイミングが変わることが珍しくなく、AIにも高い対応能力が求められます。

今回は東京藝大COI拠点インクルーシブアーツ研究グループの新井鷗子特任教授(横浜みなとみらいホール館長)が構成と脚本を担当。同COI拠点・共感覚メディア研究グループの桐山孝司教授らのグループが映像、ヤマハ株式会社研究開発統括部の田邑元一主幹らのグループがAIを構築。藝大とヤマハがそれぞれの強みを生かし、「ハーモニーホールふくい」が全面的に協力して、先進的な取り組みが実現できました。

客席後方のアナウンス室で舞台を見ながら、AIの稼働状況を見守るスタッフ。演奏が始まってから、人間が操作する場面は基本的にありません。

舞台の質を上げるAI字幕

日本で上演されるオペラの大半はイタリア語やドイツ語などの外国語で歌われます。このため上演では字幕が不可欠で、従来はスタッフが楽譜を見ながら、舞台の進行に合わせて手作業で切り替えていました。今回のプロジェクトを主導した東京藝大の新井鷗子特任教授は「長時間にわたる複雑な作業でミスが出やすく、ズレるとお客様から苦情が出ることもたびたび。こうした分野でAIが活用できれば、舞台上演の質を上げることができます」とその狙いについて説明します。

舞台演出のツールとしても期待

さらに今回は単に字幕を出すだけではなく、字幕の文字に動きをつけたり、大きさを変えたり、徐々に文字を浮かび上がらせたり消したりなど、アーティスティックな工夫を様々に施しました。客席に文字情報を届けるという役割にとどまらず、舞台の演出効果を盛り上げるツールのひとつにしようという、「攻め」の考えからです。こうした複雑な文字情報の処理はAIを介在させない限り難しかったのです。

字幕と舞台が自然と融合した「椿姫」公演 ©office PhotoStyle

絶妙のタイミングで字幕が浮かび、消える

世界初の試みで上演されたのは、ヴェルディの「椿姫」のハイライト版です。世界で最も上演回数の多いオペラのひとつで、パリの高級娼婦と青年貴族の悲恋物語として有名です。出演は主役・ヴィオレッタの小林沙羅さん、青年貴族・アルフレートの西村悟さん、ピアノの河原忠之さん、ナレーションの山田恵梨子さんの4人。約1時間にわたって「乾杯の歌」「花から花へ」「パリを離れて」など有名な楽曲を次々と披露しました。歌詞はイタリア語です。

ストーリーや歌詞のイメージに合わせて字幕がふわふわと浮かぶように動いたり、にじむように消えて行ったりと、ロマンティックな演出が効果的でした。常に歌いだしの絶妙なタイミングで文字が出てきて、ズレる場面は一回もなく、しまいには字幕の存在を忘れるほど。最後の場面でヴィオレッタがばたりと倒れ、アルフレートの腕の中で息絶えると、客席からは大きな拍手が沸き起こりました。

「字幕がオペラの世界の一部に」

この日、客席で演奏を聴いた音楽評論家の室田尚子さんは「映し出される字幕の字体や色合い、動きなどがオペラの世界の一部になっていたと思います。また、ホールの上品な雰囲気ともマッチしていて、自然に受け入れることができたのがとてもよかったです」と振り返りました。ダイジェストの動画↓をご覧ください。これまでの字幕との違いがよく分かると思います。

聴衆と出演者のストレスも軽減

通常の舞台では、舞台袖に据え付けられたディスプレイに字幕を出す形式が一般的ですが、この形は聴衆が字幕を読もうとするたびに、舞台から左右へ視線を動かす必要があります。このことは聴衆にとっても、また聴き手の視線が舞台からずれることが分かる出演者にとっても、悩みのタネでした。今回は舞台後方の大きなスクリーンに字幕を出したので、お客は歌手の演技を見ながら字幕を読むことができました。字体や文字の大きさを工夫すればそれほど目立たない形で映写することも可能ですし、文字を出す場所を変えることもできます。場合によってはプロジェクションマッピングの手法で、建物や壁、衣裳などの舞台装置そのものに字幕を映写することもできます。

舞台を終えた直後の出演者に感想を伺いました。

「AIは私たちの仲間」「舞台を変える」~演奏家の声

数々のオペラに主役で出演し、舞台経験豊富な人気ソプラノ歌手の小林沙羅さんは「リハーサルで、AIがしっかり歌に追随してくれることが分かっていたので、安心して舞台に集中できました。AIがまるで仲間のように感じました」と満足そう。

小林沙羅さん ⒸNIPPON COLOMBIA

相手役のテノール、西村悟さんは「舞台を盛り上げる素晴らしい試み。大きな公演でも普及してほしいですね」と話しました。

西村悟さん ⒸGoda

また、日本を代表する歌手がこぞって共演を希望する名手で、やはり数多くの舞台を踏んでいるベテランピアニスト・河原忠之さんも「字幕が柔らかく動くなどして、楽曲や演奏者の感性にとても合っていました。舞台が変わりますね」と驚いていました。

河原忠之さん ⒸK.Miura

東京藝大の新井鷗子特任教授は「漢字を使う言葉の特性で、短い文でも多くの情報を載せられるため、日本では字幕が何かと注目され、聴衆の要求レベルも高いのです。そうした積み重ねの上に生まれたAIの活用は、舞台上演の重要な技術革新になるでしょう。本格的なオペラ公演でも使えるめどが立ちました」と今回の公演の意義を振り返ります。

予想外の使われ方も?夢広がるAI字幕

そのうえで、新井特任教授は「プロジェクションマッピングなどと組み合わせることで、衣裳の上に字幕を出したり、漫画の吹き出しのように出演者のすぐそばに文字を出すことも可能だと思います。予想もしない使い方を考える人が出てくるかもしれません。演出家や舞台美術に関心のあるアーティストから様々なアイデアが寄せられることに期待したいです。外国にこうした技術を輸出できたら素晴らしいです」と夢を膨らませていました。それほど時間がかからずに、皆さんの身近なところでもAI字幕の公演を見られるようになるかもしれません。

(おわり)

(※)東京藝術大学COI拠点・・豊かな生活環境の構築に向け、国が提唱した「革新的イノベーション創出プログラム(COI STREAM)」に沿って、企業や大学単独ではできない革新的なイノベーションを産学連携で実現するための組織。

◇あわせて読みたい

【探訪】「AIピアノ」が教える人間の営みの深遠 なぜ人と人は「合わせる」ことができるのか 年明けには世界初「AI字幕」も 東京藝大、ヤマハ、ハーモニーホールふくいの試み

直前の記事

【和田彩花のカイエ・ド・あーと】第10回 原美術館コレクション:やなぎみわ「フェアリーテール」

原美術館コレクション:やなぎみわ「フェアリーテール」 2021年1月に東京品川区で活動を終了された「原美術館」が、群馬県渋川市にあった別館「ハラ ミュージアム アーク」と統合され、2021年4月に群馬県渋川市で「原美術館

続きを読む
新着情報一覧へ戻る