【探訪】「AIピアノ」が教える人間の営みの深遠 なぜ人と人は「合わせる」ことができるのか 年明けには世界初「AI字幕」も 東京藝大、ヤマハ、ハーモニーホールふくいの試み

オペラ歌手の東園さんと「AIピアノ」の息のあった演奏(10月19日、「ハーモニーホールふくい」で。写真は同ホール提供)

「AI」(artificial Intelligence)が人間の様々な知的活動に大きな役割を果たすようになりました。芸術も例外ではなく、最近は絵画や小説を制作するAIが話題です。そうした中、東京藝術大学COI拠点(※1)とヤマハが連携し、AIと音楽家が共演する興味深い試みが国内屈指の名ホールとして知られる「ハーモニーホールふくい(福井県立音楽堂)」を舞台に展開されています。現場を取材してきました。(読売新聞美術展ナビ編集班 岡部匡志)

微妙なテンポの揺れにも対応する「AIピアノ」

10月19日(火)、同ホールで「ハーモニー ブンカさろん AIがクラシックと語り合う時」と題したコンサートが開催されました。

1997年に開業した「ハーモニーホールふくい」の美しい外観。インターネットのニュースサイトで「世界の非常に美しいコンサートホール25選」に国内から唯一紹介されたこともある。音響効果も内外の演奏家から高く評価されている

出演したのはソプラノの東園ひがしそのさんとピアノの谷口佳奈香たにぐちかなこさんの二人。まず、東さんと、谷口さんの演奏スタイルをあらかじめ記憶させた「AIピアノ」が共演しました。披露したのはヴェルディの「椿姫」の名曲、「乾杯の歌」と「花から花へ」の2曲です。

コンピューターで生成されたピアノ演奏がスピーカーから流れ、舞台には出演者らが「気配くん(仮称)」と名付けたAIピアノの挙動を光で伝えるデバイスを設置。東さんはそのデバイスから発せられる光の点滅や動きを意識しながら歌唱しました。

「気配くん(仮称)」が発する光がホールの壁面に淡く映ります

微妙に変化する間合いやテンポの揺れにもAIピアノは機敏に対応しました。続いて今回のAIの試みを聴衆に紹介するトークコーナー。東さんがわざと大げさに歌うテンポを上げたり、落としたりしても、AIピアノはそのたびに東さんの歌に追随しました。「本当のテンポは違うよ!」とAIピアノが元に戻すよう促すかのようなテンポ変化も見せます。基本的に人間に合わせることをしないカラオケや打ち込みの演奏とは全く質が違うものであることが聴衆にも伝わり、客席に「おおっ」という驚きが広がりました。「相手の音を聴きながら、その場で合わせる」という人間らしい営みを、AIが相当な精度で行える時代になってきたのです。

続いて谷口さん本人が登場してピアノを演奏。今度は東さんと人間同士の共演です。ヴェルディやプッチーニ、グノーなどの有名なオペラのアリアを次々に聞かせます。息の合った演奏に熱い拍手が送られました。

演奏を聴いた中年の男性は「AIは予想以上の性能でびっくりしました。一方、AIの演奏を聴いて、感覚的に息を合わせて演奏できる人間同士のアンサンブルこそ、本当にすごいのだなあ、と改めて感じました」と感想を述べていました。

「ピアニストの目」をもつAI 最初は怖く、だんだん可愛く

コンサート前日に行われたリハーサルも取材しました。

アーティストの意見を聞きながら、AIを調整する作業が続くリハーサル(10月18日)

東さんとAIピアノが初めて一緒に演奏した時、明らかに演奏はズレ、息は合いませんでした。東さんは「何を考えているか分からないマシーンを相手にするのは怖い。つい聞こえてくる音に合わせてしまう」とおっかなびっくりの表情を見せました。人間もAIもお互いに聞こえてきた音に対して合わせようした結果、むしろズレが大きくなってしまったようです。

ソプラノ歌手の東園さん

その折、リハーサルを見ていたピアニストの谷口さんが「気配くん(仮称)」が発する光について、「この光の動きは私と同じです」とひとこと。思わぬ発言にその場にいたみんなが驚きました。

ピアニストの谷口佳奈香さん

谷口さんは「ここが重要だ、という演奏のポイントの前後で、ピアニストは無意識に楽譜をギッっとにらんだり、目線が動いたりするのですが、そのタイミングと寸分たがわず、光が動くのでびっくりしました」と説明しました。

球面レンズを経由した光でAIの挙動を伝える「気配くん」。東さんは「ピアニストからじっくり見つめられているようでした」(写真は東京藝大提供)
電子ピアノを使い、AIにプロのピアニストの演奏スタイルを記憶させる谷口さん(右)

プロのピアニストでなければ気づかないその話を聞いて、東さんやホールのスタッフも「AI」に確かなキャラクターの存在を感じたようです。ステージの空気が一変しました。実は谷口さんを含めて、このデバイスを初めて見る人には知らされていなかったのですが、この光の動きは実際のピアニストの動作を分析して作り出されていたものだったのです。

ヤマハと東京藝大のスタッフが東さんや谷口さんの感触を確かめながらAIのパラメーターを細かく調整し、リハーサルを重ねるうちに演奏がみるみるうちに自然になっていきました。リハーサルを終えた東さんは「気配くん、がだんだん可愛くなってきちゃいました」と笑顔を見せました。

「この小節はもうちょっと早く?」「ごめん、間違えちゃった。もう一回お願いします」リハーサルで笑顔を交えながら練習を重ねる東さんと谷口さん。AIと人間の間でも同じように距離感を縮める時間と工夫が要ります

実演を終えた東さんは「AIとの共演は、最初は違和感がありましたが、どんどん自然になって演奏を楽しめました。さらに技術が発展して、昔のピアノの巨匠と共演することも可能になるかもしれません。楽しみですね」と振り返りました。AIピアノに演奏データを提供した谷口さんは「コンピューターで生成されたものであっても、まるで自分が演奏しているような、生々しい息づかいを感じました」と話していました。

地方のホールの底力を見せる

藝大やヤマハとともに挑戦的な取り組みを進める「ハーモニーホールふくい」は「越のルビーアーティスト」として地元ゆかりの音楽家の登録制度を設け、県内に派遣するなど、地域に密着した息の長い活動でも知られています。今回、参加した東さん、谷口さんもこの制度に登録されている実力派アーティストです。率先して冒険的なプロジェクトに協力してくれました。

同ホールの橋本恭一プロデューサーは「地方のホールでも日ごろの活動があるからこそ、こうした時代の最先端を行くプロジェクトにかかわることができました。外部の提案であっても、常に地域に文化波及できるネタが隠れていないかどうかを考えて、カスタマイズして提供することで公演を点で終わらせないことが重要だと考えています。コロナ禍でどこのホールも運営は極めて厳しいのですが、このAIの事を含めて全国に前向きな情報を発信したいです」と手ごたえを感じている様子でした。

AIとアート 「人間でなければできないこと」を考える契機に

今回のプロジェクトは、国として芸術と科学技術によるイノベーションを推進する東京藝術大学COI拠点とヤマハの連携で進められてきました。新井鷗子・同拠点インクルーシブアーツ研究特任教授が企画構成を担当。そして共感覚メディア研究グループが、気配を感じさせるデバイスのプロトタイプ(試作機)を制作しました。映像に強い藝大と、音に強いヤマハのそれぞれの強みを生かしたコラボレーションです。

田邑元一さん 技術者であり、オーケストラでコントラバスを弾く音楽愛好家でもある

企画を主導するひとり、ヤマハ研究開発統括部の田邑元一主幹はNHKの番組で話題を呼んだ「AI美空ひばり」プロジェクトも統括しました。田邑さんは「AIはもともと産業分野で、主に省力化を図りつつ効率良くタスクをこなす上で有用なものとして期待されているわけで、芸術分野で活用することがどういう意味を持つのか、私たちも試行錯誤しながら考えている段階です」と話します。そのうえで「高度な芸術表現もAIで可能になれば、むしろ人間でなければできない営みとは何なのか、ということを突き詰めて考えるきっかけになるかもしれません」といいます。

確かに囲碁や将棋でも今やAIが最強という時代ですが、人間同士の対局が廃れたわけではありません。アートの分野でもAIが深くかかわることで、むしろ人間同士が取り組む価値が再認識されることになるかもしれません。

世界初の試み AIによる字幕操作 アート的な効果も 演奏に合わせた映像もAIで ニューイヤーコンサート

AIが重要な役割を果たすコンサートの第2弾が年明け早々、同ホールで開かれます。1月10日(月・祝)に開催の「ニューイヤーコンサート2022 テクノロジーとクラシックで遊ぶ新年!」です。

ソプラノ:小林沙羅 ⒸNIPPON COLOMBIA

人気ソプラノ歌手の小林沙羅さんを招き、さらにテノールの西村悟さん、ピアノの河原忠之さんという実力派ぞろいの豪華な顔触れで、ヴェルディの「椿姫」を「AI字幕付きハイライト」上演します。

テノール:西村悟 ⒸGoda
ピアノ:河原忠之 ⒸK.Miura

これは「椿姫」を演奏するアーティストのタイミングに合わせてAIが字幕を映し出す、という世界初の公演です。単に演奏にぴったりと合わせるというだけでなく、字幕自体が美しく印象的なアートとして成立するよう様々な仕掛けが計画されています。

従来、外国語オペラの字幕は舞台の進行を確認しつつ、楽譜を見ながら手作業で切り替えており、複雑でミスの出やすい作業でした。これが自動化され、かつ美術的な効果も期待できるようになれば、舞台芸術の重要な技術革新となる可能性があります。

また第2部は「ハートストリングなストリングス」として弦楽合奏がヴィヴァルディ「四季」から「春」など新年にふさわしい曲を披露します。こちらもAIが演奏に合わせて美しい映像を投影します。

同ホールの佐々木玲子事業課長は「素晴らしいアーティストに加え、最新技術を駆使した驚きの演出があるので間違いなく見ごたえたっぷりの舞台になります。遠くからでもぜひお越しを、とはまだ言いにくいですが、音楽ファンだけでなく、AIや舞台に関心のある方にとっても刺激的なステージになります。多くの方に見ていただきたいです」と話していました。

(※1)東京藝術大学COI拠点・・文部科学省と科学技術振興機構が2013年度にスタートさせた「革新的イノベーション創出プログラム(COI STREAM)」にのっとり、豊かな生活環境の構築に向けて、芸術と科学技術の異分野融合、そして教育・医療・福祉産業との連携により、心の豊かさがあふれる社会の構築を目指している。

<公演概要>

ニューイヤーコンサート2022 テクノロジーとクラシックで遊ぶ新年!
日時:2022年1月10日(月・祝) 13時15分開場/14時開演
会場:ハーモニーホールふくい大ホール
料金:S席6000円、A席4000円、車いす席4000円(※小~大学生:半額など、各種割引あり)
詳しくはハーモニーホールふくいのホームページ(https://www.hhf.jp/)へ。

 

直前の記事

【和田彩花のカイエ・ド・あーと】第7回 心に残るモディリアーニ

心に残るモディリアーニ 長く縦に伸びた輪郭と首、塗りつぶされたアーモンド型の目、個性的な人物像が印象的なモディリアーニの作品。 飛鳥時代の仏像を前にしたような人の描き方に、個性的だなという感想ばかりで、それ以上に興味を持

続きを読む
新着情報一覧へ戻る