音楽と感情とAI技術

life tips & 雑記 禅とライフティップ 旅と歴史 スポーツとアート 機械学習と数学 Clojure Java 本とTVと映画と音楽 本ブログのナビ

イントロダクション

音楽は、アーティストや作曲家が感情を表現したものであり、アーティストが自分の経験や感情を音楽に込め、楽器や歌詞を通じて、喜び、悲しみ、愛、怒りなどさまざまな感情を表現し、それを聴いた聴衆はその感情に共感するものとなる。

音とリズムとメロディとUX“で述べているように、速いテンポや明るいメロディは喜びや興奮を引き起こし、逆にゆっくりとしたメロディや静かな音楽は静けさや悲しみを感じさせるように、音楽はユーザーにさまざまな感情を引き起こす力がある。また、特定の曲やメロディが特定の瞬間や出来事と結びついている場合、その音楽を聴くことで過去の感情が呼び起こされたり、特定の音楽がリラックスやストレス軽減に寄与し、心身のバランスを取るのに役立ったり、特定のジャンルや楽器は、特定の文化や時代における感情や価値観を反映したりすることもある。

このように音楽と感情は、深い関係があり、音楽は感情を表現し、引き起こす力がある。このようなメカニズムは何故起こるのか?今回は音楽と感情の関係について述べてと思う。

音楽と感情に関する研究について

2014年にJapanese Psychological Reviewで刊行された論文”音楽と感情に関する研究の展開 – 心理反応,末梢神経系活動,音楽および音響特徴 “では音楽と感情にかんする研究論文についてまとめられている。その中では、2000年までは、ほとんど発表されていなかった音楽と感情に関する論文が、2010年頃には大幅に増加しており、これはテクノロジーの発展により音楽を研究する環境が整いやすくなったという技術的な側面と共に、2000年前後から、心理学における感情研究が増加していることによるものとされている。

今回は、それらの中の論文のいくつかから抜粋する。

<音楽は非日常へのいざない>

まず2008年に発表された”Emotional responses to music: the need to consider underlying mechanisms“、この古典的な論文ではPatrick JuslinとDaniel Västfjällは音楽が呼び起こす情動的な反応の根底にあるいくつかのメカニズムを提唱している。

この論文では、音楽が感情を誘発するメカニズムとして、新たに提唱された6つの理論的枠組みは以下の通りです:(1)脳幹反射、(2)評価条件づけ、(3)感情伝染、(4)視覚イメージ、(5)エピソード記憶、(6)音楽的期待。この枠組みは、各メカニズムが情報の焦点や脳の部位、文化的影響などの特徴で異なることを示し、それらを区別する初期の仮説を提示している。

例えば、大きな音が驚きを生む脳幹反射や、音と特定の状況を結びつける評価条件づけ、音楽がイメージや記憶を喚起する効果などがあり、これらは、音楽の感情研究に新たな方向性を与え、感情研究全般への貢献が期待されている。音楽は、個々が心地よいと感じる世界に没入させる力があり、非日常の体験を提供するもので、この枠組みは、音楽による感情誘導の多様性を体系的に理解する手助けとなると述べられている。

<音楽は脳の感情系につながっている>

Psyche Loui(ノースイースタン大学准教授。音楽・イメージング・神経ダイナミクス研究室ディレクター)

音楽を聴いてゾクゾクする感覚は、脳内の聴覚系と感情系の接続性が関係していることが研究で示されている。オンラインアンケートと実験により、音楽でゾクゾクを感じる人は、生理的変化(心拍数の上昇や発汗)を伴い、MRI画像では関連する脳内タンパク質が多いことが確認され、この結果、音楽は感情を司る脳領域へ繋がる「聴覚的チャンネル」として機能し、感情表現にも利用されると考えられている。

<音楽は共感能力を得る為の近道>

Daniel Shanahan(オハイオ州立大学音楽理論・認知学准教授)

悲しい音楽を好む人は共感能力が高い傾向があり、音楽を通じて共感や思いやりが促進されることが研究で示されている。また、音楽はノスタルジーを誘発する力があり、特に10代の記憶に基づく「レミネセンス・バンプ」が関係している。さらに、音楽は社会的つながりや団結を強める役割を持ち、進化的にも重要な機能を果たしてきた。新型コロナウイルスによるロックダウン中に人々が音楽を共有した例は、音楽がつながりと共感を生み出す力を象徴している。

<音楽は感情表現を行う為に発達した>

Diana Deutsch(カリフォルニア大学サンディエゴ校心理学教授。著書に『Musical Illusions and Phantom Words: How Music and Speech Unlock Mysteries of the Brain』)

音楽は求婚や感情表現、他者との連帯感など多様な役割を果たしており、文化を超えて共通する特徴がある。成功する音楽には、聴きたくなる魅力と繰り返し聴きたくなる要素が重要で、アーヴィング・バーリンは、単純さと親しみやすさがヒット曲の鍵であり、既存のメロディーを新しい形でつなげる工夫が必要と指摘している。また、「頭に残る曲」はフレーズの繰り返しや馴染みやすい要素が特徴となる。

<音楽はコミュニティを維持する為のテクノロジー>

Mariusz S. Kozak(コロンビア大学音楽・音楽理論准教授。『Enacting Musical Time: The Bodily Experience of New Music』著者)

音楽にまつわる感情体験は個人や状況によって異なり、音楽そのものが感情を生むのではなく、構造として感情体験を導くと考えられている。音楽はコミュニティ維持のテクノロジーとして、以下のような生理的・認知的・社会的なレベルで作用し、これらの作用を通じて人間の感情と社会的結束を深めている。

1. 生理的レベル: 音のテンポ、音色、音量が身体反応を引き起こし、心拍数の変化や警戒心を誘発する。
2. 認知的レベル: 文化的背景に基づく音楽理解により、曲の進行を予測し、緊張と緩和を体験する。
3. 社会的レベル: 音楽のビートが集団のシンクロを促し、感情を共有し、協調性やつながりを強める。

AI技術を用いることで音楽と感情のつながりに対して何ができるのか

AIは音楽と感情のつながりを深く理解し、以下に述べるような形でその関係をさまざまな形で活用することができる。

1. 音楽の感情分析
– 楽曲の感情分類: AIは楽曲のテンポ、調性、音量、和音進行などの音響的特徴を解析し、その楽曲がどのような感情を呼び起こすかを分類でき(例:悲しみ、喜び、興奮など)、音楽ストリーミングサービスで感情に基づいたプレイリストの作成に利用できる。

– リスナーの感情認識: AIは心拍数や表情認識などの生体データを用いて、音楽を聴いた人の感情反応をリアルタイムで測定できる。

2. 感情に応じた音楽生成
– 感情的な音楽の自動作曲: AIモデル(例:OpenAIのMuseNet、GoogleのMagenta)は、特定の感情を引き起こすことを目的とした楽曲を自動生成できる。例えば、リラックスさせる音楽やエネルギーを与える音楽を作ることが可能となり、瞑想用音楽やゲーム内の動的サウンドトラックなどを作ることができる。

– シナリオに応じた音楽生成: 映画やゲームのシーンに応じて、感情的に適切な音楽をリアルタイムで生成する。

3. 音楽療法の支援:
– 個人化された音楽療法: AIは、患者の健康状態や感情状態をモニタリングし、それに基づいて最適な楽曲を推奨し、不安症やうつ病の治療における音楽療法に活用できる。

– 脳波との連動: AIが脳波を解析し、特定の脳の状態を誘発する音楽をリアルタイムで生成する(例:集中力の向上やリラックス)。

4. 音楽と感情の教育・研究支援
– 音楽と感情の研究データの解析: 大量の音楽データを解析して、特定の音響的特徴がどのように感情に影響を与えるかを明らかにする。

– 音楽教育の支援: 学習者が感情を込めて演奏する方法をAIが分析し、フィードバックを提供する。

5. ユーザー体験の最適化
– パーソナライズされた音楽推奨: AIはリスナーの感情的な嗜好を学習し、その時々の気分や活動に応じて音楽を推薦する。

– インタラクティブな音楽体験: AIがユーザーのリアルタイムの感情に応じて音楽を即座に変更し、最適な体験を提供し、VRやメタバースでのインタラクティブな音楽環境を作ることができる。

6. 社会的感情の促進
– 集団の感情共有: AIはライブイベントでの観客の感情を解析し、会場全体が共有できる音楽を選択または生成する。

– 感情の調和を促す音楽作成: チームビルディングや社会的つながりを強化する音楽を作成する。

これらを実現する具体的なAI技術としては以下のようなものがある。

  • 感情認識AI: 感情を検出するAIモデル(例:Facial Emotion Recognition)を音楽システムに統合。
  • 生成AI: GANやTransformerモデルを活用した感情に基づく音楽生成。
  • 生体データ活用: 心拍数や脳波を利用した音楽生成や適応的音楽推奨。

AIは音楽と感情のつながりを技術的に深化させ、エンターテインメント、医療、教育、社会的体験に革新をもたらすことができる。

参考図書

音楽、感情、AI技術に関する参考図書を以下に述べる。

音楽と感情に関する書籍
1. ‘This Is Your Brain on Music’ (Daniel J. Levitin)
音楽が脳や感情にどのように影響するかを科学的に解説した名著。音楽の認知や情緒的な反応を学べる。

2. ‘The Emotional Power of Music: Multidisciplinary Perspectives on Musical Arousal, Expression, and Social Control’ (Tom Cochrane, Bernardino Fantini and Klaus R. Scherer (eds.).
音楽が感情や社会的相互作用に与える影響について、多分野からアプローチした論文集。

3. ‘How Music Works’ (David Byrne).
音楽が文化、技術、感情に与える影響を幅広い視点で考察した一冊。

AIと音楽に関する書籍
4. ‘Deep Learning Technique for Music Generation
音楽生成や感情認識など、AIを活用した音楽技術についての解説書。

5. ‘Machine Learning for Audio, Image and Video Analysis’ (Francesco Camastra, Alessandro Vinciarelli)
音楽を含むマルチメディアデータの解析における機械学習の応用について解説。

6. ‘Music and Artificial Intelligence
音楽生成、認識、インタラクションなど、AIが音楽に与える影響を網羅。

音楽療法と感情研究
7. ‘Music Therapy: An Art Beyond Words’ (Leslie Bunt, Brynjulf Stige)
音楽療法の基礎とその感情的、心理的な影響についての詳細な解説。

8. ‘The Psychology of Music’ (Diana Deutsch).
音楽心理学の分野で広く引用される本。感情、認知、音楽の社会的機能について扱う。

その他の関連書籍
9. ‘The Science of Emotion: Exploring the Basics of Emotional Psychology’ (Andreas Demetriou).
感情がどのように形成されるか、音楽との関連を深掘りするのに役立つ。

10. ‘Artificial Intelligence and the Music Ecosystem’ (Andrew R. Brown)
AIが音楽制作、配信、体験にどのように影響を与えるかを包括的に解説。

コメント

タイトルとURLをコピーしました