\documentclass[japanese,other]{jnlp_3.8}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{array}
\allowdisplaybreaks

\usepackage{hangcaption_jnlp}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{32}
\Number{1}
\Month{March}
\Year{2025}
%%%%\Issuetitle{「　　　　」特集号}




\setcounter{page}{342}

%%%%   タイトル部分                                      %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{Unveiling Multi-level and Multi-modal Semantic Representations in the Human 
Brain using Large Language Models}
\jauthor{中木　裕子\affiref{Author_1} \and 松山　卓矢\affiref{Author_1}}

\etitle{Unveiling Multi-level and Multi-modal Semantic Representations in the Human Brain using Large Language Models}
\eauthor{Yuko Nakagi\affiref{Author_1} \and Takuya Matsuyama\affiref{Author_2}} 
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\headauthor{中木，松山}
\headtitle{Multi-level and Multi-modal Semantic Representations in the Human Brain}


%%%% 所属を指定して下さい．
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\affilabel{Author_1}{大阪大学}{Osaka University}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S1
\section{はじめに}

本稿では，EMNLP2024にて採択された論文 \cite{nakagi2024unveiling}
について，その研究内容を解説するとともに，学会への現地参加レポートを行う．本研究は西本伸志教授（大阪大学，NICT）と高木優
特任准教授（国立情報学研究所）が考案したアイディアをもとに，筆頭著者である中木，松山（大阪大学 修士二年）が
中心となってデータ解析を進めたプロジェクトを成果化したものである．解析に用いたデータは，小出先生 (NICT)，山口先生 (NICT)，
久保先生（東京科学大学）がデザインした実験で得られたデータを活用した．
本プロジェクトは2023年9月頃に始まり，開始から半年後の2024年1月には研究が形となり，ICML2024で投稿を行った．
しかし，不採択という結果となり，
トップ国際会議へのハードルの高さを痛感することとなった．その後，2024年5月に人工知能学会全国大会 (JSAI) にて
本研究の発表を行い，その際にいただいたコメントやICML2024でのレビューを参考に追加解析を行った．
その上で再度挑戦したのがEMNLP2024であり，幸運なことに本会議へ採択される運びとなった．

さて，本研究では，近年注目される大規模言語モデル (LLM) やマルチモーダルLLMの潜在表現が，ヒト脳活動におけるマルチレベルかつマルチ
モーダルな意味表現をどの程度説明できるかを調べた．LLMは，大規模なコーパスから言語の統計構造を学習し，
機械による意味理解を可能にし，言語モデルの性能を大幅に向上させてきた．加えて，意味理解は人間の知能の基盤でもある．
そのため，ヒトの意味理解を司る脳機能をLLMの側面から分析する目的で，高度な意味理解を可能にするLLM内部の活動（潜在表現）と
ヒト脳活動がどのように対応しているか調べる研究が神経科学者の間で活発に行われてきた\cite{schrimpf2021neural}．先行
研究の多くは音声や物体など，意味理解の単一の側面（レベル）に焦点を当て，それらの潜在表現がどの脳領域の活動と対応す
るかを調べていた．しかし，現実の意味理解には多くのレベルがあり，人間の脳はそれ
らを同時に処理している．例えば，視覚的な物体の内容，周囲の音声内容，数分前の出来事の説明などがある．この
ため，マルチレベルの意味内容を個別に扱うと，脳活動への寄与やLLMの潜在表現との対応を調べる上で明確さを欠く
ことになる．そこで本論文では，これらの問題を解決するため，マルチレベルの意味内容を統合的に解析し，各意味内
容が他と比較してどの程度固有に脳活動と対応するかを定量的に評価した．また，画像や音声も統合的に扱うことで
，脳のマルチモーダルな意味表現も探った．
次章では，詳細な手法と結果を解説する．


%%%%%%%%%%%%%%%%%%%%%%%%%F1
\begin{figure}[b] 
{\vspace{-10pt}}
\begin{center}
\includegraphics{32-1ia32f1.eps}
\end{center}
    \caption{手法の概要 (Nakagi et al., 2024)}
    \label{method:overview}
  \end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2
\section{LLMとヒト脳のマルチレベル・マルチモーダルな意味表現の対応}
図\ref{method:overview}は，我々が行ったfMRI実験と一連の解析手法の概要を表している．まず我々は，6人の被験者が合計8.3時間の
映画やドラマを視聴する際の脳活動をfMRIを用いて計測した．また，そのときの視聴素材に対して5つのレベルの意味内容に対応するアノテー
ションを付けた，具体的には，台詞ごとの音声内容 (Speech)，1秒ごとに画面の様子を客観的に説明する内容 (Object)，約5秒ごとの物語背景 (Story)，約1～3分ごとの物語の要約 (Summary)，1秒ごとの時間・場所
の情報 (TimePlace) である．次に，各意味内容に関する特徴量として，それぞれのアノテーションを入力とした
LLMの各層の潜在表現を抽出した（図\ref{method:overview}a）．そして，各特徴量から脳活動をどの程度予測できるのかを線形リッジ
回帰によって脳のボクセル単位で算出する脳活動エンコーディングモデル\cite{nishimoto2011reconstructing}を構築し，そのモデルの
予測性能として予測脳活動と実際の脳活動の相関係数を
評価した（図\ref{method:overview}b）．このとき，あらかじめ脳データと特徴量を訓練用とテスト用サンプルに分け，モデル構築には
訓練データ，予測性能評価にはテストデータを用いた．


以上の手法についてLlama 2，OPT，GPT2，BERT，Word2Vecの潜在表現を用いて検証した結果が図\ref{results:lm_compare}aである．図\ref{results:lm_compare}aは，訓練データで最も予測性能が高い層の潜在表現を用いてモデル構築した際に，交差検証の精度で上位5000のボクセルを選択し，そのボクセルのテストデータでの平均予測精度を棒グラフにしている．この図からは，Speech，Object，Storyが他と比較して高い精度で脳活動を予測できることがわかった．また，大規模なモデルほどSpeech，Object，Storyでの予測性能が向上する傾向があり，高次の背景情報を含むStoryにおいて，その傾向が顕著であった．図\ref{results:lm_compare}bは，Llama 2を用いて5つのレベルの意味内容をすべて同時に組み込んだエンコーディングモデルを構築した際の大脳皮質での予測性能を表している．図\ref{results:lm_compare}b上が膨らました大脳皮質で左から順に左脳の内側・外側，右脳の外側・内側であり，図\ref{results:lm_compare}b下が平らにした大脳皮質である．明るい色ほど高い予測性能を持つボクセルを表す．この図からは，視覚や聴覚を含む感覚領域に加えて，高次認知に関係する広範な脳領域においても脳活動を予測できることが確認され，5つの意味内容に関するLLMの潜在表現は広範な領域の脳活動と対応することが示唆された．


%%%%%%%%%%%%%%%%%%%%%%%%%%%F2
\begin{figure}[b]
{\vskip -11pt}
\begin{center}
\includegraphics{32-1ia32f2.eps}
\end{center}
    \hangcaption{5つのレベルの意味内容を用いたエンコーディングモデルの予測結果（単一被験者の結果）(Nakagi et al., 2024)}
    \label{results:lm_compare}
  \end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%




次に，Variance partitioning analysis \cite{la2022feature}を用いて，Speech，Object，Storyの異なる3つのレベルの各意味内容が他の意味内容では説明できない脳活動をどの程度固有に説明しているのかを調べた結果が図\ref{results:var_part}である．ここでは，Llama 2の潜在表現を用いた結果を示す．この図からは，各意味内容がそれぞれ異なる脳領域に対応する
ことがわかった．具体的には，
Speechは聴覚野，Objectは視覚野，Storyは高次視覚野や楔前部，前頭皮質を含む広範な脳領域に対応していた．
さらに，Storyに関してWord2Vecを用いて同様の解析を行ったところ，Llama 2のときと比べて脳活動を説明できないことがわかった．
これはLLMを用いたときの方がより脳内の高次な意味情報表現を捉えられていることを示唆している．まとめると，これらの結果を通して，我々は
さまざまな意味内容を統合し，包括的にマルチレベルの意味内容に関するLLMと脳の対応関係を示した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F3
\begin{figure}[b]
{\vskip -9pt}
\begin{center}
\includegraphics{32-1ia32f3.eps}
\end{center}
    \hangcaption{異なるレベルの意味内容に関する潜在表現が固有に説明できた脳領域（単一被験者の結果）(Nakagi et al., 2024)}
    \label{results:var_part}
  \end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



さらに，本研究で用いた刺激がマルチモーダルであることを踏まえ，我々は意味内容に関する潜在表現に加えて画像
や音声といった他のモダリティの潜在表現が固有に説明する脳領域も調べた（図\ref{results:multimodal}）．ここでは，Vicuna-1.5の意味
内容 (Speech) に関する潜在表現とCLIPの画像に関する潜在表現，ASTの音声に関する潜在表現，Llava-1.5の画像
・意味内容 (Speech) に関する潜在表現を用いて図\ref{results:var_part}と同様の解析を実施した．結果を示す図\ref{results:multimodal}からは，マルチモーダルな特徴量
である画像・意味の潜在表現が視覚と聴覚の間にある連合野の脳活動を固有に説明することが確認された．この領域は
ユニモーダルな特徴量では説明できなかった領域である．この結果から，最新のマルチモーダルモデルの情報処理がユ
ニモーダルモデルのそれよりもヒト脳活動とより固有に対応することが示唆された．


%%%%%%%%%%%%%%%%%%%%%%%%F4
\begin{figure}[b]
\begin{center}
\includegraphics{32-1ia32f4.eps}
\end{center}
    \caption{異なるモダリティの潜在表現が固有に説明できた脳領域（単一被験者の結果）(Nakagi et al., 2024)}
    \label{results:multimodal}
  \end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S3
\section{EMNLP2024 現地参加の様子}
本章では，EMNLP2024の現地の様子を紹介する．EMNLP2024はビーチリゾートとしても知られる
アメリカ・フロリダ州マイアミで開催され，中心部にある高級ホテル「ハイアット リージェン
シー マイアミ」が会場となった．会期中は世界各地から多彩な分野の研究者が集い，至るところ
で活発な議論が繰り広げられていた.
会場を見渡すと，やはりLLM関連の研究が多数を占めている印象を受けた．
我々が取り組んだfMRIを用いた神経科学に関する研究は全体の中で4本とかなり少数ではあったが，
LLMと脳の対応を探ったという点で目を引きやすい内容であったためか，ポスター発表の場には多くの
聴衆が訪れてくれた．

また，筆者らは英語力に自信がなく，初めての国際会議ということもあり発表に対して不安と緊張があった．
しかし，当日は無理に流暢に話さずゆっくりと丁寧に説明することを心がけることで，聴衆側もそのスピード
感に合わせた質問をしてくれたため，大方の質問には対応することができたと感じる．
英語が不得意な学生にとって，国際学会に参加することの障壁は決して低くはないものの，
恐れずに挑戦してみることで得られる価値は十分にあると実感した．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S4
\section{おわりに}
本稿では，EMNLP 2024に採択された論文の解説を行うとともに，筆者らが現地参加した学会の
様子について報告した．読者の皆様に，筆者らの研究内容や，脳科学と自然言語処理の学際的研究
に関心を持っていただける契機となることを願っている．今後も，本研究プロジェクトを通じて得られた貴重
な経験や知見を糧に，今後も新たな国際会議での採択を目標に据え，日々の研究活動に邁進してい
く所存である．

%%% Bibliography %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{32refs}



%%% Biography %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{中木　裕子}{%
2023年大阪大学基礎工学部卒業．現在，大阪大学大学院生命機能研究科5年一貫博士課程に在学中．
}
\bioauthor{松山　卓矢}{%
2023年大阪大学基礎工学部卒業．現在，大阪大学大学院生命機能研究科5年一貫博士課程に在学中．
}

\end{biography}

\end{document}





