\documentclass[japanese,other]{jnlp_3.8}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{array}
\usepackage{hangcaption_jnlp}
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
\usepackage{booktabs}
%%%%\usepackage{subcaption}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{32}
\Number{3}
\Month{September}
\Year{2025}
%%%%\Issuetitle{「　　　　」特集号}

\setcounter{page}{995}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{Analyzing the Inner Workings of Transformers in Compositional Generalization}
\jauthor{九門　涼真\affiref{Author_1_1}\affiref{Author_1_2}}
\etitle{Analyzing the Inner Workings of Transformers in Compositional Generalization}
\eauthor{Ryoma Kumon\affiref{Author_1_1}\affiref{Author_1_2}} 

\headauthor{九門}
\headtitle{Analyzing the Inner Workings of Transformers in Compositional Generalization}

\affilabel{Author_1_1}{東京大学}{The University of Tokyo}
\affilabel{Author_1_2}{理化学研究所}{RIKEN}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

本稿では，NAACL 2025に採択された論文``Analyzing the Inner Workings of Transformers in Compositional Generalization'' \cite{kumon-yanaka-2025-analyzing}について，
原論文の概要および研究の経緯について解説する．
あわせて，NAACL 2025の現地の様子についても紹介する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{原論文の概要}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{背景}

Transformerに基づいた言語モデルは，多様な言語処理タスクで高い性能を示す一方で，その言語処理能力がどの程度人間のものと類似しているのかについてはさまざまな研究が行われている．
原論文では，人間の言語処理能力を特徴づける要素の一つである構成的汎化に注目した．
構成的汎化とは，未知の言語表現に対し，既知の単語の意味と統語構造をもとに意味を理解する能力のことを指す．
例えば，人間は，``John loves Mary'' の意味を理解できるならば，``Mary loves John'' という文を聞いたことがなくとも意味を理解することができる \cite{fodor1988connectionism}．
言語モデルが構成的汎化能力を有しているかを明らかにするべく，COGS \cite{kim-linzen-2020-cogs}に代表されるようなベンチマークが提案されてきた．
これらのベンチマークにより，構成的汎化は既存の言語モデルにとって困難であることが示されてきた．
しかし，こうした評価は，未知の入力を与えたときのモデルの出力を評価することに焦点を当てており，モデルがどのような機序で出力に至ったかは明らかでなかった．
実際，構成的汎化を必要とするタスクにおいて正答していたとしても，モデルが構成的な意味処理に基づいて出力を導いたのか，あるいは何らかのヒューリスティクスに依存したのかを出力の情報からのみ区別することは難しい．
そこで原論文では，統語的特徴，すなわちモデルが学習した統語的な知識が構成的汎化においてどの程度用いられているかを分析し，モデルが内部で構成的に意味理解をしているかを明らかにすることを目指す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[b]
\begin{center}
\includegraphics{32-3ia37f01.eps}
\end{center}
\caption{分析手法の概要．ベースモデルの学習，subnetwork probing, 因果分析の三段階からなる．}
\label{fig:method}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[b]
\resizebox{\textwidth}{!}{%
\begin{tabular}{lll}
\toprule
パターン & 学習データ & 分布外評価データ \\
\midrule
PP in indirect object NP&
The child gave \textbf{the pen on the table} to Liam.&
The friend gave \textbf{the girl in the room} a hat.\\
PP in subject NP &
The child broke \textbf{a cup on the table}. &
\textbf{The friend in the room} broke a cup.\\
\bottomrule
\end{tabular}
}%
\hangcaption{原論文で対象とした二つの構成的汎化のパターン．データセットでは英語文とタスクに応じた出力文がペアとなる．原論文の表1より引用．}
\label{tab:generalization_pattern}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{分析手法}

分析手法の概要を図~\ref{fig:method}に示す．
まず，モデルの学習と評価のためのデータセットを構築する．
原論文では，構成的汎化のうち表~\ref{tab:generalization_pattern}に示す二つのパターンを対象とし，機械翻訳と意味解析の二つのタスクに関する学習データと分布外評価データを構築した．
データセットの構築には，著者の以前の研究 \cite{kumon-etal-2024-evaluating}で提案したルールベースのパイプラインを用いた．
構築した学習データでTransformerをスクラッチから学習する．
次に，subnetwork probing \cite{cao-etal-2021-low}を学習したモデル（ベースモデル）に適用し，構成的汎化のタスクを高精度で解くサブネットワークを探索する．
最後に，得られたベースモデルおよびサブネットワークについて，統語的特徴に関する因果分析を行う．
因果分析では，concept scrubbing \cite{belrose2023leace}と新たに定義した統語的知識（句構造と依存構造）に関するラベリングタスクをもとに統語的特徴を削除し，削除の前後でモデルの汎化性能の変化を調べる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[t]
\begin{center}
\includegraphics{32-3ia37f02.eps}
\end{center}
%%%%\label{fig:results_causal_a}
%%%%\label{fig:results_causal_b}
%%%%\label{fig:results_causal_c}
%%%%\label{fig:results_causal_d}
\hangcaption{PP in indirect object NPの因果分析の結果．各棒は対応する特徴の削除後の分布外評価データでの完全一致率を示す．Allは統語的特徴の完全な削除，iobj-modは間接目的語のNPへのPP修飾に関する統語的特徴のみの削除（dobj-modも同様），modはNPへのPP修飾に関する統語的特徴の削除を指す．原論文の図4より引用．}
\label{fig:results}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\subsection{実験結果}
実験結果のうち，PP in indirect object NPのパターンの結果を図~\ref{fig:results}に示す．
統語的特徴の削除前の段階（青棒）では，ベースモデルは汎化性能が低い一方で，サブネットワークは90\%を超える高い汎化性能を示し，構成的汎化において高い性能を持つサブネットワークの存在が示された．
また，統語的特徴の削除後では，ベースモデルとサブネットワークの両方とも汎化性能が低下した．
一方で，サブネットワークにおいては間接目的語のNPへのPP修飾に関する統語的特徴のみの削除後には，10\%から40\%程度の汎化性能を維持した．
PP in indirect object NPのパターンにおいては，構成的な解法は間接目的語のNPへのPP修飾に関する統語的特徴を用いることが期待されることと合わせると，構成的汎化においてサブネットワークは統語的特徴だけでなく，非構成的な解法にも依存していることが示唆された．
さらに，学習過程の分析により，このような非構成的な解法は学習の初期に獲得され，学習が進むにつれて段階的に構成的な解法も習得されることが明らかになった．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{研究の経緯}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{研究の始まりと卒業論文}

原論文の執筆経緯は，一つ前の研究に遡る．
学部4年の10月に研究室に配属され，著者にとって初めての研究に取り組んだ．
テーマを考える段階では，体系性 (systematicity)・構成性の観点でベンチマークを構築し，言語モデルを評価することを考えていた．
その過程で文献調査をする中，systematic generalizationにおけるモデルの内部機序を分析した論文\footnote{後にThomas Icard先生から伺った話によると，偶然にもこの論文もGeiger氏の学部の卒業論文だったようだ．} \cite{geiger-etal-2020-neural}に出会い，次第に内部機序の分析にも興味を持ち始めた．
そこで，構築したベンチマークによる評価に加え，さらにその内部機序の分析を行うという，今思えば無茶な計画を考えていた．
しかし，研究室配属から卒業論文の締め切りまでの期間は4ヶ月未満と非常に短く，両方を盛り込んだ形で論文としてまとめることは全く現実的ではなく，最終的にはベンチマークの構築に焦点を絞ることとなった．
この研究 \cite{kumon-etal-2024-evaluating}では，構成的汎化を評価するベンチマークであるCOGS \cite{kim-linzen-2020-cogs}を機械翻訳に拡張したSGETを提案した．
単にタスクに関する拡張をするだけでなく，選択制約の考慮やルールベースの機械翻訳を組み込んだデータセット構築パイプラインの設計も行った．
この研究は最終的にACL 2024 Findingsに採択された．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{原論文の完成まで}

ACL 2024 Findingsの採択後，手つかずだった内部機序の分析に本格的に取り組みはじめた．
当初は，特定トークンのresidual streamへの介入に基づいた既存の分析手法の適用を検討していたが，構成的汎化の評価で一般的に用いられる意味解析や機械翻訳のような系列変換タスクへの適用が難しく，思うように進まなかった．
そうした中で，言語的な汎化を担うサブネットワークの存在を示唆する研究と学習済みのモデルから特定の概念を消去する研究が，系列変換タスクでの分析に適用可能である可能性に気づいた．
いずれの手法も詳細な点を詰める必要があり，一筋縄ではいかなかったが，最終的に原論文で用いた手法に落ち着いた．
この原論文は2024年の10月サイクルのARRに投稿したが，その投稿前後で国内学会や勉強会などで計五回の発表の機会があり，非常に多くの方々から有益なコメントをいただき，手法や実験設定を洗練させることができたと感じている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{NAACL 2025での発表}

アルバカーキで開催されたNAACL 2025で原論文のポスター発表を行なった．
ポスター発表の経験はこれまでに3回ほどあったが，その中では今回が最も盛況な発表となり，良い経験となった．
日本語での発表経験を多く積んでいたことに加え，所属研究室内で英語での発表経験があったため，セッションを通じて滞りなく発表することができた．
著者が割り当てられたポスターセッションは，interpretability分野の発表が集まっていたこともあり，聴衆からは分析手法に関する質問が非常に多かった．
言語処理学会年次大会やYANSといった国内学会では結果に関する質問が多かったのとは対照的であり，興味深く感じられた．
また，学会期間を通じて，言語モデルの内部機序分析の研究に取り組む人と多く出会い，分野の盛り上がりを実感した．
それと同時に，関心が高まっている分野だからこそ，既存のパラダイムを無批判に受け入れるのではなく，あらためてその妥当性を見直す姿勢の重要性も再確認する機会となった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

本稿で紹介した原論文は，著者にとって初めての研究テーマから始まり，紆余曲折を経て完成に至ったものである．
依然として研究の進め方も言語モデルの内部機序も分からないことばかりであるが，今後も試行錯誤を重ねながら探究を続けていきたい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

原論文が完成に至ったのは，指導教員である谷中先生をはじめ，所属研究室の皆さんとの議論やフィードバックがあってこそであり，感謝を申し上げたい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{37refs}

\clearpage
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{九門　涼真}{%
東京大学大学院情報理工学系研究科コンピュータ科学専攻修士課程在学中．
理化学研究所革新知能統合研究センター説明可能AIチーム研究パートタイマー．
2024年東京大学理学部情報科学科卒業．
計算言語学，自然言語処理に関する研究に従事．
}

\end{biography}




\end{document}




