\documentclass[japanese,other]{jnlp_3.8}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{array}
\allowdisplaybreaks

\usepackage{hangcaption_jnlp}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{31}
\Number{4}
\Month{December}
\Year{2024}
%%%%\Issuetitle{「　　　　」特集号}



\setcounter{page}{1774}



%%%%   タイトル部分                                      %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{多言語LLMの秘密：\\言語固有ニューロンの存在に迫る}
\jauthor{小島　　武\affiref{Author_1}}


\etitle{On the Multilingual Ability of Decoder-based Pre-trained Language Models: Finding and Controlling Language-Specific Neurons}
\eauthor{Takeshi Kojima\affiref{Author_1}} 
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\headauthor{小島}
\headtitle{多言語LLMの秘密：言語固有ニューロンの存在に迫る}




%%%% 所属を指定して下さい．
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\affilabel{Author_1}{東京大学}{The University of Tokyo}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S1
\section{まえがき}
本稿では，NAACL2024に採択された著者の論文
``On the Multilingual Ability of Decoder-based Pre-trained Language Models: Finding and Controlling Language-Specific Neurons''
\cite{kojima2024multilingual}について解説する．
解説の流れは，着想，論文の内容，採録までの経緯，学会発表という流れとした．
ここで改めて，共著の松尾豊先生，谷中瞳先生，岩澤有祐先生，沖村樹君に感謝の意を表する．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2
\section{着想}
近年のデコーダベースの事前学習済み言語モデル (Pre-trained language model: PLM) は，多言語能力の獲得に成功している．
筆者は，100億パラメータクラスの日英2ヶ国語対応の大規模言語モデルWeblab-10B \cite{weblab_10b}をスクラッチ開発した経験から，その現象を身をもって確認している．

しかしこの現象は奇妙である．デコーダベースのPLMの多くはTransformerモデル構造を採用しているが，そのモデル構造は多言語能力を発現させるような帰納的構造を最初から有している訳ではない．
学習の過程で自然発生的に，多言語処理を可能とするような秩序立った内部構造が生まれているのではないか．そういった好奇心が本研究の発端である．

ここでPLM内部で各言語がどのように扱われているかを分析するツールが必要となった．当時同じ松尾研究室に所属していた修士課程の学生であった沖村君が，``事前学習済み言語モデル中の多段階推論に関与するニューロンに関する分析'' \cite{okimura2023}の研究を行っており，この研究で使われている分析ツールを本研究でも利用できるのではと思い，分析作業を始めた．

初期段階の分析結果を谷中先生にお見せしたところ，面白いですねと言っていただき，この方向性で徹底的に分析をしてみようと勢いづいた．当時，この発見がNLPコミュニティに受け入れられるかどうか不安だったため，本研究を続けるべきか迷っていたが，この言葉は研究を進めるうえで大きな後押しになった．以降の章で詳述するが，論文の採択まで一筋縄ではいかなかったものの，共著の方々のサポートのおかげでなんとかたどり着けた．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S3
\section{論文の内容}

本章は，NAACL2024に採択された論文
\cite{kojima2024multilingual}および研究の途中経過をまとめた言語処理学会第30回年次大会での論文
\cite{published_papers/44533895}をもとに記載する．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S3.1
\subsection{位置づけ}
本研究は，デコーダベースの事前学習済み言語モデル (PLM) 内における言語固有ニューロンの検出と制御を行う．
近年，Transformer構造を持つデコーダベースのPLMの優れた多言語能力が頻繁に報告されているが，
これらのモデルはどのように多言語能力を取り扱っているのか明らかではなかった．先行研究では，複数言語にわたって活性化する言語普遍的なニューロンの検出に焦点を当てており，主にエンコーダベースのPLMに注目していた．
入力の抽象化を検証するにはエンコーダベースのモデルで十分かもしれないが，一方でデコーダベースのPLMは生成の後半部分で言語固有の情報を回復して言語化する必要があるため，これらのモデル内での言語固有の処理は，
より複雑で本質的な機能であるはずである．しかし，デコーダベースのPLMにおける言語固有ニューロンの存在は注目されていなかった．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S3.2
\subsection{提案手法}
\label{sec:method}

本研究は，デコーダベースのPLMにおける言語固有ニューロンの存在を調査するために，
\cite{cuadros2022self}によって提案されたアプローチを採用し，本研究向けに修正を行った．
このアプローチは，あるグループの文（ポジティブ文）に対して活性化するが，他のグループ（ネガティブ文）に対しては活性化しないニューロンを特定する．
対象とする言語のテキストをポジティブ，それ以外の言語のテキストをネガティブとして扱い，ポジティブな文に統計的に活性化する言語固有ニューロンを特定する．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F1
\begin{figure}[t]
\begin{center}
\includegraphics{31-4ia36f1.pdf}
\end{center}
\hangcaption{提案手法の概要. 特定の言語に対して活性化する傾向がある言語固有ニューロンを検出する．推論時に，検出したニューロンを強制的に活性化する介入を行い，対象の言語文の生起確率を操作する．}
\label{fig:overall}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F2
\begin{figure}[t]
\begin{center}
\includegraphics{31-4ia36f2.pdf}
\end{center}
\hangcaption{平均適合率で高い順に並べたときの上位1000個，中位1000個，下位1000個のニューロンの各層における分布．1行目：XGLM-564M, de．2行目：BLOOM-1b7, fr．3行目：Llama2-13b, zh．}
\label{fig:histogram}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F2
%%%%%\begin{figure}[t]
%%%%%  \centering
%%%%%  \begin{minipage}[t]{0.50\columnwidth}
%%%%%        \centering
%%%%%        \includegraphics[width=\columnwidth]{figure/overview.png}
%%%%%        \caption{
%%%%%        提案手法の概要. 特定の言語に対して活性化する傾向がある言語固有ニューロンを検出する．推論時に，検出したニューロンを強制的に活性化する介入を行い，対象の言語文の生起確率を操作する．
%%%%%        }
%%%%%        %\vspace{3mm}
%%%%%        \label{fig:overall}
%%%%%  \end{minipage}
%%%%%  \hspace{0.01\columnwidth} % ここで隙間作成
%%%%%  \begin{minipage}[t]{0.47\columnwidth}
%%%%%        \centering
%%%%%        \includegraphics[width=\columnwidth]{figure/histogram.png}
%%%%%        \caption{
%%%%%        平均適合率で高い順に並べたときの上位1000個，中位1000個，下位1000個のニューロンの各層における分布．
%%%%%        1行目：XGLM-564M, de．
%%%%%        2行目：BLOOM-1b7, fr．
%%%%%        3行目：Llama2-13b, zh． 
%%%%%        }
%%%%%        \label{fig:histogram}
%%%%%  \end{minipage}
%%%%%\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



まず，$|L|$個の言語の集合を考え，各言語のテキストを準備する．
全テキストの集合を $x = \{x_i\}^N_{i=1}$ とする．
我々の目標は，対象とする言語 $l_t \in L$ のテキストに対して活性化するが，他の言語 $L\setminus l_t$ のテキストには活性化しないニューロンを検出することである．
各テキスト $x_i \in x$ が対象言語である場合はラベル $b_i=1$ を割り当て，そうでない場合は $b_i=0$ を割り当てる．

次に，入力テキストが与えられた際のモデル内の各ニューロンの活性化値を観察する．各ニューロンには一意のインデックス$m \in M$を割り当てる．$|M|$はモデル内のニューロンの総数である．テキスト$x_i \in x$がモデルに入力されたときのニューロン$m$の出力値を$z_{m,i} \in z_{m}$とする．
この値は，文中の各トークンにおける該当ニューロンの出力値の平均とする．

最後に，言語固有ニューロンを検出する．データセット$\{x_i, b_i, z_{m,i}\}^N_{i=1}$を予測タスクのサンプルとみなす．
具体的には，テキスト$\{x_i\}^N_{i=1}$をモデルの入力，ラベル$\{b_i\}^N_{i=1}$を出力の正解，ニューロンの出力値$\{z_{m,i}\}^N_{i=1}$を正解の予測スコアとみなす．
異なる予測閾値におけるPR曲線下の面積である平均適合率 ($AP_m = AP(z_m, b) \in [0, 1]$) を用いて，タスクに対するニューロン$m$の性能を測定する．
全てのニューロンに対して$AP_m$を測定し，降順に並べる．
上位$k$個のニューロン（言語ラベルとの強い正の相関）と下位$k$個のニューロン（強い負の相関）のどちらも相関があることに変わりがないので，両方を言語固有ニューロンと定義し，$k=1000$とした．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S3.3
\subsection{実験}
\label{sec:experiment}
デコーダベースのPLM (XGLM, BLOOM, Llama2) を，6つの言語（英語，ドイツ語，フランス語，スペイン語，中国語，日本語）について分析した．
図\ref{fig:histogram}は，\ref{sec:method}節の手法を用いて検出されたニューロンの各層における分布を表したヒストグラムである．平均適合率順の上位1000個，下位1000個のニューロンの大部分がモデルの最初と最後の数層に分布している．
対照的に，平均適合率順で中間1000個のニューロン（中央値の周辺）は主に中間層に分布している．これらの分布特性は言語，モデルのサイズ，種類を問わず同じであることが示された．

図\ref{fig:histogram}の結果
に基づいて，デコーダベースのPLMの内部動作について以下の解釈が可能である．
PLMの最初の数層は，各言語の語彙的または構文的表現を言語非依存の意味論的表現に変換する．
モデルの中間層は主に言語非依存の意味理解と表現の変換処理である．
モデルの最後の数層は，主に意味論的表現を目標言語の構文と語彙情報に逆変換する，という解釈である．

検出された言語固有ニューロンの有効性を示すために，言語固有ニューロンに介入することでモデルがテキスト生成において言語を制御できるかどうかを調査する．
我々は，推論中に
言語固有ニューロン
の出力値を，事前に計算しておいた固定値（対象言語のテキスト群に対するニューロン出力の中央値）で上書き（強制発火）することにより，テキスト生成を制御する．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F3
\begin{figure}[b]
\begin{center}
\includegraphics{31-4ia36f3.pdf}
\end{center}
\hangcaption{推論時にXGLM-564Mモデルの言語固有ニューロンに介入（強制発火）しながら，[BOS]トークンを入力としてランダムサンプリング法で生成したテキストサンプル．}
\label{main_text_sample_unconditional}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F4
\begin{figure}[t]
\begin{center}
\includegraphics{31-4ia36f4.pdf}
\end{center}
\hangcaption{推論時にLlama-2-7bモデルの言語固有ニューロンに介入（強制発火）しながら，機械翻訳タスクを入力として貪欲法で生成したテキストサンプル．}
\label{main_text_sample_conditional}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



図 \ref{main_text_sample_unconditional}は，XGLM-564Mモデルに対して入力に [BOS] トークンのみを与え，ランダムサンプリングで生成させたテキストのサンプルである．
各言語固有ニューロンに介入することにより，出力テキストの言語が変更できることが定性的に示されている．
図\ref{main_text_sample_conditional}は，Llama-2-7bモデルに対して機械翻訳タスクを与え，ゼロショットの設定で生成させたテキストのサンプルである．
``Translate an English sentence into a target language''という翻訳先の言語を具体的に指定しないプロンプトであるにも関わらず，言語ごとに言語固有ニューロンの発火を切り替えることで，対象言語に翻訳されていることが示されている．
詳細は原著\cite{kojima2024multilingual}を参照．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S4
\section{採録までの経緯}
当初はEACL2024向けのARR Trackに投稿したが，実験不足や記述の不備などをレビュワーに指摘されたため，差し控えて改善を行い，改めてNAACL2024向けのARR Trackに投稿した．
著者の記憶では，締め切り前日まで機械翻訳タスクにおける介入実験で良い結果が出なかったのだが，岩澤先生からの指摘（より大きなモデルで実験したか？したらどうか？）をもとに追加実験を行ったところ，図\ref{main_text_sample_conditional}のような結果を得ることができ，早急に改版してギリギリ締め切りに間に合わせることができた．月並みだが，最後の最後まで諦めないことが肝要である．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S5
\section{学会発表}
採択後，著者はメキシコで開催された学会でポスター発表を行った．
多くの聴衆に発表を聞いてもらい，手前味噌だが好評だったと思う．
ChatGPTをはじめとするLLMのイノベーションは研究業界にも大きな衝撃と熱気を巻き起こしたが，最近は少し落ち着きを見せ始めたように思う．
当学会でも，LLMができることとできないことを詳細に分析し，その現象の裏側に存在する原理を解明しようとする面白い研究が数多くあった．同時に，完全な知能の実現までにやるべきことはまだまだ多いとも感じた．

最後に，国際学会という異世界における発表と交流がもたらすインスピレーションは，何事にも代え難い貴重な経験だと思っている．
最近は，自分だけでなく一人でも多くの学生に若いうちからこの経験をさせるべきだと思い，研究のメンター活動にも日々奮闘している．




%%% Bibliography %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{36refs}
%\normalsize

%%% Biography %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{小島　　武}{%
2008年立命館大学国際関係学部国際関係学科卒業．2016年京都大学大学院経済学研究科経済学専攻修士課程修了．2023年東京大学大学院工学系研究科技術経営戦略学専攻博士課程修了．博士（工学）．現在，同専攻特任研究員．
}

\end{biography}


\end{document}

