\documentclass[japanese,other]{jnlp_3.8}
\usepackage{jnlpbbl_2.3}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage[hyphens]{url}
\usepackage{array}
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition

\usepackage{hangcaption_jnlp}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{32}
\Number{4}
\Month{December}
\Year{2025}
%%%%\Issuetitle{「　　　　」特集号}

\setcounter{page}{1304}



%%%%   タイトル部分                                      %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{If Attention Serves as a Cognitive Model of Human Memory Retrieval, What is the Plausible Memory Representation?}
\jauthor{吉田　　遼\affiref{Author_1}}

\etitle{If Attention Serves as a Cognitive Model of Human Memory Retrieval, What is the Plausible Memory Representation?}
\eauthor{Ryo Yoshida\affiref{Author_1}}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\headauthor{吉田}
\headtitle{アテンション機構が記憶検索の認知モデルたりうるならば，記憶の表現としては何が妥当か？}


%%%% 所属を指定して下さい．
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\affilabel{Author_1}{東京大学}{The University of Tokyo}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S1
\section{はじめに}
研究の取り組み方は人それぞれである．一人で黙々と思考する人もいれば，指導教員と二人三脚で進めていく人もいる．かくいう私は，研究室という場での学生同士の議論を通して研究を進めていくタイプである．ACL 2025に採択された本論文「If Attention Serves as a Cognitive Model of Human Memory Retrieval, What is the Plausible Memory Representation?」 \cite{yoshida2025Ifa}は，そのプロセスが効果的に機能した論文であると感じている．以下では，この研究がどのように進展したかを，時系列に沿って解説する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2
\section{着想（2023年5月）}
本論文のアイデア自体は，論文採択の2年ほど前である2023年には着想していたと記憶している．本論文は，Transformer のアテンション機構を人間の文処理に関する理論である cue-based retrieval theory \cite{vandyke2003Distinguishing} の計算機上での実装とみなす試み \cite{ryu2021Accounting,oh2022Entropy} の拡張である．Cue-based retrieval theory は，人はある単語を見聞きしたときに，その単語に関連する要素を記憶から検索するであろうという理論であり，その帰結として，より多くの要素を検索する必要がある時に，処理負荷が増大するということ（干渉効果）を予測する．Ryu and Lewis および Oh and Schuler は，Transformer のアテンション機構による先行トークンの参照がこの cue-based retrieval の計算機上での実装として見做せる可能性を提唱し，実際にアテンション重みのエントロピーが人間の読み時間などと強く相関することを示した\footnote{Ryu and Lewis は，特定のアテンションヘッドから導出されるアテンションエントロピーを用いて，特定の言語現象における干渉効果を説明できることを示した．Oh and Schuler は，最終層の各アテンションヘッドから導出されるアテンションエントロピーの和を用いることで，人間の読み時間一般の説明が可能であることを示した．また，アテンション重みにトークン数などに関する正規化を施す必要があることも指摘している．}．

当初，私はアテンション重み自体そこまで解釈性が高いものであるとは思っておらず，アテンション機構が人間の記憶検索と類似した振る舞いを示すという主張には半信半疑であった．一方で，cue-based retrieval theory は心理言語学における有力な理論の一つでありながら，計算モデルとしては汎用的な実装が存在していないことから，もしこの主張が妥当なものであるのであれば，自然言語処理と心理言語学の双方にとって有益なものであるとも考えていた．

そのような中，2023年5月，私の学術振興会特別研究員 (DC2) の申請書を，所属研究室（大関研究室）の訪問学生である磯野真之介さん（第二著者・現国立国語研究所．心理言語学を専門とされている）・特任研究員であった杉本侑嗣さん（第五著者・現大阪大学．統語論，計算神経言語学を専門とされている）に添削していただいている際に，偶然，これらの試みの話になり，「心理言語学には，人間の文処理は逐次的な統語構造構築を伴うことを示唆する研究が多くあるが，通常のアテンション機構は参照単位として単語を仮定しており，見直しの余地があるのではないか．」との議論になった．私は，その際に漠然と，「統語構造を参照単位とするようなアテンション機構はその候補になりそうだ．もし，統語構造に基づくアテンション機構が人間の記憶検索とより類似した振る舞いを示すのであれば，アテンション機構を人間の記憶検索のモデルとしてみなすことに関して自分自身一つ納得できる結果になるし，心理言語学に対するインパクトも大きいのではないか．」との思いを抱いた．これが本論文の着想である．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S3
\section{研究開始（2024年秋）}
紆余曲折あり，DC2 の申請書は異なるテーマで出すこととなり，上記のアイデアに実際に取り組むことはなく月日が流れていた．杉本さんとは度々このアイデアについて雑談する機会があり，「統語構造を参照単位とするアテンション機構を実現するモデルとしては，句を逐次単一のベクトルに集約する Transformer である Transformer Grammar (TG) \cite{sartran2022Transformera} が採用できそうである\footnote{Transformer Grammar (TG) は，トークン列とその背後の統語構造（例：(S (NP The blue bird NP) (VP sings VP) S)）の生成モデルである．具体的には，(i) 句ラベルの生成（例：(NP），(ii) トークンの生成（例：bird），(iii) 句を閉じる（例：NP)），の3つのアクションからなる系列の確率をモデル化する．特殊なアテンションマスクにより，閉じられた句は逐次単一のベクトルに集約され，単一のキー・バリューを持つこととなる．}」など具体的な設定についてもある程度議論が進んでいたが，実際に研究に着手するには至らなかった．

着想から1年以上が経過した2024年秋ごろ，当時大関研究室の修士学生であった梶川康平さん（第三著者・現ジョージタウン大学）と，ふとした雑談からこのアイデアの話になった．梶川さんは予想以上に良い反応を示してくれ，「それはいいアイデアだから絶対にやりましょう」と言ってくれた．彼がそう言ってくれるのであれば，と，私はその場で研究を開始することを決意した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S4
\section{実験（2024年12月）}
研究記録を見返すと，その他の研究の関係もあり，実際に実験を開始したのはそれから1--2ヶ月ほど経過した2024年12月5日だったようだ．そこからは比較的スムーズに実験が進んでおり，12月10日には，TG から統語構造を参照単位としたアテンション重みのエントロピーを導出するコードの実装が完了していたようである．そのタイミングで第二著者の磯野さん，第五著者の杉本さんにも再び声をかけ，12月23日には，予想通りTG のアテンションエントロピーが通常の Transformer のそれよりも人間の読み時間をよりよく説明するという結果が得られていた．

得られた結果について，研究室の博士学生である染谷大河さん（第四著者）に興奮気味に話していたところ，私が実験開始前に抱いていた疑念を思い出させてくれるようなやや批判的なコメントをもらうことができ，冷静さを取り戻すとともに，染谷さんにも著者として携わってもらうことになった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S5
\section{分析（2024年1月）}
主要な結果が得られるまでとは対照的に，結果の分析にはやや難航した．というのも，得られていた結果は，確かにTG のアテンションエントロピーは通常の Transformer のそれよりも人間の読み時間をよりよく説明できるものの，その説明力は互いに独立であるというものだったからである．これは，例えば，家賃を予測する際に駅からの距離と築年数のうちどちらかが主要な説明変数であったとしても，両方を説明変数として用いることでより良い予測ができる，というような関係だと考えていただければ良い．

これは，人間の記憶検索には，統語構造を参照単位とするアテンション機構には捉えられないが，トークンを参照単位とするアテンション機構には捉えられるような側面があることを示唆しており，私の当初の予測からは外れるものであった．何かしら妥当な解釈を与えられないだろうかと頭を悩ませている時に，磯野さんが，「同じ記憶の検索でも，動詞の主語を検索するのと，意味的に関連する単語を検索するのとでは，異なるメカニズムが働いているという可能性は十分あるのでは．例えばそれぞれのアテンションエントロピーがどの品詞のデータポイントで高い説明力を持つのかを調べてみると面白いかもしれません．」と提案してくれた．

実際に分析を行ってみると，TG のアテンションエントロピーは主に動詞のデータポイントで高い説明力を持ち，通常の Transformer のアテンションエントロピーは主に名詞のデータポイントで高い説明力を持つことが分かった（図\ref{fig:pos}）．私たちは，この発見を，人間の記憶表現の二重構造性を示すものと解釈した．すなわち，統語構造を単位とする記憶と，トークンを単位とする記憶が存在し，前者は主に動詞の主語などの統語的な関係を捉える際に，後者は主に統語構造に依存しない意味的な関連を捉える際に，それぞれ用いられる，という解釈である\footnote{統語構造を単位とした記憶に対する検索が TG のアテンション機構により，また，トークンを単位とした記憶に対する検索が Transformer のアテンション機構により，相対的によく説明される，というロジックであり，人間の記憶検索と TG/Transformer のアテンション機構が完全に同じである，ということを主張しているわけではないことに注意されたい．}．統語構造に基づくアテンション機構とトークンに基づくアテンション機構との対照により得られたこの結果は，アテンション機構を人間の記憶検索のモデルとしてみなせる可能性について，少なくとも私自身を納得させうるものであった．


%%%%%%%%%%%%%%%%%%%%%%%%%%F1
\begin{figure}
\begin{center}
\includegraphics{32-4ia32f01.eps}
\end{center}
    \hangcaption{TG のアテンションエントロピーと Transformer のアテンションエントロピーのそれぞれが，どの品詞のデータポイントで高い説明力を持つかを示した図．縦軸は，アテンションエントロピーを説明変数に加えた際の回帰モデルの残差の減少分のモデル間の差（データポイント平均），横軸は品詞を表す．TG のアテンションエントロピーは動詞 (VB, VBG, VBN, VBP) のデータポイントで，Transformer のアテンションエントロピーは名詞 (NN, NNP) のデータポイントで高い説明力を持つことが分かる．}
    \label{fig:pos}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S6
\section{執筆（2024年2月）}
その後，アテンション機構が cue-based retrieval の初の汎用的な計算モデルたりうる可能性を強調するため，第二著者の磯野さんが過去に提案した人間の記憶「減衰」に関する理論である Category Locality Theory (CLT) \cite{isono2024Category} との対照実験を追加で行い，実際にアテンションエントロピーが記憶に関する負荷の中でも特に cue-based retrieval が仮定する「干渉」効果を捉えていることを示唆する結果が得られた．これらの結果をもとに2025年2月2日に論文の執筆を開始，2月11日に初稿を完成させ，共著者の皆さんとの議論を通して2月14日には投稿版の論文が完成，最終著者の大関先生の確認を経て，2月16日に ACL Rolling Review の February サイクルに投稿した．Overall score 4/4/3, meta review score 4 の評価を受けたのち， ACL 2025 に採択された．

採択後に，論文中で使っていた読み時間データセットの作成者により，当該データのアノテーションが誤っていたことが公表され\footnote{\url{https://x.com/rljfutrell/status/1922446771004809688}}，急遽実験をやり直す必要に迫られるなどのハプニングはあったものの，結果的には私たちの主張をより支持する実験結果が得られ，無事に camera-ready を提出することができた．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S7
\section{おわりに}
本論文は，このように，研究室での学生同士の議論というプロセスが効果的に機能した結果生まれたものである．磯野さんや杉本さんとの議論を通してアイデアが形成され，梶川さんの後押しが研究の原動力となり，染谷さんの地に足ついたコメントがその後の分析を堅実なものにしてくれた．論文構成は，その細部に至るまで，共著者との議論を通して練り上げられたものである．非常に楽しかった．今は多くの著者が研究室を巣立ち，新しいキャリアを歩み始めているが，私たちの研究者人生が交差する場所として大関研究室が存在していたことを，私は忘れないであろう．



%%% Bibliography %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.8}
\bibliography{32refs}


%%% Biography %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{吉田　　遼}{%
2021年東京大学教養学部卒業．2023年東京大学大学院総合文化研究科修士課程修了．2023年より同博士課程在籍．
}

\end{biography}


\end{document}


