\documentclass[japanese,other]{jnlp_3.8}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{array}
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%\usepackage{booktabs}
%%%%\usepackage{cleveref}
%%%%\newcommand\blfootnote[1]{%
%%%%  \begingroup
%%%%  \renewcommand\thefootnote{}\footnote{#1}%
%%%%  \addtocounter{footnote}{-1}%
%%%%  \endgroup
%%%%}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{31}
\Number{4}
\Month{December}
\Year{2024}
%%%%\Issuetitle{「　　　　」特集号}

\setcounter{page}{1786}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{回想記事：Emergent Word Order Universals from Cognitively-Motivated Language Models}
\jauthor{栗林　樹生\affiref{Author_1}}
\etitle{Memoir: Emergent Word Order Universals from Cognitively-Motivated Language Models}
\eauthor{Tatsuki Kuribayashi\affiref{Author_1}} 

\headauthor{栗林}
\headtitle{回想記事：Emergent Word Order Universals from Cognitively-Motivated Language Models}

\affilabel{Author_1}{MBZUAI}{MBZUAI}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section*{はじめに}
\label{sec:intro}

何かに関心がある時，その思いをどのように示すと良いだろう．応援したり，SNS上で驚いたり，様々な手段は考えられるだろうが，研究者が研究に対して面白いと感じたのであれば，その領域に直接貢献をし，対象をもっと面白くするべきであろう．
``Emergent Word Order Universals from Cognitively-Motivated Language Models''\cite{kuribayashi-etal-2024-emergent}はそのような思いで書いた論文である．本稿ではACL2024に採択されるまでを振り返りたい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関心}
\label{sec:interest}

本研究 \cite{kuribayashi-etal-2024-emergent}では，自然言語に普遍的な特徴がなぜ存在するのか，言語類型論・認知モデリング・言語モデル・構文解析・言語創発といった関連分野を動員し，学際的に答えようとしている．
特に\citeA{greenberg1963some}に代表される語順普遍に焦点を当てており，例えば現代標準アラビア語では動詞--主語--目的語，日本語では主語--目的語--動詞といった語順が採用されるが，目的語--主語--動詞といった目的語を先行させる語順は自然言語でほとんど採用されない．
このような偏りに簡潔な説明を与えたい．
この時点で，なぜ大規模言語モデル時代にそんなことを調べるのかとか思われて，ページをそっと閉じられたりしそうであるが，その辺の動機も少し語りたい．
また本論文は，第30回言語処理学会で優秀賞を受賞した「どのような言語モデルが不可能な言語を学習してしまうのか？―語順普遍を例に―」の一部であり，ACL2024ベストペーパーのひとつである``Mission: Impossible Language Models'' \cite{kallini-etal-2024-mission}にも関連する，意外にタイムリーな話題でもある．

私はここ5年ほど計算（心理）言語学と自然言語処理の学際領域で研究を行っており，その対象を面白いと思っているといった動機が強い．
自然言語を用いる人間として，自然言語や人間について知りたいと思うのは，そこまでおかしなことではないと思いたいし，先人が持っていなかった言語モデルなどの新たな道具立てを用いて，根源的な問いに再訪してみることも，そこまで筋が悪い話ではないだろう．
そしてやはり，自分で論文を書く過程の中で学ぶことは多い．
人間・言語に関して言えば，直近の主著論文では，人間の読み活動（読み時間など）を説明する認知モデリング領域と，自然言語処理分野の境界を探求してきた \cite{kuribayashi-etal-2021-lower,kuribayashi-etal-2022-context,kuribayashi-etal-2024-psychometric}．
認知モデリングばかりやる人のようになってしまったが，私としては言語学と自然言語処理が接する話題について幅広く関心をもっているつもりであり，例えば自然言語のデザインとコミュニケーションの効率性（を測るための自然言語処理技術の応用）といった話題（\citeA{Hahn2020-dq}など）もまた面白いと思っていた．
とはいえ，私がただ関心ありますと言ったところで影響力があるわけでもなければ，その程度を推し量るものもなく，そういった観点でも，やはり論文を書いて関心を示していく必要がある．
稀にではあるが，論文を書けば，似た関心を持つ同世代から「続編待ってるぜ」といったメールが届いたり，知っている研究者が引用してくれたり，話をする機会が発生したりと，コミュニケーションが発生し，それを糧に次はどんな続編を書こうかと活力になる．
またこういったある種の変化球を提示し続けることは，コミュニティの多様化にも広がると思っている．

研究の動機がどうあるべきかという話題に広げれば，もちろん，実用的な視点を一切失うことは研究者の傲慢になりかねない．
ただ直交する観点として，アカデミアは，好奇心や何かを学びたい，極めたいといった純粋な欲求や活力，あるいは論理的な正しさを受け止める最後の砦であってほしく，実際に多くの人がそこに行くかはさておいて，そういう重力で成り立つ世界が世の中に一つでも存在するという事実は，そういった活力を持つ希望になると私は思っている．
スポーツ選手の存在がスポーツをする子どもの励みになるように，これを面白いと思うのでやりましたと言い，その面白さ・価値を認める人がいて確かに知は進展しており，それなりに楽しそうに生きる道があるという，器の大きい社会があるということは，多様で豊かな世界観だと思っている．
このような価値観は，比較的制約の少ないアカデミアの人間の方が強調しやすいはずであり，もちろん実社会上ではそんな綺麗事では済まされないことも多いが，ひとまず環境が許してくれる限りは，根本にはこれぐらい器の広い捻くれ方をもっておきたい．
他分野ではまた違うかもしれないが，少なくとも現在の（世界の）自然言語処理分野は，AI分野のど真ん中という止むを得ない立場により，ビジネスの中でやや殺伐としているように感じなくもない．
また，裁量の大きい研究環境を提供いただいているMBZUAIとTimothy Baldwin先生には大変感謝しており，私としても所属に対して，そこでそんな研究もされてるのねという，ある種の好印象を与えられていると信じたい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{研究の内容}
\label{sec:study}

自然言語に存在する語順普遍の話に戻る．
一つの見方として，こういった偏りが人間の認知的なバイアスを反映している，すなわち人間にとって処理しやすい性質（語順）をもつように自然言語が変化・生存してきた結果であるという説がある．
説は科学的に検証されて初めて信憑性が増すが，その検証法は自明でない．
まず，人間の認知的バイアスなどは観測しづらく，それについて人間が内省的に語り始めるものならば，怪しい議論に陥る可能性がある．
また，言語の進化といった長いスパンの歴史の可能性に関する問いであるが\footnote{なお本研究は，現代の共時的な言語の偏りの説明を目指し，通時的な変化過程などの話題は一旦対象外である．}故，もう一度同じ状況を作って観察するといった取り組みは無謀である．
とはいえ，例えば生命の起源の探求といった似た型の問いについて，人類は探求を諦めたかというとそういうわけでもなく，例えば原始地球の環境の肝をフラスコやシミュレータで再現し，どのような条件で複雑な有機物が創発するかといったシミュレーションを通して仮説を提示してきた．
我々の文脈でも，フラスコと，フラスコの初期状態，フラスコに対する操作をうまくデザインして対照実験をすれば，言語学的な仮説に対して概念実証，ないしは反論を与えられるかもしれない．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[b]
\begin{center}
\includegraphics{31-4ia38f1.eps}
\end{center}
\caption{本研究の全体像および，関連分野・自身のこれまでの研究との関連性}
\label{fig:figure1}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

幸いにも，お隣の計算心理言語学領域では，人間の言語処理バイアスを読み時間といった観察可能なものとして取り扱い，それらを比較的うまく再現できる人間らしい（言語）モデルの設計が探求されている．そのような設計を一旦，認知的なバイアス（すなわちフラスコとその中身）と見立てても的外れではないだろう．
またさらにお隣の言語創発領域では，言語モデルのようなニューラルモデルエージェントに対し，自然言語を知らない状態から何らかのコミュニケーションゲームや世代交代を行わせ，どのような条件の下で自然言語らしいプロトコルが創発するかといったシミュレーションを通し（すなわちフラスコに対する操作），言語の謎に迫ろうとしている．
両分野を繋げ，今世界で観察されている語順普遍が再現される十分条件は何かという問いに対し，人間らしい言語モデル（エージェント）で語順を創発させるシナリオと，そうでないエージェントで語順を創発させるシナリオのA/Bテストを行い，前者でのみ自然言語らしい語順が創発するなら，語順普遍が人間の認知的なバイアスを反映している可能性の概念実証として一旦受け止めたい（図~\ref{fig:figure1}）．



ここから，実装・論文に落とし込む過程の中では，多くのことを諦めている．
語順決定問題は，典型的には文の意味（木構造など）を一次元の単語列に変換する問題として考えるだろう．したがって，例えば話し手エージェントを木to単語列生成モデル，聞き手エージェントを単語列to木モデル（パーザ）とし，話し手から聞き手に木を伝達するゲームの中で，話し手が創発する語順決定規則を調査するのが自然な実験デザインであろう．
しかし，人間の聞き手は言語モデルのように先読みを行っている \cite{Levy2008-sa}，すなわち聞き手も生成的であるという見方を踏まえれば，話し手と聞き手の違い\footnote{もちろん話し手と聞き手で事前知識などの条件は異なるだろう．}はそれほど自明ではなく，また実験の簡潔さから創発言語実験で採用される世代交代などの観点も一旦諦めた．
結果的に，「特定の語順ルールで言語が話されている世界が存在するとして，その言語を処理することがどれほど容易か」を測る問題に簡略化し，生成的な聞き手の処理負荷（すなわち系列の予測しやすさ）についてのみ考えた．

設定をもう少し説明すると，主語を述語より前に置くか，前置詞・後置詞どちらを採用するか，といったパラメータの組み合わせで様々な語順設定$O$を作成し，ある語順設定$o \in O$に従うコーパス$x_o$が，ある聞き手モデル（言語モデル）$\theta$にとって，どれほど学習・処理しやすいか$s_\theta(x_o)$を求めている．
ここで認知的に動機づけられたモデル$\theta^*$で学習・処理負荷を計算したほうが，地球上でその語順が採用される傾向$f(x_o)$\footnote{\citeA{wals}で，その語順を採用する個別言語の数を数えている．頻度でよいのかは課題である．}を再現できるかを調べている．
認知的に動機づけられたモデルとしては，例えば文の階層構造をエンコードするモデル，単純再帰型ネットワークのような短期記憶の弱いモデルなどが使用される．
大まかな結果として，全体的には認知的な話との接続は緩く確認でき，ただしなぜ主語を前に置きたいのかといった特定の話題は，今回の枠組みでは説明できなかった．
なおコーパス$x_o$を語順の観点でのみ制御するため，類似研究 \cite{white-cotterell-2021-examining}で用いられた人工言語を採用している．
また，言語モデルはそれぞれの語順コーパス$x_v$で一から訓練し，処理コスト$s_\theta(\cdot)$としては，予測に基づく文処理の観点から単語列の予測しやすさ（パープレシティ）などを導入している．
関心を言い換えれば，この世界に存在しない語順では，確かに人間（らしいモデル）にとって学習・処理負荷が高くなるのか，あるいは，認知的に動機づけられた言語モデルにとって学習・処理しやすい言語とはどのようなものかという問いとも見れる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{経緯}
\label{sec:history}

大まかな着想は，直接の先行研究 \cite{white-cotterell-2021-examining}が公開された2021年時点で存在し，言語処理学会年次大会2022で言語創発の研究をしている上田さん（第二著者）を発見し，突撃して一緒に研究することにした．
とはいえ2022年は色々と忙しく（言い訳），上田さんと実験設定を議論するにとどまっていた．
2023年春にMBZUAIに移ったタイミングで時間ができ，実験を始め，その後統語言語モデルについて吉田さん（第三著者）にも協力してもらい，形になってきたタイミングで，さらに東大の大関先生，MBZUAIのTed Briscoe先生，Timothy Baldwin先生とも原稿ベースの議論を行い，最終的にACL2024への採択に至る．
特に，ケンブリッジ大学で長らく計算言語学・進化言語学の研究をされていたTed Briscoe先生には，関連研究や論文構成に関してお世話になった．
また，チョムスキーの言語モデルに対する批判 \cite{Chomsky2023-bb}\footnote{言語モデルは不可能な言語も学習できてしまうため，可能な言語と不可能な言語を区別するという理論言語学の目的感に照らし合わあせれば，言語モデルは言語理論として何も言っていないといった批判．}に繋げれば良いのではといった位置づけは，大関先生と話していた際に生まれた．共著者の皆様には感謝の念が絶えない．
本研究はARRに再投稿しており，初版では，原稿の完成度の懸念と同時に，聴衆の少なさ故に「なぜこの論文が自分に割り当たったのか分からない．ごめんなさい．」といったレビューに出会ったり，最初にいただいた指摘に対して返答レターをもりもり書いたりと，採択までには労力を要した．
今思えば，ジャーナル向きの内容であったかもしれない．
最後に，本研究は，自身が風呂敷を広げた語順に関する研究 \cite{kuribayashi-etal-2020-language}に始まり，認知モデリング領域での研究 \cite{kuribayashi-etal-2021-lower,kuribayashi-etal-2022-context,kuribayashi-etal-2024-psychometric}を経て，結果的に両トピックを緩く繋ぐものとなっており（図~\ref{fig:figure1}），私としては欠けたパズルのピースを埋めたような満足感がある．
どこかのタイミングでは，ライティング（文産出）や談話構造などの，自身の更に前の関心にも繋げていきたいものである．
また，本論文の執筆の間に自身をとりまく環境は大きく変わっており，本当はUAEでの生活などについても触れられればよかったが，スペースもないのでまたどこかで発信できればと思う．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{38refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{栗林　樹生}{Mohamed bin Zayed University of Artificial Intelligence (MBZUAI) 研究員．2022年東北大学大学院情報科学研究科博士課程修了．同大学特任研究員を経て，2023年より現職．Langsmith株式会社共同創業者．
}

\end{biography}




\end{document}



