\documentclass[japanese,other]{jnlp_3.8}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{array}
\allowdisplaybreaks

\usepackage{hangcaption_jnlp}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition

\usepackage{booktabs}
\usepackage{multirow}
\usepackage{makecell}
\usepackage{twemojis}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{32}
\Number{1}
\Month{March}
\Year{2025}
%%%%\Issuetitle{「　　　　」特集号}



\setcounter{page}{360}



%%%%   タイトル部分                                      %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{Can Language Models Induce Grammatical Knowledge from Indirect Evidence?}
\jauthor{大羽　未悠\affiref{Author_1}}



\etitle{Can Language Models Induce Grammatical Knowledge from Indirect Evidence?}
\eauthor{Miyu Oba\affiref{Author_1}} 
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\headauthor{大羽}
\headtitle{Can Language Models Induce Grammatical Knowledge from Indirect Evidence?}



%%%% 所属を指定して下さい．
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\affilabel{Author_1}{奈良先端科学技術大学院大学}{Nara Institute of Science and Technology}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S1
\section{はじめに}

本稿では，EMNLP2024に採択された論文 ``Can Language Models Induce Grammatical Knowledge from Indirect Evidence?'' \cite{oba-etal-2024-language}について，論文の内容，研究の経緯や着想，現地報告，研究の所感の流れで解説する．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2
\section{論文の紹介}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2.1
\subsection{モチベーション}
昨今，様々なタスクで進展を遂げている言語モデルは，その学習データの大きさが課題となっている．
一方で，人間は言語モデルと比べ，ごくわずかの入力から効率的に言語獲得する．
例えば，一般的な人間の言語獲得において，大人と同程度の文法能力を獲得するまでに触れる言語入力はおよそ100M単語以下とされているが，近年の言語モデルはこれを遥かに上回る桁数のデータを必要としている \cite{warstadt-etal-2023-findings}．
言語モデルのデータ効率を向上させるための第一歩として，人間の言語獲得と比較して存在するギャップを明らかにすることが鍵となる．
人間は直接証拠と間接証拠の両方から文法知識を獲得することが知られている \cite{pearl-mis-2016-role}．
例えば，図\ref{fig:overview}の左側に示すように，``The \twemoji{1f4ac}\twemoji{1f4ac}\twemoji{1f4ac} can help itself''と``The \twemoji{1f4ac}\twemoji{1f4ac}\twemoji{1f4ac} can help themselves''のどちらが文法的に正しいかを判断する場合，``The \twemoji{1f4ac}\twemoji{1f4ac}\twemoji{1f4ac} can help itself''という文\footnote{ \twemoji{1f4ac}\twemoji{1f4ac}\twemoji{1f4ac} は擬似単語}に遭遇したことがあれば，容易に判断可能である．
このような情報は直接証拠と呼ばれる．
一方で，直接証拠に触れていない場合でも，人間は``The \twemoji{1f4ac}\twemoji{1f4ac}\twemoji{1f4ac} didn't love its toy''のような文から，何らかの推論を通して，文法性の判断が正しく可能であることが考えられる．
このような情報は間接証拠と呼ばれる．
人間は直接証拠と間接証拠の両方を用いて文法知識を獲得するが，言語モデルに関する議論は依然として限られている．
言語モデルがある文法知識を獲得するために必要な学習事例の観測回数は，その学習事例の間接度の大きさによってどのように影響を受けるのだろうか．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%F1
\begin{figure}[t]
\begin{center}
\includegraphics{32-1ia35f1.eps}
\end{center}
    \caption{直接証拠ないし間接証拠が観測データに含まれる場合の文法性の評価例．}
    \label{fig:overview}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2.2
\subsection{提案手法}
本研究では，学習事例の間接度とそのデータ量に焦点を当て，学習データにおける間接の程度が，言語モデルの文法知識の獲得効率に与える影響を調査する．
問いを明らかにするために，Wug InDirect Evidence Test (WIDET) というデータセットを作成した．
このデータセットは，既存の学習データに追加するための間接度の大きさが異なる学習事例と，評価事例から構成される．
事前学習データに追加学習事例を挿入し，言語モデルを学習し，評価事例でモデルの言語知識を評価する．
学習事例の間接度は，直接証拠，語彙間接証拠，統語間接証拠の3つのレベルを準備した．
語彙間接証拠は，評価事例の文法的な文と語彙のみが異なり，統語間接証拠はさらに文法構造も異なる．
また，表\ref{tab:phenomena}の通り，7種類の言語現象を対象としている．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%T1
\begin{table*}[t]
\input{35table01.tex}
    \caption{言語現象と証拠ごとの学習事例と評価事例．*は非文を示し，\textless wug\#n\textgreater は擬似単語を示す．}
    \label{tab:phenomena}
{\vskip -5pt}
\end{table*}
%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S3
\subsection{実験と結果}
実験では，事前学習データに0回から100回の範囲で学習事例を挿入し，言語モデルをスクラッチから学習して評価する．
言語モデルはBabyBERTa \cite{huebner-etal-2021-babyberta}というパラメータのサイズが小さいモデルを使用し，事前学習データには16M単語のWikipediaを用いる．
評価では，評価事例の文法的に正しい文と正しくない文のペアに対して，言語モデルが正しい文に高い確率を割り当てる精度を計算し，これをスコアとする．
学習事例の間接度の大きさによって，その事例の観測回数に基づくスコアがどのように変化するか，これらの傾向は言語現象特有か，もしくは普遍的かという観点から分析を行う．


%%%%%%%%%%%%%%%%%%%%%%%%%F2
\begin{figure}[t]
\begin{center}
\includegraphics{32-1ia35f2.eps}
\end{center}
    \hangcaption{言語現象および証拠に関する実験結果（精度；\%）．灰色の点線は，既存の学習データのみで事前学習されたモデルのスコア (n = 0) を示す．}
    \label{fig:main-results}
{\vskip -10pt}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%



実験の結果を図\ref{fig:main-results}に示す．
直接証拠の学習事例では，すべての言語現象において事例の観測回数が増えるほどスコアが上昇することがわかった．
一方で，そのデータ効率は言語現象による異なりがあることが観察された．
例えば，再帰代名詞の一致の現象では，観測回数が25回から75回の間でスコアの上昇が停滞する傾向にある．
再帰代名詞の一致では先行詞と再帰代名詞の間に単語が干渉する一方で，他の現象には干渉がほとんどないことに起因することが示唆された．
語彙間接証拠では，文法的に正しい評価事例と異なるのは語彙のみにも関わらず，およそ半分の言語現象において，文法現象の汎化に失敗していることが観察された．
統語間接証拠では，ほとんどの言語現象において言語知識の獲得に失敗していた．
特に，他動詞の統語間接証拠の学習事例においては，その観測回数を重ねるほどに言語モデルのスコアが大きく低下する傾向が見られた．
言語モデルは階層的な根拠での判断というより，単に擬似単語の後ろに単語が存在しない文が正解であるという単純な線形の経験則に基づいて判断している可能性がある．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S3
\section{研究の経緯}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S3.1
\subsection{着想}
本研究の着想は，2023年の最先端NLP勉強会で担当した論文からであった．
最先端NLP勉強会とは，毎年夏に行われる，自然言語処理のトップ会議・学術誌に採択された論文から，参加者の投票により選出された論文を分担して紹介する形式で行われる論文読み会である．
世代や産学を超えて活躍する研究者が，論文の行間まで発表や議論する大変刺激的な環境である．
担当した論文``How to Plant Trees in Language Models: Data and Architectural Effects on the Emergence of Syntactic Inductive Biases'' \cite{mueller-linzen-2023-plant}は，どのようなモデルアーキテクチャや学習データで事前学習された言語モデルが統語的な汎化に重要であるのかについて調査する論文である．
学習データの質についての分析のセクションでは，Wikipediaのような一般的なデータよりも子供向けに発話されたデータを用いて学習したモデルの方が，より効率的に人間のような文法知識を獲得できることが示されていた．
この知見は，人間が言語を獲得する際に触れるデータ量が言語モデルの学習に用いられる大量のコーパスと比べて圧倒的に少ないにもかかわらず，効率的な学習が可能である点を考慮すると非常に示唆的である．
とはいえ，この結果が学習データのどういった性質に起因するのかという点については解明されていなかった．
どのような性質のデータで学習すると人間のような汎化が効率的にできるようになるのか疑問を抱き，研究の方向性についてミーティングで議論していた際に，共同研究者である大関先生から，間接証拠という言語学の概念をご教示いただき，この概念が本研究の重要な着想となった．
ひとまず，影響関数という，ある学習事例がモデルにとってどれほど影響を与えているか計測する手法を用いて学習データの性質を分析した．
その研究結果をまとめて2024年の言語処理学会の年次大会で発表した．
発表後のコメントで，結局のところ間接証拠とは何なのか，程度の問題なのではないかといった意見をいただいたことをきっかけに，共著者とも相談し，
どの程度の間接さのあるデータから学習できるかという問いを軸に，間接度をコントロールした人工の学習データを作成して，モデルに学習させて調査する方針に転換し，今回の研究に至った．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S3.2
\subsection{現地報告}
EMNLP2024は11月にマイアミで開催され，留学先であるドイツから渡航した．
既にダウンジャケットが必要であったドイツとは対照的に温暖で天気が良かったのもあり，良いリフレッシュとなった．
国際学会では初めての口頭発表であり，自分の研究領域の第一線を率いている研究者が座長であったのもあり，大変緊張したがおそらく堂々と発表できたのではないかと思う．
我々の研究テーマである，言語モデルは評価データと異なりのある学習事例からでも文法知識を獲得できるのかに関連する研究は，本研究の他に少なくとも2件の発表 \cite{10.1162/tacl_a_00720,misra-mahowald-2024-language}があり，その中の1件 \cite{misra-mahowald-2024-language}はOutstanding Paperを受賞した．
正直なところ，本研究もArea Chairから賞に推薦されていたため，非常に近いテーマの論文が受賞したことには少なからず悔しさを感じ，スコアには表出されない読者の心を動かす論文を作り上げるための学びを得た．
とはいえ，大規模データを用いた学習によって多くのタスクで成功を収めてきた言語モデルが，文法知識をいかに獲得するのか，その知識が単なる記憶として保持されるのか，あるいはルールとして汎化されるのかという問いは，エンジニアリングおよびサイエンスの双方からの関心を集めている．
このテーマが本国際学会においても重要な議論の一つであり，注目を集めていることを実感した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S4
\section{研究を経て}
本研究が出版に至ったのは，研究室内での活発な議論に加え，研究室外の共著者の皆さんからの支援があったからこそである．
研究の核となる言語学的知見については大関先生より多くを学び，菅原先生からは研究方針のアドバイスや綿密なサポートをいただいた．
また，大関研究室の深津さんとは特に言語学について，多くの実りある議論を重ねた．
大関研究室の皆さんと初めてお会いしたのは，2023年の年次大会であった．
学会でのつながりが研究を生み出し，その成果を学会で発表することでまた新たなつながりが生まれるという循環は，研究の醍醐味の一つであると感じている．

研究を始めてから，何を優先して考慮し，何を無視できる範囲とするか，熟達した研究者が持つ取捨選択の感覚に追従することが難しく，考えすぎてパンクしてしまうことも多々あり，自分が研究者として未熟であることを痛感する場面が少なくなかった．
今回の研究では，考慮すべき可能性がある要素については，細かなものも含め一旦メモに記録し，時間が許す範囲で追加実験を行い，査読で指摘されそうな点はlimitationに，議論として興味深い内容はdiscussionの節に記載するという方針で進めた．その結果，査読では緻密さや頑健性に関して肯定的な反応を得ることができた．
現在もなお，自分の未熟さを感じる部分は多いものの，不完全であっても真摯に課題に向き合う姿勢が重要であることを改めて実感している．



%%% Bibliography %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{35refs}



%%% Biography %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{大羽　未悠}{%
2022年南山大学外国語学部フランス学科卒業．2024年奈良先端科学技術大学院大学情報科学領域博士前期課程修了．同年より，博士課程に在学中．
}

\end{biography}


\end{document}





