\documentclass[japanese,other]{jnlp_3.8}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
\usepackage{array}
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{32}
\Number{2}
\Month{June}
\Year{2025}

\setcounter{page}{684}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%   タイトル部分                                      %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{「言語モデルの第二言語獲得」の研究経緯}
\jauthor{大羽　未悠\affiref{Author_1}}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
% 英語タイトル・英語著者名
\etitle{Research Background on Second Language Acquisition in Neural Language Models}
\eauthor{Miyu Oba\affiref{Author_1}} 

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\headauthor{大羽}
\headtitle{「言語モデルの第二言語獲得」の研究経緯}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% 所属を指定して下さい．
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\affilabel{Author_1}{奈良先端科学技術大学院大学}{Nara Institute of Science and Technology}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

本稿では，言語処理学会2024年度論文賞「言語モデルの第二言語獲得」 \cite{miyuoba-2024-jnlp}について解説する．
まず原論文の内容を研究の立ち位置から説明し，研究の経緯について，本研究トピックに至った流れを中心に述べる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{研究内容}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{現論文の立ち位置}
近年の大規模言語モデルは人間に迫る，あるいは場合によっては超えるような性能を達成している．
このような言語モデルがどのような能力を持っており，いかなる機序で学習されているのかについて，様々な観点からの解明が試みられている．
その一つの方向性として，人間の言語獲得に関する心理言語学の知見と照らし合わせながら言語モデルを調査する研究が活発に行われている．
その背景には，言語モデルと比較した人間の高いデータ効率がある．
言語モデルは，膨大なデータでの訓練を必要とするのに対し，人間は桁違いに少ない言語への接触からでも，大人と同じような文法知識を獲得できると考えられている \cite{warstadt-etal-2023-findings}．
こうした観点から，人間と言語モデルにおける言語獲得の共通点と相違点を明らかにするための研究が進められている．
具体的には，言語モデルは人間のように汎化するか \cite{linzen-etal-2016-assessing,oba-etal-2024-language}，あるいはアーキテクチャ \cite{mueller-linzen-2023-plant}，データの質や量 \cite{huebner-etal-2021-babyberta}，学習方法 \cite{10.1162/tacl_a_00725}といった条件が，人間のような汎化に与える影響が調査されてきた．

また，近年では大規模言語モデルの言語転移能力について注目が集まっている．
訓練データに，英語以外の言語のデータは英語と比較するとごくわずかであるにもかかわらず，下流タスクで一定程度の性能を示すことが明らかになっている \cite{brown2020languagemodelsfewshotlearners,ahuja-etal-2024-megaverse,holtermann-etal-2024-evaluating}．
例えば，GPT-2やLlama2，PaLMといった大規模言語モデルが，XQUADという多言語QAベンチマークを英語およびその他10種類の言語で解いた際，英語には及ばないものの，それに匹敵するようなF1スコアを達成している \cite{ahuja-etal-2024-megaverse}．
このような知見から，言語モデルが英語から他の言語へと何らかの知識を転移している可能性が示唆されており，その機序の解明が近年の課題となっている．

ある言語の知識を他の言語に適用することは，自然言語処理や言語学において言語転移あるいは言語間転移と呼ばれる．
言語モデルの言語転移は，第一言語の知識を第二言語に活用するという点で，人間の第二言語の学習者による言語獲得に相当すると考えることができる．
このような言語モデルの言語間転移の解明と言語モデルと人間の言語獲得の比較の興味の高まりから，言語モデルの第二言語獲得を人間の第二言語獲得の知見と対比しながら分析する試みが進められている．
人間と同様に，言語モデルにおいても第一言語と第二言語の語族の違いが負の転移に影響することが示唆されている \cite{yadavalli-etal-2023-slabert}．一方で，人間は臨界期を過ぎると第二言語の習得が難しくなるが，言語モデルにはそのような制約は見られないことも明らかになっている \cite{10.1162/tacl_a_00725}．
本研究はこれらのような第二言語獲得のモデリング研究の先駆けを担う立ち位置にある．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{現論文の概要}
本研究は，言語モデルにおいて，第一言語（最初に学習された言語）が第二言語（その後に学習された言語）の文法知識の獲得にどのような影響を与えるかを調査する．
具体的には，第一言語の種類や言語的性質，また第二言語の学習方法が，モデルの第二言語における文法性判断能力にどのような影響を及ぼすのか，さらに文法項目ごとにその影響に違いが見られるのかを検討する．
そのために，図~\ref{fig:overview}に示すように，言語モデルを訓練して第二言語話者と見なし，その言語モデルの第二言語の文法知識を評価する．
まず，第一言語の獲得段階として，単言語モデルを構築する．
第一言語には，フランス語，ドイツ語，ロシア語，日本語を採用する．
これらの言語は，学習難易度や英語との言語的距離を考慮して選択した\footnote{\url{https://www.state.gov/foreign-service-institute/foreign-language-training}}．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%% Fig 1

\begin{figure}[t]
\begin{center}
\includegraphics{32-2ia32f01.eps}
\end{center}
\caption{本研究の実験手順}
\label{fig:overview}
\end{figure}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

各言語については，CC-100 \cite{conneau-etal-2020-unsupervised}から100M語をサンプリングして使用した．
次に，第二言語獲得の段階では，英語を追加で学習し，バイリンガルモデルを構築する．
Tatoeba\footnote{\url{https://opus.nlpl.eu/Tatoeba.php}}という言語学習者向けのコーパスを用いた．
その後，訓練したモデルの第二言語の文法知識を評価する．
評価には，BLiMP \cite{warstadt-etal-2020-blimp-benchmark}という文法性判断ベンチマークを用いる．
BLiMPは13種類の文法項目から構成されており，それぞれに文法的に正しい文と誤った文のペアが含まれる．言語モデルが正しい文に高い確率を割り当てた場合を正例とし，文法性判断の精度を計算する．

実験では，事前学習を行ったモデルと行っていないモデルを比較し，第一言語の学習が第二言語の文法知識の獲得に与える影響を分析した．
その結果，いずれの言語による事前学習も第二言語の文法獲得を促進する傾向が見られたが，第二言語への転移のしやすさには言語で異なりがあり，人間における英語の習得しやすさとある程度一致することがわかった．
さらに，英語との文法構造の類似性や英語の特有の知識の必要性により，第二言語への転移のしやすさが異なることが観察された．
加えて，言語モデルの第二言語学習の過程において，第二言語と第一言語の文法知識の変化を評価した．
第二言語の学習が進むにつれ第一言語の文法知識は大きく減衰することが観察された．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{研究の経緯}
本研究プロジェクトは，著者にとって初めて取り組んだ研究であり，自然言語処理と心理言語学という異なる分野を横断する学際的な内容を含んでいる．本節では，どのような経緯でこのような研究テーマに至ったのかについて，筆者自身の背景とともに紹介する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{人間と言語と自然言語処理の面白さ}
著者がこのような研究テーマに関心を持つようになった背景には，人間・言語・自然言語処理の3つに対する興味があった．
修士課程に進学するまでの間に，これらに対する関心が少しずつ形成されていった．
人間の面白さに関しては，著者が中学生の頃から取り組んでいたトランペットの演奏経験が出発点である．
トランペットには音を切り替えるためのピストンが3つしかないにもかかわらず，30を超える異なる音を出すことができる．
しかし，その音の出し方を言葉で正確に説明することは難しい．
また，同様に自転車も練習によって乗れるようにはなるが，どのようにバランスを取っているのかを言語化するのは困難である．
著者は，これらのようなコントロールできるのにどうやっているかは説明できないという人間の奥深さに面白さを感じていた．
言語の面白さについては，著者が学部時代に文系学部に所属し，心理言語学などの言語学の授業をいくつか履修したことがきっかけである．
その中で，人間は特別な障害がない限り誰でも自然に言語を獲得するが，どのように言語を獲得して扱っているかは本人にとっては意識されないことを学んだ．
これは自分が抱いていた人間への面白さと共通する部分がある．
心理言語学では，こうした無意識的な言語獲得について科学的に明らかにしようとする点に魅力を感じた．
自然言語処理への関心は，学部2年生の頃に趣味としてプログラミングを始めたことがきっかけである．
周囲にプログラミング経験者がいない中，インターネットや書籍を頼りに，直感でPythonを選んだ．
後にPythonが人工知能の開発に広く用いられていることを知り，機械学習や深層学習の勉強を始めるようになった．
さらに，言語と機械学習の交差点に位置する研究分野として自然言語処理の存在を知り，強い関心を抱くようになった．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{研究分野を見つけるまで}
修士課程への進学が決まっていた学部4年生の3月，著者は言語処理学会の年次大会に自費でオンライン参加した．
修士で取り組む研究テーマを模索する中で，自分がどのようなトピックに関心を持つのかを認識するため，発表や論文をざっと眺めていた．
その中で，興味が持てそうな論文をいくつか見つけた．
しかし，それらの研究がどのような分野に属しているのかが当初は分からなかった．
機械翻訳や対話などアプリケーションとして使用されるタスクや，形態素解析や構文解析など自然言語処理を学ぶ際に出てくるようなタスクのいずれでもなかったからである．
そこで関心を持った論文の著者（栗林さん）に直接話しかけ，該当する研究分野のキーワードや関連するワークショップの名前について教えていただいた．
その際に，著者は初めてcognitive modelingやcomputational psycholinguisticsといった言葉を知り，自然言語処理と心理言語学を架橋するような研究領域の存在を認識した．
当初，著者はそのような領域が存在すること自体を知らず，自然言語処理はあくまで工学的な枠組みの中で完結するものと捉え，自然言語処理として割り切って研究を進めるつもりでいた．そのため，このような分野との出会いは，思いがけないものであり，大きな転機となった．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{共同研究を始めるまで}
面白そうな研究は見つかったものの，学際的な内容であったため，自分の所属研究室のみで実施できるかどうかは不透明だった．
所属研究室の助教の先生（大内先生）に相談したところ，すぐに栗林さんに連絡を取ってくださり，ミーティングの機会を設けていただいた．
まず，自然言語処理と心理言語学の学際的な領域について網羅的に俯瞰したいと考えていることを伝えると，主要な論文の一覧を作成してくださった．
その中には，著者が以前から関心を持っていたこども向けのコーパスを訓練に用いた言語モデルのデータ効率に関する \cite{huebner-etal-2021-babyberta}論文も含まれており，言語モデルにおける言語獲得のデータ効率をテーマに研究を進めていく方針が定まった．
さらに研究の余地が大きく残っていること，昨今の言語モデルの言語転移能力への注目なども考慮し，言語モデルの第二言語獲得に焦点を当てることになった．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{共同研究を始めてから採録まで}
国内学会でコメントをもらい，少しずつ研究を組み立てていき，ACL2023~Findings \cite{oba-etal-2023-second}に採択された．
原論文は，その内容に補足的な分析や議論を加えたものである．
著者は文系学部出身で，卒業論文を除けばこれまで研究と呼べるような経験はほとんどなかったため，共著者からは研究の進め方について数えきれないほど多くのことを学んだ．
印象に残っていることの一つとして，リバッタルの際の交渉力に関するアドバイスが挙げられる．
当初は，リバッタルという言葉に対して，語感的に「バトる」のようなどこか攻撃的なイメージを持っており，スコアを上げてほしい思いのあまり，相手を言い負かすかのような草稿を書こうとしていた．
しかし，単に言い返すだけでは埒が明かなくなると指摘を受けた．
研究のlimitationがあった上での価値や優先順位を共有しつつ，相手に納得してもらえるように，言い負かすよりむしろ交渉することこそが大事だと学んだ．
この姿勢は，現在に至るまでの研究活動においても非常に役立っている．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{さいごに}
研究の右も左もわからない段階から，手取り足取り丁寧に指導してくださった共著者に出会えたことは，本当に幸運だった．
まだ，経験豊かな研究者が持っているような，研究を進める上で何を大事にするべきで，何はある程度無視が可能かといった判断や勘を身につけるには，時間がかかると痛感している．
博士課程を通して，そうした能力を少しずつ養いながら，真摯に成長していきたいと考えている．


%%%%%%%%%%%%%%%%%%%%%%%
%%% Acknowledgement %%%
%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment
査読や賞選考に関わってくださった皆様，出版するまでの過程で関わってくださった編集委員や事務局の皆様に感謝を申し上げます．
また，丁寧な議論を交わしてくださった共著者の皆様や所属研究室の皆様にも心からのお礼を申し上げます．


%%%%%%%%%%%%%%%%%%%%
%%% Bibliography %%%
%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{32refs}

%%%%%%%%%%%%%%%%%
%%% Biography %%%
%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{大羽　未悠}{%
2022年南山大学外国語学部フランス学科卒業．2024年奈良先端科学技術大学院大学情報科学領域博士前期課程修了．同年より，博士課程に在学中．2025年度より日本学術振興会特別研究員 (DC2)．
}

\end{biography}


\end{document}




