\documentclass[japanese,other]{jnlp_3.8}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{array}
\allowdisplaybreaks


\Volume{32}
\Number{3}
\Month{September}
\Year{2025}
%%%%\Issuetitle{「　　　　」特集号}

\received{2005}{1}{2}
\revised{2006}{3}{4}
\rerevised{2006}{5}{6}
\accepted{2006}{7}{8}

\setcounter{page}{960}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%   タイトル部分                                      %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{言語の本質？}
\jauthor{三田　雅人\affiref{Author_1}}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%   英語タイトル・英語著者名                          %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\etitle{The Nature of Language?}
\eauthor{Masato Mita\affiref{Author_1}}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\headauthor{三田}
\headtitle{言語の本質？}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% 所属
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\affilabel{Author_1}{東京大学}{The University of Tokyo}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}
\label{sec:intro}
本稿では，言語処理学会第31回年次大会にて最優秀賞をいただいた「作業記憶の発達的特性が言語獲得の臨界期を形成する」 \cite{mita2025nlp}および ACL2025 本会議に採択された``Developmentally-plausible Working Memory Shapes a Critical Period for Language Acquisition'' \cite{mita-etal-2025-developmentally}について，その執筆までに至った経緯を述べる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{研究の概要}
大規模言語モデル (LLM) は，言語能力の面では人間と同等の性能を示すようになってきているものの，その言語獲得効率には依然として大きな差がある．
実際，LLMが多くの評価指標において人間と同程度の性能を達成するには，人間と比較して3～4桁多い膨大な学習データが必要であることが指摘されている \cite{warstadt-etal-2023-findings}．
このような LLM と人間のデータ効率性の乖離は，現在の LLM が主にスケーリング（モデルサイズ・データ量・計算量の拡大）に依存していることを反映しており，データ効率を抜本的に改善する潜在的な余地があることが示唆される．

原論文では，この問題に対して，人間の言語獲得効率における理論的枠組みの一つである\textbf{臨界期仮説}に着想を得た認知制約を言語モデルの学習過程に組み込むことで解決を図っている．
臨界期仮説とは，\textbf{言語を効率的に獲得できる特定の時期（臨界期）が存在し，それを過ぎるとその能力が低下する}という仮説であり，一般的に2歳から15歳ごろまでの幼児期から思春期までの期間とされることが多い \cite{lenneberg1967biological}．
幼少期に第一言語への接触が限られていた事例や，第二言語習得における年齢の影響に関する研究から，この臨界期の存在が支持されている \cite{JOHNSON198960}．
その一方で，なぜ子どもが大人よりも言語を効率的に習得できるのかというメカニズムについては未解明な部分が多い．
その有力な説明として，\textbf{Less-is-More仮説} \cite{NEWPORT199011}がある．
これは子どもが持つ作業記憶などの認知資源の制限がむしろ言語の基本的なパターンや構造（例：文法規則）を効率よく抽出するのに適しているとされる一方，大人は認知能力が高いゆえに複雑な情報に注意が向きやすく，規則の学習が妨げられるというものである．
ここで，発達心理学研究によれば，人間の作業記憶は発達に応じて段階的に成長するとされ，具体的には幼児期から初期学齢期（おおよそ2～7歳）にかけては，情報の保持容量や処理能力が急速に向上し，その後の中学齢期から思春期（8～14歳）にかけては成長の速度が緩やかになり，思春期以降には成人レベルに達して発達がほぼ停止することが報告されている．

原論文では，Less-is-More 仮説や発達心理学におけるこれらの知見から着想を得て，臨界期における作業記憶の発達特性を模倣した記憶制約を言語モデルの学習過程に導入する手法 (\textsc{DynamicLimit-Exp}) を提案した．
この手法では，Transformer の注意スコアに対して距離に応じた線形ペナルティを追加することで言語モデルへ「新近性バイアス」を導入する ALiBi \cite{press2022train}を拡張し，学習の初期段階ではモデルの作業記憶（すなわち長距離依存への注意範囲）を厳しく制限し，訓練の進行に伴ってその制約を指数関数的に緩和していくことで，発達的なメカニズムを模倣している．

評価実験では，作業記憶の発達的特性を言語モデルに組み込むことで，効率的な言語獲得が促進されるかを検証した．
具体的には，子ども向けの発話データセットである AO-CHILDES \cite{aochildes2021} と一般的な言語データである Wikipedia の両方で訓練した GPT-2 を用い，統語能力を測るベンチマーク Zorro \cite{huebner-etal-2021-babyberta}によって評価を行った．
この評価にあたっては，作業記憶に関する設定の異なる以下の3つのモデルを比較対象とした（図~\ref{fig:wm_curves} 参照）：

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[t]
\begin{center}
\includegraphics{32-3ia31f01.eps}
\end{center}
\caption{各モデルの作業記憶容量の軌跡\protect\cite{mita-etal-2025-developmentally}}
\label{fig:wm_curves}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\begin{itemize}
\item 作業記憶に制約のないモデル (\textsc{NoLimit})
\item 一定の記憶制約を持つモデル (\textsc{StaticLimit})
\item 訓練とともに作業記憶が線形に発達するモデル (\textsc{DynamicLimit-Linear})
\end{itemize}
その結果，提案手法である \textsc{DynamicLimit-Linear} は，AO-CHILDES および Wikipedia の双方において，文法習得の効率において他の手法を安定して上回る性能を示した．
この知見は，データ効率の高い LLM の設計に向けた新たな指針を提供するだけでなく，Less-is-More 仮説において提唱されている「認知的制約が規則学習を促す」という考えが，人工学習者においても有効であることを示している．
すなわち，発達的制約が人間の言語習得を助けているという仮説に対する一つの間接証拠となる結果である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{研究の経緯}
本研究は，これまで自然言語処理を専門としてきた筆者が，認知科学（特に心理言語学）との学際領域に踏み出す新たな挑戦でもあった．
本節では，このような研究テーマに至った経緯について，筆者自身の専門的背景と問題意識の変化を交えて紹介する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{「言語の本質」を求めて2度目の博士課程へ}
本研究の出発点は，2023年11月頃に遡る．
その頃は，ChatGPT の登場から約1年が経ち，国内外問わず新たな LLM のリリースが日々の話題となっていた．
毎週のように新たなモデルが登場する状況は確かに刺激的ではあったが，その一方でやや食傷気味にもなっていたのを覚えている．
そんな折，ある土曜の朝，なんの気無しに近所の本屋に立ち寄り当時ベストセラーとして話題になっていた『言語の本質------ことばはどう生まれ、進化したか』 \cite{imai-etal-2023} を手に取って読んでみた．
本書は，認知科学と言語学の視点から，言語の起源・進化・習得といった本質的な問いを多角的に論じており，これまで工学的な立場から自然言語処理に取り組んできた筆者にとっては，新鮮な驚きと発見に満ちていた．
同時に，人間の知性の根幹である「言語」にどこか神秘的な魅力を感じて自然言語処理の道に進み，気づけば9年近くこの分野に携わってきたものの，「自分は本当に言語そのものと向き合ってきたのだろうか？」という疑問が芽生えはじめた．
たしかに企業研究者の立場として，実用化を見据えた工学的な研究にはやりがいを感じていたものの，それとは別に，「人間と言語」に正面から向き合うような問いを自分の手でじっくり掘り下げてみたいという思いが次第に強くなったのだ．
そこでふと，ちょうどその年のYANS（旧NLP若手の会）\footnote{\url{https://yans.anlp.jp/}}でたまたま共著のポスター発表に足を運んでくださったことをきっかけに出会った現指導教員である大関先生のことを思い出した．
言語学・認知科学・自然言語処理の交差点で学際的な研究に取り組まれており，筆者の関心とも深く重なると感じたため，その日のうちに連絡を取ったところ，すぐに「ぜひ一緒にやりましょう」と快諾の返事をいただいた．
このとき筆者はすでに自然言語処理で博士号を取得していたのでどういう形で携わるかについてはいくつか選択肢がありえたが，ちょうど3週間後に博士課程の出願締切が迫っていたことを知り，これは何かの縁だと思いすぐに出願を決意した．
こうして翌年の2024年4月，筆者は「2度目」の博士課程に挑戦することとなった．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{言語獲得のミステリー}
自然言語処理と言語獲得に関する学際的な研究の動機づけとして，よく取り上げられるのが「なぜ人間（とくに子ども）は，ごく限られた言語データしか受け取っていないにもかかわらず，LLMよりもはるかに効率的に言語を習得できるのか？」という問いである．
この問いを深く考えるうえで示唆的だったのが，言語学や心理言語学の知見である．
これらの分野では，子どもが接する言語入力は文法的に偏っており，構造的にも不完全であることが指摘されてきた．例えば，関係代名詞を含む複雑な文や動詞の活用体系を網羅するような例は，子どもの日常言語環境にはほとんど現れない．
それでも子どもは，そうした不完全な入力から文法体系を獲得していく．
一方で，LLMは書籍やWebページ，百科事典など，整った形式のテキストを数千億語規模で学習している．つまり，人間に比べてはるかに豊富かつ構造化されたデータを扱っているにもかかわらず，その学習効率は子どもに劣っている．


この対比を考えるうちに，効率的な言語獲得の鍵としては，経験主義的立場で語られるような言語的インプットの量と質だけでは説明が難しく，認知的制約や発達的特性といった生得的な要因が深く関わっているのではないかと，ぼんやりと考えるようになった．
つまり，言語の学習能力があらかじめある種のバイアスや制約とともに備わっているのではないだろうか．
このような問題意識こそが，筆者が本研究テーマに関心を抱くようになった契機である．
さらにこのテーマは，認知科学の理論的探究と，自然言語処理における工学的応用の両面に貢献しうる点でも魅力的であり，工学の立場から出発した筆者にとっても強い意義を感じた．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{論文投稿から採択までの道のり}
その後，心理言語学の文献をいくつか読み進める中で，臨界期仮説（特に，Less-is-More仮説）に着目するようになってからは，原論文の原型を形にするまで比較的スムーズに進んだ記憶がある．
研究室内での発表を通していくらかブラッシュアップしたものをNLP2025に投稿し，またそこからさらにリフレーミングを加えたものをARR Februaryサイクルにも投稿したところ，NLP2025では最優秀賞を受賞，ARRではもそのサイクル全体のおよそ上位1\%にあたる高評価 (Overall: 4/4/3.5) を受けたのちACL2025本会議に採択された．
本研究はありがたいことに論文投稿後さまざまな形で反響をいただいたが，特に印象に残ってるのは，この分野の第一人者たちが主宰するUC IrvineのCoLa Reading Group\footnote{\url{https://sites.socsci.uci.edu/~lpearl/colareadinggroup/}}にて我々の論文が取り上げられ，非常に深いレベルで議論されていたことである．
筆者自身もかねてより尊敬していた研究者たちに真剣に読まれてフィードバックをいただいたことは，研究者として何より嬉しい経験だった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}
今回のプロジェクトを通して，読者へ何かTake-home messageがあるとすれば，それは\textbf{分野を超えた学際領域に臆せず飛び込んでほしい}ということだ．
振り返ってみると，本研究はまさに「素人発想，玄人実行」だったと思う．
認知科学に関する専門的な知識は当初ほとんど持ち合わせていなかったが，自分なりの問いを軸に粘り強く形にしていく中で，むしろその``素人目線''こそが，受賞時に高く評価していただいた独創性を生む原動力となったのではないかと感じている．
もっとも，本研究が扱ったのは，これまで専門としてきた自然言語処理と，異なる分野である認知科学との``交差点''に位置する学際領域であり，決して全くの未知の領域に飛び込んだわけではない．
研究を進めるうえで必要となる\textbf{思考力・分析力・設計力といった能力基盤や，実験設計や論文執筆のノウハウなどには分野を超えて共通する部分も多い}．
そうした土台があったからこそ，異分野の知見を取り入れながらも，専門的な水準で「実行」に移すことができたのだと思う．
こうした経験からも，たとえ専門外に感じられる領域であっても，\textbf{自身の専門との接点を足がかりに学際的な研究へと踏み出すことは十分に可能であり，またそれが新たな独自性や視野の広がりに繋がる}と強く実感している．


結局，言語の本質はわかったのだろうか.
そう問われて「Yes」と即答できるほど言語はそう単純な対象ではない．
しかし，本研究を通じて，当初の出発点でもあった「言語の本質とは何か？」という問いに対して，一つの視点を得られたように感じている．
それは，\textbf{言語は単なる記号体系ではなく，限られた認知資源をもつ学習主体に最適化された文化的産物である}という見方である．
人間のような認知的制約のもとで言語を学習させることは，単に人間らしさを模倣するのではなく，言語という対象の本質に即した設計指針となりうると考えている．
この視点にたどり着けたこと自体が，本研究を通して筆者が「言語の本質」に向き合った一つの成果であり，ほんの少しではあるが，その核心に近づく一歩となったのかもしれない．



%%%%%%%%%%%%%%%%%%%%
%%% Bibliography %%%
%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{31refs}



%%%%%%%%%%%%%%%%%
%%% Biography %%%
%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{三田　雅人}{
株式会社リクルート データ推進室 R\&Dエンジニア．2021年に東北大学情報科学研究科博士課程を修了し，博士号（情報科学）を取得．日本マイクロソフト，理化学研究所革新知能統合センター，サイバーエージェントを経て2025年より現職．現在は主にLLMを用いた研究開発に従事．2024年に東京大学大学院総合文化研究科博士課程に進学. 一橋大学および理化学研究所の客員研究員を兼任．言語処理学会，ACL各会員．
}
\end{biography}



\end{document}
