\documentclass[japanese,other]{jnlp_3.5}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
\usepackage{qtree}
\usepackage{color}
%%%%\usepackage{subfigure}
\makeatletter
\newcommand{\figcaption}[1]{\def\@captype{figure}\caption{#1}}
\newcommand{\tblcaption}[1]{\def\@captype{table}\caption{#1}}
\makeatother
%%%%\usepackage{caption}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{29}
\Number{1}
\Month{March}
\Year{2022}
%%%%\Issuetitle{「　　　　」特集号}


\setcounter{page}{253}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{Modeling Human Sentence Processing with Left-Corner Recurrent Neural Network Grammars}
\jauthor{吉田　　遼\affiref{Author_1}}
\etitle{Modeling Human Sentence Processing with Left-Corner Recurrent Neural Network Grammars}
\eauthor{Name1\affiref{Ryo Yoshida}} 

\headauthor{吉田}
\headtitle{Modeling Human Sentence Processing with Left-Corner RNNGs}

\affilabel{Author_1}{東京大学大学院総合文化研究科言語情報科学専攻}{Department of Language and Information Sciences, Graduate School of Arts and Sciences, The University of Tokyo}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

本稿では，EMNLP2021採録論文である ``Modeling Human Sentence Processing with Left-Corner Recurrent Neural Network Grammars'' \cite{yoshida-etal-2021-modeling}について解説する．本研究は，私の卒業論文でもある．そして，私の人生で初めての研究でもある．このような論文の性質上，はじめに，私がどのようにしてこの研究に取り組むことを決めたのか，について，高校時代の興味関心にまで遡って述べさせていただきたい．

高校時代，私は理系のコースに所属しており，数学の問題を友人と競うように解く日々を送っていた．そんな中，私の興味は次第に数式から言語に移っていき，やがて言語の計算的側面に魅せられるようになった．大学に入ると，私はその知的好奇心を満たすべく文転し，理論言語学や心理言語学を学んだ．
言語の計算理論や，その脳内での実装について学ぶうちに，私の高校時代からの興味は「人間の言語処理を計算機上に実装したい」という野心へと形を変えた．ちょうど私が学部4年生になる年に， 「人間らしい言語処理モデルの開発」を掲げる大関洋平先生が東京大学に着任し，私は大関先生の元で卒業論文に取り組むこととなった．

私はまず，具体的な現象・検討範囲を設定して，野心を卒業論文サイズのプロジェクトに落とし込む作業に着手した．その際に重要であったのが，「言語処理のリバースエンジニアリング」である．言語処理のリバースエンジニアリングとは，計算機上で実装されたモデルの言語処理が，行動実験などで計測される人間の言語処理と似た傾向を示すか，を観察することで，間接的に「人間らしい」言語処理モデルについて検証する，という手法である．英語における先行研究では，この枠組みに則り様々な知見が蓄積されている．その中でも，理論言語学が仮定する自然言語の階層構造を明示的に扱う言語処理モデルは，そうでないモデルよりも「人間らしい」という知見 \cite{fossumSequentialVsHierarchical2012a,haleFindingSyntaxHuman2018}は，言語学を専門に学んできた私の興味に大変合致するものであった．幸運なことに，能地宏先生（第二著者）が，\citeA{haleFindingSyntaxHuman2018}で「人間らしい」言語処理モデルであるとされている，再帰的ニューラルネットワーク文法 (Recurrent Neural Network Grammars，RNNGs) \cite{dyer-etal-2016-recurrent}の並列化・高速化を目指した開発を行っており，そのモデルを使わせていただけるらしい．これまた幸い，日本語においては，人間の眼球運動データがBCCWJ-EyeTrack \cite{asaharaReadingTimeAnnotationsBalanced2016}という視線計測コーパスとして整備されている．そこで私ははじめに，「日本語においても，階層構造を明示的に扱う言語処理モデルが，そうでない言語処理モデルよりも人間らしい」ことを示す，という目標を立てた．しかし，「英語でやられていることを日本語でもやりました」では，インパクトに欠ける．そこで私は，先行研究では言及されていない，階層構造の解析戦略に着目することにした．詳細には，先行研究で用いられているトップダウン型 (top-down) 解析戦略が，主要部先端型右枝分かれ構造の英語と異なり，主要部終端型左枝分かれ構造の日本語においては，「人間らしくない」という点 \cite{abneyMemoryRequirementsLocal1991,resnikLeftcornerParsingPsychological1992} に着目し，左隅型 (left-corner) 解析戦略を新たに比較対象として導入した．こうして私は，「どのような解析戦略で階層構造を扱う言語処理モデルが人間らしいのか」というリサーチクエスチョンの下，人生で初めての研究に取り組むことになったのであった．

そこから，EMNLP2021採択までの流れは，概ね以下の通りである．約1年間かけて卒業論文として結果をまとめ，無事に提出．言語処理学会第二十七回年次大会にも論文を投稿し，若手奨励賞を受賞．その勢いで国際会議デビューを果たすべく，内容を発展させACL2021にlong paperとして論文を投稿したが，「結果がそれほど多くないため，実験手法が長く結果と考察で尻すぼみになっている」との理由で不採択．査読者のコメントを踏まえて考察を充実させ，short paperに切り替えてEMNLP2021に投稿．悲願の採択を果たした．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{論文の解説}

以下では，モデルと人間の言語処理の橋渡し理論（\ref{subsec:link}節），本研究の実験手法（\ref{subsec:method}節），及びその結果（\ref{subsec:result}節）に絞って，``Modeling Human Sentence Processing with Left-Corner Recurrent Neural Network Grammars'' を解説する．詳細については，適宜論文を参照していただきたい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{橋渡し理論}
\label{subsec:link}

モデルの言語処理と，人間の言語処理の傾向を比較する際に重要な役割を果たすのが，「サプライザル理論 \cite{haleProbabilisticEarleyParser2001,levyExpectationbasedSyntacticComprehension2008}」である．人間は文を処理する際に次に来る単語や文節を予測しており，文脈から予測しにくい単語や文節ほど，処理負荷が高く（e.g.，読み時間が長く）なると言われている．サプライザル理論は，この「予測しにくさ」をサプライザル ($-\log{p({\rm 単語や文節}| {\rm 文脈})}$) と呼ばれる情報量で定式化したものである．この論文では，言語処理モデルの算出する確率と，人間の読み時間の「橋渡し仮説」としてサプライザルを用い，言語処理モデルの「人間らしさ」を評価している．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験手法}
\label{subsec:method}

主要部終端型左枝分かれ構造を持つ日本語を用いて，LSTM・トップダウン型解析戦略のRNNGs・左隅型解析戦略のRNNGsという3つの言語処理モデルの「人間らしさ」を比較している．RNNGsは，自然言語の階層構造を扱うモデルである点が，LSTMと異なる．また，トップダウン型解析戦略と，左隅型
解析戦略では，それぞれ以下の (a)，(b) に示したように，ノードが解析される順番が異なる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\vspace{1\Cvs}
\qtreecentertrue
\noindent
\begin{minipage}{.5\textwidth}
a．トップダウン型解析戦略\\
\Tree[.{\textcolor{blue}{1}~X~\textcolor{white}{1}}
        [.{\textcolor{blue}{2}~X~\textcolor{white}{8}}
            [.{\textcolor{blue}{3}}~X~{\textcolor{white}{7}} 
                {\textcolor{blue}{4}~\emph{a}\textcolor{white}{11}}
                {\textcolor{blue}{5}~\emph{b}}
            ]
        {\textcolor{blue}{6}~\emph{c}}
        ]
        {\textcolor{blue}{7}~\emph{d}}
    ]
\end{minipage}
\begin{minipage}{.5\textwidth}
b．左隅型解析戦略\\
\Tree[.{~\textcolor{blue}{6}~X~\textcolor{white}{1}}
        [.{\textcolor{blue}{4}~X~\textcolor{white}{8}}
            [.{\textcolor{blue}{2}}~X~{\textcolor{white}{7}} 
                {\textcolor{blue}{1}~\emph{a}\textcolor{white}{11}}
                {\textcolor{blue}{3}~\emph{b}}
            ]
        {\textcolor{blue}{5}~\emph{c}}
        ]
        {\textcolor{blue}{7}~\emph{d}}
    ]
\end{minipage}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\vspace{0.5\Cvs}

単語列の背後には無数の階層構造が想定されるため，RNNGsについては，ビームサーチ \cite{sternEffectiveInferenceGenerative2017} を用いて想定される階層構造のうち確率の高いものを複数保持しつつ，階層構造について周辺化することでサプライザルを算出した．論文では，複数のビーム幅について検証を行っている．

実験では，前述の視線計測コーパスBCCWJ-EyeTrackに付与された読み時間を，文節長などで推測するベースライン回帰モデルを構築し，そこに言語処理モデルにより推定されたサプライザルを説明変数として加えた際の予測精度の改善度を，読み時間モデリング精度として評価している（詳細は論文の3節を参照）．読み時間モデリング精度が高いモデルほど，「より人間らしい」言語処理モデルであるといえる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験結果}
\label{subsec:result}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1 and table 1
\begin{figure}[t]
\setlength{\captionwidth}{0.5\textwidth}
\noindent\begin{minipage}{.5\textwidth}
\begin{center}
%%%%\captionsetup{width=.95\linewidth}
\includegraphics{29-1ia26f1.pdf}
\hangcaption{読み時間モデリングの結果．横軸がperplexity, 縦軸が読み時間モデリング精度．}
\label{fig:ppl-dev_bccwj}
\end{center}
\end{minipage}
\begin{minipage}{.5\textwidth}
\begin{center}
%%%%\captionsetup{width=.95\linewidth}
\makeatletter
\def\@captype{table}
\makeatother
\begin{tabular}{lccc}
\hline
\      & $\chi^2$ & df & $p$\\
\hline
Baseline $<$ LSTM & 260.26 & 1 & $<$\textbf{0.0001}\\
Baseline $<$ TD & 299.5 & 1 & $<$\textbf{0.0001}\\
Baseline $<$ LC & 306.78 & 1 & $<$\textbf{0.0001}\\
LSTM $<$ TD & 42.183 & 1 & $<$\textbf{0.0001}\\
LSTM $<$ LC & 47.229 & 1 & $<$\textbf{0.0001}\\
TD $<$ LSTM & 2.9406 & 1 & 0.08638\\
TD $<$ LC & 11.84 & 1 & $<$\textbf{0.001}\\
LC $<$ LSTM & 0.708 & 1 & 0.4001\\
LC $<$ TD & 4.5609 & 1 & 0.03271\\
\hline
\end{tabular}
\hangcaption{Nested model comparisonの結果．TD, LCはそれぞれ，トップダウン型解析戦略の\mbox{RNNGs，}左隅型解析戦略のRNNGsを表している．\mbox{Bonferroni}法により有意水準 $\alpha=0.0056$で検定した ($0.05/9$).}
\label{tbl:nestedcomp}
\end{center}
\end{minipage}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

図~\ref{fig:ppl-dev_bccwj}は，読み時間モデリングの精度（縦軸）を，perplexity （横軸）に対してプロットしたものである．縦軸に着目すると，左隅型解析戦略のRNNGsが最も読み時間モデリング精度が高く，次いでトップダウン型解析戦略のRNNGs，LSTMとなっていることが分かる．また，論文では，nested model comparisonにより，これらのモデル間の読み時間モデリング精度の差が有意であることを確かめている（表~\ref{tbl:nestedcomp}）．この結果から， \textbf{左隅型解析戦略}で階層構造を扱うモデルが最も「人間らしい」と結論づけることができる．

さらに，図~\ref{fig:ppl-dev_bccwj}からは，RNNGsについてはperplexityが低いほど読み時間のモデリング精度が高いが，LSTMはperplexityの低さから予測されるほど読み時間モデリング精度が高くないことが分かる．RNNGsについては，構文解析の精度と読み時間モデリング精度についても同様の傾向が観察された．

また，RNNGsについて，ビーム幅と読み時間モデリング精度の関係に着目すると，トップダウン型解析戦略のRNNGsはビーム幅が大きいほど読み時間モデリング精度が高いが，左隅型解析戦略のRNNGsは小さいビーム幅でも安定して読み時間モデリング精度が高いことが分かる．我々は，この結果を， 「人間に近い」小さいビーム幅で正しい解析ができるという点でも， 左隅型解析戦略のRNNGsはトップダウン型解析戦略のRNNGsよりも「人間らしい」，と解釈した．論文内では，この点について，\citeA{jurafskyProbabilisticModelLexical1996}で提案されている「人間のビーム幅」を経験的に算出するなどしつつ，(i) なぜ左隅型解析戦略のRNNGsは小さいビーム幅で正しい解析ができるのか，(ii) なぜ小さいビーム幅で解析ができると人間らしいのか，という観点から詳細に議論している．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

こうして私は，どのような言語処理モデルが「人間らしい」のか，という知見の蓄積に貢献する形で，「人間の言語処理を計算機上に実装したい」という野心の実現に向けて第一歩を踏み出したのであった．しかし，この論文では，あくまで階層構造を明示的に扱う／扱わない， トップダウン型解析戦略／左隅型解析戦略という対立においては，どちらが「より人間らしい」か，ということについての示唆を与えたにすぎない．実験で用いたモデルは，どれも「人間の言語処理の実装」としては単純である．野心の実現へ向けた道のりは始まったばかりだ．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.6}
\bibliography{26refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{吉田　　遼}{%
2021年東京大学教養学部教養学科学際言語科学コース卒業．現在，東京大学大学院総合文化研究科言語情報科学専攻在学中．
}

\end{biography}


\end{document}



