\documentclass[japanese,tombow,other]{jnlp_3.1}
\usepackage{jnlpbbl_1.4}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{gentombow}
\settombowbleed{5mm}
\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%\documentclass[japanese,other,dvipdfmx]{jnlp_2.2}
%%%%\usepackage{jnlpbbl_1.3}
%%%%\usepackage{amsmath}
%%%%\usepackage{color}
%%%%\usepackage{xcolor}
%%%%\usepackage{tabularx}
%%%%\usepackage{latexsym}
%%%%\usepackage{amsmath}
%%%%\usepackage{amsfonts}
%%%%\usepackage{amssymb}
%%%%\usepackage{graphicx}
%%%%\usepackage{multirow}
%%%%\usepackage{here}
%%%%\usepackage{setspace}
%%%%\usepackage{tikz,tikz-qtree}
%%%%\usetikzlibrary{shapes.geometric,positioning,shapes,fit,arrows,backgrounds}
%%%%\usetikzlibrary{intersections, calc}
%%%%\usepackage{proof}
%%%%\usepackage{subfigure}
%%%%\usepackage{textcomp}
%%%%\usepackage[T1]{fontenc}
%%%%\usepackage{url}
\usepackage{lingmacros}
%%%%\usepackage{okumacro}
%%%%\usepackage{ascmac}
%%%%\newcommand{\PredRepl}[1]{\underline{#1}}
%%%%\newcommand{\PredReplColor}[1]{\orangebox{#1}}
%%%%\newcommand{\Qf}[1]{\underline{#1}}
%%%%\newcommand{\QfColor}[1]{\greenbox{#1}}
%%%%\newcommand{\ClColora}[1]{\blueboxa{#1}}
%%%%\newcommand{\ClColorb}[1]{\blueboxb{#1}}
%%%%\newcommand{\Repl}[1]{\textsc{#1}}
%%%%\newcommand{\positive}[1]{#1$\uparrow$}
%%%%\newcommand{\negative}[1]{#1$\downarrow$}
%%%%\newcommand{\depth}[1]{\ensuremath{\textbf{D}_{#1}}}
%%%%\newcommand{\catS}{\textsc{S}}
%%%%\newcommand{\catNP}{\textsc{NP}}
%%%%\newcommand{\catIV}{\textsc{IV}}
%%%%\newcommand{\catIVdash}{\textsc{IV}$'$}
%%%%\newcommand{\catTV}{\textsc{TV}}
%%%%\newcommand{\catQ}{\textsc{Q}}
%%%%\newcommand{\catN}{\textsc{N}}
%%%%\newcommand{\catNhyp}{\textsc{N}$_{\text{hypernym}}$}
%%%%\newcommand{\WhNP}{\textrm{WhNP}}
%%%%\newcommand{\catAdj}{\textsc{Adj}}
%%%%\newcommand{\catAdv}{\textsc{Adv}}
%%%%\newcommand{\catPP}{\textsc{PP}}
%%%%\newcommand{\relC}{\textsc{RelC}}
%%%%\newcommand{\catSbar}{\ensuremath{\overline{\mbox{\textsc{S}}}}}
%%%%% \def\――{―\kern-.5zw―\kern-.5zw―}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


\Volume{27}
\Number{3}
\Month{September}
\Year{2020}
%%%%\Issuetitle{「　　　　」特集号}

\setcounter{page}{671}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{Language Models as an Alternative Evaluator of Word Order Hypotheses: A Case Study in Japanese}
\jauthor{栗林　樹生\affiref{tohoku}\affiref{langsmith}}
%%%% 英語タイトル・英語著者名は出力せず
%%%%\etitle{Title (English)}
%%%%\eauthor{Name1\affiref{Author_1} \and Name2\affiref{Author_2}} 
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\headauthor{栗林}
\headtitle{Language Models as an Alternative Evaluator of Word Order Hypotheses}
%%%% 英語所属は出力せず
\affilabel{tohoku}{東北大学情報科学研究科}{Graduate School of Information Sciences, Tohoku University}
\affilabel{langsmith}{Langsmith株式会社}{Langsmith Inc.}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}
\label{sec:intro}

本稿では，ACL2020に採択された論文``Language Models as an Alternative Evaluator of Word Order Hypotheses: A Case Study in Japanese''について解説を行う．
採択論文では，日本語のニューラル言語モデルが高い尤度を付与する語順について分析し，観察される傾向がヒトの語順選好やこれまでの語順に関する知見と整合することから，語順分析に言語モデルを用いる方法論の可能性について議論している．
本解説論文では，採択論文の内容の説明は概要程度にとどめ，せっかくなので，ACL2020への論文投稿に至った経緯や，論文中で議論しきれていなかった部分，本研究の延長線上に考えられる可能性など，論文の外側について触れていきたい．

そもそも本研究の発端は，日本語語順の性質について解き明かしたいと思ったことでも，言語モデルの分析をしようと思ったことでもなく，私（当時M1）が学部生を対象としたプログラム（研究室体験のような活動）のTAを担当したことであった．
学部生と一緒に日本語の自動訂正について考え，せっかく日本語を扱うなら英語とは異なる側面に焦点を当てようということで，英語に比べて日本語は語順が自由であることから，日本語語順の自動訂正を試みた．
語順訂正ベースラインを試す中で，ニューラル言語モデルが語順の良し悪しに関する優れた直感を有していると感じ，言語モデルは語順についてどこまで知っているのだろうかという問いが生まれた．
当時，他に取り組んでいた研究の息抜きのような気持ちで，言語モデルと語順の選好に関する分析を行っていたが，やがて二重目的語に焦点を当てた分析では，光栄にも第25回年次大会 (2019) 若手奨励賞をいただいた．
語順の研究はここで一旦終えようと考えていた．

2019年秋（当時M2），私は語順と異なるテーマで国際会議への投稿を目指していたが，いわゆるネタ被りによって取り組んでいた研究がボツになってしまった．
失意と同時に，こんなところで国際会議に挑戦する機会を失いたくないという執念もあり，急遽過去の語順研究に焦点を当て，半分意地になって実験を再開し，更に内容を深めることで，結果的に採択に至った．
というわけで，本論文が採択に至った経緯には外部的，偶然的な要因も多く絡んでいた．

私にとって，語順に着目した一連の研究は，言語そのものが持つ性質やヒトの認知について分かりたい，解明したいと思うきっかけとなった．
自然言語処理分野はタスク設計やモデル開発において非常に多くのものを言語学や認知科学から得ているが，採択論文では，逆に自然言語処理の側から言語やヒトの文処理の解明へ貢献できることについて，工学者の視点から考えてみている．
以降，\ref{sec:corpus}節では採択論文について，\ref{sec:future}節では本採択論文を踏まえた今後の発展性について述べる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{採択論文について――コーパス頻度に基づく仮説検証と言語モデル尤度}
\label{sec:corpus}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{概要}

母語話者は母語に対して直感を有する．
例えば日本語母語話者であれば，(\ref{exp:woni_b}) よりも (\ref{exp:woni_a}) の方が自然であるとわかる．

\eenumsentence{
\item \label{exp:woni_a} 質に影響を与えた。
\item \label{exp:woni_b} 影響を質に与えた。
}

\noindent
このような母語話者の直感や，あるいは言語が持つ普遍的な性質の解明に向け，言語学者を中心に数多の研究が行われてきた．
本研究では，日本語語順分析を例に，言語に関する仮説の検証方法について考える．

特に1990年代以降，Webの発展などにより大量のテクストへのアクセスが可能になり，大規模コーパスにおける頻度を拠り所とした言語に関する仮説の検証が行われるようになった．
コーパス頻度に基づく検証は，脳波などヒトの観察に基づく検証と比べると直接的な検証であるとはいえないが，検証コストが比較的低く，検証に多くの用例を用いることや，仮説の網羅的な検証が可能であるという利点を持つ．

コーパス頻度に基づく検証を行う際，コーパス中の頻度情報へのアクセス方法は自明でない．
例えば笹野らは，目的格の基本語順を分析するため，コーパス中に出現する（ニ格，ヲ格，動詞）のペアの頻度を，述語項構造解析器の解析結果を元に数えた \cite{sasano2016corpus}．
この方法では，仮説検証の実現可能性は述語項構造解析器の有無・性能に大きく依存する．
例えば，解析器が整備されていない低資源な言語ではこのような検証は実現不可能になる場合がある．
また，特定のドメインのデータ（例えば，新聞）で学習されている解析器しか使用できない場合，同等の正確性で異なるドメイン（例えば，話し言葉）の分析を行うことは難しい．

本研究では，大規模生テキストで学習した日本語ニューラル言語モデルが，基本語順から逸脱した文よりも，基本語順に従う文に対して高い尤度を付与するという仮定をおき，言語モデルの尤度の比較から仮説検証を行う（図~\ref{fig:intro}）．
実験では，本仮定の妥当性を調べている．
言語モデルの学習は生テキストのみで可能であるため，本検証方法によって，解析器の整備されていない低資源な言語・ドメインにおける分析が可能になると期待される．
採択論文中では，言語モデルを用いることの利点，および限界について，さらに議論している．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[t]
\begin{center}
\includegraphics{27-3ia10f1.eps}
\end{center}
\caption{ニューラル言語モデルが計算する尤度による，語順の自然さの比較．} 
\label{fig:intro}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験}
\label{sec:lm}

実験では，言語モデルの語順選好がヒトの語順選好と近いことと，言語モデルを用いた仮説検証の結果と既存の検証方法による検証結果が一貫することから，言語モデルを用いた仮説検証の妥当性を示唆する結果を提示した．
人間と言語モデルの語順選好の比較では，クラウドソーシングを用い，
ワーカーによる選好と言語モデルが高い尤度をつける語順の間に，ピアソンの相関係数で0.9程度の非常に強い相関が見られた．
既存の検証方法による結果との比較においては，既存研究と同一のデータを用い，既存の検証と言語モデルを用いた検証によって，語順に関する仮説に対して同じ結論が導かれるかを調べている．
採択論文では，主語，間接目的語，直接目的語，副詞，時間を表す格，場所を表す格に関する計10個の仮説を検証し，言語モデルを用いた検証の結果が既存研究と一致することから，言語モデルを用いた検証の妥当性が支持された．

採択論文中では，これまで大規模なデータを用いて検証することが困難であった，主題・とりたてと語順に関する仮説についても，さらなる検証を行っている．
今後さらに，情報構造に関連する要因 \cite{miyauchi2020}についても分析を行う予定である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{議論}
\label{sec:discussion}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{言語モデルが述語と項の関係を暗に捉えているということか．}
採択論文では，言語モデルが自然な格の並びを持つ文に高い尤度をつけることを示したにすぎず，このことから直ちに，言語モデルがヒトの想定しているような述語項構造を捉えているとは言えないと考える．
ヒトが高度な一般化を行っているのに対し，言語モデルは圧倒的な量のコロケーションやフレーズを記憶しており，高頻度なフレーズを持つ語順に高い尤度が付与されているという構図が考えられる．
また，言語モデルがどのぐらいの規模まで頻度情報を記憶できるのか，実際の頻度と言語モデルの尤度にどのような歪みが生じやすいのかなどについては，さらなる検証が必要であると考えている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{想定していた語順分析の方法論について．}
近年の心理言語学などの分野では，ベイジアン線形混合モデルなどを用いて，より探索的な仮説の検証を行うことも多い \cite{Sorensen_2016}．
複数の固定要因から語順や読み時間などの予測モデルを学習し，各要因に対するパラメータの分布から結論を導く．
このような研究において，言語モデル尤度を活用できるかは，今後考えていきたい．
例えば，ヒトの文受容度と言語モデル尤度に相関があるのであれば，大規模なデータに対して付与された言語モデル尤度を回帰モデルなどでモデル化することで，文の受容度を決める要因の解明に向けた，予備的・低コストな検証ができるかもしれない．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{今後の発展性}
\label{sec:future}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{使用域ごとの語順と言語モデル．}
話し言葉や詩，外国語を母語とする日本語学習者のテキストなどでは，通常の書き言葉と比べて異なる語順の傾向を持つと考えられる．
従来のコーパスに基づく検証方法では，それぞれのドメインで同程度の性能を示す解析器を用意することの困難さから，異なる使用域における語順傾向の妥当な比較・分析は難しい．
そこで別のアプローチとして，それぞれのドメインに言語モデルをファインチューニングした際に，言語モデルの語順選好がどう変化するかから，間接的に各ドメインごとの語順の傾向を知る，という分析方法は考えられないだろうか．
各ドメインにおける生テキストさえ存在すれば言語モデルの学習が可能であるという点で，実現が容易な分析方法であると考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{語順と語用論的推論．}
発話者の意図は「何を言ったか」だけでなく，「何を言わなかったか」からも汲み取れる．
英語を用いた参照タスクでは，このような語用論的推論をモデルの学習に取り入れることで高性能なモデルが実現されている \cite{mcdowell-goodman-2019-learning}．

基本語順からの逸脱は，話し手と聞き手の間で共有されている情報や，話し手の意図・視点としばしば関係している \cite{fujii1991reversed}．
話し手と聞き手の間で共有されている情報の状態をモデル化する上で，「なぜ基本語順を用いていないのか」といった語用論的推論を取り入れることは，面白い方向性であると考えている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{言語モデルの認知モデリング．}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[b]
\begin{center}
\includegraphics{27-3ia10f2.eps}
\end{center}
\hangcaption{Left-to-rightニューラル言語モデルによって計算された各文節のサプライザルと，ヒトの読み時間の例．} 
\label{fig:surprisal}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

語順の枠を超え，言語の持つ様々な性質に関して，ヒトの文処理と言語モデルの尤度について比較するという方向は興味深いと考えている．
現在私は，日本語言語モデルのサプライザル（文節の負の対数尤度）とヒトの読み時間データ \cite{asahara2016reading}が持つ性質の類似性・相違点について網羅的な分析を行っており（図~\ref{fig:surprisal}），日本語においてヒトの読み時間に対して観察されていた多くの現象が，言語モデルのサプライザルでも観察されることが分かってきている．
このことは，言語モデルの尤度をテキストの容認度評価に用いることの妥当性や，読み手の認知状態の推定において，言語モデルのサプライザルを活用することの可能性にも繋がると考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}
\label{sec:conclusion}

言語モデルの尤度を言語の仮説検証に用いることについて，語順分析を例として，言語モデルの応用先を模索する工学者の視点から考えてみた．
言語のどのような側面であれば，言語処理システムを言語分析やテキストの自動評価に活用できるのかという問いを見据えながら，今後さらに，ヒトの認知と照らし合わせて言語処理システムについて分析を行いたい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.5}
\bibliography{10refs}


\clearpage
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{栗林　樹生}{
$2020$年東北大学大学院情報科学研究科修士課程修了．現在，東北大学大学院情報科学研究科にて博士課程取得に向けて研究を進めている．$2020$年より日本学術振興会特別研究員 (DC1)．Langsmith株式会社共同創業者．
}
\end{biography}


\end{document}


