\documentclass[japanese,other]{jnlp_3.3}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
%%%%\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%\usepackage{amsmath,amssymb,mathtools}
%%%%\usepackage{tikz}
%%%%\usetikzlibrary{positioning}
%%%%\usepackage[framemethod=TikZ]{mdframed}
%%%%\mdfsetup{%
%%%% middlelinewidth=0,
%%%% backgroundcolor=gray!15,
%%%% roundcorner=8pt
%%%%}
%%%%\usepackage{xcolor}  %
%%%%\usepackage{graphicx}  % グラフィックス関連
%%%%\usepackage{pxrubrica}        % ルビ
%%%%\usepackage{url}
%%%%\usepackage{multirow}
%%%%\usepackage{comment}
\usepackage{booktabs}
%%%%\usepackage{tikz}
\usepackage{colortbl}
%%%%\usepackage[subrefformat=parens]{subcaption}
%%%%%%% commands
%%%%\newcommand{\pkg}[1]{\textsf{#1}}
%%%%\newcommand{\code}[1]{\texttt{#1}}
%%%%\newcommand{\todo}[1]{\textcolor{red}{#1}}
%%%%% \newcommand{\fc}[1]{\color{black} #1}
\newcommand{\fscore}{\ensuremath{\mathrm{F}_{0.5}}}
%%%%% \newcommand{\diff}[1]{{\color{blue} #1}}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


\Volume{28}
\Number{4}
\Month{December}
\Year{2021}
%%%%\Issuetitle{「　　　　」特集号}

\setcounter{page}{1331}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{Do Grammatical Error Correction Models \\
	Realize Grammatical Generalization?}
\jauthor{三田　雅人\affiref{Author_1}\affiref{Author_2}}
\etitle{Do Grammatical Error Correction Models \\
	Realize Grammatical Generalization?}
\eauthor{Masato Mita\affiref{Author_1}\affiref{Author_2}} 

\headauthor{三田}
\headtitle{Do Grammatical Error Correction Models Realize Grammatical Generalization?}

\affilabel{Author_1}{理化学研究所}{RIKEN}
\affilabel{Author_2}{東北大学}{Tohoku University}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}
\label{sec:intro}

本稿では，ACL2021\footnote{正確にはFindings論文として採択された．}に採択された論文``Do Grammatical Error Correction Models Realize Grammatical Generalization?'' \cite{mita-yanaka-2021-grammatical}について解説する．
論文の解説に入る前にまず，今回解説する論文がACL2021採択に至るまでの道のりを述べたい．
いきなり余談から始まって恐縮だが，私は物事のアンチテーゼを考えるのが好きだ．
本論文が採択される前にも，本論文と同じ文法誤り訂正 (GEC) に関する研究で2本の論文 \shortcite{mita-etal-2019-cross,mita-etal-2020-self}を出したが，どちらも分野全体が暗黙的に敷いているある種の前提に対するアンチテーゼから生まれた．
そして何を隠そう，本論文もそんなアンチテーゼ的な発想から生まれたのである．
本研究の着想当時のGEC分野の状況はというと，擬似データの活用が性能向上における一つのブレークスルーとなっていた．
ここで，擬似データとは文法的に正しい実テキストの集合に対して，機械翻訳 (MT) 分野で培われた逆翻訳技術を代表とする疑似データ生成手法を援用することで自動構築した誤り訂正ペアデータを指している．
疑似データの成功により，GECの世界でもMTと同じように，More data, better performanceであることが示されたとも言える．
More data, better performanceの肝は，大量のパラメータを用いたパターンの丸暗記だが，ここで，GECの場合は本当に全てをパターン暗記させる必要があるのだろうか，といった疑問を抱いた．
MTの場合は，翻訳という営み自体が本質的には異なる言語間のアライメントをとることであるため，パターンの丸暗記はある意味自然とも考えられる．
一方で，GECは，主語と動詞の一致のような明確な文法規則が存在するため，そのような文法規則に基づく一部の誤りについては，少なくとも人間はその文法規則さえ学習できていれば必ずしも個々のパターンを丸暗記する必要はないからである．
また，現在主流となっているニューラルエンコーダデコーダモデル (EncDec) に基づくGECモデルは，大量の訂正パターンから訂正に必要な文法知識をうまく学習（汎化）していることが暗黙的に期待されているが，本当にそうだろうか．
本研究はそのような素朴なアンチテーゼから生まれ，NLP若手の会等で皆様からのお知恵をお借りしながら少しずつブラッシュアップさせたものを論文としてまとめたところ，この度ACLに採択された，という次第である．
査読でも，単純な性能向上以外の新たな視野を提示した点など，新規性の部分で高く評価されたことは，分野全体に暗黙的に敷かれているある種の前提やコンセンサスを疑い，アンチテーゼ的な発想を起点として研究をスタートさせたからこそだろうと自負している．
そのような道のりを経てACLに採択された論文を，本稿では紹介したい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{提案手法}
\label{sec:method}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[tb]
\begin{center}
\includegraphics{28-4ia26f1.pdf}
\end{center}
\caption{\protect\cite{mita-yanaka-2021-grammatical}の手法の概要．}
\label{fig:overview}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

この論文では，現行のGECモデルが訂正に必要な文法知識を汎化できているか，より具体的には，\textbf{未知の誤りに対する汎化}に焦点を当てて分析している．
図~\ref{fig:overview}は，主語と動詞の一致を例とした提案手法の概要図である．
この提案手法では文脈自由文法 (CFG) を使用して，学習・評価セットの誤り箇所に現れる語彙を制御して自動構築した人工データ (synthetic data) を用いてモデルの評価を行う．
具体的には，誤り箇所に既知の語彙が現れる学習・評価セットで評価したときの性能（\textbf{既知の語彙設定}）と，誤り箇所に未知の語彙が現れる学習・評価セットで評価した時の性能（\textbf{未知の語彙設定}）を比較することで，未知の語彙を含む文法誤りに対するモデルの汎化性能を評価する．
ここでのポイントは，CFGを用いることで以下の2つの観点で制御を行っていることである．

\begin{itemize}
    \item 訂正パターン制御
    \item 出現語彙制御
\end{itemize}


訂正パターン制御では，図~\ref{fig:overview}における，\textit{*run $\rightarrow$ runs}のような訂正パターンを制御している．
出現語彙制御では，モデルが未知の誤りに対して訂正できなかったとき，モデルが単にその単語を知らなかったため訂正できなかった可能性を排除して検証を行うために，誤り箇所に出現させる語彙自体は学習データと評価データで共通となるようにデータセット中の語彙を制御している．
例えば，図~\ref{fig:overview}の未知の語彙設定 (Unknown) の例においては，\textit{Every dog *run quickly $\rightarrow$ Every dog runs quickly}という文対と\textit{That slimy duck smiles awkwardly$ \rightarrow$ That slimy duck smiles awkwardly }という無編集な文対は学習データに出現し，\textit{Every polite cow *smile awkwardly $\rightarrow$  Every polite cow smiles awkwardly}という文対は出現しないように制御した学習データを用いてモデルを学習させる．
このとき，仮にモデルが\textit{Every polite cow *smile/smiles awkwardly}という入力文に対し，正しい活用形である\textit{smiles}と訂正できなかった場合は，主語と動詞の一致に関する文法知識を汎化できていないということになる．
この2つの制御によって人工データにおける検証はシステマチックにモデルの汎化性能を分析可能となる．


また，この論文ではより実践的な設定におけるモデルの汎化性能を分析するために実データ (real data) を用いた検証も併せて行っている\footnote{実データとして，BEA-2019 \shortcite{bryant-etal-2019-bea}で配布されたデータを用いた．}．
これは，CFGに基づいて構築した人工データは，GECの実際の入力として想定される実データとは質が大きく異なるからである．
人工データでは語彙や構文が制限された単純な文のみで構成されるが，実データでは，語彙および構文は単純なものから複雑なものまで多種多様である．
ただし，実データ構築の詳細な説明は元論文 \cite{mita-yanaka-2021-grammatical}に譲るが，実データを用いた検証は，パターン制御はできても出現語彙制御は完全にはできないという制限があるため，この論文においてあくまで補助的な検証という位置付けであることに注意されたい．

本研究では，Bryantら \shortcite{bryant:2017:automatic}が定義する誤りタイプの中から，文法規則に基づく誤りである，主語と動詞の一致誤り (VERB:SVA) ・動詞の態誤り (VERB:FORM) ・語順誤り (WO) ・形態素誤り (MORPH) ・名詞の単複誤り (NOUN:NUM) の計5種類の誤りタイプを対象に調査した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{文法誤り訂正モデルの文法性評価}

表~\ref{tab:main_result}は，現在標準となっているTransformer EncDecに基づくGECモデルを対象に，提案手法を用いて評価した結果である．
なお，評価尺度は，ERRANT \cite{bryant:2017:automatic}によって算出された\fscore{}である．
まず人工データの結果からみていくと，WOを除いて，既知の語彙設定に比べて，未知の語彙設定で大幅にモデル性能が下がっていることがわかる．
このことから，現行のモデルは語彙・構文的に非常に単純な設定においても，与えられた訓練事例から訂正に必要な文法知識の汎化をうまく行えていないことがいえる．
次に，実データの結果をみると，WOを含む全ての誤りについて性能が大幅に下がっていることが下がっており，文法知識の汎化は語彙や構文が多様なより実践的な設定においてはさらに困難であるといえる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[tb]
\begin{center}
\begin{tabular}{llr<{\hspace{11pt}}r<{\hspace{15pt}}rr<{\hspace{5pt}}r<{\hspace{15pt}}}
\toprule
 Dataset &  & \multicolumn{1}{c}{\textsc{VERB:SVA}} & \multicolumn{1}{c}{\textsc{VERB:FORM}} & \multicolumn{1}{c}{\textsc{WO}}    & \multicolumn{1}{c}{\textsc{MORPH}} & \multicolumn{1}{c}{\textsc{NOUN:NUM}} \\
\midrule
 & Known     & 99.61    & 99.17     & 99.09 & 98.44 &     97.47      \\
Synthetic data & Unknown    & 46.05    & 56.93     & 84.00 & 29.35 &       65.55    \\
 \rowcolor[gray]{0.8}
 & $\Delta$    & \bf $-53.56$    & \bf $-42.24$     &\bf $-15.09$ & \bf $-69.09$ &    \bf $-31.92$       \\
\midrule 
 & Known        & 87.84    & 86.36       & 74.89 & 87.77 & 83.75     \\ 
Real data & Unknown     & 6.28     & 6.28       & 9.25   & 3.83  & 12.49     \\
 \rowcolor[gray]{0.8}
 & $\Delta$     & \bf $-81.56$    & \bf $-80.08$        & \bf $-65.64$ & \bf $-83.94$ & \bf $-71.26$    \\
\bottomrule
\end{tabular}
\end{center}
\caption{文法性評価結果．\protect\cite{mita-yanaka-2021-grammatical}}
\label{tab:main_result}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[tb]
\begin{center}
\includegraphics{28-4ia26f2.pdf}
\end{center}
\caption{訂正と検出性能．\protect\cite{mita-yanaka-2021-grammatical}} \label{fig:enc_dec_all}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

以上より，現行のGECモデルは文法知識をうまく汎化できていないことがわかったが，では誤りの検知に失敗したのか，誤りの検知には成功しているが正しい単語の復元（訂正）に失敗したのかどちらであるのだろうか．
図~\ref{fig:enc_dec_all}は人工データを用いた検証における，検出性能と訂正性能の比較を示している．
ここで，検出性能はGECモデルが誤り箇所に対して何らかの修正を行えたかどうかを評価している．
結果をみると，興味深いことに，モデルは全ての誤りタイプに対してうまく検出していることがわかる．
このことから，少なくともモデルは未知の誤りの検知に必要な文法知識の汎化は十分に行えている．

さらに，本評価実験は，訂正パターン情報が各誤りタイプにおいて訂正性能の向上にどのくらい寄与しているか，に関する一種のアブレーション実験と捉えることが可能である．
なぜなら，GECモデルは，\textit{Every dog runs quickly}といったような正しい単語の並びに関する言語モデル的な情報と，\textit{*run $\rightarrow$ runs}のような訂正パターン情報の合わせ技で解いているとも解釈できるが，未知の語彙設定では，正しい言語モデルはモデルに明示的に教えている一方で，正しい訂正パターン情報は明示的にはモデルに教えていない設定であるからだ．
したがって，WOは言語モデルの情報だけでも訂正が可能なのに対して，他の誤りは訂正パターン情報も訂正性能の向上に重要な要素であるといえる．
本評価実験より，より少量な訓練データから高精度なGECモデルを構築するには，現行のDNNベースな手法だけでは困難であることが示唆されたため，ルールベースな手法との組み合わせなどを検討する必要があることが示唆された．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

本稿で紹介した論文は，More data, better performanceという昨今のGEC分野の動向に対して，GECに必要な文法知識の汎化性能の限界を示すという形で一石を投じた．
今後は，本研究で得られた知見を生かした低資源化に向けた具体的な方法論の探究を行い，より実世界への適用性を指向した文法誤り訂正モデルの実現を目指して邁進していく所存である．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.6}
\bibliography{26refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{三田　雅人}{
理化学研究所革新知能統合研究センター 自然言語理解チーム テクニカルスタッフ．2016年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了．
日本マイクロソフト株式会社のエンジニアを経て．2018年より現職．同年，東北大学情報科学研究科博士後期課程に進学．文法誤り訂正を中心とした自然言語処理による言語学習／教育支援に関心がある．言語処理学会，ACL各会員．
}


\end{biography}



\end{document}

