\documentclass[japanese,tombow,other]{jnlp_3.2}
\usepackage{jnlpbbl_1.4}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{gentombow}
\settombowbleed{5mm}
%%%%\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%\usepackage{color}
%%%%\usepackage{xcolor}
%%%%\usepackage{tabularx}
%%%%\usepackage{latexsym}
%%%%\usepackage{booktabs}
%%%%\usepackage{amsmath}
%%%%\usepackage{amsfonts}
%%%%\usepackage{amssymb}
%%%%\usepackage{graphicx}
%%%%\usepackage{multirow}
%%%%\usepackage{here}
%%%%\usepackage{setspace}
%%%%\usepackage{tikz,tikz-qtree}
%%%%\usetikzlibrary{shapes.geometric,positioning,shapes,fit,arrows,backgrounds}
%%%%\usetikzlibrary{intersections, calc}
%%%%\usepackage{algorithm}
%%%%\usepackage{algorithmic}
%%%%\usepackage{proof}
%%%%\usepackage{gb4ea}
%%%%\usepackage{ebproof}
%%%%\usepackage{subfigure}
%%%%\usepackage{textcomp}
%%%%\usepackage[T1]{fontenc}
\usepackage{url}
%%%%\usepackage{mediabb}
%%%%\newcommand{\PredRepl}[1]{\underline{#1}}
%%%%\newcommand{\PredReplColor}[1]{\orangebox{#1}}
%%%%\newcommand{\Qf}[1]{\underline{#1}}
%%%%\newcommand{\QfColor}[1]{\greenbox{#1}}
%%%%\newcommand{\ClColora}[1]{\blueboxa{#1}}
%%%%\newcommand{\ClColorb}[1]{\blueboxb{#1}}
%%%%\newcommand{\Repl}[1]{\textsc{#1}}
%%%%\newcommand{\positive}[1]{#1$\uparrow$}
%%%%\newcommand{\negative}[1]{#1$\downarrow$}
%%%%\newcommand{\depth}[1]{\ensuremath{\textbf{D}_{#1}}}
%%%%\newcommand{\catS}{\textsc{S}}
%%%%\newcommand{\catNP}{\textsc{NP}}
%%%%\newcommand{\catIV}{\textsc{IV}}
%%%%\newcommand{\catIVdash}{\textsc{IV}$'$}
%%%%\newcommand{\catTV}{\textsc{TV}}
%%%%\newcommand{\catQ}{\textsc{Q}}
%%%%\newcommand{\catN}{\textsc{N}}
%%%%\newcommand{\catNhyp}{\textsc{N}$_{\text{hypernym}}$}
%%%%\newcommand{\WhNP}{\textrm{WhNP}}
%%%%\newcommand{\catAdj}{\textsc{Adj}}
%%%%\newcommand{\catAdv}{\textsc{Adv}}
%%%%\newcommand{\catPP}{\textsc{PP}}
%%%%\newcommand{\relC}{\textsc{RelC}}
%%%%\newcommand{\catSbar}{\ensuremath{\overline{\mbox{\textsc{S}}}}}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\renewcommand\UrlFont{\rmfamily}
\makeatletter
\def\@makefnmark{\hbox{}\hbox{\@textsuperscript{\normalfont\@thefnmark}}\hbox{}}
\makeatother

\Volume{27}
\Number{3}
\Month{September}
\Year{2020}
%%%%\Issuetitle{「　　　　」特集号}

\setcounter{page}{683}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{事前学習済みマスク言語モデルを組み合わせた\\
	符号化復号化文法誤り訂正モデル}
\jauthor{金子　正弘\affiref{Author_1}\affiref{Author_2}}
%%%% 英語タイトル・英語著者名は出力せず
\etitle{Encoder-Decoder Models Can Benefit from Pre-trained Masked Language Models in Grammatical Error Correction}
\eauthor{Masahiro Kaneko\affiref{Author_1}\affiref{Author_2}} 
\headauthor{金子}
\headtitle{事前学習済みマスク言語モデルを組み合わせた符号化復号化文法誤り訂正モデル}
%%%% 英語所属は出力せず
\affilabel{Author_1}{東京都立大学}{Tokyo Metropolitan University}
\affilabel{Author_2}{理化学研究所}{RIKEN}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}
\label{sec:intro}

本稿ではACL2020に採択された``Encoder-Decoder Models Can Benefit from Pre-trained Masked Language Models in Grammatical Error Correction'' \cite{Kaneko:ACL:2020}について解説を行う．
普段，著者は東京都立大学小町研究室にて研究を行っているが，この研究は2019年11月に東北大学乾・鈴木研究室に滞在した際に行った研究である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{背景}
\label{sec:related}

論文の解説を行う前に，まず文法誤り訂正 (Grammatical Error Correction: GEC) の動向について説明を行う．
GECは文法的に誤っている可能性がある文（誤文）が入力として与えられ，文法的に正しい文（正文）に訂正するタスクである．
GECの技術はGrammarly\footnote{\url{https://www.grammarly.com/}}のような言語教育・学習支援サービスとして広く活用されている．
国外ではACL2019の併設ワークショップにおいて24チームが参加した共通タスク\footnote{\url{https://www.cl.cam.ac.uk/research/nl/bea2019st/}}が開催され，国内では言語処理年次大会2020において13件の発表が行われるなど，ここ数年GECは国内外で大きな盛り上がりを見せている．

近年のGECの傾向として，生コーパスから疑似的な文法誤りデータを作成しGECモデルを学習する手法が主流となっている．
一般的にGECの学習に用いられているデータは100万文対ほどであり，数千万文の疑似データを作成し学習することで劇的に訂正性能を改善することが可能となる．
GECにおける疑似データの研究は大きく分けて2つある．
(1) 機械翻訳の逆翻訳を基に正文から誤文を生成するモデルを学習し疑似データを生成する手法 \cite{xie-etal-2018-noising,kiyono-etal-2019-empirical}や(2) 削除，挿入，置換，入れ替えやマスクなどのランダムな操作により作成する手法 \cite{zhao2019improving,grundkiewicz-etal-2019-neural,Takahashi2020}などが研究されている．
特に，疑似データを用いてモデルを事前学習することが有効であることがわかっている \cite{kiyono-etal-2019-empirical}．

大規模データを活用する研究として他にも，BERT \cite{Devlin2019BERTPO}のような事前学習されたマスク言語モデル (Masked Language Model: MLM) を使う手法が提案されている．
MLMを用いたリランキングを行う手法 \cite{kaneko-etal-2019-tmu,chollampatt-etal-2019-cross}，事前にMLMにより正文をフィルタリングする手法\cite{asano-etal-2019-aip}やMLM自体をGECモデルとして用いる研究\cite{kantor-etal-2019-learning,awasthi-etal-2019-parallel}などがある．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{マスク言語モデルを組み込んだ文法誤り訂正}
\label{sec:method}

この章からACL2020に採択された著者の論文について解説を行う．
本研究ではGECにおける符号化復号化モデルに事前学習されたMLMを組み込む研究を行った．
MLMは分類や系列ラベリングタスクなどで大幅な改善をもたらすことが示されている．
さらに，最近ではMLMと符号化復号化モデルを組み合わせる研究が行われており，機械翻訳や要約などの系列変換タスクで成功を収めている．
GECでは符号化復号化モデルを用いることが主流であり，現在の最先端の結果のほとんどは符号化復号化モデルにより達成されている \cite{lichtarge-etal-2019-corpora,kiyono-etal-2019-empirical}．
この傾向に照らして，GECの符号化復号化モデルは他の系列変換タスクと同様にMLMの恩恵を受けることができるのか？という1つの疑問が生じる．
GECでは他のタスクとは異なり入力テキストに文法誤りや流暢ではない表現が含まれている．
MLMは文法誤りや非流暢な表現を含まないテキストから学習されているため，既存手法をそのまま適応しGECでうまくいくかは明らかではない．

MLMを符号化復号化モデルに活用する手法として，主に初期化手法 (init) と素性手法 (fuse) の2つがある．
\textbf{init}: 符号化復号化モデルの重みを事前学習されたMLMの重みで初期化し，対象タスクのデータでファインチューニングする \cite{Lample2019CrosslingualLM}．
この手法の問題点は，GECのような系列変換タスクでは大規模なデータが学習に必要なため，初期化された情報に対して破壊的忘却を引き起こし，事前学習された情報を十分に活用することができない可能性があることである．
そして，この手法は\ref{sec:related}章で述べた疑似データを用いた事前学習手法とどちらも初期化する必要があるため併用できない．
\textbf{fuse}: 誤文を入力とするMLMの出力を追加の素性として誤文と一緒に符号化復号化モデルに与える \cite{Zhu2020IncorporatingBI}．
この手法はinitとは違いMLMの重みを更新しないため，事前学習された情報が保持され破壊的忘却は発生しない．
一方で，MLMは学習者が書いた文法誤りや非流暢なテキストなどのGECタスク固有の情報を考慮することができないことが問題である．

著者は既存手法の問題点を解決するために，入力テキストの文法的に誤った箇所を検出する文法誤り検出 (Grammatical Error Detection: GED) タスクによりファインチューニングされたMLMを用いる素性手法 (fuse GED) を提案した．
\textbf{fuse GED}：まず事前学習されたMLMをGEDでファインチューニングする．
そして，GEDでファインチューニングされたMLMの出力をfuse手法と同じように素性として用いる．
GEDはGECのサブタスクであり文法誤りや流暢ではない表現などを学習することができる．
さらに，GEDは系列ラベリングタスクであるため，小規模なデータで十分に学習できるため破壊的忘却を引き起こす可能性が低い．
そして，素性として用いるため疑似データで事前学習されたGECモデルと併用することが可能である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{結果}
\label{sec:results}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[b]
\vspace{-1\Cvs}
\caption{各モデルのGECの結果}
\label{tab:gec_result}
\begin{center}
\begin{tabular}{lccccccc}
\hline
& \multicolumn{3}{c}{BEA-test (ERRANT)} & \multicolumn{3}{c}{CoNLL-14 ($\textrm{M}^2$)}  & {JFLEG} \\
& \bf P & \bf R & $\bf F_{0.5}$ & \bf P & \bf R & $\bf F_{0.5}$  & \bf GLEU \\
\hline
w/o BERT & 51.5 & 43.2 & 49.6 & 59.2 & 31.2 & 50.2  & 52.7 \\
BERT-init & 55.1 & 43.7 & 52.4 & 61.3 & 31.5 & 51.4  & 53.0\\
BERT-fuse & 57.5 & \bf 44.9 & 54.4 & 62.3 & 31.3 & 52.0  & 54.1 \\
BERT-fuse GED & \bf 58.1 & 44.8 & \bf 54.8 & \bf 63.6 & \bf 33.0 & \bf 53.6 & \bf 54.4 \\
\hline
w/o BERT & 66.1 & 59.9 & 64.8 & 68.5 & 44.8 & 61.9  & 61.0 \\
BERT-fuse & 66.6 & 60.0 & 65.2 & 68.3 & \bf 45.7 & 62.1  & 61.2 \\
BERT-fuse GED & \bf 67.1 & \bf 60.1 & \bf 65.6 & \bf 69.2 & 45.6 & \bf 62.6 & 61.3 \\
Lichtarge et al. 2019 & --- & --- & --- & 65.5 & 37.1 & 56.8  & \bf 61.6 \\
Kiyono et al. 2019 & 65.5 & 59.4 & 64.2 & 67.9 & 44.1 & 61.3  & 59.7 \\
\hline
BERT-fuse GED + R2L & 72.3 & \bf 61.4 & 69.8 & \bf 72.6 & \bf 46.4 & \bf 65.2  & 62.0 \\
Lichtarge et al. 2019 & --- & --- & --- & 66.7 & 43.9 & 60.4  & \bf 63.3 \\
Kiyono et al. 2019 & \bf 74.7 & 56.7 & \bf 70.2 & 72.4 & 46.1 & 65.0  & 61.4 \\
\hline
\multicolumn{8}{l}{\rule[4pt]{0pt}{1zh}太字は各グループで最も高い結果を示している． (Kaneko et al. 2020)}
\end{tabular}
\end{center}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

表\ref{tab:gec_result}はベースライン，既存手法と提案手法のGECの結果を示している．
MLMとしてBERT \cite{Devlin2019BERTPO}を用いて実験を行った．
学習・開発データとしてBEAデータ \cite{bryant-etal-2019-bea}を用いた．
評価データとしてBEA-test, CoNLL-14 \cite{ng-etal-2014-conll}とJFLEG \cite{napoles-sakaguchi-tetreault:2017:EACLshort}を用い，評価指標としてはERRANT \cite{bryant-etal-2017-automatic}, $\textrm{M}^2$ \cite{dahlmeier-ng-2012-better}とGLEU \cite{napoles-EtAl:2015:ACL-IJCNLP}を用いた．
1つ目のグループは疑似データを用いない単一モデルの結果，2つ目のグループは疑似データを用いた単一モデルの結果，3つ目のグループは疑似データを用いたアンサンブルの結果である．

まず，1つ目の疑似データを用いないグループでは，MLMを用いるどの手法もMLMを使わない手法と比較して性能が大幅に改善されている．
特に提案手法であるBERT-fuse GEDは全てのデータセットで最も良い結果を示している．
2つ目のグループの結果から，疑似データを用いた場合でもMLMを用いることでさらに性能が向上することがわかる．
そして，単一モデル
\linebreak
でBEA-testとCoNLL-14の2つデータで世界最高精度を達成している．
3つ目のグループではアンサンブルを行うことでCoNLL-14において提案手法が世界最高精度を達成している．
これらの結果から，GECにおいてMLMを用いることは有効であり，特にGECのサブタスクである
\linebreak
GEDでファインチューニングすることでより効果的にMLMを活用できることを明らかにした．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

本稿ではMLMをGECの符号化復号化モデルと組み合わせる手法を提案しACL2020に採択された論文の解説を行った．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.5}
\bibliography{12refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{金子　正弘}{%
2016年北見工業大学工学部情報システム工学科卒業．2018年首都大学東京システムデザイン研究科情報通信システム学域修士課程修了．同年，東京都立大学システムデザイン研究科情報科学域博士課程に進学，現在に至る．
}

\end{biography}



\end{document}



