    \documentclass[japanese]{jnlp_2.1}
\usepackage{jnlpbbl_1.3}
\usepackage[dvipdfm]{graphicx}
\usepackage{amsmath}
\usepackage{hangcaption_jnlp}
\usepackage{array}

\usepackage{lingmacros}


\Volume{25}
\Number{5}
\Month{December}
\Year{2018}

\received{2018}{5}{1}
\revised{2018}{8}{1}
\accepted{2018}{9}{12}

\setcounter{page}{555}

\jsubject{論文}
\jtitle{文法性・流暢性・意味保存性に基づく文法誤り訂正の \\
	参照無し評価}
\jauthor{浅野　広樹\affiref{Author_1}\affiref{Author_2} \and 水本　智也\affiref{Author_2} \and 乾　健太郎\affiref{Author_1}\affiref{Author_2}}

\jabstract{
文法誤り訂正の研究開発では，訂正システムの性能を自動評価することは重要であると考えられている．従来の自動評価手法では参照文が必要であるが，参照文は人手で作成しなければならないため，コストが高く網羅性に限界がある．この問題に対処するために，参照文を用いず，文法性の観点によって訂正を評価する参照無し手法が提案されたが，従来の参照有り手法の性能を上回ることはできなかった．そこで本研究では，先行研究で提案された手法を拡張し，参照無し手法の可能性について調査する．具体的には，文法性に加えて流暢性と意味保存性を組み合わせた参照無し手法が，従来の参照有り手法よりも人手評価スコアを正確に予測できることを実験的に示す．また，参照無し手法は文単位でも適切な評価が可能であることと，文法誤り訂正システムに応用可能であることを示す．
}
\jkeywords{文法誤り訂正，自動評価}

\etitle{A Reference-less Evaluation Metric Based on Grammaticality, Fluency, and Meaning Preservation in Grammatical Error Correction}

\eauthor{Hiroki Asano\affiref{Author_1}\affiref{Author_2} \and Tomoya Mizumoto\affiref{Author_2} \and Kentaro Inui\affiref{Author_1}\affiref{Author_2}}

\eabstract{
In grammatical error correction (GEC), the automatic evaluation of system performance is thought to be an essential driving force. Previous methods for automated system assessment require gold-standard references, which have to be created manually and thus tend to be both expensive and limited in coverage. To address this problem, a reference-less approach has recently emerged; however, previous reference-less metrics, which only consider the grammaticality of system outputs, have not performed as well as reference-based metrics. In this study, we explore the potential of extending a prior grammaticality-based method to establish a reference-less evaluation method for GEC systems. We empirically show that a reference-less metric that combines both fluency and meaning preservation with grammaticality provides a better estimate of manual scores than that of commonly used reference-based metrics. Additionally, we show that the reference-less metric can provide appropriate evaluation at the sentence-level and that it can be applied to GEC systems.
}

\ekeywords{Grammatical Error Correction, Evaluation Metric}

\headauthor{浅野，水本，乾}
\headtitle{文法性・流暢性・意味保存性に基づく文法誤り訂正の参照無し評価}

\affilabel{Author_1}{東北大学情報科学研究科}{Graduate School of Information Sciences, Tohoku University}
\affilabel{Author_2}{理化学研究所革新知能統合研究センター}{RIKEN Center for Advanced Intelligence Project}



\begin{document}
\maketitle


\section{序論}

文法誤り訂正 (Grammatical Error Correction: GEC) は，言語学習者の書いた文の文法的な誤りを訂正するタスクである．
GECは本質的には機械翻訳や自動要約などと同様に生成タスクであるため，与えられた入力に対する出力の正解が 1 つだけとは限らずその自動評価は難しい．
そのため，GECの自動評価は重要な課題であり自動評価尺度に関する研究が多く行われてきた．

GECシステムの性能評価には，システムの出力を正解データ（参照文）と比較することにより評価する手法（参照有り手法）が一般的に用いられている．
この参照有り手法では，訂正が正しくても参照文に無ければ減点されるため，正確な評価のためには可能な訂正を網羅する必要がある．しかし参照文の作成は人手で行う必要があるためコストが高く，可能な訂正を全て網羅することは現実的ではない．
この問題に対処するため，\citeA{Napoles2016}は参照文を使わず訂正文の文法性に基づき訂正を評価する手法を提案した．
しかし参照有り手法であるGLEU \cite{Sakaguchi2016}を上回る性能での評価は実現できなかった．

そこで本論文では\citeA{Napoles2016}の参照無し手法を拡張し，その評価性能を調べる．
具体的には，\citeA{Napoles2016}が用いた文法性の観点に加え，流暢性と意味保存性の3観点を考慮する組み合わせ手法を提案する．流暢性はGECシステムの出力が英文としてどの程度自然であるかという観点であり，意味保存性は訂正前後で文意がどの程度保たれているかという観点である．各評価手法により訂正システムの性能の評価を行ったところ，提案手法が参照有り手法であるGLEUよりも人手評価と高い相関を示した．

これに加えて，各自動評価尺度の文単位での評価性能を調べる実験も行った．文単位での評価が適切にできれば，GECシステムの人手による誤り分析に有用であるが文法誤り訂正の自動評価において文単位の性能を調べた研究はこれまでない．そこで，文単位評価の性能を調べる実験を行ったところ，提案した参照無し手法が参照有り手法より高い性能を示した．この結果を受けて，参照無し手法のもうの可能性も調査した．参照無し手法は正解を使わずに与えられた文を評価できるため，複数の訂正候補の中から最も良い訂正文を選択するために本手法が使えると考えられる．このことを実験的に確かめるために複数のGECシステムの出力を参照無しで評価し，最も良いものを採用するアンサンブル手法の誤り訂正性能を調べたところ，アンサンブル前のシステムの性能を上回った．


\section{自動評価尺度の評価方法}
\label{sec:eval4metrics}

自動評価尺度に求められる性質のうち最も重要なものは，人手評価との相関が高いことであるとされている \cite{banerjee-lavie:2005:MTSumm}．このため，評価尺度の良さは人手との相関係数で評価されるのが一般的である．
機械翻訳の評価尺度のshared taskであるWMT 2017 Metrics Shared Task \cite{bojar-graham-kamran:2017:WMT}においても自動評価尺度は人手評価との相関によって比較されている．
このタスクにおいて評価尺度のメタ評価には，翻訳システム単位と文単位で評価が行われている．
システム単位のメタ評価では，人手評価によるシステムに対する評価と自動評価尺度によるシステムに対する評価を比べることで評価する．
文単位のメタ評価では，システムの翻訳ごとに人手で優劣が付けられており，自動評価尺度によってその優劣を識別できるかで評価する．
システム単位の評価尺度に対してはピアソンの相関係数やスピアマンの順位相関係数，文単位の評価尺度に対してはケンドールの順位相関係数\footnote{WMT 2017 Metrics Shared Taskでは人手評価で同順とされた文対を除外する計算法が使用された．}が用いられた．

文法誤り訂正の分野においても自動評価尺度の性能は，訂正システムに対する人手評価スコアと自動評価スコアの相関によって検証されてきた \cite{Grundkiewicz2015,Sakaguchi2016,Napoles2016}．一方で，我々の知る限り，自動評価尺度の文単位での性能は検証されていない．そこで本研究では，提案手法と従来手法の自動評価尺度を先行研究に従ってシステム単位で比較するとともに，機械翻訳タスクで行われているように各評価尺度の文単位評価における性能も調査する．
システム単位評価，文単位評価に関しては\ref{sec:exp1_setting}節，\ref{subsubsec:meta_eval4sent}節でそれぞれ詳述する．


\section{既存の評価尺度}
\label{sec:pre_eval_metircs}

機械翻訳の分野では，BLEU \cite{papineni-EtAl:2002:ACL}などの自動評価尺度によって翻訳システムが比較できるようになり，研究が発展してきた．
文法誤り訂正の分野においても自動評価尺度は重要である．
これまでの文法誤り訂正の研究では，機械翻訳と同様に参照有り手法による自動評価が用いられてきた．
そこで本節では参照有り評価尺度の代表的な手法について述べ，その後参照無し評価尺度の手法について述べる．


\subsection{参照有り手法}
\label{subsec:refbase}

訂正システムの評価では，学習者の書いた文に対する訂正の正解データ（参照文）を使うことが一般的である．この参照有り評価はM$^2$ \cite{Dahlmeier:12:NAACL}，I-measure \cite{Felice2015}，GLEU \cite{Napoles:15:ACL,Sakaguchi2016}が考案されている．参照有り手法では正確な評価のために，各入力文に対する参照文を 1 個だけでなく複数個用いることができる．参照文を複数用いる場合，各文の評価はM$^2$およびI-measureでは最大値が採用され，GLEUは平均値が採用される．

\begin{description}
\item[M$^2$] 文法誤り訂正の初期の研究では，訂正システムが行った編集操作がどの程度正解の編集と一致しているかをF値で評価していた \cite{dale-kilgarriff:2011:ENLG,dale-anisimoff-narroway:2012:BEA}．しかし，長いフレーズの編集が必要な場合などに訂正システムを過小評価してしまうという問題があった．
この問題を解決するためにM$^2$は ``edit lattice'' を用いることにより，システムが行った編集操作を正解と最大一致するように同定する．M$^2$によって算出されたF$_{0.5}$値がCoNLL 2014 Shared Task on GECで採用されて以降，文法誤り訂正の評価尺度として最も用いられている．
\item[I-measure] 上述のM$^2$の問題点として，訂正を全く行わないシステムと誤った訂正をしたシステムに対するスコアがどちらも0となる点が挙げられる．そこで，入力文が改善されれば正の値，悪化すれば負の値をとる尺度であるI-measureが提案された．I-measureは入力文，訂正文，参照文に対してトークンレベルでアライメントを行い，精度 (accuracy) に基づきスコアを計算する．

\item[GLEU]
機械翻訳の標準的な評価尺度であるBLEU \cite{papineni-EtAl:2002:ACL}をGECのために改善した評価尺度である．GLEUは訂正文($H$)と参照文($R$)で一致するn-gram数から，原文($S$)に現れるが参照文に現れないn-gram数を減算することによって計算される．形式的には次式で表される．	
\begin{gather}
{\rm GLEU+} = {\rm BP} \cdot \exp\left(\sum_{n=1}^{4} \frac{1}{n} \log(p_n \prime)\right) \\
p_n \prime = \frac{N(H,R)-[N(H,S)-N(H,S,R)]}{N(H)}
\end{gather}
ただし，$N(A,B,C,\ldots)$は集合間でのn-gram重なり数を表し，BPはBLEUと同様のbrave penaltyを表す．brave penaltyは入力文に対して出力文が短い場合にn-gram適合率を減点する項である．
これまでに提案された参照有り手法の中では最も人手評価との相関が高い \cite{Napoles2016}．
\end{description}


\subsection{参照無し手法}

機械翻訳の分野では，参照文を用いずに翻訳の品質を評価する品質推定 (Quality Estimation) と呼ばれるタスクも行われており，近年はshared taskも開催されている \cite{bojar-EtAl:2016:WMT1,bojar-EtAl:2017:WMT1}． 
機械翻訳の品質推定タスクでは，翻訳システムの出力の良さを測るために，Human-targetd Translation Error Rate (HTER) \cite{hter}と呼ばれる，人間の翻訳とシステムの翻訳の編集距離がどの程度近いかを計算する指標が用いられる．
機械翻訳の品質推定の手法では，各システムの出力に対してHTERが付与された大量のデータを用いてシステムを学習する．
文法誤り訂正の参照無し評価用のデータセットには，一部の少量の文に対してのみ人手の評価が付与されているため，品質推定の手法を文法誤り訂正の参照無し評価に応用することは難しい．

文法誤り訂正の分野では，参照文を用いずに訂正の品質を評価する手法を\citeA{Napoles2016}が初めて提案した．文法誤り訂正では訂正システムの入出力文に対して訂正の品質が付与されたデータが十分にないため，訳文品質推定の標準的な手法を用いることができない．そこで\citeA{Napoles2016}は，訂正システムの出力文の文法性を評価する 3 つの手法を提案した．1 つ目はe-rater${}^\text{\textregistered}$による文法誤り検出数に基づく評価，
 2 つ目はLanguage Tool \cite{Milkowski:10:SPE}による文法誤り検出数に基づく評価，3 つ目は\citeA{Heilman2014}の言語学的な素性に基づく文法性予測モデルを用いた評価である．実験の結果，e-rater${}^\text{\textregistered}$を用いる手法が最も優れており，参照有り手法であるGLEUと同等の性能であることが示された．
しかし，e-rater${}^\text{\textregistered}$は通常，自然言語処理の研究目的でオープンに利用することはできない\footnote{e-rater${}^\text{\textregistered}$はEnglish Testing Service (ETS) の作文評価サービスCriterionの1機能として提供されており，Criterionは教育機関向けの有償サービスであるため．}．そこで，本研究ではe-rater${}^\text{\textregistered}$を用いず，Language Toolおよび\citeA{Heilman2014}のモデルなどを組み合わせることで性能向上を図る．


\section{提案手法}
\label{subsec:refless}

人手評価に近い参照無し評価を実現するために，\citeA{Napoles2016}の文法性に基づく参照無し評価を拡張する．
  人手による訂正の傾向を捉えるために，文法性，流暢性，意味保存性の 3 つの観点を考慮した参照無し評価手法（各観点，意味保存性 (Meaning preservation)，流暢性 (Fluency)，文法性 (Grammaticality)の頭文字を取って\textbf{MFG}と呼ぶ．）を提案する．
\citeA{Napoles2017}が参照文作成の際に用いたガイドラインでは，自然な文にすること，文法的な誤りは訂正すること，文意は保存することが指示されており，人手による訂正では一般的にこのような観点に基づいて訂正されることが多い．

文法性は，GECシステムの出力に標準英語上の文法誤りがあるかどうかという観点であり，先行研究でも用いられた \cite{Napoles2016}．流暢性は，GECシステムの出力がどの程度自然な英文であるかという観点である．この観点は先行研究 \cite{Sakaguchi2016}において文法性と区別され，重要性が示された．意味保存性は，訂正の前後で文意が変わっていないかという観点である．

提案手法は，参照文を使わずにこれら 3 つの観点に基づきGECシステムを評価する．本稿では，ある入力文$s$に対する訂正文が$h$であったとき($s,h$)に対するスコアを，文法性のスコア$S_G$，流暢性のスコア$S_F$，意味保存性のスコア$S_M$の重み付き和によって求める．
\begin{equation}
\mathrm{Score}(h,s) =\alpha\mathrm{S}_\mathrm{G}(h) + \beta\mathrm{S}_\mathrm{F}(h)+ \gamma\mathrm{S}_\mathrm{M}(h,s),
\label{eq:score}
\end{equation}
ただし${\rm S_G}$, ${\rm S_F}$, ${\rm S_M}$の値域は[0,1]であり，$\alpha + \beta + \gamma = 1$である．システムのスコアは各$\rm{Score(h,s)}$の平均を用いる．各観点は参照文を用いずに以下の手法によりモデル化する．


\subsection{文法性}

\citeA{Napoles2016}が参照無し評価に用いたモデルのうち，\citeA{Heilman2014}の言語学的な素性に基いたモデルを行う手法をベースに用いる．具体的には，文法性のスコア${\rm S_G}(h)$は言語学的な素性に基づくロジスティック回帰により求める．素性については，\citeA{Heilman2014}が用いたスペルミス数，n-gram言語モデルスコア，out-of-vocabulary数，PCFGおよびリンク文法に基づく素性に加え，依存構造解析に基づく数の不一致素性とLanguage Tool\footnote{https://languagetool.org}による誤り検出数を素性として用いた．

モデルの学習はGUGデータセット \cite{Heilman2014}に対して\citeA{Napoles2016}の実装\footnote{https://github.com/cnap/grammaticality-metrics/tree/master/heilman-et-al}を用いた．
さらに，言語モデルの学習のためにGigaword \cite{GIGAWORD}とTOEFL11 \cite{TOEFL}を用いた．

GUGデータセットのテストセットにおいて文法性 2 値予測タスクを行ったところ，元々の\citeA{Napoles2016}実装の正解率が77.2\%
だったのに対し，我々が修正を加えたモデルの正解率は78.9\%であった．


\subsection{流暢性}

文法誤り訂正における流暢性の重要性は \cite{Sakaguchi2016,Napoles2017}において示されたが，流暢性を考慮する参照無し評価手法はこれまでに提案されていない．
流暢性は言語モデルによってとらえることができる \cite{Lau2015}．具体的には，訂正文$h$に対し，流暢性${\rm S_F}(h)$を次のように求める\footnote{$S_N$は多くの場合0以上1未満であるが，0未満のとき$S_N=0$, 1以上のとき$S_N=1$とする}．
\begin{equation}
{\rm S_F}(h) = \frac{\log P_m(h) - \log P_n(h)} {\lvert h \rvert}
\end{equation}
$\lvert h \rvert$は文長，$P_m$は言語モデルによる生成確率，$P_n$はユニグラム生成確率である．

本研究では，言語モデルにはRecurrent Neural Network (RNN) 言語モデル \cite{mikolov2012statistical}を採用し，実装はfaster-rnnlm\footnote{https://github.com/yandex/faster-rnnlm}を用いた．学習にはBritish National Corpus \cite{BNcorpus}およびWikipediaの1,000万文を用いた．
作成したモデルは\citeA{Lau2015}のテストデータにおいて，人間の容認性判断に対するピアソンの相関係数が0.395であった．


\subsection{意味保存性}

文法誤り訂正においては原文の意味が訂正後も保存されていることは重要である．
例えば，以下の文(\ref{mean:origin})が文(\ref{mean:wrong})に訂正される事例を考える．
\eenumsentence{
	\item \textit{It is unfair to release a law only point to the genetic disorder.} (original) \label{mean:origin}
	\item \textit{It is unfair to pass a law.} (revised)\label{mean:wrong}
}
文(\ref{mean:wrong})は文法的であるが，文(\ref{mean:origin})の意味が保存されていないため，文(\ref{mean:wrong})は不適切な訂正である．

意味がどの程度保存されているかを測る単純な方法は，原文の単語が訂正後の文でも出現する割合を計算する方法である．
このような目的のために機械翻訳の評価尺度を用いる方法が考えられる．本研究では，
METEOR \cite{Denkowski2014}を訂正前後の文に適用することで，どの程度文意が保存されているかを評価する．METEORはBLEUなどの評価尺度と比べて意味的な類似度を重視した評価尺度である．
本稿では入力文$s$と訂正文$h$に対する意味保存性のスコア${\rm S_M}(h, s)$を次式により求める．
\begin{align}
P &= \frac{m(h_c)}{\lvert h_c \rvert} \\
R &= \frac{m(s_c)}{\lvert s_c \rvert} \\
\rm {S_M}(h, s) &= \frac{P \cdot R}{t \cdot P + (1-t) \cdot R}
\end{align}
$h_c$はGECシステムの出力中の内容語，$s_c$は原文中の内容語である．$m(h_c)$は出力中の内容語のうちマッチングされた単語数，$m(s_c)$は原文中の内容語でマッチングされた単語数を表す．$t$の値はデフォルト値である$0.85$を用いた．METEORの単語マッチングでは表層だけでなく，活用形，類義語，パラフレーズも考慮される．これに加え，本稿ではスペルミスが訂正されてもマッチングされるよう，スペルチェッカを用いてMETEORを拡張した．


\section{実験}

\ref{sec:eval4metrics}節で述べたように，本研究ではシステム単位と文単位で評価尺度のメタ評価を行うことで参照無し評価の有効性を確かめる．


\subsection{自動評価尺度による訂正システム単位評価}
\label{subsec:correlation}

本節では，提案手法および従来手法による自動評価がシステム単位の評価でどの程度人間に近いかを調べるための実験について述べる．


\subsubsection{実験設定}
\label{sec:exp1_setting}

\citeA{Napoles2016}と同様に，各自動評価手法で訂正システムの出力文を評価し，各文に対するスコアの平均を訂正システムに対するスコアとし，図\ref{fig:system_eval}のように人手評価と比較することで評価尺度のよさを調査した．
人手評価との近さを測るためにピアソンの相関係数とスピアマンの順位相関係数を用いた．
各相関係数は \cite{Grundkiewicz2015} のTable 3cの人手評価を用いて計算した．

\begin{figure}[b]
\begin{center}
\includegraphics{25-5ia4f1.eps}
\end{center}
\caption{自動評価尺度のシステム単位評価}
\label{fig:system_eval}
\end{figure}

この実験では，CoNLL 2014 Shared Task \cite{Ng:14:CoNLL}のデータセット，およびそれに対して\citeA{Grundkiewicz2015}が作成した人手評価を用いた．このデータセットは，テストデータ1,312文と，それに対する参加12システムの訂正結果を含む．このデータに対し，\citeA{Grundkiewicz2015}は人手で文ごとに評価した少量のデータを使い，レーティングアルゴリズムであるTrueSkill \cite{NIPS2006_3079}を用いて訂正システム単位の人手評価スコアを算出した．また，このテストデータに対しては多くの参照文が作成されている．公式の参照文が2個，\citeA{Bryant2015}による参照文が8個，\citeA{Sakaguchi2016}による参照文が8個作成されている．本実験では，従来の参照有り手法の性能を最大にするためにこれら18個全ての参照文を用いた．

提案手法であるMFGの重み$\alpha, \beta, \gamma$の選択はJFLEGデータセットを用いて行った．これはCoNLLデータセットをdevデータとtestデータに分割することができないためである．また，実際にMFGを使ってシステムを評価する際にも，全く同じシステムの集合に対して人手順位評価がついているデータセットが事前に手に入ることは期待できないため，システム単位の評価ではdevデータとtestデータに分割して重みを決めることは適切ではない．GECの評価尺度の性能評価に使えるデータセットは現在CoNLLとJFLEGの 2 つしかないため，本研究ではJFLEGデータセットで重みを調整した．ただし，このデータセットはCoNLLデータセットとは次の2点において性質が大きく異なる．(1) 訂正システムの数が異なる．CoNLLデータセットには12システムが含まれているのに対し，JFLEGデータセットには4システムしか含まれていない．(2) 各システムの編集率の分散が小さい．CoNLLデータセットにおいて各システムが訂正した文の割合は3.7\%〜77\%なのに対し，JFLEGでは56\%〜74\%である．このように性質の大きく異なるデータセットを使った場合にも一方で調整した$\alpha, \beta, \gamma$が他方でもうまく働くとすれば，将来においても$\alpha, \beta, \gamma$の調整はそれほど困難にならない可能性がでてくると考えられる．

\begin{figure}[b]
\begin{center}
\includegraphics{25-5ia4f2.eps}
\end{center}
\hangcaption{JFLEGデータセットとCoNLLデータセットにおけるピアソン相関係数．$x$軸は$\gamma$，$y$軸は$\beta$, $z$軸はピアソンの相関係数を表す．}
\label{fig:jfleg_conll_pearson}
\end{figure}

そこで，性質の大きく異なるデータセットで重みの調整が可能かを調査するために，実際に，CoNLLとJFLEGの 2 つのデータセットにおいて重みの値を0.01刻みでグリッドサーチし，ピアソンの相関係数を計算し各データセットの傾向を調査した．
図\ref{fig:jfleg_conll_pearson}に結果を示す．どちらのデータセットにおいても概ね同じ傾向が見られた．いずれのデータセットにおいても，$\alpha, \beta, \gamma$の値の広い領域で安定的に高い性能を示しており，またその領域は 2 つのデータセットで概ね一致している．
このことは，一方のデータセットで調整した$\alpha, \beta, \gamma$がもう一方のデータセットでも有効に働くことを意味している．
そこで，JFLEGデータセットを使って適当な$\alpha, \beta, \gamma$を選択し，その重みがCoNLLデータセットにおいても有効であるかを実験する．
具体的には，JFLEGデータセットにおいて相関が0.9以上となっている$\alpha, \beta, \gamma$の領域（図\ref{fig:jfleg_conll_pearson}をz軸から見た図\ref{fig:jfleg_pearson_from_above}）の中心の点の重み，およびその周辺4点の重みを用いた．中心の重みは$(\alpha, \beta, \gamma)=(0.35, 0.35, 0.3)$，周辺の4点の重みはそれぞれ $(\alpha, \beta, \gamma) = (0.25, 0.35, 0.4), (0.25, 0.45, 0.3), (0.45, 0.25, 0.3), (0.45, 0.35, 0.2)$を使用した．

\begin{figure}[b]
\begin{center}
\includegraphics{25-5ia4f3.eps}
\end{center}
\caption{図\ref{fig:jfleg_conll_pearson}左をz軸方向から見た図}
\label{fig:jfleg_pearson_from_above}
\end{figure}

\begin{table}[b]
\caption{自動評価による訂正システムのランキングと人手評価間の相関係数}
\label{tbl:exp}
\input{04table01.tex}
\end{table}


\subsubsection{実験結果}

表\ref{tbl:exp}に各手法の人手との相関を示す．3 つの観点を用いる提案手法は，中心点の重みを使った場合とその周辺の点4つの内，最も高い相関だった点と最も低い相関だった点の結果を示す．
文法性のみ，流暢性のみの評価尺度ではM$^2$を上回ったがGLEUには及ばなかった．
意味保存性のみの評価は人手評価との相関が弱いという結果になった．しかし，意味保存性に流暢性を組み合わせることにより性能が改善し，GLEUを上回った．意味保存性，すなわちMETEORは，表層の類似度に基づく評価となっているため，あまり訂正を行わないシステムに対し高い評価を与えてしまう．それにもかかわらず，流暢性と組み合わせたときに重要な役割を果たしていると考えられる．また，3観点を全て組み合わせるとさらに性能が向上($\rho=0.885$)した．この結果の意義は，参照無しでも参照有り手法であるGLEUよりも人手に近い評価ができる可能性を初めて示したことである．また，我々の知る限りこの値は参照無し手法の最高性能である．

また，中心点の周辺の点の重みで実験した結果，相関が最も高い点では$\rho=0.912$となり，相関が最も低い点で$\rho=0.851$となった．相関が最も低い点でもGLEUとほぼ同等の性能であり，ピアソンの相関係数ではGLEUを上回った．この結果は特定の 2 つのデータセットから得られた結果であり，全く新しいデータセットに必ずしも一般化して適応できるわけではないが，性質の異なるデータセットを開発データとして用いたとしても，参照無し手法で参照有り手法を越える可能性があることを実験的に明らかにしたことに意義がある．

一方，本実験では文法性の必要性は示されなかった．本実験では3観点から文法性を除いたときの方が高性能 ($\rho=0.929$) となったことからも，文法性は$\alpha, \beta, \gamma$の調整次第ではかえって悪影響を与える場合があるといえる．本実験で流暢性モデルとして用いたRNN言語モデルでは文構造を完全には捉えられないと言われているが \cite{TACL972}，学習者の文の大半は単純な構造であることと，一般に流暢な文は文法的であることが多いことから，流暢性モデルが文法性モデルを包含している部分があり，文法性モデルを用いなくても十分正確な評価ができたと考えられる．
流暢性を除いた場合の相関が$\rho=0.786$，意味保存性をのぞいた場合の相関が$\rho=0.863$となり，3 つの観点を使った場合よりも低い相関になっていることから，流暢性・意味保存性は参照無し評価において重要であると言える．


\subsection{文単位評価の性能調査}
\label{sec:sent-level}

\ref{subsec:correlation}節の実験で，GLEUおよび提案手法はシステム単位では人手評価と強く相関していることを示した．しかし，システム単位評価が適切であるからといって，それぞれの文に対して正しくスコアがつけられているとは限らない．
例えば，図~\ref{fig:yans}のような例を考える．
この例の人手評価では，システムAがBよりもよいと判断している．
システム単位の評価を見ると，自動評価尺度もAに対して0.8，Bに対して0.6をつけている．
これは人手評価と同じ結果であり，システム単位では正しく評価ができている．
文単位で見ると3文中 2 つがシステムAがよいと言っているが，自動評価尺度の結果は真逆になっている（図~\ref{fig:yans}の右）．
このように文単位のスコアを見たとき，自動評価による優劣判定が人手評価と異なっている文があれば，その自動評価尺度は文単位では訂正文を正しく評価できていないことになる．
そこで本研究では，これまで提案された自動評価尺度であるM$^2$，I-measure，GLEUおよび参照無し評価尺度が文単位でどの程度正確に評価できるかを調査する．

\begin{figure}[b]
\begin{center}
\includegraphics{25-5ia4f4.eps}
\end{center}
\caption{文単位評価が不適切な例}
\label{fig:yans}
\end{figure}


\subsubsection{文単位評価の実験設定}

文単位評価の性能調査のためには，訂正システムの出力それぞれに対して人手評価が付与されているデータが必要である．本研究では前節で用いたデータ，すなわち\citeA{Grundkiewicz2015}によって作られたデータを使用する．
このデータはシステム単位の人手評価のために作られたものではあるが，訂正システムの各出力に対して人手評価が付与されているため，その情報を用いる．
具体的には表~\ref{tbl:evaluation}のように，1 つの入力文に対して複数システムの出力が与えられており，それらに対して人手評価が5段階の相対評価で与えられている．

\begin{table}[b]
\caption{入力文$s$に対する複数の訂正システムの出力$h$と人手評価}
\label{tbl:evaluation}
\input{04table02.tex}
\end{table}

文単位評価の場合，あるテストセットに対する複数システムの出力が得られた時，そのごく一部を人手で評価し，残りを自動評価尺度で評価することは，必ずしも不自然な設定ではない．そこで，本実験ではCoNLLデータセットをdevデータとtestデータに分割することで提案手法であるMFGの重み$\alpha, \beta, \gamma$を調整した．今回はCoNLLデータセットをおよそ1:9の割合でdevセットとtestセットに分割し，devセット上で後述の正解率が最大となる重みを0.01刻みのグリッドサーチにより調整した．調整の結果，$(\alpha, \beta, \gamma) = (0.03, 0.51, 0.46)$の重みとなった．


\subsubsection{文単位評価のメタ評価方法}
\label{subsubsec:meta_eval4sent}

文法誤り訂正の評価尺度のシステム単位での性能を検証する場合には相関係数を用いた．しかしながら通常の相関係数は複数システムの出力に対する人手評価が全て同じ，もしくは自動評価が全て同じ値の場合に定義することができない．文単位の場合，自動評価尺度によっては訂正が異なっていても全て同じスコアになる場合があるため，相関係数では適切に評価できない．
また，人手評価が同じ訂正に関しては自動評価尺度で近いスコアが付くことが望ましいと考えられる．
そこで，本研究では任意の 2 つの訂正に対する人手評価が異なる場合と同じ場合に分けて評価した．

人手評価が異なるペアに対しては，自動評価尺度が人手評価で優れている方に高いスコアが与えられていれば正答とみなし，正解率 (Accuracy) により評価した．
\begin{equation}
Accuracy = \frac{\mbox{大小関係を適切に評価できたペア数}}{\mbox{人手評価の順位が異なるペア数}}
\end{equation}
例えば，表\ref{tbl:evaluation}の例では，$(h_1, h_2)$，$(h_1, h_3)$，$(h_1, h_4)$，$(h_2, h_3)$，$(h_2, h_4)$の5つの組み合わせが人手評価の異なるペアである．
自動評価尺度がこのうち 2 つのペアの大小関係を適切に評価できた場合，$Accuracy=2/5$になる．
また，\ref{sec:eval4metrics}節で述べた，WMT17 Metrics Shared Taskで使用されたケンドールの順位相関係数$\tau$による評価も行った．
\begin{equation}
\tau = \frac{\mbox{大小関係を適切に評価できたペア数}-\mbox{大小関係を逆順に評価したペア数}}{\mbox{人手評価の順位が異なるペア数}}
\end{equation}
この$\tau$は，Accuracyと比べると，人手評価の順位が異なっているにもかかわらず，自動評価で同じ値がつく事例を軽視している．
この評価を優劣判定調査と呼ぶ．

人手評価が同じペアは自動評価スコアもできるだけ近い値になるのが望ましい．
そのため自動評価スコア同士の平均絶対誤差 (Mean Absolute Error: MAE)で評価した．
\begin{equation}
MAE = \frac{\sum{\lvert score_1-score_2 \rvert}}{\mbox{人手評価が同順のペア数}}
\end{equation}
例えば表\ref{tbl:evaluation}における $(h_3, h_4)$は人手評価が同じペアであり，この 2 つに対して自動評価尺度で付けたスコアからMAEを計算する．
ただし，もともとスコアの分散が小さい評価尺度が有利になるのを防ぐため，各評価尺度のスコアは平均が0，分散が1になるよう標準化した．
この評価を類似性判定調査と呼ぶ．

テストデータとして用いる\citeA{Grundkiewicz2015}の人手評価は，8人の評価者がそれぞれCoNLL2014 Shared Taskのデータからサンプリングされた入力文および訂正文に対してランキングを付与することによって作成された．このため，一部の（入力文，訂正文）の組については複数人のランキングが付与されているが，本実験ではそれらを別インスタンスと見なして評価した．テストデータにおいて，優劣判定調査の対象は14,822組，類似性判定調査の対象は5,964組存在した．


\subsubsection{結果}
\label{subsec:res}

\noindent
\textbf{優劣判定調査の結果}　人手評価が異なる2文に対する優劣判定の性能を表\ref{tbl:accuracy}に示す．
提案手法であるMFGは参照有り手法と比べて高い正解率を示した．参照有り手法の中ではGLEUがM$^2$やI-measureよりも正解率が高かった．MFGとGLEUの正解率の差についてマクネマー検定を行ったところ，5\%水準で統計的に有意であった．ケンドールの順位相関係数においても提案手法は参照有り手法よりも高い性能を示した．参照有り手法の中ではI-measureが最も高い$\tau$値を示した．提案手法とI-measureの$\tau$値の差についてブートストラップ検定を行ったところ，5\%水準で統計的に有意であった．

\begin{table}[b]
\caption{人手評価が異なる2文に対する優劣判定の性能}
\label{tbl:accuracy}
\input{04table03.tex}
\end{table}

\noindent
\textbf{類似性判定調査の結果}　人手評価が同じ2文に対するスコアの平均絶対誤差を表\ref{tbl:mae}に示す．MFGの平均絶対誤差が小さく，人手評価が同じ2文に対して最も近いスコアを与えることができている．
参照有り評価手法の中では，GLEUが最も良い結果となっており，優劣判定調査・類似性判定調査の両方で優れている．

\begin{table}[b]
\caption{人手評価が同じ2文に対するスコアの平均絶対誤差}
\label{tbl:mae}
\input{04table04.tex}
\end{table}

システム単位評価の結果と文単位評価の結果を比較すると，各評価尺度の性能の序列は文単位でも同じとなっている．
しかし，システム単位評価ではI-measureとGLEUの間に差があるが，優劣判定能力においては差は認められない．
一方，類似性判定調査の結果ではGLEUがI-measureを上回っている．
これらの結果からI-measureは優劣判定はできるが，その評価スコア自体は適切につけられていないことが示唆される．


\subsubsection{事例分析}

参照無し手法が人手評価の異なる訂正を適切に評価できていた例を示す．表\ref{tbl:exp1_example}の例で訂正Aは文法的であるが訂正Bは主語と述語の数が一致していないため文法的ではない．
この例で参照無し手法はAの方を高く評価できたが，参照有り手法はBの方を高く評価した．これは訂正Bの表層が参照文と似ているからであるが，参照有り手法は訂正と参照文が異なっている箇所の重大性を考慮せずに評価するからであると考えられる．

\begin{table}[b]
\caption{リファレンスベース手法の優劣判定の誤り例}
\label{tbl:exp1_example}
\input{04table05.tex}
\end{table}
\begin{table}[b]
\caption{リファレンスレス手法の優劣判定の誤り例}
\label{tbl:exp1_example2}
\input{04table06.tex}
\end{table}

一方，参照無し手法は失敗したが従来手法は正答できたものとしては，冠詞だけが異なっている事例が多く見られた．
例えば，表~\ref{tbl:exp1_example2}における訂正Aには冠詞誤りが 2 箇所存在しており，参照無し評価尺度では人手評価が高い方に低いスコアをつけてしまっている．
これは適切な冠詞選択のためには文脈情報が必要なことが多く，参照無し手法は文脈情報を一切用いないのに対し，従来手法は文脈を考慮して作成された参照文と訂正を比較しているからであると考えられる．

人手評価が同じ訂正に対し，参照有り手法の絶対誤差が大きかった例を表~\ref{tbl:exp2_example}に示す．訂正AとBは人手評価に影響を与えるほどの差異は無い．しかし訂正Aは参照文に無く，訂正Bは参照文と完全に一致している．このためM$^2$およびI-measureは人手評価が同じにも関わらず大きく異なる評価を行っている．GLEUは比較的近い値をつけている．理由としては，GLEUはn-gram適合率に基づく評価である点や，参照文が複数あるときにその平均値を採用している点が考えられる．しかし，標準化を行うとその差は0.674となる．一方，参照無し手法は標準化を行ってもその差は0.109に収まっており，人間に近い評価ができている．

\begin{table}[t]
\caption{人手評価が同じ文に対するリファレンスベース手法の誤り例}
\label{tbl:exp2_example}
\input{04table07.tex}
\end{table}


\subsection{参照無し評価の文法誤り訂正への応用可能性の調査}

\ref{sec:sent-level}節の実験より，提案手法が文単位においても参照有り手法を上回る可能性があることが明らかになった．
それを受け，本節では参照無し評価尺度のもうの可能性を調査する．
参照無し評価尺度は正解データを必要としないため，正解データのない文に対しても評価スコアを与えることができる．
つまり，参照無し評価尺度を使えば，GECシステムの出力した訂正文
の候補の中から最もよい訂正文を選択することで誤り訂正の精度を改善できる可能性がある．
そこで本節では，複数の訂正候補から最もよい訂正を選択する訂正システムを想定したときに実際に訂正性能が向上するかどうかを調べた．
以下，この手法をアンサンブルシステムと呼ぶ．


\subsubsection{実験設定}

図~\ref{fig:ensemble}のように，各入力文に対する複数のGEC訂正システムの出力を参照無し手法で評価し，最もスコアの高い訂正を選択するシステムを構築した．
評価用のデータとしてCoNLL 2014 Shared Task on GECのテストセットを使用した．
アンサンブルするシステムとしては，CoNLL 2014 Shared Task on GEC参加12システムの訂正結果を使用する\footnote{http://www.comp.nus.edu.sg/{\textasciitilde}nlp/conll14st/official\_submissions.tar.gz}．

\begin{figure}[b]
\begin{center}
\includegraphics{25-5ia4f5.eps}
\end{center}
\hangcaption{アンサンブルシステムの概要．各システムの訂正を参照無し手法によって評価し，最善の文を出力する．}
\label{fig:ensemble}
\end{figure}


\subsubsection{評価方法}

アンサンブルによりGECシステムの性能が向上するかどうかを調べるために，\citeA{Grundkiewicz2015}や\citeA{Napoles2017}がシステム単位の人手評価値を求めるために使った方法を使用する．
彼らと同様に，システム単位の人手評価をGrundkiewiczらのデータセットを用いて各システムに対する人手評価をTrueSkill \cite{NIPS2006_3079}により再計算することにより求めた．ただし，人手評価は一部の入力文（1,312文中663文）に対する一部の訂正にしか与えられていないため，人手評価が与えられている文のみを使用した．

また，全入力文に対する訂正を評価するために，参照有り手法による評価も行った．評価尺度としてはM$^2$とGLEUを用いた．
GECの先行研究と直接比較することができるようにM$^2$は，GECシステムの評価で最も一般的な方法に従い計算した．\ref{subsec:correlation}節，\ref{sec:sent-level}節で用いたM$^2$と異なるのは，参照文には公式の2セットのみを用いる点，システム単位のスコアがmacro-F$_{0.5}$値によって算出される点である．
GLEUについては\ref{subsec:correlation}節，\ref{sec:sent-level}節と同様，正確な評価のために参照文に18セット全てを用い，システム単位のスコアは文単位のスコアの平均によって算出した．


\subsubsection{結果}

アンサンブルシステムによる文法誤り訂正の実験結果を表\ref{tbl:ensemble}に示す．いずれの評価尺度でも参照無し手法で訂正を選択することにより訂正性能が向上した．TrueSkillのスコアが約2倍になっていることは訂正が2倍改善したことを意味するものでは無いが，明らかな性能向上を示している．
M$^2$スコアやGLEU+についても性能が改善することが確かめられた．

\begin{table}[t]
\caption{訂正システムに対するスコア}
\label{tbl:ensemble}
\input{04table08.tex}
\vspace{4pt}\small
トップシステムはCoNLL2014参加システムで各スコアが最良のシステムを意味し，括弧内にシステム名を示した．\par
\end{table}

この実験結果から参照無し評価手法は，文法誤り訂正の性能向上に有用であると言える．
また，本研究で行ったアンサンブル手法ではなく，参照無し評価手法のコンポーネントである文法性，流暢性，意味保存性の尺度を直接GECシステムの中に取り込んだモデルを作ることも考えることができる．アンサンブル手法は従来モデルの訂正候補から最良のものを選択するのに対し，そうしたモデルは 3 観点を考慮した訂正を出力できるため，さらなる性能向上が期待できる．


\section{結論}

本研究では，GECシステムを自動で評価するための参照無し手法を提案し，文法性，流暢性，意味保存性の観点を組み合わせることにより，GECシステムの自動評価を従来手法よりも正確に行える可能性があることを実験的に示した．
また，文単位での評価性能を調べる実験を行ったところ，提案した参照無し手法が従来手法より高い性能を示した．
さらに，参照無し評価を使ったアンサンブル手法による誤り訂正の性能を調査し，参照無し評価尺度を使うことで文法誤り訂正の性能を向上させることができることを明らかにした．

今後の展望としては，大量のデータを活用し，各観点の評価方法をより精緻な手法にすることで性能の向上を図ることが考えられる．例えば，誤り訂正の対訳コーパスから，ニューラルネットワークを用いて文法性を学習する手法が考えられる．また，3観点の組み合わせ方を線形和ではなく，意味保存性のスコアが減点項として働くような組み合わせ方に変更することが考えられる．


\acknowledgment

本論文の査読にあたり，著者の不十分な記述などに対してご意見・ご指摘をくださった査読者の方々へ感謝します．本論文の内容の一部は，情報処理学会第4回自然言語処理シンポジウム・第234回自然言語処理研究会 \cite{weko_185026_1}およびThe 8th International Joint Conference on Natural Language Processing \cite{asano-mizumoto-inui:2017:I17-2}で発表したものです．


\bibliographystyle{jnlpbbl_1.5}
\begin{thebibliography}{}

\bibitem[\protect\BCAY{Asano, Mizumoto, \BBA\ Inui}{Asano
  et~al.}{2017}]{asano-mizumoto-inui:2017:I17-2}
Asano, H., Mizumoto, T., \BBA\ Inui, K. \BBOP 2017\BBCP.
\newblock \BBOQ Reference-based Metrics can be Replaced with Reference-less
  Metrics in Evaluating Grammatical Error Correction Systems.\BBCQ\
\newblock In {\Bem Proceedings of the 8th International Joint Conference on
  Natural Language Processing (Volume 2: Short Papers)}, \mbox{\BPGS\
  343--348}. Asian Federation of Natural Language Processing.

\bibitem[\protect\BCAY{浅野\JBA 水本\JBA 松林\JBA 乾}{浅野 \Jetal
  }{2017}]{weko_185026_1}
浅野広樹\JBA 水本智也\JBA 松林優一郎\JBA 乾健太郎 \BBOP 2017\BBCP.
\newblock 文法誤り訂正の文単位評価におけるリファレンスレス手法の評価性能.\
\newblock \Jem{情報処理学会第 4 回自然言語処理シンポジウム・第 234
  回自然言語処理研究会}.

\bibitem[\protect\BCAY{Banerjee \BBA\ Lavie}{Banerjee \BBA\
  Lavie}{2005}]{banerjee-lavie:2005:MTSumm}
Banerjee, S.\BBACOMMA\ \BBA\ Lavie, A. \BBOP 2005\BBCP.
\newblock \BBOQ METEOR: An Automatic Metric for MT Evaluation with Improved
  Correlation with Human Judgments.\BBCQ\
\newblock In {\Bem Proceedings of the ACL Workshop on Intrinsic and Extrinsic
  Evaluation Measures for Machine Translation and/or Summarization},
  \mbox{\BPGS\ 65--72}. Association for Computational Linguistics.

\bibitem[\protect\BCAY{Blanchard, Tetreault, Higgins, Cahill, \BBA\
  Chodorow}{Blanchard et~al.}{2013}]{TOEFL}
Blanchard, D., Tetreault, J., Higgins, D., Cahill, A., \BBA\ Chodorow, M. \BBOP
  2013\BBCP.
\newblock {\Bem TOEFL11: A Corpus of Non-Native English}.
\newblock Technical report, Educational Testing Service.

\bibitem[\protect\BCAY{{BNC Consortium}}{{BNC Consortium}}{2007}]{BNcorpus}
{BNC Consortium} \BBOP 2007\BBCP.
\newblock {\Bem The British National Corpus}.
\newblock version 3 (BNC XML Edition). Distributed by Oxford University
  Computing Services on behalf of the BNC Consortium.

\bibitem[\protect\BCAY{Bojar, \mbox{Chatterjee}, \mbox{Federmann}, Graham,
  Haddow, Huang, Huck, Koehn, Liu, Logacheva, Monz, \mbox{Negri}, Post, Rubino,
  Specia, \BBA\ Turchi}{Bojar et~al.}{2017}]{bojar-EtAl:2017:WMT1}
Bojar, O., \mbox{Chatterjee}, R., \mbox{Federmann}, C., Graham, Y., Haddow, B.,
  Huang, S., Huck, M., Koehn, P., Liu, Q., Logacheva, V., Monz, C.,
  \mbox{Negri}, M., Post, M., Rubino, R., Specia, L., \BBA\ Turchi, M. \BBOP
  2017\BBCP.
\newblock \BBOQ Findings of the 2017 Conference on Machine Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 2nd Conference on Machine Translation},
  \mbox{\BPGS\ 169--214}. Association for Computational Linguistics.

\bibitem[\protect\BCAY{Bojar, \mbox{Chatterjee}, \mbox{Federmann}, Graham,
  Haddow, Huck, Jimeno~Yepes, Koehn, Logacheva, Monz, Negri, Neveol, Neves,
  Popel, Post, Rubino, Scarton, Specia, Turchi, Verspoor, \BBA\ Zampieri}{Bojar
  et~al.}{2016}]{bojar-EtAl:2016:WMT1}
Bojar, O., \mbox{Chatterjee}, R., \mbox{Federmann}, C., Graham, Y., Haddow, B.,
  Huck, M., Jimeno~Yepes, A., Koehn, P., Logacheva, V., Monz, C., Negri, M.,
  Neveol, A., Neves, M., Popel, M., Post, M., Rubino, R., Scarton, C., Specia,
  L., Turchi, M., Verspoor, K., \BBA\ Zampieri, M. \BBOP 2016\BBCP.
\newblock \BBOQ Findings of the 2016 Conference on Machine Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 1st Conference on Machine Translation},
  \mbox{\BPGS\ 131--198}. Association for Computational Linguistics.

\bibitem[\protect\BCAY{Bojar, \mbox{Graham}, \BBA\ Kamran}{Bojar
  et~al.}{2017}]{bojar-graham-kamran:2017:WMT}
Bojar, O., \mbox{Graham}, Y., \BBA\ Kamran, A. \BBOP 2017\BBCP.
\newblock \BBOQ Results of the WMT17 Metrics Shared Task.\BBCQ\
\newblock In {\Bem Proceedings of the 2nd Conference on Machine Translation},
  \mbox{\BPGS\ 489--513}. Association for Computational Linguistics.

\bibitem[\protect\BCAY{Bryant \BBA\ Ng}{Bryant \BBA\ Ng}{2015}]{Bryant2015}
Bryant, C.\BBACOMMA\ \BBA\ Ng, H.~T. \BBOP 2015\BBCP.
\newblock \BBOQ How Far are We from Fully Automatic High Quality Grammatical
  Error Correction?\BBCQ\
\newblock In {\Bem Proceedings of the 53rd Annual Meeting of the Association
  for Computational Linguistics and the 7th International Joint Conference on
  Natural Language Processing (Volume 1: Long Papers)}, \mbox{\BPGS\ 697--707}.
  Association for Computational Linguistics.

\bibitem[\protect\BCAY{Dahlmeier \BBA\ Ng}{Dahlmeier \BBA\
  Ng}{2012}]{Dahlmeier:12:NAACL}
Dahlmeier, D.\BBACOMMA\ \BBA\ Ng, H.~T. \BBOP 2012\BBCP.
\newblock \BBOQ Better Evaluation for Grammatical Error Correction.\BBCQ\
\newblock In {\Bem Proceedings of the 2012 Conference of the North American
  Chapter of the Association for Computational Linguistics: Human Language
  Technologies}, \mbox{\BPGS\ 568--572}.

\bibitem[\protect\BCAY{Dale, Anisimoff, \BBA\ Narroway}{Dale
  et~al.}{2012}]{dale-anisimoff-narroway:2012:BEA}
Dale, R., Anisimoff, I., \BBA\ Narroway, G. \BBOP 2012\BBCP.
\newblock \BBOQ HOO 2012: A Report on the Preposition and Determiner Error
  Correction Shared Task.\BBCQ\
\newblock In {\Bem Proceedings of the 7th Workshop on Building Educational
  Applications Using NLP}, \mbox{\BPGS\ 54--62}. Association for Computational
  Linguistics.

\bibitem[\protect\BCAY{Dale \BBA\ Kilgarriff}{Dale \BBA\
  Kilgarriff}{2011}]{dale-kilgarriff:2011:ENLG}
Dale, R.\BBACOMMA\ \BBA\ Kilgarriff, A. \BBOP 2011\BBCP.
\newblock \BBOQ Helping Our Own: The HOO 2011 Pilot Shared Task.\BBCQ\
\newblock In {\Bem Proceedings of the Generation Challenges Session at the 13th
  European Workshop on Natural Language Generation}, \mbox{\BPGS\ 242--249}.
  Association for Computational Linguistics.

\bibitem[\protect\BCAY{Denkowski \BBA\ Lavie}{Denkowski \BBA\
  Lavie}{2014}]{Denkowski2014}
Denkowski, M.\BBACOMMA\ \BBA\ Lavie, A. \BBOP 2014\BBCP.
\newblock \BBOQ Meteor Universal: Language Specific Translation Evaluation for
  Any Target Language.\BBCQ\
\newblock In {\Bem Proceedings of the 9th Workshop on Statistical Machine
  Translation}, \mbox{\BPGS\ 376--380}. Association for Computational
  Linguistics.

\bibitem[\protect\BCAY{Felice \BBA\ Briscoe}{Felice \BBA\
  Briscoe}{2015}]{Felice2015}
Felice, M.\BBACOMMA\ \BBA\ Briscoe, T. \BBOP 2015\BBCP.
\newblock \BBOQ Towards a Standard Evaluation Method for Grammatical Error
  Detection and Correction.\BBCQ\
\newblock In {\Bem Proceedings of the 2015 Conference of the North American
  Chapter of the Association for Computational Linguistics: Human Language
  Technologies}, \mbox{\BPGS\ 578--587}. Association for Computational
  Linguistics.

\bibitem[\protect\BCAY{Grundkiewicz, Junczys-Dowmunt, \BBA\
  Gillian}{Grundkiewicz et~al.}{2015}]{Grundkiewicz2015}
Grundkiewicz, R., Junczys-Dowmunt, M., \BBA\ Gillian, E. \BBOP 2015\BBCP.
\newblock \BBOQ Human Evaluation of Grammatical Error Correction Systems.\BBCQ\
\newblock In {\Bem Proceedings of the 2015 Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 461--470}. Association for
  Computational Linguistics.

\bibitem[\protect\BCAY{Heilman, Cahill, Madnani, Lopez, Mulholland, \BBA\
  Tetreault}{Heilman et~al.}{2014}]{Heilman2014}
Heilman, M., Cahill, A., Madnani, N., Lopez, M., Mulholland, M., \BBA\
  Tetreault, J. \BBOP 2014\BBCP.
\newblock \BBOQ Predicting Grammaticality on an Ordinal Scale.\BBCQ\
\newblock In {\Bem Proceedings of the 52nd Annual Meeting of the Association
  for Computational Linguistics (Volume 2: Short Papers)}, \mbox{\BPGS\
  174--180}. Association for Computational Linguistics.

\bibitem[\protect\BCAY{Herbrich, Minka, \BBA\ Graepel}{Herbrich
  et~al.}{2007}]{NIPS2006_3079}
Herbrich, R., Minka, T., \BBA\ Graepel, T. \BBOP 2007\BBCP.
\newblock \BBOQ TrueSkill\texttrademark : A Bayesian Skill Rating System.\BBCQ\
\newblock In Sch{\"{o}}lkopf, B., Platt, J.~C., \BBA\ Hoffman, T.\BEDS, {\Bem
  Advances in Neural Information Processing Systems 19}, \mbox{\BPGS\
  569--576}. MIT Press.

\bibitem[\protect\BCAY{Lau, Clark, \BBA\ Lappin}{Lau et~al.}{2015}]{Lau2015}
Lau, J.~H., Clark, A., \BBA\ Lappin, S. \BBOP 2015\BBCP.
\newblock \BBOQ Unsupervised Prediction of Acceptability Judgements.\BBCQ\
\newblock In {\Bem Proceedings of the 53rd Annual Meeting of the Association
  for Computational Linguistics and the 7th International Joint Conference on
  Natural Language Processing (Volume 1: Long Papers)}, \mbox{\BPGS\
  1618--1628}. Association for Computational Linguistics.

\bibitem[\protect\BCAY{Linzen, Dupoux, \BBA\ Goldberg}{Linzen
  et~al.}{2016}]{TACL972}
Linzen, T., Dupoux, E., \BBA\ Goldberg, Y. \BBOP 2016\BBCP.
\newblock \BBOQ Assessing the Ability of LSTMs to Learn Syntax-Sensitive
  Dependencies.\BBCQ\
\newblock {\Bem Transactions of the Association for Computational Linguistics},
  {\Bbf 4}, \mbox{\BPGS\ 521--535}.

\bibitem[\protect\BCAY{Mikolov}{Mikolov}{2012}]{mikolov2012statistical}
Mikolov, T. \BBOP 2012\BBCP.
\newblock \BBOQ Statistical Language Models Based on Neural Networks.\BBCQ\
\newblock {\Bem Presentation at Google, Mountain View, 2nd April}.

\bibitem[\protect\BCAY{Mi{\l}kowski}{Mi{\l}kowski}{2010}]{Milkowski:10:SPE}
Mi{\l}kowski, M. \BBOP 2010\BBCP.
\newblock \BBOQ Developing an Open-source, Rule-based Proofreading Tool.\BBCQ\
\newblock {\Bem Software: Practice and Experience}, {\Bbf 40}  (7),
  \mbox{\BPGS\ 543--566}.

\bibitem[\protect\BCAY{Napoles, Sakaguchi, Post, \BBA\ Tetreault}{Napoles
  et~al.}{2015}]{Napoles:15:ACL}
Napoles, C., Sakaguchi, K., Post, M., \BBA\ Tetreault, J. \BBOP 2015\BBCP.
\newblock \BBOQ Ground Truth for Grammatical Error Correction Metrics.\BBCQ\
\newblock In {\Bem Proceedings of the 53rd Annual Meeting of the Association
  for Computational Linguistics and the 7th International Joint Conference on
  Natural Language Processing (Volume 2: Short Papers)}, \mbox{\BPGS\
  588--593}. Association for Computational Linguistics.

\bibitem[\protect\BCAY{Napoles, Sakaguchi, \BBA\ Tetreault}{Napoles
  et~al.}{2016}]{Napoles2016}
Napoles, C., Sakaguchi, K., \BBA\ Tetreault, J. \BBOP 2016\BBCP.
\newblock \BBOQ There's No Comparison: Reference-less Evaluation Metrics in
  Grammatical Error Correction.\BBCQ\
\newblock In {\Bem Proceedings of the 2016 Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 2109--2115}. Association for
  Computational Linguistics.

\bibitem[\protect\BCAY{Napoles, Sakaguchi, \BBA\ Tetreault}{Napoles
  et~al.}{2017}]{Napoles2017}
Napoles, C., Sakaguchi, K., \BBA\ Tetreault, J. \BBOP 2017\BBCP.
\newblock \BBOQ JFLEG: A Fluency Corpus and Benchmark for Grammatical Error
  Correction.\BBCQ\
\newblock In {\Bem Proceedings of the 15th Conference of the European Chapter
  of the Association for Computational Linguistics: Volume 2, Short Papers},
  \mbox{\BPGS\ 229--234}. Association for Computational Linguistics.

\bibitem[\protect\BCAY{Ng, Wu, Briscoe, Hadiwinoto, Susanto, \BBA\ Bryant}{Ng
  et~al.}{2014}]{Ng:14:CoNLL}
Ng, H.~T., Wu, S.~M., Briscoe, T., Hadiwinoto, C., Susanto, R.~H., \BBA\
  Bryant, C. \BBOP 2014\BBCP.
\newblock \BBOQ The CoNLL-2014 Shared Task on Grammatical Error
  Correction.\BBCQ\
\newblock In {\Bem Proceedings of the 18th Conference on Computational Natural
  Language Learning: Shared Task}, \mbox{\BPGS\ 1--14}. Association for
  Computational Linguistics.

\bibitem[\protect\BCAY{Papineni, Roukos, Ward, \BBA\ Zhu}{Papineni
  et~al.}{2002}]{papineni-EtAl:2002:ACL}
Papineni, K., Roukos, S., Ward, T., \BBA\ Zhu, W.-J. \BBOP 2002\BBCP.
\newblock \BBOQ BLEU: a Method for Automatic Evaluation of Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of 40th Annual Meeting of the Association for
  Computational Linguistics}, \mbox{\BPGS\ 311--318}.

\bibitem[\protect\BCAY{Parker, Graff, Kong, Chen, \BBA\ Maeda}{Parker
  et~al.}{2011}]{GIGAWORD}
Parker, R., Graff, D., Kong, J., Chen, K., \BBA\ Maeda, K. \BBOP 2011\BBCP.
\newblock {\Bem English Gigaword 5th Edition LDC2011T07}.
\newblock Philadelphia: Linguistic Data Consortium.

\bibitem[\protect\BCAY{Sakaguchi, Napoles, Post, \BBA\ Tetreault}{Sakaguchi
  et~al.}{2016}]{Sakaguchi2016}
Sakaguchi, K., Napoles, C., Post, M., \BBA\ Tetreault, J. \BBOP 2016\BBCP.
\newblock \BBOQ Reassessing the Goals of Grammatical Error Correction: Fluency
  Instead of Grammaticality.\BBCQ\
\newblock {\Bem Transactions of the Association for Computational Linguistics},
  {\Bbf 4}, \mbox{\BPGS\ 169--182}.

\bibitem[\protect\BCAY{Snover, Dorr, Schwartz, Micciulla, \BBA\ Makhoul}{Snover
  et~al.}{2006}]{hter}
Snover, M., Dorr, B., Schwartz, R., Micciulla, L., \BBA\ Makhoul, J. \BBOP
  2006\BBCP.
\newblock \BBOQ A study of translation edit rate with targeted human
  annotation.\BBCQ\
\newblock In {\Bem Proceedings of Association for Machine Translation in the
  Americas}, \mbox{\BPGS\ 223--231}.

\end{thebibliography}


\begin{biography}
\bioauthor{浅野　広樹}{
1993年生．2017年東北大学工学部情報科学研究科卒業．同年，同大学大学院情報科学研究科修士課程システム情報科学専攻に進学．現在に至る．自然言語処理の研究に従事．
}
\bioauthor{水本　智也}{
2015年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了．博士（工学）．同年より東北大学情報科学研究科特任助教を経て2017年より理化学研究所革新知能統合研究センター特別研究員．文法誤り訂正や記述式答案の自動採点など自然言語処理による言語学習／教育支援に関心がある．情報処理学会，人工知能学会，言語処理学会，ACL各会員．
}
\bioauthor{乾　健太郎}{
東北大学大学院情報科学研究科教授．1995年東京工業大学大学院情報理工学研究科博士課程修了．同大学助手，九州工業大学助教授，奈良先端科学技術大学院大学助教授を経て，2010年より現職．2016年より理化学研究所AIPセンター自然言語理解チームリーダー兼任．情報処理学会論文誌編集委員長，同会自然言語処理研究会主査等を歴任，2018年より言語処理学会論文誌編集委員長．
}


\end{biography}


\biodate



\end{document}
