    \documentclass[japanese]{jnlp_2.1}
\usepackage{jnlpbbl_1.3}
\usepackage[dvipdfm]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{hangcaption_jnlp}
\usepackage{array}

\usepackage{multirow}


\Volume{25}
\Number{4}
\Month{September}
\Year{2018}

\received{2017}{12}{9}
\revised{2018}{2}{26}
\rerevised{2018}{4}{23}
\accepted{2018}{5}{15}

\setcounter{page}{421}


\jsubject{論文}
\jtitle{正誤情報と文法誤りパターンを考慮した単語分散表現を\\
	用いた文法誤り検出}
\jauthor{金子　正弘\affiref{Author_1} \and 堺澤　勇也\affiref{Author_1} \and 小町　　守\affiref{Author_1}}
\jabstract{
本稿では，文法誤り検出のための正誤情報と文法誤りパターンを考慮した単語分散表現の学習手法を提案する．これまでの文法誤り検出で用いられている単語分散表現の学習では文脈だけをモデル化しており，言語学習者に特有の文法誤りを考慮していない．そこで我々は，正誤情報と文法誤りパターンを考慮することで文法誤り検出に特化した単語分散表現を学習する手法を提案する．正誤情報とは，n-gram単語列内のターゲット単語が誤っているのか正しいのかというラベルである．これは単語単位の誤りラベルを元に決定される．誤りパターンとは，学習者が誤りやすい単語の組み合わせである．誤りパターンは大規模な学習者コーパスから単語分散表現の学習のために抽出することが可能である．この手法で学習した単語分散表現で初期化したBidirectional Long Short-Term Memoryを分類器として使うことで，First Certificate in Englishコーパスに対する文法誤り検出において世界最高精度を達成した．

}
\jkeywords{学習者支援，文法誤り検出，単語分散表現，深層学習}

\etitle{Grammatical Error Detection Using Error- and Grammaticality-Specific Word Embeddings}
\eauthor{Masahiro Kaneko\affiref{Author_1} \and Yuya Sakaizawa\affiref{Author_1} \and Mamoru Komachi\affiref{Author_1}} 
\eabstract{
In this study, we improve grammatical error detection by learning word embeddings that consider grammaticality and error patterns. Most existing algorithms for learning word embeddings usually model only the syntactic context of words and do not consider grammatical errors specific to language learners. Therefore, we propose methods to learn word embeddings specialized for grammatical errors by considering grammaticality and grammatical error patterns. We determine grammaticality of n-gram sequence from the annotated error tags and extract grammatical error patterns for word embeddings from large-scale learner corpora. Experimental results show that a bidirectional long-short term memory model initialized by our word embeddings achieved the state-of-the-art accuracy by a large margin in an English grammatical error detection task on the First Certificate in English dataset.
}
\ekeywords{Educational Application, Grammatical Error Detection, Word Embedding, Deep Learning}

\headauthor{金子，堺澤，小町}
\headtitle{正誤情報と文法誤りパターンを考慮した単語分散表現を用いた文法誤り検出}

\affilabel{Author_1}{首都大学東京}{Tokyo Metropolitan University}



\begin{document}
\maketitle


\section{はじめに}

作文中における誤りの存在や位置を示すことができる文法誤り検出は，第二言語学習者の自己学習と語学教師の自動採点支援において有用である．
一般的に文法誤り検出は典型的な教師あり学習のアプローチによって解決可能な系列ラベリングのタスクとして定式化できる．
例えば，Bidirectional Long Short-Term Memory (Bi-LSTM) を用いて英語の文法誤り検出の世界最高精度を達成している研究 \cite{rei-yannakoudakis:2016:P16-1}がある．
彼らの手法は，言語学習者コーパスがネイティブが書いた生コーパスと比較してスパースである問題に対処するために，事前に単語分散表現を大規模なネイティブコーパスで学習している．

しかし，ReiとYannakoudakisの研究を含む多くの文法誤り検出の研究において用いられている分散表現学習のアルゴリズムのほとんどは，ネイティブコーパスにおける単語の文脈をモデル化するだけであり，言語学習者に特有の文法誤りを考慮していない．
一方で，単語分散表現に言語学習者に特有の文法誤りを考慮することは，より文法誤り検出に特化した単語分散表現を作成可能であり有用であると考えられる．そこで，我々は文法誤り検出における単語分散表現の学習に正誤情報と文法誤りパターンを考慮する3つの手法を示す．
ただし，3つ目の手法は最初に提案する2つの手法を組み合わせたものである．

1つ目の手法は，学習者の誤りパターンを用いて単語分散表現を学習する\textbf{Error specific word embedding} (EWE) である．具体的には，単語列中のターゲット単語と学習者がターゲット単語に対して誤りやすい単語を入れ替え負例を作成することで，正しい表現と学習者の誤りやすい表現が区別されるように学習する．

2つ目の手法は，正誤情報を考慮した単語分散表現を学習する\textbf{Grammaticality specific word embedding} (GWE) である．
単語分散表現の学習の際に，n-gramの正誤ラベルの予測を行うことで，正文に含まれる単語と誤文に含まれる単語を区別するように学習する．
この研究において，正誤情報とは周囲の文脈に照らしてターゲット単語が正しいまたは間違っているというラベルとする．

3つ目の手法は，EWEとGWEを組み合わせた\textbf{Error \& grammaticality specific word embedding} (E\&GWE)である．
E\&GWEは正誤情報と誤りパターンの両方を考慮することが可能である．

本研究における実験では，英語学習者作文の文法誤り検出タスクにおいて，E\&GWEで学習した単語分散表現で初期化したBi-LSTMを用いた結果，世界最高精度を達成した．
さらに，我々は大規模な英語学習者コーパスであるLang-8 \cite{mizumoto-EtAl:2011:IJCNLP-2011}を使った実験も行った．
その結果，文法誤り検出においてノイズを含むコーパスからは誤りパターンを抽出して学習することが有効であることが示された．

本研究の主要な貢献は以下の通りである．
\begin{itemize}
\item 正誤情報と文法誤りパターンを考慮する提案手法で単語分散表現を初期化したBi-LSTMを使い，First Certificate in English (FCE-public)コーパス\cite{yannakoudakis-briscoe-medlock:2011:ACL-HLT2011}において世界最高精度を達成した．
\item FCE-publicとNUCLEデータ\cite{dahlmeier2013building}にLang-8から抽出した誤りパターンを追加し，単語分散表現を学習することで文法誤り検出の精度が大幅に向上することを示した．
\item 実験で使用したコードと提案手法で学習された単語分散表現を公開した\footnote{https://github.com/kanekomasahiro/grammatical-error-detection}．
\end{itemize}

本稿ではまず第2章で英語学習者作文における文法誤り検出に関する先行研究を紹介する．
第3章では従来の単語分散表現の学習方法について述べる．
次に，第4章では提案手法である正誤情報と誤りパターンを考慮した単語分散表現の学習モデルについて説明する．
そして第5章ではFCE-publicとNUCLEの評価データであるCoNLLデータセットを使い提案手法を評価する．
第6章では文法誤り検出モデルと学習された単語分散表現における分析を行い，最後に第7章でまとめる．



\section{先行研究}

文法誤り検出の研究の多くは前置詞の正誤 \cite{tetreault2008ups}，冠詞の正誤 \cite{han2006detecting} や形容詞と名詞の対の正誤   \cite{kochmar2014detecting} のように特定のタイプの文法誤りに取り組むことに焦点が当てられている．
一方で，特定のタイプの文法誤りではなく文法誤り全般に取り組んだ研究は少ない．
ReiとYannakoudakis \citeyear{rei-yannakoudakis:2016:P16-1}は，word2vecを埋め込み層の初期値とした双方向のBi-LSTMを提案し，FCE-publicに対して全ての誤りを対象とする文法誤り検出タスクにおいて現在世界最高精度を達成している．
我々も全ての文法誤り検出タスクの手法に取り組むが，正誤情報や学習者の誤りパターンを考慮した単語分散表現を使う．

誤りパターンを考慮した研究としては，\citeA{sawai2013learner} の学習者誤りパターンを用いた動詞の訂正候補を提案する手法や，\citeA{liu2010srl} の類義語辞書および英中対訳辞書から作成した誤りパターンを元に中国人英語学習者作文の動詞置換誤りを自動訂正する手法がある．
これらの研究とは，動詞置換誤りだけを検出対象としている点が異なり，Liuらの研究に関しては，我々が学習者コーパスから誤りパターンを作成している点が異なる．

正誤情報のような正解ラベルを考慮した単語分散表現を学習する研究としては，英語学習者作のスコア予測タスクにおいて \citeA{alikaniotis-yannakoudakis-rei:2016:P16-1} は，各単語の作文スコアへの影響度を学習することによって単語分散表現を構築するモデルを提案した．
具体的には，スコア予測により特定の単語の作文スコアに対する影響度を学習し，作成した負例とのランキングにより文脈を学習する．
この研究では平均2乗誤差を用いて文書レベルのスコアから単語埋め込みを学習する．
一方で，我々の研究ではヒンジ損失を用いて単語レベルの2値誤り情報から単語埋め込みを学習する．

大規模な言語学習者コーパスであるLang-8を用いた文法誤り訂正の研究として，統計的機械翻訳手法 \cite{xie2016neural}とニューラルネットワークを用いた同時解析モデル\cite{chollampatt2016neural}などがある．
我々の研究では上記の研究のようにLang-8を直接学習データとして使うのではなく，Lang-8から文法誤りパターンを抽出し単語分散表現の学習に使用した．
Lang-8を直接学習データとして使ったLSTMベースの分類器では期待するような結果は得られなかったが，誤りパターンとして有益な情報を抽出することで文法誤り検出の精度を向上させることが可能であることを示す．


\section{単語分散表現学習の従来手法：C\&W Embedding}

本研究での提案手法はCollobertとWeston \citeyear{collobert2008unified} の研究を正誤情報と誤りパターンを考慮できるように拡張している．
そのため，まず初めにC\&Wの単語分散表現学習について説明する．
C\&Wは局所的な文脈を元にターゲット単語の分散表現を学習するためのn-gramベースのニューラルネットワーク手法である．具体的には，サイズ$n$の単語列$S = (w_1,\ldots ,w_t,\ldots ,w_n)$中のターゲット単語$w_t$の表現を同じ単語列に存在する他の単語$(\forall w_i \in S | w_i \neq w_t)$を元に学習する．
分散表現を学習するために，モデルはターゲット単語$w_t$を語彙$V$からランダムに選択した単語と入れ替えることにより作成した負例$S' = (w_1,\ldots ,w_c,\ldots ,w_n |w_c 〜 V) とS$を比較する．
そして，負例$S'$ともともとの単語列$S$を区別するように学習する．
単語列の単語を埋め込み層でベクトルに変換し，単語列$S$と負例$S'$をモデルに入力する．
変換されたそれぞれのベクトルを連結し入力ベクトル$x∈\mathbb{R}^{n \times{D}}$とする．
$D$は各単語の埋め込み層の次元数である．
そして，入力ベクトル$x$は線形変換式 (1) に渡される．
その後，隠れ層のベクトル$i$は線形変換式 (2) に渡され，出力$f(x)$を得る．
\begin{align}
i & =  \sigma (W_{hi}x + b_h)\\
f(x) & =  W_{oh}i + b_o
\end{align}
$W_{hi}$は入力ベクトルと隠れ層の間の重み行列，$W_{oh}$は隠れ層のベクトルと出力層の重み行列，$b_oとb_h$はそれぞれバイアス，$\sigma$は要素ごとの非線形関数$\tanh$である．
このモデルは正しい単語列$S$が単語を入れ替えたことによりノイズを含む負例$S'$よりランキングが高くなるようにすることで分散表現を学習する．
そして式 (3) によって正しい単語列とノイズを含む単語列の差が少なくとも 1 になるように最適化される．
\begin{equation}
loss_{context}(S，S') = \max(0,1 - f(x) + f(x'))
\end{equation}
$x'$は負例$S'$の単語$w_c$を埋め込み層で変換されたベクトルに変換することで得られた値である．
$1-f(x)+f(x')$の結果と$0$を比較し，大きい方の値を誤差とする．


\section{正誤情報と誤りパターンを考慮した単語分散表現}

この章では提案手法であるEWE, GWEとE\&GWEにおける単語分散表現の学習方法について詳しく述べていく．


\subsection{文法誤りパターンを考慮した表現学習(EWE)}

EWEは，C\&W Embeddingと同じモデルで単語分散表現を学習する．
ただし，負例をランダムで作成するのではなく，学習者がターゲット単語$w_t$に対して誤りやすい単語$w_c$と入れ替えることで作成する．
こうすることで，学習者の誤りパターンを考慮して負例を作成し，ターゲット単語の分散表現が誤りやすい単語と区別されるように学習される．
学習の際，$w_c$は条件付き確率$P(w_c|w_t)$によりサンプリングされる．
\begin{equation}
P(w_c|w_t) = \frac{|w_c, w_t|} {\sum_{w_c\prime} |w_c\prime, w_t|}
\end{equation}
ここで$w_t$はターゲット単語，$w_c'$は$w_t$と対応する$w_c$の集合である．
学習者の誤りパターンとして，学習者コーパスから抽出した誤りの訂正前の単語に対して誤りの訂正後の単語を入れ替え候補とする．
図\ref{fig:model}(a)はEWEの表現学習におけるネットワーク構造を示している．

\begin{figure}[t]
\begin{center}
\includegraphics{25-4ia4f1.eps}
\end{center}
\hangcaption{単語分散表現を学習する提案手法(a) EWE (b) GWEの構造．両方のモデルはwindowサイズの単語列の単語ベクトルを結合し隠れ層に入力している．その際，EWEの出力はスカラー値であり，GWEの出力はスカラー値と単語列の中央単語のラベルである．}
\label{fig:model}
\end{figure}

\vspace{0.5\Cvs}
\centerline{\textit{I think I can win this \textbf{price/*prize}.}}
\vspace{0.5\Cvs}

上の文はFCE-publicのテストデータに含まれている文である．
この文では，priceが誤りでprizeが正しい単語である．
この場合，$w_t$はpriceであり$w_c$がprizeである．
今回の実験では，1対1の誤りパターンのみを使用する．

一方，入れ替え候補を学習者が誤りやすい単語にすることで，入れ替え候補がない単語や頻度の少ない単語で文脈を適切に学習できないという問題が生じる．
この問題をword2vecを使い事前学習したベクトルを単語それぞれの初期値とすることで解決する．
文脈が既に学習されたベクトルをファインチューニングすることで，入れ替え候補がない単語や少ない単語も文脈を学習することが可能になる．


\subsection{正誤情報を考慮した表現学習(GWE)}

Alikaniotisら\citeyear{alikaniotis-yannakoudakis-rei:2016:P16-1}の作文スコア予測のように，C\&W Embeddingをそれぞれの単語の局所的な言語情報だけでなく，ターゲット単語がどれだけ単語列の正誤ラベルに貢献しているかを考慮して学習するように拡張する．
図\ref{fig:model}(b)はGWEの表現学習のネットワーク構造を示している．
単語の正誤情報を分散表現に含めるために，我々は単語列の正誤ラベルを予測する出力層を追加し，式(3)を$2$つの出力の誤差関数から構成されるように拡張する．
\begin{align}
f_{grammar}(x) & =  W_{oh1}i+b_{o1}\\
y & =  \textit{softmax}(f_{grammar}(x))\\
loss_{predict}(S) & =  -\sum \hat{y}\cdot\log(y)\\
loss_{overall}(S, S') & =  \alpha \cdot loss_{context}(S，S') + (1 - \alpha) \cdot loss_{predict}(S)
\end{align}
式 (5) の$f_{grammar}$は，単語列$S$のラベルの予測値である．
式 (6) のように，$f_{grammar}$に対してソフトマックス関数を用いて予測確率$y$を計算する．
式 (7)で交差エントロピー関数を用いて誤差$loss_{predict}$を計算する．ここで，$\hat{y}$はターゲット単語の正解ラベルのベクトルである． 
そして，式 (8) のように2つの誤差を組み合わせて$loss_{overall}$を計算する．
ここで $\alpha$ は，2つの誤差関数の重み付けを決定するハイパーパラメータである．

我々は，学習のための単語列の正誤情報としてFCE-publicにもともと付けられている正誤の2値ラベルを用いた．
Lang-8に関しては動的計画法を使いタグ付けを行った．
GWEの負例は，C\&Wと同様にランダムに作成されている．


\subsection{誤りパターンと正誤情報を考慮した表現学習(E\&GWE)}

E\&GWEは，EWEとGWEを組み合わせたモデルである．
具体的には，E\&GWEモデルは負例をEWEのように誤りパターンから作成し，GWEのようにスコアと正誤の予測を行う．


\section{文法誤り検出の実験設定}

我々は分類器と単語分散表現のための学習データとして，FCE-public学習データ，NUCLEデータとLang-8を用いる．
そして，テストデータとしてFCE-publicテストデータとCoNLL-14 \cite{ng2014conll}テストデータを用いる．
表 \ref{tab:data_info}はそれぞれのコーパスの統計情報を示している．
我々の文法誤り検出ではFCE-public，NUCLE，CoNLLと同様に，ある程度英文が書けるような上級レベルの英語学習者を対象にしている\footnote{文法誤り検出または訂正で用いられているコーパスは上級者を対象としているものが多い．その他の代表的なコーパスとしてはJFLEG \cite{napoles-sakaguchi-tetreault:2017:EACLshort} とAWES \cite{daudaravicius-EtAl:2016:BEA11} がある．}．
一方で，Lang-8にはさまざまなレベルの英語学習者が含まれている．
開発データはそれぞれFCE-public開発データとCoNLL-13 \cite{dahlmeier2013building}開発データとする．

\begin{table}[b]
\caption{コーパスの統計情報}
\label{tab:data_info}
\input{04table01.tex}
\end{table}

単語の削除誤りに関しては，削除誤りの直後の単語に誤りタグを付けた．
過学習を防ぐために，学習データ上で頻度が1の単語を未知語とした．

我々はまず単語分散表現の学習について，提案手法（EWE，GWEとE\&GWE）と既存手法（word2vecとC\&W）を比較する．
そのために，従来手法と提案手法それぞれの単語分散表現で初期化された分類器Bi-LSTMをFCE-publicの学習データを使って学習し，文法誤り検出を行った．

\textbf{\textit{FCE-public データセット．}}FCE-publicデータセットは文法誤り訂正における最も有名な英語学習者コーパスの 1 つである．
このコーパスには上級レベルで英語を評価するFirst Certificate in English (FCE) 試験を受けた英語学習者によって書かれた作文が含まれている．
そして，文法誤りの種類に基づいてタグ付けがされている．
我々は公式に分割されたコーパスを使用した：学習データ30,953文，テストデータ2,720文と開発データ2,222文である．
FCE-publicでは，誤りパターンのターゲット単語として4,184単語が含まれている．
入れ替え候補としては9,834トークン，6,420タイプが含まれている．

\textbf{\textit{NUCLEとCoNLL．}}提案手法による誤り検出精度の向上をFCE-publicだけではなく他のデータでも検証するために，CoNLL-13 \cite{dahlmeier2013building}，CoNLL-14 \cite{ng2014conll} の共通タスクのデータとNUS Corpus of Learner English (NUCLE) \cite{dahlmeier2013building}を用いる．
NUCLEは英語学習者であるシンガポールの大学の学生によって書かれた1,414個の作文が含まれている．
作文のテーマとしては環境汚染や健康問題などがある．
含まれている文法誤りは，英語を母語とするプロの英語教師によって訂正とアノテーションがされている．

学習データとしてNUCLEの57,151文，開発データとしてCoNLL-13の1,381文そしてテストデータとしてCoNLL-14の1,312文を用いる．
誤りパターンのターゲット単語として6,204単語が含まれている．
入れ替え候補としては13,617トークン，9,249タイプが含まれている．
誤った文に対して動的計画法により正誤のタグ付けを行った．

\textbf{\textit{Lang-8コーパス．}}さらに，我々は単語分散表現の学習のために大規模な英語学習者コーパスLang-8をFCE-publicとNUCLEに追加し使う．
その際，分類器Bi-LSTMの学習にはFCE-publicとNUCLEだけをそれぞれの実験で使う．
Lang-8コーパスには，英語学習者によって書かれた英文を人手でタグ付けした100万文以上のデータがある．
Lang-8を単語分散表現の学習に使うのは，大規模データにおける提案手法の効果について調べるためである．

Lang-8は大規模な学習者コーパスであるが，専門家がアノテートしているわけではないため訂正されていない箇所が正用例と判断された結果訂正されていないとは限らず，単にアノテーションされていない場合もあるというノイズが含まれている\cite{mizumoto-EtAl:2011:IJCNLP-2011}．
専門家にアノテートされているコーパスであれば教育的観点から意図的に誤りを訂正しなかった場合も考えられるが，Lang-8では意図しているのか意図していないのか区別することができない．
一方で，訂正された箇所は正しい可能性が高いという特徴がある．

そのため我々は，Lang-8を直接学習データとして用いるより誤りパターンを抽出し単語分散表現を学習したほうが文法誤り検出の精度が向上するのではないかと考え，これについても調査を行った．
Lang-8は誤りパターンのターゲット単語として10,372タイプが含まれている．
そして，入れ替え候補として272,561トークン，61,950タイプが含まれている．


\subsection{動的計画法を用いたタグ付け}

FCE-publicはもともとデータに正誤タグが付与されているがNUCLE，CoNLLとLang-8には付与されていない．
そのため，誤文に対しては動的計画法を用いて原文と正解文の単語のアライメントを取り正誤タグの付与を行う．
一致にはスコア$1$を与え，不一致と対応する単語がない場合にはスコア$0$を各単語に与える．
各単語単位のスコアを足し合わせアライメントのスコアを計算し，Viterbi アルゴリズムでスコアが最大となるアライメントを求める．
得られたアライメント結果を元に，対応する単語が不一致またはない場合は誤用タグを付与し，一致だった場合は正用タグを付与する．


\subsection{評価尺度}

先行研究\cite{rei-yannakoudakis:2016:P16-1}のように，我々はメインの評価手法として$F_{0.5}$を使う．
\begin{equation}
F_{0.5} = (1 + 0.5^2)\cdot \frac{precision \cdot recall}{0.5^2\cdot precision + recall}
\end{equation}
この評価尺度は，誤り訂正タスクのCoNLL-14の共通タスクでも用いられている\cite{ng2014conll}．
$F_{0.5}$はprecisionとrecallの両方の組み合わせであり，precisionに2倍の重みを割り当てている．
なぜなら，誤り検出においては正確なフィードバックがカバレッジより重要であるからである\cite{nagata2010evaluating}．


\subsection{単語分散表現}

先行研究  \cite{rei-yannakoudakis:2016:P16-1} で用いられていた単語分散表現と揃え，C\&W，EWE，GWEとE\&GWEの埋め込み層の次元数は$300$とし，隠れ層の次元数は$200$とした．単語分散表現の事前学習で用いられるword2vec \cite{chelba2013one}としてGoogle News\footnote{https://github.com/mmihaltz/word2vec-GoogleNews-vectors}からクロールしたデータから学習したモデルを用いる．単語列の長さは$3$，予備実験により単語列から作成する負例は$600$，式 (8) の線形補間の$\alpha$は$0.03$，パラメータの初期学習率は$0.001$とし，ADAMアルゴリズム \cite{kingma2014adam} によって最適化した．
そしてGWEの初期値はランダムとし，EWEは事前学習されたword2vecを初期値にした．

Lang-8から誤りパターンを抽出した実験では，単語分散表現の学習のためにFCE-publicとLang-8の学習データを組み合わせて誤りパターンとした．しかしながら，Lang-8の誤りパターンの数がFCE-publicと比較して非常に多いため，我々はそれぞれの頻度の比率が1対1となるよう正規化した．
単語分散表現を学習するためにLang-8から誤りパターンを抽出する負例作成の過程は以下の通りである：
\begin{enumerate}
\item 動的計画法を使い正しい文と誤った文から単語のペアを抽出する．
\item 抽出された単語のペアがFCE-publicによって抽出された語彙に含まれていた場合誤りパターンとする．
\end{enumerate}


\subsection{分類器}

EWE，GWEとE\&GWEをBi-LSTMを用いた文法誤り分類器の単語分散表現の初期値として使用し，入力文中の単語の正誤の予測を行う．
Bi-LSTMはこのタスクにおいてConditional Random Field (CRF) やConvolutional Neural Networks (CNN) などの他のモデルと比較して高い精度（世界最高精度）を出しており，ReiとYannakoudakisの研究でも用いられている．
彼らのBi-LSTMは隠れ層と出力層の間に線形変換を行う追加の隠れ層が導入されている．
ネットワークおよびパラメータの設定は，word2vecを初期値にしたBi-LSTMを使った先行研究  \cite{rei-yannakoudakis:2016:P16-1} と同じ設定である．
具体的には，埋め込み層の次元数は$300$とし，隠れ層の次元数は$200$とし，隠れ層と出力層の間の隠れ層の次元数は50とした．
初期学習率を$0.001$とした．そして，ADAMアルゴリズム \cite{kingma2014adam} で，バッチサイズを64文として最適化した．

\begin{table}[b]
\hangcaption{上表はFCE-publicだけ，下表はNUCLEだけで学習されたBi-LSTMと単語分散表現のそれぞれのテストデータにおける誤り検出精度}
\label{tab:sub_first}
\input{04table02.tex}
\end{table}


\section{文法誤り検出の実験結果}

\subsection{FCE-publicとNUCLEを用いた実験結果}

表\ref{tab:sub_first}は，Bi-LSTMを2つのベースラインで初期化したモデル（FCE + word2vec，FCE + C\&W，NUCLE + word2vec と NUCLE + C\&W）と提案手法を使ったモデル（FCE + EWE，FCE + GWE，FCE + E\&GWE，NUCLE + EWE，NUCLE + GWEとNUCLE + E\&GWE）のFCE-publicとNUCLEを用いて学習した誤り検出の結果である．
アスタリスクはPrecision，Recallと$F_{0.5}$のそれぞれがFCE + word2vec（(R\&Y 2016)の再実装）またはNUCLE + word2vecに対して有意水準0.05で有意差があることを示す．
FCE-publicで学習したモデルはFCE-publicのテストデータを使い，NUCLEで学習したモデルはCoNLL-14 \cite{ng2014conll} のテストデータを使い評価した．
FCE + word2vecに関しては2つのモデルがある．
FCE + word2vec (R\&Y 2016)は先行研究\cite{rei-yannakoudakis:2016:P16-1}で報告されている値である．
FCE + word2vec （(R\&Y 2016)の再実装）は先行研究の再実装の結果である．
NUCLE + E\&GWEとFCE + E\&GWEは，それぞれのコーパスのEWEとGWEを組み合わせためモデルである．

まず，ベースラインと提案手法（FCE + EWE，FCE + GWE，NUCLE +  EWEとNUCLE + GWE）を比較すると，一貫して精度が向上していることがわかる．
このことから，誤りパターンと正誤情報を考慮する提案手法が文法誤り検出では有効であることがわかる．
さらに，2つの手法を組み合わせたFCE + E\&GWEとNUCLE + E\&GWEのほうがEWEとGWEそれぞれを単体で使ったモデルより高い精度を出している．
このことから，EWEとGWEを組み合わせることが有効であることがわかる．

\begin{table}[b]
\hangcaption{大規模なLang-8コーパスを追加で使いBi-LSTMか単語分散表現のどちらかを学習した場合のFCE-publicまたはNUCLEのテストデータにおける誤り検出精度}
\label{tab:sub_second}
\input{04table03.tex}
\end{table}


\subsection{Lang-8を用いた実験結果}

Lang-8を直接学習データとして用いるより誤りパターンを抽出し単語分散表現を学習したほうが文法誤り検出の精度が向上につながることを検証するために，以下の2つの設定で比較する：(1) FCE-publicとNUCLEそれぞれの誤りパターンにLang-8から抽出した誤りパターンを追加する．そして，誤りパターンを用いて学習された単語分散表現によって初期化されたBi-LSTMをFCE-publicとNUCLEのそれぞれだけを使い学習する（FCE + EWE-L8，FCE + E\&GWE-L8，NUCLE + EWE-L8とNUCLE + E\&GWE-L8, 表 \ref{tab:sub_second}）；(2) word2vecで初期化Bi-LSTMの学習データとしてFCE-publicとNUCLEのそれぞれに直接Lang-8を追加する（FCE\&L8 + W2VとNUCLE\&L8 + W2V, 表 \ref{tab:sub_second}）．
表\ref{tab:sub_second}はLang-8を学習データに追加した文法誤り検出の結果である．
アスタリスクはPrecision，Recallと$F_{0.5}$のそれぞれがFCE + word2vec（(R\&Y 2016)の再実装）またはNUCLE + word2veに対して有意水準0.05で有意差があることを示す．
その際，我々はウィルコクソンの符号順位検定 ($p \leq 0.05$) を5回行った．

表\ref{tab:sub_first}と表\ref{tab:sub_second}から，Precision，Recallと$F_{0.5}$に関してそれぞれの手法を以下のようにランク付けすることができる：
(FCE, NUCLE) + E\&GWE-L8 $>$ (FCE, NUCLE) + EWE-L8 $>$ (FCE, NUCLE) + E\&GWE $>$ (FCE, NUCLE) + GWE $>$ (FCE, NUCLE) + EWE $>$ (FCE, NUCLE) + word2vec $>$ (FCE, NUCLE) + C\&W．
文法誤り検出において誤りパターンと正誤情報を考慮することで一貫して精度が向上している．
このことから，提案手法が文法誤り検出では有効であることがわかる．
そして，我々の提案手法はLang-8コーパスを使うことなく先行研究と比較して統計的有意差がある．
我々の提案手法はFCE-publicにおいて全ての評価尺度において世界最高精度であるReiとYannakoudakisの先行研究を上回った．
そして，FCE\&L8 + word2vecとFCE + EWE-L8の結果から，直接分類器の学習データとして使うより誤りパターンとして抽出し使うほうが良いことがわかる．
これはLang-8の正しい文にノイズが多く含まれているためと考えられる．
Lang-8のような専門家がアノテートしたわけではないノイズを多く含むコーパスを直接学習データとして使わず，大規模である利点を活かし多様な誤りパターンを抽出するために使う．
そして，FCE-publicやNUCLEのような小規模ではあるが専門家がアノテートしたコーパスを専門家のアノテーションの特徴を捉えた質の高い学習をするために使う．
これにより，それぞれのコーパスの利点を活かした学習を行うことができていると言える．
そして，上記の実験からGWEと組み合わせることでさらに精度が向上することがわかる．

\begin{table}[b]
\caption{誤りタイプごとの正解数と正解率}
\label{tab:label_correct}
\input{04table04.tex}
\end{table}


\section{考察}
\label{考察}

それぞれの手法ごとにどのような違いがあるかを調べるために，誤りタイプごとの正解数について見ていく．
表\ref{tab:label_correct}は，FCE-publicのテストデータにおけるそれぞれのモデルの誤りタイプごとの正解数と正解率を示している．
ここでは，比較対象のモデル同士でもっとも誤りタイプの正解
数の差が大きかった2つの誤りタイプを上げている．
従来手法と提案手法，Lang-8ありの提案
手法とLang-8なしの提案手法を比較した．
誤りタイプはFCE-publicにもともと付与されていた正解ラベルを用いる\footnote{誤りのタグ付け方法または種類については付録に掲載した．}．

まず，従来手法と提案手法で最も正解数が異なる，動詞置換誤りと限定詞欠損誤りについて分析する （表\ref{tab:label_correct}の(a)と(b)）．
動詞置換誤りに関しては提案手法の正解数が多い．
一方で，限定詞欠損誤りに関してはベースラインであるFCE + word2vecとFCE + C\&Wのほうが正解数が多い．
提案手法のほうが限定詞欠損誤りの正解数が少ないのは，誤りパターンが単語ペアを抽出し作成されており，単語が欠落している誤りが含まれていないためと考えられる．
1-gramベースの誤りパターンを用いた単語分散表現では入れ替え誤りに特化した学習を行うため，誤りパターンに含まれていないような他の誤りを文脈を手がかりに学習することは難しいと考えられる．

次に，我々はLang-8から抽出した誤りパターンを使うことによる影響について調べる（表\ref{tab:label_correct}の(b)と(c)）．
FCE + EWEとFCE + EWE-L8は名詞置換誤りと名詞語形誤りにおいて最も正解数が異なる．
名詞置換誤りとはsuggestionとadviceのような誤りであり，名詞語形誤りとはtimeとtimesのような誤りである．
FCE + EWE-L8は，名詞置換誤りと名詞語形誤りの両方で正解数が多い．
理由としては，名詞置換誤りと名詞語形誤りともにLang-8に含まれている誤りパターンの数がFCE-publicと比較して10倍ほど多いためと考えられる．

\begin{table}[b]
\caption{FCE + word2vecとFCE + E\&GWE-L8を用いた誤り検出の例}
\label{tab:example}
\input{04table05.tex}
\end{table}

表\ref{tab:example}は従来手法であるFCE + word2vecと最も精度の高い提案手法であるFCE + E\&GWE-L8のテストデータに対する検出例を示している．
表\ref{tab:example}(a)は名詞置換誤りの検出例を示している\footnote{実際のFCE-publicでは，最初にenteryはentryに訂正され，その後entranceに訂正されている．}．
FCE + word2vecは名詞置換誤りを検出できていないが，FCE + E\&GWE-L8は名詞置換誤りを検出することができている．
名詞語形誤りに関しては表\ref{tab:example}(b)で示されている．
ここで，FCE + word2vecは誤りを1つも検出することができていない．
一方で，FCE + E\&GWE-L8は名詞語形誤りを検出することができている．
これは，Lang-8から抽出した誤りパターンに含まれていたためと考えられる．
saleとclothsの検出は両方のモデルが失敗している．
しかし，前者は構文的情報を必要とし，後者は常識を必要とするため誤り検出が難しいと考えられる．
表 \ref{tab:example}(c) では，FCE + W2Vは限定詞欠損誤りの検出に成功したが，FCE + E\&GWE-L8は検出に失敗した．
この結果は限定詞欠損誤りと同様に誤りパターンの構造上，挿入誤りを適切に学習できていないことを示している．

\begin{figure}[b]
\begin{center}
\includegraphics{25-4ia4f2.eps}
\end{center}
\hangcaption{FCE + word2vecとFCE + E\&GWE-L8によって学習された単語分散表現のt-SNEによる可視化．大文字がFCE + word2vecの単語であり，小文字がFCE + E\&GWE-L8の単語である．}
\label{fig:flow}
\end{figure}

図\ref{fig:flow}は，学習データ内で高頻度な誤りの単語分散表現（FCE + word2vecとFCE + E\&GWE-L8）をt-SNEを用いて可視化した図である．
我々は誤りとして出現頻度が多い前置詞と動詞をいくつかプロットした．
頻度を元に可視化したのは，高頻度で誤っているほど学習データに多く出現するため単語分散表現がよく学習され違いがわかりやすくなると考えたからである．
ここでは誤りとして高頻度な単語を誤りやすい，低頻度な単語を誤りにくい単語としている．
学習者が誤りにくい単語はFCE + E\&GWE-L8とFCE + word2vecで似たような位置として学習されている．
一方で，学習者が誤りやすい単語に関しては誤りの出現頻度に比例してFCE + E\&GWE-L8とFCE + word2vecで離れた位置として学習されていることがわかる．
例えば，underやwalkのようにあまり誤りとして出現しない単語はFCE + word2vecの近くに位置している．
一方で，wasやatのようによく誤られる単語はFCE + E\&GWE + L8の点はFCE + word2vecと比較してより遠くに移動している．
そして，この図中のほとんどすべての単語が上に移動しているので，上方向に移動する距離が誤りやすさに対応していると推測される．
この可視化は学習者による誤りに対する分析に使うことができる．


\section{まとめ}

本稿で我々は，文法誤り検出のための正誤情報と文法誤りパターンを考慮した単語分散表現の学習手法を提案した．
その結果，FCE-publicとNUCLEの2つのコーパスにおいて文法誤り検出の精度向上を行うことができた．
そして，提案手法で単語分散表現を初期化したBi-LSTMモデルを使いFCE-publicデータセットにおいて世界最高精度を達成した．
学習者コーパスによって学習された単語分散表現は正しいフレーズと誤ったフレーズを区別することが可能である．
さらに我々は，Lang-8コーパスを用いた追加の実験を行った．
その結果，我々は誤りパターンを抽出して学習するほうが直接Lang-8コーパスを分類器の学習データに追加するより良いことがわかった．
そして，いくつかの典型的な誤りに対して検出結果を分析し，学習された単語分散表現の特徴を明らかにした．

今回の提案手法では，Lang-8の添削者を一律に誤りの見逃しなどのノイズを含む可能性があるとしている．
一方で，Lang-8の添削者中でも専門家のように質の高い添削を行っている添削者もおり，Lang-8にも学習データとして直接使うことが可能な文が多く含まれていると考えられる．
そのため，Lang-8の添削者の評価や添削数などのメタ情報を活用した文法誤り検出などが考えられる．また，学習者の母語などのメタ情報を活用した文法誤り訂正の研究 \cite{chollampatt-hoang-ng:2016:EMNLP2016} が報告されている\footnote{ネイティブ言語と学習言語の文法的な近さによって，学習時に文法的に近いため文法を混同する問題や文法の大きな違いによる問題などが発生する．}．
そこで，学習者の第二言語習得過程 \cite{slam18} を考慮した文法誤り訂正にも取り組んでいきたい．


\acknowledgment

本研究はJSPS科研費 JP16K16117の助成を受けたものである．


\vspace{-0.1\Cvs}

\bibliographystyle{jnlpbbl_1.5}
\begin{thebibliography}{}

\bibitem[\protect\BCAY{Alikaniotis, Yannakoudakis, \BBA\ Rei}{Alikaniotis
  et~al.}{2016}]{alikaniotis-yannakoudakis-rei:2016:P16-1}
Alikaniotis, D., Yannakoudakis, H., \BBA\ Rei, M. \BBOP 2016\BBCP.
\newblock \BBOQ Automatic Text Scoring Using Neural Networks.\BBCQ\
\newblock In {\Bem ACL}, \mbox{\BPGS\ 715--725}.

\bibitem[\protect\BCAY{Chelba, Mikolov, Schuster, Ge, Brants, Koehn, \BBA\
  Robinson}{Chelba et~al.}{2013}]{chelba2013one}
Chelba, C., Mikolov, T., Schuster, M., Ge, Q., Brants, T., Koehn, P., \BBA\
  Robinson, T. \BBOP 2013\BBCP.
\newblock \BBOQ One Billion Word Benchmark for Measuring Progress in
  Statistical Language Modeling.\BBCQ\
\newblock {\Bem arXiv preprint arXiv:1312.3005}.

\bibitem[\protect\BCAY{Chollampatt, Hoang, \BBA\ Ng}{Chollampatt
  et~al.}{2016a}]{chollampatt-hoang-ng:2016:EMNLP2016}
Chollampatt, S., Hoang, D.~T., \BBA\ Ng, H.~T. \BBOP 2016a\BBCP.
\newblock \BBOQ Adapting Grammatical Error Correction Based on the Native
  Language of Writers with Neural Network Joint Models.\BBCQ\
\newblock In {\Bem EMNLP}, \mbox{\BPGS\ 1901--1911}.

\bibitem[\protect\BCAY{Chollampatt, Taghipour, \BBA\ Ng}{Chollampatt
  et~al.}{2016b}]{chollampatt2016neural}
Chollampatt, S., Taghipour, K., \BBA\ Ng, H.~T. \BBOP 2016b\BBCP.
\newblock \BBOQ Neural Network Translation Models for Grammatical Error
  Correction.\BBCQ\
\newblock In {\Bem IJCAI}, \mbox{\BPGS\ 2768--2774}.

\bibitem[\protect\BCAY{Collobert \BBA\ Weston}{Collobert \BBA\
  Weston}{2008}]{collobert2008unified}
Collobert, R.\BBACOMMA\ \BBA\ Weston, J. \BBOP 2008\BBCP.
\newblock \BBOQ A Unified Architecture for Natural Language Processing: Deep
  Neural Networks with Multitask Learning.\BBCQ\
\newblock In {\Bem ICML}, \mbox{\BPGS\ 160--167}.

\bibitem[\protect\BCAY{Dahlmeier, Ng, \BBA\ Wu}{Dahlmeier
  et~al.}{2013}]{dahlmeier2013building}
Dahlmeier, D., Ng, H.~T., \BBA\ Wu, S.~M. \BBOP 2013\BBCP.
\newblock \BBOQ Building a Large Annotated Corpus of Learner English: The NUS
  Corpus of Learner English.\BBCQ\
\newblock In {\Bem BEA@NAACL-HLT}, \mbox{\BPGS\ 22--31}.

\bibitem[\protect\BCAY{Daudaravicius, Banchs, Volodina, \BBA\
  Napoles}{Daudaravicius et~al.}{2016}]{daudaravicius-EtAl:2016:BEA11}
Daudaravicius, V., Banchs, R.~E., Volodina, E., \BBA\ Napoles, C. \BBOP
  2016\BBCP.
\newblock \BBOQ A Report on the Automatic Evaluation of Scientific Writing
  Shared Task.\BBCQ\
\newblock In {\Bem BEA Shared Task}, \mbox{\BPGS\ 53--62}.

\bibitem[\protect\BCAY{Han, Chodorow, \BBA\ Leacock}{Han
  et~al.}{2006}]{han2006detecting}
Han, N.-R., Chodorow, M., \BBA\ Leacock, C. \BBOP 2006\BBCP.
\newblock \BBOQ Detecting Errors in English Article Usage by Non-native
  Speakers.\BBCQ\
\newblock {\Bem Natural Language Engineering}, \mbox{\BPGS\ 115--129}.

\bibitem[\protect\BCAY{Kingma \BBA\ Ba}{Kingma \BBA\ Ba}{2015}]{kingma2014adam}
Kingma, D.\BBACOMMA\ \BBA\ Ba, J. \BBOP 2015\BBCP.
\newblock \BBOQ Adam: A Method for Stochastic Optimization.\BBCQ\
\newblock {\Bem ICLR}.

\bibitem[\protect\BCAY{Kochmar \BBA\ Briscoe}{Kochmar \BBA\
  Briscoe}{2014}]{kochmar2014detecting}
Kochmar, E.\BBACOMMA\ \BBA\ Briscoe, T. \BBOP 2014\BBCP.
\newblock \BBOQ Detecting Learner Errors in the Choice of Content Words Using
  Compositional Distributional Semantics.\BBCQ\
\newblock In {\Bem COLING}, \mbox{\BPGS\ 1740--1751}.

\bibitem[\protect\BCAY{Liu, Han, Li, Stiller, \BBA\ Zhou}{Liu
  et~al.}{2010}]{liu2010srl}
Liu, X., Han, B., Li, K., Stiller, S.~H., \BBA\ Zhou, M. \BBOP 2010\BBCP.
\newblock \BBOQ SRL-based Verb Selection for ESL.\BBCQ\
\newblock In {\Bem EMNLP}, \mbox{\BPGS\ 1068--1076}.

\bibitem[\protect\BCAY{水本\JBA 小町\JBA 永田\JBA 松本}{水本 \Jetal
  }{2013}]{mizumoto-EtAl:2011:IJCNLP-2011}
水本智也\JBA 小町守\JBA 永田昌明\JBA 松本裕治 \BBOP 2013\BBCP.
\newblock 日本語学習者の作文自動誤り訂正のための語学学習 SNS
  の添削ログからの知識獲得.\
\newblock \Jem{人工知能学会論文誌}, {\Bbf 28}  (5), \mbox{\BPGS\ 420--432}.

\bibitem[\protect\BCAY{Nagata \BBA\ Nakatani}{Nagata \BBA\
  Nakatani}{2010}]{nagata2010evaluating}
Nagata, R.\BBACOMMA\ \BBA\ Nakatani, K. \BBOP 2010\BBCP.
\newblock \BBOQ Evaluating Performance of Grammatical Error Detection to
  Maximize Learning Effect.\BBCQ\
\newblock In {\Bem COLING}, \mbox{\BPGS\ 894--900}.

\bibitem[\protect\BCAY{Napoles, Sakaguchi, \BBA\ Tetreault}{Napoles
  et~al.}{2017}]{napoles-sakaguchi-tetreault:2017:EACLshort}
Napoles, C., Sakaguchi, K., \BBA\ Tetreault, J. \BBOP 2017\BBCP.
\newblock \BBOQ JFLEG: A Fluency Corpus and Benchmark for Grammatical Error
  Correction.\BBCQ\
\newblock In {\Bem EACL}, \mbox{\BPGS\ 229--234}.

\bibitem[\protect\BCAY{Ng, Wu, Briscoe, Hadiwinoto, Susanto, \BBA\ Bryant}{Ng
  et~al.}{2014}]{ng2014conll}
Ng, H.~T., Wu, S.~M., Briscoe, T., Hadiwinoto, C., Susanto, R.~H., \BBA\
  Bryant, C. \BBOP 2014\BBCP.
\newblock \BBOQ The CoNLL-2014 Shared Task on Grammatical Error
  Correction.\BBCQ\
\newblock In {\Bem CoNLL Shared Task}, \mbox{\BPGS\ 1--14}.

\bibitem[\protect\BCAY{Nicholls}{Nicholls}{2003}]{nicholls2003cambridge}
Nicholls, D. \BBOP 2003\BBCP.
\newblock \BBOQ The Cambridge Learner Corpus: Error Coding and Analysis for
  Lexicography and ELT.\BBCQ\
\newblock {\Bem Corpus Linguistics}, \mbox{\BPGS\ 572--581}.

\bibitem[\protect\BCAY{Rei \BBA\ Yannakoudakis}{Rei \BBA\
  Yannakoudakis}{2016}]{rei-yannakoudakis:2016:P16-1}
Rei, M.\BBACOMMA\ \BBA\ Yannakoudakis, H. \BBOP 2016\BBCP.
\newblock \BBOQ Compositional Sequence Labeling Models for Error Detection in
  Learner Writing.\BBCQ\
\newblock In {\Bem ACL}, \mbox{\BPGS\ 1181--1191}.

\bibitem[\protect\BCAY{Sawai, Komachi, \BBA\ Matsumoto}{Sawai
  et~al.}{2013}]{sawai2013learner}
Sawai, Y., Komachi, M., \BBA\ Matsumoto, Y. \BBOP 2013\BBCP.
\newblock \BBOQ A Learner Corpus-based Approach to Verb Suggestion for
  ESL.\BBCQ\
\newblock In {\Bem ACL}, \mbox{\BPGS\ 708--713}.

\bibitem[\protect\BCAY{Settles, Brust, Gustafson, Hagiwara, \BBA\
  Madnani}{Settles et~al.}{2018}]{slam18}
Settles, B., Brust, C., Gustafson, E., Hagiwara, M., \BBA\ Madnani, N. \BBOP
  2018\BBCP.
\newblock \BBOQ Second Language Acquisition Modeling.\BBCQ\
\newblock In {\Bem BEA Shared Task}, \mbox{\BPGS\ 56--65}.

\bibitem[\protect\BCAY{Tetreault \BBA\ Chodorow}{Tetreault \BBA\
  Chodorow}{2008}]{tetreault2008ups}
Tetreault, J.~R.\BBACOMMA\ \BBA\ Chodorow, M. \BBOP 2008\BBCP.
\newblock \BBOQ The Ups and Downs of Preposition Error Detection in ESL
  Writing.\BBCQ\
\newblock In {\Bem COLING}, \mbox{\BPGS\ 865--872}.

\bibitem[\protect\BCAY{Xie, Avati, Arivazhagan, Jurafsky, \BBA\ Ng}{Xie
  et~al.}{2016}]{xie2016neural}
Xie, Z., Avati, A., Arivazhagan, N., Jurafsky, D., \BBA\ Ng, A.~Y. \BBOP
  2016\BBCP.
\newblock \BBOQ Neural Language Correction with Character-based
  Attention.\BBCQ\
\newblock {\Bem arXiv preprint arXiv:1603.09727}.

\bibitem[\protect\BCAY{Yannakoudakis, Briscoe, \BBA\ Medlock}{Yannakoudakis
  et~al.}{2011}]{yannakoudakis-briscoe-medlock:2011:ACL-HLT2011}
Yannakoudakis, H., Briscoe, T., \BBA\ Medlock, B. \BBOP 2011\BBCP.
\newblock \BBOQ A New Dataset and Method for Automatically Grading ESOL
  Texts.\BBCQ\
\newblock In {\Bem ACL}, \mbox{\BPGS\ 180--189}.

\end{thebibliography}

\vspace{1\Cvs}
\appendix

\ref{考察}章の考察で取り上げたFCE-publicで用いられている誤りタイプ\cite{nicholls2003cambridge}について説明する．
2つのタグから誤りタイプは構成されている．
1つ目のタグは誤りの種類を表しており，2つ目のタグは対象単語のクラスを表す．
2つのタグを組み合わせることで誤りタイプを表現する．
例えば，動詞置換誤りであれば1つ目のタグが置換のR，2つ目のタグは動詞のV，この2つを組み合わせたRVとして表す．

\vspace{1\Cvs}
\small
\begin{tabbing}
\hspace{1zw} \= AGA \hspace{1zw} \=可算名詞による限定詞誤り (wrong Determiner because of noun countability) \kill
\> \textbf{一般的な誤り（1つ目のタグ）} \\
\> F \> 語形誤り (wrong Form used)    \\
\> M \> 欠損 (something Missing)    \\
\> R \> 置換 (word or phrase needs Replacing)    \\
\> U \> 不必要 (word or phrase is Unnecessary)    \\
\> D \> 派生誤り (word is wrongly Derived)\\
\\
\> \textbf{単語クラス（2つ目のタグ）}\\
\> A \> 照応 (Anaphoric)    \\
\> C \> 接続詞 (Conjunction)    \\
\> D \> 限定詞 (Determiner)    \\
\> J \> 形容詞 (Adjective)    \\
\> N \> 名詞 (Noun)    \\
\> Q \> 数量詞 (Quantifier)    \\
\> T \> 前置詞 (Preposition)    \\
\> V \> 動詞 (Verb)    \\
\> Y \> 副詞 (Adverb)    \\
\\
\> \textbf{記号誤り（誤りの種類 + P）} \\
\> MP \> 記号欠損 (punctuation Missing)    \\
\> MP \> 記号置換 (punctuation needs Replacing)    \\
\> UP \> 記号不必要 (Unnecessary punctuation)    \\
\\
\> \textbf{一致誤り（AG + 単語クラス）}\\
\> AGA \> 照応一致誤り (Anaphoric agreement error)    \\
\> AGD \> 限定詞一致誤り (Determiner agreement error)    \\
\> AGN \> 名詞一致誤り (Noun agreement error)    \\
\> AGV \> 動詞一致誤り (Verb agreement error)    \\
\\
\> \textbf{可算名詞誤り（C + 単語クラス）} \\
\> CN \> 可算名詞誤り (countability of Noun error)    \\
\> CQ \> 可算名詞による数量詞誤り (wrong Quantifier because of noun countability)    \\
\> CD \> 可算名詞による限定詞誤り (wrong Determiner because of noun countability)    \\
\\
\> \textbf{空似言葉 (False friend)（FF + 単語クラス）}\\
\> \parbox[t]{400pt}{全ての空似言葉はFFでタグ付けされる．必要な単語クラスはA，C，D，J，N，Q，T，VとYのいずれかである．この誤りは空似言葉を扱っていることが確実な場合にのみ使用される．その他の場合は置換Rが使われる．}\\
\\
\> \textbf{その他の誤り}\\
\> AS \> 項構造誤り (incorrect Argument Structure)    \\
\> CE \> 複合誤り (Compound Error)    \\
\> CL \> コロケーション誤り (CoLlocation error)    \\
\> ID \> 慣用句誤り (IDiom error)    \\
\> IN \> 名詞複数形の形成誤り (Incorrect formation of Noun plural)    \\
\> IV \> 動詞の不正な活用 (Incorrect Verb inflection)    \\
\> L \> 不適切なレジスター (inappropriate register)    \\
\> S \> スペリング誤り (Spelling error)    \\
\> SA \> アメリカ英語 (American Spelling)    \\
\> SX \> スペル混同誤り (Spelling confusion error)    \\
\> TV \> 動詞の時制誤り (wrong Tense of Verb)    \\
\> W \> 語順誤り (incorrect Word order)    \\
\> X \> 否定形誤り (incorrect formation of negative)
\end{tabbing}
\normalsize
\vspace{1\Cvs}

CNは，学習者が意図された意味で利用できない名詞形を使用したことを表す．
例えば，the country's natural beautiesやtwo transportsなどである．
一方で，可算または不可算に関わらず間違った形が使用された場合，その誤りはFNとする．
例えば，vacationとvacationsである．

AS（項構造誤り）はMT（前置詞の欠損，例えば he explained me）またはUT（不必要な前置詞，例えばhe told to me）では網羅できない誤りを対象とする．
ASは，特に第4文型をとる動詞に対して使用される．
例えば，it caused trouble to meはit caused me troubleと1つの誤りとして訂正する．

CE（複合誤り）は，意図した意味が推定できない複数の誤りや単語の集合をカバーする包括的な誤りである．
この誤りを用いることで，学習者の誤りに関する有用な情報をほとんど得られない箇所を除外することができる．

SX（スペル混同誤り）は，スペルの混同の可能性をカバーする．
例えばtoとtoo，theirとthereやweatherとwhetherなどである．




\begin{biography}
\bioauthor{金子　正弘}{
2016 年北見工業大学工学部情報システム工学科卒業．
同年，首都大学東京システムデザイン研究科博士前期課程に進学．
2018 年博士前期課程修了．
同年，首都大学東京システムデザイン研究科博士後期課程に進学．
}

\bioauthor{堺澤　勇也}{
2015 年首都大学東京システムデザイン学部システムデザイン学科情報通信システムコース卒業．
同年，同大学院システムデザイン研究科博士前期課程に進学．
2017 年博士前期課程修了．
現在株式会社ジャストシステム勤務．
}

\bioauthor{小町　　守}{
2005 年東京大学教養学部基礎科学科科学史・科学哲学分科卒業．
2007 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了．
2008 年より日本学術振興会特別研究員 (DC2) を経て，2010 年博士後期課程修了．
博士（工学）．
同年より同研究科助教を経て，2013 年より首都大学東京システムデザイン学部准教授．
大規模なコーパスを用いた意味解析および統計的自然言語処理に関心がある．
情報処理学会，人工知能学会，言語処理学会，ACL 各会員．
}

\end{biography}


\biodate



\end{document}
