\documentclass[japanese]{jnlp_3.5}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
\usepackage[dvipdfmx]{color}
\usepackage{booktabs}
%%%%\usepackage{amssymb}
%%%%\renewcommand\UrlFont{\rmfamily}
\usepackage{multirow}
%%%%\usepackage{multicol}
\usepackage{tabularx}
\usepackage[T1,OT2,OT1]{fontenc}
\DeclareFontFamily{OT2}{cmr}{\hyphenchar\font45 }
\DeclareFontShape{OT2}{cmr}{m}{n}{<->wncyr10}{}
\DeclareFontShape{OT2}{cmr}{m}{it}{<->wncyi10}{}
\DeclareFontShape{OT2}{cmr}{m}{sc}{<->wncysc10}{}
\DeclareFontShape{OT2}{cmr}{b}{n}{<->wncyb10}{}
\DeclareFontShape{OT2}{cmr}{bx}{n}{<->ssub*wncyr/b/n}{}
\DeclareFontFamily{OT2}{cmss}{\hyphenchar\font45 }
\DeclareFontShape{OT2}{cmss}{m}{n}{<->wncyss10}{}
\DeclareRobustCommand\cyr{\fontencoding{OT2}\selectfont}
\DeclareTextFontCommand{\textcyr}{\cyr}
\newcommand\Eob{\symbol{3}} % or \chardef\Eob=3
\newcommand\eob{\symbol{11}}
\newcommand\cpr{\symbol{126}}
\newcommand\cdpr{\symbol{127}}
\newcommand\Cpr{\symbol{94}}
\newcommand\Cdpr{\symbol{95}}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{29}
\Number{2}
\Month{June}
\Year{2022}
%%%%\Issuetitle{「　　　　」特集号}

\received{2021}{8}{31}
\revised{2021}{12}{1}
%%%%\rerevised{2006}{5}{6}
\accepted{2022}{1}{11}

\setcounter{page}{314}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{言語間での転移学習のための事前学習モデルと多言語の学習者データを用いた文法誤り訂正}
\jauthor{山下　郁海\affiref{Author_1} \and 金子　正弘\affiref{Author_2} \and 三田　雅人\affiref{Author_3}\affiref{Author_1} \and 勝又　　智\affiref{Author_1} \and \\
 Aizhan Imankulova\affiref{Author_1} \and 小町　　守\affiref{Author_1}}
\jabstract{%
 本稿では，文法誤り訂正における言語間での転移学習について研究を行う．近年，機械翻訳などのタスクで多言語の訓練データを用いた研究がなされ，言語を越えた知識の活用が行われている一方で，文法誤り訂正では多言語の知識を用いる研究はほとんど行われておらず，文法知識が言語を越えて転移可能であるかは未知の問題である．一方で，類似した言語間には共通の文法項目が存在していることが広く知られており，そのような言語間で共通した文法項目については言語間で転移が可能なのではないかと考えられる．そこで我々は事前学習モデルと多言語の学習者データを用いて文法誤り訂正の学習を行い，言語間での転移学習が文法誤り訂正において可能であるかを調査する．実験の結果，文法誤り訂正において言語間で文法知識の転移が可能であることを示した．また，分析の結果，事前学習モデルの構造が文法知識の転移に対して大きな影響を与えていること，より類似した言語間で共通の文法項目の転移が行われていること，転移元の言語と転移先の言語のデータのサイズに関わらず文法知識の転移が起きていることを確認した．
}
\jkeywords{文法誤り訂正，転移学習，多言語，事前学習モデル}

\etitle{Grammatical Error Correction with Pre-trained Model and Multilingual Learner Corpus for Cross-lingual Transfer Learning}
\eauthor{Ikumi Yamashita\affiref{Author_1} \and Masahiro Kaneko\affiref{Author_2} \and Masato Mita\affiref{Author_3}\affiref{Author_1} \and Satoru Katsumata\affiref{Author_1} \and Aizhan Imankulova\affiref{Author_1} \and Mamoru Komachi\affiref{Author_1}} 
\eabstract{In this study, we explore cross-lingual transfer learning in grammatical error correction (GEC) tasks. Few studies have investigated the use of knowledge from other languages for GEC; therefore, it is unclear if useful grammatical knowledge can be transferred. There are often common grammatical items between similar languages, and it may be possible to perform cross-lingual transfer learning by exploiting their grammatical similarities. In this study, we use pre-trained model and multilingual learner corpus for cross-lingual transfer learning for GEC. Our results demonstrate that transfer learning from other languages can improve the accuracy of GEC. We also demonstrate that proximity to source languages has a significant impact on the accuracy of correcting certain types of errors.
}
\ekeywords{Grammatical Error Correction, Transfer Learning, Multilingual, Pre-trained Model}

\headauthor{山下，金子，三田，勝又，Imankulova，小町}
\headtitle{言語間での転移学習を用いた文法誤り訂正}


\affilabel{Author_1}{東京都立大学}{Tokyo Metropolitan University}
\affilabel{Author_2}{東京工業大学}{Tokyo Institute of Technology}
\affilabel{Author_3}{理化学研究所}{RIKEN}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

文法誤り訂正は言語学習者の書いた文法誤りを含む文を文法的に正しい文に訂正するタスクである．
これまで文法誤り訂正では主に大規模なデータが存在する英語に焦点を当てて研究が行われており，数多くの有効な手法が提案されている \cite{zhaoetal2019improving,grundkiewiczetal2019neural,kiyonoetal2019empirical,Kaneko2020GEC,omelianchuk-etal-2020-gector,stahlberg-kumar-2021-synthetic}．
近年，英語以外のロシア語やチェコ語などの言語においても文法誤り訂正の研究が行われ始めている \cite{rozovskayaroth2019grammar,naplavastraka2019grammatical,katsumata-komachi-2020-stronger,rothe-etal-2021-simple}．
しかし，これらの言語の文法誤り訂正モデルを訓練するための人手で訂正を施した学習者データは小規模でしか存在しないという問題がある．

小規模なデータしか存在しない問題に対処するために，様々なタスクで多言語のデータを活用する研究が進められている \cite{johnsonetal2017googles,Ruder2019ASO,Dabre2020}．
そのような研究の一つに，対象とする言語のモデルの性能向上のために他言語のデータで学習したモデルの知識を用いる転移学習が存在する \cite{zophetal2016transfer}．
先行研究においては，このような言語間での転移学習の性能について，言語間での類似度が大きく影響していることが示されている \cite{cotterellheigold2017cross,johnsonetal2017googles,martinez-garcia-etal-2021-evaluating}．
例えば，同じ語族に属する言語は類似した文法規則や語彙を共有していることが多く，これらの言語間での類似性が対象となる言語のモデルを学習する際に有効だと考えられている．

一方で，これまで文法誤り訂正において多言語の学習者データを用いて言語間での転移学習を試みた研究は少なく，格変化や単語の活用などのような文法誤りに関する知識が言語間で転移可能であるかは明らかになっていない．
しかし，ある程度類似した言語，例えば同じ語族に属する言語であるロシア語やチェコ語のような言語間では文法的な正誤が転移可能なのではないかと考えられる．
表\ref{tab:example}に示すのは「妹」を示す単語の日本語，ロシア語，チェコ語での格変化の一部である．
日本語では主格と属格の変化を単語の変化ではなく，別に助詞を用いることで行っているのに対し，ロシア語とチェコ語は単語の活用で行っていることがわかる．
この例はロシア語とチェコ語の格変化の類似性を示しており，このような言語間の類似した文法規則については言語間で転移させることが可能なのではないかと考えられる．
そこで我々は，文法誤り訂正において事前学習モデルと多言語の学習者データを用いて，言語間での転移学習を行い，言語間での文法知識の転移が可能であるかを調査する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[t]
\input{02table01.tex}
\caption{チェコ語とロシア語で類似した格変化．}
\label{tab:example}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

本研究の主な貢献は以下の4つである．
\begin{itemize}
    \item 文法誤り訂正において事前学習モデルと多言語の学習者データを用い，言語間での転移学習が可能であることを示した．
    \item 転移学習に用いる事前学習モデルの構造が，多言語の学習者データを用いた文法誤り訂正の学習に大きく影響していることを示した．
    \item 文法知識の転移には対象とする言語に近い言語の方が有効であり，言語間で類似した文法項目に関する知識の転移が行われていることを示した．
    \item 言語間で類似した文法項目に関する知識の転移は転移元・転移先の言語のデータのサイズに関わらず起こることを示した．
\end{itemize}

本稿の構成を示す．
2章では，既存の文法誤り訂正の研究や多言語の言語知識を考慮した先行研究について紹介する．
3章では，本研究で行う言語間での転移学習を用いた文法誤り訂正の手法についての詳細を述べる．
4章では，3章で述べた手法に対して複数の言語間で実験を行い評価する．
5章では実験結果について事前学習モデルの構造や誤りタイプごとの訂正性能についての分析，疑似誤りデータによるデータ拡張との比較を行う．
最後に6章で，本研究のまとめを述べる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{先行研究}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{文法誤り訂正に関する関連研究}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{大規模データを用いた文法誤り訂正}

文法誤り訂正は文法的に誤った文から正しい文への機械翻訳タスクとして捉えられ，一般にニューラルネットワークを用いた機械翻訳モデルを文法誤り訂正モデルとして扱うことが多く，性能向上のために多くのデータを必要としている \cite{zhaoetal2019improving,grundkiewiczetal2019neural}．
そのためにいくつかの研究では疑似データを人工的に作ることでデータを増やし性能向上を図っている \cite{naplavastraka2019grammatical,awasthi-etal-2019-parallel,omelianchuk-etal-2020-gector}．
文法的に正しい文から文法的に誤った文を生成することは比較的に容易なため，大規模な単言語コーパスから疑似データを生成する手法についても広範な研究が行われている \cite{xieetal2018noising,kiyonoetal2019empirical,takahashi-etal-2020-grammatical,stahlberg-kumar-2021-synthetic}．
また，文法誤りの訂正情報が付与されていない大規模なテキストデータ（以下，ラベルなしデータと言及する）で学習した事前学習モデルを用いることが文法誤り訂正に対して有効であることも示されている \cite{Kaneko2020GEC,katsumata-komachi-2020-stronger}．
これらの研究は大規模な訓練データを用意して文法誤り訂正の性能向上を図る研究である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{多言語の学習者データを用いた文法誤り訂正}

多言語の学習者データを用いた文法誤り訂正の研究として，\citeA{rothe-etal-2021-simple}はmultilingual T5 (mT5) \cite{xue-etal-2021-mt5}を用いて初期化した文法誤り訂正モデルを多言語の学習者データで学習することで多言語文法誤り訂正モデルを構築する研究を行っている．
この研究は，本研究で明らかにしている文法誤り訂正における言語間での転移学習について，より大きなモデルとより大量のデータを用いることで性能向上に活かしたものである．
本研究は \citeA{rothe-etal-2021-simple}とは異なり，小さなモデルにおいて複数の設定の比較を行い，\citeA{rothe-etal-2021-simple}における性能向上の要因の一つとなっている，文法誤り訂正において言語間で文法知識の転移が可能であることについて明らかにしている．
また，多言語の学習者データを有効に用いるための設定がどのようなものになるのか，についての分析に焦点を当てている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{学習者の第一言語を考慮した文法誤り訂正}

他言語について考慮した文法誤り訂正の研究として，学習者の第一言語に焦点を当てた文法誤り訂正の研究が行われている．
\citeA{10.5555/2002472.2002589}は単純ベイズ分類器を用いた前置詞誤り訂正に対して異なる5つの第一言語からの情報を適用する手法を提案し，その後 \citeA{rozovskaya-etal-2017-adapting}は同様の手法を11の第一言語，3つの誤りタイプに拡張した．
\citeA{mizumoto-etal-2011-mining}は統計的機械翻訳モデルをベースにした文法誤り訂正モデルにおいて，評価データと訓練データで同じ第一言語を持つ学習者のデータを用いることで性能が向上することを示した．
その後，\citeA{chollampatt-etal-2016-adapting}はこの手法を拡張し，統計的機械翻訳モデルをベースにした文法誤り訂正モデルの素性として，各データの学習者の第一言語に対応したニューラル言語モデルを用いる手法を提案した．
これらの研究は学習者の第一言語を考慮した文法誤り訂正の研究ではあるが，我々の研究とは異なり言語間での文法知識の転移については焦点を当てていない．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{多言語の知識を用いた関連研究}

多言語の言語知識を用いる研究は文法誤り訂正とは異なる分野で盛んに行われている．
機械翻訳では，\citeA{zophetal2016transfer} が大規模なデータが存在する言語対で学習したモデルを対象とする言語対のデータでファインチューニングを行うことで性能向上を図る手法を提案し，\citeA{johnsonetal2017googles} は複数の言語のデータで一つのモデルを学習することで，訓練データが存在しない言語についても翻訳が可能であることを示しており，どちらの研究でも本研究と同じく，より類似した言語対を用いることが翻訳性能の向上につながることを明らかにしている．
また，\citeA{kim-etal-2019-effective}は言語間でモデルのパラメータの転移を行う際に，転移元の言語と転移先の言語間で言語表現の対応をとることによって翻訳性能の向上につなげており，\citeA{lin-etal-2021-learning}は言語固有のサブネットワークを学習することで言語同士の不要な干渉を抑える手法を提案している．
より良い多言語翻訳のための言語表現の獲得の研究もなされており，\citeA{Ji_Zhang_Duan_Zhang_Chen_Luo_2020}は言語間をよりうまく関連づけるための事前学習手法を，\citeA{pan-etal-2021-contrastive}は対照学習を用いた学習手法を，\citeA{yang-etal-2021-multilingual}は学習文中の単語を別言語の対応する単語に置き換えるコードスイッチングを用いた手法を，それぞれ提案している．
対話生成では，\citeA{Schuster2018CrosslingualTL}が言語間にまたがった表現の獲得のために機械翻訳モデルのエンコーダ部分を用いた研究を行っている．
また，質問応答の分野では，\citeA{Lee2019CrossLingualTL}が敵対的生成ネットワークを用いた言語間での転移学習の手法を，\citeA{zhou-etal-2021-improving}が多言語の事前学習モデルと転移元言語の訓練データを用いたデータ拡張の2つを組み合わせた手法を提案している．

言語間で構文知識を転移する研究も複数行われている．
\citeA{kimetal2017cross}は品詞タグ付けにおいて，言語に依存しない表現と言語特有の表現を学習する2つのモデルを組み合わせることによって言語間で構文知識を転移可能にする手法を提案している．
\citeA{Ahmad2019CrosslingualDP}は敵対的な学習を利用することで言語間にまたがる表現を生成するエンコーダを学習し，これを用いることで係り受け解析においての言語間での転移を可能にしている．
また，\citeA{xu-koehn-2021-zero}は係り受け解析において，転移元言語の文脈を考慮した言語表現を評価対象の言語の表現空間に適切に対応づけることで性能向上を図っている．
\citeA{wu-dredze-2019-beto}は品詞タグ付けや係り受け解析などの5つのタスクでmultilingual BERTを用いた多言語知識の活用が有効であることを示している．
さらに，\citeA{ahmad-etal-2021-syntax}はmultilingual BERTに対して構文知識を明示的に学習に組み込むことで，構文解析など4つのタスクで性能が向上することを示した．
これらの研究は我々と同じように異なる言語間での転移学習を行っているが，我々が文法誤りに関する知識の転移に焦点を当てているのに対し，構文知識の転移に焦点を当てている点で我々の研究とは異なる．
一方で，品詞タグ付けに関する \citeA{kimetal2017cross}の研究では，上述の機械翻訳での転移学習の研究や，本研究で示す文法誤り訂正における言語間での転移学習と同様に，より類似した言語から転移学習を行うことで性能が向上することを報告しており，それぞれの研究において言語間で転移させている知識は異なるものの同様の傾向を示している．
また，本研究ではこれらの関連研究では議論されることの少なかった，転移元言語と転移先言語のそれぞれのデータ量を変化させた際の結果に関する分析についても議論を行っている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{言語間での転移学習を用いた文法誤り訂正}

本研究では，3.1節で示す事前学習モデルと，3.2節で示す多言語学習者データを用いた文法誤り訂正の学習手順を用いて文法誤り訂正モデルを学習し，言語間での転移学習を行う．
図\ref{fig:learning_steps}に学習全体の概要を示す．
我々は，まず転移元言語と転移先言語のラベルなしデータを用いて事前学習モデルの学習を行う\footnote{本研究では公開されている事前学習済モデルを用いず，事前学習から行う．これは本研究の目的が二つの言語間で文法知識の転移がどのように行われるのかを分析することであり，そのために公開されている事前学習モデルに含まれるその他の言語による影響を排除するためである．}．
次に，その事前学習モデルによって初期化した文法誤り訂正モデルを，転移元言語と転移先言語の学習者データを用いて学習を行う (fine-tuning 1)．
最後に，転移先の言語の学習者データのみで文法誤り訂正モデルの学習を行う (fine-tuning 2)．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[t]
\begin{center}
\includegraphics{29-2ia2f1.pdf}
\end{center}
\hangcaption{言語間での転移学習のための事前学習モデルと多言語学習者データを用いた文法誤り訂正モデルの学習の概要．}
\label{fig:learning_steps}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{多言語事前学習モデル}

我々は，言語間での転移学習を行う際に，学習者データからのみでは得られない言語間にまたがった言語表現を獲得するために事前学習モデルを用いる．
具体的には，Masked Language Modeling (MLM)/Translation Language Modeling (TLM) \cite{NIPS2019_8928}，そして，multilingual BART (mBART) \cite{liu-etal-2020-multilingual-denoising}の3種類の事前学習モデルを使用する．
各モデルの事前学習の概要を図\ref{fig:mlm_tlm}に示す．

MLM/TLMはBidirectional Encoder Representations from Transformers (BERT) \cite{devlin-etal-2019-bert}の構造を元に提案された，Transformer \cite{NIPS2017_3f5ee243}のエンコーダ部分を用いたモデルである．
MLMは転移元言語と転移先言語の単言語データを用いて事前学習を行う．
学習の際には幾つかのトークンがマスクされた文が入力され，マスクされたトークンを予測することで言語表現の学習が行われる（図\ref{fig:mlm_tlm}上段左側）．
TLMはMLMを対訳データでも学習できるように拡張したモデルである．
対訳データが入力として与えられる際に，文のペアを連結することで一つの文とし，幾つかのトークンをマスクする．
それ以外の学習や推論はMLMと同様に行われる（図\ref{fig:mlm_tlm}上段右側）．
また，TLMはそれ単体で用いることはなくMLMと組み合わせて用いる，すなわち，学習の際には二つの学習を交互に行う．
この論文ではこれ以降，MLMとTLMを組み合わせたモデルを簡潔な区別のためにTLMと表記する．
TLMは対訳データを学習に用いているためMLMと比較して言語間にまたがるより良い言語表現が得られることが期待される．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[t]
\begin{center}
\includegraphics{29-2ia2f2.pdf}
\end{center}
\caption{MLM，TLM，mBARTの事前学習の概要．}
\label{fig:mlm_tlm}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

mBARTはBART \cite{lewis-etal-2020-bart}をもとに多言語に拡張したTransformerのエンコーダとデコーダを用いるエンコーダ・デコーダの構造の事前学習モデルである．
学習方法はBARTのものを踏襲しており，入力としてトークンやスパンのマスク，単語の順番の変更などの複数のノイズの入った文が与えられ，そこから元の正しい文を復元し出力することで学習が行われる（図\ref{fig:mlm_tlm}下段）．
mBARTと上述のMLM/TLMの大きな違いはデコーダが事前学習時に存在するか否か，という点であり，本研究ではこの違いが文法誤り訂正における言語間での転移学習に対してどのような影響を与えるのかについて比較・分析を行う．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{多言語の学習者データを用いた学習の手順}

本研究では，多言語の学習者データを用いて文法誤り訂正モデルの学習を行う．
第2章で説明した通り言語間での転移学習には様々な手法が存在しているが，我々はその中からエンコーダ・デコーダモデルを学習し転移させる手法を用いる．

ニューラル機械翻訳において，対象とする言語とは異なる言語対のデータで学習したモデルを対象とする言語対のデータでファインチューニングすることが有効であることが示されている \cite{imankulova-etal-2019-exploiting,dabre2019exploiting}．
また，文法誤り訂正モデルの学習において，2段階でのファインチューニングを行うことが性能向上に効果的であることが知られており \cite{TACL2047,omelianchuk-etal-2020-gector,stahlberg-kumar-2021-synthetic}，特に \citeA{omelianchuk-etal-2020-gector}は，最終的な学習の対象となるデータセットとその他のデータセットが存在する際に，1段階目に最終的に対象とするデータとその他の学習者データを組み合わせて学習を行い，その後2段階目に対象とするデータのみでもう一度ファインチューニングを行う，という形の二段階でのファインチューニングを用いて性能向上を達成している．
そこで，我々はこれらの先行研究に従って，文法誤り訂正モデルを転移元言語と転移先言語の学習者データを結合したデータで学習（図\ref{fig:learning_steps}中のfine-tuning 1）を行い，その後，転移先言語の学習者データのみでファインチューニング（図\ref{fig:learning_steps}中のfine-tuning 2）を行うことで最終的な文法誤り訂正モデルを得る\footnote{予備実験としてfine-tuning 1を転移元言語の学習者データのみで，fine-tuning 2を転移先言語の学習者データのみでそれぞれ学習を行う手法も試したが，今回用いている手法の方が性能が高かった．}．
なお，fine-tuning 1とfine-tuning 2で用いる転移先言語の学習者データはどちらも同じものである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験に用いた言語}

本研究では，転移先の言語（文法誤り訂正の対象とする言語）としてロシア語，チェコ語，英語の3つの言語について実験を行う．
また，各転移先言語に対してそれぞれ，類似度の高い言語，類似度が中程度の言語，類似度の低い言語の3つの転移元の言語を用意する．
用いる言語間の類似度についてまとめたものを図~\ref{fig:lang}に示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 3
\begin{figure}[t]
\begin{center}
\includegraphics{29-2ia2f3.pdf}
\end{center}
\hangcaption{実験に用いる言語間の関係の概略図．語族などの情報はASJP database \protect\cite{ASJP-2020}を基にしている．}
\label{fig:lang}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

ロシア語の文法誤り訂正に対しては，チェコ語，英語，日本語を転移元言語として用いる．
ここでロシア語とチェコ語は同じスラヴ語族に属する言語であり，形容詞や名詞の格変化など数多くの類似した文法項目が存在する．
英語とロシア語については語族や使用している文字は異なるが，主語によって動詞の形が変わるなど幾つかの共通点が存在する．
日本語は本研究で扱う言語の中で最もロシア語から遠い言語であり，語族だけでなく使用する文字や文法構造なども異なる言語である．

チェコ語の文法誤り訂正に対しては，ロシア語，英語，日本語を転移元言語として用いる．
ロシア語とチェコ語の類似性については既に述べた通りであり，チェコ語と英語・日本語の関係はロシア語と同様である．

英語の文法誤り訂正に対しては，ドイツ語，ロシア語，日本語を転移元言語として用いる．
英語とドイツ語は同じゲルマン語族に属しており，非常によく類似した言語である．
また，英語とロシア語の関係は上述の通りであり，日本語はこれまでの設定と同様に今回用いる言語の中で最も転移先の言語である英語と類似していない言語である．
なお，英語の文法誤り訂正は5.5節の転移先言語の学習者データのサイズに関する分析で扱う．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験設定}

我々は文法誤り訂正モデルとして，\citeA{NIPS2019_8928}や \citeA{liu-etal-2020-multilingual-denoising}が機械翻訳に用いたものと同様のTransformerモデルを用いる．
MLM/TLMを事前学習モデルとして用いる際は，エンコーダとデコーダをどちらもMLM/TLMで初期化する．
モデルの構造はエンコーダとデコーダがそれぞれ6層，埋め込み層と隠れ層の次元数は1024とし\footnote{モデルの構造は \citeA{junczys-dowmunt-etal-2018-approaching}や \citeA{naplavastraka2019grammatical}，\citeA{takahashi-etal-2020-grammatical}などの文法誤り訂正にTransformerを用いた近年の先行研究の設定に準拠している．}，バッチサイズは32，ドロップアウトは確率0.1で学習を行う．
最適なモデルの選択は開発データに対するパープレキシティが最も低いものを選択して行う．
また，学習後に各モデルの出力を12-bestで行い，\citeA{chollampatt2018mlconv}と同様に5-gram 言語モデルを用いたリランキングを行って最終的な出力を得る．
モデルの評価は文法誤り訂正の評価として広く用いられているMaxMatch (M$^2$) score  \cite{dahlmeierng2012better}を用いて，評価データに対するPrecision，Recall，$\mathrm{F_{0.5}}$で行う．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{データの詳細}

実験に用いたデータの概要を表~\ref{tab:data}に示す．
本研究では，事前学習モデルを学習するための単言語データとして，ロシア語，チェコ語，英語，ドイツ語はWMT-2019で配布されたNews Crawl\footnote{\url{http://www.statmt.org/wmt19/translation-task.html}}を，日本語はWikipedia\footnote{\url{https://dumps.wikimedia.org/jawiki/}}のデータから必要な文数を抽出して用いた．
また，TLMの学習に用いる対訳データとしてTED talks \cite{TEDtalks}\footnote{\url{https://wit3.fbk.eu/}}を用いた．
TED talksの公開されているデータは英語と各言語間での翻訳の形であり，本研究では各言語について英語側の文が同一のものを抽出してペアにすることで英語以外の各言語間での翻訳データを再構築している．
それぞれの開発データは同じコーパスから学習に用いるデータを除いた状態で表に示す文数をランダムに抽出した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[t]
\input{02table02.tex}
\caption{実験に用いたデータの概要（単位は文）．}
\label{tab:data}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

文法誤り訂正モデルの学習に用いる学習者データとして，ロシア語はRULEC-GEC \cite{rozovskayaroth2019grammar}\footnote{\url{https://github.com/arozovskaya/RULEC-GEC}}及びLang-8コーパス\footnote{\url{https://sites.google.com/site/naistlang8corpora/}}のロシア語データ，英語はNUS Corpus of Learner English (NUCLE) \cite{dahlmeieretal2013building}\footnote{ \url{https://www.comp.nus.edu.sg/~nlp/corpora.html}}及びLang-8コーパスの英語データ，チェコ語はAKCES-GEC \cite{naplavastraka2019grammatical}\footnote{ \url{https://lindat.mff.cuni.cz/repository/xmlui/handle/11234/1-3057}}，ドイツ語はFalko-MERLIN-GEC \cite{boyd2018using}\footnote{\url{https://github.com/adrianeboyd/boyd-wnut2018}}及びLang-8コーパスのドイツ語データ，をそれぞれ用いた\footnote{英語を転移元言語として用いる際にはNUCLEのデータのみを用いた．}．
開発と評価のデータには，ロシア語，チェコ語，ドイツ語についてはコーパスに付随しているデータをそのまま用いた．
英語では開発データとしてCoNLL 2013 \cite{ngetal2013conll}のデータを，評価データとしてCoNLL 2014のデータを用い，日本語の開発データにはNAIST誤用コーパス \cite{oyama}を用いた\footnote{英語の評価データからはm2scorerを用いた評価の際に30分以上かかってしまう文を除いた．}．
また，実際に実験を行うときは各言語間で実験設定を揃えるために，転移元言語のデータのサイズを転移元言語の中で最も学習者データの少ない言語に合わせて用いる\footnote{ロシア語の文法誤り訂正の際には約4万文，チェコ語と英語の文法誤り訂正の際には約5万4千文である．}．

日本語の分かち書きには辞書としてUniDic (v.2.1.1)を用いた\texttt{MeCab}\footnote{\url{https://taku910.github.io/mecab}, v.0.996.}を使用し，その他の言語のトークナイズにはNLTK\footnote{\url{https://www.nltk.org/}}を使用した．
また，転移先言語の学習者データにはpyspellchecker\footnote{\url{https://github.com/barrust/pyspellchecker}}によるスペルチェックを前処理として行った．
その後，fastBPE\footnote{\url{https://github.com/glample/fastBPE}}を用いたバイト対符号化 \cite{sennrichetal2016neural}を語彙数が20,000になるように行い最終的なデータを得た．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 3
\begin{table}[t]
\input{02table03.tex}
\hangcaption{ロシア語文法誤り訂正の結果．事前学習モデルは初期化に用いた事前学習モデルを，学習者データは文法誤り訂正モデル学習の際に用いた学習者データの言語と学習の手順を示す．$\cup$はデータの結合を表し，$\rightarrow$はファインチューニングを表す（例えば(Cs $\cup$ Ru)$\rightarrow$Ruは，チェコ語とロシア語の結合データに対して学習を行った後に，ロシア語の学習者データのみで学習を行ったことを表す）．}
\label{tab:F_result_ru}
\vspace{0.5\Cvs}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験結果}

表\ref{tab:F_result_ru}にロシア語の文法誤り訂正の結果を示す．
(6)から(11)のMLMやTLMを用いて転移学習を行ったモデルが，(1)から(4)の事前学習モデルを用いないモデルや，(5)のロシア語のみで事前学習を行ったMLMで初期化しロシア語の学習者データのみで文法誤り訂正の学習を行ったモデルと比較して高い$\rm F_{0.5}$スコアを達成しており，転移学習が効果的に機能していることがわかる．
また，最も$\rm F_{0.5}$スコアの高いモデルは(9)のTLMを用いてチェコ語からの転移学習を行ったモデルである．
一方で，(13)から(15)のmBARTを用いて転移学習を行ったモデルは，(1)から(4)の事前学習モデルを用いないモデルや(12)のロシア語のみで事前学習を行ったBARTで初期化しロシア語の学習者データのみで文法誤り訂正の学習を行ったモデルとほとんど変わらない，もしくは低い$\rm F_{0.5}$スコアであり，転移学習がうまくいっていないことが読み取れる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 4
\begin{table}[t]
\input{02table04.tex}
\hangcaption{チェコ語文法誤り訂正の結果．表\ref{tab:F_result_ru}と同様に，事前学習モデルは初期化に用いた事前学習モデルを，学習者データは文法誤り訂正モデル学習の際に用いた学習者データの言語と学習の手順を示す．$\cup$はデータの結合を表し，$\rightarrow$はファインチューニングを表す．}
\label{tab:F_result_cs}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

次に，表\ref{tab:F_result_cs}にチェコ語の文法誤り訂正の結果を示す．
チェコ語の文法誤り訂正ではロシア語の文法誤り訂正と似たような傾向が見られる．
すなわち，(6)から(11)のMLMやTLMを用いて転移学習を行ったモデルの$\rm F_{0.5}$スコアが，(1)から(4)の事前学習モデルを用いないモデルや(5)のチェコ語のみで事前学習を行ったMLMで初期化しチェコ語の学習者データのみで文法誤り訂正の学習を行ったモデルのスコアよりも高く，転移学習が有効であることが示されており，最も$\rm F_{0.5}$スコアが高いのは(9) のTLMを用いてロシア語からの転移学習を行ったモデルである．
また，(13)から(15)のmBARTを用いたモデルの結果もロシア語の文法誤り訂正と同様の傾向で，(1)から(4)の事前学習モデルを用いないモデルや(12)のチェコ語のみで事前学習を行ったBARTで初期化しチェコ語の学習者データのみで文法誤り訂正の学習を行ったモデルとほとんど同程度の$\rm F_{0.5}$スコアであり，転移学習がうまくできていないことがわかる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{分析}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{文法誤り訂正における言語間での転移学習}

この節では，表\ref{tab:F_result_ru}，表\ref{tab:F_result_cs}の2つの結果から共通して読み取れる言語間での転移学習を用いた文法誤り訂正における転移の傾向について分析を行う．
それぞれの表の結果を見ると，2つの言語の結果で共通して各言語対においてMLMやTLMを用いて転移学習を行ったモデル（表\ref{tab:F_result_ru}，表\ref{tab:F_result_cs}それぞれの(6)から(11)のモデル）の$\rm F_{0.5}$スコアは，MLMやTLMを用いずに転移学習を試みた各言語対のモデル（表\ref{tab:F_result_ru}，表\ref{tab:F_result_cs}それぞれの(2)から(4)のモデル）の$\rm F_{0.5}$スコアよりも高いことが示されている．
これは，言語対によらずどの言語でも，多言語の学習者データをただ用いるだけではうまく知識を活かすことができず，MLMやTLMを用いることが転移学習に有効であることを示している．
また，MLMやTLMを用いて最も類似した転移元言語からの転移学習を行ったモデル（表\ref{tab:F_result_ru}，表\ref{tab:F_result_cs}それぞれの(6)と(9)のモデル）は，転移学習を用いずにMLMを用いて評価対象の言語のデータのみで学習したモデル（表\ref{tab:F_result_ru}，表\ref{tab:F_result_cs}それぞれの(5)のモデル）よりも$\rm F_{0.5}$スコアが高いこともわかる．
これは，誤り訂正の対象とする言語のデータのみで文法誤り訂正を学習するよりも適切な設定で多言語の知識を入れることが有効であるということを示している．
加えて，どちらの言語の文法誤り訂正でも，TLMを用いて最も類似した言語から転移を行ったモデル（表\ref{tab:F_result_ru}，表\ref{tab:F_result_cs}それぞれの(9)のモデル）の$\rm F_{0.5}$スコアが最も高く，他言語の文法知識を転移させる場合は言語の近さが重要になることを示唆している．

一方で，MLM/TLMを用いたモデル（表\ref{tab:F_result_ru}，表\ref{tab:F_result_cs}それぞれの(6)から(11)のモデル）と同様に事前学習モデルを用いているのにも関わらず，mBARTを用いて転移学習を行ったモデル（表\ref{tab:F_result_ru}，表\ref{tab:F_result_cs}それぞれの(13)から(15)のモデル）は，どの転移元の言語を用いたモデルでも評価対象の言語の単言語データのみで学習したモデル（表\ref{tab:F_result_ru}，表\ref{tab:F_result_cs}それぞれの(5)と(12)のモデル）よりも$\rm F_{0.5}$スコアが低いもしくは同程度であり，転移がうまくいっていないことがわかる．
これは事前学習モデルの構造の違い（エンコーダのみのモデルとエンコーダ・デコーダモデルの違い）によるものではないかと考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{事前学習モデルの構造の影響}

この節では前節で示された，用いる事前学習モデルによる結果の差について，単言語の文法誤り訂正の学習を行う追加の実験と，文法誤り訂正の学習前後でのモデルの類似度の観点から分析を行う．
また，この節での分析を行う前の予備実験として，mBARTのファインチューニングが適切に行えていることを学習時のlossやパープレキシティから検証し，ファインチューニングが適切に行われている上で結果の差が生まれていることを確認した．
予備実験の結果と議論については付録Aに示す．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{単言語と多言語の学習者データ}

4.5節で述べたように，MLM/TLMを用いて転移学習を行ったモデル（表\ref{tab:F_result_ru}，表\ref{tab:F_result_cs}それぞれの(9)から(11)のモデル）は事前学習モデルを用いずに転移学習を行ったモデル（表\ref{tab:F_result_ru}，表\ref{tab:F_result_cs}それぞれの(2)から(4)のモデル）と比較して$\rm F_{0.5}$スコアが高いのに対し，mBARTを用いて転移学習を行ったモデル（表\ref{tab:F_result_ru}，表\ref{tab:F_result_cs}それぞれの(13)から(15)のモデル）は事前学習モデルを用いずに転移学習を行ったモデルとほとんど$\rm F_{0.5}$スコアが変わらない結果となっている．
一方で，転移学習を用いず対象の言語の学習者データのみで学習を行ったモデルについては，表\ref{tab:F_result_ru}，表\ref{tab:F_result_cs}それぞれの(5)に示すMLMを用いたモデルと表\ref{tab:F_result_ru}，表\ref{tab:F_result_cs}それぞれの(12)に示すBARTを用いたモデルで大きな変化は見られない．
これはエンコーダ・デコーダの構造の事前学習モデルで初期化された文法誤り訂正モデルが文法誤り訂正に有効ではないというわけではなく，``多言語の学習者データを扱う''という設定においてのみうまく学習ができない可能性を示唆している．

我々はこの仮説を確かめるために，ロシア語とチェコ語で事前学習を行ったmBARTモデルに対して，転移元言語の学習者データを用いるfine-tuning 1を行わずに転移先言語（評価対象の言語）の学習者データのみを用いるfine-tuning 2を直接行い，結果を比較した．
それぞれの結果を表\ref{tab:F_result_with_or_without_transfer}に示す．
転移元ありと書かれたモデルがこれまでの結果で示した，転移元言語の学習者データと転移先言語の学習者データを用いるfine-tuning 1と転移先言語の学習者データのみを用いるfine-tuning 2を通して転移学習を行ったモデルであり，転移元なしと書かれたモデルがfine-tuning 1を行わず評価対象の言語の学習者データでのfine-tuning 2のみで文法誤り訂正を学習したモデルである．
結果を見ると，転移元言語の学習者データなしで学習したモデルの方がPrecision，Recall，$\rm F_{0.5}$の全てで高くなっており，mBARTを用いたモデルは単言語の学習者データでの学習はうまくいくものの，多言語の学習者データを使った転移学習がうまくできていないことがわかる．
これはmBARTを用いて単言語の文法誤り訂正モデルの学習を行い性能向上を確認した \citeA{katsumata-komachi-2020-stronger}の結果と矛盾しないものである．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 5
\begin{table}[t]
\input{02table05.tex}
\hangcaption{ロシア語とチェコ語で事前学習されたmBARTで初期化した文法誤り訂正モデルに対して，転移元言語の学習者データを用いる場合と用いない場合の実験結果．}
\label{tab:F_result_with_or_without_transfer}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 4
\begin{figure}[t]
\begin{center}
\includegraphics{29-2ia2f4.pdf}
\end{center}
\hangcaption{ロシア語文法誤り訂正モデルとチェコ語文法誤り訂正モデルの文法誤り訂正学習前後でのCKAによる各層の類似度．各行はそれぞれ，Embは埋め込み層，E\_L0からE\_L1はエンコーダの各層，D\_L0からD\_L5はデコーダの各層，Avgは全体の平均，E\_Avgはエンコーダの平均，D\_Avgはデコーダの平均を示している．}
\label{fig:cka}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{文法誤り訂正の学習前後でのモデルの変化}

我々はこれらのエンコーダのみの構造の事前学習モデルとエンコーダ・デコーダの構造の事前学習モデルを用いた場合の多言語学習者データでの文法誤り訂正モデルの学習の差について，モデルのデコーダ部分に原因があるのではないかと考え，より詳しく分析するために，ニューラルネットワークの類似度を測る手法であるCentered Kernel Alignment (CKA) \cite{pmlr-v97-kornblith19a}を用いて，文法誤り訂正学習前の事前学習モデルと文法誤り訂正学習後の最終的なモデルの各層の類似度を計算した．
CKAはフロベニウスノルムを用いて以下の式に示すような定義で与えられる．
\[
\mathrm{CKA}(X,Y) = \frac{||Y^TX||^2_\mathrm{F}}{(||X^TX||_\mathrm{F}||Y^TY||_\mathrm{F})}
\]
ここで，$X$と$Y$はそれぞれ文法誤り訂正の評価データ全文に対する各層の各サブワードトークンの表現の平均をとった隠れ層の次元サイズの行列である．
結果を図\ref{fig:cka}に示す．
結果を見るとTLMを用いたモデルは文法誤り訂正の学習前後でのデコーダの類似度が低いのに対し，mBARTを用いたモデルではエンコーダとデコーダが共に文法誤り訂正の学習前後で類似度が高いことがわかる．
すなわち，エンコーダのみの構造の事前学習モデルで初期化した文法誤り訂正モデルは，事前学習したエンコーダを保持しながらデコーダをほぼ一から学習している一方で，エンコーダ・デコーダの構造の事前学習モデルで初期化した文法誤り訂正モデルは，事前学習時のエンコーダとデコーダを双方ともほぼ引き継ぐような形で文法誤り訂正の学習を行っていると考えられる．
これらの結果から，エンコーダ・デコーダの構造の事前学習モデルをもとに多言語の学習者データを用いて文法誤り訂正の学習を行う際に，大きく次の2つの可能性が示唆される．
一つ目は，デコーダも含めて事前学習することが有効ではない可能性である．
実際，機械翻訳分野において\citeA{rothe-etal-2020-leveraging}が，デコーダのみの構造の事前学習モデルで初期化した機械翻訳モデルの性能が，エンコーダのみの構造の事前学習モデルで初期化した機械翻訳モデルの性能よりも低下することを報告している．
二つ目は，エンコーダ・デコーダの双方を事前学習した場合にはエンコーダのみの構造の事前学習モデルを用いる場合とは異なる工夫が必要な可能性である．
例えば，\citeA{rothe-etal-2021-simple}はmT5で多言語の学習者データを用いて文法誤り訂正の学習を行う際に，事前学習時のタスクは文法誤り訂正とは異なるため，文法誤り訂正に近い事前学習を再度行ってから実際の学習データで文法誤り訂正の学習を行うことが必要だと述べている．
また\citeA{PAJAK2022116948}は25言語や50言語のよりサイズの大きい単言語データで事前学習の行われたmBARTをfine-tuningすることで多言語文法誤り訂正モデルの構築が可能であることを示している．
文法誤り訂正に限らず，このような事前学習モデルと下流タスクとの関係は未だ明らかになっていないことも多く，今後より詳しい分析が必要になってくると考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{誤りタイプごとの訂正性能}

ここからは転移学習が有効であったMLM/TLMを用いた文法誤り訂正モデルに対して分析・考察を行う．
この節では言語間で類似した誤りが転移しているかどうかについての分析を行う\footnote{チェコ語は言語的にはロシア語に類似するものの，チェコ語学習者のデータに付与されている誤りタイプはその他の言語に付与されている誤りタイプとは大きく異なる方針で付与されており，言語間で類似した誤りについての分析が困難であるため，本研究ではチェコ語の文法誤り訂正について誤りタイプごとの転移の分析は行わない．}．
表~\ref{tab:error_recall}に各ロシア語文法誤り訂正モデルのRULEC-GEC中の出現頻度が上位10件の誤りタイプに対するRecallを示す．
結果から，チェコ語を転移元言語としたモデルはほとんどの誤りにおいてベースラインモデルのRecallを上回っていることがわかる．
加えて，ロシア語とチェコ語で類似した誤りタイプ（Spelling，Lexical choice（語彙の選択についての誤り），Adj:Case（形容詞の格変化についての誤り），Noun:Case（名詞の格変化についての誤り））について，TLMを用いてチェコ語から転移を行ったモデルが最も高いスコアを得ている．
これらの結果は言語間で類似した文法項目の誤りの知識について，言語間での転移学習を用いることで転移が可能であることを示している．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 6
\begin{table}[t]
\input{02table06.tex}
\hangcaption{RULEC-GEC中で頻度上位10件の誤りタイプに対する各モデルのRecall．（No-LMのモデルは事前学習モデルを用いていない表\ref{tab:F_result_ru}の(1)のモデル，MLMのモデルはロシア語のみのMLMで初期化した表\ref{tab:F_result_ru}の(5)のモデル，TLMのモデルはそれぞれ左から表\ref{tab:F_result_ru}の(9)，(10)，(11)のモデルに対応している．）}
\label{tab:error_recall}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 7
\begin{table}[t]
\input{02table07.tex}
\hangcaption{Adj:CaseとNoun:Caseの誤りタイプに対する各モデルの出力例． 赤色の単語は誤りを含む単語であり，青色の単語は正しく訂正された単語である． 中括弧の中に示されているのは詳しい誤りタイプである．前半の文字は品詞を示しており，``A''は形容詞，``N''は名詞を表す．後半はその単語の格を示しており，``Nom''は主格，``Gen''は属格，``Pre''は前置詞格，``Inst''は具格である．}
\label{tab:out_error}
\vspace{-0.5\Cvs}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

表\ref{tab:out_error}に各ロシア語文法誤り訂正モデルのAdj:Case，Noun:Caseの誤りを含む文に対する出力例を示す．
下線の引かれている単語がそれぞれAdj:CaseとNoun:Caseの誤りである．
原文と参照文を比較するとそれぞれの誤った単語について活用が変化し，正しい格への訂正が行われていることがわかる．
各モデルの結果を見ると，まず転移学習を行わずロシア語のみで学習を行ったモデルは正しい文への訂正ができていないことがわかる．
これは訓練データが少ないことによる影響だと考えられる．
日本語を転移元言語としたモデルは，名詞の誤りに対して正しい格への訂正を行うのではなく，別の単語への編集を行ってしまっている．
また，英語は前置詞関係を別の単語を用いて表現する言語であり，前置詞格を持ち単語の活用で表現するロシア語とは異なるため，
\pagebreak
英語を転移元言語としたモデルでは前置詞格への訂正ができていないこともわかる．
チェコ語を転移元としたモデルはこの中で唯一正しい訂正ができている．
これは，チェコ語が持つ7つの格のうちの6つがロシア語と共通しており類似しているため，ロシア語の形容詞と名詞の格変化に関する誤り訂正に必要な文法知識が，チェコ語の学習者データから転移できているためであると考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{転移元言語の学習者データサイズに対する分析}

ここまでは文法誤り訂正においてエンコーダモデルの事前学習モデルと多言語の学習者データを用いることで，言語間で類似した文法知識の転移が可能であり，その際により近い言語を用いることで転移学習が効果的に行われることを示した．
この節では転移元言語の学習者データが増加した際にどのような影響が出るかについて分析を行う．
転移元言語のデータサイズに関する分析を行うために，ロシア語とチェコ語の文法誤り訂正それぞれで，英語を転移元とする設定において英語の学習者データにLang-8コーパスも含めることでデータサイズを大きくして実験を行った．
TLMを用いたモデルの各データサイズに対する結果の比較を表\ref{tab:source_data_size}に示す．
結果を見ると，ロシア語とチェコ語でともに転移元の学習者データが増えたモデルの方が$\rm F_{0.5}$スコアが高いことがわかる．
これは転移元の言語の学習者データを増やすことで，転移元の言語と転移先の言語の学習者データのバランスが変化するにもかかわらず転移学習の効果があり，さらに転移元言語のデータが少ない時に比べてより誤り訂正の性能は向上することを示している．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 8
\begin{table}[t]
\input{02table08.tex}
\hangcaption{転移元の英語の学習者データのサイズを変えた時のTLMを用いたロシア語・チェコ語文法誤り訂正の結果．small-Enは表\ref{tab:F_result_ru}，表\ref{tab:F_result_cs}と同様の設定であり，large-Enは英語の学習者データにLang-8の英語データ約130万文を追加した設定である．}
\label{tab:source_data_size}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{転移先言語の学習者データサイズに対する分析}

この節では5.4節とは逆に転移先言語のデータが転移元言語よりも多い場合についての実験を行う．
我々は，転移先言語のデータサイズによる転移学習への影響を調査するために，新たに英語の文法誤り訂正について2つのデータサイズの設定で実験を行った．
1つ目の設定ではNUCLEのみを訓練データとして用いる，すなわち，英語の訓練データの総文数は約5万7千文であり，この設定を``NUCLE only''と呼ぶ．
2つ目の設定ではNUCLEと英語のLang-8のデータを訓練データとして用いる，すなわち，英語の訓練データの総文数は約130万文 + 約5万7千文であり，この設定を``NUCLE + Lang-8-En''と呼ぶ．

表\ref{tab:en_F_result}に英語の文法誤り訂正の結果を示す．
``NUCLE only''の設定では各モデルの結果はロシア語やチェコ語と似たような傾向となっており，(6)から(11)のMLM/TLMを用いて転移学習を行ったモデルの$\rm F_{0.5}$スコアが(1)から(4)のMLM/TLMを用いていないモデルのスコアよりも高く，最も英語に近いドイツ語からの転移をTLMを用いて行った(9)のモデルの$\rm F_{0.5}$スコアが最も高いことがわかる．
対して，``NUCLE + Lang-8-En''の設定では(6)から(11)のMLM/TLMを用いて転移学習を行ったモデルの$\rm F_{0.5}$スコアが(1)から(4)のMLM/TLMを用いなかったモデルよりは高いものの，(5)の英語のみで事前学習を行ったMLMで初期化し英語の学習者データのみで文法誤り訂正の学習を行ったモデルの$\rm F_{0.5}$スコアとはほとんど差がないことがわかる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 9
\begin{table}[t]
\input{02table09.tex}
\hangcaption{英語の文法誤り訂正の結果．``NUCLE only''の設定の英語の学習者データの文数は約5万7千文であり，``NUCLE + Lang-8-En''の設定の英語の学習者データの文数は約130万文 + 5万7千文である．$\cup$はデータの結合を表し，$\rightarrow$はファインチューニングを表す．}
\label{tab:en_F_result}
\vspace{-1\Cvs}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

より詳細な分析を行うために，ロシア語の文法誤り訂正の際と同様に誤りタイプごとの訂正性能について調査した．
具体的には，grammatical ERRor ANnotation Toolkit (ERRANT) \cite{bryant-etal-2017-automatic}\footnote{\url{https://github.com/chrisjbryant/errant}}を用いてLang-8の英語データに誤りタイプを付与し，頻度上位5件 (determiner，preposition，punctuation，verb，verb tense) と下位5件 (spelling，pronoun，verb form，morphology，subject-verb agreement) の誤りタイプについて各モデルのRecallを計算した．
それぞれの設定に対する結果を表\ref{tab:error_recall_en_nucleonly}と表\ref{tab:error_recall_en_nucle_lang8}に示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 10
\begin{table}[p]
\input{02table10.tex}
\hangcaption{評価データでの出現回数が50件以下である誤りタイプを除いたもののうち，Lang-8の英語データ中の出現回数が上位5件と下位5件の誤りタイプに対する``NUCLE only''の設定の各文法誤り訂正モデルのRecall．（No-LMのモデルは事前学習モデルを用いていない表\ref{tab:en_F_result}の(1)のモデル，MLMのモデルは英語のみのMLMで初期化した表\ref{tab:en_F_result}の(5)のモデル，TLMのモデルはそれぞれ左から表\ref{tab:en_F_result}の(9)，(10)，(11)のモデルに対応している．）}
\label{tab:error_recall_en_nucleonly}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 11
\begin{table}[p]
\input{02table11.tex}
\hangcaption{評価データでの出現回数が50件以下である誤りタイプを除いたもののうち，Lang-8の英語データ中の出現回数が上位5件と下位5件の誤りタイプに対する``NUCLE + Lang-8-En''の設定の各文法誤り訂正モデルのRecall．（各モデルと表\ref{tab:en_F_result}との対応は表\ref{tab:error_recall_en_nucleonly}と同様である．）}
\label{tab:error_recall_en_nucle_lang8}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

表\ref{tab:error_recall_en_nucleonly}に示す``NUCLE only''の設定に対する結果を見ると，ほとんどの誤りタイプで最も近い言語であるドイツ語から転移を行ったモデルが最も高いRecallを示していることがわかる．
これはロシア語やチェコ語の結果と同様に，言語によらず転移元の言語と転移先の言語のデータサイズに大きな差がない場合は，言語間での転移学習により文法知識の転移が可能であり，特により近い言語の学習者データを用いることが有効であることを示している．

対して，表\ref{tab:error_recall_en_nucle_lang8}に示す``NUCLE + Lang-8-En''の設定の結果を見ると，頻度上位5件の誤りタイプについてはどの言語から転移したモデルでも性能の向上は見られないことがわかる一方で，下位5件の誤りタイプについては少し異なる傾向が見られる．
日本語から転移したモデルはpronoun，verb form，subject-verb agreementの誤りタイプについて単言語のデータを用いたモデルよりも性能が下がっており，これは日本語と英語の間でこれらの誤りに関しての類似点が存在しないためだと考えられる．
対して，ドイツ語から転移したモデルはpronoun, morphology, subject-verb agreementという英語とドイツ語間で類似した誤りについてベースラインモデルよりも高いRecallを達成していることがわかる．
このことから，転移先の言語のデータサイズが転移元言語のデータサイズに比べて非常に大きい場合において，転移学習を用いることによる全体の訂正性能の改善は見られないが，頻度が少なくかつ言語間で類似した誤りの知識については転移がなされていると考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{疑似誤りデータによるデータ拡張との比較}

この節では，近年文法誤り訂正の学習において一般的なデータ拡張である疑似誤り生成と，本研究で扱っている他言語のデータを用いた言語間での転移学習について比較を行い，文法知識が転移可能であることが既存手法と比較してどのような新しい効果をもたらすかについて，ロシア語とチェコ語の誤り訂正を例に議論を行う．
現在疑似誤り生成の手法には \citeA{kiyonoetal2019empirical}で紹介されているように，文法誤り訂正と同様に人手で訂正を施されたデータを用いて，通常の文法誤り訂正とは逆に誤りを生成するような学習を行う逆翻訳モデルを用いる手法 (B{\footnotesize ACKTRANS}) と，確率的に単語の順序の入れ替えなどの操作を行い文法的に正しい文に対して直接誤りを生成する手法 (D{\footnotesize IRECT}N{\footnotesize OISE}) の大きく2つが存在する．
我々は今回比較する疑似誤り生成手法として，B{\footnotesize ACKTRANS}の手法ではなく，D{\footnotesize IRECT}N{\footnotesize OISE}の手法の1つである，\citeA{zhaoetal2019improving}の手法を用いた．
これは，今回比較の対象としているロシア語とチェコ語は英語とは異なり人手で訂正を施された学習者データが少なく，実用上逆翻訳モデルの学習が難しいと考えられ，加えて，ロシア語とチェコ語に対してD{\footnotesize IRECT}N{\footnotesize OISE}の手法を用いて性能向上を報告した先行研究 \cite{naplavastraka2019grammatical}が存在しているためである．
疑似誤りを生成するためのデータには，MLM/TLMとmBARTを事前学習する際に用いた文を除いたNews Crawlのデータを用い，最終的に生成された文数は，ロシア語が約750万文，チェコ語が約550万文となった．
疑似誤りを用いた学習の際には，まず対象とする言語のラベルなしデータで事前学習を行ったMLMで文法誤り訂正モデル初期化し，その後既存研究 \cite{kiyonoetal2019empirical,grundkiewicz-junczys-dowmunt-2019-minimally,grundkiewiczetal2019neural}に従い，生成した疑似誤りデータで文法誤り訂正の学習を行い，最後に人手で訂正を施された学習者データでファインチューニングを行うという手順で行った．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 12
\begin{table}[t]
\input{02table12.tex}
\hangcaption{ロシア語文法誤り訂正における疑似誤り生成を用いたモデルと言語間転移学習を用いたモデルの比較．学習者データの列中のpseudo\_Ruはロシア語の擬似誤りを示す．}
\label{tab:F_result_pseudo_ru}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 13
\begin{table}[t]
\input{02table13.tex}
\hangcaption{チェコ語文法誤り訂正における疑似誤り生成を用いたモデルと言語間転移学習を用いたモデルの比較．学習者データの列中のpseudo\_Csはチェコ語の擬似誤りを示す．}
\label{tab:F_result_pseudo_cs}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

表\ref{tab:F_result_pseudo_ru}，表\ref{tab:F_result_pseudo_cs}にロシア語とチェコ語の文法誤り訂正における，言語間での転移学習を用いたモデルと疑似誤りを用いたモデルとの比較結果を示す．
結果を見ると，ロシア語・チェコ語ともに数百万文の疑似誤りデータを用いているにもかかわらず，データ量の少ない転移学習を用いたモデルのスコアの方が高いことがわかる．
一方で \citeA{naplavastraka2019grammatical}は，\citeA{zhaoetal2019improving}の疑似誤り生成手法を改善した \citeA{grundkiewiczetal2019neural}の手法を用いて，ロシア語とチェコ語の文法誤り訂正を行っており，疑似誤り生成に際して各言語に合わせたパラメータのチューニングや，ルールの追加による手法の改善，また，疑似誤りデータでの事前学習後のファインチューニングの際に疑似誤りデータと学習者データを言語ごとに一定の比で組み合わせて学習する，などの誤り訂正の対象となる言語のデータに特化した調整を数多く行うことで，本研究の結果よりも大幅な性能の向上を報告している．
これらの結果から，D{\footnotesize IRECT}N{\footnotesize OISE}によって生成された疑似誤りデータによる性能改善のためには，単にデータを増やすだけでなく，対象とする言語に合わせた調整が重要であると考えられる．
このような言語固有の調整は，文法誤り訂正に関して詳しいだけでなく，対象とする言語に対しての知識も重要であり，顕著に性能を改善させるためには多くの労力が必要となる．
また，B{\footnotesize ACKTRANS}の手法については上述の通り，人手での訂正が施されたデータの少ない言語では用いることが難しい．
対して，本研究で示す他言語の学習者データを用いて転移学習を行うことで性能向上を図る手法は，言語固有の調整は必要なく，より少ないデータで容易に性能向上が可能である．

加えて，ここまでは単純なデータ拡張の手法の一つとしての本研究の意義について議論を行ってきたが，言語間での転移学習は疑似誤りによるデータ拡張と対立する手法ではなく，例えば，\citeA{rothe-etal-2021-simple}のようにより大きな疑似誤りデータによる学習と組み合わせることも可能であり，その他のデータ拡張とともに用いることでの性能向上も考えられる．
また，本研究で明らかにしている言語間での文法知識の転移は，言語間での類似度などを考慮したより性能の高い多言語文法誤り訂正モデルの学習や，データの全く存在しない言語や少ない言語に対しての類似した言語のデータを用いるzero-shotやfew-shotでの文法誤り訂正の研究など，今後の様々な研究の余地が残されており，データ拡張の手法以外の観点での発展も期待される．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

本研究では，文法誤り訂正において言語間での転移学習により文法知識の転移が可能であるかを調査した．
我々は文法誤り訂正モデルの学習に際し，まず事前学習モデルの学習を行い，その後事前学習モデルで初期化した文法誤り訂正モデルを転移元の言語の学習者データと転移先言語の学習者データを用いて学習し，最後に転移先の言語の学習者データのみでfine-tuningを行うことで言語間での転移学習を行った．
実験の結果，エンコーダのみの構造を用いた事前学習モデルと多言語の学習者データを用いて言語間での転移学習が可能である，すなわち言語間で文法知識の転移が可能であることを明らかにし，より近い言語間を用いることで類似した文法項目の転移が行われることも示した．
また，転移元の言語と転移先の言語の学習者データのサイズに関わらず，類似した言語間での共通した文法項目の転移は行われていることも併せて示した．
一方で，エンコーダ・デコーダの構造の事前学習モデルを用いた実験では，事前学習されたデコーダが多言語の学習者データを扱う際に悪影響を及ぼしている可能性を示した．
この結果については様々な先行研究との関連が考えれるため今後の研究の余地があり，事前学習されたデコーダの挙動についてはさらに詳細な分析を行っていきたい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

Lang-8のデータ使用にあたり，データを共有して頂きました株式会社Lang-8の喜洋洋様に感謝申し上げます．

本研究の一部は JSPS 科研費 19KK0286 の助成を受けたものです．

本論文の一部の内容は，The 28th International Conference on Computational Linguisticsにて発表したものである \cite{yamashita-etal-2020-cross}．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.6}
\begingroup
%%%%\addtolength{\baselineskip}{-0.5pt}
\bibliography{02refs}
\endgroup


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\appendix

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{mBARTで初期化したモデルの学習の推移}

図\ref{fig:CsRu_finetuning_graph}にチェコ語とロシア語で事前学習を行ったmBARTをロシア語文法誤り訂正のためにfine-tuning 1とfine-tuning 2でそれぞれ50エポック続けて学習した際の訓練データと開発データに対するlossとパープレキシティを示す．
まず，fine-tuning 1の際のlossとパープレキシティの動きを見ると，最初の10エポック程度までにどちらも順調に下がり，その後は収束していることがわかる．
これは学習しているモデルが事前学習されたモデルで初期化されていることと，訓練データの規模が小さいことが理由であり，問題なく学習が行われていると思われる．
次に，fine-tuning 2の際のlossとパープレキシティの動きを見ると，先ほどのfine-tuning 1の際よりもさらに収束が早くなっていることがわかる．
これは事前学習に加えて文法誤り訂正による学習がすでに一度行われていること，加えて，fine-tuning 1と比較して言語が一つに絞られたことでデータが少なくなり，タスクの難易度も低下したことが原因だと考えられる．
また，fine-tuning 2の際の学習の収束の早さはMLM/TLMを用いたモデルでも同様の傾向が確認されており，これらの理由からfine-tuning 2に関してもfine-tuning 1と同様に問題なく学習が行われていると思われる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 5
\begin{figure}[t]
\begin{center}
\includegraphics{29-2ia2f5.pdf}
\end{center}
\hangcaption{mBART Cs$\rightarrow$Ruのfine-tuning 1，fine-tuning 2それぞれの学習時のlossとパープレキシティ（pplはパープレキシティを示す）．}
\label{fig:CsRu_finetuning_graph}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{山下　郁海}{%
2020年首都大学東京（現東京都立大学）システムデザイン学部システムデザイン学科情報通信システムコース卒業．
2022年東京都立大学システムデザイン研究科情報科学域博士前期課程修了．
同年よりヤフー株式会社入社．現在に至る．
}
\bioauthor{金子　正弘}{
2016年北見工業大学工学部情報システム工学科卒業．
同年，首都大学東京（現東京都立大学）システムデザイン研究科博士前期課程に進学．
2018年博士前期課程修了．
同年，東京都立大学システムデザイン研究科博士後期課程に進学．
2019年より日本学術振興会特別研究員 (DC2) を経て，2021年博士後期課程修了．博士（情報科学）．
同年より東京工業大学情報理工学院研究員．
}

\bioauthor{三田　雅人}{
理化学研究所革新知能統合研究センター 自然言語理解チーム テクニカルスタッフ．2016年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了．
日本マイクロソフト株式会社のエンジニアを経て．2018年より現職．2021年に東北大学大学院情報科学研究科博士後期課程を修了．同年より，東京都立大学特任助教を兼任．
文法誤り訂正を中心とした自然言語処理による言語学習／教育支援に関心がある．言語処理学会，ACL各会員．
}

\bioauthor{勝又　　智}{
2018年首都大学東京システムデザイン学部情報通信システムコース卒業．
2020年同大学大学院システムデザイン研究科情報科学域博士前期課程修了．
同年株式会社レトリバ入社．
現在に至る．
自然言語処理分野の研究に従事．
}


\bioauthor{Imankulova Aizhan}{%
2011年サトバイエフカザフ国立工科大学オートメーションおよび制御学部
卒業．
2014年国際情報技術大学情報システム研究課博士前期課程卒業．
2017年首都大学東京システムデザイン研究科研究生卒業．
同年，首都大学東京システムデザイン研究科博士後期課程に進学．
2021年博士後期課程修了．博士（工学）．
同年より株式会社CogSmart入社．
}

\bioauthor{小町　　守}{
2005 年東京大学教養学部基礎科学科科学史・科学哲学分科卒業．
2008 年より日本学術振興会特別研究員 (DC2) を経て，
2010 年奈良先端科学技術大学院大学情報科学研究科修了．
博士（工学）．同年より奈良先端科学技術大学院大学情報科学研究科助教を経て，
2013 年より首都大学東京（現東京都立大学）システムデザイン学部准教授．
2022 年より同教授．
大規模なコーパスを用いた意味解析及び統計的自然言語処理に関心がある．
言語処理学会 20 周年記念論文賞，言語処理学会第 14 回年次大会最優秀発表賞，
情報処理学会平成 22 年度山下記念研究賞，2010 年度本学会論文賞等を受賞．
情報処理学会，言語処理学会，ACL 各会員．
}


\end{biography}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\biodate




\end{document}

