\documentclass[japanese,other]{jnlp_3.3}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
%%%%\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
\usepackage{subcaption}
\newcommand{\mask}{\texttt{[MASK]}}
\newcommand{\fscore}{\ensuremath{\mathrm{F}_{1}}}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{28}
\Number{2}
\Month{June}
\Year{2021}
%%%%\Issuetitle{「　　　　」特集号}


\setcounter{page}{721}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{An Empirical Study of Contextual Data Augmentation for\\Japanese Zero Anaphora Resolution}
\jauthor{今野　颯人\affiref{Author_1}}
\etitle{An Empirical Study of Contextual Data Augmentation for Japanese Zero Anaphora Resolution}
\eauthor{Ryuto Konno\affiref{Author_1}} 

\headauthor{今野}
\headtitle{An Empirical Study of Contextual DA for Japanese ZAR}

\affilabel{Author_1}{東北大学}{Tohoku University}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

本稿では，COLING2020に採択された著者の論文``An Empirical Study of Contextual Data Augmentation for Japanese Zero Anaphora Resolution'' \cite{konno-etal-2020-empirical}について，着想に至った経緯と，どのように論文が採択まで至ったかを踏まえながら解説する．
多くの論文がそうであると思うが，この論文のアイデアは初めから思い浮かんだ訳ではなく，試行錯誤の結果生まれたものである．
その地道な研究の過程が何かの参考になれば幸いである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{研究の動機}

着想に至った経緯の前に，日本語のゼロ照応解析という問題になぜ取り組んだのかについて語りたい．
著者は，「人間の言葉が理解できるマシン」を作りたいという想いから，自然言語処理の世界に足を踏み入れた．
より具体的には，言葉として語られている文章の理解はもちろん，語られていない行間までも読むことができるマシンの実現を目指していた．
例えば「洗濯物を干していたら雨が降ってしまった」という文章からは，「雨で洗濯物が濡れた」と「洗濯物が濡れて悲しい」という意図を読み取ることができる．
これらをマシンにも理解させたいと考えていた．
しかし，このような省略されたイベントを解析する以前に，現状では「誰が・何を・どうした」といった省略された述語項構造の解析すらほとんど解けていないことがわかった．
著者は日本語で頻繁に起こる述語の項の省略に興味を持ち，研究室配属からこの 3 年間，言葉が理解できるマシンの実現に一歩でも近づくため，日本語のゼロ照応解析に取り組んできた．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{着想に至った経緯}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{問題意識}

ゼロ照応解析のような省略の問題を解くためには，入力テキストに書かれていない情報をいかに獲得し利用するかが重要である．
例えば，「少年は男を訴えたが，無罪となった」という文について考えてみる．
ここで，「無罪となった」という述語の主語は「男」であるが，文脈から推論できるため省略されている．
モデルがこの省略を解くには，入力テキストには書かれていない「無罪となりやすいのは訴えられた人」というある種の常識的知識を何らかの方法で獲得し，うまくこの文脈に当てはめて使用する必要がある．

様々な文脈上で起こる省略を解くためには，膨大な知識を獲得する必要があり，大量の学習データが必要である．
しかし，ゼロ照応解析のラベル付きデータセットはその人手アノテーションコストが高いことから，最も規模が大きいデータセット \cite{iida-etal-2017-naist}でも数万文程度と少ない．
このデータ不足問題を解消するため，これまでの研究では大規模な生文書をうまく利用する試み \cite{sasano-kurohashi-2011-discriminative,kurita-etal-2018-adversarial}が行われてきた．
しかし，ラベル付きデータを増やすというもう一つのアプローチはまだ十分に探索されていないことがわかった．
著者はこのとき，データ不足問題に対する素朴な解決方法として，何らかの方法で簡単にラベル付きデータを増やすことができれば良いと考えていた．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{最初のアイデア}

当時，各タスクの性能を著しく向上させることができるBERT \cite{devlin-etal-2019-bert}の登場によって，自然言語処理界隈は大きな節目を迎えていた．
BERTはマスクされている箇所に文脈上自然となる単語を埋めることができる．
例えば「明日は\mask{}が降る」という文では，\mask{}に「雨」や「雪」などの単語を予測できる．
著者がこの性質をみて最初に思い浮かんだのは，単語置換によってゼロ照応解析のデータを増やせないか？という考えだった．
ゼロ照応解析には選択選好性が重要だと言われている．
そしてBERTが\mask{}に予測する単語の候補はまさしく選択選好を表している．
先ほどの例だと，BERTは「降る」という述語の主語には「雨」や「雪」が来やすい，といった選択選好を知っていることになる．
BERTが生文書から獲得したこの選択選好をうまく使って単語置換を行えば，文の自然さを保ちつつ述語と項の組み合わせを増やすことができると考えた．
そしてこの考えのもと，ゼロ照応解析のラベル付きデータを増やす方向で研究を進めていくことになった．

初手として，ラベル付きデータの教師ラベルはそのままに，述語の項となっている単語をBERTで別の単語へ置き換えることで擬似データを生成する方法を試した．
しかし，置換先の単語の選び方やどのくらいデータを増やすのかなど，データ拡張の方法を色々と試行錯誤したものの，納得のいく結果は出なかった．
この結果をNLP若手の会第14回シンポジウム (YANS2019) で発表し，頂いた有益なコメントと共に共著者の方々と議論を交わしたところ，どうやらこの方法ではわずか1，2個の単語しか元のデータから変わらないため，汎化性能を向上させるのは難しいのではないかという結論に至った．
BERTを使って元の文から大きく変えてみることを目標に，さらに試行錯誤を続けた．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{試行錯誤}

最初のアイデアを踏まえて，さらに三つの擬似データ生成方法を試した．
一つ目は語順の入れ替えである．
日本語は語順を入れ替えても文が成立することから，文節ごと順番を入れ替えることで擬似データを生成した．
二つ目は単語の挿入である．
直接係り受け関係にある述語と項の間に複数の\mask{}を加えてBERTに予測させることで単語を挿入し，意図的にゼロ照応の事例を作り出すことを考えた．
最後に三つ目は格フレームからの文の生成である．
これは，「雨が降る」などのフレーズから単語を次第に挿入することで文を生成するという方法である．
結論からいうと，これらの方法はすべてうまくいかなかった．
どれも元の文から大きく変わるため，汎化性能の向上に効果が出ると期待していたが，文の自然さが崩壊していたり，ラベルが本来の正解とは異なってしまうことが問題となっていた．
また．手法がだんだん日本語に特化したものとなっており，他の省略が起きる言語への拡張が難しいといった問題も孕んでいた．
こういった背景から，他のタスクや言語でも行われている，単語置換によるデータ拡張をさらに攻めてみることとなり，結果として提案手法が生まれた．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[b]
\begin{center}
\includegraphics{28-2ia29f1.pdf}
%%%%\label{fig:overview-CDA}
%%%%\label{fig:overview-masking}
\end{center}
\caption{データ拡張手法の概要．(a)は従来の手法，(b)は提案手法である．}
\label{fig:overview-method}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{提案手法}

手法の概要を図~\ref{fig:overview-method}に示す．
提案手法は (i) \mask{}-based augmentationと (ii) linguistically-controlled maskingの二つで構成されている．
まず，一つ目の構成要素である\mask{}-based augmentationについて述べたい．
これは，単語をシンボリックに置換せずに\mask{}の分散表現のまま学習に用いるという考えである．
従来の単語置換によるデータ拡張手法であるcontextual data augmentation \cite{kobayashi-2018-da,wu-etal-2019-da}では，
%%%%図~\ref{fig:overview-CDA}が示すように，
    図~\ref{fig:overview-method}a が示すように，
単語をシンボリックに置換した後に分散表現を得る．
著者が初手として試した方法もこれに該当するわけだが，この手法には計算が重いという問題点がある．
具体的には，(1)単語を置きかえるためと(2)分散表現を得るために言語モデルを二回走らせる必要がある．
言語モデルのサイズは年々増加傾向にあり，擬似データを大量に作成することを考えると，この計算量の問題は無視できない．
%%%%そこで，図~\ref{fig:overview-masking}が示すように，
    そこで，図~\ref{fig:overview-method}b が示すように，
提案手法によって単語置換と分散表現を得る行為を一つにまとめて計算量を半分にする．
さらに，BERTは\mask{}に文脈上自然となりうる単語を埋めようとするので，この\mask{}の分散表現は，文脈上自然となりうる単語を混ぜ合わせたような曖昧な表現となっている．
これも提案手法の特徴の一つであり，シンボリックな単語置換よりも効果的であることが実験の結果で明らかになった．

二つ目の構成要素であるlinguistically-controlled maskingは，単語置換によってラベルが本来の正解とは異なってしまわないように，置換する単語を制御するというものである．
具体的には「名詞以外は\mask{}に置換する」など，単語の品詞タグによって置換するかを決める．
ラベルずれは試行錯誤の段階で見られた現象であり，モデルの学習を妨げる要因となりうるため，単語の置換対象を制御することによって回避を試みた．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[b]
\begin{center}
\includegraphics{28-2ia29f2.pdf}
\end{center}
\caption{マスクする確率を変動させたときのゼロ照応事例 (ZAR) の\fscore{}値}
\label{fig:validation-pos-masking}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験結果}

結果として，ゼロ照応解析の性能を向上させることに成功した（詳細は論文の5節を参照されたい）．
実験をしていく過程で，興味深い結果も得ることができた．
図~\ref{fig:validation-pos-masking}は (1) 単語をマスクする確率と (2) マスク対象とする品詞を変化させたときの性能を示している．
この結果には着目したい点が二つある．
まず，単語を50\%もマスクした方が効果的であるという点である．
著者は初手として述語の項のみを単語置換していたが，それよりもさらに大幅に文脈を変えた方が汎化性能の向上には有効であることがわかった．
次に，動詞以外をマスクする方法が最も良いという点である．
これは，動詞を置換してしまうと意味構造が崩壊してしまい，ラベルずれの問題が起きてしまうという現象に基づいた結果である（詳しくは論文の6節を参照されたい）．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

著者はデータ不足問題に対して擬似データを生成するというアプローチをとったが，日本語ゼロ照応解析という問題の解決にはまだまだ遠く，さらなる研究が必要である．
当初思い描いていた行間が理解できるマシンの実現のためにも，「省略」というテーマを深掘りしていきたい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.6}
\bibliography{29refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{今野　颯人}{%
2019年東北大学工学部電気情報物理工学科卒業．現在，東北大学大学院情報科学研究科博士前期課程学生．
}

\end{biography}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%\biodate



\end{document}


