\documentclass[japanese,tombow,other]{jnlp_3.1}
\usepackage{jnlpbbl_1.4}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{gentombow}
\settombowbleed{5mm}
\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%\usepackage{color}
%%%%\usepackage{xcolor}
%%%%\usepackage{tabularx}
%%%%\usepackage{latexsym}
%%%%\usepackage{amsmath}
%%%%\usepackage{amsfonts}
%%%%\usepackage{amssymb}
%%%%\usepackage{graphicx}
%%%%\usepackage{multirow}
%%%%\usepackage{here}
%%%%\usepackage{setspace}
%%%%\usepackage{tikz,tikz-qtree}
%%%%\usetikzlibrary{shapes.geometric,positioning,shapes,fit,arrows,backgrounds}
%%%%\usetikzlibrary{intersections, calc}
%%%%\usepackage{algorithm}
%%%%\usepackage{algorithmic}
%%%%\usepackage{proof}
\usepackage{gb4ea}
%%%%\usepackage{ebproof}
%%%%\usepackage{subfigure}
%%%%\usepackage{textcomp}
%%%%\usepackage[T1]{fontenc}
%%%%\usepackage{url}
%%%%\usepackage{mediabb}
%%%%\newcommand{\PredRepl}[1]{\underline{#1}}
%%%%\newcommand{\PredReplColor}[1]{\orangebox{#1}}
%%%%\newcommand{\Qf}[1]{\underline{#1}}
%%%%\newcommand{\QfColor}[1]{\greenbox{#1}}
%%%%\newcommand{\ClColora}[1]{\blueboxa{#1}}
%%%%\newcommand{\ClColorb}[1]{\blueboxb{#1}}
\newcommand{\Repl}[1]{\textsc{#1}}
\newcommand{\positive}[1]{#1$\uparrow$}
\newcommand{\negative}[1]{#1$\downarrow$}
%%%%\newcommand{\depth}[1]{\ensuremath{\textbf{D}_{#1}}}
%%%%\newcommand{\catS}{\textsc{S}}
%%%%\newcommand{\catNP}{\textsc{NP}}
%%%%\newcommand{\catIV}{\textsc{IV}}
%%%%\newcommand{\catIVdash}{\textsc{IV}$'$}
%%%%\newcommand{\catTV}{\textsc{TV}}
%%%%\newcommand{\catQ}{\textsc{Q}}
%%%%\newcommand{\catN}{\textsc{N}}
%%%%\newcommand{\catNhyp}{\textsc{N}$_{\text{hypernym}}$}
%%%%\newcommand{\WhNP}{\textrm{WhNP}}
%%%%\newcommand{\catAdj}{\textsc{Adj}}
%%%%\newcommand{\catAdv}{\textsc{Adv}}
%%%%\newcommand{\catPP}{\textsc{PP}}
%%%%\newcommand{\relC}{\textsc{RelC}}
%%%%\newcommand{\catSbar}{\ensuremath{\overline{\mbox{\textsc{S}}}}}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


\Volume{27}
\Number{3}
\Month{September}
\Year{2020}

\setcounter{page}{653}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{Do Neural Models Learn Systematicity of Monotonicity Inference in Natural Language?}
\jauthor{谷中　　瞳\affiref{Author_1}}
%%%% 英語タイトル・英語著者名は出力せず
\etitle{Do Neural Models Learn Systematicity of Monotonicity Inference in Natural Language?}
\eauthor{Hitomi Yanaka\affiref{Author_1}} 
\headauthor{谷中}
\headtitle{Do Neural Models Learn Systematicity of Monotonicity Inference in Natural Language?}
%%%% 英語所属は出力せず
\affilabel{Author_1}{理化学研究所}{RIKEN}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}
\label{sec:intro}

本稿では，ACL2020に採択された論文``Do Neural Models Learn Systematicity of Monotonicity Inference in Natural Language?'' \cite{yanaka-EtAl:2020:acl}について解説する．

論文の解説に入る前にまず，今回解説する論文がACL2020採択に至るまでの道のりを述べたい．
ACLは，この論文誌の読者の皆様であれば言わずもがな，自然言語処理の最高峰の国際学会である．
そしてこれも言わずもがな，近年の自然言語処理業界において，深層ニューラルネット(DNN)を用いた手法の発展はめざましい．
最近では，BERT \cite{BERT2018new}のような汎用言語モデルの登場によって，言語横断・タスク横断的な言語処理が可能となり，様々なタスクで高精度を達成しつつある．
時には，汎用言語モデルが「人間の言語理解を超えた」とまで謳われるようになった．
一方で，DNNの処理の中身は原則としてブラックボックスであり，本当に言語を理解しているのかはわからない．
そこで，様々な言語学的観点から，DNNに何ができて何ができないのかを分析するプロービング(probing)という研究も盛んに行われている．
「盛んに」という点を補足すると，本当にこの業界の進展は恐ろしく早い．
arXivには追いきれずに戦々恐々とするほどの量の論文が毎日投稿されており，言語モデルの精度も，それを評価する方法も日々アップデートされている．

そのような自然言語処理業界の状況において，私は記号推論と機械学習（深層学習）の融合によって，「人間のように，文法的・意味的な規則に基づいて言語を理解できるか」という自然言語理解の問題に興味を抱いて取り組んでいる．
この記号推論対深層学習という二項対立については，自分が生まれるよりずっと前から哲学や認知科学などの様々な分野で議論されている．
自然言語処理業界においても，いつかは深層学習で全ての言語理解が実現できるという思想の人もいれば，形は変われど，記号推論と深層学習の対立はずっと続くという思想の人もいる．
まるで地平線は存在するのかというような，未だに決着のつかない問題ではあるが，そこにこそ私は面白さを感じている．
そういうわけで，2018年秋に博士号を取得し現職に就いてからというものの，博士号取得の次の目標として，この記号推論対深層学習の問題に対して1つの決着をつけること，そしてACLの本会議に論文を通すことに，ひっそりと野心を燃やし続け，monotonicityという言語現象（後述）を通して，DNNで記号推論を実現できるかについて分析する研究に取り組んでいた．
本論文が採択される前にも，この研究で2本の論文\cite{yanaka-etal-2019-neural,yanaka2019}を出した．
しかし，評価しても評価しても，DNNが記号推論を捉えることができているのかできていないのか，はっきりとしないところがあった．
共著者との間でさえ，実験結果に対する解釈が割れてしまい，どうしたものかと悩んでいたというのは，ここだけの話である．
とまで書くとやや過言かもしれないが，そのような道のりを経て悲願のACLに採択された論文を，本稿では紹介したい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{提案手法}
\label{sec:method}

この論文では，重要な推論現象の一つであるmonotonicity \cite{10.2307/25001141}に着目し，DNNが学習データを通して自然言語の推論の体系性 (systematicity) を獲得できるかについて分析を行っている．
monotonicityの推論とは，どういう推論か？
次の例(\ref{ex:1})，(\ref{ex:2})を考えよう．
(\ref{ex:1})では，量化子\textit{some}が意味的に下位の表現から上位の表現に向かう推論を妥当な推論とする上方含意の文脈[\positive{...}]を形成している．そのため，$T$から$H_1$は推論できるが，$H_2$は推論できない．

\begin{exe}
\ex \label{ex:1}
\begin{xlist}
\exi{$T$:} \label{ex:1a} \textbf{Some} [\positive{\underline{dogs}}] ran yesterday
\exi{$H_1$:} \label{ex:1b} \textbf{Some} \underline{animals} ran yesterday\ {\gt 含意}
\exi{$H_2$:} \label{ex:1c} \textbf{Some} \underline{beagles} ran yesterday\ {\gt 非含意}
\end{xlist}
\end{exe}

\noindent
一方，(\ref{ex:2})では，量化子\textit{every}が上位の表現から下位の表現に向かう推論を妥当な推論とする下方含意の文脈[\negative{...}]を形成しており，推論の向きが逆転する．
すなわち，$T$から$H_1$は推論できないが，$H_2$は推論できる．

\begin{exe}
\ex \label{ex:2}
\begin{xlist}
\exi{$T$:} \label{ex:2a} \textbf{Every} [\negative{\underline{dog}}] ran yesterday
\exi{$H_1$:}\label{ex:2b} \textbf{Every} \underline{animal} ran yesterday\ {\gt 非含意}
\exi{$H_2$:}\label{ex:2c} \textbf{Every} \underline{beagle} ran yesterday\ {\gt 含意}

\end{xlist}
\end{exe}

\noindent
もしモデルが
(i) $T,H$中の量化子が上方含意と下方含意のどちらの文脈を形成しているか，
(ii) その文脈において，$H$の構成素は$T$に対して上位の表現か下位の表現に置き換わっているか，
という意味的な性質の組み合わせを体系的に捉えていれば，(\ref{ex:1})や(\ref{ex:2})のようなmonotonicityの推論に対して，例外なく正解の含意関係を予測できるはずである．

さらに，関係節を含む例(\ref{ex:3})\footnote{(\ref{ex:3})は\textit{every}の下方含意の文脈に2回埋め込まれ上方含意に逆転する例であり，正解を予測するには単調性と再帰性を体系的に捉える必要がある．}のように，
言語には再帰性があり，論理的に妥当な推論のパターンは無限個考えられ，
もしモデルが推論の体系性を獲得していれば，潜在的には可算無限個の推論データに対して正解を予測できるはずである．

\begin{exe}
\ex \label{ex:3}
\begin{xlist}
\exi{$T$:} \label{ex:3a} \textbf{Every} [cat which chased \textbf{every} [\positive{\underline{dog}}]] ran 
\exi{$H$:} \label{ex:3b} \textbf{Every} cat which chased \textbf{every} \underline{animal} ran\ {\gt 含意}
\end{xlist}
\end{exe}

そこで本論文では，monotonicityの(A)量化子と語彙の置き換えの組み合わせにおける体系性と(B)再帰性に着目して，学習データを通して基本的な推論パターンを教えたときに，未知の組み合わせからなる推論パターンに対してどの程度モデルが汎化するかについて分析する手法を提案している．
この手法では，文脈自由文法(CFG) の生成規則に基づいてmonotonicityの推論データを自動構築することで，学習データとテストデータに含める推論のパターンを制御することが可能である．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[b]
\includegraphics{27-3ia7f1.eps}\\[-13pt]
\hangcaption{\protect\cite{yanaka-EtAl:2020:acl}の手法の概要．基本的な推論パターン\textbf{Train 1}と\textbf{Train 2}を学習したモデルを，未知の組み合わせからなる推論パターン (\textbf{Test}) で評価する．矢印は含意関係，\Repl{lex}, \Repl{adj}, \Repl{prep}は語彙の置き換えのタイプ（上位・下位語の置換，形容詞の追加，前置詞句の追加）を示す．}
\label{fig:goodpic}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


\section{ニューラル自然言語推論モデルの推論の体系性の評価}

図~\ref{fig:goodpic}左は，量化子と語彙の置き換えの組み合わせにおける体系性を評価する手法を紹介している．
この手法は，一通りの基本的な量化子と語彙の置き換えの組み合わせパターン，量化子と一通りの基本的な語彙の置き換えの組み合わせパターンを学習データで教えたときに，残りの組み合わせについて正しく予測できるかどうかで，そのパターンの体系性を学習できているかを評価する点がポイントである．
3種類のDNNによる自然言語推論モデル：LSTM， TreeLSTM，BERT \cite{BERT2018new}の評価結果（図~\ref{fig:lex1_4}）を見ると，
(a)では，組み合わせを学習するために必要な最小限の学習データ$\textbf{S}_1$でBERTの正答率はチャンスレート(50\%)よりも向上しており，上方含意・ 下方含意の量化子各1種類と全種類の語彙の置き換えの組み合わせから生成したデータを追加した$\textbf{S}_2$では正答率がほぼ100\%と，未知の組み合わせについて汎化することが示唆された．
LSTMとTreeLSTMは学習データを追加するにつれて正答率が上がるが，100\%には至らず，未知の組み合わせについて完全には汎化しないことが示唆された．
しかし，
(b)副詞や(c)前置詞句を文頭に追加したテストデータや，(d)目的語の位置で語彙操作が行われたテストデータで評価すると，BERTを含め全モデルで(a)よりも正答率が下がった．
語彙は学習・テストデータで共通であるのにもかかわらず，文の構成素の位置を少し変えただけで正答率が下がったことから，すべてのモデルにおいて，量化子と語彙の置き換えの組み合わせについて任意の構文構造のレベルでは汎化しないことが示唆された．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[t]
\begin{center}
\includegraphics{27-3ia7f2.eps}
\end{center}
\caption{量化子と語彙の置き換えの組み合わせにおける体系性の評価結果 \protect\cite{yanaka-EtAl:2020:acl}．}
\label{fig:lex1_4}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

さらに，図~\ref{fig:goodpic}右のように埋め込み節の深さを学習データとテストデータで制御することで，埋め込み節の深さ（再帰）における体系性を評価することができる．
実験の結果，学習データよりも1段以上深い埋め込みを含むデータで評価した場合，すべてのモデルにおいてチャンスレートよりも正答率が上がった．
しかし，学習データよりも2段以上深い埋め込みを含むデータで評価した場合は，正答率がチャンスレート前後となり，未知の深さにおける汎化性能は，学習データよりも1段深い埋め込みに限定されることが示唆された．

これらの結果から，現行のDNNはmonotonicityの推論を体系的には学習していないことが示唆された．
では，やはりDNNで記号推論を実現することは全く不可能なのだろうか．
この回答として，体系的な記号推論は実現できなくても，教師データを通してある程度は記号推論を模倣できるかもしれないという結果を最後に紹介したい．
ニューラル自然言語推論モデルの学習と評価には，MultiNLI \cite{DBLP:journals/corr/WilliamsNB17}という大規模な自然言語推論データセットがよく用いられている．
MultiNLIデータセットはクラウドソーシングで構築されているため，含まれている推論パターンの多くが語彙の入れ替えに基づく単純な推論パターンであり，論理的な推論パターンはほとんど含まれていない．
そのため，MultiNLIで学習したBERTをmonotonicityの推論で評価すると，とくに下方含意の推論は全く解けていない．
しかし，MultiNLIと本論文のmonotonicityのデータセットで学習したBERTを評価すると，MultiNLIの評価精度を維持しながら，monotonicityの推論も解けるようになった．
さらに，学習データよりも1段深い埋め込み節を含む推論については解けるようになっていた．
このことから，学習時に基本的な記号推論のパターンをモデルにうまく教えることで，推論パターンを部分的に汎化して記号推論を実現できる可能性もまだ残されているといえる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

記号推論対深層学習の問題は沼といっても過言ではなく，本稿で紹介した論文はまだ沼の入り口にすぎない．しかし，沼の底にこそ真の「人間の言語理解を超えた」言語モデルがあると信じて，まだしばらくはその沼でもがき続ける所存である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.5}
\bibliography{07refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{谷中　　瞳}{%
2011年早稲田大学先進理工学部応用化学科卒業．2013年東京大学大学院工学系研究科科学システム工学専攻修士課程修了．2018年東京大学大学院工学系研究科システム創成学専攻博士課程修了．博士（工学）．現在，理化学研究所革新知能統合研究センター特別研究員．
}

\end{biography}



\end{document}



