\documentclass[japanese,tombow,other]{jnlp_3.3}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{url}
\usepackage{gentombow}
\settombowbleed{5mm}
\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%\usepackage{amsmath}
\usepackage{booktabs}
%%%%\usepackage{caption}
\usepackage{multirow}
%%%%\usepackage{url}
\newcommand{\linestack}[1]{\def\arraystretch{1}\begin{tabular}[l]{@{}l@{}} #1 \end{tabular}}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\Volume{28}
\Number{1}
\Month{March}
\Year{2021}
%%%%\Issuetitle{「　　　　」特集号}


\setcounter{page}{287}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{A Method for Building a Commonsense Inference Dataset based on Basic Events}
\jauthor{大村　和正\affiref{Author_1}}
\etitle{A Method for Building a Commonsense Inference Dataset based on Basic Events}
\eauthor{Kazumasa Omura\affiref{Author_1}} 

\headauthor{大村}
\headtitle{A Method for Building a Commonsense Inference Dataset based on Basic Events}

\affilabel{Author_1}{京都大学大学院情報学研究科}{Graduate School of Informatics, Kyoto University}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section*{まえがき}

本稿では，EMNLP2020に採択された表題の論文``A Method for Building a Commonsense Inference Dataset based on Basic Events'' (Omura, Kawahara, and Kurohashi) について解説する．
採択論文は，拡張性・言語非依存性のある常識推論データセットの構築手法を提案したものである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}
\label{section:introduction}

計算機による文章読解の実現は，自然言語処理の分野における大きな目標の一つである．
この目標に向けて，計算機の文章読解能力を評価する問題設定を考え，そのデータを構築する研究が盛んに行われている \cite{Wang_et_al_2019_2,Wang_et_al_2019_1}．
本研究も例外でなく，「文章読解に向けた言語資源を構築する」という目標を設定したところから始まった．

具体的な問題設定を決めるにあたり，（公財）日本漢字能力検定協会が提供している文章読解・作成能力検定（文章検）の問題を参考に，文章読解に必要な知識の分析と問題のデザインの検討を行なった．
この際に我々は，四級の文章検で出題される表\ref{table:bunsyoken}のような問題に目を付けた．
この問題は次のような特徴があるために，自動生成を試みるにふさわしいと考えた．
\begin{enumerate}
\item 基本的なイベント間の蓋然的関係\footnote{ある事柄がある程度起こりうる／真であるという関係．因果関係より広範な原因-結果の関係に着目するという意図で，この用語を用いる．}を問い，解答に常識を必要とする．
\item 問題のベースとなるイベントペアは，談話標識を手掛かりにテキストから自動抽出できる．
\end{enumerate}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[t]
\begin{tabular}{lp{373pt}}
\toprule
問2 & 次の1〜5のそれぞれに、意味の上でも用法の上でも正しいものが続くように、最も適切なものを、ア〜ウのうちから1つ選びなさい。\\
\midrule
\multicolumn{2}{l}{4 昨日はいつもに比べて宿題が多かったので、} \\
 & \textbf{ア~全て終わらせるのに夜までかかってしまった。} \\
 & イ~夕食後にゲームをする時間はないかもしれない。 \\
 & ウ~テレビを見る時間をいつもより減らしたい。 \\
\bottomrule
\end{tabular}
\caption{四級の文章検で出題される問題例（実際の問題例より引用）．太字は正解選択肢である．}
\label{table:bunsyoken}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

一点目の特徴は，計算機の常識推論能力の訓練／評価に利用できることを意味する．
近年，深層学習はめざましい発展を遂げている．
特に大規模テキストで事前学習した汎用言語モデルBERT \cite{Devlin_et_al_2019}などにより，言い換え認識や構文解析など，基礎的な文章読解能力を評価するタスクでは人間に匹敵する精度が達成されている．
しかし，これらの高性能なモデルでも，常識推論は依然として難しいことが示されている \cite{Talmor_et_al_2019}．
そのため，計算機の常識推論能力を議論するために，表\ref{table:bunsyoken}のような問題を作ることは意義があると考えた．

また，二点目の特徴により，深層学習モデルの訓練データとして求められる規模のデータ構築が可能である．
ただし，テキストから自動抽出したイベントペアは(1)の性質を持つ（常識的である）とは限らない．
本研究では，基本的なイベント表現を含むことを条件付け，確認のためのクラウドソーシングを組み込むことで，この問題に対処している．

以上が，本研究の着想に至る経緯である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{提案手法}
\label{section:proposed_method}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{提案手法の鍵}

\ref{section:introduction}節で述べたように，テキストから抽出したイベントペアをベースに常識推論問題を作る場合，そのイベントペアが常識的であることを保証する必要がある．
そこで，本研究では\textbf{基本イベント}と\textbf{蓋然的基本イベントペア}なるものを定義し，これらに着目する．
基本イベントと蓋然的基本イベントペアは以下のように定義される．

\begin{description}
%%%%    \setlength{\leftskip}{0.3333cm}
\item[基本イベント] テキストから抽出した述語項構造をクラスタリングし，その中の高頻度なものを核とする表現
\item[蓋然的基本イベントペア] 蓋然的関係を持ち，前件・後件が基本イベントであるイベントペア
\end{description}

提案手法の鍵は，ある蓋然的基本イベントペアをベースとし，その他のペアの後件を誤り選択肢とすることで，常識推論問題を自動生成できるというものである（表\ref{table:sample}）．
蓋然的基本イベントペアは，基本イベントを核とし，クラウドワーカーによる確認を経るため，常識としての知識の一般性をある程度保証している．
また，問題は蓋然的基本イベントペアをもとに作られるため，常識推論能力を問うものになっている．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[t]
\begin{center}
\begin{tabular}{l|l}
\toprule
\multirow{5}{*}{\linestack{
お腹が空いたので，ご飯を食べる\\
ご飯を食べたら，すごく眠い\\
眠いので，コーヒーを飲む\\
激しい運動をすると，汗をかく\\
}}&お腹が空いたので \\
&~~~~a. コーヒーを飲む \\
&~~~~\textbf{b. ご飯を食べる} \\
&~~~~c. 汗をかく \\
&~~~~d. すごく眠い \\
\bottomrule
\end{tabular}
\end{center}
\hangcaption{蓋然的基本イベントペアの例（左）と，これらをもとにした常識推論問題の作問例（右）．太字は正解選択肢である．}
\label{table:sample}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

提案手法はテキストからの抽出をベースとするため，拡張性があり，ドメインが限定されることもない．
クラウドソーシングについても，確認・フィルタリングを行なうだけなので，低コストかつ作文によるannotation artifacts \cite{Gururangan_et_al_2018}の問題もない．
また，人手で構築されたデータやクラウドソーシングに強く依存しないため，談話標識を手掛かりにできる言語においては同様の手法を適用することができる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{提案手法の全体像}

提案手法は以下の4ステップから成る（図\ref{figure:overview}）．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[t]
\centering
\includegraphics{28-1ia107f1.pdf}
\caption{提案手法の概要図}
\label{figure:overview}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\begin{itemize}
\item[(1)] 格フレーム\footnote{本研究では，京都大学格フレーム(\url{https://www.gsk.or.jp/catalog/gsk2018-b})を利用した．}から高頻度な述語項構造を基本イベントとして獲得する．
\item[(2)] テキストに係り受け解析・談話関係解析を適用し，その結果，蓋然的関係を持つと認識され，かつ基本イベントを核とするイベントペアを抽出する．
\item[(3)] 抽出したイベントペアが蓋然的関係を持つかどうかをクラウドソーシングで確認し，蓋然的基本イベントペアを得る．
\item[(4)] 蓋然的基本イベントペアから文脈と正解選択肢を作り，その他の中程度に類似するイベントペアの後件から誤り選択肢を選択することによって，常識推論問題を生成する．
\end{itemize}
各ステップの詳細については採択論文の3・4章を参照されたい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{提案手法の適用}

7.1億文を含む日本語ウェブコーパスに提案手法を適用した結果，常識推論問題が10.4万問生成された．
表\ref{table:example}に問題の生成例を示す．
これらの常識推論問題について，計算機と人間による解答精度を検証した結果，
BERT$_{\scriptsize \textsc{LARGE}}$モデルの解答精度は76.0\%，多数決で集約したクラウドワーカーの解答精度は88.9\%であった（詳細は採択論文の4・5章を参照）．
常識推論能力において，計算機と人間の間に開きがあることを示している．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 3
\begin{table}[t]
\begin{center}
\begin{tabular}{l|l}
\toprule
今週はずいぶん気温が下がったので&南西の方角にユリの花を飾ると\\
~~~~a. ふるえることで体を温めようとします&~~~~a. 遠近法の効果で部屋が広く見えます\\
~~~~b. 問題なく行けるだろう&~~~~b. 効果は別として、可愛い\\
~~~~\textbf{c. カゼひかないようにする}&~~~~c. ちょっと期待が高まる\\
~~~~d. 早目に寝る&~~~~\textbf{d. 多少運気が上がる}\\
\bottomrule
\end{tabular}
\end{center}
\caption{常識推論問題の生成例．太字は正解選択肢である．}
\label{table:example}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

採択論文では，テキストからの自動抽出とクラウドソーシングを組み合わせた，拡張性・言語非依存性のある常識推論データセットの構築手法を提案した．
各問題は，基本的なイベント間の蓋然的関係を問う多肢選択式問題である．
提案手法を日本語ウェブコーパスに適用し，大規模な常識推論データセットを構築した．
計算機による解答実験の結果，高性能な転移学習モデルと人間の間に10\%程度の開きがある，すなわち常識推論能力の評価に有効なデータセットであることを示した．
構築したデータセットは，\url{http://nlp.ist.i.kyoto-u.ac.jp/?KUCI}にて公開している．

今後は，構築したデータセットを利用して，常識推論に向けたモデルやアルゴリズムの改善に取り組む予定である．
また，このデータセットで常識を学習し，省略・照応解析や談話関係解析など他のタスクに応用することを検討する．

提案手法は，実際の検定問題から着想を得たこともあり，文章題の作問支援にも利用できると考えられる．
計算機だけでなく，人間の学習にも役立てられることを期待する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.6}
\bibliography{27refs}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{大村　和正}{%
2019年京都大学工学部電気電子工学科卒業．
現在，同大学大学院情報学研究科修士課程に在籍中．
}
\end{biography}




\end{document}


