\documentclass[japanese]{jnlp_3.7}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
\usepackage{array}
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
\usepackage{booktabs}
\usepackage{linguex}
\usepackage{mathtools}
\mathtoolsset{showonlyrefs=true}
\usepackage{multirow}

\newcommand \choice{RANGE$_{\mbox{\scriptsize \textup{choice}}}$\xspace}
\newcommand \context{RANGE$_{\mbox{\scriptsize \textup{context}}}$\xspace}
\newcommand \length{RANGE$_{\mbox{\scriptsize \textup{length}}}$\xspace}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{30}
\Number{4}
\Month{December}
\Year{2023}
%%%%\Issuetitle{「　　　　」特集号}

\received{2023}{4}{27}
\revised{2023}{8}{9}
\accepted{2023}{9}{21}

\setcounter{page}{1206}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{
基本イベントに基づく常識推論データセットの構築と利用
}
\jauthor{
大村　和正\affiref{Author_1} \and 
河原　大輔\affiref{Author_2} \and 
黒橋　禎夫\affiref{Author_1} \affiref{Author_3}
}
\jabstract{
本研究では，基本イベントに基づく常識推論データセットの構築手法を提案する．具体的には，テキストから「お腹が空いたので，ご飯を食べる」といった蓋然的関係を持つ基本的なイベント表現の組を自動抽出し，クラウドソーシングによる確認を行った後，基本イベント間の蓋然的関係を問う多肢選択式問題を自動生成する．提案手法に従って10万問規模の常識推論データセットを構築し，計算機による解答実験を行った結果，高性能な汎用言語モデルと人間の間に解答精度の開きがあることを示した．また，提案手法の拡張性の高さを利用して疑似問題を大規模に自動生成し，このデータ拡張による常識推論タスクおよび関連タスクでの効果を検証した．実験の結果，蓋然的関係に関する知識を広範に学習させることで，常識推論タスクおよび関連タスクにおいて一定の効果があることを示した．これは，蓋然的関係を推論する能力が自然言語理解において重要であることを示唆している．
\footnote[0]{本論文は，The 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP 2020) および The 29th International Conference on Computational Linguistics (COLING 2022) で発表した論文 \cite{Omura_et_al_2020,Omura_and_Kurohashi_2022}を和訳し，加筆・修正を行ったものである．}
}
\jkeywords{常識推論，基本イベント，蓋然的関係，自然言語理解}

\etitle{
Building a Commonsense Inference Dataset\\based on Basic Events and its Application
}
\eauthor{
Kazumasa Omura\affiref{Author_1} \and 
Daisuke Kawahara\affiref{Author_2} \and 
Sadao Kurohashi\affiref{Author_1} \affiref{Author_3}
} 
\eabstract{%
We propose a method for building a commonsense inference dataset based on basic events. Specifically, we automatically extract contingent pairs of basic event expressions such as ``I'm hungry, so I have a meal'' from text, verify by crowdsourcing, and automatically generate commonsense inference problems regarding the contingent relation between basic events. We built a commonsense inference dataset of 100k problems by the proposed method and conducted experiments to investigate the model performance. The results showed that there is a performance gap between high-performance language models and humans. In addition, we automatically generated large-scale pseudo problems by utilizing the scalability of the proposed method and investigated the effects by the data augmentation on the commonsense inference task and the related tasks. The results demonstrated the effectiveness of learning extensive contingent knowledge for both the commonsense inference task and the related tasks, which suggests the importance of contingent reasoning.
}
\ekeywords{Commonsense Inference, Basic Event, Contingency, Natural Language Understanding}

\headauthor{大村，河原，黒橋}
\headtitle{基本イベントに基づく常識推論データセットの構築と利用}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\affilabel{Author_1}{京都大学大学院情報学研究科}{Graduate School of Informatics, Kyoto University}
\affilabel{Author_2}{早稲田大学基幹理工学部}{School of Fundamental Science and Engineering, Waseda University}
\affilabel{Author_3}{国立情報学研究所}{National Institute of Informatics}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}
\label{section:introduction}
計算機による自然言語理解の実現は，自然言語処理における大きな目標のひとつである．
この目標に向けて，計算機の言語理解力を訓練・評価する問題設定を考え，そのデータを構築する研究が盛んに行われている \cite{Wang_et_al_2019_GLUE,Wang_et_al_2019_SuperGLUE,Srivastava_et_al_2022}．
このような取り組みの中で，計算機による自然言語理解を実現するためには，言語に関する知識（語句の意味，構文など）と言語を超えた実世界に関する知識の両方が必要であると議論されてきた．

前者の言語に関する知識は，汎用言語モデルBERT \cite{Devlin_et_al_2019}の登場以降，相当学習できるようになった．
大規模テキストから文脈に応じた語のベクトル表現を事前に学習し，下流タスクに合わせてfine-tuningすることで，言い換え認識や構文解析といった基礎的な解析タスクで人間に匹敵する精度が達成されている．

一方で，後者の実世界に関する知識の獲得については，まだ課題が残る．
実世界に関する知識は無数に存在するため，その基本的な部分，すなわち常識に焦点を当てたデータが盛んに構築されている．
そこでは，広範な知識の中から常識を獲得するために，どのように常識に焦点を当てるかが課題となる．

これまでに行われた工夫を見ると，例えば，SWAG \cite{Zellers_et_al_2018}は動画キャプションをベースとすることで対象を視覚で捉えられる日常的な出来事に限定している．
しかし，これでは扱える常識の範囲が制限される．
その他の試みとして，ConceptNet \cite{Speer_et_al_2017}をベースとするCommonsenseQA \cite{Talmor_et_al_2019}がある．
ConceptNetがカバーする基本的な語句の間の関係をベースとしているが，ConceptNet全体を用いても1.2万問しか作問できないという拡張性の問題がある．

また，作問時に含まれるバイアスをできるだけ排除しなければならないという課題もある．
前述の試みについて，例えば，SWAGでは誤り選択肢文を言語モデルで自動生成し，CommonsenseQAでは問題文をクラウドソーシングで作成している．
このため，これらのデータセットには言語モデルの生成バイアスやAnnotation Artifacts\footnote{クラウドワーカーの作文に含まれる語彙や文体などのパターンのことを指す．} \cite{Gururangan_et_al_2018}が含まれうる．

本研究では，これらの問題を解決するために，人手で構築された言語資源をベースとした作問や人手による作問ではなく生のテキストデータからの作問を試みる．
蓋然的関係\footnote{
ある程度続けて起こりうる/真である事態間に成立する関係．
Penn Discourse Treebank \cite{Prasad_et_al_2008,Prasad_et_al_2019}における談話関係``Contingency''に相当する日本語の用語として定義する．
}を持つ基本的なイベント表現の組をテキストから自動抽出し，クラウドソーシングで確認を行い，それをベースに常識推論問題を自動生成するという手法を提案する．

基本的なイベント表現（\textbf{基本イベント}と呼ぶ）は「テキストから抽出した述語項構造をクラスタリングし，その中の高頻度なものを核とする表現」と定義する．
これをもとに，談話標識を手かがりとして「蓋然的関係を持ち，前件・後件が共に基本イベントである節の組」を自動抽出する．
これを\textbf{蓋然的基本イベントペア}と呼ぶ．

例えば，蓋然的基本イベントペアは次のようなものである．

\ex. \a. お腹が空いたので，ご飯を食べる
     \b. ご飯を食べたら，すごく眠い
     \c. 眠いので，コーヒーを飲む
     \d. 激しい運動をすると，汗をかく

ある蓋然的基本イベントペアの前件を文脈，後件を正解選択肢とし，その他のイベントペアの後件を誤り選択肢とすることで，図\ref{figure:example}のような常識推論問題を自動生成することができる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%% fig. 1
\begin{figure}[b]
\begin{center}
\includegraphics{30-4ia4f1.pdf}
\end{center}
    \caption{常識推論問題の作問例．$\checkmark$印は正解選択肢である．}
    \label{figure:example}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

提案手法はテキストからの自動抽出をベースとするため，拡張性があり，ドメインを限定しない．
クラウドソーシングについても，確認（フィルタリング）を行うだけなので，低コストかつAnnotation Artifactsの問題もない．
また，人手で構築された言語資源やクラウドソーシングに強く依存せず，談話標識は様々な言語に普遍的に存在するため，他言語にも比較的適用しやすいと考えられる．

本研究では，まず，日本語7億文を含むウェブコーパスに提案手法を適用し，常識推論問題10万問から成るデータセットを構築する．
計算機による解答実験を行い，様々なタスクで高い性能を達成している汎用言語モデルでも人間との間に性能の開きがあることを示す．

次に，この性能の開きを改善するため，提案手法の拡張性の高さを利用したデータ拡張による常識推論能力の改善に取り組む．
具体的には，クラウドソーシングによる確認を省略することで常識推論問題を模した疑似問題を大規模に自動生成し，これを訓練時に組み込むという手法を検証する．

最後に，蓋然的関係に関する知識の転移可能性を検証するため，常識推論問題および擬似問題からの転移学習による関連タスクへの効果を定量的に評価する．
これらの実験の結果，常識推論問題および擬似問題を通して蓋然的関係を広範に学習することで常識推論タスクおよび関連タスクにおいて一定の効果があることを示す\footnote{構築した常識推論データセットおよび疑似問題は\url{https://nlp.ist.i.kyoto-u.ac.jp/?KUCI}にて公開している．}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}
\label{section:related_work}
常識に焦点を当てた言語資源はこれまでに様々なものが構築されており，それらはデータセットと知識ベースの2つに大別される．
本研究で構築する常識推論データセットは前者に分類され，後者の常識知識ベースはConceptNet \cite{Speer_et_al_2017}やATOMIC \cite{Sap_et_al_2019_ATOMIC,Hwang_et_al_2021}などがある．
本節では，常識推論に関するデータセット並びに常識推論能力の改善に向けたアプローチについて述べる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{常識推論データセット}
\label{subsection:commonsense_inference_datasets}
常識推論能力の訓練・評価に向けたデータセットは主に英語で盛んに構築されており，SWAGやCommonsenseQAなどがある．
これらのデータセットについて説明する．

SWAG (Situations With Adversarial Generations) \cite{Zellers_et_al_2018}は，与えられた文脈に続く最も適切な動詞句を問う多肢選択式問題11万問から成る常識推論データセットである．
常識としての知識の一般性を保証するために動画キャプションをベースに問題を作成しており，ドメインは視覚で捉えられる日常的な出来事に限定される．
各問題は，動画キャプションから連続する2文を抽出し，その1文目から2文目の主語までを文脈，残りの部分を正解選択肢としている．
誤り選択肢文の候補は言語モデルから生成し，分類モデルが簡単に誤りだと見分けられるものを除去することで，より紛らわしい誤り選択肢文を獲得している．
しかし，SWAGはBERTによって人間に匹敵する精度で解かれている．
これは，言語モデルが生成した誤り選択肢文にバイアスが含まれており，BERTがこれを検知するような学習をしたためだと考えられている \cite{Zellers_et_al_2019}．
これを受けてZellersらは，より高性能な言語モデルを使用してBERTがバイアスを検知できないデータセット (HellaSwag) を構築した \cite{Zellers_et_al_2019}．
しかし，HellaSwagも同様の問題が指摘されており \cite{Tamborrino_et_al_2020}，バイアス問題の本質的な解決には至っていない．

CommonsenseQA \cite{Talmor_et_al_2019}は，問題文の答えとして最も適切な語句を問う多肢選択式問題1.2万問から成る常識推論データセットである．
常識知識ベースであるConceptNetから部分グラフを抽出し，それをもとにクラウドソーシングで作問する．
部分グラフは1つのソースコンセプトと，それと同じ関係で結ばれる3つのターゲットコンセプトから成る．
クラウドワーカーは，ソースコンセプトを含み，ターゲットコンセプトの内1つだけが答えとなるような問題文を各ターゲットコンセプトに対して作成する．
さらに，作成した問題に対してクラウドソーシングで誤り選択肢を2つ追加することで5択問題を作る．
この手法はConceptNetをベースとするため，拡張性の問題がある．
また，Annotation Artifacts \cite{Gururangan_et_al_2018}が潜在的に含まれる可能性がある．

これらの他にも，日常的な出来事の間の因果関係を問うCOPA (Choice Of Plausible Alternatives) \cite{Roemmele_et_al_2011}，社会常識を問うSocial IQA (Social Intelligence QA) \cite{Sap_et_al_2019_Social_IQA}，手続き的な知識を問うPIQA (Physical Interaction: Question Answering) \cite{Bisk_et_al_2020}など，ある種の常識に焦点を当てたデータセットが多数構築されている．
また，常識推論能力を直接問うものではないが，解答に常識が必要となるデータセットとして，Winograd Schema Challenge (WSC) \cite{Levesque_2011}およびWSC形式の問題をクラウドソーシングで大規模に作成して構築されたWinoGrande \cite{Sakaguchi_et_al_2020}がある．
いずれも既存の言語資源や人手（専門家・クラウドソーシング）による作問をベースとしており，前述の問題が考えられる．

上記のデータセットの多くはタスクが2択から5択までの多肢選択式であるが，生成タスクとして評価する取り組みも存在し \cite{Lin_et_al_2020,Enomoto_and_Shimada_2022,Suzuki_and_Shinnou_22}，代表的なデータセットとしてCommonGenがある．
CommonGenは，画像キャプション，ConceptNet，クラウドソーシングを利用して作成された制約付きの文生成問題 3.5 万問から成る．
具体的には，物体もしくは動作を表す複数の単語が与えられ，それらの単語を全て用いて日常的な場面を記述した文を生成するというタスクである．
例えば，``dog''，``frisbee''，``catch''，``throw''の4単語から``A dog leaps to catch a thrown frisbee.''といった文を生成することが正解となる．
生成タスクはより直接的に計算機の推論能力を見ることができる一方で，確立された自動評価指標がなく，性能を比較しづらいという問題がある．
また，自動評価の信頼性を上げるために，各問題で複数の解答例を用意することはしばしば現実的でない．
多肢選択式は出力の候補が制限されるものの，解答精度をもとに性能を客観的に比較しやすいことは利点であると考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{常識推論能力の改善に向けたアプローチ}
常識推論能力の改善に向けたアプローチとして自動生成した訓練データを活用するものがあり，擬似問題を自動生成する我々のアプローチもこれに該当する．
例えば，\citeA{Ye_et_al_2019}は，WikipediaとConceptNetから自動生成した1,600万問規模の多肢選択式穴埋め問題に対して追加の事前学習を行った．
ConceptNetを必要とするものの，語句レベルの常識推論タスク（CommonsenseQAおよびWSC）における解答精度の向上が報告されている．
\citeA{Staliunaite_et_al_2021}は，ウェブテキストから談話標識を手がかりに因果関係を持つ節の組を抽出し，負例を言語モデルから生成することで，COPAおよびBalanced COPA \cite{Kavumba_et_al_2019}に対するデータ拡張を行った．
日常的な因果関係を推論する能力の改善に焦点を当てており，関連タスクへの効果は検証していない．

その他のアプローチとして，常識推論に向けた既存の言語資源から知識を転移するものがある．
例えば，前述のSocial IQAおよびWinoGrandeを中間タスクとして解くことで，COPAおよびWSCに対する解答精度の向上が報告されている \cite{Sap_et_al_2019_Social_IQA,Sakaguchi_et_al_2020}．
また，CosmosQA \cite{Huang_et_al_2019}やHellaSwag \cite{Zellers_et_al_2019}といった複雑な常識推論を要するデータセットは転移元のタスクとして効果的であることが， \citeA{Pruksachatkun_et_al_2020}によって実験的に示されている．
\citeA{Lourie_et_al_2021}は，マルチタスク学習によって常識推論に関する言語資源間の相互作用を検証し，複数の常識推論データセットを学習する効果を示した．
本研究では，基本的な蓋然的関係を推論する能力に焦点を当て，これに関する知識の転移可能性を日本語で検証する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{提案手法}
\label{section:proposed_method}
常識推論問題は図\ref{figure:example}に示すように文脈と4つの選択肢から成り，文脈の後に続く文として最も適切なものを選ぶタスクである．
人間はこのような基本的な蓋然的関係の推論を文章読解や対話といった日常の様々な場面で行っており，自然言語理解において重要な推論能力を問う．
これらの問題は常識としての知識の一般性を担保するために，基本イベントから成り，クラウドソーシングによる確認を経たイベントペアから生成する．
また，テキストからの自動抽出をベースとすることで拡張性を担保する．
これらを踏まえ，次の手順で常識推論問題を作成する（図\ref{figure:proposed_method}）．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%% Fig. 2
\begin{figure}[t]
\begin{center}
\includegraphics{30-4ia4f2.pdf}
\end{center}
    \caption{提案手法の概要図．}
    \label{figure:proposed_method}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\begin{enumerate}
    \item 格フレームから高頻度な述語項構造を「基本イベントの核となる表現（\textbf{コアイベント}と呼ぶ）」として獲得する．
    \item テキストに係り受け解析・談話関係解析を適用し，「蓋然的関係を表す談話標識で接続され，かつコアイベントから成るイベントの組」を自動抽出する．
    \item 抽出されたイベントペアが実際に蓋然的関係があるか否かをクラウドソーシングで確認し，蓋然的基本イベントペアを得る．
    \item ある蓋然的基本イベントペアの前件を文脈，後件を正解選択肢とし，これと中程度に類似するその他のイベントペアの後件を誤り選択肢とすることで，常識推論問題を自動生成する．
\end{enumerate}

\noindent
以降，各ステップの詳細について述べる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{コアイベントの獲得}
\label{subsection:acquire_core_events}
本研究における基本イベントは「テキストから抽出した述語項構造を
クラスタリングし，その中の高頻度なもの（コアイベント）を核とする表現」と定義する．
述語項構造をクラスタリングした既存の言語資源として格フレーム \cite{Kawahara_and_Kurohashi_2006,Kawahara_et_al_2014}があり，本研究ではこれを利用する．

格フレームデータにおいては，各述語が用法ごとに格フレームを持つ．
各格フレームは複数の格を持ち，各格は格要素となりうる名詞群からなる．
日本語格フレームの例を表\ref{table:case_frame}左に示す．

本研究では，格フレームから高頻度な述語項構造を抽出し，それらをコアイベントとする．
まず，格フレームデータから，能動態の述語を対象に頻度上位$\alpha$件の述語を取得する．
取得した各述語に対して，格フレーム，格，格要素をそれぞれ頻度順に見た時に，頻度の累積和がその項目全体の$\beta$\%，$\gamma$\%，$\delta$\%を超えるまで取得する．
例えば，格フレームはその述語の頻度の$\beta$\%をカバーするまで取得する．
上記の閾値は対象言語に応じて経験的に決定する．

日本語格フレームから獲得したコアイベントの例を表\ref{table:case_frame}右に示す．
例えば，表\ref{table:case_frame}左において，述語「壊す」の1番目の格フレームは「お腹」もしくは「体」をヲ格の項に取るものが用例の過半数を占めており，$\delta$を50に設定すると「お腹を壊す」と「体を壊す」がコアイベントとして獲得される．
日本語におけるパラメータ$\alpha$，$\beta$，$\gamma$，$\delta$の詳細な値は\ref{section:build_dataset}節で述べる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%% Tab.1
\begin{table}[t]
\input{04table01.tex}%
\hangcaption{述語「壊す」の格フレーム（左表）と抽出されるコアイベントの例（右表）．表中の数値は，格もしくは格要素の頻度を表す．}
    \label{table:case_frame}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\subsection{蓋然的基本イベントペアの自動抽出}
\label{subsection:extract_event_pairs}
まず，テキストに係り受け解析と談話関係解析を適用し，蓋然的関係を表す談話標識で接続されるイベントペアを抽出する．
イベントは単一の事態を表す単位であり，修飾要素を含む述語項構造に相当する \cite{Saito_et_al_2018}．
また，蓋然的関係は「原因・理由」または「条件」の談話関係とし，これはPenn Discourse Treebank \cite{Prasad_et_al_2008,Prasad_et_al_2019}における談話関係``CONTINGENCY:Cause''または``CONTINGENCY:Condition''に相当する．

続いて，解析結果から信頼性の高い部分を選択し，常識的な内容を表すイベントペアに絞るため，以下の2つの条件を共に満たすイベントペアを選択する．
本研究では，原因・理由などを表す1つ目のイベントを「前件」，結果などを表す2つ目のイベントを「後件」と呼ぶ．
\begin{description}
    \item[Reliable] 前件が後件に曖昧性なく係る．
        \begin{itemize}
            \item 1文中にイベントが2つしかない場合，係り受けの曖昧性は無い．
            \item 1文中にイベントが3つ以上ある場合，対象言語に合わせた基準を設け，それに従って係り受けの曖昧性が無い部分を抽出する．
            日本語における基準は\ref{subsection:extract_japanese_event_pairs}節で述べる．
        \end{itemize}
    \item[Basic] 前件および後件が共に基本イベントである．
        \begin{itemize}
            \item 基本的には前件・後件がコアイベントを包含するか否かを調べるが，後件の項は代名詞化もしくは省略される可能性が高いため，後件が明示された項をもたない場合は前件から項を補完してコアイベントの包含関係を調べる．
            
            例えば，イベントペア「台風でガラスが割れる$\to$取り替える」の場合，後件「取り替える」に対して，前件に含まれる項「台風」もしくは「ガラス」を取るコアイベントの有無を調べる．
            日本語格フレームからはコアイベント「ガラスを取り替える」が獲得されるため，このペアはBasic条件を満たすことになる．
        \end{itemize}
\end{description}

最後に，次のステップのクラウドソーシングによる確認に向けて，次の後処理を行う．
\begin{itemize}
    \item 事態性の弱いもの，ウェブ特有の定型表現を含むものを除くため，抽出されたイベントペアに含まれるコアイベントの頻度を数え，高頻度のコアイベント\footnote{「問題が無い」や「情報が満載」などが例として挙げられる．}を含むイベントペアを除く．
    \item 指示代名詞・未知語を含むイベントペアを除く．
    \item 同じ述語項構造の組から成るイベントペアは1つを残して重複を除く．
\end{itemize}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{クラウドソーシングによる確認}
\label{subsection:verify_by_crowdsourcing}
自動抽出された蓋然的基本イベントペアから，クラウドソーシングを利用して蓋然的関係があるものを選択する．
クラウドワーカーは，各イベントペアに対して次の2択から評価を選択する．
\begin{enumerate}
    \item AはBの原因・理由である
    \item その他の関係，もしくは関係がない
\end{enumerate}
ここでは前件をA，後件をBと表現する．
AとBを接続した文の自然さではなく，AとBの間の蓋然的関係を評価してもらうために，談話標識は省略して提示する．
各イベントペアを複数人のクラウドワーカーが評価し，過半数以上が「AはBの原因・理由である」と評価したイベントペアを蓋然的基本イベントペアとして採用する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{常識推論問題の自動生成}
\label{subsection:generate_problems}
蓋然的基本イベントペアから常識推論問題を自動生成する．
各問題は，蓋然的基本イベントペアを1つ選び（\textbf{ベース}と呼ぶ），その前件を文脈，後件を正解選択肢とする．
誤り選択肢は，ベースと中程度に類似する\footnote{正解選択肢と誤り選択肢が酷似していると生成される問題が解答不能になってしまう一方で，類似度が低いと計算機に容易に誤りだと識別されてしまうため，中程度に類似するものを選択する．}その他のイベントペアの後件から自動的に選択する．
正解選択肢と中程度に類似する誤り選択肢を獲得するため，次の条件で選択を行う．\\

\begin{description}
    \item [Choice Similarity] 後件と正解選択肢の間の類似度が \choice の範囲にある．
        \begin{itemize}
            \item 後件と正解選択肢の間の類似度は，文のベクトル表現間のコサイン類似度で測る．
            \item 文のベクトル表現は，文に含まれる自立語の単語ベクトルの平均とする．
        \end{itemize}
    \item [Context Similarity] 後件と組を成す前件と文脈の間の類似度が \context の範囲にある．
        \begin{itemize}
            \item 前件と文脈の類似度は条件\textbf{Choice Similarity}と同様に計算する．
        \end{itemize}
\end{description}

\noindent
また，問題の体裁を整えるため，正解選択肢に対して単語数の比が \length の範囲にある後件に限定する\footnote{予備実験の結果，この単語数に基づく条件は計算機の解答精度に影響しないことを確認した．}．

誤り選択肢の候補が3件以上得られた場合，無作為に3件選択することで問題を生成する．
誤り選択肢の候補が3件以上得られなかった場合，問題を生成しない．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{日本語常識推論データセットの構築}
\label{section:build_dataset}
\ref{section:proposed_method}節の手法に従って，日本語を対象に常識推論データセットを構築した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{コアイベントの獲得}
コアイベントは，日本語100億文を含むウェブコーパスから自動構築された京都大学格フレーム\footnote{\url{https://www.gsk.or.jp/catalog/gsk2018-b}}から獲得した．
頻度に関する閾値$\alpha$，$\beta$，$\gamma$，$\delta$は，それぞれ5,000，75，50，50に設定した．

この結果，28,642個の格フレームから約1,400万件のコアイベントを獲得した\footnote{格を2つ以上取るコアイベントについては各格要素の全ての組み合わせを計数しているため，件数が多く出ている．}．

コアイベントの例は表\ref{table:case_frame}右に示している．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{蓋然的基本イベントペアの自動抽出}
\label{subsection:extract_japanese_event_pairs}
まず，日本語7.1億文を含むウェブコーパスから蓋然的関係を持つイベントペアを自動抽出した．
2006年から2015年までクローリングして構築された内製のコーパスの一部を用いている．
抽出には日本語解析器KNP\footnote{\url{https://github.com/ku-nlp/knp}} \cite{Kurohashi_and_Nagao_1994}とEventGraph\footnote{\url{https://github.com/ku-nlp/pyknp-eventgraph}} \cite{Saito_et_al_2018}を用いた．
KNPは係り受け解析と談話標識に基づく節間の明示的な談話関係の解析を行うツールであり，EventGraphはKNPの解析結果をイベント単位に整形するツールである．
KNPおよびEventGraphをテキストに適用した結果，約8,500万組の蓋然的関係を持つイベントペアを自動抽出した．

次に，係り受けの曖昧性がない基本イベントペアに絞るため，\textbf{Reliable}条件と\textbf{Basic}条件を満たすイベントペアを選択した．
日本語における\textbf{Reliable}条件は「文中の末尾2節である」と設定した．
これは，日本語では基本的に語が左から右に係るため，末尾2節の間に係り受けの曖昧性がないためである．

最後に後処理を行い，164,910組の蓋然的基本イベントペアを抽出した．
表\ref{table:stats_of_extraction}に詳細な統計を示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%% Tab. 2
\begin{table}[t]
\input{04table02.tex}%
\hangcaption{イベントペアの抽出に関する統計．例えば，項目``+Reliable''の数値は\textbf{Reliable}条件を満たす蓋然的イベントペアの数を表す．}
    \label{table:stats_of_extraction}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{Basic条件の予備調査}
\textbf{Basic}条件による効果を調査するため，表\ref{table:stats_of_extraction}の``+Reliable''および``+Reliable+Basic''に相当するイベントペア集合から無作為に100組ずつ抽出し，常識的な内容を表すか否かを著者らが人手で評価した．
便宜上，抽出されたイベントペアをそれぞれ``R''および``RB''と表現する．
人手評価の結果，``R''は47組，``RB''は76組が常識的であると評価された．
``R''に含まれるイベントペアで，\textbf{Basic}条件によって除かれるものを次に例示する．

\ex. 魔力カウンターの乗っていない「魔法都市エンディミオン」に対してサイクロンを発動すると，$\to$破壊できる

\ex. すると，$\to$泣きやすい

\textbf{Basic}条件によって，限定的なドメインでのみ用いられる表現や必須補語が欠けた表現を含むイベントペアが除かれている．
この点で，\textbf{Basic}条件は常識的な内容を表すイベントペアを抽出するのに効果的であると考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{クラウドソーシングによる確認}
\label{subsection:actually_verify_by_crowdsourcing}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%% Fig. 3
\begin{figure}[t]
\begin{center}
\includegraphics{30-4ia4f3.pdf}
\end{center}
    \caption{イベントペアの蓋然的関係を評価するクラウドソーシングのタスク画面のスクリーンショット．}
    \label{figure:crowdsourcing_verification}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

自動抽出された蓋然的基本イベントペアから，クラウドソーシングを利用して蓋然的関係があるものを選択した．
クラウドソーシングサービスはYahoo!クラウドソーシング\footnote{\url{https://crowdsourcing.yahoo.co.jp/}}を利用した．
クラウドワーカーは1タスクあたり17組のイベントペアが提示され，それぞれ\ref{subsection:verify_by_crowdsourcing}節で述べた2択から評価を選択する（図\ref{figure:crowdsourcing_verification}）．
17組の内2組は注意力を測るためのダミーの設問であり，このイベントペアの評価を間違えたクラウドワーカーの回答は除外される．
イベントペア1組あたり4人のクラウドワーカーが評価し，過半数以上が「AはBの原因・理由である」と評価したものを蓋然的基本イベントペアとして採用した．

クラウドソーシングの結果，164,910組から104,266組の蓋然的基本イベントペアを獲得した．
クラウドソーシングによって約1/3のイベントペアが除かれているが，これは\textbf{Basic}条件の予備実験結果に沿っている．
クラウドソーシングにかかった費用は合計48.4万円であり，1問あたりの作問コストに換算すると4.7円であった．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{常識推論問題の自動生成}
最後に，蓋然的基本イベントペアから常識推論問題を生成した．
条件\textbf{Choice-Similarity}における類似度の範囲 \choice は (0.4, 0.6) ，条件\textbf{Context-Similarity}における類似度の範囲 \context は (0.5, 0.7) とした．
条件\textbf{Context-Similarity}は条件\textbf{Choice-Similarity}と比べて正解選択肢との類似度の調整が間接的であるため， \context を \choice より高く設定している．
選択肢をベクトル表現に変換する際は，日本語ウェブコーパスから学習したword2vecモデル\footnote{\url{https://code.google.com/archive/p/word2vec/}}を用いた．
また，自立語は形態素解析器Juman++ \cite{Morita_et_al_2015,Tolmachev_et_al_2018}の辞書に含まれる動詞，形容詞，名詞とした．
これらのパラメータによって得られる誤り選択肢の候補数の平均値は3,459，中央値は1,355であった．

この結果，蓋然的基本イベントペア104,266組から常識推論問題を103,907問生成した．
作問結果の例は，図\ref{figure:prediction}および図\ref{figure:improved}に計算機による解答結果と共に示している．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{人間の解答精度の調査}
人間の解答精度を調査するため，生成した常識推論問題から無作為にサンプリングし，クラウドソーシングを利用して解答を収集した．
具体的には，500問から成る問題セットを3セット用意し，各セットに対して異なる時間帯にクラウドソーシングを行うことで，多様なクラウドワーカーの解答を収集した．
また，各問題に対して5人のクラウドワーカーから解答を収集した．
この結果，クラウドワーカーの平均正解率は83.8\%，多数決で集約した解答の正解率は88.9\%であった．
以降，多数決で集約した解答の正解率を人間の性能とみなす．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{常識推論データセットの構築}
\label{subsection:build_dataset}
計算機による解答実験に向けて，生成した問題を$8:1:1$に分割し，それぞれ訓練データ，開発データ，テストデータとした．
リークを抑えるため，訓練データの各問題のベースに含まれるコアイベントの組とテスト（開発）データの各問題のベースに含まれるコアイベントの組の間に重複がないように分割を行った\footnote{例えば，図\ref{figure:example}の問題のベースは「お腹が空いたので，ご飯を食べる」であり，「お腹が空く$\to$ご飯を食べる」というコアイベントの組を含む．
この問題が訓練データに含まれる場合，「お腹が空いたから，駅でご飯を食べる」のような同じコアイベントの組を含むイベントペアをベースとする問題はテスト（開発）データに含まれないことを表す．}．
構築した常識推論データセットの統計を表\ref{table:stats_of_dataset}に示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%% Tab. 3
\begin{table}[b]
\input{04table03.tex}%
\caption{構築した常識推論データセットの統計．表中の数値は問題数を表す．}
    \label{table:stats_of_dataset}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{既存の常識推論データセットとの比較}
既存の常識推論データセットにあまり含まれていない知識が構築したデータセットに含まれていることを確認する．
本研究では，比較対象としてSWAG \cite{Zellers_et_al_2018}およびSocial IQA \cite{Sap_et_al_2019_Social_IQA}を選択した．
いずれも同規模かつ句間・節間の蓋然的関係を対象とし，構築したデータセットとの関連性が高いと考えられるためである．

\ref{subsection:commonsense_inference_datasets}節で述べたとおり，SWAGは動画キャプションをベースとするため，手続き的な知識が主な対象であり，文脈から誘発される状態や感情などの知識\footnote{「友達と遊ぶ$\to$とても楽しい」などが例として挙げられる．}はあまり含まれていないことが推測される．
これを確認するために，全訓練事例のうち正解選択肢に形容詞句を含む事例の割合を調査した\footnote{英語の句構造解析にはStanza \cite{Qi_et_al_2020}を使用した．}．
この結果，SWAGが1.1\%，構築したデータセットが15.7\%であった．

Social IQAは与えられた文脈と質問文に対する答えを3択から選ぶ問題3.8万問から成るデータセットである．
ATOMIC \cite{Sap_et_al_2019_ATOMIC}をベースとするため，イベントとそれに関する精神状態（意図，感情など）の間の関係知識も対象としている．
一方で，ATOMICは基本形のイベント間の関係知識が大半を占めるため，否定条件の知識\footnote{「すごく眠い$\to$やる気が出ない」などが例として挙げられる．}に乏しいことが推測される．
これを確認するために，全訓練事例のうち正解選択肢に否定表現を含む事例の割合を調査した．
この結果，Social IQAは1.6\%\footnote{質問文に否定表現を含む事例の割合は0.0\%であった．}，構築したデータセットは11.3\%であった．
以上の結果から，構築したデータセットは句の品詞や否定のモダリティを限定しない点でより広範な知識を含んでいると考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{疑似問題の自動生成}
\label{section:generate_pseudo_problems}
提案手法において，ステップ3のクラウドソーシングを省略することで疑似問題の自動生成が可能となる（図\ref{figure:proposed_method}赤点線）．
本研究では，これを利用して擬似問題を大規模に自動生成し，このデータ拡張による常識推論タスクおよび関連タスクへの効果を検証した．
コアイベント獲得時の頻度に関する閾値や誤り選択肢の抽出条件など，手法のパラメータは常識推論データセットの構築時（\ref{section:build_dataset}節）と同じ値に設定した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{疑似問題の生成元となる蓋然的基本イベントペアの自動抽出}
\ref{section:proposed_method}節の手法に従って，疑似問題の生成元となる蓋然的基本イベントペアの自動抽出を行った．
抽出元のテキストには日本語33億文から成るウェブコーパスを利用した．
\ref{subsection:extract_japanese_event_pairs}節と同じ内製のコーパスの一部を用いているが，常識推論データセットの構築時に用いた部分との重複はない．
この結果，83.2万組の蓋然的基本イベントペアが自動抽出された．
クラウドソーシングによる確認で約1/3のイベントペアが除かれたことを考慮すると，約50万組のイベントペアは有効であることが期待される．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{リークへの対処}
\label{subsection:deal_with_leakage}
提案手法に従って大規模テキストから疑似問題を生成する際の懸念として，Data Contaminationの問題がある \cite{Brown_et_al_2020}．
テキスト中に評価データと同じもしくは酷似した文が含まれているために意図せず教師信号を学習し，性能が過大評価されてしまうというものである．

本研究では，常識推論データセットのテスト（開発）データに含まれる各問題のベースと酷似するイベントペアをヒューリスティックにもとづいて事前に除去することで，この問題に対処する．
具体的には，単語の並びおよびコアイベントの組にもとづくフィルタリングを適用する．

\begin{description}
    \item[単語の並びにもとづくフィルタリング]
    ベースと重複する単語の並びの長さが，ベースの単語数の75\%を超えるものを除く．
    \item[コアイベントの組にもとづくフィルタリング] ベースに含まれるコアイベントの組と同じコアイベントの組を含むイベントペアを除く．
\end{description}

例えば，図\ref{figure:example}の問題のベースは「お腹 が 空いた ので$\to$ご飯 を 食べる」であり，「お腹が空く$\to$ご飯を食べる」というコアイベントの組を含む．
これに対し，イベントペア「お腹 が 空いた から$\to$友達 と ご飯 を 食べる」が上記のフィルタリングによって除かれるか否かを考える．
これらのイベントペアの間で\{お腹,が,空いた,ご飯,を,食べる\}という6単語の並びが重複し，この長さはベースの単語数 (7) の75\%を超える．
また，同じコアイベントの組を含むため，両方のフィルタリングによって除かれる．

1点目のフィルタリングは構文的に似ているイベントペアを，2点目は内容が似ているイベントペアを除く目的で適用する．
上記のフィルタリングを適用した結果，77.4万組の蓋然的基本イベントペアが獲得された．
これらのイベントペアから疑似問題を自動生成した結果，77.2万問が生成された．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{疑似問題の品質の予備調査}
疑似問題の品質を調査するため，生成された疑似問題から100問を無作為にサンプリングし，解答可能であるか否かを著者らが人手で評価した．
この結果，100問中71問が解答可能であると判断された．
自動生成データであることを考慮すると妥当な品質であると考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{計算機による解答実験}
\label{section:experiment}
まず，構築した常識推論データセットに対する計算機の性能を検証するため，計算機による解答実験を行った．
また，疑似問題による常識推論タスクへの効果を検証した．
便宜上，常識推論データセットの訓練データを常識推論問題と呼び，疑似問題と区別する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{モデル}
\label{subsection:model}
本研究では，BERTモデル \cite{Devlin_et_al_2019}およびXLM-RoBERTa (XLM-R) モデル \cite{Conneau_et_al_2020}の性能を検証した．
いずれもTransformer \cite{Vaswani_et_al_2017}をベースとした深層学習モデルである．

BERTの事前学習モデルは，日本語Wikipediaで事前学習したNICT BERT 日本語 Pre-trained モデル（BPEあり）\footnote{\url{https://alaginrc.nict.go.jp/nict-bert/index.html}}を用いた．
モデルのアーキテクチャはBERT$_{\text{BASE}}$と同等であり，RoBERTa \cite{Liu_et_al_2019}の訓練設定を一部参照しているために比較的性能が高いことが報告されている．

XLM-Rの事前学習モデルは，WikipediaおよびCC-100 \cite{Wenzek_et_al_2020}から成る大規模多言語コーパスで事前学習したXLM-RoBERTa$_{\text{LARGE}}$モデル\footnote{\url{https://huggingface.co/xlm-roberta-large}}を用いた．
モデルのアーキテクチャはBERT$_{\text{LARGE}}$と同等であるが，多言語モデルであるために単語埋め込み層の次元数が比較的大きい．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験設定}
\label{subsection:experimental_settings}
常識推論問題および疑似問題でfine-tuningする際は，ソフトマックス関数で正規化した各選択肢のスコアと，正解を1とするone-hotベクトルとの間の交差エントロピー誤差を最小化するように訓練する．
各選択肢のスコアは，文脈と選択肢のペアを特殊トークンで区切って入力し，先頭の特殊トークン ([CLS]) の隠れ状態をスカラーに線形変換することで算出する．
擬似問題を訓練に組み込む際は，目的関数Lを常識推論問題の交差エントロピー誤差と擬似問題の交差エントロピー誤差の重み付き和で定義する．
上記は次の式で表される．
\begin{align}
    H &= -\frac{1}{N}\sum_{k}\log \frac{\exp (\textbf{s}_{kj})}{\sum_{i=1}^{4} \exp (\textbf{s}_{ki})}\\
    L &= H_{常識推論問題} + \lambda \times H_{疑似問題}
\end{align}
$N$は訓練事例数，${j}\in\{1,2,3,4\}$は正解選択肢のインデックス，$\textbf{s}_{ki}$は$k$番目の訓練データの$i$番目の選択肢のスコア，$\lambda$は常識推論問題に対する疑似問題の重みを表す．
ハイパーパラメータの詳細は付録\ref{appendix:hyper_parameters}に示している．

推論時は最もスコアの高い選択肢を計算機による解答とみなす．
モデルの性能はその正解率で評価した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{比較手法}
多肢選択式という形式の効果を検証するため，Task-Adaptive Pre-Training \cite{Gururangan_et_al_2020}を参考にした事前学習手法と比較した．
具体的には，疑似問題の生成元となった88万組のイベントペアに対して追加のMasked Language Modeling (MLM) タスクを実行し，その後目的のデータセットでfine-tuningした時のモデルの性能を調査した．
便宜上，これを``AMLM''と表記する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験結果}
計算機による解答実験の結果を表\ref{table:KUCI}に示す\footnote{
本実験後に公開された日本語 RoBERTa large モデル (\url{https://huggingface.co/nlp-waseda/roberta-large-japanese}) の性能を予備実験で検証した結果，「常識推論問題」および「常識推論問題 + 疑似問題$ (\lambda = 0.5) $」の設定における正解率はそれぞれ$90.0 ± 0.1$および$90.5 ± 0.5$であった．
関連タスクにおいては転移学習なしで人間と同等の性能に達しているものもあり，転移学習の効果の議論が難しいと判断して本論文では省略する．
}．
常識推論問題だけでは人間の解答精度との間に開きがあり，疑似問題によってBERTは5.4ポイント，XLM-Rは2.8ポイントの改善が見られる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%% Tab. 4
\begin{table}[p]
\input{04table04.tex}%
\hangcaption{構築した常識推論データセットのテストデータに対する正解率．表中の数値は異なる3つのシード値でfine-tuningした結果の平均と標準偏差である．また，矢印 ($\to$) は多段階のfine-tuningであることを表す．例えば，``$\text{AMLM} \to \text{常識推論問題}$''は疑似問題の生成元となった88万組のイベントペアに対して追加のMasked Language Modelingタスクを実行し，その後，常識推論問題でfine-tuningすることを表す．}
    \label{table:KUCI}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%% Fig. 4
\begin{figure}[p]
\begin{center}
\includegraphics{30-4ia4f4.pdf}
\end{center}
    \hangcaption{
        構築した常識推論データセットの開発データに対するモデルの学習曲線．
        XLM-Rは訓練事例数が少ない時 ($N \in \{10^{3},3×10^{3}\}$) に学習が進まなかったため，それらの結果については省略した上で学習曲線を算出している.
    }
    \label{figure:learning_curve}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

図\ref{figure:learning_curve}は開発データに対するモデルの学習曲線を表す．
図中の×印は疑似問題を加えてfine-tuningした際の正解率を表すが，最小二乗法で外挿された学習曲線の下に位置している．
疑似問題は性能の向上に寄与する一方で，常識推論問題に対する疑似問題の品質の差やモデルの解答精度が飽和していることが見て取れる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{定性的分析}
計算機の解答結果について定性的分析を行った．
図\ref{figure:prediction}にBERTの正答例と誤答例を示す．
誤答例について顕著な傾向は見られなかったが，文脈と選択肢の間に自立語の重複がある場合にスコアを高く出力する傾向が見られた．

また，図\ref{figure:improved}に疑似問題によってBERTが正答するようになった問題例を示す．
これらの基本的な蓋然的関係を問う問題に正答するようになったほか，全ての選択肢に低いスコアを付けて消去法的に誤り選択肢を選んでいた問題に対する改善も見られた．
疑似問題によって常識推論問題のカバレッジ不足が補われ，予測の確信度が向上したと考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%% Fig. 5
\begin{figure}[b]
\begin{center}
\includegraphics{30-4ia4f5.pdf}
\end{center}
    \hangcaption{
    BERTの正答例と誤答例．
    $\checkmark$印は正解選択肢であり，$\times$印はBERTの誤答選択肢である．
    また，文末の数字はBERTが出力したスコア($\in [-15, 15]$)を表す．
    }
    \label{figure:prediction}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%% Fig.6
\begin{figure}[b]
\begin{center}
\includegraphics{30-4ia4f6.pdf}
\end{center}
    \hangcaption{
    疑似問題によってBERTが正答するようになった問題例．
    $\checkmark$印は正解選択肢であり，$\times$印は訓練時に疑似問題を使用しなかった際の誤答選択肢である．
    }
    \label{figure:improved}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{選択肢のバイアスの検証}
意図しないバイアスがデータセットに含まれているために，問題文の一部を与えるだけで問題が解けてしまうという報告がある \cite{Gururangan_et_al_2018,Zellers_et_al_2019,Tamborrino_et_al_2020}．
本研究では，文脈を省略し，選択肢のみを入力として与えて訓練・評価した時の正解率を測ることで，生成した常識推論問題に含まれるバイアスの有無を検証した．
検証にあたり，モデルおよびハイパーパラメータは\ref{subsection:model}節および付録\ref{appendix:hyper_parameters}と同じものを用いた．

文脈を省略し，選択肢のみを入力として与えた時の計算機の正解率は，BERTが42.6\%，XLM-Rが41.3\%であった．
文脈を省略しない場合と比較して十分低い精度であり，選択肢のバイアスが小さいことを示している．

一方で，チャンスレート (25\%) と比較すると開きがあり，この原因を検証するために誤り選択肢の分布を調査した．
図\ref{figure:distribution_of_distractors}は各蓋然的基本イベントペアの後件が誤り選択肢として使い回される頻度を計数した結果を表すが，誤り選択肢の頻度に差があることが分かる．
そこで，後件が誤り選択肢として5回以上使い回されないように問題を生成し，そこから\ref{subsection:build_dataset}節に従って構築したデータセットに対して計算機の正解率を同様に検証した．
この結果，BERTの正解率が33.5\%，XLM-Rの正解率が33.2\%であった．
以上の結果から，誤り選択肢として使い回される頻度が高いために誤りだと識別しやすいものが存在し，これによって解答精度がチャンスレートより高くなっていると考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%% Fig. 7
\begin{figure}[t]
\begin{center}
\includegraphics{30-4ia4f7.pdf}
\end{center}
    \caption{
        構築した常識推論データセットにおける誤り選択肢の頻度の計数結果.
    }
    \label{figure:distribution_of_distractors}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{クラウドソーシングによるフィルタリングの検証}
\ref{subsection:actually_verify_by_crowdsourcing}節で述べたとおり，本研究ではデータセット構築時にクラウドソーシングによるフィルタリングの閾値を4人中2人以上と設定している．
これは，評価が割れたイベントペアもしばしば蓋然的関係があることを予備実験で確認し，再現率を重視したためである．
この閾値によるデータセットへの影響を検証するために，閾値を3人以上および4人以上に設定して構築したデータセットに対する計算機の正解率を調査した．
検証にあたり，モデルおよびハイパーパラメータは\ref{subsection:model}節および付録\ref{appendix:hyper_parameters}と同じものを用いた．

閾値を変えて構築したデータセットの統計およびこれらのデータセットに対する計算機の正解率を表\ref{table:stats_and_results}に示す．
閾値を厳しくすると，訓練事例数は減少するものの計算機の正答率は低下しないことが見て取れる．
この原因として，訓練データの質が向上すると同時に，評価データに含まれる悩ましい問題が減ることが挙げられる．
また，評価データの規模が小さくなることで問われる知識のカバレッジが低下している可能性もある．
問題の難易度や多様さをある程度保証する目的で閾値を2人以上に設定することは妥当であると考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%% Tab. 5
\begin{table}[t]
\input{04table05.tex}%

\hangcaption{クラウドソーシングによるフィルタリングの閾値を変えて構築した常識推論データセットの統計（左表）とこれらのデータセットのテストデータに対する正解率（右表）．左表中の数値は問題数，右表中の数値は異なる3つのシード値でfine-tuningした結果の平均と標準偏差である．}
    \label{table:stats_and_results}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{蓋然的関係に関する知識の転移学習}
\label{section:transfer_learning}
蓋然的関係に関する知識の転移可能性を検証するため，常識推論問題および擬似問題からの転移学習による関連タスクへの効果を定量的に評価した．
具体的には，常識推論問題および擬似問題でfine-tuningしたモデルの重みを初期値として関連タスクでさらにfine-tuningを行い，関連タスクにおける性能を評価した．
本研究では，計算機と人間の間に性能の開きがあるタスクの中から蓋然的関係または常識推論との関連性を考慮して，関連タスクとして談話関係解析，日本語Winograd Schema Challenge (JWSC) \cite{Shibata_et_al_2015}，JCommonsenseQA (JCQA) \cite{Kurihara_et_al_2022}を選択した．
モデルは\ref{subsection:model}節と同様で，ハイパーパラメータは付録\ref{appendix:hyper_parameters}に記載した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{関連タスク}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{談話関係解析}
談話関係解析は節間の談話関係を分類するタスクである．
本研究が対象とする蓋然的関係に加えて，「目的」や「譲歩」といった多様な談話関係の理解が要求される．
\ref{subsection:extract_event_pairs},\ref{subsection:extract_japanese_event_pairs}節で述べたとおり，常識推論問題および擬似問題はKNPによって「原因・理由」または「条件」の談話関係があると自動解析されたイベントペアをベースとするため，転移学習によってこれらの談話関係を中心に解析精度の改善が期待される．

談話関係解析に向けた日本語のデータセットとして，京都大学ウェブ文書リードコーパス (KWDLC) \cite{Kishimoto_et_al_2020}がある．
KWDLCは多様なウェブ文書の冒頭3文を収集することで構築されており，その規模は6,445文書から成る．
これらの文書には，クラウドソーシングを用いて節間に談話関係が注釈付けされている．
また，これらの内500文書には専門家による注釈も付与されている．
本研究では，クラウドワーカーによる注釈のみが付与された節ペア約3.7万組を訓練データに用い，専門家による注釈が付与された節ペア2,320組の分類精度を5分割交差検証で評価した．
タスクは「談話関係なし」を含む談話関係の7値分類であり，モデルの性能は「談話関係なし」を除いたmicro-Fで評価した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{JWSC}
WSCは文中の照応詞が指示する先行詞を2つの候補から選択するタスクである \cite{Levesque_2011}．
タスクそのものは共参照解析であるが，解答に常識推論を要するように問題が設計されている．
JWSC\footnote{\url{https://github.com/ku-nlp/Winograd-Schema-Challenge-Ja}}は \citeA{Rahman_and_Ng_2012}が作成したWSCを翻訳することで構築されている．
問題例を次に示す．

\ex. ライオンはシマウマを食べる。それ（ライオン/シマウマ）は捕食動物だからだ。

この例をはじめとして，JWSCは蓋然的関係を間接的に問う問題が多数含まれる．
このため，転移学習によってこのような問題に対する正解率の改善が期待される．

\ref{subsection:extract_event_pairs}節の後処理によって問題の生成元となるイベントペアは指示代名詞を含まないため，常識推論問題および擬似問題を中間タスクとして学習すると照応詞に関する知識が忘却され，JWSCに対する性能が悪化する懸念がある．
そこで，文中の照応詞を先行詞の候補の1つで置換することでタスクを2択問題に変換し，訓練データ2,644文とテストデータ1,128文から成るデータセットを生成した．
開発データは用意されていないため，訓練データを8:2に分割することで5分割交差検証を行い，モデルの性能を正解率およびArea Under the ROC Curve (AUC) で評価した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{JCQA}
JCQAはCommonsenseQAの日本語版であり，基本的な語句に関する知識を問う5択問題約1.1万問から成る．
問題はConceptNetから抽出した部分グラフをベースにクラウドソーシングを用いて人手で作成されている（\ref{subsection:commonsense_inference_datasets}節を参照）．
常識推論問題および擬似問題は基本イベントから成るため，これらを通して基本的な語句の共起関係を事前に学習することで，JCQAに対する正解率の改善が期待される．

タスクは常識推論問題と同じ多肢選択式であるため，\ref{subsection:experimental_settings}節と同様にfine-tuningを行った．
モデルの性能は正解率で評価した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験結果}

各関連タスクへの転移学習の実験結果およびAMLMとの比較について述べる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%% Tab. 6
\begin{table}[b]
\input{04table06.tex}%
\hangcaption{談話関係解析の実験結果．評価指標は「談話関係なし」を除いたmicro-Fで，表中の数値は異なる3つのシード値でfine-tuningした結果の平均と標準偏差である．また，表\ref{table:KUCI}と同様に矢印 ($\to$) は多段階のfine-tuningであることを表す．なお，AMLMはKWDLCの訓練データではなく擬似問題の生成元となった88万組のイベントペアに対して行っている（\ref{subsection:experimental_settings}節「比較手法」の段落を参照）．人間の性能は，専門家とクラウドワーカーの両者による注釈が付与された文書に対して，専門家による注釈を正解，クラウドワーカーによる注釈を予測として算出されている．}
\label{table:KWDLC}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%% Tab. 7
\begin{table}[b]
\input{04table07.tex}%
\hangcaption{談話関係解析の談話関係ごとの性能．表中の左側の数字は対応する談話関係の真陽性の数を，右側の数字は真陽性の数と偽陽性の数の和を表す．}
\label{table:KWDLC_details}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{談話関係解析}

表\ref{table:KWDLC}に談話関係解析の実験結果を示す．
常識推論問題および疑似問題を中間タスクとして解くことで，談話関係解析に有効であることが分かる．

談話関係解析の談話関係ごとの性能を表\ref{table:KWDLC_details}に示す．
常識推論問題および疑似問題から転移学習したモデルは「原因・理由」や「目的」の談話関係において改善が見られる．
一方で，「条件」の談話関係においては改善が見られなかった．
また，クラウドワーカーと比較すると，「譲歩」や低頻度の談話関係の適合率に改善の余地がある．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%% Tab. 8
\begin{table}[b]
\input{04table08.tex}%
\hangcaption{JWSCのテストデータに対する実験結果．表中の数値は異なる3つのシード値でfine-tuningした結果の平均と標準偏差である．$^{\dagger}$はdegenerate runが観測されたことを表す．参考のため，degenerate runを除いた性能を丸括弧内に記載している．}
\label{table:JWSC}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{JWSC}


表\ref{table:JWSC}にJWSCのテストデータに対する実験結果を示す．
``JWSC''の設定において，一部訓練時に学習が進まない現象 (degenerate run)  \cite{Phang_et_al_2018,Pruksachatkun_et_al_2020}が観測された．
この現象は訓練データが小規模である場合によく観測され，中間タスク転移学習によって軽減できることが報告されているが，本研究でも同様の結果が確認された．

転移学習による効果については，特にBERTにおいて常識推論問題による性能の向上が見られるが，疑似問題の寄与は小さい．
JWSCは蓋然的関係だけでなく「譲歩」の談話関係に関する問題\footnote{「ジェームズはロバートに頼みごとをした。しかし、彼（ジェームズ/ロバート）は断った。」が例として挙げられる．}も無視できない程度に含まれるため，蓋然的関係に関する知識を重点的に学習することはかえって性能を低下させてしまうと考えられる．
多様な談話関係を学習することが改善案として挙げられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{JCommonsenseQA}
表\ref{table:JCQA}にJCQAの開発データに対する実験結果を示す．
XLM-Rにおいて，転移学習による正解率の改善が見られる．
JCQAはCC-100で事前学習したモデルの性能が良いことが報告されており \cite{Kurihara_et_al_2022}，ウェブドメインに適応することが改善に繋がるとみなされている．
このため，構築した問題とJCQAのドメインが合っており，基本イベントを通して基本的な語句の共起関係を学習する効果が表れたと考えられる．
ただし，BERTにおける正解率の改善幅は小さいため，構築した問題はWikipediaのみで事前学習したモデル (BERT) をウェブドメインに適応させるには規模が小さく，CC-100で事前学習したモデル (XLM-R) の補助データとして効果的であると推測される．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%Tab. 9
\begin{table}[t]
\input{04table09.tex}%

\hangcaption{JCQAの開発データに対する実験結果．表中の数値は異なる3つのシード値でfine-tuningした結果の平均と標準偏差である．参考のため，元論文で報告された性能を丸括弧内に記載している．}
\label{table:JCQA}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{AMLM}
疑似問題の生成元となった88万組のイベントペアに対して追加のMLMタスクを実行すると，常識推論タスクでは改善が見られるが，関連タスクへの転移学習は概して性能が悪化することが分かる\footnote{AMLMの後に目的の関連タスクのデータセットでfine-tuningする設定（例えば，``$\text{AMLM} \to \text{KWDLC}$''など）も試したが，AMLMの後に常識推論問題を中間タスクとして学習した場合と比較して，性能は概して良くないことを確認した．}．
AMLMでは常識推論タスクにのみ有効（特化）した知識を学習していると考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}
\label{section:conclusion}
本研究では，基本イベントに基づく常識推論データセットの構築手法を提案した．
各問題は基本的なイベント表現間の蓋然的関係を問う多肢選択式問題である．
提案手法を7.1億文から成る日本語ウェブコーパスに適用し，常識推論問題10.4万問を含む常識推論データセットを構築した．
構築したデータセットを用いて高性能な汎用言語モデルの性能を検証した結果，人間の性能との間に開きがあることを確認した．

また，提案手法がテキストからの自動抽出をベースとしていることを利用して大規模な疑似問題を自動生成し，これを訓練時に組み込むことによる常識推論タスクおよび関連タスク（談話関係解析，JWSC，JCommonsenseQA）への効果を検証した．
実験の結果，蓋然的関係を広範に学習することで，常識推論タスクおよび関連タスクにおいて一定の効果があることを確認した．
これは，蓋然的関係を推論する能力が自然言語理解において重要であることを改めて示唆している．

今後の課題として，データセットの高品質化・高難易度化が挙げられる．
例えば，提案手法は蓋然的基本イベントペアから常識推論問題を自動生成するため，生成された問題の解答可能性を保証していない．
また，クラウドソーシングによるフィルタリングを適用しても，ウェブテキストにありがちな質の悪い文を完全に除くことはできていない．
このため，構築したデータセットには解答不能な問題や悪文を含む問題が存在する．
これを解決するためには，クラウドソーシングなどの人手で問題を修正・選別することが必要であると考えられる．
高難易度化については，選択肢をより紛らわしいものに修正するというアプローチに加えて，選択肢間の序列や推論の理由を問うといったタスクの発展も考えられる．
この他にも，蓋然的関係だけでなく多様な談話関係を学習することによる自然言語理解タスクへの効果の検証や文章読解問題の作問支援といった人間の学習への応用なども検討したい．

本研究の限界として，提案手法はreporting bias \cite{Gordon_and_Durme_2013}，即ち当たり前のことはわざわざ書かないというテキストの性質のために，対象とする常識のカバレッジが不十分である可能性が無視できない．
この問題に対しては，SWAGで用いられた動画キャプションのような意図的に書き起こされたテキストなどを取り入れることで軽減されると考えられる．

%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment
本研究は（公財）日本漢字能力検定協会の支援を受けた．
また，第一著者は京都大学 科学技術イノベーション創出フェローシップ（情報・AI分野）およびJSPS特別研究員奨励費~JP22J15958の支援を受けた．

%%%%\bibliographystyle{jnlpbbl_1.5}
    \bibliographystyle{jnlpbbl_1.7}
    \bibliography{04refs}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\appendix
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{ハイパーパラメータ}
\label{appendix:hyper_parameters}

表\ref{tab:hyper-params1}，\ref{tab:hyper-params2}，\ref{tab:hyper-params3}，\ref{tab:hyper-params4}，\ref{tab:hyper-params5}に実験で使用したハイパーパラメータの一覧を示す.
XLM-Rは学習率を低く設定すると学習が安定したため，BERTの学習率より低く設定した．
また，入力の最大系列長はいずれの実験も128に設定した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%% Tab. 10
\begin{table}[h]
\input{04table10.tex}%
\caption{常識推論問題および擬似問題のfine-tuning時に使用したハイパーパラメータ．}
    \label{tab:hyper-params1}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%% Tab. 11
\begin{table}[p]
\input{04table11.tex}%
\caption{KWDLCのfine-tuning時に使用したハイパーパラメータ．}
    \label{tab:hyper-params2}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%% Tab. 12
\begin{table}[p]
\input{04table12.tex}%
\hangcaption{JWSCのfine-tuning時に使用したハイパーパラメータ．学習を安定させるため， \protect\citeA{Mosbach_et_al_2021}を参考にエポック数を大きく設定している．}
    \label{tab:hyper-params3}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%% Tab. 13
\begin{table}[p]
\input{04table13.tex}%
\caption{JCQAのfine-tuning時に使用したハイパーパラメータ．}
    \label{tab:hyper-params4}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%Tab. 14
\begin{table}[t]
\input{04table14.tex}%
\hangcaption{AMLM実行時に使用したハイパーパラメータ．パラメータ値は \protect\citeA{Gururangan_et_al_2020}を参照した．}
    \label{tab:hyper-params5}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\newpage

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{大村　和正}{%
2019年京都大学工学部電気電子工学科卒業．
2021年京都大学大学院情報学研究科修士課程修了．
同年京都大学大学院情報科学研究科博士課程に進学，現在に至る．
修士（情報学）．
自然言語処理の研究に従事．
2022年度より日本学術振興会特別研究員 (DC2) ．
}
\bioauthor{河原　大輔}{%
1997年京都大学工学部電気工学第二学科卒業．
1999年同大学院修士課程修了．
2002年同大学院博士課程単位取得認定退学．
東京大学大学院情報理工学系研究科学術研究支援員，独立行政法人情報通信研究機構主任研究員，京都大学大学院情報学研究科准教授を経て，2020年より早稲田大学基幹理工学部情報通信学科教授．
自然言語処理，知識処理の研究に従事．
博士（情報学）．
}
\bioauthor{黒橋　禎夫}{%
1994年京都大学大学院工学研究科博士課程修了．
博士（工学）．
2006年4月より京都大学大学院情報学研究科教授．
2023年4月より同特定教授および国立情報学研究所長を併任．
自然言語処理，知識情報処理の研究に従事．
JSTさきがけ「社会システムデザイン」研究総括（2016～2022），文部科学官（2020～2022）等を歴任．
言語処理学会10周年記念論文賞，同20周年記念論文賞，第8回船井情報科学振興賞，2009 IBM Faculty Award，文部科学大臣表彰科学技術賞等を受賞．
}

\end{biography}

\biodate

\end{document}

