
\documentclass[japanese,other]{jnlp_3.7}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
\usepackage{array}
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition

%%%%%    \documentclass[japanese,other]{jnlp_3.7}
%%%%%    \usepackage{jnlpbbl_2.2}
%%%%%\usepackage[dvipdfmx]{graphicx}
%%%%%\usepackage{amsmath}
%%%%%\usepackage{url}
%%%%%\renewcommand\UrlFont{\rmfamily}

%%%%%\usepackage{amssymb}
%%%%%\usepackage{booktabs}
%%%%%\usepackage{multirow}
%%%%%\newcommand{\linestack}[1]{\def\arraystretch{1}\begin{tabular}[l]{@{}l@{}} #1 \end{tabular}}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{31}
\Number{2}
\Month{June}
\Year{2024}
%%%%\Issuetitle{「　　　　」特集号}



\setcounter{page}{748}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{「基本イベントに基づく常識推論データセットの構築と利用」の\\研究過程}
\jauthor{大村　和正\affiref{Author_1}\affiref{Author_2}}


\etitle{Research Process of ``Building a Commonsense Inference Dataset
based on Basic Events and its Application''}
\eauthor{Kazumasa Omura\affiref{Author_1}\affiref{Author_2}} 
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\headauthor{大村}
\headtitle{「基本イベントに基づく常識推論データセットの構築と利用」の研究過程}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\affilabel{Author_1}{京都大学大学院情報学研究科}{Graduate School of Informatics, Kyoto University}
\affilabel{Author_2}{現所属：日本経済新聞社}{Present affiliation: Nikkei Inc.}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}
\label{sec:introduction}

本稿では，2023年度の言語処理学会論文賞に選出いただいた論文「基本イベントに基づく常識推論データセットの構築と利用」（大村・河原・黒橋，2023）について，その研究過程を中心に紹介する．
著者は談話関係を推論する能力に焦点を当てたデータ構築とその応用に取り組んでおり，まず，補足が必要と思われる原論文に関する用語を以下にまとめる．

\begin{description}
    \item[談話関係] 文や節などのテキストスパン間の意味的な関係．
    例えば，
    \begin{description}
        \item[因果]
        「お腹が空いたので，ご飯を食べる」
        \item[条件]
        「激しい運動をすると，汗をかく」
        \item[対比]
        「好きな食べ物は餃子で，嫌いな食べ物はブロッコリーです」
    \end{description}
    などがある．
    \item[談話標識]
    ある談話関係を明示する接続表現．
    日本語では「～ので（因果）」や「一方で（対比）」などがある．
    \item[蓋然的関係]
    一方が他方を引き起こし得る事態間に成立する談話関係．
    因果や条件などの談話関係の上位分類に相当する．
    （Penn Discourse Treebank \cite{prasad-etal-2019-penn}におけるContingencyの日本語訳として定義）
\end{description}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{原論文の概要}
\label{sec:abstract}
原論文は，図\ref{fig:overview}右下のような，基本的な蓋然的関係を問う多肢選択式問題（常識推論問題）の半自動的な生成手法を提案したものである．
提案手法は以下の4ステップから成る（図\ref{fig:overview}）．
\begin{enumerate}
    \item 格フレーム \cite{kawahara-kurohashi-2006-case}から高頻度な述語項構造を「基本イベントの核となる表現（コアイベント）」として獲得する．
    \item テキストに係り受け解析・談話関係解析を適用し，「蓋然的関係を表す談話標識で接続され，コアイベントから成るイベントの組」を自動抽出する．
    \item 抽出されたイベントペアが実際に蓋然的関係があるか否かをクラウドソーシングで確認する．
    \item 確認済みのあるイベントペアの前件を文脈，後件を正解選択肢とし，これと中程度に類似する他のイベントペアの後件を誤り選択肢とすることで，常識推論問題を自動生成する．
\end{enumerate}
各ステップの詳細については原論文を参照されたい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{figure}[!t]
\begin{center}
\includegraphics{31-2ia23f1.pdf}
\end{center}
\caption{提案した常識推論問題の半自動的な生成手法と疑似問題の自動生成手法の概要図}
    \label{fig:overview}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


提案手法はテキストからの自動抽出をベースとするため，拡張性があり，ドメインを限定しない点が特徴である．
また，人手で構築された言語資源やクラウドソーシングに強く依存せず，談話標識は様々な言語に普遍的に存在するため，日本語以外の言語にも比較的適用しやすいと考えられる．

原論文の主要な貢献は2点ある．
    1点目は，提案手法に従って常識推論問題10万問から成る大規模な日本語の常識推論データセットを構築したことである．
当時，日本語では我々の知る限り大規模な常識推論データセットは存在しなかったため，計算機の常識推論能力を評価するためにこのようなデータセットを構築することは意義があった．


    2点目は，提案手法を応用して常識推論問題を模した疑似問題を大規模に自動生成し（図\ref{fig:overview}赤点線），
    常識推論問題および疑似問題からの転移学習による複数の自然言語理解タスクへの効果を示したことである．
これにより，蓋然的関係を推論する能力が自然言語理解において重要であることを示唆している点がポイントである．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{研究過程}

原論文は，EMNLP 2020の本会議に採択された論文 \cite{omura-etal-2020-method}（論文1）およびCOLING 2022に採択された論文 \cite{omura-kurohashi-2022-improving}（論文2）を基に執筆されたものであり，これらに沿って研究過程を紹介する．
論文1および論文2の内容は，\ref{sec:abstract}節で述べた1点目および2点目の貢献にそれぞれ対応する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{論文1の採択までの過程}

論文1の研究は，著者が修士課程に入学して公益財団法人 日本漢字能力検定協会（漢検）との共同プロジェクトに携わることとなり，計算機の文章読解能力の評価に向けて漢検が提供している文章読解・作成能力検定の問題の自動生成を試みるところから始まった．
この経緯については以前執筆させていただいた論文1の紹介記事 \cite{omura-2021-method}に記載しており，そちらを参照されたい．

提案手法（常識推論問題の半自動的な生成手法）の実装は紆余曲折しつつもあまり停滞することなく進み，数万問規模のデータセットが構築できた段階でACL 2020に論文を投稿し，NLP 2020での発表準備を進めた．
しかし，その途中で，構築したデータセットに対してモデルを訓練・評価するスクリプトにバグ\footnote{
論文1の研究のようなベンチマークの構築においては，人間と計算機の間に解答精度の開きがあることを示すことが重要である．
このバグとは，人間の解答精度が90\%程度であるのに対し，当時主流であった計算機モデル BERT \cite{devlin-etal-2019-bert}の解答精度が本来80\%程度のところを40\%程度と算出されてしまう若干致命的なものであった．
pytorch-transformersからtransformers \cite{wolf-etal-2020-transformers}へのアップデートでattention\_maskとtoken\_type\_idsの引数の位置が入れ替わったことに気づかず，attention\_maskにtoken\_type\_idsを入れてしまっていた（そもそも位置引数ではなくキーワード引数で渡すべきであった）という初歩的なミスが原因であったと記憶している．
実装力不足を猛省する苦くも良い経験となったと同時に，多大なるご迷惑をお掛けした関係者の皆様には改めて深くお詫び申し上げます．
}があることが発覚し，研究が行き詰まることとなった．
そこで問題の生成手法を考え直したところ，当時は単に正解選択肢と中程度に類似するものを紛らわしい誤り選択肢として取得していたが，文脈の類似度も考慮する方がより紛らわしい誤り選択肢を取得できるのではないかとふと思い至った\footnote{図\ref{fig:overview}左下を例にすると，「ご飯を食べる」と「すごく眠たい」の類似度だけでなく，「お腹が空いたので，」と「ご飯を食べたので，」の類似度も考慮するということ．}．
これを実装したところ，人間と当時の計算機モデルの間に一層解答精度の開きがある評価に有効なデータセットが構築できたため，これをもとにデータセットを10万問規模に拡張し，EMNLP 2020に論文を再投稿した．
この結果，本会議に採択されたという次第である．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{論文2の採択までの過程}

    自然言語処理の分野は，計算機が苦手とする言語能力を評価するためのデータ構築と，これを用いたモデルの改善を両輪に発展してきた．
すなわち，論文1で評価に有効なデータセットを構築した次は，これを用いたモデルの改善である．
当初，著者は蓋然的関係の推論過程を陽に考えることによる常識推論能力の改善を検討していた\footnote{この推論過程を陽に考える話は，注釈付けの基準を定めることが困難であることやChatGPTをはじめとする大規模言語モデルが様々な蓋然的関係に対して妥当な推論過程を生成できることを確認したため，結局没になった．}．
例えば，「今日はお酒を飲まないから，皆を家まで送る」という蓋然的関係について，「お酒を飲まない$\to$車を運転できる$\to$家まで送れる」という推論過程が考えられる．
このような推論過程の知識が計算機に欠けており，改善に有効であると仮定していた．

しかし，予備実験で様々な蓋然的関係に対してその推論過程を注釈付けてみたところ，注釈付けの基準を定めることが困難であるという課題に直面した．
また，共著者（指導教員）である黒橋禎夫先生から「人間と計算機の間に解答精度の開きがあるのは，そもそも計算機が基本的な蓋然的関係を分かっていないからで，推論過程より蓋然的関係の知識をもっと学習させる方が先ではないか」というご指摘をいただき，データ拡張に焦点を切り替えた．
折良くも提案手法は拡張性の高さを強みとしており，クラウドソーシングを省略することで疑似問題の自動生成が可能となるため，このデータ拡張による効果を検証して提案手法の強みを強めることを目標とした．
これが論文2の研究の始まりである．

擬似問題の生成元となる日本語33億文の解析に2ヶ月弱を費やした費やしたものの疑似問題の自動生成は大きな問題なく実装でき，疑似問題は常識推論問題の生成手法を踏襲していることもあって予想通り常識推論能力の改善に有効であることを確認した．
また，論文1で今後の課題としていた関連タスクへの応用にも取り組み，常識推論問題および疑似問題からの転移学習による関連タスクへの効果を検証した．
これらをまとめたものが論文2である．



論文2は図\ref{fig:flow}に示した通り，比較的採択率が高いLREC 2022で不採択であったが，その後COLING 2022に採択され，光栄にもOutstanding Paper Awardをいただいた．
LRECからCOLINGへの再投稿にあたり，実験の追加や論文の構成・表現の修正などを行ったものの内容に大差はなく，ある国際会議で不採択であったからといって諦める必要はないという教訓を得た．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{figure}[!t]
\begin{center}
\includegraphics{31-2ia23f2.pdf}
\end{center}
    \caption{原論文の採録までの大まかな過程}
    \label{fig:flow}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%




%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{原論文の採録までの過程}

論文2の採択から原論文の投稿まで約8ヶ月の時間が経過しているが，その期間は新しい研究や統合的日本語解析器KWJA \cite{ueda-etal-2023-kwja}の開発などを進めており，ひとえに著者のマルチタスク能力の欠如が原因である．
しかし，D3の4月頭に意を決して論文の執筆を始め，4月末に投稿に至った．
1回目の結果通知では，査読者から非常に励みになるコメントを頂きつつ，十分に検証できていなかった部分を的確にご指摘いただいた．
これらの修正事項の対応を経て，2回目の結果通知で採録に至った．
以上が原論文の採録までの過程である．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

本稿では，2023年度言語処理学会論文賞に選出いただいた論文「基本イベントに基づく常識推論データセットの構築と利用」（大村・河原・黒橋，2023）について，その研究過程を中心に紹介した．
原論文は数年前の研究に端を発しており，あまり現代的でないと感じていただけに，論文賞に選出いただいたことは衝撃的で，非常に有り難いことであった．
この受賞を励みに今後も精進してまいります．



%%% Acknowledgement %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section*{謝辞}
原論文の査読および論文賞の選考に携わってくださった皆様，本稿を執筆する機会をくださった編集委員の皆様に深く感謝申し上げます．
また，本研究の遂行に関して，原論文の共著者および京都大学 言語メディア研究室の皆様に深謝いたします．



%%% Bibliography %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
    \bibliographystyle{jnlpbbl_1.7}
\bibliography{23refs.bib}


\clearpage

%%% Biography %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{大村　和正}{%
2019年京都大学工学部電気電子工学科卒業．
2021年京都大学大学院情報学研究科修士課程，2024年同博士課程修了．
博士（情報学）．
自然言語処理の研究に従事．
2022年度から2023年度まで日本学術振興会特別研究員 (DC2)．
}

\end{biography}


%%%%\biodate   %%%% 受付日の出力（編集部で設定します）

\end{document}