\documentclass[japanese,tombow]{jnlp_3.2}
\usepackage{jnlpbbl_1.4}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{gentombow}
\settombowbleed{5mm}
%%%%\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%\usepackage[dvipdfmx,nosetpagesize]{graphicx}
%%%%\usepackage[dvipdfmx,nosetpagesize]{color}
%%%%\usepackage[dvipdfmx,nosetpagesize]{colortbl}
%%%%\usepackage{jnlpbbl_1.3}
%%%%\usepackage{amsmath}
%%%%\sloppy % 行の右にはみださない．
%%%%\usepackage{latexsym}
%%%%\usepackage{bm}
%%%%\usepackage{comment}
%%%%% 下の文字色をつけるパッケージをuseすると表示が崩れる．
%%%%%\usepackage{color}
\usepackage{url}
%%%%\usepackage{cases}
\usepackage{booktabs}
%%%%\usepackage{scalefnt}
%%%%\usepackage{subfigure}
%%%%\usepackage {threeparttable} % 表の下に注釈をつける
%%%%% 和文フォント埋め込み
%%%%\usepackage[ipaex]{pxchfon}
%%%%\usepackage{graphicx}
%%%%\usepackage{color}
\usepackage{amssymb}
\usepackage{enumitem}
\usepackage{xspace}
%%%%\usepackage{wrapfig}
%%%%
% -- Basics --
\newcommand{\Sec}[1]{\ref{#1}節}
\newcommand{\Tab}[1]{表\ref{#1}}
\newcommand{\Fig}[1]{図\ref{#1}}
\newcommand{\Eq}[1]{式\eqref{#1}}
% -- Figures --
%%%%setlength{\fboxsep}{0mm}
%%%%\setlength\abovecaptionskip{0pt}
%%%%\newcommand{\FigWidthExample}{0.8}
%%%%\newcommand{\FigWrapWidthExample}{0.7}
%%%%\newcommand{\FigWidthOverview}{0.8}
%%%%\newcommand{\FigWrapWidthOverview}{0.5}
% -- Tables --
%%%%\newcommand{\TableScaleAccuracy}{0.8}
%%%%\newcommand{\TableWrapWidthAccuracy}{0.5}
% -- Wrap --
%%%%\setlength{\intextsep}{0pt} % top of wrap
% -- Lists --
\setlength{\leftmargini}{10pt}
\setlist[itemize]{noitemsep, topsep=0pt}
\setlist[enumerate]{noitemsep, topsep=0pt}
% -- Framework --
\newcommand{\LossExt}{L_{\text{ext}}}
\newcommand{\ScoreExt}{f_{\text{ext}}}
\newcommand{\LossGen}{L_{\text{gen}}}
\newcommand{\ScoreGen}{f_{\text{gen}}}
\newcommand{\ParamTrain}{\lambda}
\newcommand{\ParamEval}{\kappa}
% -- Distant --
% Equations
%%%%\newcommand{\MainProb}{p}
%%%%\newcommand{\MainParam}{\bm{\theta}}
%%%%\newcommand{\SupProb}{p_{\text{su}}}
%%%%\newcommand{\SupParam}{\bm{\theta}_{\text{su}}}
%%%%\newcommand{\SentFeat}{\bm{f}}
%%%%\newcommand{\LimitMainQ}{\tau_{\text{dist}}}
%%%%\newcommand{\LimitSuper}{\tau_{\text{super}}}
% -- Experiment --
\newcommand{\LabelData}{\texttt{LabelSmall}}
\newcommand{\LabelDataM}{\texttt{LabelMedium}}
\newcommand{\PairData}{\texttt{Pair}}
\newcommand{\PseudoData}{\texttt{Pseudo}}
\newcommand{\ExtOnly}{\texttt{Ext}\xspace}
\newcommand{\GenOnly}{\texttt{Gen}\xspace}
\newcommand{\SepTrain}{\texttt{Sep}\xspace}
\newcommand{\PreTrain}{\texttt{Pre}\xspace}
\newcommand{\MultiTrain}{\texttt{Multi}\xspace}
\newcommand{\MultiOver}{\texttt{MultiOver}\xspace}
\newcommand{\MultiUnder}{\texttt{MultiUnder}\xspace}
\newcommand{\MultiDist}{\texttt{MultiDist}\xspace}
\newcommand{\ExtDist}{\texttt{ExtDist}\xspace}
\newcommand{\SepDist}{\texttt{SepDist}\xspace}
\newcommand{\PreDist}{\texttt{PreDist}\xspace}
\newcommand{\Lead}{\texttt{Lead}\xspace}
\newcommand{\TfIdf}{\texttt{TfIdf}\xspace}
\newcommand{\SimEmb}{\texttt{SimEmb}\xspace}
\newcommand{\LexRank}{\texttt{LexRank}\xspace}
\newcommand{\RegQ}{\texttt{RegQ}\xspace}
%%%%\newcommand{\Q}{\texttt{Q}\xspace}
%%%%\newcommand{\A}{\texttt{A}\xspace}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\renewcommand\UrlFont{\rmfamily}

\Volume{27}
\Number{4}
\Month{December}
\Year{2020}
%%%%\Issuetitle{「　　　　」特集号}

\received{2020}{5}{1}
\revised{2020}{7}{31}
%%%%\rerevised{2006}{5}{6}
\accepted{2020}{9}{9}

\setcounter{page}{825}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{質問－回答ペアを活用する\\半教師あり抽出型質問要約モデルとその学習法}
\headauthor{石垣，町田，小林，高村，奥村}
\headtitle{半教師あり学習による抽出型質問要約}
\jauthor{石垣　達也\affiref{aist} \and 町田　和哉\affiref{recruit} \and 小林　隼人\affiref{yahoo} \and 高村　大也\affiref{mirai}\affiref{aist} \and 奥村　　学\affiref{mirai}}

\jabstract{%
本稿は質問を対象とした抽出型要約を扱う．ニューラルネットワークによる抽出型要約モデルの学習には，大規模なラベル付きデータが必要となる．ユーザが自由に記述するYahoo!知恵袋などのコミュニティQA (CQA)に投稿される質問に対しては，ラベル付きデータの獲得が難しい．そこで，本研究ではラベル付きデータが不足する問題を軽減するため，小規模な人手ラベル付きデータに加え，CQAから大量に獲得可能な質問－回答ペアを活用する，半教師あり要約モデルを提案する．また，提案モデルの学習法として，質問－回答ペアを活用した事前学習，同時学習，Distant Supervisionによる疑似ラベルの活用，サンプリング手法などを提案する．従来の半教師あり学習の枠組みでは考慮されてこなかった，質問－回答といったペア構造から，効率的に要約モデルを学習する手法を考察する．実験より，適切なサンプリング法や疑似ラベルを用いた同時学習手法により，特にラベル付きデータが小規模な場合に良い性能を示したことを報告する．
}
\jkeywords{質問要約，文書要約，抽出型要約，ニューラルネットワーク，Distant Supervision}

\etitle{Semi-Supervised Extractive Question Summarizer Using Question-Answer Pairs and its Learning Methods}
\eauthor{Tatsuya ISHIGAKI\affiref{aist} \and Kazuya Machida\affiref{recruit} \and Hayato Kobayashi\affiref{yahoo} \and \\
	Hiroya TAKAMURA\affiref{mirai}\affiref{aist} \and Manabu OKUMURA\affiref{mirai}} 
\eabstract{%
We treat extractive summarization for questions. Neural extractive summarizers often require much labeled training data. Obtaining such labels is difficult, especially for user-generated content, such as questions posted on community question answering services. In this paper, we propose semi-supervised extractive summarizers for such questions that exploit question-answer pairs to alleviate the problem of insufficient labeled data. To this end, we propose several learning methods, namely pretraining, multi-task learning, distant supervision, and sampling methods, to examine how to effectively use such unlabeled paired data. Experimental results show that multi-task training performs well with an appropriate sampling method or distant supervision, especially when the labeled data is small.}
\ekeywords{Question Summarization, Document Summarization, Extractive Summarization, Neural Networks, Distant Supervision}

\affilabel{aist}{産業技術総合研究所 人工知能研究センター}{Artificial Intelligence Research Center (AIRC), National Institute of Advanced Industrial Science and Technology (AIST)}
\affilabel{recruit}{東京工業大学工学院情報通信系}{Department of Information and Communications Engineering, School of Engineering, Tokyo Institute of Technology}
\affilabel{yahoo}{ヤフー株式会社}{Yahoo Japan Corporation}
\affilabel{mirai}{東京工業大学科学技術創成研究院 未来産業技術研究所}{Laboratory for Future Interdisciplinary Research of Science and Technology (FIRST), Institute of Innovative Research (IIR), Tokyo Institute of Technology}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}
\label{sec:intro}

Yahoo!知恵袋に代表されるコミュニティQA  (CQA)には日々多くの質問が投稿される．
スマートフォンに送信されるプッシュ通知や質問の検索結果画面に表示される見出しは，ユーザが投稿の全文を読むか否かを決定する手がかりとなる．
多くのCQAでは，見出しとして質問の先頭部分を表示する．
しかし，\Fig{fig:chiebukuro}に例示するように重要箇所は必ずしも質問の先頭に現れるとは限らない．
ユーザの的確な判断を助けるためには，質問の重要箇所を見出しに含めることが重要である．
そこで，本研究では質問に対する要約課題に取り組む．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[b]
\begin{center}
\includegraphics{27-4ia5f1.eps}
\end{center}
\caption{コミュニティQAへの投稿される質問と回答の例}
\label{fig:chiebukuro}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

本稿では質問要約課題を抽出型単一文書要約として定式化する．
抽出型要約は原文書中の文もしくは単語列をそのまま取り出し要約として提示する手法である．
原文書に現れる表現の言い換えを許容する生成型要約とは異なり，非文の出力を比較的抑えられるという観点から安全性が高い．
実サービスへの適用を指向し，本研究では質問からもっとも重要な単一文を選択し要約とする設定を扱う．

抽出型要約自体は，自然言語処理の分野において長く取り組まれている課題の一つである．
古くは単語出現頻度 \cite{luhn1958ibm}を用いる文の重要度計算の研究から始まり，グラフに基づく手法 \cite{Mihalcea04}，トピックに基づく手法 \cite{Gong01}，素性ベースの機械学習による手法 \cite{Naik17}，組み合わせ最適化問題として定式化する手法 \cite{li2013acl,kikuchi-hirao-takamura-okumura:2014:acl}など多くの手法が提案されている．
2016年以降は大規模データを用いたニューラルネットワークに基づく手法が積極的に研究されている \cite{Cheng:2016:ACL,nallapati-EtAl:2017:AAAI}．
ニューラルネットワークを用いた要約モデルの学習に必要となる大規模なラベル付きデータは，人手作成するコストが大きい．
また，CQAなどにユーザが自由に投稿するテキストに対しては良質なラベルの自動付与が難しい．

このようなデータ獲得の問題を軽減するため，本稿ではラベル付きデータに加え質問－回答ペアも用いて学習する半教師あり学習に基づく抽出型質問要約モデルを提案する．
\Fig{fig:chiebukuro}の右側に示す回答には，「iPhone」や「WiFi」といった質問中の重要と思われる単語が含まれている．
本研究では回答情報が質問中の重要箇所を同定するための手がかりになると考える．
人手によるラベルの大規模な獲得は難しいが，質問－回答ペアはCQAから大規模に獲得可能である．

提案モデルは文抽出器と回答生成器の2つの部品から構成され，前者はラベル付きデータ，後者はペアデータを用いて学習される．
それぞれの部品が質問中の文に対し重要度を出力し，2つの重要度を組み合わせ最終的な文の重要度を得る．
提案モデルの設定は従来の半教師あり学習とは異なり，大規模データ側が質問－回答というペア構造を持つ点に特徴がある．
このような設定において，どのような学習手法が有効であるかは必ずしも明らかではない．
そこで，本研究ではペア構造を持つデータを用いてニューラルネットワークを事前学習する手法，文抽出器および回答生成器をそれぞれ別に学習しスコアを統合する手法，文抽出器および回答生成器を同時学習する手法を提案し比較する．
また，人手ラベル付きデータとペアデータのサイズが大きく異なる点も問題となる．
これに対処するために，小規模データのオーバーサンプリング，大規模データのアンダーサンプリングおよびDistant Supervisionによる疑似ラベルの大規模データへの付与など，データ不均衡問題を解消する手法も提案する．

実験より，(a)文抽出器と回答生成器を同時学習する手法が有効であるが，データ不均衡問題に対処するための適切なサンプリング法が必要となる，(b)ラベル付きコーパスが小規模な場合に，Distant Supervisionに基づく手法を用いた疑似ラベルを用いて学習することで，より良い性能が得られるという2つの知見が得られた．

本稿の貢献を以下にまとめる．
\begin{itemize}
\setlength{\leftskip}{0.2cm}
\item 質問－回答ペアを活用する半教師あり学習モデルおよびその学習法を提案する．事前学習手法，文抽出器および回答生成器をそれぞれ別に学習し結合する手法，同時学習する手法を提案し，その効果を実験的に検証する．
\item データサイズの不均衡問題を解消するための手法としてサンプリング手法およびDistant Supervisionによる疑似ラベルの活用による手法を提案し，その有効性を確認する．
\item 半教師あり学習による質問要約モデルの学習および性能評価に利用可能な4つのデータセットを作成する．具体的には．質問に対し要約に含めるべき文を人手ラベル付けした小規模（775事例）および中規模（12,406事例）データ，100,000件の質問－回答ペアを格納した大規模データ，Distant Supervisionに基づく提案手法により疑似ラベルを付与したデータを作成する．
\item 実験に用いたデータは公開する\footnote{\url{http://lr-www.pi.titech.ac.jp/~ishigaki/chiebukuro/}}．
\end{itemize}

以後，本稿では\Sec{sec:frame}で提案モデルについて定式化し，\Sec{sec:data}で実験に用いるデータについて述べる．
特に，人手ラベル付きデータのクラウドソーシング (\Sec{sec:pair})やDistant Supervisionによる疑似ラベルを自動付与する提案手法 (\Sec{sec:data:distant})について詳述する．
\Sec{sec:exp}では実験に用いる比較手法として，提案モデルの学習法 (\Sec{sec:exp:proposed})，サンプリング法 (\Sec{sec:exp:sampling})および疑似ラベルの活用 (\Sec{sec:exp:dist})によるデータ不均衡問題の解消について述べ，\Sec{sec:result}で結果をまとめる．
\Sec{sec:related}で他の研究との関連について述べ，最後に\Sec{sec:conc}で今後の方向性として，他の自然言語処理課題への応用可能性について議論する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{提案モデル}
\label{sec:frame}

本節では我々の提案する半教師あり質問要約モデルについて述べる．
\Fig{fig:model:apx}に全体像を示す．
本モデルは文抽出器と回答生成器の2つの部品からなる．
\Fig{fig:model:apx}の太枠部分が文抽出器，破線部分が回答生成器である．
文抽出器はラベル付きデータから学習されるニューラルネットワークを用いて，質問中の文の重要度を計算する．
一方，回答生成器は質問－回答ペアから学習される注意機構付きエンコーダ・デコーダ \cite{Luong:2015:EMNLP}を用いて，回答単語列生成を行う．
単語列生成時に計算する質問中の文に対する注意重みを重要度とみなす．
半教師あり学習の観点からは，文抽出器が主となるタスクであり，回答生成器が補助的なタスクを解くモデルとみなすことができる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[t]
\begin{center}
\includegraphics{27-4ia5f2.eps}
\end{center}
\caption{回答情報を活用する半教師あり質問要約器}
\label{fig:model:apx}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

これら2つの部品はエンコーダを共有する．
まず，エンコーダは単語をLong Short-term Memory (LSTM) \cite{lstm}による文エンコーダで読み込み，文表現ベクトルを出力する．
その後，別のLSTMで構築される文書エンコーダで文表現ベクトルを逐次読み込み，文脈を考慮したベクトル表現を得る．
文書エンコーダの出力するベクトル表現はその後，文抽出器および回答生成器による重要度計算に用いられる．
文抽出器および回答生成器の処理が完了した段階で2つの重要度が得られることになる．
これら2つの重要度を統合することで，最終的な文の重要度を得る．
重要度が最大となる文をシステムの出力要約とする．
以下にエンコーダ，文抽出器，回答生成器，2つの重要度の統合，学習に用いる損失関数について順に定式化する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{エンコーダ}

本モデルでは文エンコーダおよび文書エンコーダという2つのエンコーダが階層に接続される．
入力質問は文系列$d=(s_1, s_2, \dots, s_m)$とし，文は単語列$s_i=(w_{i,1}, w_{i,2}, \dots, w_{i,|s_{i}|})$で表現する．
文エンコーダは各文に含まれる単語をLSTMで読み込み単語表現系列$(h_{i,1}, \dots, h_{i,|s_{i}|})$を得る．
文書エンコーダは文エンコーダの最終状態$h_{i,|s_{i}|}$を各文に対し逐次読み込み，文脈を考慮した文表現ベクトル系列$(h_1, \dots, h_m)$を出力する．
この系列は文抽出器および回答生成器に渡され，それぞれの重要度計算に用いられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{文抽出器による重要度計算}

文抽出器による重要度計算について述べる．
文抽出器は質問中の文がもっとも重要な文であるか否かを分類する二値分類問題を解く．
エンコーダの出力ベクトル$(h_1, \dots, h_m)$は，それぞれ2次元ベクトルに線形変換され，ソフトマックス関数で重要文であるか否かを表現する二値確率分布に変換される:
\begin{equation}
p(s_i)={\rm softmax}(W_{\text{ext}} h_i)．
\end{equation}
ここで，$W_{\text{ext}}$は線形変換するための重み行列である．

文抽出器はラベル付きデータから学習される．
学習時の損失関数には交差エントロピーを用いる:
\begin{equation}
\LossExt  = -\sum_{i=1}^{m} \{(1-t_i) \log (1-p(s_i)) + t_i \log p(s_i)\},
\end{equation}
ここで，$t_i$は$s_i$がもっとも重要な文である場合に1をとり，それ以外では0をとる二値変数である．
文抽出器のみを学習する実験設定においては，この損失関数のみを用い学習を行い，回答生成器と同時学習をする設定においては後述するように回答生成器側の損失関数と統合して用いる．


このニューラルネットワークの計算する確率値$p(s_i)$を文$s_{i}$の重要度と考える：
\begin{equation}
\ScoreExt(s_i)=p(s_i).
\end{equation}
この重要度は，後述する回答生成器の出力する重要度と統合されることで，最終的な文の重要度の計算に用いられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{回答生成器による重要度計算}

次に，回答生成器による重要度計算について述べる．
回答生成器は回答単語列$(y_1, y_2, \dots, y_k)$を注意機構付きエンコーダ・デコーダを用いて出力する．
回答生成時に注意機構が計算する注意重みを文の重要度とみなす．

デコーダのLSTMは以下のように時刻$j$における隠れ状態ベクトル$h'_j$を計算する：
\begin{equation}
h'_j={\rm LSTM} (h'_{j-1}, \texttt{emb}(y_{j-1})).
\end{equation}
\texttt{emb()}は引数の単語埋め込み表現を表す．
なお，$t=0$における隠れ状態ベクトル$h'_0$はエンコーダLSTMの最終状態で初期化する．
それぞれの時刻において，単語生起確率分布を隠れ状態$h'_j$を用いて以下のように計算する：
\begin{equation}
p(y_j \mid y_{<j}, d)={\rm softmax}(W_{\text{gen}}h'_j)．
\label{eq:decode}
\end{equation}
ここで，$W_\text{gen}$は重みベクトル，$y_{<j}$はこれまでに生成した単語列$y_{<j}=(y_1, \dots, y_{j-1})$を表す．
デコーダは確率値が最大となる単語を貪欲に出力する．

単語系列の出力時には注意機構 \cite{Luong:2015:EMNLP}を用いる．
注意機構はデコーダの隠れ状態ベクトルを用いて，質問中の文を重み付ける．
時刻$j$における注意機構による文脈ベクトル$c_j$は以下のように注意重みを用いてエンコーダ側の文ベクトルを加重平均することで得る：
\begin{equation}
c_{j}=\sum_{i=1}^{m} \alpha_{j} (i) h_i.
\label{eq:context}
\end{equation}
ここで，時刻$j$におけるエンコーダ側の文ベクトル$h_i$への注意重み$\alpha_j (i)$は以下のように計算する：
\begin{equation}
\alpha_{j} (i)=\frac{\exp (h'_{j} \cdot  h_i)}{\sum_{i'=1}^{m} \exp (h'_{j} \cdot h_{i'})}.
\label{eq:weight}
\end{equation}
\Eq{eq:decode}の$h'_{j}$を文脈ベクトル$c_
{j}$を考慮するよう，以下の$\hat{h}$で置き換える：
\begin{equation}
\hat{h}=W_c[h'_{j};c_{j}]．
\end{equation}
同様に$W_c$は重み行列で，$[h'_{j};c_{j}]$は$h'_{j}$と$c_{j}$の結合ベクトルを表す．

重要度計算の際には，回答生成の際に大きな注意重みが与えられた文は要約に含めるべき重要な文であると考える．
すなわち，回答生成器の注意機構が計算した注意重みを文$s_{i}$の重要度計算に以下のように用いる：
\begin{equation}
\ScoreGen(s_i)=\frac{\sum_{j=1}^{J}\alpha_{j}(i)}{J}.
\end{equation}
ここで，$J$は回答生成のデコードが完了するまでのタイムステップ数である．
$J$には回答生成時に終了を表す特別なトークンEODが出力されるまでのタイムステップ数が設定される．
50ステップを超えた場合には$J=50$とする．
この注意重みを回答生成器による文の重要度とし，文抽出器による重要度と統合し最終的な文の重要度を得る．

学習時の損失関数には負の対数尤度を用いる：
\begin{equation}
\LossGen = -\sum_{(d,y) \in D} \log p(y \mid d)．
\end{equation}
ここで，$D$は質問－回答ペアデータに含まれる事例集合を表す．
回答生成器のみを学習する実験設定においては，この損失関数のみを用い学習を行い，文抽出器と同時学習をする設定においては後述するように文生成器側の損失関数と統合して用いる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{重要度の統合}

文抽出器と回答文生成器による重要度を統合する手法について述べる．
$\ScoreExt$と$\ScoreGen$は最終的に以下のように重み付き和として統合し，最終的な文の重要度スコア$f(s_i)$を得る：
\begin{equation}
f(s_i) = \ParamEval \ScoreExt(s_i) + (1-\ParamEval) \ScoreGen(s_i).
\label{eq:score}
\end{equation}
$\ParamEval$は文抽出器および回答生成器が出力する重要度を重み付けるハイパーパラメータである．
$\ParamEval$の値は実験設定により，$0$，$1$，または開発セットで調整した値を用いる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{損失関数の統合}

また，文抽出器と回答生成器を同時学習する場合には前述した2つのモデルの損失関数を統合する必要がある．
以下のように2つの損失関数をハイパーパラメータ$\ParamTrain$を用いて重み付け和として統合する：
\begin{equation}
L = \ParamTrain \LossExt + (1-\ParamTrain) \LossGen.
\end{equation}
\Sec{Sec:Proosed_models}において述べるように，
$\ParamTrain$の値を制御することで，事前学習，同時学習などの学習手法を切り替える．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{データセット作成}
\label{sec:data}

実験に用いる4つのデータセット($\LabelData$，$\LabelDataM$，$\PairData$，$\PseudoData$)について述べる．
$\LabelData$および$\LabelDataM$はクラウドソーシングにより，要約に含めるべき文を人手でラベル付与した小規模および中規模のデータセットである．
一方，$\PairData$は質問－回答ペアを格納した大規模データセットであり，ラベルはない．
$\PseudoData$は後述するDistant Supervisionに基づく提案ラベル付与手法を用いて，ラベルを持たない$\PairData$に対し，疑似的なラベルを自動付与したデータセットである．
自動付与した疑似ラベルのためノイズを含むが，大量のラベル付き学習データを獲得できる利点があり，データ不均衡問題の解消に役立つと考えられる．
なお，これらのデータセットはYahoo!知恵袋コーパス \cite{yjchie_data}を基に作成する．
以下にそれぞれのデータセットの作成法について詳述する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{人手ラベル付けしたデータ ($\LabelData$，$\LabelDataM$)}
\label{sec:pair}

人手で質問をラベル付けしたデータとして，小規模な$\LabelData$および中規模な$\LabelDataM$を構築する．
$\LabelData$は775質問を格納した人手ラベル付きデータセットである．
Yahoo!知恵袋コーパスから3,000質問を抽出し，クラウドソーシングにより人手ラベルを付与した．
5人の作業者のうち4人以上が同じ文を重要と判定した775質問を$\LabelData$に含めた．
775質問すべてに対し要約に含めるべきもっとも重要な1文を正例としてラベル付けし，それ以外は負例とラベル付けした．
$\LabelDataM$は12,406事例からなる中規模データセットである．
$\LabelData$と同様にクラウドソーシングを用いて，Yahoo!知恵袋コーパスから抽出した30,000質問に対し，5人の作業者が重要文を判定し，4人以上の作業者が同じ文を重要と判定した質問を含めた．

クラウドソーシングに依頼した質問の選定法および作業者への指示について詳細を述べる．
Yahoo!知恵袋コーパス内には2文程度の短い質問もあれば長い質問も存在する．
$\LabelData$および$\LabelDataM$は実験において，評価用データとしても用いる．
そのため，長さの定義を質問に含まれる文数としたとき，文数に対するデータセット中の質問数の頻度分布が，Yahoo!知恵袋コーパスの分布と異なると正しい評価ができない．
そこで，Yahoo!知恵袋コーパス内の文数ごとの質問数の頻度分布と$\LabelData$および$\LabelDataM$内の分布ができる限り近くになるよう層化抽出した．
2つのデータセットに含まれる質問の文数に対する質問数の頻度分布を\Tab{graph:bunsu}に示す．
この表において，例えば文数が2文である質問は$\LabelData$中に461事例含まれていることを示す．
クラウドソーシングにはLancers\footnote{https://lancers.com}を用い，作業者には以下の指示を与えた．
\begin{enumerate}
\setlength{\leftskip}{0.4cm}
\item 質問全体を良く読み質問内容を理解する．
\item もっとも重要な文を1文選択する．
\item 1文では要約できない場合には``要約できない''を選択する．
\end{enumerate}
4人以上の作業者のアノテーションが同じ文をもっとも重要と判定した事例を$\LabelData$および$\LabelDataM$として採用し，775事例および12,406事例をそれぞれ獲得した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[t]
\caption{$\PairData$の質問の文数ごとの質問数頻度}
\label{graph:bunsu}
\input{05table01.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{質問－回答データ ($\PairData$)}

$\PairData$は10万事例の質問－回答ペアからなるデータセットである．
Yahoo!知恵袋コーパスに含まれる質問のうちランダムに10万事例を抽出した．
なお，以下の条件を満たすようコーパスをフィルタリングした上で抽出した．
\begin{enumerate}
\setlength{\leftskip}{0.4cm}
    \item ベストアンサー\footnote{ベストアンサーは質問投稿者がもっとも的確な回答を選択したものである．}を伴う質問．
    \item 2文以上9文以下の質問．
    \item 極端に長い文（50単語以上の文）を含まない質問．
\end{enumerate}
回答生成器の学習にはできる限り良質な回答を用いたい．
そこで，1つ目の規則を用いて良質な回答に限定した．
なお，後者2つの制約は1)ノイズとなる質問を除外するため，2)モデル学習の計算コストを削減するため，という2つの理由から設定した．
10文以上からなる質問投稿はデータセット全体の5\%以下である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{疑似ラベルを自動付与したデータ ($\PseudoData$)}
\label{sec:data:distant}

$\PairData$中の質問にはラベルがない．
これにより，ラベル付きデータ ($\LabelData$および
\linebreak
$\LabelDataM$)とのデータサイズの不均衡が発生する．
そこで，$\PairData$に含まれる質問に要約に含めるべき文に関する二値ラベルを自動付与する手法を新たに提案する．
以下に我々の自動ラベル付与手法および，構築した疑似ラベル付きのデータセット$\PseudoData$について説明する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{質問要約のためのDistant Supervision}

はじめに，我々の提案するラベルの自動付与手法の基本的な考え方を説明する．
この自動付与手法はDistant Supervisionの考えに基づく．
Distant Supervisionは，ヒューリスティックや規則，外部データなどを用いて，コストをかけずに大量の疑似ラベル付きデータを生成し学習する手法である．
この考え方は知識ベースに格納された知識を手がかりに関係抽出課題のための疑似的な学習データを作成する手法 \cite{mintz2009acl}に最初に適用されて以降，絵文字を手がかりに極性分類課題のための学習データを作成する手法 \cite{go2009}など直接的なラベル付きデータの獲得が難しい課題に適用されている．
要約研究では新聞記事に付与された3行程度の人手による生成型要約を手がかりに，抽出型要約モデルを学習するためのラベルを自動付与する手法 \cite{nallapati-EtAl:2017:AAAI}が提案されている．
本研究で対象とするYahoo!知恵袋コーパスには質問本文のみが含まれ\footnote{Yahoo!知恵袋ではユーザの負荷を軽減するためにタイトルを入力するフィールドがそもそも用意されていない．}，タイトルや人手による要約を含まないためこの手法は直接適用できない．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table2
\begin{table}[t]
\caption{単一文質問と複数文質問の例}
\label{single_multiple_questions}
\input{05table02.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

自動ラベル付けを行うために，我々はYahoo!知恵袋に単一文で投稿される質問の特徴が，要約に含めたい文と似ていることに着目した．
Yahoo!知恵袋に投稿される質問は単一文質問と2文以上からなる複数文質問に大別できる．
\Tab{single_multiple_questions}に例を示す．
質問要約において，出力要約文は単体で理解できる質問であることが望ましい．
例えば，\Tab{single_multiple_questions}に例示するように，「ヤフーオークションのプレミアムアカウントはどうやったら取れますか」という単一文で投稿される質問には，「ヤフーオークション」や「プレミアムアカウント」といった，質問内容を理解するために必要な情報があらかじめ埋め込まれている．
そのため，質問内容を理解するために他の文の情報を必要としない．
このように，単一文質問は単体で理解できる質問であることから，要約に含めたい文と似た特徴を持つと考えられる．
一方，例えば10文以上で構成されるなどの長い質問に含まれる個別文に着目すると，「こんにちは．」や「オークションについての質問です．」といった挨拶や背景情報を説明する文も含まれる．
このような文の多くは，質問文ではなかったり，「これはどうやったら取れますか？」のように質問文であるものの，他の文への照応を含むことが多い．
このような文は，単体で理解できる質問ではなく要約に含めたい文とは異なる特徴を持つと考えられる．

Yahoo!知恵袋コーパスを用いた予備分析では，無作為に抽出した100の単一文質問のうち98\%はその文単体で理解できる質問であった．
残りの2\%は挨拶や主張のみが記述される投稿であった．
一方で，10文以上で構成される長い質問に含まれる文を人手で分析すると，わずか7\%がその文単体で質問内容が理解できる文であった．
このような分析から，CQAに投稿される単一文質問のほとんどは，その文のみで内容が理解できる質問であり，要約に含めたい文と似た特徴を持っていることがわかった．
一方，長い質問の個別文は質問でなかったり，質問文であっても単体で理解できない事例が多く，要約に含めたい文とは異なる特徴を持つことがわかった．

そこで，図~\ref{fig:model:dist}に示すように，1)単一文質問を正例とし，長い質問中の個別文を負例としたデータをYahoo!知恵袋コーパスから抽出し，
2)二値分類器を学習し，さらに3)$\PairData$に含まれる質問中の文に分類器を用いてラベル付与することで，$\PairData$に疑似的なラベルを付与し，データサイズ不均衡を解消できると考えた．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 3
\begin{figure}[t]
\begin{center}
\includegraphics{27-4ia5f3.eps}
\end{center}
\caption{疑似ラベル付与のための提案手法概要}
\label{fig:model:dist}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{Distant Supervisionによる自動ラベル付与手順}

具体的なラベル付与手順を説明する．
この枠組みでは，まずYahoo!知恵袋コーパスから単一文質問および，10文以上で構成される質問を抽出する（手順1）．
次に，単一文質問を正例，10文以上で構成される質問中の文を負例として，分類器を学習する（手順2）．
最後に，この分類器の出力する確信度を文の重要度とみなし，この重要度スコアが最大となる文を正例とラベル付与する（手順3）．

手順1ではYahoo!知恵袋コーパスから，単一文質問を8,000文，10文以上から構成される複数文質問中の文を1,700,000文，無作為に抽出する\footnote{$\LabelData$および$\LabelDataM$は2文から9文の質問からなるため，$\PseudoData$とは重複しない．また，$\PairData$とは独立にサンプルしたため重複しない．}．
抽出文のうち，単一文質問を正例，10文以上から構成される複数文質問中の文を負例と自動でラベル付与し，分類器の学習に用いる．
なお，疑似ラベルを付与するための分類器の学習に10文以上の質問を用いるが，提案要約モデル (\Sec{sec:frame})は10文以上の入力も受け付ける．

手順2の分類器にはLSTMを用いた単純な分類器を用いる．
文をLSTMで読み込み，その隠れ層を全結合層により2次元に圧縮したのちソフトマックス関数を用いて確率分布に変換する．
この分類器の出力する確率値は，文の単一文質問らしさを表現するものであるが，我々の枠組みではこれを文の疑似的な重要度と考える．

手順3では，分類器の出力確率を手がかりに正例および負例の二値ラベルを質問中の文に付与する．
入力質問には複数のフォーカスが含まれる場合がある．
例えば，アメリカの大統領の名前を尋ねたあとに大統領の出身地を尋ねる場合を想定する．
そのような場合には，どちらのフォーカスがより重要であるか判定するのは難しい．
本研究では，入力質問が複数のフォーカスを持つ場合には，より前に出現するフォーカスを正解として扱う．

そのため，分類器の出力確率が閾値以上の文が複数存在する場合には，入力に複数のフォーカスが存在するとみなし，より先頭に近い位置に出現する文を正例としてラベル付与する．
それ以外の場合には確率が最大となる文を正例としてラベル付与する．
なお，閾値は$\LabelData$の正例を正しく当てられるよう調整し，実際には0.7に設定された．
上記の手順により，$\PairData$の質問側に対し疑似ラベルを自動付与したデータ$\PseudoData$を獲得した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験}
\label{sec:exp}

本節では提案モデルを様々な学習手法を用いて構築する．
また，教師なしおよび教師あり学習に基づくベースライン手法と性能を比較する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{提案モデルに基づく手法}
\label{Sec:Proosed_models}

\Sec{sec:frame}にて述べた2つのパラメータ$\ParamTrain$および$\ParamEval$を変更することにより様々なモデルを作成した．
なお，$\ParamTrain$は文抽出器と回答生成器から計算される2つの損失関数を重み付けるパラメータで，$\ParamEval$は2つの部品が計算する文の重要度を重み付けるパラメータである．
さらに，ラベル付きデータ ($\LabelData$および$\LabelDataM$)と$\PairData$のデータサイズが不均衡となる問題を解決するため，サンプリング法やDistant Supervisionによる疑似ラベルを組み合わせた学習手法も提案する．
以下に各手法について説明する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{損失関数の制御パラメータ$\ParamTrain$および出力スコアの制御パラメータ$\ParamEval$を変化させたモデル}
\label{sec:exp:proposed}

\begin{itemize}
\setlength{\leftskip}{0.2cm}
    \item \ExtOnly: 文抽出器のみ用いるモデル ($\ParamTrain=1$,\! $\ParamEval=1$).
    \item \GenOnly: 回答生成器のみ用いるモデル ($\ParamTrain=0$,\! $\ParamEval=0$).
    \item \SepTrain: 文抽出器をラベル付きデータ ($\LabelData$もしくは$\LabelDataM$)を用いて学習し($\ParamTrain=1$)， さらに回答生成器を$\PairData$を用いて別に学習 ($\ParamTrain=0$)する．文の重要度スコアを計算する際に2つのモデルからのスコアを統合する．なお，ハイパーパラメータ$\ParamEval$は開発セットで調整する．
    \item \PreTrain: はじめに回答生成器のみを$\PairData$を用いて事前学習する ($\ParamTrain=0$)．その後，学習されたエンコーダの重みを保存し，文抽出器の学習を行い追加学習 ($\ParamTrain=1$)する．文のスコアリング時には文抽出器からのスコアのみ用いる ($\ParamEval=1$)．
    \item \MultiTrain: 文抽出器と回答生成器を同時学習する．ミニバッチはデータセットごとに作成し，損失関数はそれぞれ計算する．
    $\PairData$には人手アノテーションによる正解ラベルが付与されていないので，このデータからミニバッチを作成する際には，文抽出器から計算される損失$\LossExt$を0にする．ハイパーパラメータ$\ParamTrain$および$\ParamEval$は開発セットで調整する．
\end{itemize}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{オーバーサンプリング／アンダーサンプリングを用いるモデル}
\label{sec:exp:sampling}

$\PairData$とラベル付きデータ ($\LabelData$および$\LabelDataM$)のデータサイズは大きく異なる．
今回の設定ではメインの処理となる文抽出器の学習に用いるラベル付きデータよりも，補助的なタスクである回答生成に用いる$\PairData$のサイズが大幅に大きい．
このデータサイズの不均衡を改善することで，性能が向上すると考えた．
そこで，$\MultiTrain$の亜種として以下の2つのモデルを提案する．

\begin{itemize}
    \setlength{\leftskip}{0.2cm}
    \item \MultiOver: ラベル付きデータ ($\LabelData$または$\LabelDataM$)をオーバーサンプリングし，データサイズを$\PairData$と同様にし$\MultiTrain$を学習する．
    \item \MultiUnder: $\PairData$をアンダーサンプリングし，データサイズをラベル付きデータ ($\LabelData$または$\LabelDataM$)と同様にし$\MultiTrain$を学習する．
\end{itemize}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{Distant Supervisionによるデータ拡張と組み合わせるモデル}
\label{sec:exp:dist}

さらに，$\PseudoData$を用いることでデータ不均衡問題を解決することができると考えた．
$\PseudoData$を用いて学習する以下のモデルを提案する．

\begin{itemize}
    \setlength{\leftskip}{0.2cm}
    \item \MultiDist: ラベル付きデータ ($\LabelData$または$\LabelDataM$)および$\PseudoData$を用いて$\MultiTrain$を学習する．
    \item \ExtDist/\SepDist/\PreDist: \ExtOnly/\SepTrain/$\PreTrain$をそれぞれ$\PseudoData$を用いて学習する．
\end{itemize}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{教師なしおよび教師あり学習に基づくベースラインモデル}

教師なしおよび教師あり学習に基づくベースラインとしては，以下の5モデルを採用する．
\begin{itemize}
    \setlength{\leftskip}{0.2cm}
    \item \Lead: 先頭文を選択する．
    \item \TfIdf: tf-idf値が最大となる文を要約文として選択する．idfはYahoo!知恵袋コーパス全体から事前に計算した．
    \item \SimEmb: 入力質問と要約文の意味的な類似度が最大になる文を選択する．意味的類似度の計算にはWord Movers' Distance \cite{kusner:2015:ICML}を用いた．
    \item \LexRank: 抽出型要約において代表的なグラフベース手法であるLexRank \cite{Erkan-Radev:2004:JAIR}による重要度スコアが最大となる文を選択する．エッジの重みはYahoo!知恵袋コーパスの質問全体での単語共起頻度を計算した．
    \item \RegQ: 質問文らしさを同定するロジスティック回帰モデルをラベル付きデータから学習し，スコアが最大となる文を要約文として選択する．質問文らしさを捉える素性として文末表現，疑問詞の有無および文長の3種類を用いた．文末表現素性は文末のuni-gram，bi-gram，tri-gramを二値素性として表現した．疑問詞素性は「いつ」「誰」「だれ」「どこ」「何」「なに」を手がかり語としてそれぞれを二値素性として表現した．文長素性は文に含まれる単語数を0--5単語，6--10単語，11--15単語，16--20単語，21--25単語，それ以上に分けそれぞれを二値素性として表現した．
\end{itemize}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{評価指標}

モデルの評価には以下の式で計算される，正解率を用いる：
\begin{equation}
正解率 = \frac{最重要文を正しく予測できた質問数}{評価セット中の質問数}.
\end{equation}
要約モデルの評価にはしばしばROUGE \cite{rouge2004aclworkshop}，再現率，精度などが用いられる．
これらの評価指標は要約長制約がバイト数や文字数で与えられる設定において，重要な単語をどの程度含められたか評価する．
本研究は単一文を抽出する設定であり，重要な文が選択できたか否かが重要である．
よって，正解率を採用する．
実験時にはラベル付きデータ ($\LabelData$または$\LabelDataM$)を3:1:1に5分割し，それぞれ学習セット，開発セット，評価セットに用いる5分割交差検定を行った．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{前処理と実験パラメータ}

前処理としてすべてのデータセットに含まれる質問と回答は句点，改行記号，感嘆符，疑問符の連続を手がかりに文分割し，MeCab\footnote{http://taku910.github.io/mecab/}を用いて形態素に分割した．
質問中の文は形態素系列として表現されエンコーダに渡され，回答を用いる提案手法は形態素系列を出力する．
入力および出力単語の辞書次元は30,000に設定した．
単語埋め込み層，LSTMの隠れ層の次元はそれぞれ256に設定し，単語埋め込み層はYahoo!知恵袋コーパスを用いてword2vecを事前学習\footnote{Pythonのライブラリgensimを用いた．}した．
最適化器にはAdam \cite{adam} ($\alpha=0.001$, $\beta_1=0.9$, $\beta_2=0.999$, $\epsilon=1\text{e-}8$)，勾配のクリッピングは5.0とし，ドロップアウトの割合は0.2を用いた．
学習時のミニバッチサイズは50に設定した．
同時学習時には，それぞれのデータセットから別のバッチを生成し，バッチ内で事例をランダムに並べ替えた上で学習し，損失関数の値はミニバッチごとに計算した．
学習時は10エポック分行い，評価時には開発セットでの正解率がもっとも高いモデルを用いた．
ハイパーパラメータの$\ParamTrain$は0.0から1.0の間で0.1刻みに変更し開発セットの正解率を最大にするよう調整した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{結果}
\label{sec:result}

本節では各手法の性能について述べる．
\Tab{graph:result}に各モデルから得られた正解率を示す．
もっとも左のカラムに示す手法名は4つのグループに分けられている．
上のグループから順に教師なし学習に基づくベースライン，半教師あり学習に基づく提案モデル，提案モデルのうち同時学習によるモデル，Distant Supervisionによる疑似ラベルを用いるモデルである．
4つの区分に分けられているカラムのうち，左から2番目のカラムに示すチェックマーク ($\checkmark$)は学習に用いたデータセットを示す．
左から3番目，4番目の区分に$\LabelData$と$\LabelDataM$を評価セットとした場合の正解率をそれぞれ示す．
なお，教師あり学習に基づくモデルの正解率は5分割交差検定を用いて計算した正解率である．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 3
\begin{table}[t]
\caption{各手法の正解率}
\label{graph:result}
\input{05table03.tex}
\par\vspace{4pt}\small
``\checkmark''は学習に用いたデータセットを示す．
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{小規模ラベル付きデータ ($\LabelData$)での正解率}

はじめに，$\LabelData$を評価セットとして用いた場合の正解率について述べる．
教師なし学習に基づく手法は，$\Lead$ (.813)がもっとも高い正解率を得た．
それに対し，他の教師なし学習に基づく手法 ($\TfIdf$ (.556)，$\SimEmb$ (.640)，$\LexRank$ (.779))の正解率は$\Lead$よりも低い．
従来の新聞記事等を基にしたデータセットでは比較的良い性能を示すモデルであっても，質問要約課題においてはその限りではないことがわかる．
質問を同定する教師あり学習に基づくモデル$\RegQ$ (.608)も$\Lead$の性能には及ばない．データセット中の要約文とアノテーションされた文は実際にはすべて質問文であったが，複数の質問文を含む入力などでは，質問文同定課題を解くだけでは要約として適切な文を選択できない場合がある．例えば，「水泳に詳しい人はいませんか？クロールの最適な息継ぎのタイミングを教えて下さい．3回に1回ですか？すぐに息が上がってしまいますが，2回に1回だと多すぎですか？」といった入力は$\RegQ$によってすべての文に高いスコアが与えられ，重要文を正しく選択できない．
これらの結果は，質問要約課題が質問文同定と重要文同定を同時に解く必要がある課題であることを示唆しており，質問要約課題のタスク自体の難しさを示すものといえる．


3つ目のグループでは，$\MultiTrain$ (.770)よりも$\MultiUnder$ (.857)が良い性能を示しており，サンプリング法によるデータ不均衡問題の軽減が重要であることがわかる．
サンプリング法を用いない$\MultiTrain$ (.770)は$\ExtOnly$ (.813)よりも性能が低い．
よって，単純に同時学習するだけでは不十分であり，適切なサンプリング法と組み合わせデータ不均衡問題を軽減する必要がある．
サンプリングを用いる2手法 ($\MultiOver$と$\MultiUnder$)は近い正解率を得たが，$\MultiUnder$の正解率がやや高い．
これは，775事例という小規模データである$\LabelData$をオーバーサンプリングすることにより，同一の事例が何回も学習データ内に存在することになり，$\LabelData$に含まれる事例に対し過学習を引き起こしたものと思われる．

4つ目のグループでは，$\MultiDist$ (.875)がもっとも良い性能を示し，疑似ラベルによるデータ不均衡問題の軽減も有効であることがわかる．
$\MultiDist$と他の手法との性能差は，符号検定により統計的に有意であることを確かめた ($p<0.05$)．
Distant Supervisionによる疑似ラベル付きデータそのものを文抽出器の学習に活用する$\ExtDist$ (.838)も，疑似ラベルを用いない$\ExtOnly$ (.813)よりも性能が高い．
つまり，ノイズが含まれる疑似ラベルであっても，小規模な人手ラベル付きデータを用いるよりも良い性能が得られる．
同時学習を用いる$\MultiDist$ (.875)はさらに性能を向上させた．
同時学習を用いる提案手法は従来の要約研究において強いベースラインとして知られている$\Lead$よりも良い性能を示した．
新聞記事などを対象とした従来の研究に比較し，$\Lead$が質問要約において良い性能を示さない理由については，\Sec{sec:actual_out}で出力例を示し，議論する．

その他の手法については，$\SepTrain$ (.828)が良い性能を示した．
これは，$\ExtOnly$による文抽出器からのスコアと$\GenOnly$による回答生成器からのスコアがうまくアンサンブルされた結果と考えられる．
一方，$\GenOnly$ (.659)のみを用いる場合には人手付与されたラベル付きのデータを一切使わないため性能が低く，回答生成という補助的なタスクのみで重要文を同定することは，難しい．
この点からも，小規模な人手ラベル付きのデータと大規模な質問－回答ペアを組み合わせた半教師あり学習モデルは有効であることがわかる．
$\PreTrain$ (.788)は予想に反し$\ExtOnly$ (.813)よりも性能が低い．
これは775事例という小さな事例数が事前学習したモデルの追加学習には不十分であったと考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{中規模ラベル付きデータ ($\LabelDataM$)での正解率}

次に人手によるラベル付きデータのサイズが，正解率に及ぼす影響について議論する．
\linebreak
$\LabelDataM$での正解率を\Tab{graph:result}のもっとも右のカラムに示す．
$\LabelData$が775事例であったのに対し，$\LabelDataM$は12,406事例と中規模のデータセットである．

$\LabelDataM$を用いた場合には正解率がほぼ全ての提案モデルで，$\LabelData$を用いた場合と比較し，向上した．
これは，人手によるラベル付きデータが大きくなり，データ不均衡問題が緩和されることが要因であると考えられる．
$\LabelData$を用いた実験では適切なサンプリングや疑似ラベルの利用がない場合に，同時学習手法 (\MultiTrain)の性能が低かった．
一方，$\LabelDataM$での実験において$\MultiTrain$ (.894)の正解率はサンプリング法を用いないにも関わらず，$\ExtOnly$ (.886)よりも高い．
さらに適切なサンプリング法 ($\MultiUnder$および$\MultiOver$)と組み合わせることで，性能がさらに向上（それぞれ.913と.917）する．

$\MultiOver$ (.917)と$\MultiUnder$ (.913)との性能差はごく僅かになった．
$\LabelData$を用いた実験ではアンダーサンプリングの正解率がオーバーサンプリングよりも高かった．
これは，$\LabelDataM$を用いた場合には，人手ラベル付きデータのサイズが大きいため，オーバーサンプリング時に同一の質問が学習事例に含まれる回数が減り，$\MultiOver$の過学習が軽減されたためと考えられる．

一方，疑似ラベルを学習に活用する$\MultiDist$ (.908)は$\MultiUnder$ (.913)よりもわずかに低い性能を示し，その効果がみられなかった．
小規模データ$\LabelData$での実験ではDistant Supervisionによる疑似ラベル付きデータとの組み合わせた$\MultiDist$ (.875)は，$\MultiUnder$ (.857)よりも良い性能を示していた．
これは，$\LabelDataM$では人手でラベル付与されたデータが増えたことにより，Distant Supervisionによる疑似ラベルはむしろノイズとして働いたためと考えられる．

なお，$\SepTrain$の性能はハイパーパラメータ$\ParamEval$によって正解率の揺れが大きく調整が難しい．$\SepTrain$の$\LabelDataM$での正解率が$\LabelData$での正解率よりも低くなるのは，開発セットにより調整された$\ParamEval$であっても評価セットでの正解率が揺れることが原因である可能性が考えられる．$\SepTrain$は同時学習とサンプリングやDistant Supervisionと組み合わせる提案モデルの正解率よりも低い値を示すため，ハイパーパラメータ$\ParamEval$による性能変化の詳細な分析は今後の課題とする．

以上の考察から，とくに人手による良質なラベル付きデータが小規模な場合に，半教師あり学習による提案手法およびサンプリングや疑似ラベルの利用といった学習法は有効であることが分かった．
また，人手によるラベル付きデータが中規模に獲得できる状況でも，同時学習やサンプリング法の併用によって性能を向上できる．
Distant Supervisionによる疑似ラベルの活用は良質な人手によるラベル付きデータが多く獲得できる場合にはノイズとして働き，効果的に作用しない．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{出力の定性的分析}
\label{sec:actual_out}

最後に出力の定性的な分析を行う．
分析対象の手法 ($\Lead$，$\ExtOnly$，$\MultiUnder$，$\MultiDist$)は\Tab{graph:result}に挙げた手法の4つの区分から，代表的な手法を1つずつ選択した．
$\LabelData$を用いた実験での出力例を\Tab{tab:actual_out}に示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 4
\begin{table}[t]
\caption{$\LabelData$を用いた実験での出力例}
\label{tab:actual_out}
\input{05table04.tex}
\par\vspace{4pt}\small
$\checkmark$は各手法の選択した文を示す．質問中の太字の文は正解要約文である．
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


\Tab{tab:actual_out}の最初の例は$\Lead$が正しい要約文を選択できない事例を示す．
$\Lead$が正しく重要文を選択できない理由として，質問では核となる文が必ずしも先頭に現れるとは限らない点が挙げられる．
データセット内の質問の持つ談話構造には少なくとも以下の2種類が存在する．
\begin{enumerate}
%%%%\setlength{\leftskip}{0.4cm}
    \item 背景となる情報を提示した後，核となる質問文に続く．
    \item 核となる質問文を提示した後，背景となる情報を補足する．
\end{enumerate}
$\Lead$は前者に対応できないため，提案手法よりも性能が低いものと考えられる．
\Tab{tab:actual_out}の例では，アボカドに関する背景となる情報を提示した後，「アボカドを上手に熟れさせる方法」という核となる質問を行う．
既存の要約研究では新聞記事や科学論文をもとにしたデータセットで性能評価されることが多い．
既存データでは結論を先に記述する談話構造が多く用いられるため，$\Lead$は強いベースラインとして知られている．
本研究で扱うCQAへの投稿は新聞記事とは異なり，書き手が専門家ではない質問であり，新聞記事とは談話構造が異なる事例が相対的に多い．
よって，$\Lead$は本課題に対して良い性能を示さない．

2つ目の例は$\ExtOnly$のエラーが$\MultiUnder$や$\MultiDist$で解消された例を示す．
$\ExtOnly$は学習データの不足から「教えてください。」などの表現を含む文に非常に高いスコアを与えるよう過学習している．
回答生成との同時学習や疑似ラベルを活用することで，データ不足を補い，より正しく重要文を同定できたと考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}
\label{sec:related}

半教師あり学習を用いた文書要約に関する研究 \cite{amini-EtAl:2002:SIGIR,wong-wu-li:2008:COLING,li-li:2014:COLING}はこれまでにも取り組まれている．
小規模なラベル付きデータと大規模なラベルなしデータを用いる手法が一般的である．
本稿で着目する設定では大規模データ側が質問－回答というペア構造を持つ点が既存研究と異なる．

同時学習の研究についても翻訳，対話，関係抽出に関するサーベイ論文 \cite{ruder:2017:CoRR}が発表されるなど，近年活発に研究されている．
要約課題向けの同時学習手法としては，Guoら\cite{guo-pasunuru-bansal:2018:ACL}は生成型文書要約器を文のアラインメントや質問生成タスクと同時学習する手法を提案した．
また，文圧縮と依存構造解析 \cite{kamigaito-hayashi-hirao-nagata:2018:naacl}，抽出型文書要約と修辞構造理論に基づく談話構造解析 \cite{mann-thompson:1988:discourse,ishigaki-etal-2019-discourse}など，要約とテキストの構造解析を同時学習する手法についても取り組まれている．
これらはメインのタスクとなる要約については，大規模なラベル付きデータを使用している．
我々は，ラベル付きデータが大規模に獲得できない状況を想定するため，設定が異なる．
Isonumaら\cite{isonuma-EtAl:2017:EMNLP}の抽出型要約とテキスト分類を同時学習する手法は，テキストに付与されたカテゴリ情報を自動獲得し活用する点が我々の手法に近いが，我々の想定するユーザが自由に投稿できるCQAでは良質なメタデータの獲得が難しい．
Angeldisら\cite{angelidis-lapata:2018:EMNLP}によるAmazonレビューを対象とした意見要約とAspect Extractionや極性判定との同時学習も本研究に関連する．
この課題はユーザ投稿型のテキストデータを対象とする点で我々の設定と近いが，補助的なタスクとして用いているAspect Extractionや極性判定はニューラルネットワーク以前の意見要約研究 \cite{hu-min:kdd2004}において要約モデルのサブタスクとして取り組まれている．
そのため，これらの同時学習はその有効性は比較的明らかであるが，我々の提案する回答生成との同時学習は従来似たような設定に取り組まれたことはなく，必ずしもその有効性が明らかではない．

要約研究とペア構造を組み合わせる研究も存在する．
Chenら \cite{chen-EtAl:2018:AAAI}は質問応答システムの質問－応答ペアを要約の評価に用いた．
我々の研究では質問－回答ペアを学習時に用いることから設定が異なる．
ArumaeとLiu \cite{arumae-liu:2018:ACL2018-SRW}は強化学習モデルの学習時に用いる報酬を質問－応答対を手がかりに設計した．
穴埋め形式の質問を用いることから本研究にはそのまま適用できない．
Gaoら\cite{gao-EtAl:2019:AAAI}は記事とそれに対するユーザのコメントを入力とする要約モデルを提案した．
記事－コメントというペア構造を考慮する点が我々の設定と近いが，同時学習する我々のモデルとは異なり，Gaoらのモデルは記事－コメントペアを入力とするマルチモーダル要約設定である．
なお，我々のモデルは質問－回答ペアを学習時にのみ用い，評価時には用いない．
よって，原文書に加え，補助的な入力を想定するマルチモーダルな設定とは異なる．

質問を入力とする要約モデルという観点からは，本研究はクエリ指向要約 \cite{liu-EtAl:2008:COLING,morita-sakai-okumura:2011:ACL,chan-EtAl:2012:ACL,ishigaki-etal:ecir2020:query-biased}とも関連する．
この設定においては，原文書に加え単語列もしくは質問文をクエリとして与え，要約器はその答えをより含めるような要約を出力する．
質問応答システムとは異なり，要約モデルは必ずしもクエリに対し回答する必要はなく，あくまで原文書から得られる情報のみを用いて要約を出力する．
クエリ指向要約も原文書に加え，補助的な入力を想定するマルチモーダル要約の一種と考えられ，原文書のみを入力とする本研究の設定とは異なる．

CQAから抽出したデータを用いる研究も多く存在する．
例えば，質問応答システム \cite{surdeanu-ciaramita-zaragoza:2008:ACL,celikyilmaz-thint-huang:2009:ACLIJCNLP,bhaskar:2013:RANLPStudent}，類似質問検索 \cite{lei-EtAl:2016:NAACL,romeo-EtAl:2016:COLING,nakov-EtAl:2017:SemEval}や質問生成 \cite{heilman-smith:2010:NAACLHLT}がある．
CQAから抽出したデータを用いた要約研究として，
Tamuraら \cite{tamura-takamura-okumura:2005:IJCNLP}は複数文質問を受け付ける質問応答システムの性能を向上させるために，もっとも核となる文を抽出する手法を提案した．
Higurashiら \cite{higurashi-EtAl:2018:COLING}は``learning-to-rank''により質問から重要な部分文字列を抽出する手法を提案した．
これらの手法は質問要約課題に取り組んでいるが，人手作成されたアノテーションデータのみを用いる点で我々の設定と異なる．
また，Ishigakiら \cite{ishigaki-takamura-okumura:2017:IJCNLP}はCQAに投稿される長文質問を対象とし，抽出型および生成型のモデルを比較した．
この研究ではユーザが質問に対し見出しを付与することを想定しており，本研究が見出しを含まない設定を想定する点で異なる．

Distant Supervisionの研究も多く存在する．
Mintzら \cite{mintz2009acl}はFreeBase 
\linebreak
\cite{bollacker2008sigmod}に格納されたエンティティの情報を用いて，テキストに関係抽出課題向けの情報を自動的にアノテーションする手法を提案した．
その他にも，顔文字を極性分類問題向けのデータ作成に活用する手法 \cite{go2009}，Wikipediaに付与されたトピックラベルを用いてブログに対し分類ラベルを付与する手法 \cite{husby2012topic}など多く存在する．
要約研究向けには，Nallapatiら \cite{nallapati-EtAl:2017:AAAI}やChenとLapata \cite{Cheng:2016:ACL}がCNN/DailyMailデータセットに含まれるハイライト（記者が記述した箇条書きの要約）を手がかりに，要約に含めるべき文を自動アノテーションした．
我々の設定ではハイライトや見出しなど人手作成された要約がなく，これらの手法を直接適用することはできない．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}
\label{sec:conc}

本研究では抽出型質問要約課題に対し，質問－回答ペアを活用する半教師あり学習の枠組みを新たに提案した．
また，サンプリング法およびDistant Supervisionに基づく疑似ラベルを利用した学習法も提案した．
実験より，文抽出器と回答生成器を同時学習するモデルを適切なサンプリング法やDistant Supervisionによる疑似ラベル付与手法と併せて用いることで，特に人手によるラベル付きデータが小規模な場合に良い性能を示すことが確かめられた．

本研究は半教師あり学習に基づく自然言語処理モデルに対し，ペア構造を活用する枠組みを新たに提案したものと捉えることができる．
今後の方向として，例えば，記事－コメント対，発話－応答対など，ペア構造を持ったデータに幅広く応用できる可能性がある．

さらに，関係抽出課題などで成果を上げているDistant Supervisionによるデータ作成手法を要約研究に新たに応用し有効性を示した．
単一文を選択するタスクに対し，抽出したい文と類似する事例を大量に獲得する情報源を考えることで，他の言語処理タスクにも幅広く応用できる可能性がある．
例えば，有害な情報を含む文を選択する課題に対し，検出したい文と類似する特徴を持つ文をウェブ上から大量に獲得するなどの方針が考えられる．
このように，ラベル付きデータの獲得が困難な多くの言語処理課題に対し，疑似ラベルを活用することで大規模な機械学習モデルの適用範囲を広げられる可能性がある．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本稿はECIR2020に採録済みの2論文 \cite{Ishigaki_en20,machida-etal:ecir2020:semi-supervised}，情報処理学会自然言語処理研究会および言語処理学会全国大会にて発表済みの2論文 \cite{Ishigaki_ja18,machida_ja19}を基にしたものです．
最後に，査読者様およびご担当編集委員様の丁寧な御査読と有益なコメントに感謝申し上げます．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.5}
\bibliography{05refs.bib}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{石垣　達也}{%
2014年東京工業大学総合理工学研究科博士前期課程修了．
同年，同大学博士後期課程（2018年9月から3ヶ月間は国立台湾大学にて研究）．
2019年，同大学科学技術創成研究院研究員．同年9月，博士（工学）学位取得．
2020年4月より産総研特別研究員，現在に至る．専門は自然言語処理．
言語処理学会，情報処理学会各会員．
}
\bioauthor{町田　和哉}{%
2017年群馬大学理工学部情報理工学科卒業．
2019年東京工業大学大学院情報通信系情報通信コース修了．
2019年から株式会社リクルートホールディングスにてデータ分析業務に従事．
}
\bioauthor{小林　隼人}{%
2010年東北大学大学院情報科学研究科博士後期課程修了．
同年より2013年まで株式会社東芝研究開発センター勤務．
2013年よりヤフー株式会社Yahoo! JAPAN研究所勤務，2017年より理化学研究所AIPセンター勤務（部分出向・客員研究員），現在に至る．
専門は自然言語処理・機械学習．博士（情報科学）．
}
\bioauthor{高村　大也}{%
1997年東京大学工学部計数工学科卒業．
2000年同大大学院工学系研究科計数工学専攻修了（1999年はオーストリアウィーン工科大学にて研究）．
2003年奈良先端科学技術大学院大学情報科学研究科博士課程修了．博士（工学）．
2003年から2010年まで東京工業大学精密工学研究所助教．
2006年にはイリノイ大学にて客員研究員．
2010年から2016年まで同准教授．
2017年より同教授および産業技術総合研究所人工知能センター知識情報研究チーム研究チーム長．
計算言語学，自然言語処理を専門とし，特に機械学習の応用に興味を持つ．
}
\bioauthor{奥村　　学}{%
1962年生．
1984年東京工業大学工学部情報工学科卒業．
1989年同大学院博士課程修了．
同年，東京工業大学工学部情報工学科助手．
1992年北陸先端科学技術大学院大学情報科学研究科助教授，
2000年東京工業大学精密工学研究所助教授，
2009年同教授，現在は，科学技術創成研究院教授．
工学博士．
自然言語処理，知的情報提示技術，語学学習支援，テキスト評価分析，テキストマイニングに関する研究に従事．
情報処理学会，電子情報通信学会，人工知能学会，AAAI，ACL，認知科学会，計量国語学会各会員．
}
\end{biography}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\biodate





\clearpage









\clearpage













\end{document}

