    \documentclass[japanese]{jnlp_2.1}
\usepackage{jnlpbbl_1.3}
\usepackage[dvipdfm]{graphicx}
\usepackage{amsmath}
\usepackage{hangcaption_jnlp}

\usepackage{bm}

\Volume{26}
\Number{1}
\Month{March}
\Year{2019}

\received{2018}{8}{1}
\revised{2018}{11}{1}
\accepted{2018}{12}{7}

\setcounter{page}{37}

\jsubject{論文}
\jtitle{複数文質問を対象とした抽出型および生成型要約}
\jauthor{石垣　達也\affiref{titech} \and 高村　大也\affiref{aist}\affiref{mirai} \and 奥村　　学\affiref{mirai}}
\jabstract{
インターネット上のコミュニティQAサイトや学会での質疑応答の場面などにおいて，人々は多くの質問を投げかける．このような場面で用いられる質問には，核となる質問に加え補足的な情報をも付与され，要旨の把握が難しくなることもある．補足的な情報は正確な回答を得るには必要であるが，質問の要旨を素早く把握したいといった状況においては必ずしも必要でない．そこで本稿では，新たなテキスト要約課題として，複数文から構成される質問{テキスト}を単一質問文に要約する“質問要約”を提案する．本研究ではまず，コミュニティ質問応答サイトに投稿される質問から{質問テキスト}−要約対を獲得し，必要な要約手法について抽出型および生成型の観点から分析を行う．また，獲得した{質問テキスト}−要約対を学習データとして抽出型および生成型の要約モデルを構築し，性能を比較する．分析より，抽出型要約手法では要約できない{質問テキスト}の存在を確認した．また要約モデルの比較実験から，従来の要約課題で強いベースライン手法として知られるリード文よりも，先頭の{疑問文を規則を用いて同定し抽出するリード疑問文ベースライン}がより良い性能を示すこと，生成型手法であるエンコーダ・デコーダモデルに基づく要約手法が，ROUGEによる自動評価，人間による評価において良い性能を示すことなどの知見を得た．また，入力中の出現単語を出力に含めるコピー機構を持つエンコーダ・デコーダモデルは，さらに良い性能を示した．
}
\jkeywords{文書要約，抽出型要約，生成型要約，ニューラルネットワーク}

\etitle{Extractive and Abstractive Summarization for Multiple-sentence Questions}
\eauthor{Tatsuya ISHIGAKI\affiref{titech} \and Hiroya TAKAMURA\affiref{aist}\affiref{mirai} \and Manabu OKUMURA\affiref{mirai}} 
\eabstract{
Questions are asked in many situations such as sessions at conferences and inquiries through emails. In such situations, questions can be often lengthy and hard to understand, because they often contain peripheral information in addition to the main focus of the question. Thus, we propose the task of question summarization. In this research, we firstly analyzed question-summary pairs extracted from a Community Question Answering (CQA) site, and found that there exists the questions that cannot be summarized by extractive approaches, but abstractive approaches are required. We created a dataset by regarding the question-title pairs posted on a CQA site as question-summary pairs. By using the data, we trained extractive and abstractive summarization models, and compared them based on the ROUGE score and manual evaluation.  Our experimental results show an abstractive method, the encoder-decoder with the copying mechanism, achieves better scores both on ROUGE-2 F-measure and the evaluation by human judges.
}
\ekeywords{Summarization, Extractive Summarization, Abstractive Summarization, \linebreak Neural Networks}

\headauthor{石垣，高村，奥村}
\headtitle{複数文質問を対象とした抽出型および生成型要約}

\affilabel{titech}{東京工業大学大学院総合理工学研究科知能システム科学専攻}{Department of Computational Intelligence and System Science, Interdisciplinary Graduate School of Science and Engineering, Tokyo Institute of Technology}
\affilabel{aist}{産業技術総合研究所人工知能研究センター}{Artificial Intelligence Research Center (AIRC), National Institute of Advanced Industrial Science and Technology (AIST)}
\affilabel{mirai}{東京工業大学科学技術創成研究院未来産業技術研究所}{Laboratory for Future Interdisciplinary Research of Science and Technology (FIRST), Institute of Innovative Research (IIR), Tokyo Institute of Technology}



\begin{document}
\maketitle


\section{はじめに}

学会での質疑応答や電子メールによる問い合わせなどの場面において，質問は広く用いられている．
このような質問には，核となる質問文以外にも補足的な情報も含まれる．
補足的な情報は質問の詳細な理解を助けるためには有益であるが，
要旨を素早く把握したい状況においては必ずしも必要でない．
そこで，本研究では要旨の把握が難しい複数文質問を入力とし，その内容を端的に表現する単一質問文を出力する“質問要約”課題を新たに提案する．

コミュニティ質問応答サイトであるYahoo! Answers\footnote{https://answers.yahoo.com/}から抜粋した質問の例を表\ref{example_long_question}に示す．
{この質問のフォーカスは}“頭髪の染料は塩素によって落ちるか否か”である．
しかし，質問者が水泳をする頻度や現在の頭髪の色などが補足的な情報として付与される．
このような補足的な情報は正確な回答を得るためには必要であるが，
質問内容をおおまかに素早く把握したいといった状況においては，必ずしも必要でない．
{
このような質問を表\ref{example_long_question}に例示するような単一質問文に要約することにより，質問の受け手の理解を助けることが出来る．
本研究では，質問要約課題の一事例としてコミュニティQAサイトに投稿される質問を対象テキストとし，質問への回答候補者を要約の対象読者と想定する．
}

\begin{table}[b] 
\caption{複数文質問とその要約}
\label{example_long_question}
\input{02table01.tex}
\end{table}

テキスト要約課題自体は自然言語処理分野で長く研究されている課題の一つである．
既存研究は要約手法の観点からは，大きく抽出型手法と生成型手法に分けることができる．
抽出型手法は入力文書に含まれる文や単語のうち，要約に含める部分を同定することで要約を出力する．
生成型手法は入力文書には含まれない表現も用いて要約を生成する．
一方で，要約対象とするテキストも多様化している．
既存研究の対象とするテキストは，従来の新聞記事や科学論文から，最近では電子メールスレッドや会話ログなどに広がり，それらの特徴を考慮した要約モデルが提案されている．\cite{pablo2012inlg,oya2014sigdial,oya2014inlg}

質問を対象とする要約研究としては \citeA{tamura2005}の質問応答システムの性能向上を指向した研究が存在する．
この研究では質問応答システムの構成要素である質問タイプ同定器へ入力する質問文を入力文書から抽出する．
本研究では，彼らの研究とは異なり，ユーザに直接提示するために必要な情報を含んだ要約の出力を目指す．
ユーザに直接提示するための質問要約課題については，既存研究では取り組まれておらず，既存要約モデルを質問{テキスト}に適用した場合の性能や，質問が抽出型手法で要約可能であるか，生成型の手法が必要であるか明らかでない．
そこで，本研究ではコミュニティ質問応答サイトに投稿される質問{テキスト}とそのタイトルの対（以後，質問{テキスト}−タイトル対と呼ぶ）を，規則を用いてフィルタリングし，質問{テキスト}とその要約の対（以後，質問{テキスト}−要約対と呼ぶ）を獲得する．
獲得した質問{テキスト}−要約対を分析し，抽出型および生成型の観点から質問がどのような手法を用いて要約可能であるか明らかにする．
また，質問要約課題のために，ルールに基づく手法，抽出型要約手法，生成型要約手法をいくつか構築し性能を比較する．
ROUGE~\cite{rouge2004aclworkshop}を用いた自動評価実験および人手評価において，生成型手法であるコピー機構付きエンコーダ・デコーダモデルがより良い性能を示した．


\section{{質問要約課題}}

{本稿で提案する``質問要約''についてその特徴や既存要約課題との相違について議論する．}
{
本研究で扱う質問要約はテキスト要約課題の一つである．
既存のテキスト要約研究では，Document Understanding Conference (DUC)\footnote{https://duc.nist.gov}などの新聞記事や科学論文をもとにした共通のデータセットがしばしば性能評価実験に用られてきた．
本研究で扱う質問要約は質問テキストを要約対象とし，出力を単一質問文に限定する．
}

{
はじめに入力の質問テキストの特徴について述べる．
質問要約は従来の新聞記事や科学論文を基に作られたテキストを想定する要約課題とは以下の点において異なる特徴を持つ．
\begin{enumerate}
\item 質問文と叙述文が混在する（\textbf{個別の文の性質の違い}）
\item 質問文を叙述文が補足する文間関係を持つ（\textbf{談話構造の違い}）
\end{enumerate}
前者については，新聞記事や科学論文には質問文がほとんど含まれないのに対し，質問テキストでは多くの場合1文以上の質問文を含む．
そのため，文書中に含まれる文そのものの性質が従来の要約対象とは性質を持つ．
後者は文間の関係に着目した相違点である．
新聞記事ではリード文を他の文から補足する談話構造がしばしばみられるのに対し，質問テキストでは核となる質問文が存在し，質問文以外の文が核となる質問文を補足する．
よって，文そのものの性質の違いに加え，質問テキストは文間の意味的な関係（談話構造）も異なる．
このように，個別の文の性質や談話構造に関し従来の要約課題とは異なる特徴を持つことから，例えば従来の要約課題において強いベースライン手法として知られるリード法やその他の既存手法が，質問テキストに対しどの程度の性能を示すかはそもそも明らかではない．
}

{
次に出力の単一質問文が満たすべき性質について議論する．
本研究では質問テキストの一事例としてインターネット上でのコミュニティ質問応答サイトに投稿される複数文質問の要約を想定する．
生成した要約を回答者候補に提示することで，回答者候補は質問内容が回答可能であるか素早く判断できるようになる．
このような目的を鑑み，本研究では入力として複数文質問，出力は質問内容を端的に表現した単一質問文を考える．
例えば，表\ref{example_long_question}に示す複数文質問に対する正解要約としては，``Will the chlorine stripe my hair? （塩素によって髪の染料が落ちますか？）''といった疑問文だけでなく，``Affect of the chlorine on my hair dyeing. （プール中の塩素の染髪への影響）''といった表現も正しい要約と考える．
前者は「末尾が?であるか」「先頭の語が助動詞であるか」などの単純な規則を用いて同定できる．
後者は質問内容を推測できるが，パターンが無数にあり単純な規則ではこれらを同定できない．
本研究ではどちらの表現も要約とみなす．
後者まで含んだ広い表現を質問文と呼び，単純な規則で同定可能な前者を疑問文と呼び区別する．
}


\section{関連研究}

テキスト要約の既存研究は多く存在する．
DUCに代表される多くのタスクなど，既存研究の多くは新聞記事や科学論文を対象としている．
近年では，会話テキストや電子メールスレッドを対象とした新たな要約課題も提案されている\cite{pablo2012inlg,oya2014sigdial,oya2014inlg}．

本研究に関連する取り組みとして，質問応答システムのための質問要約研究が存在する．
\citeA{tamura2005}は，複数文で構成される質問を入力として受け付ける，質問応答システムの構築を目指した．
この研究では，複数文質問からもっとも核となる1文を抽出する要約器を質問応答システムの前処理として組み込むことで，複数文質問を受け付けるシステムを実現している．
彼らは複数文質問を単一質問文に要約することで，質問応答システムの質問タイプ同定器の性能が向上することを報告している．
一方，抽出した核となる質問文は常にユーザの理解できる情報を含むとは限らない．
例えば，表\ref{example_long_question}における核文は``Will it or will it not?'' であるが，この文にはchrolineやhairなどといった質問内容を把握するために必要となる単語が含まれず，要約として提示するには情報が不足する．
本研究は，ユーザに提示するための要約を出力を指向するため目的が異なる．

抽出型要約モデルの既存研究としては，単語出現頻度を用いて文にスコアを与える手法\cite{luhn1958ibm}や，文同士の類似度を用いて重要文を同定するヒューリスティックを用いる手法\cite{rada2004emnlp} などが提案されている．
さらに，文に対し抽出した場合のROUGE値を回帰モデルを用いて予測するモデル\cite{peyrard2016acl,li2013acl}や，要約に含めるべき文を二値分類する分類問題として定式化する教師あり学習を用いる手法\cite{hirao2002coling,shen2007ijcai} も存在する．

生成型要約としては，入力の談話構造木を枝刈りする手法\cite{dorr2003naacl,zajic2004naacl}や，機械翻訳モデルを用いる手法\cite{banko2000acl,wubben2012acl,cohn2013acm}，テンプレートを用いる手法\cite{oya2014inlg}などが存在する．
近年では，機械翻訳課題向けに提案されたエンコーダ・デコーダモデル\cite{luong2015emnlp,bahdanau2015iclr}を要約課題に適用する手法\cite{rush2015acl,kikuchi2016emnlp,gu2016acl}が積極的に研究されている．


\section{質問応答サイトからの質問{テキスト}−要約対獲得と分析}

本研究ではまず，Yahoo! Answers Comprehensive Question and Answers version 1.0\footnote{https://webscope.sandbox.yahoo.com/}を対象に事例分析を行う．
Yahoo! Answersにおいて，ユーザは自由に質問テキストとそのタイトルを記述し投稿する．
このデータセットには4,484,032の{質問投稿}が含まれる．
質問投稿の中には質問テキスト−タイトル対を質問{テキスト}−要約対とみなせる事例もあれば，みなせない事例も存在する．
そのため，データセット内の質問{テキスト}−タイトル対を，規則を用いてフィルタリングし，質問{テキスト}−要約対を獲得する必要がある．
その上で，獲得した質問{テキスト}−要約対を必要な要約手法の検討のための分析および要約モデルの比較実験における学習データに用いる．
よって，本研究では以下の二段階でデータセットの分析を行う．

\begin{enumerate} 
\item 質問{テキスト}−要約対とみなすことのできる質問{テキスト}−タイトル対の特徴はなにかを明らかにし，質問{テキスト}−要約対を獲得する．
\item 質問{テキスト}−要約対を分析し，抽出型の手法で要約可能か，生成型の手法が必要であるか明らかにする．
\end{enumerate}


\subsection{分析1: 質問の長さ}

質問{テキスト}−要約対とみなすことのできない事例をフィルタリングする規則を設計するために，まず質問に含まれる文数に着目した分析を行った．
質問{テキスト}が1文から5文で構成される事例をデータセットからランダムに20事例ずつ抽出し，
それらの質問{テキスト}−タイトル対を質問{テキスト}−要約対とみなすことができるか否かを人手で判定した．
表\ref{n_body}に結果を示す．

\begin{table}[b]
\caption{質問{テキスト}中の文数と質問{テキスト}−要約対とみなせる事例の割合}
\label{n_body}
\input{02table02.tex}
\end{table}

質問{テキスト}の長さが{1文もしくは2文}の場合には，質問{テキスト}−要約対とみなすことのできない事例が増える．
このような事例においては，タイトルに核となる質問文が記述され，質問{テキスト}中では補足的な内容だけが記述され，質問文を含まない例が見られる．
質問{テキスト}では質問文が記述されないため，質問{テキスト}−タイトル対を質問{テキスト}−要約対とみなすことができない．
一方，3文以上から構成される質問{テキスト}においては質問{テキスト}−要約対とみなすことのできる事例が一定になる．


\subsection{分析2: 質問{テキスト}とタイトルでの名詞の重複}

次に質問{テキスト}とタイトルでの名詞の重複に着目した分析を行った．
以下に質問{テキスト}−要約対とはみなすことのできない事例を示す．

\begin{quote}
\underline{タイトル：}

Why is there often a mirror in an elevator?

\underline{{質問テキスト}：}

I just realized this when I was in an elevator.
Does anybody know the reason?
What is the history behind it?

\end{quote}

この事例では，質問{テキスト}中の``it'' は``エレベータ内に鏡が存在する''という事実を指し示す．
``it'' が何を指し示すかを理解するには``elevator''や``mirror''といった重要な単語が{質問テキスト}中に含まれている必要がある．
しかし，``mirror''という単語はタイトルには出現するが質問{テキスト}には出現しない．
そのため，質問{テキスト}を要約器の入力として，タイトルの``Why is there often a mirror...'' という要約を生成することはできない．
データセット中では，この例のように質問{テキスト}からタイトル中の単語を照応したり，タイトル中の単語が質問{テキスト}を理解するために不可欠である事例を多く観測した．
このような事例をフィルタリングするために，我々はタイトルと{質問テキスト}での単語の重複がフィルタリングのための重要な手がかりとなると考えた．


\subsection{分析3: 抽出型 vs. 生成型}

次に必要な要約手法に着目した分析を行った．
具体的には質問{テキスト}−要約対とみなすことのできる事例について，抽出型手法を用いて要約可能であるか，生成型手法が必要であるか人手で分類した．
質問{テキスト}の文数が3--5文である20事例を無作為に抽出し，質問{テキスト}−要約対とみなせるか否かについて分析を行った．

\begin{table}[b]
\caption{手法検討のための事例分析}
\label{extractive_abstractive}
\input{02table03.tex}
\end{table}

分析の結果を表\ref{extractive_abstractive}に示す．
また，代表的な質問{テキスト}−タイトル対の例を表\ref{abstractive_examples}に示す．
20事例中5事例は質問{テキスト}−要約対とはみなせない事例であった．
20事例中8事例は抽出型手法でタイトルと同等の要約を生成できることがわかった．
表\ref{abstractive_examples}の{例2-1および例2-2}に抽出型手法により要約可能な事例を例示する．
{例2-1}において，2文目の疑問文を抽出することでタイトルと同等の要約を出力できる．
{例2-2は先頭文を抽出することでタイトルと同等の要約を生成できる．
しかし，実際のタイトルでは``Can someone tell me''といった表現が除去されたり，本文中での``cellular phone promotion''という具体的な表現が``cellular phone plan''というより抽象的な表現に言い換えられている．}
このように，抽出型手法が適用できる{質問テキスト}であっても実際のタイトルは生成的に作られている場合がある．

\begin{table}[t]
\hangcaption{Yahoo! Answers Comprehensive Question and Answers version 1.0に含まれる代表的な質問{テキスト}−タイトル対}
\label{abstractive_examples}
\input{02table04.tex}
\end{table}

残りの7事例については，抽出型手法では適切な要約を出力できず，生成型手法を必要とする．
生成型手法が必要な理由としては，例3のように照応解析が必要であったり，例4のように
複数文にまたがる情報を適切に埋め込む必要のある事例が存在する．
このような事例に対しては，抽出的な手法をただ適用するだけでは，要旨の把握に必要な情報を適切に要約に含めることが出来ない．


\section{データと比較手法}

本節では以上の分析をもとに，データセットに含まれる質問{テキスト}−タイトル対をフィルタリングし，抽出型および生成型の要約モデルを実際に構築し質問要約課題に適用した場合の性能を比較する．


\subsection{データセット}

\subsubsection{規則によるフィルタリング}

分析に基づき設計した以下の条件を満たす事例をフィルタリングし，質問{テキスト}−要約対とみなすことのできない事例を除外する．
表\ref{n_sent_in_question}に示すように，Yahoo! Answersデータセットにはタイトルのみが記述され質問{テキスト}が記述されない事例が多く存在する．
データセット全体の4,483,031投稿のうち，質問{テキスト}およびタイトルの双方が記述された2,191,477投稿について以下の規則を逐次適用し，フィルタリングを行い，質問{テキスト}−要約対を獲得する．

\begin{description}
\item[タイトルが複数文で構成される] タイトルが2文以上で構成される事例 
\item[短い質問テキスト] 質問が2文以下である事例 
\item[単語の重複] タイトル中の名詞が本文中に出現しない事例 
\item[短いタイトル，長いタイトル] タイトルが3単語以下，16単語以上の事例
\end{description}

\begin{table}[t]
\caption{Yahoo! Answers dataset全体に含まれる質問テキストの長さ}
\label{n_sent_in_question}
\input{02table05.tex}
\par\vspace{4pt}\small
0文はタイトルのみが記述され，質問テキストが存在しない投稿を示す．
\end{table}

{
これらの規則を設定した根拠について補足する．
複数文から構成されるタイトルを含む投稿をフィルタリングするのは，本課題が単一質問文への要約課題であることがその理由である．
短い質問{テキスト}によるフィルタリングは，質問テキスト−要約対となりやすいのは3文以上の質問テキストであることであるという4節での分析に基づく．
単語の重複についてのフィルタリングも同様に，4節での分析に基づいている．
これらの分析に基づくフィルタリングに加え，「短いタイトル」および「長いタイトル」によるフィルタリングも用いる．
もっとも単純な疑問文の構文である``What is xx ?''や``Is this xx ?''は最低でも4単語必要とする．
そのため，3単語以下のタイトルには必要な情報が含まれていないと考えた．
タイトルが3語以下で構成される質問テキスト−タイトル対をランダムに20事例抽出し調査すると，抽出したすべてのタイトルで``difficult question?''，``Question on Pokemon''といったように，回答者が回答可能であるか判断するための情報が欠如していた．
よって，短いタイトルを含む事例はフィルタリングすることにした．
Yahoo! Answersにおいて記述される15単語以下で記述されるタイトルは全体の81\%を占める．
残りの19\%の部分に関してはタイトルが長く圧縮率が低いと考えフィルタリングすることにした．
}

{
なお，タイトルが疑問文であるかといった手がかり語などの規則を用いたフィルタリングは行わない．
タイトルの表現には``How the Bordaux Classification was born ?''などのように疑問詞や末尾の?などで容易に疑問文であると同定できる事例もあれば，``The best way to kill ants.''や``Hotel Recommendations in San Diego''のように？や疑問詞を含まないものが存在し，本研究ではこのような事例も要約とみなす．
このような表現には多くのパターンが存在するため，質問文であるか否か判定する網羅的な規則を記述するのが難しい．
そこで，本研究では質問文を同定する網羅的な規則を設計するのではなく，タイトルの長さや質問テキストとタイトルの重複などの手がかりを用いてフィルタリングを行う方針を採用した．
}

すべての規則を適用後，251,420対を獲得した．
{
タイトルを要約とみなした場合の圧縮率は0.18である．
}
これらの事例を抽出型および生成型手法の学習および評価に用いる．


\subsubsection{{データセットの妥当性検証}}

{
フィルタリング後のデータセットを先頭から50事例抽出し，分析すると50事例中41事例(88\%)が本研究で想定する質問テキスト−要約対とみなせる事例であった．
質問テキスト−要約対とみなすことのできない12\%程度（9事例）は以下に示す要因によりノイズとしてデータセットに含まれている．
\begin{itemize}
\item 質問タイトルから本文の語を照応する，またはその逆である（3事例）
\item タイトルもしくは本文のいずれかが質問ではない（3事例）
\item その他（3事例）
\end{itemize}

その他の要因には，タイトルと本文がフォーカスの異なる質問（2事例），抽象的で質問内容が類推できないタイトル（1事例）が存在する．
}

{
次に，人間が質問{テキスト}を提示され作成する要約と，本研究で要約とみなすコミュニティQAサイトに付与されたタイトルがどの程度近いものになっているか分析を行う．
フィルタリング後のデータから10事例を抽出し，質問テキストを10人の作業者に提示し要約作成を依頼した．
具体的には，クラウドソーシングサービスであるAmazon Mechanical Turk\footnote{https://www.mturk.com/}で，米国の高校および大学を卒業した作業者に依頼した．
なお，作業者には要約とみなすタイトルの例をいくつか提示した上で，15単語以内で要約を記述するよう指示した．
}

{
表\ref{crowd_source}にクラウドソーシングによって作成した要約の実例と，本研究で要約とみなすタイトルを示す．
例1は抽出型手法により要約可能な事例，例2は生成型手法が必要な事例である．
例1，例2ともにタイトルと作業者によって記述された要約のフォーカスは同等である．
具体的には例1では，``薬物を用いずにアリを退治する方法''，例2では``中国で体調不良を避けるアドバイス''であるが，タイトルおよび人間による要約は同等のフォーカスを持つ質問文である．
例1は1文目を抽出することで16単語以内の要約が作成可能な事例であるが，すべての作業者が言い換えを用いてより短い要約を作成した．
正解タイトルも作業者の要約と同様に，質問テキスト中の``What are some good ways''を``Good ways''と単語除去により短い記述になっている．
例2は体調不良の原因を食べ物だけにフォーカスする（質問テキストの前半部分の食べ物に関する記述を重視）か，旅行中を通して体調不良を起こさない方法にフォーカスする（後半の疑問文が食べ物以外の体調不良の要因も考慮すると考える）かによって，作成される要約が異なる．
作業者1，作業者3，作業者5による要約およびタイトルはフォーカスを食べ物には限定しない要約となっている．
}

{
これらの例のように，人間が質問テキストから作成する要約およびタイトルはどちらも本文中の表現を言い換えることが多い．
そのため，作業者間および作業者とタイトルを比較すると，完全に要約が一致するわけではない．
しかし，そのような場合であっても多くの場合要約の質問文のフォーカスは同等となっている．
}

\begin{table}[t]
\caption{クラウドソーシングにより作成した人間による要約とタイトルの比較}
\label{crowd_source}
\input{02table06.tex}
\end{table}


\subsection{抽出型手法}

抽出的な手法として，規則に基づく手法，機械学習に基づく手法を比較する．


\subsubsection{規則に基づく手法}

規則に基づく手法として，“リード文”，“リード{疑問文}”，“{末尾疑問文}”の3手法を比較する．
リード文を抽出する手法は従来の抽出型要約研究においては強いベースラインとして知られている．
{
リード文を抽出する手法は表\ref{abstractive_examples}の例4において，``I want my chocolote...''から始まる文を抽出する．
質問要約課題においては出力も質問文になると考えられるため，規則を用いて同定した疑問文のうちもっとも先頭を抽出するリード疑問文，もっとも末尾に出現する疑問文を抽出する末尾疑問文とも比較を行う．
リード疑問文は表\ref{abstractive_examples}の例4において，``Why?''，末尾疑問文は``What am I dong wrong?''となる．
なお，疑問文の判定には以下の規則を用いる．}
\begin{itemize}
\item {末尾の連続する記号に?を含む．}
\item {先頭単語が疑問詞，be動詞，助動詞のいずれかである．}
\end{itemize}
{なお，規則を用いる手法であるリード疑問文，末尾疑問文は疑問文が入力中に出現しない場合，先頭文を出力する．
フィルタリング後のデータセットにおいて，疑問文が存在しない文書の割合は37\%であり，これらについてはすべての規則に基づく手法が先頭文を出力する．
また，疑問文が1文以下である文書の割合は63\%であり，このような場合にはリード疑問文と末尾疑問文の出力が等しくなる．
}


\subsubsection{機械学習に基づく手法}

機械学習に基づく手法としては，分類モデルに基づく手法，回帰モデルに基づく手法の2つを比較する．
{機械学習に基づく手法についても，質問文を優先的に出力するように設計する．}

回帰モデルに基づく手法では，まず入力の各文に対しROUGE-2 F値の予測値を出力するSupport Vector Regression (SVR) \cite{basak2007support}を学習する．
学習済みの回帰モデルを用いて，入力の各文に対しROUGE-2 F値を予測し，予測値のもっとも高い質問文を出力する．

分類に基づくモデルは，まず抽出した場合にROUGE-2 F値が最大になる{疑問文}を正例（要約に含めるべき文），それ以外の文を負例（要約に含めるべきではない文）としてSupport Vector Machine (SVM) \cite{suykens1999least}を学習する．
学習したSVMを用い，入力の各文を分類し正例と判定された文のうち先頭を出力する．
{SVMの出力は二値のラベルであり，回帰モデルのようにスコア最大となる疑問文に限定する後処理と組み合わせることができない．
そこで，本研究では正例を疑問文に限定し，質問文を優先的に出力するような分類器が学習されるよう工夫する．
}
なお，分類モデルはすべての文が負例と判定された場合には，先頭文を出力する．

SVR，SVMの学習には以下の素性を用いた．

\begin{itemize}
\item 単語uni-gram
\item 文長
\item 分類対象文が1文目であるか
\item 分類対象文が先頭の疑問文であるか
\item 分類対象文の他に疑問文が存在するか
\end{itemize}

すべての素性は二値素性として表現した．
また，単語uni-gram素性については訓練データ中に5回以上出現する単語を用いた．
文長素性については，文長が2単語以下，5単語以下，11単語以上，15単語以上の4つの素性に分けて二値で表現した．


\subsection{生成型手法}

本研究では生成的な手法としてエンコーダ・デコーダモデル，注意機構付きエンコーダ・デコーダモデル，コピー機構付きエンコーダ・デコーダを学習し，比較を行う．

入力質問{テキスト}は機械翻訳などの問題設定に比べ入力系列が長い．
そのため，エンコーダ・デコーダモデルに加え，注意機構付きエンコーダ・デコーダモデルを用い，入力系列のうちデコード時に手がかりになる箇所に重みを付けながら要約を生成する．
エンコーダ・デコーダモデルの学習においては低頻度語をUNKという特別なトークンに置き換え，効率的に学習を行うという工夫がよく用いられる．
そのため，出力にUNKというトークンが含まれる状況がしばしば発生し，このような系列は要約としてそのまま提示することができない．
質問要約においては，入力質問{テキスト}に出現する単語が出力にも含まれることが多い．
そこで，出力に入力質問{テキスト}の単語を用いるコピー機構付きエンコーダ・デコーダモデルとの比較も行う．

エンコーダ・デコーダおよび注意機構付きエンコーダ・デコーダモデルには，\citeA{luong2015emnlp}の手法を用いる．
コピー機構付きエンコーダ・デコーダには \citeA{gu2016acl}の手法を用いる．
以下にこれらのモデルを簡単に説明する．


\subsubsection*{エンコーダ・デコーダモデル}

エンコーダ・デコーダモデルは，エンコーダおよびデコーダという2つの要素から構成される．
エンコーダは，入力質問{テキスト}$\bm{x} = (x_1,\ldots , x_n)$から1単語ずつ受け取り，連続値ベクトルによる内部状態$\bm{h}_{\tau}$に，Recurrent Neural Network (RNN)を用いて逐次変換する：
\begin{equation}
\bm{h}_\tau = f(x_{\tau}, \bm{h}_{\tau-1}).
\end{equation}
$f$にはLong Short-Term Memory (LSTM) \cite{lstm}やGated Recurrent Unit (GRU) \cite{gru}などの関数を用いることができる．
本研究では，元論文の設定に従い，エンコーダ・デコーダモデルおよび注意機構付きエンコーダ・デコーダモデルではLSTMを用い，コピー機構付きエンコーダ・デコーダモデルではGRUを用いる．

デコーダは1つ前のタイムステップで生成された単語および内部状態を受け取り，現在のタイムステップでの内部状態$\bm{s}_{t}$を計算する．
計算した内部状態を用いてsoftmax関数により単語$y_{t}$の生起確率を計算できる．
なお，デコーダの初期状態には入力質問{テキスト}中の単語をすべてエンコードし終えたときの最終状態$\bm{h}_n$を用いることにする：
\pagebreak
\begin{gather}
\bm{s}_t = f(y_{t-1}, s_{t-1}), \\
p(y_{t}|y_{<t}, \bm{x}) = softmax(g(\bm{s}_t)).
\end{gather}
$\bm{x}$が与えられた上での，出力要約$\bm{y}$が生起する条件付き確率は，以下のように出力単語の生起確率の積に分解される：
\begin{equation}
p(\bm{y}|\bm{x}) = \prod_{t=1}^{m} {p(y_{t}|y_{<t}, \bm{x})}.
\end{equation}
ただし，この確率の最大値を求めることは困難であるので，貪欲法により前から確率最大の単語を出力することで，要約を生成する．

学習時には訓練データにおける対数尤度を最大化するよう重みを更新する：
\begin{equation}
\log p(\bm{y}|\bm{x}) = \sum_{t=1}^{m} { \log p(y_{t}|y_{<t}, \bm{x})}.
\end{equation}


\subsubsection*{注意機構付きエンコーダ・デコーダ}

エンコーダ・デコーダでは，入力の文書を逐次エンコードし，最終状態$\bm{h}_{n}$を文脈ベクトル$\bm{c}$としてデコーダに渡す．
そこで，注意機構付きエンコーダ・デコーダモデルでは，デコード時にエンコーダ側のどの単語に注意するかを考慮した重み付き文脈ベクトル$\bm{c_{t}}$を考える：
\begin{equation}
\bm{c_t} = \sum_{\tau=1}^{n}{\alpha_{t\tau} \bm{h}_\tau}.
\end{equation}
$\alpha_{t\tau}$は入力質問{テキスト}の$t$番目の単語に与えられる重みで，以下のようにsoftmax関数を用いて計算される：
\begin{equation}
\alpha_{t\tau} = \frac{exp(\bm{s}_t \cdot \bm{h}_\tau)}{\sum_{h^{'}}{exp(\bm{s_t} \cdot \bm{h^{'}}})}.
\end{equation}
入力側の重み付き文脈ベクトル$\bm{c_t}$と$\bm{h}_{t}$を用いて，入力単語への注意を考慮した内部状態$\bm{\tilde{h}}$を以下のように計算し，softmax関数で確率値を出力する：
\begin{gather}
\bm{\tilde{h}} = tanh(\bm{W_{c}[c_{t};h_{t}]}), \\
p(y_{t}|y_{<t}, \bm{x}) = softmax(\bm{W_{s}\tilde{h}_{t}}).
\end{gather}


\subsubsection*{コピー機構付きエンコーダ・デコーダ}

要約課題においては，入力に含まれる単語が出力にも出現することが多い．
そこで，入力中の単語を出力により含めやすくするコピー機構を備えたデコーダを用い要約生成を試みる．
Guら\citeyear{gu2016acl}の提案したコピー機構付きのデコーダでは，単語$y_{t}$の生起確率を以下のように$score_{gen}$と$score_{copy}$の和として計算する：
\begin{eqnarray}
p(y_{t}|y_{<t}, \bm{x}) = score_{gen}(y_{t}|\bm{s}_{t}, y_{t-1}, \bm{c}_{t}, \bm{x}) + score_{copy}(y_{t}|\bm{s}_{t}, y_{t-1}, \bm{c}_{t}, \bm{x}).
\end{eqnarray}
$score_{copy}$は入力中の単語を出力に``コピー''するか否かをスコアリングする．
具体的には，$y_{t}$が入力文書中に含まれる$(y_{t} \in \bm{x})$ならば，$score_{copy}$は単語$y_{t}$を要約に含める確信度をスコアリング関数$\phi_{c}$を用いて出力し，それ以外$(y_{t} \not\in \bm{x})$の場合には0を出力する：
\begin{equation}
score_{copy}(y_{t}|.) = \begin{cases}
\frac{1}{Z} \sum_{j:x_{j}=y_{t}} \exp(\phi_c(x_j)) & (y_{t} \in \bm{x}) \\
0  & (y_{t} \not\in \bm{x}).
\end{cases}
\end{equation}
$score_{gen}$は単語$y_{t}$が語彙$V$に含まれる場合に，その単語を要約に含めるか否かの確信度をスコアアリング関数$\phi_{g}$を用いて出力する．
単語$y_{t}$が語彙$V$に含まれない場合には，特別なトークンUNKを出力する確信度を出力する．
ただし，単語$y_{t}$が入力文書$\bm{x}$に含まれる場合には0を出力する：
\begin{equation}
score_{gen}(y_{t}|.) = \begin{cases}
\frac{1}{Z} \exp(\phi_g(y_t)) & (y_{t} \in \bm{V}) \\
\frac{1}{Z} \exp(\phi_g(UNK))  & (y_{t} \not\in \bm{x}\quad \land \quad y_{t} \not\in \bm{V}) \\
0  & (y_{t} \in \bm{x}\quad \land\quad y_{t} \not\in \bm{V}).
\end{cases}
\end{equation}
$score_{copy}$は$y_{t} \in \bm{x}$のときにスコアを出力し$y_{t} \not\in \bm{x}$のときに0になる．
この機構により，入力文書中に含まれる単語により高いスコアを付与し，要約に含めやすくするようモデル化している．
コピー機構付きのエンコーダ・デコーダでは$score_{gen}$と$score_{copy}$の和は$Z=\sum_{v \in V \cup \{UNK\}}
\linebreak
\exp(\phi_{g}(v)) + \sum_{x \in \bm{x}} \exp(\phi_{c}(x))$により総和が1になるように正規化されるため，確率として扱うことができる．
スコアリング関数$\phi_{c}$および$\phi_{g}$の構築についての詳細は元論文\cite{gu2016acl}を参照されたい．


\section{実験}

ROUGE-2 \cite{rouge2004aclworkshop}を用いた自動評価に加え，人間の評価者による5段階評価を用いて，各システムの性能を評価する．


\subsection{実験設定} 

Yahoo! Answers Comprehensive Question and Answers version 1.0をフィルタリングし獲得した251,420対を評価実験にも用いる．
このデータのうち90\%を訓練データ，残りの5\%ずつをパラメータ調整用の開発データ，評価データにそれぞれ分割した．

分類モデルおよび回帰モデルで用いるSVM，SVRの実装にはLiblinear \cite{liblinear}を用いた．
カーネルには線形カーネルを用い，モデルパラメータ$C$は開発データでの
ROUGE-2 F値が最大となる値に設定した．
{なお，分類モデルの訓練データについては，訓練データ全体を使うと正例および負例の割合が不均衡になり学習が難しい．そこで，訓練データ全体から正例および負例をランダムに10,000事例ずつサンプリングし正例，負例の割合が1:1になるよう調整し分類器を学習した．}

エンコーダ・デコーダの学習においては，単語埋め込みベクトルおよび隠れ層の次元を256，
バッチサイズは64に設定した．
単語埋め込みベクトルは事前学習せず，他のモデルパラメータと同様に学習した．
学習データに1回しか出現しない単語はUNKという特別なトークンで置換し，
モデルパラメータ数を削減した．
また，文末はEOSという特別なトークンで表現している．
テスト時には開発データでの損失関数の値が最小となるモデルを用い，評価データでの性能評価を行った．
エンコーダ・デコーダが20単語以内にEOSトークンを出力しない場合はデコードを中止し入力中の先頭の{疑問文}を出力する．
入力中に{疑問文}が存在しない場合は，先頭文を出力する．
{EOSトークンが20語以内に出力されない現象はコピー機構付きエンコーダデコーダにおいて発生し，その割合は評価事例全体の約20\%である．}


\subsection{ROUGEによる自動評価}

本研究の課題設定においては，出力文数は1文という制約を課しているが文字数の制約はない．
しかし，より短い文に適切な情報を埋め込んだ要約はより良い要約であると考えられる．
そこで，本研究ではROUGE-2の適合率による評価に加えROUGE-2 F値による評価を行う．

表\ref{table-rouge}に各比較手法のROUGE値を示す．
具体的には規則に基づく手法として{リード文，リード疑問文，末尾疑問文}，機械学習に基づく手法として
分類モデル，回帰モデル，エンコーダ・デコーダに基づく手法として注意機構付きエンコーダ・デコーダ，コピー機構付きエンコーダ・デコーダをそれぞれ示す．
{回帰モデルについては，文集合全体からスコアが最大になる文を選ぶモデルと，疑問文集合からスコア最大になる文を選ぶモデルの性能を示す．}

\begin{table}[t]
\caption{ROUGE-2による性能評価}
\label{table-rouge}
\input{02table07.tex}
\end{table}

規則に基づく手法において，リード疑問文を抽出する手法のROUGE値の適合率は45.3であり，末尾疑問文を抽出する手法の42.6やリード文を抽出する手法の39.4よりも良い性能を示した．
F値でも同様の順で良い性能を示した．
先頭文を出力する規則は既存の要約課題においては強いベースラインとして知られる．
しかし，質問要約課題においては先頭文を選択する手法より，{リード疑問文や末尾疑問文など疑問文}を優先的に出力するモデルのほうが良い性能を示す．
また，{リード疑問文の方が末尾疑問文}よりも適合率において良い性能を示した．

分類モデルと{リード疑問文}を比較すると，ROUGE値の適合率がそれぞれ44.3と44.7であり，ほぼ同等の性能を示した．
ほとんどの入力にはたかだか1--2文の{規則で同定可能な疑問文}しか含まれず，分類器を用いても{リード疑問文}よりも大きく性能を向上させることが難しいものと考えられる．
回帰モデルおよび分類モデルの性能は，{適合率による評価においてリード疑問文}ベースラインよりもわずかに低くなった．
このことから，{リード疑問文}ベースラインは質問要約課題において強いベースラインであることが分かる．
{また，機械学習に基づく手法についても規則に基づく手法と同様に，質問文を優先的に選択するモデルが良い性能を示した．}

注意機構を持たないエンコーダ・デコーダモデルについては適合率で3.5と極端に低い性能を示した．
\citeA{luong2015emnlp}が述べるように，注意機構を持たないエンコーダ・デコーダモデルは入力系列が長くなると性能が劣化する．
本研究の入力は通常の機械翻訳の設定よりも長く，注意機構なしのエンコーダ・デコーダモデルでは正しくパラメータが学習されず，正しい要約を出力できなかった．
注意機構付きエンコーダ・デコーダでは，この問題が解決され適合率およびF値が38.5と規則に基づく手法や機械学習に基づく手法よりも良い性能を示した．
コピー機構付きエンコーダ・デコーダでは，適合率が47.4，F値が42.2とさらに性能が向上した．
抽出的な手法はエンコーダ・デコーダを用いた生成的な手法よりも長い単語列を出力する傾向にある．
そのため，適合率では良い性能を示すが，F値においては生成型よりも劣る．
コピー機構付きエンコーダ・デコーダでは適合率でもF値でも抽出型よりも良い性能を示した．


\subsection{人手評価}

本研究ではROUGEによる自動評価に加え，クラウドソーシングサービスである
\linebreak
Crowdflower\footnote{http://crowdflower.com}を用いた人手評価でも各モデルの性能を比較する．
本研究では，英語として正しく，入力の質問{テキスト}と同じ事柄について尋ねる要約がより望ましいと考える．
そのため，人手評価においては，作業者に入力質問{テキスト}と各モデルで生成した出力要約を提示し，``文法性''および``フォーカス''の 2 つの観点からより良い順に並べ替えるよう指示した．
手法間の文法性やフォーカスに差異が見られない場合には，同順としても良いこととした．
{評価者には「例えばQAコミュニティサイトでのタイトルでの利用を想定する」という応用先を伝えた．}
\mbox{``文}法性''は英語として正しい文法で記述されているか，``フォーカス''は入力質問{テキスト}と出力要約の尋ねている事柄が等しいかを表す評価基準である．
比較手法としては，自動評価で良い性能を示した4つの手法を採用した．
具体的には，人間による正解，規則を用いて抽出した{リード疑問文}，分類器が正例と判定した文のうち先頭，コピー機構付きエンコーダ・デコーダを用いた．
評価には自動評価で用いた評価データから無作為に抽出した100事例を用い，各事例に対して3人の作業者が評価した．
``文法性''，``フォーカス''の観点に基づく結果を表\ref{human-grammaticality}，\ref{human-focus}にそれぞれ示す．
この表では，行に示す各手法が列に示す手法よりもより良いと判定された回数を示している．
例えば，人間によるタイトルはフォーカスの観点において{リード疑問文}を抽出する手法よりも135回より良いと判定され，{リード疑問文}は人間によるタイトルよりも69回より良いと判定された．

\begin{table}[b]
\caption{人手評価結果—文法性—}
\label{human-grammaticality}
\input{02table08.tex}
\end{table}
\begin{table}[b]
\caption{人手評価結果—フォーカス—}
\label{human-focus}
\input{02table09.tex}
\end{table}

人手評価では文法性，フォーカスどちらの観点においても自動評価と似た傾向を示した．
具体的には，人間によるタイトル，コピー機構付きエンコーダ・デコーダモデル，{リード疑問文}および分類モデルの順でより良いと判定された．
入力質問{テキスト}に含まれる規則で同定可能な{疑問文}はたかだか1--2文であることが多く，{リード疑問文}と分類モデルはほぼ同様の出力をした．
そのため，人手評価においても差が見られなかった．

コピー機構と人間によるタイトルを比較すると，フォーカス，文法性の観点においてそれぞれ89回，69回，コピー機構が人間のタイトルよりも良いと判定されている．
このような事例の出力を分析すると，人間の付与するタイトルには重要な単語まで除去しているものや，完全な文ではない事例が含まれることがわかった．
例えば，コピー機構が“How do you stop the itching after shaving?'' と出力する事例に対し，人間のタイトルでは“after shaving''が除去され，さらに短い要約となっている事例などでは，コピー機構の方がより正しいフォーカスを持つと判定された．
また，人間のタイトルでは“The best way to get money?''など疑問詞を省略する事例がいくつか観測された．
このような事例の文法性に基づく評価では，``What is the best way to get money?''など疑問詞を省略せずに出力する傾向のあるコピー機構よりも低く評価されている．


\subsection{定性的分析}

本節では，実際の出力例を基に定性的な分析を行う．
表\ref{output-example1}に入力質問{テキスト}と各モデルの出力例を示す．
抽出型手法である{リード疑問文}や分類モデルでは，照応詞の``it''が含まれ，フォーカスが不明確となることがある．
このような照応の問題が，フォーカスでのスコアを下げる要因の一つであると考えられる．
この例から単一質問文に要約する課題設定においては，複数の文にまたがる情報をうまく組み合わせる必要があり，抽出的手法では適切な要約を出力するのが難しいことが分かる．
生成型の手法である注意機構付きエンコーダ・デコーダモデルでは，``The Sompsons''のような低頻度語は特別なトークンUNKとして出力され，ROUGE値を下げる要因となっている．
同様の問題が機械翻訳課題でも報告されており\cite{bahdanau2015iclr}，この問題を解決するコピー機構付きエンコーダ・デコーダモデルでは，``The Simpsons''という重要語を正しく出力に含められている．

\begin{table}[t]
\caption{各手法の出力要約}
\label{output-example1}
\input{02table10.tex}
\end{table}


\section{おわりに}

本研究では新たな要約課題として，複数文から構成される質問{テキスト}を入力とし，その内容を端的に表現する単一質問文に要約する“質問要約”課題を提案した．
コミュニティ質問応答サイトの投稿を用いた事例分析において，抽出型の手法では要約できない事例の存在を確認した．
また，このデータをフィルタリングしたデータを用い，いくつかの抽出型および生成型要約モデルを構築し，比較した．
先頭文を抽出する手法は既存の要約課題において強いベースラインとして知られるが，質問要約においては規則を用いて同定した疑問文のうち先頭を出力する手法より良い性能を示した．
実験より，生成型の要約モデルがROUGE-2 F値においてより良い性能を示すことがわかった．
構築した手法は人間によるタイトルよりもROUGE値および人手評価において，低い性能を示していることから，質問要約課題にはさらなる性能向上の
余地が残されていると考える．


\acknowledgment

本稿はIJCNLP2017に採録済みの論文を基にしたものです\cite{ishigaki2017ijcnlp}．
本研究は
JSTさきがけJPMJPR1655の助成を受けたものです．


\bibliographystyle{jnlpbbl_1.5}
\begin{thebibliography}{}

\bibitem[\protect\BCAY{Bahdanau, Cho, \BBA\ Bengio}{Bahdanau
  et~al.}{2014}]{bahdanau2015iclr}
Bahdanau, D., Cho, K., \BBA\ Bengio, Y. \BBOP 2014\BBCP.
\newblock \BBOQ Neural Machine Translation by Jointly Learning to Align and
  Translate.\BBCQ\
\newblock {\Bem CoRR}.
\newblock {\bfseries abs/1409.0473}.

\bibitem[\protect\BCAY{Bank, Mittal, \BBA\ Witbrock}{Bank
  et~al.}{2010}]{banko2000acl}
Bank, M., Mittal, V.~O., \BBA\ Witbrock, M.~J. \BBOP 2010\BBCP.
\newblock \BBOQ Headline Generation Based on Statistical Translation.\BBCQ\
\newblock In {\Bem Proceedings of ACL2010}, \mbox{\BPGS\ 318--325}.

\bibitem[\protect\BCAY{Basak, Pal, \BBA\ Patranabis}{Basak
  et~al.}{2007}]{basak2007support}
Basak, D., Pal, S., \BBA\ Patranabis, D.~C. \BBOP 2007\BBCP.
\newblock \BBOQ Support Vector Regression.\BBCQ\
\newblock {\Bem Neural Information Processing-Letters and Reviews}, {\Bbf 11}
  (10), \mbox{\BPGS\ 203--224}.

\bibitem[\protect\BCAY{Cho, van Merrienboer, Gulcehre, Bahdanau, Bougares,
  Schwenk, \BBA\ \mbox{Bengio}}{Cho et~al.}{2014}]{gru}
Cho, K., van Merrienboer, B., Gulcehre, C., Bahdanau, D., Bougares, F.,
  Schwenk, H., \BBA\ \mbox{Bengio}, Y. \BBOP 2014\BBCP.
\newblock \BBOQ Learning Phrase Representations using Rnn Encoder-decoder for
  Statistical Machine Translation.\BBCQ\
\newblock In {\Bem Proceedings of EMNLP2014}, \mbox{\BPGS\ 1724--1734}.

\bibitem[\protect\BCAY{Cohn \BBA\ Lapata}{Cohn \BBA\
  Lapata}{2013}]{cohn2013acm}
Cohn, T.\BBACOMMA\ \BBA\ Lapata, M. \BBOP 2013\BBCP.
\newblock \BBOQ An Abstractive Approach to Sentence Compression.\BBCQ\
\newblock {\Bem ACM Transactions on Intelligent Systems and Technology (TIST)},
  {\Bbf 4}  (3), \mbox{\BPG~41}.

\bibitem[\protect\BCAY{Dorr, Zajic, \BBA\ Schwartz}{Dorr
  et~al.}{2003}]{dorr2003naacl}
Dorr, B., Zajic, D., \BBA\ Schwartz, R. \BBOP 2003\BBCP.
\newblock \BBOQ Hedge trimmer: A Parse-and-trim Approach to Headline
  Generation.\BBCQ\
\newblock In {\Bem Proceedings of HLT-NAACL2003 Text Summarization Workshop},
  \mbox{\BPGS\ 1--8}.

\bibitem[\protect\BCAY{Duboue}{Duboue}{2012}]{pablo2012inlg}
Duboue, P.~A. \BBOP 2012\BBCP.
\newblock \BBOQ Extractive Email Thread Summarization: Can We Do Better Than He
  Said She Said?\BBCQ\
\newblock In {\Bem Proceedings of INLG2012}, \mbox{\BPGS\ 85--89}.

\bibitem[\protect\BCAY{Fan, Chang, Hsieh, Wang, \BBA\ Lin}{Fan
  et~al.}{2008}]{liblinear}
Fan, R.-E., Chang, K.-W., Hsieh, C.-J., Wang, X.-R., \BBA\ Lin, C.-J. \BBOP
  2008\BBCP.
\newblock \BBOQ LIBLINEAR: A Library for Large Linear Classification.\BBCQ\
\newblock {\Bem Journal of Machine Learning Research}, {\Bbf 9}, \mbox{\BPGS\
  1871--1874}.

\bibitem[\protect\BCAY{Gu, Lu, Li, \BBA\ Li}{Gu et~al.}{2016}]{gu2016acl}
Gu, J., Lu, Z., Li, H., \BBA\ Li, V.~O. \BBOP 2016\BBCP.
\newblock \BBOQ Incorporating Copying Mechanism in Sequence-to-Sequence
  Learning.\BBCQ\
\newblock In {\Bem Proceedings of ACL2016}, \mbox{\BPGS\ 1631--1640}.

\bibitem[\protect\BCAY{Hirao, Isozaki, Maeda, \BBA\ Matsumoto}{Hirao
  et~al.}{2002}]{hirao2002coling}
Hirao, T., Isozaki, H., Maeda, E., \BBA\ Matsumoto, Y. \BBOP 2002\BBCP.
\newblock \BBOQ Extracting Important Sentences with Support Vector
  Machines.\BBCQ\
\newblock In {\Bem Proceedings of COLING2002}, \mbox{\BPGS\ 1--7}.

\bibitem[\protect\BCAY{Hochreiter \BBA\ Schmidhuber}{Hochreiter \BBA\
  Schmidhuber}{1997}]{lstm}
Hochreiter, S.\BBACOMMA\ \BBA\ Schmidhuber, J. \BBOP 1997\BBCP.
\newblock \BBOQ Long Short-Term Memory.\BBCQ\
\newblock {\Bem Neural Computation}, {\Bbf 9}  (8), \mbox{\BPGS\ 1735--1780}.

\bibitem[\protect\BCAY{Ishigaki, Takamura, \BBA\ Okumura}{Ishigaki
  et~al.}{2017}]{ishigaki2017ijcnlp}
Ishigaki, T., Takamura, H., \BBA\ Okumura, M. \BBOP 2017\BBCP.
\newblock \BBOQ Summarizing Lengthy Questions.\BBCQ\
\newblock In {\Bem Proceedings of IJCNLP2017}, \lowercase{\BVOL}~1,
  \mbox{\BPGS\ 792--800}.

\bibitem[\protect\BCAY{Kikuchi, Neubig, Sasano, Takamura, \BBA\
  Okumura}{Kikuchi et~al.}{2016}]{kikuchi2016emnlp}
Kikuchi, Y., Neubig, G., Sasano, R., Takamura, H., \BBA\ Okumura, M. \BBOP
  2016\BBCP.
\newblock \BBOQ Controlling Output Length in Neural Encoder-Decoders.\BBCQ\
\newblock In {\Bem Proceedings of EMNLP2016}, \mbox{\BPGS\ 1328--1338}.

\bibitem[\protect\BCAY{Li, Qian, \BBA\ Liu}{Li et~al.}{2013}]{li2013acl}
Li, C., Qian, X., \BBA\ Liu, Y. \BBOP 2013\BBCP.
\newblock \BBOQ Using Supervised Bigram-based ILP for Extractive
  Summarization.\BBCQ\
\newblock In {\Bem Proceedings of ACL2013}, \mbox{\BPGS\ 1004--1013}.

\bibitem[\protect\BCAY{Lin}{Lin}{2004}]{rouge2004aclworkshop}
Lin, C.-Y. \BBOP 2004\BBCP.
\newblock \BBOQ ROUGE: A Package for Automatic Evaluation of Summaries.\BBCQ\
\newblock In {\Bem Proceedings of ACL2004 Workshop}, \mbox{\BPGS\ 74--81}.

\bibitem[\protect\BCAY{Luhn}{Luhn}{1958}]{luhn1958ibm}
Luhn, H.~P. \BBOP 1958\BBCP.
\newblock \BBOQ The Automatic Creation of Literature Abstracts.\BBCQ\
\newblock {\Bem IBM Journal of Research and Development}, {\Bbf 2}  (2),
  \mbox{\BPGS\ 159--165}.

\bibitem[\protect\BCAY{Luong, Pham, \BBA\ Manning}{Luong
  et~al.}{2015}]{luong2015emnlp}
Luong, M.-T., Pham, H., \BBA\ Manning, C.~D. \BBOP 2015\BBCP.
\newblock \BBOQ Effective Approaches to Attention-based Neural Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of EMNLP2015}, \mbox{\BPGS\ 1412--1421}.

\bibitem[\protect\BCAY{Mihalcea \BBA\ Tarau}{Mihalcea \BBA\
  Tarau}{2004}]{rada2004emnlp}
Mihalcea, R.\BBACOMMA\ \BBA\ Tarau, P. \BBOP 2004\BBCP.
\newblock \BBOQ TextRank: Bridging Order into Texts.\BBCQ\
\newblock In {\Bem Proceedings of EMNLP2004}, \mbox{\BPGS\ 404--411}.

\bibitem[\protect\BCAY{Oya \BBA\ Carenini}{Oya \BBA\
  Carenini}{2014}]{oya2014sigdial}
Oya, T.\BBACOMMA\ \BBA\ Carenini, G. \BBOP 2014\BBCP.
\newblock \BBOQ Extractive Summarization and Dialogue Act Modeling on Email
  Threads: An Integrated Probalistic Approach.\BBCQ\
\newblock In {\Bem Proceedings of SIGDIAL2014}, \mbox{\BPGS\ 133--140}.

\bibitem[\protect\BCAY{Oya, Mehdad, Carenini, \BBA\ Ng}{Oya
  et~al.}{2014}]{oya2014inlg}
Oya, T., Mehdad, Y., Carenini, G., \BBA\ Ng, R. \BBOP 2014\BBCP.
\newblock \BBOQ A Template-based Abstractive Meeting Summarization: Leveraging
  Summary and Source Text Relationships.\BBCQ\
\newblock In {\Bem Proceedings of INLG2014}, \mbox{\BPGS\ 45--53}.

\bibitem[\protect\BCAY{Peyrard \BBA\ Eckale-Kohler}{Peyrard \BBA\
  Eckale-Kohler}{2016}]{peyrard2016acl}
Peyrard, M.\BBACOMMA\ \BBA\ Eckale-Kohler, J. \BBOP 2016\BBCP.
\newblock \BBOQ Optimizing an Approximation of ROUGE---a Problem-Reduction
  Approach to Extractive Multi-Document Summarization.\BBCQ\
\newblock In {\Bem Proceedings of ACL2016}, \mbox{\BPGS\ 1825--1836}.

\bibitem[\protect\BCAY{Rush, Chopra, \BBA\ Weston}{Rush
  et~al.}{2015}]{rush2015acl}
Rush, A.~M., Chopra, S., \BBA\ Weston, J. \BBOP 2015\BBCP.
\newblock \BBOQ A Neural Attention Model for Sentence Summarization.\BBCQ\
\newblock In {\Bem Proceedings of EMNLP2015}, \mbox{\BPGS\ 379--389}.

\bibitem[\protect\BCAY{Shen, Sun, Li, Yang, \BBA\ Chen}{Shen
  et~al.}{2007}]{shen2007ijcai}
Shen, D., Sun, J.-T., Li, H., Yang, Q., \BBA\ Chen, Z. \BBOP 2007\BBCP.
\newblock \BBOQ Document Summarization using Conditional Random Fields.\BBCQ\
\newblock In {\Bem Proceedings of IJCAI2007}, \mbox{\BPGS\ 2862--2867}.

\bibitem[\protect\BCAY{Suykens \BBA\ Vandewalle}{Suykens \BBA\
  Vandewalle}{1999}]{suykens1999least}
Suykens, J.~A.\BBACOMMA\ \BBA\ Vandewalle, J. \BBOP 1999\BBCP.
\newblock \BBOQ Least Squares Support Vector Machine Classifiers.\BBCQ\
\newblock {\Bem Neural Processing Letters}, {\Bbf 9}  (3), \mbox{\BPGS\
  293--300}.

\bibitem[\protect\BCAY{Tamura, Takamura, \BBA\ Okumura}{Tamura
  et~al.}{2005}]{tamura2005}
Tamura, A., Takamura, H., \BBA\ Okumura, M. \BBOP 2005\BBCP.
\newblock \BBOQ Classification of Multiple-Sentence Questions.\BBCQ\
\newblock In {\Bem Proceedings of IJCNLP2005}, \mbox{\BPGS\ 426--437}.

\bibitem[\protect\BCAY{Woodsend, Feng, \BBA\ Lapata}{Woodsend
  et~al.}{2010}]{wubben2012acl}
Woodsend, K., Feng, Y., \BBA\ Lapata, M. \BBOP 2010\BBCP.
\newblock \BBOQ Generation with Quasi-synchronous Grammar.\BBCQ\
\newblock In {\Bem Proceedings of EMNLP2010}, \mbox{\BPGS\ 513--523}.
  Association for Computational Linguistics.

\bibitem[\protect\BCAY{Zajic, Dorr, \BBA\ Schwartz}{Zajic
  et~al.}{2004}]{zajic2004naacl}
Zajic, D., Dorr, B.~J., \BBA\ Schwartz, R. \BBOP 2004\BBCP.
\newblock \BBOQ Bbn/umd at duc-2004.\BBCQ\
\newblock In {\Bem Proceedings of NAACL-HLT2004 Document Understanding
  Workshop}, \mbox{\BPGS\ 112--119}.

\end{thebibliography}


\begin{biography}
\bioauthor{石垣　達也}{
2012年茨城工業高等専門学校専攻科情報工学コース修了．
2014年年東京工業大学総合理工学研究科博士前期課程修了．
同年，同大学博士後期課程に進学．
}
\bioauthor{高村　大也}{
1997年東京大学工学部計数工学科卒業．
2000年同大大学院工学系研究科計数工学専攻修了（1999年はオーストリアウィーン工科大学にて研究）．
2003年奈良先端科学技術大学院大学情報科学研究科博士課程修了．博士（工学）．
2003年から2010年まで東京工業大学精密工学研究所助教．
2006年にはイリノイ大学にて客員研究員．
2010年から2016年まで同准教授．
2017年より同教授および産業技術総合研究所人工知能センター知識情報研究チーム研究チーム長．
計算言語学，自然言語処理を専門とし，特に機械学習の応用に興味を持つ．
}
\bioauthor{奥村　　学}{
1962年生．
1984年東京工業大学工学部情報工学科卒業．
1989年同大学院博士課程修了．
同年，東京工業大学工学部情報工学科助手．
1992年北陸先端科学技術大学院大学情報科学研究科助教授，
2000年東京工業大学精密工学研究所助教授，
2009年同教授，現在に至る．
工学博士．
自然言語処理，知的情報提示技術，語学学習支援，テキスト評価分析，テキストマイニングに関する研究に従事．
情報処理学会，電子情報通信学会，人工知能学会，AAAI，ACL，認知科学会，計量国語学会各会員．
}

\end{biography}


\biodate



\end{document}
