    \documentclass[japanese]{jnlp_1.4}
\usepackage{jnlpbbl_1.3}
\usepackage[dvipdfm]{graphicx}
\usepackage{amsmath}

\usepackage{ulinej}
\usepackage{url}

\Volume{23}
\Number{1}
\Month{January}
\Year{2016}

\received{2015}{5}{21}
\revised{2015}{8}{24}
\accepted{2015}{11}{3}

\setcounter{page}{3}

\jtitle{自動要約における誤り分析の枠組み}
\jauthor{西川　　仁\affiref{Author_1}}
\jabstract{
本稿では自動要約システムの誤り分析の枠組みを提案する．
この誤り分析の枠組みは，要約が満たすべき3つの要件と誤った要約が生じる5つの原因からなり，要約の誤りをこれらからなる15種類の組み合わせに分類する．
また，システム要約において15種類の誤りのうちどの誤りが生じているかを調査する方法もあわせて提案する．
提案する誤り分析の枠組みに基づき，本稿ではまず，システム要約を分析した結果を報告する．
さらに，分析の結果に基づいて要約システムを改良し，誤り分析の結果として得られる知見を用いてシステムを改良することでシステム要約の品質が改善されることを示す．}
\jkeywords{自動要約，誤り分析}

\etitle{Error Analysis Framework for Automatic Summarization}
\eauthor{Hitoshi Nishikawa\affiref{Author_1}} 
\eabstract{
We propose an error analysis framework for automatic summarization.
The framework presented herein incorporates five problems that cause automatic summarization systems to produce errors and three metrics for quality.
We classify errors in automatic summaries into 15 categories comprising a combination of the three quality metrics and five problems.
We also present a method to classify automatic-summary errors into these categories.
Using our error analysis framework, we analyze the errors in an automatic summary produced by our system and present the results.
We use these results to refine our system and then show that the quality of the automatic summary is improved.
The error analysis framework that we propose is demonstrably useful for improving the quality of an automatic summarization system.
}
\ekeywords{Automatic Summarization, Error Analysis}

\headauthor{西川}
\headtitle{自動要約における誤り分析の枠組み}

\affilabel{Author_1}{日本電信電話株式会社メディアインテリジェンス研究所（現在，東京工業大学大学院情報理工学研究科計算工学専攻）}{Media Intelligence Laboratories, Nippon Telegraph and Telephone Corporation (Currently, Department of Computer Science, Graduate School of Information Science and Engineering, Tokyo Institute of Technology)}



\begin{document}
\maketitle

\section{はじめに}

自動要約の入出力は特徴的である．
多くの場合，自動要約の入出力はいずれも，自然言語で書かれた，複数の文からなる文章である．
自動要約と同様に入出力がともに自然言語である自然言語処理課題として機械翻訳や対話，質問応答が挙げられる．
機械翻訳や対話の入出力が基本的にはいずれも文であるのに対して，自動要約や一部の質問応答は基本的には入出力がいずれも文章である点が特徴的である．
また形態素解析や係り受け解析などの自然言語解析課題においては，入力は文であるが，これらの出力は品詞列や係り受け構造などの中間表現であり，自然言語ではない．
談話構造解析は文章を入力として想定するものの，やはり出力は自然言語ではない．

この特徴的な入出力が原因となり，自動要約の誤り分析は容易ではない．
自動要約研究の題材として広く用いられるコーパスの多くは数十から数百の入力文書と参照要約\footnote{本稿では，ある文書に対する正しい要約を「参照要約」と呼ぶ．}の組からなるが，入出力が文章であるがために，詳しくは \ref{sc:誤り分析の枠組み} 節で述べるが，自動要約の誤りの分析においては考慮しなければならない要素が多い．
そのため，数十の入力文書と参照要約の組といった入出力の規模でも，分析には多大な時間を要することになる．
人手による詳細な分析を必要としない簡便な自動要約の評価方法として ROUGE \cite{lin04} があるが， ROUGE による評価では取りこぼされる現象が自動要約課題に存在することも事実であり，詳細な分析が十分になされているとはいいがたい．
そのため，何らかの誤りを含むと思われる要約をどのように分析すればよいのかという体系的な方法論は存在せず，したがって自動要約分野の研究者が各々の方法論をもって分析を行っているのが現状と思われる．

この状況を鑑み，本稿では，自動要約における誤り分析の枠組みを提案する．
まず，要約システムが作成する要約が満たすべき3つの要件を提案する．
また，要約システムがこれらの要件を満たせない原因を5つ提案する．
3つの要件と5つの原因から，15種類の具体的な誤りが定義され，本稿では，自動要約における誤りはこれらのいずれかに分類される．

本稿の構成は以下の通りである．
\ref{sc:基本的な前提}節では本稿が置く基本的な前提について説明し，本稿での議論の範囲を明らかにする．
\ref{sc:誤り分析の枠組み}節では誤り分析の枠組みを提案し，自動要約の誤りが提案する15種類の誤りのいずれかに分類できることを示す．
\ref{sc:分析の実践}節では実際の要約例に含まれる誤りを提案した枠組みに基づいて分析した結果を示す．
\ref{sc:分析に基づく要約システムの改良}節では
\ref{sc:分析の実践}節で得られた分析の結果に基づいて要約システムを改良し，要約の品質が改善することを示す．
\ref{sc:関連研究}節では関連研究について述べる．
\ref{sc:おわりに}節では本稿をまとめ，今後の展望について述べる．


\section{基本的な前提}
\label{sc:基本的な前提}

一般に，誤りといえば，本来得られるべき何らかの正しい結果があるものの，それとは異なる，すなわち正しくない別の結果が得られた際にそれを指していうものである．
文書分類であれば与えられた文書を正しい分類先に分類できなかった際にそれを誤りということができる．
そのため，何らかの正しい結果，すなわち正解が定まらなければ誤りも定めることができない．

自動要約においては，この正解，すなわち参照要約\footnote{なお，詳しくは\ref{sc:自動要約の誤りの種類}節で述べるが，本稿の提案する要約の誤り分析の枠組みにおいて，参照要約が必要となるのは\ref{sc:自動要約の誤りの種類}節で述べる「重要部同定の失敗」を評価するときのみである．}をいささか一意に定めづらい\footnote{正解が一意に定まらないという問題は，自動要約に限らず，自然言語生成を目標とする課題に共通して存在する．} ．
自動要約課題において，複数の作業者に参照要約の作成を依頼したとき，作業者に与える指示にもよるものの，まったく同一の参照要約が作成されるということはまずない．
そのため，ある参照要約を基準とした際には誤りとなる要約が，別の要約を基準とした際には誤りとならないことがある．

本稿では，この問題は脇に置く．
すなわち，ある1つの参照要約が存在するとき，それと要約システムが作成した要約（以下，便宜的にこれをシステム要約と呼ぶ）とを比較し，その差分を誤りとする．
すなわち，何か差分があれば誤りを含むし，そうでなければ誤りを含まない．
誤りについては次節にて述べる．
この単純化は以下の理由に基づく：

\begin{itemize}
\item
単一の参照要約の誤り分析の枠組みが存在しない状況において，複数の参照要約の誤り分析の枠組みを設定するのは困難であること．
\item
単一の参照要約の誤り分析の枠組みを設定できれば，それに基づいて複数の参照要約が存在する場合を検討することができること．
\end{itemize}

これらの点から，本稿でのこの単純化は，問題の過度な単純化ではなく，合理的な問題の分割であると考える．

また，自動要約課題には，入力文書が単一である場合と複数である場合，要約システムが特に焦点を当てて出力するべき情報がクエリなどを通じて与えられる場合と与えられない場合などの下位分類が存在する．
また，テキスト以外にも映像などの自動要約を考えることもできる．
本稿では，対象はテキストに限定することとし，また自動要約課題の最も単純な形態である，単一文書が入力として与えられ，特にクエリなどは別途与えられない状況を仮定することとする．
さらに，要約の対象となるテキストの種類についても新聞記事\cite{luhn58,aone99}，技術文献\cite{luhn58,edmundson69,pollock75}，メール\cite{muresan01,sandu10}，マイクロブログ\cite{sharifi10,takamura11}など様々なテキストを考えることができるが，本稿ではこれまで単一文書要約課題において広く研究されてきた新聞記事を特に分析の対象として扱う．
参照要約に関する仮定とそれに伴う単純化と同様に，本稿では，まず自動要約課題の最も単純な形態の誤り分析を扱うことによって，自動要約の基本的な誤り分析の枠組みを検討する．
より複雑な自動要約課題の誤り分析については将来の課題とする．

これらの点を踏まえて，本稿が示す自動要約の誤り分析の枠組みの限界を述べておく．

\begin{itemize}
\item
上で述べたように，本稿が提案する自動要約の誤り分析の枠組みは多くの仮定に基づいており，それらの仮定が成り立たない状況においては必ずしも有効に働くものではない．
\item
また，提案する誤り分析の枠組みに基づいて，本稿において行われる分析は，ある単一の要約システムを利用し，またある単一の入力文書を用いて行われるため，その結果が一般的なものであるとは必ずしもいうことはできない．
\item
本稿で示す分析の枠組みに基づいて行われた分析は，枠組みを提案した著者による分析であり，そのため複数の異なる分析者間での結果の一致については議論されていない．
\end{itemize}

上に示すように，本稿で示す自動要約の誤り分析の枠組みは完全なものでは決してない．
本稿の目的は，あくまで，自動要約の基本的な誤り分析の枠組みを提案することにあり，より広範な自動要約課題への適用や，異なる複数の分析者による分析結果の一致に関する議論などは将来の課題である．


\section{誤り分析の枠組み}
\label{sc:誤り分析の枠組み}

ここではまず，自動要約が最低限満たすべき原則を3つ述べ，それが満たされないときに誤りが生じることを説明する．
次に，誤りの原因を5つ取り上げる．
最後に，これらの組み合わせから要約の誤りが15種類に分類されることをみる．


\subsection{自動要約の誤りの種類}
\label{sc:自動要約の誤りの種類}

本稿で扱う自動要約課題は入力および出力がいずれもテキストである．
また，少なくとも人間がそのテキストを読解することを想定している\footnote{
人間の読解が必要でなく，単に情報をより少ない容量で保管しようとするのであれば，それはいわゆるデータ圧縮であると思われる．}．
そのため，要約システムが出力するテキスト，すなわち要約は，まず何よりも人間が読解可能である必要があろう．
すなわち，想定される読者が読み取れるような言語で記述されていることや，非文法的な文などが含まれていないことが必要であろう．

次に，要約は，入力されたテキストから読み取れる情報のうちのいずれかのみを選択して出力するものである．
そのため，当然のこととして，要約システムは入力されたテキストから読み取れることのみが含まれる要約を出力する必要がある．
すなわち，入力されたテキストと矛盾する内容や，入力されたテキストが含意しない内容を含む要約を出力することは許されないであろう．

最後に，要約は，字義通り，入力されたテキストから読み取れる情報のうち，重要だと思われる情報のみを含んでいる必要がある．

これらの点をまとめると，要約システムによって生成される要約は，以下の3つの原則を満たすべきと考えられる：

\begin{enumerate}
\item
出力から情報を読み取れること．
情報を読み取れないような文章が出力されていないこと．
情報を読み取れないような文が出力された場合には，以下の3つのケースが考えられる．
\begin{enumerate}
\item
要約がユーザの要求とは異なる言語で出力されている場合や，要約システムがその内部処理において利用している制御記号などが出力されており，要約から文意を読み取れない場合．
何らかの理由により要約が出力されない場合も含む．
\item
文法的でない文（非文）が要約を構成しており，要約の文意が取れない場合．
\item
個別の文は文法的であるが，要約を構成する文同士の論理関係などが明らかでなく，全体として文意が取れない文章が要約となっている場合．
\end{enumerate}
本稿ではこれら3点をまとめて，内容を適切に読み取ることのできない要約を便宜的に「非文章」と呼ぶ．
\item
読み取れる情報が，入力と矛盾せず，入力が出力を含意すること．
読み手が入力を読んだ際と出力を読んだ際に異なる結論に至らないこと．
\item
出力から読み取れる情報が，入力および読み手の希望を鑑みて，重要であると思われること．
重要でない，枝葉末節の情報が出力に含まれないこと．
\end{enumerate}

これらの原則が満たされない場合を誤りとして，自動要約の誤りの分析における3つの観点が導出できる：

\begin{enumerate}
\item
{\bf 非文章の出力}：要約システムが出力した文章から文意が読み取れない場合，それは誤りとなる．
この観点は自動要約の言語的品質の評価\cite{nist07,nenkova11}と概ね対応する．
この観点の誤りはシステム要約のみで検出することができる．

\item
{\bf 文意の歪曲}：要約から読み取れる情報が，入力文書に記載されている情報と矛盾する場合，それは誤りとなる．
この観点を評価するためには入力文書とシステム要約が必要となる．
この観点はこれまで自動要約において大きく取り上げられてこなかった．
これには2つの理由が考えられる．
第1に，現時点では，この観点に関してシステム要約を評価するためには人手での丁寧な読解が不可欠であり，そのため非常に費用がかかり実施しづらいということが挙げられる．
上で述べた(1)については出力されたシステム要約のみを人手で確認すればよく，また次に述べる(3)については参照要約とシステム要約の機械的な比較によって人手をかけずに一定の評価が可能である．
これらに対して，(2)を評価するためには入力文書とシステム要約の両方を評価者が読解した上で，内容の無矛盾を確認しなければならず，その費用は多大なものとなる．
第2に，文の書き換えなどを行わずに単に重要文を選択するだけの手法などで要約を作成した場合，文意の歪曲はさほど頻繁には生じず\footnote{
なお，本節にて示す例のように，重要文抽出に基づく抽出型の要約においても文意の歪曲は生じうる．}，
そのため誤りとしてこれまで重要視されてこなかったということも考えられる．

文意の歪曲の例を表\ref{tb:文書番号981225042のシステム要約}および表\ref{tb:文書番号981225042のテキスト}に示す．
表\ref{tb:文書番号981225042のシステム要約}はTSC-2のデータ\footnote{本稿で分析の対象として用いるデータについては\ref{sc:データ}節で述べる．}に含まれる文書番号981225042のテキストから要約システム\footnote{利用した要約システムについては\ref{sc:要約システム}節で述べる．}によって作成されたシステム要約であり，\mbox{表\ref{tb:文書番号981225042のテキスト}}は元のテキストである．
表\ref{tb:文書番号981225042のシステム要約}に示すシステム要約の4文めの冒頭には，「このため」とあり，「輸出に過度に依存しない国内生産体制が急務」である原因が前の文で述べられていることが示唆されている．
システム要約を読むと，「トヨタ自動車が検討し始めた生産能力の削減」およびそれに伴う「雇用や地域経済への影響」がこの原因であるように読解できる．
一方，表\ref{tb:文書番号981225042のテキスト}に示す元の入力文書を読むと，11文めの「輸出に過度に依存しない国内生産体制が急務」の原因は，「国内販売は、保有期間の長期化もあり新車需要の大きな伸びは期待できない」であることがわかる．
この例では，システム要約と入力文書とで，読解した際に別の読みが可能になっており，そのためシステム要約が，入力文書で述べられている本来の文意を歪曲している．
\item
{\bf 重要部同定の失敗}
：要約から読み取れる情報の中に入力文書および読み手の希望を鑑みて重要でないものが混ざっているとき，それは誤りとなる．
同様に，入力文書および読み手の希望を鑑みて重要であると思われる情報が要約に含まれていない場合もそれは誤りとなる．
この観点は内容性の評価に概ね対応する \cite{nenkova11} ．
この観点を評価するためには参照要約とシステム要約が必要となる．
\end{enumerate}

\begin{table}[b]
\caption{文書番号 981225042 のシステム要約}
\label{tb:文書番号981225042のシステム要約}
\input{01table01.txt}
\end{table}

\begin{table}[t]
\caption{文書番号 981225042 のテキスト}
\label{tb:文書番号981225042のテキスト}
\input{01table02.txt}
\end{table}

この3つの観点が，要約システムの誤りを考える際に，最初の分類としてあらわれるものと思われる．


\subsection{要約システムの誤りの原因}
\label{要約システムの誤りの原因}

近年の要約システムの多くは Multi-Candidate Reduction Framework \cite{zajic07,jurafsky08} に従っているとみなせる．
これは，入力された文書を，文分割などによって文 \footnote{ここでの「文」は，厳密には文に相当するような言語単位であり，通常の文とは限らない．節などより細かい言語単位を考えることもできる．本稿では読みやすさのため「文」の語を用いることにする．} に分割する機構\cite{gillick09a}，得られた文を文短縮 \cite{jing00,knight02}などによって別の表現に書き換え元の入力のある種の亜種を生成する機構，そののちにそれらの中から要約長などの要件を満たすものを選択し要約を生成する機構からなる\cite{filatova04,mcdonald07}．
最後の要約を生成する機構はさらに，文の組み合わせの中から要約として適切なものに高いスコアを与える機構と高いスコアを持つものを探索する機構に分割できる．
さらに，文の組み合わせの中から要約として適切なものに高いスコアを与える際には，典型的には機械学習が用いられるため，学習が正しくなされているか否かと，適切な特徴量が設定されているかの2点を考慮する必要がある．

これらのことから，文分割に関する問題は要約以前の前処理の問題として脇に置くと，近年の要約システムは以下の構成要素からなる．

\begin{enumerate}
\item 入力された文などの言語単位を別の表現に書き換える機構．
\item 要約としてふさわしい文などの単位に高いスコアを与えるための機械学習に関する機構．
\item 文などの単位に特徴量を与える機構．
\item 要約としてふさわしい文などを探索する機構．
\end{enumerate}

典型的な要約システムを構成する上述の要素を踏まえると，要約システムが前節の原則を満たせず，誤りを生じさせる原因には以下の観点が考えられる：

\begin{enumerate}
\item
{\bf 操作の不足}：
要約システムが，人間の作業者がテキストに対して施す操作と同等の機構を保持してないことに伴って生じる誤り．
言い換えなどの操作ができないために入力された文を短縮することができず，人間と同等の情報量を要約に含めることができない場合や，要約システムが入力された文において省略されているゼロ代名詞を復元できず，要約の文意を損なう場合が含まれる．
\item
{\bf 特徴量の不足}：
特徴量が不足している場合．
この場合は2つにわけることができる．
\begin{enumerate}
\item
{\bf 特徴量の設定不足}：
要約システムにおいて設定されていない特徴量が要約の作成において重要な役割を果たすと思われる場合．
段落に関する情報を入力文書から得ることができ，かつその情報が要約の作成において重要な役割を果たすと目されるのにもかかわらず，要約システムはそれを特徴量として認識できない場合など．
\item
{\bf 言語解析の失敗}：
解析器が誤り，特徴量として設定されている情報が正しく取得できなかった場合．
固有表現認識器が固有表現を認識し損ね，要約システムがそれを特徴量として利用できなかった場合など．
\end{enumerate}
\item
{\bf パラメタの誤り}：
訓練事例の不足，不適切な学習手法の利用などによって，推定されたパラメタが精度よく推定されていない場合．
\item
{\bf 探索の誤り}：
探索誤りのために誤った要約を生成した場合．
重要文集合の選択において，本来はより良好な文の組み合わせがあるにもかかわらず，探索誤りによって不適切な文の集合を出力として選択した場合など．
\item
{\bf 情報の不足}：
そもそも要約システムに対して入力された情報だけでは参照要約まで到達できない場合．
人間の要約作成者が入力以外の情報源を利用して要約を作成した場合など．
\end{enumerate}

\ref{sc:関連研究}節で述べるが，これらの誤りの原因はより詳細化することが可能である．
一方，自動要約には単一文書要約と複数文書要約といういささか風合いの異なる2つの下位課題が存在し，また文短縮なども独立した課題として扱いうる．
そのため，個々の要約システムの設計の詳細は様々であり，誤りの原因の詳細は分析の対象とする要約システムの設計の詳細に依存する．
このことを鑑み，本稿ではより詳細な誤りの原因には踏み込まず，多くの要約システムにおいて共通する機構に基づき，誤りの原因として上の5種類の原因を定義する\footnote{
なお，これら以外にも，要約システムに含まれる実装上のバグ，要約システムが動作する計算機の不具合，要約システムの使用法の誤り，またユーザが要約システムに誤った文書を入力したことによって意図しないシステム要約が出力された場合など，要約プログラムの実装や運用が原因となって誤ったシステム要約が出力される場合を考えることができる．
本稿ではこれら実装や運用が原因となって誤った要約が出力されている場合は考慮せず，あくまで要約システムの設計上の問題が原因となってシステム要約に誤りが含まれる場合のみを想定する．}．


\subsection{自動要約の誤り分析の枠組み}

\ref{sc:自動要約の誤りの種類} 節で述べた3種類の誤りの種類と， \ref{要約システムの誤りの原因} 節で述べた5種類の誤りの原因から，自動要約における誤りは15種類のいずれかに分類できると期待できる．これをまとめたものを表 \ref{tb:error_framework} に示す．

なお，これらとは別に，参照要約作成者の読みが誤っていると思われる場合など，そもそも参照要約が信頼できないと思われる場合がありうるが，ここではそれは除外し，あくまで参照要約が正しく，機械はそれを模倣することのみを考えればよいという場合を想定した．

次に，分析の枠組みを自動要約の結果に適用する際の具体的な方法を表\ref{tb:error_analysis_implementation}に示す．
表\ref{tb:error_analysis_implementation}は，ある誤りの種類がある誤りの原因によって生じる際に，どのようにそれを同定できるかをまとめたものである．

\begin{table}[p]
\caption{自動要約の誤り分析の枠組み}
\label{tb:error_framework}
\addtolength{\normalbaselineskip}{-1pt}
\input{01table03.txt}
\end{table}

\begin{table}[t]
\caption{自動要約の誤り分析の枠組みの適用方法}
\label{tb:error_analysis_implementation}
\input{01table04.txt}
\end{table}


\subsection{誤り分析の手続き}
\label{sc:誤り分析の手続き}

本稿で提案する枠組みに基づく誤りの分析は，一例として，以下の手続きで行うことができる．

\begin{enumerate}
\item {\bf 非文章の出力}：
まず，要約システムが出力したシステム要約を読解し，非文章が出力されていないか確認する．
主語や述語などが存在しない非文が存在しないか，また談話構造が不明瞭で文章全体から意味が取れなくなっていないかを確認する．
非文章が生じていた場合は，その原因を特定する．
例えば，主語が存在しない文が存在し，文脈からもその主語を読み取ることができず，そのためその文の文意を正しくとることができない場合，そのような文が生じた原因を特定する．
このとき，入力文書とシステム要約でその文が異なる場合，すなわちその文をシステムが書き換えたか否かを確認する必要がある．
仮に書き換えたのであれば，なぜその書き換えが発生したかを特定する．
\item {\bf 文意の歪曲}：
次に，入力文書の文意がシステム要約において歪曲されていないかを確認する．
この作業には，入力文書の読解と，システム要約の読解の両方が必要である．
システム要約から，入力文書に含まれていない情報や，あるいは入力文書と矛盾する情報が読み取れる場合は，要約システムによって入力文書の文意が歪曲されていることになる．
文意が歪曲されている場合は，なぜ歪曲が生じたのか確認する．
抽出型の要約システムにおいてこの誤りが生じる状況の1つは，主語が省略されている文がシステム要約において誤った文脈におかれることで，読者が，入力文書での本来の主語とは異なる主語を文にあてはめてしまい，その結果として誤った解釈に至る状況である．
他にも，談話標識が入力文書と異なる文脈におかれることで，前後の文から異なる解釈を得ることできる場合もある．
\ref{sc:自動要約の誤りの種類}節で示した例はこの場合である．
書き換えまで行う要約システムであれば，入力文書と異なる表現が用いられることで文意が変化していないか確認する．
このような文意の歪曲が生じている場合は，どのような修正をシステム要約に加えることで，正しい文意を得ることができるか確認する．
上の例では，省略された主語を復元する機構の追加，談話標識を除去，あるいは修正する機構の追加などが考えられ，これらを要約システムが備えていないために誤りが生じたと考えられる場合は「操作の不足」が原因となろう．
一方，これらの機構が存在しているにもかかわらず文意の歪曲が生じた場合は，パラメタの誤りや特徴量の不足を調査する必要がある．
\item {\bf 重要部同定の失敗}：
最後に，参照要約とシステム要約を比較し，参照要約に含まれているがシステム要約には含まれていない情報がないか確認する．
この確認には ROUGE \cite{lin04}，Basic Element \cite{hovy06}などを援用することが可能であろう．
参照要約に含まれている重要な情報がシステム要約に含まれていない場合には，その情報がシステム要約に含まれなかった理由を調査する．
特に，パラメタが正しく学習されているか，またそのような情報を重要な情報であると特定するための特徴量が設定されているかを確認する必要があろう．
\end{enumerate}


\section{分析の実践}
\label{sc:分析の実践}

本節では前節で提示した分析の枠組みを，本稿で分析の対象とした文書に対して適用する．
まず，分析の枠組みを適用するシステム要約を作成する．次に，それらに対して人手による分析を行い，その後分析の結果を提案した分析の枠組みに基づいて整理する．


\subsection{実験設定}\label{sc:実験設定}

\subsubsection{データ}\label{sc:データ}

実験には，自動要約の評価型プロジェクトである TSC-2\footnote{
http://lr-www.pi.titech.ac.jp/tsc/tsc2.html}のデータを用いた．
TSC-2のデータは60記事からなり，各文書に対して3人の作業者が参照要約を付与している．
また，各文書に対して長い参照要約と短い参照要約の2種類が付与されている．
今回は特に分析の対象として文書番号990305053のテキストを用いた．
参照要約には，作成者1による長い参照要約を用いた．
文書番号990305053のテキストの長い参照要約の長さは495文字であり，要約システムを動作させる際には495文字以内の要約を作成するようにした．


\subsubsection{要約システム}
\label{sc:要約システム}

要約システムについては，西川らによる単一文書要約システム \cite{nishikawa14b} を利用した．
西川らの要約システムは，入力として単一文書を想定しており，特に単一の新聞記事を入力として想定している．
また，クエリの入力は想定していない．
要約の手法は Multi-Candidate Reduction Framework \cite{zajic07,jurafsky08} に基づいており，まず入力された各文の亜種を文短縮を利用して生成し，その後に元の文とそれらの文の亜種からなる文の集合の中で，文の重要度と文間の結束性が最も高くなる文の系列のうち，要約長の制限を満たすものを選び出すものである．
文短縮を利用することもできるものの，西川らの要約システムは文短縮が行われた文が要約に選択されることがあまり多くないため，今回は文短縮を用いずに要約を出力させた．


\subsection{結果}

表 \ref{tb:input_document} に入力文書（文書番号 990305053）を示す．
太字は入力文書と参照要約とで文アライメントを取り，対応づけが取れた文同士において共通の単語である．
下線は要約システムによって重要文と認定された文である．
表 \ref{tb:reference} に参照要約を示す．
分析の対象となると思われる点については下線を加え，どのような現象が生じているか下線の後に上付き文字で示した．
表 \ref{tb:summary} にシステム要約を示す．
太字は参照要約とシステム要約とで文アライメントを取り，対応づけが取れた文同士において共通の単語である．
表 \ref{tb:reference} と同様に分析の対象となると思われる点について下線を加え，どのような現象が生じているか下線で示された部分の後に加筆した．
表 \ref{tb:statistics} に入力文書および参照要約，システム要約の統計量を示しておく．

\begin{table}[b]
\caption{入力文書および参照要約，システム要約の統計量．}
\label{tb:statistics}
\input{01table05.txt}
\end{table}

\begin{table}[p]
\caption{文書番号 990305053 のテキスト}
\label{tb:input_document}
\input{01table06.txt}
\end{table}

\begin{table}[p]
\caption{文書番号 990305053 の参照要約}
\label{tb:reference}
\input{01table07.txt}
\end{table}
\begin{table}[p]
\caption{文書番号 990305053 のシステム要約}
\label{tb:summary}
\input{01table08.txt}
\end{table}


\subsection{誤り分析}
\label{sc:誤り分析}

\subsubsection{重要部の同定の失敗}
\label{sc:重要部の同定の失敗}

まず， ROUGE-1 \cite{lin04} の 値は 0.385 であった\footnote{
ROUGE-1 は抽出的な要約手法に基づく要約システムを評価する際に広く用いられている指標であり，また新聞記事においては人手による評価と強い相関があることが知られている \cite{lin04} ．そのため，まずこれを用いて，要約システムが出力した要約の品質を大まかに把握することにした．}．
文単位でみると，システム要約に含まれる文のうち，完全に参照要約に含まれない文は2文めと11文のみであり，11文中2文にとどまっている．
このことから，要約システムの精度（適合率）は $ \frac{9}{11} $ に達しており，要約システムは高精度に重要文を同定していることがわかる．
一方，再現率の観点から見ると，参照要約は入力文書33文のうち15文を要約として採用しており\footnote{
2つの文を1つの文としてまとめているケースがあり，そのため参照要約は13文から構成されている．詳しくは文融合の節にて詳述．}，再現率は $ \frac{9}{15} $ に留まっている．
再現率はまだ大きく改善の余地が残されているため，文と単語という差異はあるが，同様に再現率を評価する ROUGE-1 の値についても改善の余地があると思われる．

次に，重要部同定の失敗の原因を探る．
表 \ref{tb:input_document} を見ると，要約システムは特に後半の文を選択できていない．
これは，要約システムが入力文書における話題の遷移を捕捉できていないためであると思われる．
入力文書において，どのように話題が遷移しているかを表\ref{tb:入力文書に含まれる話題の遷移}に示す．
全人代が開催されるということ（話題1）と中国の改革とその行く末が危ぶまれるということ（話題2--4）と，その具体的な例（話題5--6）が並び，最後の文は入力文書のまとめとなっている．
参照要約を見ると，参照要約の作成者はできる限りこれらの情報を網羅的に要約に含めることを狙っていることが読み取れる．
要約システムが後半の文を選択できなかったのはこのような話題の構造を理解することができなかったためで，この構造を要約システムに理解させることは重要部の同定に決定的に重要である\footnote{
西川らの要約システムはこのような話題の遷移を文書中の段落情報を通じて認識できるが，今回はこれを利用しなかった．TSC-2のデータは毎日新聞コーパスに付与されているタグの一種であるT2を段落とみなしているものの，毎日新聞コーパスの仕様においては，T2を，西川らの要約システムが想定する段落と同じものとは必ずしもみなすことができないためである．なお，\ref{sc:分析に基づく要約システムの改良}節では，入力文書に対して人手で段落情報を付与し，この効果をみる．}．

\begin{table}[b]
\caption{入力文書に含まれる話題の遷移}
\label{tb:入力文書に含まれる話題の遷移}
\input{01table09.txt}
\end{table}


\subsubsection{括弧の除去}

表 \ref{tb:input_document} の例において頻繁に行われている操作の1つは括弧の除去である．
括弧を通じて提供されている補足的な情報は全て要約から除去されていることがわかる．
これによって文を短くし文字数を減らすことができるため，要約システムもこの操作を実行できるようにする必要がある．


\subsubsection{文短縮・言い換え}

表 \ref{tb:input_document} を見ると，文書全体にわたって文の書き換えが行われていることがわかる．
不要な修飾節などを除去し文を短く書き換える操作は文短縮あるいは文圧縮と呼ばれており \cite{nenkova11}，この表\ref{tb:input_document}の例でも文1，文10などで典型的に行われている．
文短縮は，典型的には係り受け木の枝刈りを通じて行われるが，参照要約に含まれる文のうち係り受け木の枝刈りによって実現できるものは少数であり，参照要約作成者はより洗練された，言い換えなどの操作を通じて参照要約を作成していることがわかる．


\subsubsection{文融合}

異なる複数の文から1つの文を作成することは文融合と呼ばれている\cite{barzilay05b}．
参照要約を見ると，この文融合が行われていることがわかる．
表\ref{tb:文融合の例1}から\ref{tb:文融合の例4}にその例を示す．
参照要約の中では4回この操作が行われており，入力文書における表現と比べ情報量を維持したまま文字数の削減が行われている．
これらの操作によって削減された文字数を利用して参照要約作成者はさらに情報を要約に詰め込んでおり，この操作を行う機構を持たない要約システムは再現率において劣後せざるを得ない．

\begin{table}[b]
\caption{文融合の例1}
\label{tb:文融合の例1}
\input{01table10.txt}
\end{table}
\begin{table}[b]
\caption{文融合の例2}
\label{tb:文融合の例2}
\input{01table11.txt}
\end{table}
\begin{table}[b]
\caption{文融合の例3}
\label{tb:文融合の例3}
\input{01table12.txt}
\end{table}


\subsubsection{省略}

便宜的に「省略」としたが，「この」や「など」の表現を用いて，入力文書における情報を除去している箇所がある．
表\ref{tb:省略の例1}に示す参照要約の文3では，朱首相の「三つの実行」のうち金融機構改革が失われており，これが「など」として表現されている．
また表\ref{tb:省略の例2}に示す参照要約の文6では，「改革と安定追求のジレンマ」を「この」で表現しており，同様に文字数を節約している．

\begin{table}[b]
\vspace{-0.3\Cvs}
\caption{文融合の例4}
\label{tb:文融合の例4}
\input{01table13.txt}
\end{table}
\begin{table}[b]
\vspace{-0.3\Cvs}
\caption{省略の例1}
\label{tb:省略の例1}
\input{01table14.txt}
\end{table}
\begin{table}[b]
\vspace{-0.3\Cvs}
\caption{省略の例2}
\label{tb:省略の例2}
\input{01table15.txt}
\end{table}


\subsubsection{参照要約の信頼性}

一方，参照要約の品質が疑われる部分もある．
入力文書の文14と文15とは並列の関係にはないと思われるため，参照要約の文9先頭の接続詞「また」は要約作成者の読みの誤りを示唆している．


\subsection{誤り分析の枠組みの適用}

ここまでの分析を，本稿で提案した誤り分析の枠組みに適用した結果を表 \ref{tb:自動要約の誤り分析の一例} に示す．
表 \ref{tb:自動要約の誤り分析の一例} に示されているように，今回は文短縮などの書き換え機構を利用していないため，非文が出力されることはなかった．
一方で，文を短く書き換える操作を行えないため，情報の被覆において参照要約に大きく劣後しており，これが低い再現率の直接の原因となっている．

\begin{table}[t]
\caption{自動要約の誤り分析の一例．}
\label{tb:自動要約の誤り分析の一例}
\input{01table16.txt}
\end{table}


\section{分析に基づく要約システムの改良}
\label{sc:分析に基づく要約システムの改良}

本節では，\ref{sc:分析の実践}節で述べた分析に基づいて実際に要約システムを改良した結果について述べる．

\ref{sc:文の書き換え操作の追加}節では要約システムに文の書き換え操作を追加する．
\ref{sc:特徴量の追加}節では要約システムに特徴量を追加する．
\ref{sc:パラメタの調整}節ではパラメタの調整を行う．
\ref{sc:結果と考察}節ではこれらの改良によってなされた要約の改善について議論する．
\ref{sc:他の文書に対する適用}節では，改良したシステムを文書番号990305053以外のテキストに適用し，本節で行った改良の効果をみる．

なお，本節での改良が要約システムを真に改良としたと言うことは難しい．
要約システムが真に改良されたと言うためには，少なくとも，ある特定の分野における複数の異なる入力文書を用意し，これらから生成される要約の品質が，改良前の要約システムのそれと比べて改善されていることを検証する必要がある．
この点を踏まえ，本稿における本節の意義は以下の2点にある：

\begin{itemize}
\item
\ref{sc:分析の実践}節で述べた分析に基づいて行うことができる要約システムの改良方法について具体的に述べること．
\item
本稿で提案している分析が，少なくとも，ある入力文書の要約システムによる要約結果を人手で分析し，それに基づいて要約システムの改良を行うことによって，その入力文書を要約する限りにおいては，よりよい要約を出力するために役立つということを示すこと．
\end{itemize}


\subsection{文の書き換え操作の追加}
\label{sc:文の書き換え操作の追加}

表\ref{tb:自動要約の誤り分析の一例}に示したように，今回の事例において操作の不足は深刻な問題である．
そのため，参照要約において行われている書き換え操作の一部を要約システムも行えるようにした．


\subsubsection{括弧の除去}

西川らの要約システムは括弧を除去する機能を持つ\footnote{
正確には，文選択の際に，入力文書に含まれる元の文とは別に，括弧を除去した新しい文を生成し，それも選択の候補に含められるようになっている．}ため，
この機能を動作させるようにした．


\subsubsection{文短縮}

同様に，文短縮機能も動作させるようにした．


\subsubsection{文融合}

西川らの要約システムは文融合の機能を持たないため，
表\ref{tb:文融合の例1}から\ref{tb:文融合の例4}に示した文融合が行われた文を人手で作成し，要約システムが選択可能な文集合に加えた．


\subsubsection{省略}

文融合と同様に，省略が行われている文についても人手で参照要約と同様の文を作成し，それを要約システムが選択可能な文集合に加えた．
具体的には，表\ref{tb:省略の例1}および\ref{tb:省略の例2}の参照要約の文を入力文書の文の書き換え後の文として要約システムに追加した．


\subsection{特徴量の追加}
\label{sc:特徴量の追加}

表\ref{tb:自動要約の誤り分析の一例}に示したように，一部の特徴量を要約システムが認識できないことは要約の作成に悪影響を与えている．
そのため，分析の結果として重要と思われた特徴量を追加した．


\subsubsection{段落情報に関する特徴量}
\label{段落情報に関する特徴量}

\ref{sc:重要部の同定の失敗}節で述べたように，重要文の同定に失敗した主因の1つは入力文書の話題の遷移を捉えることができないためであった．
西川らの要約システムは段落に関する情報を特徴量として利用することができるため，入力文書に表\ref{tb:入力文書に含まれる話題の遷移}に基づいて段落情報を付与した．
具体的には，同一の話題番号に属する文は同一の段落に属するものとした．
西川らの要約システムは段落の先頭の文を重要文として選択する傾向があるため，これによって各話題の先頭の文を重要文として選択できると期待できる．


\subsubsection{最後の文に関する特徴量}
\label{最後の文に関する特徴量}

表\ref{tb:reference}の参照要約を見ると，入力文書の最後の文を入力文書におけるある種のまとめとして重要文とみなしていることがわかる．
この点を鑑み，最後の文にはその文が最後の文であるとわかる特徴量を追加した．


\subsection{パラメタの調整}
\label{sc:パラメタの調整}

最後に，パラメタの調整を人手で行った．
パラメタの調整は，調整後に要約システムが生成する要約が参照要約に近づくように人手で各特徴量の重みを調整することで行った．
具体的に行ったのは以下の調整である：

\begin{itemize}
\item
括弧が含まれる文の重要度を下げるようにした．
参照要約においては入力文書に含まれる括弧は全て除去されているため，これが除去されるようにした．
\item
冒頭の段落に含まれる文の重要度を下げるようにした．
通常，新聞記事は逆三角形と呼ばれる構造をなしており \cite{kyodo10}，
冒頭の段落がほぼ当該記事の要約をなしている．
そのため，西川らの要約システムは冒頭の段落に含まれる文に大きな重みを与えている．
しかし，今回分析の対象とした入力文書はいささか散文的であり，その点を鑑みてか参照要約の作成者は記事の冒頭以外からも多く文を選択している．
このことから，冒頭の段落に含まれる文の重みを小さくし，文書全体から文が選ばれるようにした．
\item
長い文が選ばれづらくなるようにした．
参照要約は長い文をあまり含んでおらず，文短縮や文融合，省略が施された短い文を含んでいる．
そのため，それらの文が選ばれやすくなるように文の長さに対して負の重みを与えた．
\item
百分率の固有表現を含む文が選ばれやすくした．
参照要約には中国の経済成長に関する具体的な百分率が含まれており，これらの情報が要約に含まれるように百分率の固有表現の重みを大きくした．
\item
類似する文が選ばれづらくした．
西川らの要約システムは文同士の類似度を特徴量として設定しており，類似した文が要約に選択されやすくなっている．
しかし，今回分析の対象とした入力文書の参照要約を見る限り，参照要約の作成者はできるだけ幅広い話題を入力文書において網羅しようとしているように観察される．
そのため，むしろ類似する文は要約に含まれないようにした方がよいと思われたため，類似する文が選ばれづらくなるようにした．
\item
段落の先頭の文の重みを大きくした．
\ref{段落情報に関する特徴量}節で述べたように，参照要約の作成者は入力文書に含まれる様々な話題を網羅するように要約を作成したように思われる．
特に，各話題に関する段落の先頭の文を参照要約の作成者は参照要約に含ませているように観察されるため，これらが要約に含まれやすくなるようにした．
\item
最後の文の重みに大きな値を与えた．
\ref{最後の文に関する特徴量}節で述べた特徴量は新しく追加したものであるため，当該特徴量に対する重みがパラメタ集合内には存在しない．
そのため，最後の文が選ばれるように最後の文であることを示す特徴量に大きな重みを与えた．
\end{itemize}


\subsection{結果と考察}
\label{sc:結果と考察}

書き換え操作を追加したのちのシステム要約を表\ref{tb:書き換え操作を追加したのちの文書番号 990305053 のシステム要約}に示す．
書き換え操作および特徴量を追加したのちのシステム要約を表\ref{tb:書き換え操作および特徴量を追加したのちの文書番号 990305053 のシステム要約}に示す．
書き換え操作，特徴量およびパラメタ調整を追加したのちのシステム要約を表\ref{tb:書き換え操作，特徴量およびパラメタ調整を追加したのちの文書番号 990305053 のシステム要約}に示す．
これらの要約システムの改良による ROUGE の変化を表\ref{tb:要約システムの改良による ROUGE の変化}に示す．
Rw は書き換え操作が追加された要約の評価，
$\text{Rw} + \text{Ft}$ は書き換え操作および特徴量が追加された要約の評価，
$\text{Rw} + \text{Ft} + \text{Pm}$ は書き換え操作，特徴量，およびパラメタ調整が追加された要約の評価である．
$\Delta$ で示した数値はある改良によってどの程度 ROUGE-1 の値が改善したかを示す．

なお，本節の目的は，書き換え操作の追加，特徴量の追加，パラメタ調整それぞれの ROUGE への影響を見ることそのものにはなく，各改良によってどのような変化がシステム要約に生じるかを見ることにある．
また，これらの改良は，後で述べるように3つ全てを合わせたときにこそ大きく要約に影響を及ぼすものであるため，個別の改良の影響に必ずしも注目するものではないことに注意されたい．

\begin{table}[p]
\caption{書き換え操作を追加したのちの文書番号 990305053 のシステム要約}
\label{tb:書き換え操作を追加したのちの文書番号 990305053 のシステム要約}
\input{01table17.txt}
\end{table}
\begin{table}[p]
\caption{書き換え操作および特徴量を追加したのちの文書番号 990305053 のシステム要約}
\label{tb:書き換え操作および特徴量を追加したのちの文書番号 990305053 のシステム要約}
\input{01table18.txt}
\end{table}

\begin{table}[t]
\caption{書き換え操作，特徴量およびパラメタ調整を追加したのちの文書番号 990305053 のシステム要約}
\label{tb:書き換え操作，特徴量およびパラメタ調整を追加したのちの文書番号 990305053 のシステム要約}
\input{01table19.txt}
\end{table}
\begin{table}[t]
\caption{要約システムの改良による ROUGE の変化}
\label{tb:要約システムの改良による ROUGE の変化}
\input{01table20.txt}
\end{table}



書き換え操作の追加によっていくらか ROUGE が改善されたものの，表\ref{tb:書き換え操作を追加したのちの文書番号 990305053 のシステム要約}が示すように，書き換え後の文の一部は要約システムによって選択されておらず，その効果が十分に発揮されていない．
そのため， ROUGE の改善も必ずしも大きなものではない．
このことから，単に書き換え操作を追加するだけではなく，書き換え後の文が重要文として選択されるように特徴量およびパラメタを調整しないといけないことがわかる．

次に，特徴量の追加による影響についてみる．
表\ref{tb:要約システムの改良による ROUGE の変化}が示すように，特徴量の追加により，大きく ROUGE が改善されていることがわかる．
これは全て段落情報に関する特徴量の影響である．
最後の文に関する特徴量は新しく追加したものであるため，この時点では生成される要約に対して影響を与えない．
参照要約の作成者は入力文書に含まれる各話題からそれらに対応する文を選択しているため，段落情報を通じてこの情報を要約システムが利用できるようになった影響は大きい．

最後に，パラメタの調整による影響をみる．
表\ref{tb:要約システムの改良による ROUGE の変化}が示すように，パラメタの調整により ROUGE が劇的に改善されていることがわかる．
表\ref{tb:書き換え操作，特徴量およびパラメタ調整を追加したのちの文書番号 990305053 のシステム要約}に示す要約には参照要約に含まれていない文が1つだけ含まれているものの（文12），参照要約にかなり類似した要約を生成することに成功している．
このことから，適切な書き換え操作と特徴量を追加した上で適切なパラメタを得ることができれば，参照要約に近い要約を生成できることがわかる．

ROUGE とは別に，表\ref{tb:システム要約から読み取ることができる参照要約中の言明}に各システム要約から読み取れる参照要約中に含まれる言明を示す．
参照要約は20の言明からなる．
パラメタの調整まで加えた最良のものでも16個の言明を含むに留まっており，4個の言明を取りこぼしている．
特に13番目の言明についてはいずれのシステム要約も選択することができておらず，これを選択するためにはより詳細な特徴量を設定するなどの工夫が必要であろう．

\begin{table}[b]
\caption{システム要約から読み取ることができる参照要約中の言明}
\label{tb:システム要約から読み取ることができる参照要約中の言明}
\input{01table21.txt}
\end{table}


\subsection{他の文書に対する適用}
\label{sc:他の文書に対する適用}

最後に，改良前の要約システムによるシステム要約と，改良を加えた要約システムによるシステム要約を比較した．
TSC-2のデータに含まれる残りの59文書を入力とし，改良前後の要約システムで要約を作成した．
\ref{sc:分析の実践}節と同様に，長い方の参照要約を参照要約とし，要約システムが各文書の要約を作成する際には参照要約の長さ以内の要約を作成するようにした．
ROUGE-1で評価を行った結果を表\ref{tb:文書番号990305053以外の文書を入力とした場合のROUGEによる評価結果}に示す．

\begin{table}[t]
\caption{文書番号990305053以外の文書を入力とした場合のROUGEによる評価結果}
\label{tb:文書番号990305053以外の文書を入力とした場合のROUGEによる評価結果}
\input{01table22.txt}
\end{table}

有意水準$\alpha$は0.05としてウィルコクソンの符号順位検定\cite{wilcoxon45}を用いて検定を行ったところ，改良前後でのROUGE-1の変化は有意であった．
要約システムに加えた改良はあくまで文書番号990305053に特化したものとなっているため，改善は大きくないものの，文書番号990305053に基づいて行った改良が他の文書に対しても有効に働いたことがわかる．
ある特定の文書ではなく，あるコーパスを構成する全ての文書に対するシステム要約の品質を全体的に向上させようとする際には，例えば，そのコーパスを構成する文書の中から代表性を持つ文書を特定し，そのような文書を集中的に分析し要約システムを改良するといった手段が考えられる．


\section{関連研究}
\label{sc:関連研究}

\subsection{自動要約の誤り分析}

要約システムから出力された要約を評価する方法は大きく2つにわけられる \cite{sparck-jones07} ．
1つは内的な評価で，要約そのものの品質を評価するものである．
もう1つは外的な評価で，要約の品質を他の課題を通じて評価するものである．
後者は，例えば，異なる要約システムから出力された要約を用いて同一の情報検索課題を解き，より良好な検索結果が得られた要約システムをよい要約システムとするものである \cite{nomoto97}  ．
本稿は特に要約そのものの品質を扱うため，ここでは前者に焦点を当てる．

要約そのものの品質は2つの観点から評価されてきた \cite{nenkova11} ．
1つは要約の内容性であり，入力文書に含まれる重要な情報がシステム要約にも含まれているか評価するものである．
もう1つは要約の言語的品質であり，システム要約が読みやすいものになっているかを評価するものである．
これらはそれぞれ，前者については本稿における「重要部同定の失敗」，後者については「非文章の出力」と対応している．

要約の内容性については，人間の作業者が重要文として認定した文を要約システムが重要文として認定できた割合に基づいて評価するもの\cite{okumura05}，システム要約と参照要約の， n-gram 頻度分布の類似度に基づいて評価するもの\cite{lin04}，人手によって複数の参照要約に頻繁に出現する情報を特定し，それが要約に含まれる数に基づいて評価するもの\cite{nenkova07}などの評価方法がある．

要約の内容性を改善するための網羅的な分析として， Paice による分析がある\cite{paice90}．
Paice は，文を選択する際の特徴量である，手がかり語の有無や文の位置，入力文書のタイトルに含まれる語の有無などの効果を論じた．
Paice のこの分析は，「重要部同定の失敗」に関する「特徴量の設定不足」に該当する分析といえる．

Hirao らは，機械学習を用いて重要文同定を行った際のパラメタについて分析している\cite{hirao02}．
機械学習を通じて得られたパラメタの傾向を観察することで，有効に働く特徴量を簡便に分析することができる．
Hirao らのこの分析は， Paice の分析と同様に，「重要部同定の失敗」に関する「特徴量の設定不足」に該当する分析といえる．

要約の言語的品質については，一般に，要約の言語的品質を測定するためのテスト\cite{nist07}を通じて評価される．
言語的品質に関する分析としては， Vanderwende らが文の書き換えが引き起こす問題を\cite{vanderwende07}， Nenkova が照応詞が引き起こす問題を指摘している\cite{nenkova08}．

Vanderwende らは，要約の内容性を改善するために，入力文書に含まれる不要な節や句を除去することを提案した\cite{vanderwende07}．
この方法によってより要約の内容性が改善されることを Vanderwende らは示したが，その一方で文の書き換えによって非文法的な文が生成され，これが要約に含まれることで要約の言語的品質が低下することも指摘した．
特に，文の書き換えの結果，コンマ，ピリオドが誤った位置に置かれることが頻繁に問題となることを示した．
Vanderwende らのこの分析は，「操作の不足」が「非文章の出力」を招くことを指摘するものといえる．

Nenkova は，要約に含まれる照応詞が問題を引き起こすことを指摘した\cite{nenkova08} ．
特に，言語的品質の観点において，先行詞が不明瞭な照応詞が出現することで，要約の品質が低下することを指摘した．
Nenkova は実際に，要約を構成する文の名詞句を書き換える要約システムと，単に文を選択するだけの要約システムの，それぞれから出力された要約の言語的品質を比較した．
Nenkova は，前者が出力した要約は，書き換えに伴い統語的に正しくない文が生成されることがあること，また同一の名詞句が過剰に繰り返されることがあることから，後者に比べて著しくその言語的品質が悪化することを報告している．
Nenkova のこの分析は， Vanderwende らと同様に，「操作の不足」が「非文章の出力」を招くことを指摘するものといえる．

照応詞の問題は Paice \cite{paice90} や Nanba ら\cite{nanba00}も指摘している．
Paice \cite{paice90} と Nenkova \cite{nenkova08}の研究の間には約20年の時間の経過があるが，依然として照応詞の問題は自動要約における難題である．

最後に，上で述べた，これまで自動要約において行われてきた分析と，本稿で提案する分析の枠組みを比較しておく．
まず，「文意の歪曲」という観点がこれまでの自動要約研究では指摘されてこなかった．
この点については，\ref{sc:自動要約の誤りの種類}節で述べたように，分析に要する費用の大きさが原因となって，あまり指摘されてこなかったものと思われる．
加えて，これまで行われてきた分析は，本稿におけるある特定の観点の誤りがある特定の原因によってもたらされるといった，いわば局所的なものであったのに対して，本稿で提案する誤り分析の枠組みは，これまで行われてきた分析を系統的に包含する点に特徴がある．


\subsection{他の自然言語処理課題における誤り分析}

ここでは，自動要約と同様に自然言語を生成する課題として機械翻訳を，また自動要約とは異なり自然言語を解析する課題として語義曖昧性解消を取り上げ，それぞれ本稿で取り扱った自動要約の誤り分析と比較する．

    まず，赤部らによる機械翻訳の誤り分析 (赤部，Neubig，工藤，Richardson，中澤，星野2015) を取り上げる．\nocite{akabe15}
機械翻訳は自動要約と同様にテキストを入力としてテキストを出力する課題であり，誤り分析の形態も似通ったものになると考えられる．
赤部らは誤り分析を2種類に分類している\footnote{
    この分類は機械翻訳の分野において広く知られている (Olive, Christianson, and McCary 2011; 渡辺，今村，賀沢，Graham，中澤2014)．\nocite{olive11,watanabe14}}．
1つはブラックボックス分析であり，システムの出力にのみ着目して誤りを分析するものである．
もう1つはグラスボックス分析であり，システム内部の性質に着目して誤りを分析するものである．
本稿で扱った誤り分析は要約システム内部の構成要素に着目しているため，グラスボックス分析に相当する．
本稿の\ref{sc:自動要約の誤りの種類}節で提案した誤りの種類のみに注目して誤り分析を行うのであればこれはブラックボックス分析になる．

赤部らの提案しているブラックボックス分析の誤り体系は，出力のみを分析するものであり，その点において本稿の
\ref{sc:自動要約の誤りの種類}節と概ね対応している．
本稿の提案した要約の誤りの種類は赤部らのブラックボックス分析の誤り体系を抽象化したものになっている．
例えば，自動要約の誤りの種類の2つめ「入力が出力を含意しない」の原因の1つとして赤部らのブラックボックス分析の誤り体系の「モダリティ」を考えることができる．
自動要約の満たすべき要件を敷衍し機械翻訳の誤りを考えると，「出力から（目標言語で）情報が読み取れること」「（言語は異なるものの）入出力が意味的に等価であること」の2点を要件として考えることができ，その点において赤部らの提案したブラックボックス分析の誤り体系の一部は自動要約の誤り分析のより具体的な誤りの分類として考えることもできよう．

本稿の提案した要約の誤りの種類と赤部らのブラックボックス分析の誤りの体系を比較すると，自動要約と機械翻訳には2つの違いがあることがわかる．
1つは非文章の存在である．
自動要約の出力は多くの場合，文ではなくて文章であるため，文としては解釈できても文章としては適切に解釈できない場合が生じる．
一方，現在の機械翻訳は基本的には文単位の処理を行っている\footnote{
もちろん，文を越えた単位での翻訳の試みも存在する\cite{christian12,xiong13}．}．
もう1つは，自動要約の満たすべき要件の3つめ「入力および読み手の希望を鑑みて重要な情報のみが出力に含まれること」という点である．
自動要約はその名の通り，重要な情報のみを読み手に提示することが目標であるが，機械翻訳は入力を目標の言語に入力と意味的に等価に変換することが目標であり，重要な情報を選別するという要件が存在しない．

\begin{table}[b]
\caption{自動要約の誤りの原因と機械翻訳のグラスボックス分析の誤り体系との対応}
\label{tb:自動要約の誤りの原因と機械翻訳のグラスボックス分析の誤り体系との対応}
\input{01table23.txt}
\end{table}

赤部らが提案したもう1つの誤り体系である，グラスボックス分析の誤り体系は本稿の
\ref{要約システムの誤りの原因}節で提案した要約の誤りの原因にほぼ直接対応している．
対応を表\ref{tb:自動要約の誤りの原因と機械翻訳のグラスボックス分析の誤り体系との対応}に示す．
表\ref{tb:自動要約の誤りの原因と機械翻訳のグラスボックス分析の誤り体系との対応}に示すように，自動要約の誤りの原因と赤部らのグラスボックス分析の誤り体系はほぼ直接対応している．
これは，現在の自動要約システムも機械翻訳システムも，自然言語の入力に形態素解析器などの基本的な解析器を用いて適切な解析を加える機構，入力を入力とは異なる表現に変換する機構，変換された表現の中で正しいと思われるものに高いスコアを与える機構，高いスコアが与えられる表現を探索する機構の4点をその基盤としているためである．

次に，自然言語の解析を目的とする課題として語義曖昧性解消課題の誤り解析を取り上げる．
新納らは7名の分析者による誤り分析の結果を統合し，語義曖昧性解消課題において生じる誤りの原因を9種類に分類している
\cite{shinnou15}
．
語義曖昧性課題における誤りは正しい語義に単語を分類することができないがために生じるものであり，その点において本稿で提案した自動要約の誤りの種類や赤部らのブラックボックス分析の誤りの体系のように複数の誤りの種類は存在せず，単に誤分類のみが誤りとなっている．

\begin{table}[t]
\caption{自動要約の誤りの原因と語義曖昧性解消の誤りの原因の対応}
\label{tb:自動要約の誤りの原因と語義曖昧性解消の誤りの原因との対応}
\input{01table24.txt}
\end{table}

新納らの提案した9種類の誤り原因は，本稿で提案した5種類の誤りの原因の一部を詳細化したものとみなせる．
対応を表\ref{tb:自動要約の誤りの原因と語義曖昧性解消の誤りの原因との対応}に示す．
語義曖昧性解消課題は自然言語の生成を行わないため，当然，書き換え操作の不足に対応する誤りは存在しない．
\pagebreak
同様に，候補となる語義のいずれかに単語を分類する問題であるため，複雑な探索も行う必要がなく，そのため探索の誤りも存在しない．


\section{おわりに}
\label{sc:おわりに}

本稿では，自動要約の誤り分析を扱った．
自動要約の誤りの分類を提案し，それを利用して1つの文書の分析結果を分類した．
また，どのような誤りが生じているかを調査するための具体的な方法についても提案した．
それらを用いて，ある文書をある要約システムを用いて要約したとき，内部でどのような誤りが生じているか分析した．
さらに，分析の結果を踏まえて要約システムに改良を施し，その結果を報告した．

本稿で提案した枠組みについては，今後，提案した分類をより精緻化し，個別の分析事例を蓄積していく予定である．
特に，今後，重要となるであろう分析は「操作の不足」と「文意の歪曲」の点にあると思われる．
「文意の歪曲」についてはこれまで十分にその問題点が指摘されていないが，要約システムが出力する要約を，入力文書と矛盾したものにしてしまうという点において，要約システムの致命的な問題になりうる．
そのため，このような問題のあるシステム要約を少ない費用で検出する仕組みが必要になるだろう．
また，「文意の歪曲」を防ぐには洗練された書き換え操作が必要であり，「文意の歪曲」を防ぐ機構の分析も重要である．

\acknowledgment

本稿は自然言語処理における誤り分析プロジェクト Project Next\footnote{
https://sites.google.com/site/projectnextnlp/}の一環として行われた研究に基づくものである．
その過程において，
国立国語研究所浅原正幸准教授，
東京工業大学奥村学教授，
東京工業大学菊池悠太氏，
早稲田大学酒井哲也教授，
九州工業大学嶋田和孝准教授，
ニューヨーク大学関根聡研究准教授，
東京工業大学高村大也准教授，
日本電信電話株式会社平尾努研究主任，および
京都大学森田一研究員
よりご助言を頂戴した．
記して感謝する．

また，論文の採録に際しては担当編集委員および2名の査読者の方々より様々なご助言を頂戴した．
記して感謝する．

\bibliographystyle{jnlpbbl_1.5}
\begin{thebibliography}{}

\bibitem[\protect\BCAY{赤部\JBA {Neubig~Graham}\JBA 工藤\JBA
  {Richardson~John}\JBA 中澤\JBA 星野}{赤部 \Jetal }{2015}]{akabe15}
赤部晃一\JBA {Neubig~Graham}\JBA 工藤拓\JBA {Richardson~John}\JBA 中澤敏明\JBA
  星野翔 \BBOP 2015\BBCP.
\newblock Project Next における機械翻訳の誤り分析.\
\newblock \Jem{言語処理学会第 19
  回年次大会ワークショップ「自然言語処理におけるエラー分析」発表論文集}.

\bibitem[\protect\BCAY{Aone, Okurowski, Gorlinsky, \BBA\ Larsen}{Aone
  et~al.}{1999}]{aone99}
Aone, C., Okurowski, M.~E., Gorlinsky, J., \BBA\ Larsen, B. \BBOP 1999\BBCP.
\newblock \BBOQ A Trainable Summarizer with Knowledge Acquired from Robust NLP
  Techniques.\BBCQ\
\newblock In Mani, I.\BBACOMMA\ \BBA\ Maybury, M.~T.\BEDS, {\Bem Advances in
  Automatic Text Summarization}, \mbox{\BPGS\ 71--80}. MIT Press.

\bibitem[\protect\BCAY{Barzilay \BBA\ McKeown}{Barzilay \BBA\
  McKeown}{2005}]{barzilay05b}
Barzilay, R.\BBACOMMA\ \BBA\ McKeown, K.~R. \BBOP 2005\BBCP.
\newblock \BBOQ Sentence Fusion for Multidocument News Summarization.\BBCQ\
\newblock {\Bem Computational Linguistics}, {\Bbf 31}  (3), \mbox{\BPGS\
  297--328}.

\bibitem[\protect\BCAY{Edmundson}{Edmundson}{1969}]{edmundson69}
Edmundson, H.~P. \BBOP 1969\BBCP.
\newblock \BBOQ New Methods in Automatic Extracting.\BBCQ\
\newblock {\Bem Journal of ACM}, {\Bbf 16}  (2), \mbox{\BPGS\ 264--285}.

\bibitem[\protect\BCAY{Filatova \BBA\ Hatzivassiloglou}{Filatova \BBA\
  Hatzivassiloglou}{2004}]{filatova04}
Filatova, E.\BBACOMMA\ \BBA\ Hatzivassiloglou, V. \BBOP 2004\BBCP.
\newblock \BBOQ A Formal Model for Information Selection in Multi-Sentence Text
  Extraction.\BBCQ\
\newblock In {\Bem Proceedings of Coling 2004}, \mbox{\BPGS\ 397--403}.

\bibitem[\protect\BCAY{Gillick}{Gillick}{2009}]{gillick09a}
Gillick, D. \BBOP 2009\BBCP.
\newblock \BBOQ Sentence Boundary Detection and the Problem with the U.S.\BBCQ\
\newblock In {\Bem Proceedings of NAACL HLT 2009: Short Papers}, \mbox{\BPGS\
  241--244}.

\bibitem[\protect\BCAY{Hardmeier, Nivre, \BBA\ Tiedemann}{Hardmeier
  et~al.}{2012}]{christian12}
Hardmeier, C., Nivre, J., \BBA\ Tiedemann, J. \BBOP 2012\BBCP.
\newblock \BBOQ Document-Wide Decoding for Phrase-Based Statistical Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 2012 Joint Conference on Empirical
  Methods in Natural Language Processing and Computational Natural Language
  Learning (EMNLP-CoNLL)}, \mbox{\BPGS\ 1179--1190}.

\bibitem[\protect\BCAY{Hirao, Isozaki, Maeda, \BBA\ Matsumoto}{Hirao
  et~al.}{2002}]{hirao02}
Hirao, T., Isozaki, H., Maeda, E., \BBA\ Matsumoto, Y. \BBOP 2002\BBCP.
\newblock \BBOQ Extracting Important Sentences with Support Vector
  Machines.\BBCQ\
\newblock In {\Bem Proceedings of the 19th International Conference on
  Computational Linguistics (COLING)}, \mbox{\BPGS\ 342--348}.

\bibitem[\protect\BCAY{Hovy, Lin, Zhou, \BBA\ Fukumoto}{Hovy
  et~al.}{2006}]{hovy06}
Hovy, E., Lin, C.-Y., Zhou, L., \BBA\ Fukumoto, J. \BBOP 2006\BBCP.
\newblock \BBOQ Automated Summarization Evaluation with Basic Elements.\BBCQ\
\newblock In {\Bem Proceedings of the 5th Conference on Language Resources and
  Evaluation (LREC)}, \mbox{\BPGS\ 604--611}.

\bibitem[\protect\BCAY{Jing}{Jing}{2000}]{jing00}
Jing, H. \BBOP 2000\BBCP.
\newblock \BBOQ Sentence Reduction for Automatic Text Summarization.\BBCQ\
\newblock In {\Bem Proceedings of the 6th Conference on Applied Natural
  Language Processing (ANLP)}, \mbox{\BPGS\ 310--315}.

\bibitem[\protect\BCAY{Jurafsky \BBA\ Martin}{Jurafsky \BBA\
  Martin}{2008}]{jurafsky08}
Jurafsky, D.\BBACOMMA\ \BBA\ Martin, J.~H. \BBOP 2008\BBCP.
\newblock {\Bem Speech and Language Processing (2nd Edition)}.
\newblock Prentice Hall.

\bibitem[\protect\BCAY{Knight \BBA\ Marcu}{Knight \BBA\ Marcu}{2002}]{knight02}
Knight, K.\BBACOMMA\ \BBA\ Marcu, D. \BBOP 2002\BBCP.
\newblock \BBOQ Summarization beyond Sentence Extraction: A Probabilistic
  Approach to Sentence Compression.\BBCQ\
\newblock {\Bem Artificial Intelligence}, {\Bbf 1}  (139), \mbox{\BPGS\
  91--107}.

\bibitem[\protect\BCAY{一般社団法人共同通信社}{一般社団法人共同通信社}{2010}]{kyodo10}
一般社団法人共同通信社 \BBOP 2010\BBCP.
\newblock \Jem{記者ハンドブック新聞用字用語集} (第12 \JEd).
\newblock 共同通信社.

\bibitem[\protect\BCAY{Lin}{Lin}{2004}]{lin04}
Lin, C.-Y. \BBOP 2004\BBCP.
\newblock \BBOQ ROUGE: A Package for Automatic Evaluation of Summaries.\BBCQ\
\newblock In {\Bem Proceedings of ACL Workshop Text Summarization Branches
  Out}, \mbox{\BPGS\ 74--81}.

\bibitem[\protect\BCAY{Luhn}{Luhn}{1958}]{luhn58}
Luhn, H.~P. \BBOP 1958\BBCP.
\newblock \BBOQ The Automatic Creation of Literature Abstracts.\BBCQ\
\newblock {\Bem IBM Journal of Research and Development}, {\Bbf 22}  (2),
  \mbox{\BPGS\ 159--165}.

\bibitem[\protect\BCAY{McDonald}{McDonald}{2007}]{mcdonald07}
McDonald, R. \BBOP 2007\BBCP.
\newblock \BBOQ A Study of Global Inference Algorithms in Multi-document
  Summarization.\BBCQ\
\newblock In {\Bem Proceedings of the 29th European Conference on Information
  Retrieval (ECIR)}, \mbox{\BPGS\ 557--564}.

\bibitem[\protect\BCAY{Muresan, Tzoukermann, \BBA\ Klavans}{Muresan
  et~al.}{2001}]{muresan01}
Muresan, S., Tzoukermann, E., \BBA\ Klavans, J. \BBOP 2001\BBCP.
\newblock \BBOQ Combining Linguistic and Machine Learning Techniques for Email
  Summarization.\BBCQ\
\newblock In {\Bem Proceedings of CoNLL 2001 Workshop at ACL/EACL 2001
  Conference}, \mbox{\BPGS\ 152--159}.

\bibitem[\protect\BCAY{Nanba \BBA\ Okumura}{Nanba \BBA\
  Okumura}{2000}]{nanba00}
Nanba, H.\BBACOMMA\ \BBA\ Okumura, M. \BBOP 2000\BBCP.
\newblock \BBOQ Producing More Readable Extracts by Revising Them.\BBCQ\
\newblock In {\Bem Proceedings of the 19th International Conference on
  Computational Linguistics (COLING)}, \mbox{\BPGS\ 1071--1075}.

\bibitem[\protect\BCAY{{National Institute of Standards and
  Technology}}{{National Institute of Standards and Technology}}{2007}]{nist07}
{National Institute of Standards and Technology} \BBOP 2007\BBCP.
\newblock \BBOQ The Linguistic Quality Questions.\BBCQ\
  \url{http://www-nlpir.nist.gov/projects/duc/duc2007/quality-questions.txt}.

\bibitem[\protect\BCAY{Nenkova}{Nenkova}{2008}]{nenkova08}
Nenkova, A. \BBOP 2008\BBCP.
\newblock \BBOQ Entity-driven Rewrite for Multi-document Summarization.\BBCQ\
\newblock In {\Bem Proceedings of the 3rd International Conference on Natural
  Language Processing (IJNLP)}, \mbox{\BPGS\ 118--125}.

\bibitem[\protect\BCAY{Nenkova \BBA\ McKeown}{Nenkova \BBA\
  McKeown}{2011}]{nenkova11}
Nenkova, A.\BBACOMMA\ \BBA\ McKeown, K. \BBOP 2011\BBCP.
\newblock {\Bem Automatic Summarization}.
\newblock Now Publishers.

\bibitem[\protect\BCAY{Nenkova, Passonneau, \BBA\ McKeown}{Nenkova
  et~al.}{2007}]{nenkova07}
Nenkova, A., Passonneau, R., \BBA\ McKeown, K. \BBOP 2007\BBCP.
\newblock \BBOQ The Pyramid Method: Incorporating Human Content Selection
  Variation in Summarization Evaluation.\BBCQ\
\newblock {\Bem ACM Transactions on Speech and Language Processing}, {\Bbf 4}
  (2), \mbox{\BPGS\ 1--23}.

\bibitem[\protect\BCAY{Nishikawa, Arita, Tanaka, Hirao, Makino, \BBA\
  Matsuo}{Nishikawa et~al.}{2014}]{nishikawa14b}
Nishikawa, H., Arita, K., Tanaka, K., Hirao, T., Makino, T., \BBA\ Matsuo, Y.
  \BBOP 2014\BBCP.
\newblock \BBOQ Learning to Generate Coherent Summary with Discriminative
  Hidden Semi-Markov Model.\BBCQ\
\newblock In {\Bem Proceedings of the 25th International Conference on
  Computational Linguistics (COLING)}, \mbox{\BPGS\ 1648--1659}.

\bibitem[\protect\BCAY{Nomoto \BBA\ Matsumoto}{Nomoto \BBA\
  Matsumoto}{1997}]{nomoto97}
Nomoto, T.\BBACOMMA\ \BBA\ Matsumoto, Y. \BBOP 1997\BBCP.
\newblock \BBOQ A New Approach to Unsupervised Text Summarization.\BBCQ\
\newblock In {\Bem Proceedings of the 24th Annual International ACM SIGIR
  Conference on Research and Development in Information Retrieval},
  \mbox{\BPGS\ 26--34}.

\bibitem[\protect\BCAY{奥村\JBA 難波}{奥村\JBA 難波}{2005}]{okumura05}
奥村学\JBA 難波英嗣 \BBOP 2005\BBCP.
\newblock \Jem{テキスト自動要約}.
\newblock オーム社.

\bibitem[\protect\BCAY{Olive, Christianson, \BBA\ McCary}{Olive
  et~al.}{2011}]{olive11}
Olive, J., Christianson, C., \BBA\ McCary, J.\BEDS\ \BBOP 2011\BBCP.
\newblock {\Bem Handbook of Natural Language Processing and Machine
  Translation}.
\newblock Springer New York.

\bibitem[\protect\BCAY{Paice}{Paice}{1990}]{paice90}
Paice, C.~D. \BBOP 1990\BBCP.
\newblock \BBOQ Constructing Literature Abstracts by Computer: Techniques and
  Prospects.\BBCQ\
\newblock {\Bem Information Processing \& Management}, {\Bbf 26}  (1),
  \mbox{\BPGS\ 171--186}.

\bibitem[\protect\BCAY{Pollock \BBA\ Zamora}{Pollock \BBA\
  Zamora}{1975}]{pollock75}
Pollock, J.~J.\BBACOMMA\ \BBA\ Zamora, A. \BBOP 1975\BBCP.
\newblock \BBOQ Automatic Abstracting Research at Chemical Abstracts
  Service.\BBCQ\
\newblock {\Bem Journal of Chemical Information and Computer Sciences}, {\Bbf
  15}  (4), \mbox{\BPGS\ 226--232}.

\bibitem[\protect\BCAY{Sandu, Carenini, Murray, \BBA\ Ng}{Sandu
  et~al.}{2010}]{sandu10}
Sandu, O., Carenini, G., Murray, G., \BBA\ Ng, R. \BBOP 2010\BBCP.
\newblock \BBOQ Domain Adaptation to Summarize Human Conversations.\BBCQ\
\newblock In {\Bem Proceedings of ACL Workshop on Domain Adaptation in NLP},
  \mbox{\BPGS\ 16--22}.

\bibitem[\protect\BCAY{Sharifi, Hutton, \BBA\ Kalita}{Sharifi
  et~al.}{2010}]{sharifi10}
Sharifi, B., Hutton, M.-A., \BBA\ Kalita, J. \BBOP 2010\BBCP.
\newblock \BBOQ Summarizing Microblogs Automatically.\BBCQ\
\newblock In {\Bem Human Language Technologies: The 2010 Annual Conference of
  the North American Chapter of the Association for Computational Linguistics},
  \mbox{\BPGS\ 685--688}.

\bibitem[\protect\BCAY{新納\JBA 白井\JBA 村田\JBA 福本\JBA 藤田\JBA 佐々木\JBA
  古宮\JBA 乾}{新納 \Jetal }{2015}]{shinnou15}
新納浩幸\JBA 白井清昭\JBA 村田真樹\JBA 福本文代\JBA 藤田早苗\JBA 佐々木稔\JBA
  古宮嘉那子\JBA 乾孝司 \BBOP 2015\BBCP.
\newblock 語義曖昧性解消の誤り分析.\
\newblock \Jem{言語処理学会第 19
  回年次大会ワークショップ「自然言語処理におけるエラー分析」発表論文集}.

\bibitem[\protect\BCAY{Sp{\"a}rck~Jones}{Sp{\"a}rck~Jones}{2007}]{sparck-jones07}
Sp{\"a}rck~Jones, K. \BBOP 2007\BBCP.
\newblock \BBOQ Automatic Summarising: The State of the Art.\BBCQ\
\newblock {\Bem Information Processing \& Management}, {\Bbf 43}, \mbox{\BPGS\
  1449--1481}.

\bibitem[\protect\BCAY{Takamura, Yokono, \BBA\ Okumura}{Takamura
  et~al.}{2011}]{takamura11}
Takamura, H., Yokono, H., \BBA\ Okumura, M. \BBOP 2011\BBCP.
\newblock \BBOQ Summarizing a Document Stream.\BBCQ\
\newblock In {\Bem Proceedings of the 33rd European Conference on Information
  Retrieval (ECIR)}, \mbox{\BPGS\ 177--188}.

\bibitem[\protect\BCAY{Vanderwende, Suzuki, Brockett, \BBA\
  Nenkova}{Vanderwende et~al.}{2007}]{vanderwende07}
Vanderwende, L., Suzuki, H., Brockett, C., \BBA\ Nenkova, A. \BBOP 2007\BBCP.
\newblock \BBOQ Beyond SumBasic: Task-focused Summarization with Sentence
  Simplification and Lexical Expansion.\BBCQ\
\newblock {\Bem Information Processing \& Management}, {\Bbf 43}  (6),
  \mbox{\BPGS\ 1606--1618}.

\bibitem[\protect\BCAY{渡辺\JBA 今村\JBA 賀沢\JBA {Neubig~Graham}\JBA
  中澤}{渡辺 \Jetal }{2014}]{watanabe14}
渡辺太郎\JBA 今村賢治\JBA 賀沢秀人\JBA {Neubig~Graham}\JBA 中澤敏明 \BBOP
  2014\BBCP.
\newblock \Jem{機械翻訳}.
\newblock コロナ社.

\bibitem[\protect\BCAY{Wilcoxon}{Wilcoxon}{1945}]{wilcoxon45}
Wilcoxon, F. \BBOP 1945\BBCP.
\newblock \BBOQ Individual Comparisons by Ranking Methods.\BBCQ\
\newblock {\Bem Biometrics Bulletin}, {\Bbf 1}  (6), \mbox{\BPGS\ 80--83}.

\bibitem[\protect\BCAY{Xiong, Ding, Zhang, \BBA\ Tan}{Xiong
  et~al.}{2013}]{xiong13}
Xiong, D., Ding, Y., Zhang, M., \BBA\ Tan, L.~C. \BBOP 2013\BBCP.
\newblock \BBOQ Lexical Chain Based Cohesion Models for Document-Level
  Statistical Machine Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 2013 Conference on Empirical Methods in
  Natural Language Processing (EMNLP)}, \mbox{\BPGS\ 1563--1573}.

\bibitem[\protect\BCAY{Zajic, Dorr, Lin, \BBA\ Richard}{Zajic
  et~al.}{2007}]{zajic07}
Zajic, D.~M., Dorr, B.~J., Lin, J., \BBA\ Richard, S. \BBOP 2007\BBCP.
\newblock \BBOQ Multi-Candidate Reduction: Sentence Compression as a Tool for
  Document Summarization Tasks.\BBCQ\
\newblock {\Bem Information Processing \& Management}, {\Bbf 43}, \mbox{\BPGS\
  1549--1570}.

\end{thebibliography}

\begin{biography}
\bioauthor{西川　　仁}{
2006年慶應義塾大学総合政策学部卒業．
2008年同大学大学院政策・メディア研究科修士課程修了．
同年日本電信電話株式会社入社．
2013年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了．
博士（工学）．
NTTメディアインテリジェンス研究所研究員を経て，2015年より東京工業大学大学院情報理工学研究科計算工学専攻助教．
自然言語処理，特に自動要約の研究に従事．
The Association for Computational Linguistics，人工知能学会，情報処理学会，各会員．
}
\end{biography}


\biodate



\end{document}
