


\documentstyle[epsf,jnlpbbl]{jnlp_j_b5}

\setcounter{page}{75}
\setcounter{巻数}{9}
\setcounter{号数}{4}
\setcounter{年}{2002} 
\setcounter{月}{7}
\受付{2001}{9}{28}
\再受付{2001}{12}{20}
\採録{2002}{4}{5}

\setcounter{secnumdepth}{3}

\title{句表現要約手法に基づく要約システムの開発と評価}

\author{上田 良寛\affiref{FUJI} \and 岡 満美子\affiref{FUJI} \and 小山 剛弘\affiref{FUJI} \and 宮内 忠信\affiref{FUJI}}

\headauthor{上田，岡，小山，宮内}
\headtitle{句表現要約手法に基づく要約システムの開発と評価}


\affilabel{FUJI}{富士ゼロックス株式会社 ソリューション開発センター}{Solution Development Center, Fuji Xerox Co., Ltd.}


\jabstract{
検索結果のふるいわけに適した要約生成手法を開発した．多くの要約システムでは重要文選択という手法を採用しているが，この方法による要約は長く複雑な文になりがちである．我々が開発した句表現要約手法は， 短い句を列挙することで，そのような長い文を読む際に生じる負荷を軽減する．各句は，(1)係り受け解析により単語間の関係を抽出，(2) 係り受け関係からコアになる関係を選択，(3) 句に意味のまとまりを持たせるのに必要な関係を付加，(4) このようにして作られたグラフから表層句を生成，という手順で作られる．この手法の効果を評価するため，タスクベース評価法の改良を行った．この方法では，検索が必要になった背景を含めたタスクの詳細まで規定すること，ひとつの要約を10名の評価者で評価して個人差の影響を少なくすることにより，正確性を増している．また，適合性の評価に複数のレベルを設けることで，様々な状況における適合率・再現率の評価を可能にした．この方法で評価したところ，句表現要約が情報検索結果のふるいわけに最も適していることがわかった．この結果は，生成された句が比較的短く，文書中の重要な概念を広くカバーするということから得られたものと考えられる．
}

\jkeywords{自動要約，句表現，タスクベース評価}

\etitle{Development and Evaluation of \\ a Summarization System based on \\ Phrase-representation Summarization Method}

\eauthor{Yoshihiro Ueda\affiref{FUJI} \and  Mamiko Oka\affiref{FUJI} \and  Takahiro Koyama\affiref{FUJI} \and  Tadanobu Miyauchi\affiref{FUJI}}

\eabstract{
We have developed a summarization method that creates a summary suitable for the process of sifting information retrieval results.  Conventional methods extract important sentences to produce summaries that tend to be long and complex.  We have developed the phrase-representation summarization method that constructs short phrases to reduce the burden of reading such long sentences.  Each phrase is constructed by (1) dependency analysis to extract the relations between words, (2) selection of the core relation from dependency relations, (3) adding relations necessary for the unity of the phrase's meaning, and (4) generation of the surface phrase from the constructed graph.  To evaluate the effectiveness of this method, we have developed an improved task-based evaluation method of summarization, the accuracy of which is increased by specifying the details of the task including background stories, and by assigning ten subjects per summary sample. The method also serves precision/recall pairs for a variety of situations by introducing multiple levels of relevance assessment. The method is applied to prove that phrase-represented summary is most effective to select relevant documents from information retrieval results. The result comes from the fact that the constructed phrases are rather short but cover more important keywords.
}

\ekeywords{automatic summarization, phrase-representation, task-based evaluation}

\begin{document}
\thispagestyle{plain}
\maketitle



\section{はじめに} \label{hajimeni}
情報検索の結果から検索意図に適合する文書をふるいわけるのに，文書内容に対する手がかりとして要約が用いられる．このようなindicativeな目的に用いられる要約の目標は，できるだけ短い時間で正確な判断ができることである．

多くの自動要約システムでは，単語の頻度や文の出現位置などの情報を用いて文ごとにスコアを付与し，高スコアの文をピックアップする方法(以降では重要文選択と呼ぶ)を採用している．この方法では長く複雑な文が選ばれがちである．このような要約を読むには，頭の中で文の構造を再構築するプロセスが必要になり，読者にとって負荷になる．

我々は，この負荷を軽減するため，「読む」のではなく「一目でわかる」要約，すなわち，``At-a-glance''要約を研究の目標として設定した．

句表現要約手法は，``At-a-glance''要約のひとつの実現方法として開発した．ここでは，その概念とアルゴリズムを述べる．また，この手法で作られた要約のふるいわけ効果の評価実験について述べる．

\section{句表現要約の概念} \label{gainen}
At-a-glance要約でひとつの具体的な目標にしたのが，電車の中吊り広告として見られる雑誌広告である．ここで示される記事の見出しは，その記事本体を読むか否かを判断するための情報で，まさにindicative要約になっている．

これらの見出しは次のような性質をもっている．
\begin{itemize}
 \item 構造が単純
 \item 文は短く
\end{itemize}

\noindent
我々は，この単純さ，短さを「句」という言葉を用いて表す\footnote{日本語では「句」と「節」の明確な区別はない．ここでは，「句」を言語学的なものとは異なり，「短さ」，「単純さ」を強調するための概念的なものとして用いる．}．句表現要約は，重要概念(単語)を含んだ短い句の並びで文書の概要を表現することによって，「読む」負荷を読者に与えずに，重要概念間の関係が把握できることを目指すものである．

短い句を生成するために，単語と単語の係り受け関係を基本単位として，ふるいわけに必要な重要な概念を含み，意味にまとまりをもたせるのに必要な最低限の関係だけを選択して組み立てる方法をとる．


\section{アルゴリズム}
\subsection{アルゴリズム概要}

まず図\ref{algo}を用いてアルゴリズムの概要を示す．句表現要約手法には，大きくは次の4つのステップがある．

\begin{figure}[htbp]
  \begin{center}
   \epsfile{file=eps/algorithm.eps,width=10cm}
    \caption{アルゴリズム概略}
    \label{algo}
  \end{center}
\end{figure}

\begin{description}
 \item[1) 係り受け関係の解析：]
 文書中の文を一文ごとに解析し，それぞれDAG (Directed Acyclic Graph)を得る．ここでは，アークとその両端のノード(単語列：名詞連続も含む)をまとめたものを関係の単位(以降では{\bf 関係単位}と呼ぶ)とする．アークは係り側単語列と受け側単語列の係り受け関係を示しており，関係名がラベルとして付与される．図\ref{algo}では説明のため意味的な役割を付記しているが，表層格を関係名として用いている．

 \item[2) コア関係の選択：]
 文書中の全関係単位から重要な関係単位をひとつ選択する．これを{\bf コア関係}と呼ぶ．図中では薄墨をつけたノードと太線のアークで示している．

 \item[3) 関係の補完：]
 コア関係だけでは意味が特定されずふるいわけの情報としては不十分であるので，意味を限定し，意味的なまとまりを持たせるために必要な関係単位を補完する．図\ref{algo}ではこれらを二重線で囲んだ要素で示している．

 \item[4) 表層句の生成：]
 DAG中で選択されたサブツリーから，次に示すような短い句を生成する．
 \begin{center}
 「ライフサイクル全体を視野に入れたリサイクルモデル」
 \end{center}
\end{description}

このアルゴリズムの基本構造を図\ref{frame}に示す．上記のステップを，最初に設定した条件(句の数や要約全体の長さなど)を満たすまで繰り返すことで，短い句を複数個得る．繰り返しの際に，用いた単語のスコアを一定の割合で落とすことにより，同じ単語ばかりが繰り返し出現することを避ける．

\begin{figure}[htbp]
  \begin{center}
   \epsfile{file=eps/frame.eps,width=8cm}
    \caption{アルゴリズム基本構造}
    \label{frame}
  \end{center}
\end{figure}


次節以降に，個々のステップを検討する．

\subsection{係り受け解析}
文書中の各文に対して係り受け解析を行い，単語(列)をノード，係り受け関係をアークとするDAGを得る．

係り受け解析は，形態素解析結果の単語列に対して，パターンマッチにより係り受け関係を抽出する方法~\cite{miyauchi95}を用いている．この方法ではバックトラックを行わないため，解析誤りも含まれる．例えば，「N1のN2のN3」は基本的にあいまいな構造であるが，名詞$+$「の」は直後の名詞に係るようにしており，解析誤りが生じる可能性がある．このような解析誤りの一部は，関係補完のステップで``ambiguity packing''という方法で隠蔽される．

\subsection{関係スコアリングとコア関係選択}
すべての関係単位に重要度スコアを付与する．

まず，すべての単語にスコアを付与する．スコア付けの方法としては，一般的な方法であるtf*IDF積~\cite{salton89}をベースとして採用しているが\footnote{IDFを決めるためには，文書の全体集合を規定する必要があるが，ここではある時点でWWWから集めた100万文書を文書集合として用いている．また，これとは別に新聞記事からDFをカウントしたものも用意している (CD-毎日新聞95年版を利用させていただいた)．}，tf*IDF積ではtfの影響が強すぎる傾向が見られるので，tfの平方根をとることでtfによるスコアの伸びを抑える．

関係スコアの計算式は次式で与える．
\begin{equation}
 {\rm Score} = {\rm Srel} \ast ({\rm S1} + {\rm S2}) \label{eq-score}
\end{equation}

S1，S2は関係アークでつながれる係り側と受け側の語ノードそれぞれのスコアである\footnote{なお，検索におけるクエリー中の語のスコアを高くすることで，それらの語が要約に含まれやすくし，ふるいわけにより適した要約を生成することが可能になる．この方法は次のテーマとして検討を進めている．}．複合語のスコアは，構成要素の単語スコアから計算する．長い複合語は意味を特定する目的には効果があるのだが，短い句を出す目的には不利になるので，両者のバランスをとり，構成要素の単語スコアの和を，それを構成する単語数に応じて減少させている．

Srelは関係の種類に与える重要度である．動詞の格のように概念の中心的な役割を果たすものは大きく，名詞の並列のように関係が周辺的と考えられるものは低く設定している~\cite{oka99}．また，副詞のように修飾的な意味が強いものは，関係そのものを選択しないよう，${\rm Srel} = 0$としている．付録\ref{app1}に関係の種類を列挙する．
このようにしてスコア付けしたすべての関係単位の中から，スコアの最も大きいものを選択し，コア関係とする．

\subsection{関係補完}
コア関係だけでは提示される情報が不足し，ふるいわけの目的には十分ではない．情報をより特定する付加的な要素を補完し，読者が元文書の内容を推測することを助ける．ここではその補完規則から一部を示す(付録\ref{app2}に存在する規則を列挙する)．

\begin{itemize}
 \item {\bf 必須格にあたる関係 [H1]} \\
係り側，受け側のいずれかが用言の場合，必須格に当たる関係を追加する．一部の動詞に対してはそれぞれに必須格にあたる関係を規定しているが，それ以外の動詞に対しては一律に「が」関係，「を」関係，「に」関係を必須格関係として扱っている．また，係助詞「は」，「も」，格助詞「の」，無形格もこれらを置き換え得るものとして同じ扱いとする．

\begin{tabular}{ll}
 例) & フーバー社が発売する → フーバー社が\underline{PDAを}発売する \\
 & 美しい女性 → \underline{髪の}美しい女性 \\
\end{tabular}
 \item {\bf 用言に修飾される名詞 [E1]} \\
用言によって修飾される名詞がある場合，この用言部分は埋め込み構造を形成する．受け側の名詞は，埋め込み文中の格を占める場合と，格を占めない場合(同格など)がある．いずれの場合も，句のまとまりを形成する上で必要であるため，用言から名詞への修飾関係を付加している．

\begin{tabular}{ll}
 例) & PDAを発売する → PDAを発売する\underline{フーバー社} \\
 & PDAを発売する → PDAを発売する\underline{計画} \\
\end{tabular}
 \item {\bf 抽象度の高い名詞への修飾 [H5]} \\
「こと」，「もの」などの形式名詞や，「場合」，「時代」などそれ自身では独立して存在することが少なく，なんらかの限定的な修飾句を伴わなければ意味が通じないことが多い名詞を抽象度の高い名詞として定義し，これらの名詞を受け側とする関係を付加することにより，より適切な情報を提供する．

\begin{tabular}{ll}
例）&  時代に活躍した → \underline{激動の}時代に活躍した \\
\end{tabular}
 \item {\bf Ambiguity Packing\footnote{構文解析で用いられている場合とは異なった意味で用いている．} [E3]} \\
既に述べたように，パターンマッチによる解析ではあいまいさを解消する能力までもたないため，解析誤りが含まれることが多い．例えば，
\begin{center}
 アーチ型の屋根の庇
\end{center}
では，「アーチ型→屋根」，「屋根→庇」の2つの関係しかとっておらず，正しい「アーチ型→庇」がとれない．「アーチ型→屋根」の関係がすでに選択されている場合，「屋根→庇」の関係を補完し，結果的に「アーチ型の屋根の庇」として要約に含まれるようにする．より性能の高い解析器を用いた場合でも，あいまいさの完璧な解消はできないため，この方法は有効である\footnote{このように補完規則で解決できる解析誤りは一部である．誤った例として，元文書の「広東式月餅は日本で一年中売っているお菓子の月餅のような皮， 潮州式月餅はパイ生地の皮という違いがあります．」という文から，「広東式月餅は...一年中売っている...」という句が生成されている例があった．「広東式月餅は」から「売っている」という係り受けが誤って抽出されていることがわかる．後述する実験の結果では，このような誤った係り受けが含まれている要約を用いながら，他の要約より良好な結果を得ている．Indicative目的にのみ用いていることが，誤りの悪影響の少ない要因と考えられる．}．
\end{itemize}

\subsection{終了条件の判定と繰り返し}
終了条件は，句の数または要約全体の長さのいずれかで指定する．終了条件が満たされない場合，次の句を選択するため図\ref{frame}のコア選択以降を繰り返す．

要約中の手がかりとなる語の種類を増やすため，このループで得られた句の中の語がなるべく繰り返し使われないようにする．このために今回使われた語 (補完された単語も含む)のスコアを減らす．これを行う関係再スコアリングというステップを図\ref{frame}のコア選択に入る前に入れる．

関係再スコアリングで行っている処理は以下のとおり．

\begin{enumerate}
 \item 今回使われた語 (補完された単語も含む)のスコアに一定の逓減率R ($0 < {\rm R} < 1$)を積算する
 \item 新しい単語スコアを用いて，式(\ref{eq-score})に従い，文書中のすべての関係単位のスコアを計算する．
\end{enumerate}

逓減率Rは0.5を標準としている．Rの値の設定に関する考察は付録\ref{app3}を参照されたい．

なお，2回目以降のコア選択においては，それまでに用いられた関係単位は除外する．この除外規定では1文中から複数のコア関係が選択されることはありうるので，1文から複数の句が生成される場合もある．またそれらがお互いの一部を共有する場合もある\footnote{一部を共有する句の場合，一つの句に結合しても予め設定した句長制限よりも短い場合には，結合した句を出力するようにしている．}．

\subsection{表層句の生成}
このようにして，コア関係にいくつかの関係が付加された複数のDAGが得られる．このステップにおいては，ノードおよびアークにそれぞれ対応付けられている表層表現を出現順に取り出して結合することで，それぞれのDAGごとに表層表現を得る．得られた表層表現を，元文書における出現順に列挙する．


\section{実現と応用}
このアルゴリズムに基づいて，要約システムを開発した．開発言語はJava で，Windows NT~/~2000 およびSolaris 2.6上で稼動している\footnote{Java および Solaris は Sun Microsystems社の，Windows はMicrosoft 社，Celeron は Intel社の商標である．}．

要約に要する時間はテキスト長に比例し，4KB (2000文字，A4文書1ページ相当)の文書の場合，Celeron 500 MHzのPCで約700\,msecである．95\,\% 以上が解析(形態素解析と係り受け解析)で消費されている． 

\begin{figure}[htbp]
\vspace{-1em}
  \begin{center}
   \epsfile{file=eps/applyex.eps,width=10cm}
    \caption{適用例}
    \label{applyex}
  \end{center}
\end{figure}

文書管理システムとの統合例を図\ref{applyex}に示す．検索結果として得られた文書に，句表現要約(ここでは「キーフレーズ」という名前で示されている)を付加して列挙している．


\section{評価}

句表現要約の目的は，検索結果のふるいわけを速く的確に行えるようにすることである．これを評価するために，タスクベースの評価実験を設計し，実施した~\cite{oka00}．その方法と結果を示す．また，国立情報学研究所主催のNTCIR-2ワークショップのサブタスクであるTSC (Text Summarization Challenge)での評価結果~\cite{oka01}を述べる．

\subsection{タスクベース実験の設計と実施}
タスクベースの評価実験~\cite{jing98,mani98,hand97}は，ある課題・場面を設定して，人間がその道具を用いてどれだけ問題を解決できたかという達成度から，道具を評価するものである．このような人間を評価者として用いる実験の問題には，評価のゆれによる不正確さがある．このゆれを少なくするため，既存の評価研究を調査して問題点を検討し，以下の方針で臨んだ．

\begin{description}
 \item[1) 評価者を多くして平均をとる：]
 これまでのタスクベース評価では，ひとつの要約に対する評価者数はせいぜい1名または2名であった．我々は評価者を10名アサインすることで，個人差による影響を減らした．

 \item[2) 評価者に詳細な指示を与える：]
 ある情報を調べる必要性が生じた状況までバックグラウンドストーリーとして与えることで，情報要求を明確化し，評価者の検索結果に対する判断の統一を図った．

 \item[3) 判断のレベルを設定する：]
 要約から本文を読むか否かを判断する基準は個人により大きく異なり，緊急度など状況にも依存するので，適合/非適合の2段階での評価は不正確である．このため，4段階の適合レベルを設定し，それぞれの判断基準を明確化して評価者に与えた．
\end{description}

\subsubsection{実験方法}

評価実験方法の概略を示す(図\ref{expoutline})．

\begin{figure}[htbp]
  \begin{center}
   \epsfile{file=eps/expoutline.eps,width=10cm}
    \caption{情報検索タスクに基づく評価実験}
    \label{expoutline}
  \end{center}
\end{figure}

\begin{enumerate}
 \item 情報要求(information need)を仮定し，その情報要求を得るためのクエリーを決める．
 \item 実際のWWW検索結果から，情報要求に適合するものとそうでないものが適当な数混じるように10文書選択し，それぞれについて以下の4種の要約を作成する．選択した元文書の大きさは最小372文字，最大5633文字(平均1502文字)とばらつきがあるが，要約はほぼ同じ長さ(80文字) に近くなるようになるように作成した．
\begin{enumerate}
 \item[(A)] 先頭80文字(WWW検索エンジンで主に用いられる方法)
 \item[(B)] 重要文選択~\cite{zechner96}
 \item[(C)] 句表現要約(本手法)
 \item[(D)] キーワード列挙
\end{enumerate}
 \item 評価者に，これらの要約から各検索結果がどれだけ情報要求と適合するかを判定してもらう．被験者には，以下のような評価基準を与え，4段階(以降ではこれをL0(×)からL3(◎)に読み替える)に評価してもらった．

\begin{center}
\vspace{0.3cm}
 \begin{tabular}{|p{2em}rl|} \hline
 \multicolumn{3}{|l|}{評価基準 (被験者に与えたもの)} \\
 & ◎： & 要約の中に，知りたいことの答の一部と思われる箇所がある． \\
 & ○： & 要約の中に，答に関連すると思われる箇所がある． \\
 & △： & 約の中には，知りたいことに関連しそうな箇所はない．\\
 & & しかし，原文書に書いてある可能性は捨て切れない． \\
 & ×： & 要約からは，知りたいこととの関連は見出せない．\\ \hline
 \end{tabular}
\vspace{0.3cm}
\end{center}

被験者にはクエリーごとの評価基準は与えておらず，通常検索を行う際と同様に要約を手がかりとして情報要求に適合するかどうかを判断してもらった(ただし質問があれば答えている)．

 \item 文書から判定した情報要求との関連性と比較する．文書自体は，情報要求への適合と不適合の2レベルに分けられ，この判断は実験者側で行った．

　課題は表\ref{kadai}に示す3つを選択した．このうちの2つ(課題a1とa2)は，同じコンテキスト中から2つ選択したので，ひとつの検索結果(10文書)を用意し，それぞれの文書に対し，課題a1とa2それぞれの適合性を評価してもらった．
\end{enumerate}

\begin{table}[hbtp]
  \begin{center}
    \caption{選択した課題}
   \epsfile{file=eps/kadai.eps,width=9.5cm}
    \label{kadai}
  \end{center}
\end{table}


\subsubsection{分析方法}
次に，このようにして得られた実験結果の分析方法に関して検討する．

\paragraph{適合率と再現率} ~ \\
\indent
要約の適切さは，要約から適合と判断した文書集合が実際に適合している文書の集合と一致する度合い，すなわち適合率と再現率(図\ref{howtocalc}に計算方法を示す)を用いて評価できる．4段階の適合レベル(まったく適合していないL0から最も適合しているL3)を導入したため，評価者が適合と判断した検索結果集合のサブセットEは，E3(L3のみ適合とみなす)，E2( L3とL2を適合とみなす)，E1( L3+L2+L1をすべて適合とみなす)の3種類を考えることができる．一方元文書が適合している文書の集合Rは固定的に決まるので，3種類の適合率・再現率を考えることができる．E3は確実に適合しているもののみを適合とみなすので適合率重視，E1は不確実なものも含めるため再現率重視ということができる．この方法をとることにより，要約が，適合率重視の検索に適しているか，再現率重視の検索に適しているかというように，目的に適しているかどうかの評価を行うことができる．

\begin{figure}[htbp]
  \begin{center}
   \epsfile{file=eps/howtocalc.eps,width=11cm}
    \caption{適合率と再現率の計算方法}
    \label{howtocalc}
  \end{center}
\end{figure}

\paragraph{適合性スコア} ~ \\
\indent
適合率と再現率は要約結果を集合として評価するため，個々の要約結果が適合性の判断にどのような効果を与えるか判断できない．要約品質を向上させるためには，個々の要約結果の品質を評価できる必要がある．このため，評価者による関連度の評価と実際の関連度の関係を示す{\bf 適合性スコア}という指標を導入した．このスコアは表\ref{score}のように与える．

\begin{table}[htbp]
  \begin{center}
    \caption{適合性スコア}
   \epsfile{file=eps/score.eps,width=10.5cm}
    \label{score}
  \end{center}
\end{table}

個々の要約結果に対して，評価者の適合性スコアの平均を出すことで，要約結果ごとの評価を行うことができる．要約手法ごとにこの値を平均することで，要約手法の比較評価ができる．

適合性スコアの付与においては，適合であるとの判断の正誤には高い配点を，不適合との判断の正誤には低い配点を与えている．要約が本文全体の情報を含むことができないという性質上，適合であることの判断はできても，不適合であるという判断は完全にはできないためである．


\subsubsection{実験結果}

\paragraph{再現率と適合率} ~ \\
\indent
再現率と適合率はトレードオフの関係にあるため，両者の総合指標であるF-measureを用いる．

\[
 \mbox{F-measure} = \frac{2 \ast {\rm precision} \ast {\rm recall}}{{\rm precision} + {\rm recall}}
\]

3種の異なったタスクの実験結果のF-measure の平均を図\ref{fmeasure}に示す．適合性重視，再現性重視のいずれの場合も，句表現要約(C)のスコアが高いことがわかる．

\begin{figure}[htbp]
  \begin{center}
   \epsfile{file=eps/fmeasure.eps,width=10cm}
    \caption{F-measure}
    \label{fmeasure}
  \end{center}
\end{figure}

\paragraph{適合性スコア} ~ \\
\indent
適合性スコアによる評価結果を図\ref{scoregraph}に示す．句表現要約(C)が平均では最も高い値を出している．タスク別では課題a2と課題bで最大になっている．課題a1に対しては，重要文選択(B)が最も高い値にはなっているが，どの要約も全体的に低いスコアにとどまっている．

\begin{figure}[htbp]
  \begin{center}
   \epsfile{file=eps/scoregraph.eps,width=12cm}
    \caption{適合性スコア}
    \label{scoregraph}
  \end{center}
\end{figure}

\vspace{-2em}
\begin{table}[htbp]
  \begin{center}
    \caption{手がかりの数と適合性スコア}
   \epsfile{file=eps/score2.eps,width=14cm}
    \label{score2}
  \end{center}
\end{table}

\vspace{-2em}
\subsubsection{結果の分析}
適合性の評価結果は，情報要求に対する手がかりを含む要約の数で異なってくると考えられる． (C)句や(D)キーワードのように短い単位で構成されているものの要約は，元文書の広い範囲から集められたものになっており，手がかりを含む可能性が高い．手がかりを含む要約の数の平均をとると，(B)文： 2.0，(C) 句：4.3，(D)キーワード：4.7である(表\ref{score2})．(D)キーワードは他の要約例よりも手がかりを含む要約数が多いにもかかわらず，結果のF-measureは高くない．表\ref{score2}には，手がかりを含む要約に対する適合性スコアも同時に示している．(C)句と(D)キーワードを比較すると，(C)句が高い値を示している．(D)キーワードは，キーワード間の関係に関する情報が欠けているため，十分な情報量が得られないためと考えられる．一方(B)文は，手がかりを含む要約の間では最も高い値を示しているが，手がかりを含む要約自体が少ないため，全体的にふるいわけ効果が低いと考えられる．


このように，ふるいわけに適した要約とは，手がかりのカバー率が高く，個々の要約が十分な情報量をもつ必要があると考えられる．句表現要約は両者のバランスがとれているため，ふるいわけに適していると考えられる．

\subsubsection{結果の分析}
我々のタスクベース実験はこれまでの行われたタスクベース実験に比べ以下のような利点があると考えられる．

\paragraph{より正確な評価} ~ \\
\indent
これまでの評価方法よりも詳細なインストラクションを与えたことと，ひとつの要約サンプルを評価する人数をこれまでの1〜2名から10名に増やしたことでより正確な評価を目指した．

タスクベース実験後，被験者に元文書のクエリーへの適合度を評価してもらったところ，我々の設定した評価と93\,\% が一致した． 同様の評価がSUMMAC (TIPSTER Text Summarization Evaluation Conference)でなされたが，一致度は69\,\% にしかならなかった．また全ての被験者(40名)の評価が我々の評価と一致した文書の割合は33\,\% だったのに対し， SUMMACでは14人と評価者が少ないにもかかわらず一致したものは17\,\% に過ぎなかった~\cite{mani98}．

このようにインストラクションを詳細に与えても，「本文が適合するか否かを要約を用いて判断する」というタスクの性格上，被験者間の差異が生じうる．月餅の中身を知る例では，具体的な中身がひとつだけかかれている例(句表現要約)として「...お茶メーカーなどが「茶月餅」と名付けたお茶入り...」が含まれるものがあり，これに対して被験者の4名が◎，3名が○，3名が△の評価を与えている(一方，「...フルーツ風味餡の月餅... 」を含む要約では9名が◎，1名が○となっており，要約の現れ方により差が出ている)．インストラクションを詳細に与えても評価者間の差異が生じるため，被験者が1〜2名では十分ではないことがわかる．

\paragraph{目的に合わせた評価を可能にする複数レベルの適合性の導入} ~ \\
\indent
不適合を含め4レベルの適合性評価を行ったことで，3種類の適合文書セットを得られるため，適合率重視の場合/再現率重視の場合を想定することができ，それぞれの要約の目的に合わせた評価を可能にする．

\paragraph{要約ごとの評価を可能にする適合性スコアの導入} ~ \\
\indent
適合率再現率は複数の要約があって成立するものであるが，我々が導入した適合性スコアを用いれば個々の要約ごとに評価が可能になる．検索キーワードの含有率などの特性評価との相関を検討することにより，要約の品質を向上させる方法を知ることができる．我々自身も，句表現要約の改良にはこの恩恵を受けている．


\subsection{TSC評価実験}

句表現要約は検索のふるいわけに適した要約を目指しているため，TSC (Text Summarization Challenge)~\cite{fukushima01}でも，タスクベース実験に参加した．

TSCの実験方法は，我々の実験と同様，評価者が適合と判定した文書の再現率・適合率を出すものである．ここではBレベルの正解判定(主題ではないものも含む)の結果を用いた．情報要求が満たせれば，それが主題であるか否かは無関係であるためである．

また，今回はクエリーに含まれる語のスコアを高くする方法を採用し，「検索要求に適した要約」の予備評価を行うことにした．

TSCでは要約長は規定されていなかったが，元文書の適合性を判断するには，要約の情報量が多いほど有利になるため，規定を設ける必要があったと考える．我々は，要約があることで本文を読むことなく本文の適合性を判断するという目的を考え，本文約800文字に対して，100文字以内と150文字以内の2つの句表現要約をエントリーした(以降では，それぞれSystem 3，System 4としてリファーされている)が，図\ref{charfme}でわかるように他の参加システムに比べ，要約長はかなり短いものであった．


要約長が長いと適合率・再現率は上がると考えられ，図\ref{charfme}でもそれは現れている．評価に要した時間も計測したので，図\ref{timefme}には時間とF-measureの関係を示す．要約を読む時間は長さにほぼ比例すると考えられるので，我々のシステムは時間でも最も短くなっている．

\begin{figure}[htbp]
\vspace{2em}
\begin{center}
 \begin{minipage}{0.53\textwidth}
  \begin{center}
   \epsfile{file=eps/charfme.eps,height=6.8cm}
    \caption{文字数とF-measureの関係}
    \label{charfme}
  \end{center}
 \end{minipage}
 \begin{minipage}{0.47\textwidth}
  \begin{center}
   \epsfile{file=eps/timefme.eps,height=6.8cm}
    \caption{所要時間とF-measureの関係}
    \label{timefme}
  \end{center}
 \end{minipage}
\end{center}
\vspace*{1em}
\end{figure}

この評価から次のような考察が得られる．
\begin{enumerate}
 \item 句表現要約は，ほぼ同等のF-measureである他の要約群に比べ，速いスピードでの判定が可能である．
 \item 本文の長さの約1/8で要約が表現されているにもかかわらず，本文そのものと同程度の正確さでの判定が可能である．
\end{enumerate}


\section{関連研究}
\cite{zechner96}をはじめとして，多くの研究が重要文選択という手法を採用しており，その中で，どのように重要文を選択するかを問題にしている~\cite{okumura98}．我々は，重要文選択では長い文が選択されがちで，読む負荷が大きいことを問題にし，関係を組み合わせて句を合成することによる要約の生成手法を提案した．ここでは，我々の視点で類似研究をまとめる．

まず，短い文にするという点では，文の言い替え，不要な修飾語の削除で文を短縮するという方向がある．\cite{wakao98}，\cite{mikami98}は，ＴＶニュースにおいて，聞かせるための原稿から，読ませるための字幕を作成することを目的としている．このinformativeという性質上，情報をなるべく落とさないようにすることが必要で，あまり短くはできない．Indicativeを目的とする場合はもっと短くできるはずであるが，文の中心構造を残し，修飾部分を減らす方向では，句表現要約ほど短い要約を作ることはできない．

\cite{boguraev97}による要約手法は，文またはパラグラフではなく，句表現(``phrasal expression'')を採用している．この要約の目的は速読であり，そのため段落ごとにトピックを選定し，そのトピックがどのように扱われるかを提示するのに用いられている．方法としては，単語で表したトピック(``topic stamp'')から句を作っていくもので，ひとつのトピックから複数の句を構成するため，検索結果のふるいわけに適した要約にはなっていない．また，アークの役割や重要性を使っていないため，あまり重要でない語も同様にコアに付加される．

文を合成するという立場が似ている研究としては，\cite{hovy97}，\cite{kondou96}などがある．これらは，シソーラスなどを用いて複数の単語を上位概念で置き換えた文を構成することをねらっている．文章全体の意味を短い表現で置き換えることは要約の目指すところではあるが，単語レベルでの置換では適用範囲が限られるし，より大きな単位の置換が可能になると，知りたかったことが抽象化されすぎて見えなくなる問題も生じるだろう．

我々の句表現要約と同じく，語と語の関係をベースに要約を作るものには，\cite{nagao97}がある．これは，GDA(Global Document Annotation)という意味構造をあらかじめ文書中にタグとして付与しておくことにより，要約など文書の種々の機械的処理を可能にしようという試みである．必須格などの重要な関係を追加していく点などで手法に類似性があるが，At-a-glanceを目的とした短い句を出すものではなく，文の形式を保持しながら長さを柔軟に変更できる要約を目指したものになっている．検索対象文書全てに適切な意味構造が与えられる状況は当面期待できず，検索結果のふるいわけへの応用は難しい．


\section{おわりに}

本論文では，At-a-glance要約の概念を提示し，この概念の具体化である句表現要約手法のアルゴリズムを示した．また，開発したシステムを紹介した．さらに，新しく考案したタスクベース評価の方法を示し，句表現要約手法によって作られた要約がふるいわけに有効であることを示した．

今後の課題として次のようなものがある．
\begin{description}
 \item[1)クエリーを反映させた要約：] 検索結果のふるいわけに用いる場合，クエリーで用いられた語がどのように使われているか知ることが，要不要の判断に重要な役割を果たす．このため，クエリーを反映させた要約作成の方法を検討している．\cite{oka01}は，その予備的評価になっている．
 \item[2)他言語への適応：] このアルゴリズムは日本語に特化したものであるが，基本的な考え方は他の言語にも適用可能と考える\footnote{ただし，``At-a-glance''性の効果が，漢字の表意文字の性質から得られている可能性も検討する必要がある．}．\cite{ueda00}では，英語での句表現要約生成方法について検討している．
 \item[3)品質の向上：] 要約の品質は解析の精度による部分が大きい．現在はパターンマッチをベースとしているが，意味を考慮に入れた構文解析器の導入で精度の向上を図ることが可能であると考える．
\end{description}

\acknowledgment

研究所および開発部をはじめ，議論，レビューを通じ本論文のブラッシュアップに貢献していただいた諸氏，および評価実験の被験者を快く引き受けていただいた諸氏に感謝する．


\bibliographystyle{jnlpbbl}
\bibliography{353}

\appendix

\section{関係の種類} \label{app1}
係り受け関係は個別には100種類以上あるので，タイプ別にまとめ図\ref{kankei}に示す．

\begin{figure}[htbp]
\begin{center}
  \epsfile{file=eps/kankei.eps,width=12cm}
  \caption{関係の種類別リスト}
  \label{kankei}
\end{center}
\end{figure}

\section{補完規則} \label{app2}
ここでは補完規則のうちコア関係に対する補完規則を示す．補完された関係にさらに補完を行う規則が存在するが，この規則のサブセットであるため省略する．コア関係が図\ref{complement}のノードA，BとアークRcoreで形成されているとき，付加可能な関係は，係り側Aにかかる関係(ノードCとアークRc) ，受け側Bに係る関係(ノードDとアークRd)，受け側Bからかかる関係(アークReとノードE)の3種である．表\ref{comprule}に補完規則をまとめる．

\begin{figure}[htbp]
\begin{center}
  \epsfile{file=eps/complement.eps,width=10cm}
  \caption{補完される場所}
  \label{complement}
\end{center}
\end{figure}

\vspace{-2em}
\begin{table}[htbp]
\begin{center}
  \caption{補完規則}
  \epsfile{file=eps/comprule.eps,width=14cm}
  \label{comprule}
\end{center}
\end{table}


\section{低減率の効果} \label{app3}
低減率を変え，本論文の第\ref{hajimeni}章および第\ref{gainen}章に対して句表現要約を作成した結果を示す．

\bigskip

{\bf
\begin{tabular}{l}
${\rm R} = 0.9$ \\
...indicativeな目的に用いられる要約の目標... \\
句表現要約手法は，...開発した． \\
句表現要約は，...「読む」負荷を読者に与えず... \\
句表現要約は，...句の並びで文書の概要を表現する... \\
...単語と単語の係り受け関係を...ふるいわけ... \\
\end{tabular}
}

\bigskip
{\bf
\begin{tabular}{l}
${\rm R} = 0.6$ \\
...文をピックアップする方法を採用している． \\
句表現要約手法は，...開発した．\\
...要約のふるいわけ効果の評価実験について述べる．\\
句表現要約は，...「読む」負荷を読者に与えず... \\
...単語と単語の係り受け関係を...ふるいわけ... \\
\end{tabular}
}

\bigskip
{\bf
\begin{tabular}{l}
 ${\rm R} = 0.3$ \\
 ...文をピックアップする方法を採用している．\\
 ...要約のふるいわけ効果の評価実験について述べる．\\
 At-a-glance要約で...具体的な目標にした... \\
 句表現要約は，...「読む」負荷を読者に与えず... \\
 ...単語と単語の係り受け関係を...ふるいわけ...
\end{tabular}
}

\vspace{2zw}

このように低減率を1に近くすると初期スコアの高い単語列(この場合は「句表現要約」)が複数回出現し，0に近づけると異なった部分が採用されやすくなる．どの要約が最もよいかという評価基準は存在せず，目的に合わせて選択することになる．現状では，要約を予め作成しておくため，より広い検索要求に応えられるよう異なった重要語が含まれるように(低減率は小さく)，一方特に重要な語はそれに応じて複数回出すこともできるように (低減率は大きく)という目的にあわせて0.5に設定している．検索要求に適した要約を検索時に作成する場合には検索要求に現れる語がどのようなコンテキストで現れているかがなるべく多く現れるようにするため低減率を1に近く設定しておいたほうがよいと考えられる．

\vspace{.5zw}

\begin{biography}
\biotitle{略歴}
\bioauthor{上田 良寛}{1980年京都大学工学部卒業．1982年同大学大学院工学研究科修士課程修了．同年富士ゼロックスに入社．機械翻訳，推敲支援，情報検索，要約などの研究・開発に従事．
1988年から1991年までATR自動翻訳電話研究所に在籍．言語処理学会，情報処理学
会，人工知能学会，ACL各会員．}

\bioauthor{岡 満美子}{1988年早稲田大学理工学部卒業．1990年同大学大学院理工学研究科修士課程修了．同年富士ゼロックスに入社．情報検索，テキスト要約などの研究・開発に従事．言語処理学会，情報処理学会，日本認知科学会各会員．}

\bioauthor{小山 剛弘}{1983年九州大学工学部卒業．1985年同大学大学院工学研究科修士課程修了．同年日本
電気
に入社．機械翻訳の研究・開発に従事．1991年富士ゼロックスに入社．情報検索，要
約，
分類などの研究・開発に従事．}

\bioauthor{宮内 忠信}{1987年東京農工大学工学部数理情報工学科卒業．同年富士ゼロックス入社．自然言語
処理，情報検索等の研究開発に従事．情報処理学会会員．}

\bioreceived{受付}
\biorevised{再受付}
\bioaccepted{採録}
\end{biography}

\end{document}
