



\documentstyle[epsf,jnlpbbl]{jnlp_j}
\input{epsf}

\setcounter{page}{63}
\setcounter{巻数}{7}
\setcounter{号数}{4}
\setcounter{年}{2000}
\setcounter{月}{10}
\受付{1999}{9}{21}
\再受付{1999}{12}{27}
\採録{2000}{6}{30}


\setcounter{secnumdepth}{2}

\title{語彙的連鎖に基づく要約の情報検索タスクを用いた評価}
\author{望月  源\affiref{JAIST} \and 奥村  学\affiref{TITECH}\affiref{JAIST}}

\headauthor{望月,奥村}
\headtitle{語彙的連鎖に基づく要約の情報検索タスクを用いた評価}

\affilabel{JAIST}{北陸先端科学技術大学院大学 情報科学研究科}
{School of Information Science, Japan Advanced Institute of
Science and Technology}
\affilabel{TITECH}{東京工業大学 精密工学研究所}
{Precision and Intelligence Laboratory, Tokyo Institute of Technology}


\jabstract{
電子化テキストの増大にともない，テキスト自動要約技術の重要性
が高まっている．近年，情報検索システムの普及により，検索結果
提示での利用が，要約の利用法として注目されている．要約の利用
により，ユーザは，検索結果のテキストが検索要求に適合している
かどうかを，素早く，正確に判定できる．
一般に情報検索システムでは，ユーザの関心が検索要求で表わされる
ため，提示される要約も，元テキストの内容のみから作成されるもの
より，検索要求を反映して作成されるものの方が良いと考えられる．
本稿では，我々が以前提案した語彙的連鎖に基づくパッセージ抽出
手法が，情報検索システムでの利用を想定した，
検索要求を考慮した要約作成手法として
利用できる
ことを示す．
語彙的連鎖の使用により，検索要求に関連するテキスト中のパッセー
ジを要約として抽出できる．
我々の手法の有効性を確かめるために，情報検索タスクに基づいた
要約の評価方法を採用し，10種類の要約作成手法による実験
を行なう．
実験結果によって，我々の手法の有効性が支持されることを示す．
また，評価実験の過程で観察された，タスクに基づく評価方法に関
する問題点や留意すべき点についても
分析し，報告する．
}

\jkeywords{テキスト自動要約, タスクに基づく評価, 情報検索，語彙的連鎖}

\etitle{Evaluation of Summaries Based on Lexical \\Chains 
Using Information Retrieval Task}
\eauthor{Hajime Mochizuki \affiref{JAIST}
	\and Manabu Okumura\affiref{TITECH}\affiref{JAIST}} 

\eabstract{ 
The importance of the automatic summarization research is now
increasing with the growing availability of on-line documents. In
information retrieval systems, summaries can be used as the display of
the retrieval results,
in order for users to quickly and accurately judge the relevance of
the documents which are returned as a result of the users' query.
Here, rather than producing a generic summary, the summary that reflects
the user's topic of interest expressed in the query would be considered as 
more suitable. This type of summary is often called `query-biased
summary'.
In this paper, we show that our previously proposed passage extraction
method based on lexical chains can be 
used 
 to produce better
query-biased summaries for information retrieval systems.
To evaluate the effectiveness of our method, a task-based evaluation
scheme is adopted. The results from the experiments 
support 
that query-biased
summaries by lexical chains outperform others in the accuracy of subject's 
relevance judgments.
Furthermore, to establish a better evaluation methodology, we also
investigate
and describe the problems that arise from the experimental design.
}

\ekeywords{automatic text summarization, task-based evaluation,
information retrieval, lexical chains}

\begin{document}
\maketitle


\newpage
\section{はじめに}
近年の電子化テキストの増大にともない，テキスト自動要約技術の重要性が高まっ
ている．要約を利用することで，より少ない労力や時間で，テキストの内容を把握
したり，そのテキストの全文を参照する必要があるかどうかを判定できるようにな
るため，テキスト処理にかかる人間の負担を軽減させることができる．

要約は一般に，その利用目的に応じて，元テキストの代わりとなるような要約
(informativeな要約)と，テキストの全文を参照するかどうかの判定等，全文
を参照する前の段階で利
用する要約(indicativeな要約)に分けられることが多い\cite{Oku:99:a}．このうち，
indicativeな要約については，近年情報検索システムが広く普及したことによ
り，検索結果を提示する際に利用することが，利用法として注目されるように
なってきている．
要約を利用することで，ユーザは，検索結果のテキストが検索要求に対して適
合しているかどうかを，テキスト全文を見ることなく，素早く，正確に判定で
きるようになる．

一般に情報検索システムを利用する際には，ユーザは，自分の関心を検索要求
という形で表わしているため，提示される要約も，元テキストの内容のみから
作成されるgenericな要約より，検索要求を反映して作成されるものの方が良
いと考えられる．


本稿では，我々が以前提案した語彙的連鎖に基づくパッセージ抽出手法
\cite{Mochizuki:99:a}が，情報検索システムでの利用を想定した，
検索要求を考慮した要約作成手法として
利用できる
ことを示す．

語彙的連鎖\cite{Morris:91}とは，語彙的結束性\cite{Halliday:76}を持つ語
の連続のことである．語彙的連鎖はテキスト中に複数存在し，各連鎖の範囲では，その
連鎖の概念に関連する話題が述べられている\cite{okumura:94a,Barzilay:97}．
我々の手法では，この語彙的連鎖の情報を利用することで，検索要求と強く関連し
たテキスト中の部分を抽出できるため，情報検索システムでの利用に適
した要約が作
成できる．また，検索要求と関連する部分を一まとまりのパッセージとして
得るため，連続性のある要約が作成できる．

我々の手法によって作成される要約の有効性を確かめるために，情報検索タスクに
基づいた要約の評価方法
\cite{Miike:94,Hand:97,Jing:98,Mani:98:a,tombros:98:b,Oku:99:a}
を採用し実験を行なう．
実験では，複数の被験者に要約と検索要求を提示し，被験者は，要約を元に，
各テキストが検索要求に適合するかどうかを判定する．
要約は，被験者の適合性判定の精度，タスクにかかった時間および判定に迷っ
た際に全文を参照した回数などに基づいて評価される．
また，要約の読み易さに関する評価も合わせて行なう．
我々の要約作成手法と，検索要求を考慮した，いくつかの従来の要約作成手法
\cite{tombros:98:b,shiomi:98:a,hasui:98:a}，検索要求を考慮しない，いくつか
の要約作成手法および，全文，タイトルのみの，合わせて10種類の手法を比較する実験
を行な
う．
また，タスクに基づく要約の評価は，最近になって採用され始めた新しい評価方法
であり，試行錯
誤の段階にある．そのため，今回の評価実験の過程で
観察された，タスクに基づく評価方法に関する問題点や留意すべき点について
も，いくつかのポイントから分析し，報告する．

以下，\ref{sec:sumpas}節では，我々の語彙的連鎖型パッセージ抽出法に基づ
く要約作成について述べ，\ref{sec:examination}節では実験方法について説明し，
\ref{sec:kekkakousatsu}節で結果の考察をする．最後に\ref{sec:conc}節でタス
クに基づく評価方法に関する問題点や留意すべき点について述べる．

\section{語彙的連鎖型パッセージ抽出法に基づく要約}\label{sec:sumpas}
本節では，我々が以前提案した語彙的連鎖に基づくパッセージ抽出手法による要約
作成手法について述べる．我々の要約作成手法は，次のような流れに基づく．ま
ず，テキスト中の語彙的連鎖を計算する．次に，我々の語彙的連鎖に基づくパッセー
ジ抽出手法により，検索要求に適合するテキスト中のパッセージを抽出する．
最後に，抽出されたパッセージを，あらかじめ決められた要約の長さに調節す
る処理を行ない，要約として出力する．

以下では，語彙的連鎖の計算方法と語彙的連鎖を用いたパッセージ抽出手法に
ついて順に，概略を説明する．詳細は\cite{Mochizuki:99:a}を参照して頂き
たい．

\subsection{語彙的連鎖の計算}\label{subsec:lexcal}
語彙的連鎖は次の手順で計算する．まず，コーパスを用いた単語の共起情報から2
つの単語間の類似度を式(\ref{equ:cosdis})のコサイン距離により計算する．
	\begin{equation}\label{equ:cosdis}
	coscr(X,Y) = \frac{\sum_{i=1}^{n} x_{i} \times y_{i}}
	{\sqrt{\sum_{i=1}^{n} x_{i}^{2}} \times \sqrt{\sum_{i=1}^{n}
	y_{i}^{2}}}
	\end{equation}
ここで，$x_{i}$と$y_{i}$はテキスト$i$に単語$X$と$Y$が出現する数($tf$)，$n$
はコーパスの全テキスト数を表わす．

次に，計算された類似度を基に，式(\ref{equ:min})の最短距離法によって単語を
クラスタリングする．
	\begin{equation}\label{equ:min}
	sim(C_i,C_j)=\max_{X\in C_{i},Y\in C_{j}} coscr(X, Y)
	\end{equation}
ここで，$X,Y$はクラスタ$C_i$内，$C_j$内の単語である．

閾値\footnote{我々の以前の研究\cite{Mochizuki:99:a}で最も良い連鎖を構
成した0.25を今回も閾値とした．}を用いて単語のクラスタを作成し，同一ク
ラスタ内にまとめられた単語の連続によって語彙的連鎖を構成する．

\subsection{語彙的連鎖を用いたパッセージ抽出}\label{subsec:expas}
パッセージ抽出の手順は次のようになる．まず，入力された検索要求内の語(以後，
{\bf 検索語}と呼ぶ)を含む語彙的連鎖の情報を取り出す．次に出現範囲に重なり
がある連鎖をまとめることによってパッセージを抽出する．この時に，各パッセー
ジと検索要求との類似度も計算する．最後に，類似度が最大のパッセージを，検索
要求と最も適合するパッセージとして選択する．
図\ref{fig:pasimg}に抽出されるパッセージの例を示す．

\begin{figure}[htbp]
\begin{center}
\atari(102,127)
\caption{パッセージの例}\label{fig:pasimg}
\end{center}
\end{figure}

図\ref{fig:pasimg}には，検索要求内の3つの検索語と，テキスト内で各検索
語を含む7つの語彙的連鎖(A1〜C3)が示されている．図\ref{fig:pasimg}では，出
現位置に重なりのある連鎖がまとめられ，3つのパッセージが抽出される．各パッ
セージと検索要求との類似度は，パッセージに含まれる連鎖のスコアおよび，連鎖
間の重なりの度合に基づき計算される．連鎖のスコアは，連鎖中の単語数に基づき
計算される．
最終的に，図の例では，最大の類似度のパッセージとして，比較的長い3つの連鎖
が互いに重なりあっている，パッセージ1が抽出される(斜線部分)．
抽出されたパッセージが，あらかじめ決められた要約の長さを越える場合，パッセー
ジの末尾から，長さの制約を満たすように，文を取り除き，最終的な要約として出
力する．

\section{評価実験}\label{sec:examination}
我々の要約作成手法の有効性を調べるため他の要約作成手法との比較実験を行なう．
評価方法としてタスクに基づく要約の評価方法を採用し，タスクとして情報検索を
選択する．
タスクに基づく要約の評価方法は，人間が要約を利用して，あるタスクを行なう際
のタスクの達成率や所要時間などを用いて，間接的に要約を評価するものであ
り，最近になって採用され始めている
\cite{Oku:99:a,Jing:98,Mani:98:a,tombros:98:b}．
本研究は情報検索システムでの利用に適した要約作成を目指しているため，情
報検索タスクにおいて，要約がどれだけ役立ったかによって評価することが自
然な評価であると考える．

本稿の情報検索タスクに基づく要約の評価実験は，TIPSTER Text Program
Phase IIIのために提案され
た手法\cite{Hand:97}を参考にしている．
今回の実験では，我々の提案手法と他の検索要求を考慮した手法などに全文，タイ
トルのみを含めた10種類の要約作成手法を実装し，それぞれの手法による要約を
使用している．そして，要約を，適合性判定の精度およびタスク達成にかかる時間な
どに基づいて比較評価する．
なお，要約の長さは，文を単位としてテキストの20\%とした．

以下の副節では，実装した各要約作成手法，実験方法，評価基準について順に説明
する．

\subsection{要約作成手法}
我々の提案手法と全文，タイトルのみのものも含めて次の10種類の要約作成手法を
実装する．なお，各手法の本稿での呼び名を{\bf ボールド体}で示す．
\begin{itemize}
\item 全文({\bf full})\\
	要約を行なわず，全文を要約として提示する．
\item タイトル({\bf title})\\
	テキストの見出しのみを要約として提示する．
\item lead手法({\bf lead})\\
	見出しを含み，先頭から文を抽出し，要約として提示する．
\item 形式段落({\bf f-seg})\\
テキストをあらかじめ形式段落に分割し，検索要求と各形式段落との類似度を計算
する．最も類似度の高い形式段落を1つ選び要約とする．ただし，選択された形式
段落の長さが要約の長さを越える場合には，
その段落の末尾から，長さの制約を満たすように，文を取り除き，最終的な要約と
する．
検索要求と形式段落の類似度は以下のように計算する．

形式段落ごとに単語の重要度$w_{i}$を基本的な$tf.idf$\cite{Salton:88b}の式
(\ref{equ:tfidf})により計算し，形式段落を単語の重要度のベクトル$D_{j}$
で表現する．
\begin{equation}\label{equ:tfidf}
\displaystyle{w_{i} = tf_{i}\times log\frac{N}{df_{i}}}
\end{equation}
ここで$tf_{i}$は段落内の単語$i$の頻度，$N$はテキスト集合内の総段落数，
$df_{i}$は単語$i$の出現段落数である．

検索要求と形式段落の類似度は，それぞれのベクトル$Q$，$D_{j}$を用いた，
以下の式で計算する．
\begin{equation}\label{equ:normsim}
sim(Q,D_{j}) = \sum_{i}(tf_{q_{i}}\times log\frac{N}{df_{i}})^2 \times w_{i}
\end{equation}
ここで，$tf_{q_{i}}$は検索語$q_{i}$の検索要求内の頻度である．
\item テキスト中の単語の重要度に基づく要約({\bf tf.idf, q-tf.idf})

テキスト中の単語の出現頻度から各単語の重要度を決定し，重要な単語を多く含む
文が重要であるという考えに基づき，文の重要度を計算する．
本稿ではZechner\cite{Zechner:96}と同様の手法を用いる．まず，テキスト中の各
単語の重要度$w_{i}$を計算する．次に，各文中の単語の重要度の総和を式
(\ref{scalc})により計算し，重要度$S_{j}$の高い文を抽出する．
	\begin{equation}\label{scalc}
		\displaystyle{S_{j}=\sum_{i} w_{i}}
		\end{equation}
この手法では，各単語の重要度$w_{i}$を計算する際に，検索要求を考慮
するかどうかの違いにより次の2種類の要約を作成できる．
	\begin{enumerate}
	\item 検索要求を考慮しない場合({\bf tf.idf})\\
	式(\ref{equ:tfidf})により，tf.idfを基に$w_{i}$を計算する．
	ただし，この場合の$tf_{i}$はテキスト内の単語$i$の出現頻度，$df_{i}$
	は単語$i$の出現するテキストの数，$N$は全テキスト数である．
	\item 検索要求を考慮する場合({\bf q-tf.idf})\\
	検索要求内の単語(検索語)には重み$\alpha$をかける\footnote
	{いくつかのテキストにおいて$\alpha$を2,3,4,5と変化させた予備的な実
	験で，重みをかけない場合との要約の違いが最も大きかった
	$3$を今回の$\alpha$の値とした．}．
	\begin{equation}\label{qb_tfidf}
	w_{i} =
	\left\{
        \begin{array}{rl}
	tf_{i}\times log\frac{N}{df_{i}} &\quad\mbox{検索語でない}\\
	\alpha\times tf_{i}\times log\frac{N}{df_{i}} &\quad\mbox{検索語}\\
        \end{array}\right.
	\end{equation}

検索要求を考慮した，従来の要約作成手法の多くは，この手法に基づいている
\cite{tombros:98:b,shiomi:98:a,hasui:98:a}．

	\end{enumerate}
\item テキスト中の語彙的連鎖の重要度に基づく要約({\bf cf.idf, q-cf.idf})\\
この手法では，重要な語彙的連鎖を構成する単語を多く含む文が重要であると考え，
文の重要度を決定する．
まず，語彙的連鎖を\ref{subsec:lexcal}節と同様に計算する．
次に，要約の作成は，単語の重要度に基づく場合と同様に，まず各連鎖の重要度
$w_{i}$を計算し，次に式(\ref{scalc})により各文中の連鎖の重要度の総和を計算
し，重要度$S_{j}$の高い文を抽出する．なお，$w_{i}$を計算する際に，
検索要求を考慮するかどうかの違いにより次の2種類の要約が作成できる．
	\begin{enumerate}
	\item 検索要求を考慮しない場合({\bf cf.idf})\\
	$w_{i}$を，連鎖$i$の構成単語数($cf$)と連鎖$i$の出現テキスト数
	($df_{i}$)により計算する．
		\begin{equation}\label{wchain_tfidf}
		\displaystyle{w_{i} = 
			\mid i\mid\times log\frac{N}{df_{i}}}
		\end{equation}
	ここで，$\mid i\mid$は連鎖$i$の構成単語数，$df_{i}$は
	連鎖$i$の出現テキスト数，$N$は全テキスト数である．

これまでの語彙的連鎖を用いた要約作成手法の多くは，
このような，連鎖を用いた重要文抽出と言うことができる
\cite{Barzilay:97,sanfilippo:98:a}．

	\item 検索要求を考慮する場合({\bf q-cf.idf})\\
	検索語を含む連鎖には重み$\alpha$をかける\footnote{{\bf q-tf.idf}の
	場合と同様に$\alpha=3$とした．}．
	\begin{equation}\label{qb_cfidf}
	w_{i} =
	\left\{
        \begin{array}{rl}
	\mid i\mid\times log\frac{N}{df_{i}} &\quad\mbox{検索語でない}\\
	\alpha\times \mid i\mid\times log\frac{N}{df_{i}} &\quad\mbox{検索語}\\
        \end{array}\right.
	\end{equation}
	\end{enumerate}

\item 語彙的連鎖型パッセージに基づく要約({\bf lex})\\
\ref{sec:sumpas}節で説明した，我々の手法によって要約を作成する．
\item 市販ワープロソフトによる要約({\bf J})\\
	本試験に先立ち，市販の代表的な要約機能付きワープロ3種によっ
	て作成した要約を用い，被験者9人による予備実験を行なった．
	結果として総合的に最も精度の高かったJの要約を本試験に使用する．
\end{itemize}


\subsection{実験方法}
実験には『情報検索テストコレクションBMIR-J2』\cite{BMIR-J2:98j}を使用する．
BMIR-J2は，テキスト5080件(毎日新聞1994年版の経済および工学，工業技術一般に
関連する記事)，検索要求50種とその正解がセットとなった情報検索用テストコレ
クションである．今回は全セットの中から，主題を表わすA判定の正解テキストが
10テキスト以上ある10種類の検索要求と，各検索要求ごとに20テキストを選択して使
用する．この20テキストは，まず検索システムを用いて，各検索要求によるキー
ワード検索を行ない，検
索結果として得られたテキストの中から正解テキストの割合が50\%以上に
なるように選択する．

被験者は，日本語を母国語とする情報科学系の大学院生30名とする．各被験者には，
検索要求とその要求に対応する20テキストのリストおよび各テキストの要約を提示
する．被験者は，各テキストが検索要求に適合するかどうかを判定し，20テキスト
の判定にかかった時間を記録する．また，要約を読んでも適合性の判定がつかない
場合に限り，そのテキストの全文を参照することが許される．ただし，全文を参照
した場合には，その参照回数を検索要求ごとに記録する．また，提示された各要約
について，要約としてではなく，日本語の文章としての読み易さを主観で判定
してもらう．
読み易さの判定は，1．わかりやすい，2．ややわかりやすい，3．
ややわかりにくい，4．わかりにくい，の4段階とする\footnote{判定を奇数にする
と真中が選択される傾向が予想されるため，この4段階とした．}．

1人の被験者は同じ検索要求と
テキストの組を1度しか判定できないため，30名を3名づつの10グループに分け，各
グループが異なる要約作成手法と検索要求の組を10組づつ評価するという形を採用
する．そのため，1組の検索要求と要約作成手法に対し3名が評価を行なう．


\subsection{評価基準}
以下の点について評価を行なう．
\begin{itemize}
\item 適合性判定の精度\\
被験者の適合性判定と，テストコレクションの正解を比較し，適合性判定の精度を
計算する．評価尺度には再現率，適合率，F-measureを使用する．

\begin{equation}
再現率 = \displaystyle{	\frac{被験者が正しく適合と判定した数}
		{実際に適合するテキスト数}}
\end{equation}
\begin{equation}
適合率 = \displaystyle{	\frac{被験者が正しく適合と判定した数}
		{{\small 被験者が適合と判定したテキストの総数}}}
\end{equation}
\begin{equation}
F-measure =  \displaystyle{\frac{2\times 再現率\times 適合率}
		{再現率+適合率}}
\end{equation}

\item タスクにかかった時間\\
被験者が1つの検索要求についてタスクにかかった時間を記録し，平均時間を計
算する．
\item 全文を参照した回数\\
要約によって判定がつかない場合に参照した全文の回数を記録する．
\item 要約の文章としての読み易さ\\
検索要求との関係などを一切考慮せず，要約の文章としての読み易さを4段階で評価
する．
\end{itemize}

\section{結果と考察}\label{sec:kekkakousatsu}
\subsection{実験結果}
今回の実験では言語的，教育的背景の似ている被験者を30名選択している．これ
は，被験者の知識や背景の違いに起因する検索要求の解釈や判定の違いをできるだ
け排除するためである．つまり，被験者のタスク達成精度にはあまり差がないこと
を仮定している．
しかし，30名の実験結果から計算されたタスクの達成精度について，F-measureを
用いて一元配置分散分析を行なったところ差がみられた($p<0.0039$)．
そのため，F-measureを基準にし，図\ref{fig:FM}の丸で囲んだ，差の少ない21名
($p<0.9995$)によって以後の評価を行なうこととした．
\begin{figure}[htbp]
\begin{center}
\atari(106,64)
\caption{被験者のF-measureの分布}\label{fig:FM}
\end{center}
\end{figure}

21名での実験結果を表\ref{tab:er}に示す．
\begin{table*}[htbp]
\begin{center}
{\small
\begin{tabular}{|c|c|c|c|c|c|c|c|c|c|c|}\hline
	& full & title& lead &  f-seg & tf.idf
		& {\small q-tf.idf} & cf.idf & {\small q-cf.idf} & lex & J \\\hline
再現率 & 87.1\% & 86.7 & 85.9 & 87.2 & 86.3
		& 89.6 & 87.0 & 85.3 & 90.5 & 86.5\\
適合率 & 89.0\% & 89.1 & 88.9 & 88.8 & 89.7 
		& 85.3 & 85.3 & 87.0 & 88.5 & 91.3\\
{\small F-measure} 
		& 87.2\% & 87.0 & 86.6 & 87.1 & 87.2
		& 86.6 & 84.9 & 84.9 & 89.1 & 87.6\\
{\small 読み易さ} & 4.1    & 1.8  & 4.6  & 3.7  & 3.8  
		& 4.0  & 4.3  & 3.9  & 4.1  & 5.5  \\
{\small 時間(分:秒)}  & 15:38 & 7:54& 9:47&10:55&10:37
		& 9:54&10:54&10:29&10:41&10:52\\
時間比 & 100\%    & 50.5 & 62.6 & 69.8 & 67.9
		& 63.3 & 69.7 & 67.1 & 68.3 & 69.5\\%\hline
{\small 参照回数}& 0.6    & 4.8  & 3.8  & 2.8  & 2.6
		& 1.7  & 2.0  & 1.5  & 1.9  & 2.0\\%\hline
{\small 平均文間数}& 0.0    & 0.0  & 0.0  & 0.0  & 3.6
		& 3.5  & 3.8  & 3.6  & 0.0  & 1.4 \\%\hline
{\small 要約率(語)}& 100.0\%& 5.3  & 19.1 & 21.7 & 32.1
		& 31.5 & 30.5 & 30.2 & 23.6 & 27.7\\\hline
\end{tabular}
}
\caption{実験結果}\label{tab:er}
\end{center}
\end{table*}

表\ref{tab:er}には，検索要求(20テキスト)ごとの結果の平均が示されている
\footnote{表中のF-measureの値も検索要求ごとのF-measureの平均である．}
．表中の「読み易さ」は，被験者が4段階で判定した読み易さを数値化した値である．
この数値は，各テキストについて被験者が「わかりやすい」と判定した場合に10点，
「ややわかりやすい」と判定した場合に5点，「ややわかりにくい」，「わかりに
くい」の場合それぞれ，-5点，-10点に換算して足し合わせた値の平均である
\footnote{
今回の実験で，「短すぎると何が言いたいのか分からない」という被験者の意見
が多く見られた．これは被験者が，設問にある「要約の文章としての読み易さ」か
ら少しずれて「適合性判定がしやすいかどうか」で判断してしまう傾向があること
を示している．}
．
また，「時間比」は各要約での作業に要した時間を全文で要した時間で割った値で
ある．

また，「平均文間数」として，要約内の隣接2文間の，元テキスト(全文)での距離
(文間数)の平均を合わせて示した．
この平均文間数が0に近いものほど，作成された要約の連続性が高いことを意味し
ている．
さらに，今回の要約の長さは文を
単位として元テキストの20\%としているが，語を単位として各手法の要約の長
さを計算したものを「要約率(語)」として示している．

被験者の判定の統計的信頼性について，Jingら\cite{Jing:98}と同様に，帰無仮説
を「あるテキストが検索要求に適合すると被験者の判定する数はランダムである」
としたCochranのQ-test\cite{statistical:81}を行なった．その結果，全10種の検
索要求のいずれの場合も$p<10^{-5}$であり，帰無仮説は棄却された．つまり，今
回の実験で被験者達は適合するテキストをランダムに選択しているのではないとの
検定結果を得た．


\subsection{考察}\label{sec:kousatsu}
上記の実験結果について，
まず，
10種類の要約作成手法全体
での考察を，
適合性判定の精度，タスク達成にかかる時間，要約の文章と
しての読み易さに焦点をあてて
行なう．
次に，各手法を作成された要約の類似性に
基づいて分類し，各分類に対する考察を同様の観点から行なう．


\subsubsection{全要約作成手法間の比較}
全要約作成手法をF-measureによって比較すると，我々の語彙的連鎖型パッセー
ジに基づく要約({\bf lex})が最も良く，{\bf J}とともに全文({\bf full})での
精度を上回っている．他のものは{\bf full}と同じかやや低い値となっている．
ただし，今回の10種の要約作成手法でのF-measureについて，一元配置分散分析を
行なった結果，全体としてF-measureの平均値に統計的な有意差は見られなかった
($p<0.9725$)．
これは，今回の実験において適合性の判定に迷う場合に全文の参照を許したことが
一因となっていると思われるが，全文参照の影響を推測できないため，特に補正は
行なっていない．
作業時間に関しては，
{\bf full}が最も長くかかっており，
どの要約作成手法によっても時間短縮の効果はあると言える．
要約手法間では，{\bf title}が一番短かく，20テキストあたりの作業時間では他
の手法との間に大きな差が見られた．他の手法間では互いにそれほど差がなかった．

適合性判定の精度と作業時間をあわせて考えると，
{\bf title}が，精度面では最も高かった{\bf lex}よりもやや劣るものの，作業時
間ではかなり短く，総合的には，{\bf title}を表示し，わかりにくいものについ
ては全文を参照する方法が効率的であると見ることができる．
しかし，実際に検索対象となるテキストには必ずしも見出しが付いているわけでは
なく，いつも{\bf title}手法が利用できるとは限らない．一方，見出しのないテ
キストにも利用できる自動的な要約手法の中では，総合的に{\bf lex}が一番良い
数値を示していると言える．

読み易さについては，{\bf J}, {\bf lead},{\bf cf.idf}が{\bf full}よりも高く，
{\bf lex}は{\bf full}と同じであり，それ以外は{\bf full}よりも低い．また
今回の実験では
{\bf title}が一番低い値であった．
読み易さについては，後述するように要約を
元テキストの先頭から選ぶ傾向のある手法({\bf lead}，{\bf lex}，{\bf J})の値
が高いと言える．


\subsubsection{要約の類似性に基づく比較}\label{subsec:sumsim}
次に，作成された要約の類似性に
基づいて各手法を分類し，結果を考察する．
類似度は次のように計算する．まず要約作成手法ごとに，要素を元テキスト(全文)
の各文とし，値をその文が重要文として選択されれば1，されなければ0としたベク
トルを用意する．次に2つのベクトル間のコサイン距離を計算し，各要約作成手法
間の類似度とする．最後に，最短距離法と平均距離法の2種類のクラスタ間距離に
よって，要約作成手法の階層型クラスタリングを行なう．結果として，どちらの距
離においても図\ref{fig:sim}のように
{\bf J}と{\bf lead}と{\bf lex}のグループ({\bf グループ1})，
{\bf tf.idf}，{\bf cf.idf}，{\bf q-tf.idf}, {\bf q-cf.idf}のグループ
({\bf グループ2})，
{\bf f-seg}だけのグループ({\bf グループ3})の3つのグループに分類された．
図\ref{fig:sim}で上段の数字が最短距離法，下段が平均距離法での類似度を示して
いる．なお，{\bf full}と{\bf title}は他の手法との比較に意味がないため除外
している．

\begin{figure}[htbp]
\begin{center}
\atari(110,78)
\caption{要約間の類似度}\label{fig:sim}
\end{center}
\end{figure}

{\bf グループ1}に分類された3つの手法によって作成される要約は，連続性が高い
点で共通している．この内，{\bf lead}と{\bf lex}は完全に連続である．また，
{\bf J}の要約作成手法は不明だが，{\bf lex}と{\bf J}の類似度は0.47であり，
それほど高くないため，{\bf lex}と{\bf J}が元テキストの先頭部
分をある程度含むことと，{\bf J}が先頭部分と離れた文もある程度の割合で含む
ことがわかる．

{\bf グループ2}に分類された4つの要約作成手法は，どれも文中の語や語彙的連鎖
に重みをかけて，重要度の高い文を抜き出す手法であり，作成される要約の連続性
が低い点で共通している．
また，
どの手法間の類似度も非常に高く，
このグループでは，
検索要求の考慮や，重み付けの単位が語か語彙的連鎖かという違いが，作成される
要約にそれほど大きく影響していない．


{\bf グループ3}は{\bf f-seg}だけのグループである．
{\bf f-seg}では，{\bf グループ1}と同様に連続性の高い要約が作成されるが，選
択される文の元テキストでの位置が大きく異なっている．

F-measureによって適合性判定の精度を比較すると，最も良かった{\bf lex}と
{\bf J}が同じ{\bf グループ1}に分類されている．
少なくとも今回の実験では先頭部分をある程度含み，連続性の
高い
要約が，適合性の判断において良い精度を収めている．しかし，{\bf lead}はそれ
ほど精度が良くないため，単純に先頭から抜き出す要約はそれほど有効でなかった
と言える．
読み易さに関しても{\bf グループ1}が比較的高い評価を得ている．

また，今回の要約作成手法には{\bf lex}のように検索要求を考慮するものと，
しないものという違いがあった．それぞれのグループについて見ると，
{\bf グループ2}の連続性の低い要約の場合には，検索要求を考慮することで判定
はしやすくなるが，精度は必ずしも向上していない．一方，連続性のある要約の場
合には，
検索要求を考慮する{\bf グループ1}の{\bf lex}および，{\bf グループ3}の
 {\bf f-seg}のどちらの場合にも，検索要求を考慮しない{\bf lead}よりも精度が
向上した．

\section{おわりに}\label{sec:conc}
本稿では，我々が以前に提案した語彙的連鎖に基づくパッセージ抽出手法が，
検索要求を考慮した要約作成に利用できることを示し，
情報検索タスクに基づいた要約の評価方法
によって，
他の要約作成手法との比較を行なった．
今回の実験結果では，被験者に全文の参照を許したこともあり，適合性判定の精度
に統計的有意差が得られなかったため確定的な結論は導けないが，実験結果の数値
は
本手法
が情報検索タスクにおいて，
有効な要約作成手法であることを支持するものであった．
作業時間に関しては，特に優位性を示す実験数値は得られなかった．
読み易さに関しては，全文の場合と同等の評価を得た．


今回の評価実験の経験から，要約の評価実験を実施する上で考慮すべき点とし
て次のことがあげられる．
\begin{itemize}
\item 全文参照の影響\\
要約作成手法間の精度比較で全体的な統計的有意性が得られなかった原因として，
全文参照を許したことが考えられる．
全文参照が精度に影響する度合がはっきりせず，影響の度合を推測することも困難
であるため，実験での全文参照は許さない方が良い．
また，参照によってタスクの達成時間も変化すると思われるが，やはり影響の度合
がはっきりしない．この点からも参照は許さない方が良い．しかし，要約だけでは
判定のつかない場合も確かに存在するため，そのような場合に，どうすべきかも考
慮しておく必要がある．
\item 読み易さの判定\\
要約作成手法間のタスク達成時間の比較で，ほとんど差が出なかった主な原因とし
て，読み易さの判定を同時に行なったことが考えられる．読み易さの判定は，適合
性判定に比べてかなり多くの時間を要するため，適合性判定の際についた各手法間
の時間差がはっきりしなくなったようである．そのため全く別の実験とした方が良
い．
\item 検索要求とテキストの選択\\
要約作成手法間の比較評価には向かない検索要求とテキストの組み合わせとして，
次のような関係が考えられる．
\begin{enumerate}
\item 検索要求に関係する単語が比較的均等に散らばっているテキストと要求の組.\\
この場合には，テキスト中のどの部分を要約として取り出しても，検索要求と
の適合性判定がしやすい要約が作成される可能性がある．
\item 単語の分布が均等でなくても，検索語の出現頻度が高いテキストと要求の組.\\
この場合には，検索要求を考慮した要約作成手法と，しない手法のそれぞれによっ
て作成される要約の差がつきにくくなる可能性がある．
\end{enumerate}

要約作成手法間の相違をよりはっきりさせるためには，少なくとも，以上の点を考
慮して検索要求とテキストを選択する必要がある．
しかし，最適な検索要求とテキストを選択するための基準は現在のところ明らかで
ない．また，検索要求とテキストを組にして考える必要があり，難しい問題である
ため，今後の課題である．
\end{itemize}

\vspace{5mm}

\acknowledgment

本研究では，(社)情報処理学会・データベースシステム研究会が，新情報処理開発
機構との共同作業により構築したBMIR-J2を利用させていただきました．感謝致し
ます．共起計算では日立製作所中央研究所の西岡真吾研究員の開発されたプログラ
ムを使用させていただきました．感謝致します．
また，本論文に対し，有意義なコメントを戴いた査読者の方に感謝致します．


\bibliographystyle{jnlpbbl}
\bibliography{jpaper}


\begin{biography}

\biotitle{略歴}
\bioauthor{望月 源(正会員)}{
1970年生．
1993年金沢大学経済学部経済学科卒業．
1999年北陸先端科学技術大学院大学情報科学研究科博士後期課程修了．
同年4月より，北陸先端科学技術大学院大学情報科学研究科助手．
博士(情報科学)．自然言語処理，知的情報検索システムの研究に従事．
情報処理学会会員
}
\bioauthor{奥村 学(正会員)}{
1962年生．1984年東京工業大学工学部情報工学科卒業．1989年同大学院博士課
程修了．同年，東京工業大学工学部情報工学科助手．1992年北陸先端科学技術
大学院大学情報科学研究科助教授，2000年東京工業大学精密工学研究所助教授，
現在に至る．工学博士．自然言語処理，知的情報提示技術，語学学習支援，テ
キストマイニングに関する研究に従事．
情報処理学会，人工知能学会, 
AAAI，言語処理学会，ACL, 認知科学会，計量国語学会各会員．\\
oku@pi.titech.ac.jp, http://www.jaist.ac.jp/\~\,oku/okumura-j.html.
}

\bioreceived{受付}
\biorevised{再受付}
\bioaccepted{採録}

\end{biography}

\newpage

\verb+  +

\end{document}
