\documentstyle[jnlpbbl]{jnlp_j_b5}


\setcounter{page}{129}
\setcounter{巻数}{9}
\setcounter{号数}{3}
\setcounter{年}{2002}
\setcounter{月}{7}
\受付{2001}{11}{7}
\再受付{2002}{1}{13}
\採録{2002}{4}{5}

\title{要約の内的(intrinsic)な評価法に関する\\
いくつかの考察\\
-- 第2回NTCIR ワークショップ\\
自動要約タスク(TSC)を基に --}
\author{難波 英嗣\affiref{TITECH} \and
  奥村 学\affiref{TITECH}}

\headauthor{難波，奥村}
\headtitle{要約の内的(intrinsic)な評価法に関するいくつかの考察}

\affilabel{TITECH}{東京工業大学精密工学研究所}{Precision and Intelligence Laboratory，Tokyo Institute of Technology}

\jabstract{
\quad 
システムの出力した要約そのものを評価する方法は，一般に内的な評価と呼ばれ
ている．これまでの典型的な内的な評価の方法は，人手で作成した抜粋と要約シ
ステムの出力との一致度を，F-measure等の尺度を用いて測ることで行われてき
た．しかし，F-measureは，テキスト中に類似の内容を含む文が複数存在する場
合，どちらの文が正解として選択されるかにより，システムの評価が大きく変化
する，という問題点がある．本研究では，この問題点を解消するいくつかの評価
方法をとりあげ，その有用性に関する議論を行う．F-measureの問題点を解消す
る評価方法の1つにutility に基づく評価があるが，この方法では評価に用いる
データ作成にコストがかかるという問題がある．本研究では，あるテキストに関
する複数の要約率のデータを用いることで，疑似的にutilityに基づく評価を実
現する方法を提案する．提案する評価方法を，第2回NTCIR ワークショップ自動
要約タスク(TSC)のデータに適用し，有用性に関する調査を行った結果，提案方
法は，F-measureの問題点をある程度改善できることが確認された．次に，
F-measureの問題点を解消する他の評価方法の一つであるcontent-basedな評価を
取り上げる．content-basedな評価では，指定された要約率の正解要約を一つだ
け用意すれば評価可能であるため，utilityに基づく評価に比べ，被験者への負
荷が少ない．しかし，この評価方法で2つの要約を比較する場合，どの程度意味
があるのかについては，これまで十分な議論がなされていない．そこで，
pseudo-utilityに基づく評価と同様にTSC のデータを用い，content-based な評
価の結果を被験者による主観評価の結果と比較した結果，2つの要約が
content-basedな評価値で0.2 以上の開きがあれば，93\%以上の割合で主観評価
の結果と一致することが分かった．
}

\jkeywords{pseudo-utilityに基づく評価，F-measure，content-basedな評価，
テキスト自動要約，内的な評価，TSC，NTCIR}

\etitle{Some Examinations of Intrinsic Methods\\
 for Summary Evaluation\\
Based on Text Summarization Challenge(TSC),\\
a Subtask of NTCIR Workshop 2}
\eauthor{Hidetsugu Nanba\affiref{JSPS} \and
 Manabu Okumura\affiref{TITECH}}

\eabstract{ \quad
Evaluation methods whose targets are system outputs (summaries)
themselves are often called ``intrinsic methods''. Computer-produced
summaries have been traditionally evaluated by comparing with
human-written summaries using the F-measure. But, the F-measure has the
following problem: the F-measure is not appropriate when alternative
sentences are possible in a human-produced extract. For example, when
there are two sentences 1 and 2, and sentence 1 is in a human-produced
extract, if a system chooses sentence 2, it obtains lower score, even if
sentences 1 and 2 are interchangeable. In this paper, we examine some of
the evaluation methods devised to overcome the problem. Several methods
that devised to overcome the problem have been proposed. Utility-based
measure is one of them. However, the method requires a lot of effort for
humans to make data for evaluation. In this paper, we first propose
pseudo-utility-based measure that uses human-produced extracts at
different compression ratios. In order to evaluate the effectiveness of
pseudo-utility-based measure, we compare our measure and the F-measure
using the data of Text Summarization Challenge(TSC), a subtask of NTCIR
workshop 2, and show that pseudo-utility-based measure can resolve the
problem. Next, we focus on content-based evaluation. Though it is
reported that content-based measure is effective to resolve the problem,
it has not been examined from a viewpoint of comparison of two extracts
that are produced from different systems. We evaluated
computer-produced summaries of the TSC by the content-based measure, and
compared the results with a subjective evaluation. We found that the
evaluation by the content-based measure matched those by humans in 93\%
of the cases, if the gap in the content-based scores between two
abstracts is more than 0.2.}



\ekeywords{pseudo-utility-based evaluation, the F-measure,
content-based evaluation, automatic text summarization, intrinsic
method, TSC, NTCIR}

\begin{document}
\thispagestyle{myheadings}
\maketitle

\section{序論}

近年，テキスト自動要約の研究が活発化するとともに，要約の評価方法が研究
分野内の重要な検討課題の一つとして認識されてきている．これまで提案され
てきた要約の評価方法は，内的な(intrinsic)評価と外的な(extrinsic)評価の
2種類に分けることができる\cite{Sparck-Jones:1996}．内的な評価とは，シ
ステムの出力した要約そのものを，主に内容と読みやすさの2つの側面から評
価する方法である．一方， 外的な評価とは，要約を利用して人間がタスクを
行う場合の，タスクの達成率が間接的に要約の評価となるという考え方に基づ
いて評価を行う方法である．本研究では，近年活発にその評価方法が議論され，
改良が試みられている内的な評価，特に内容に関する評価方法に焦点を当てる．

これまでの要約の内容に関する評価は，人手で作成した抜粋と要約システムの出
力との一致の度合を，F-measure等の尺度を用いて測るのが典型的な方法であっ
た．しかし，Jingら\cite{jing:98:a}は，要約のF-measureによる評価と外的な
評価を分析し，F-measureには「テキスト中に類似の内容を含む文が複数
存在する場合，どちらの文が正解として選択されるかにより，システムの評価は
大きく変化する」という問題があることを指摘している．






この問題点を解決する方法がこれまでにいくつか提案されている．
Radevら\cite{radev:00:a}は，文のutilityという概念を用いた評価方法を示し
ている．文のutilityとは，そのテキストの話題に対する各文の適合度(重要度)
を10段階で表したものであり，正解の文のutility にどのくらい近いutilityの
文を選択できるかで評価を行なう．しかし，このような適合性の評価は被験者へ
の作業負荷が大きいという問題がある．

Donawayら\cite{Donaway:2000}は，人間の作成した正解要約の単語頻度ベクトル
とシステムの要約の単語頻度ベクトルの間のコサイン距離で評価する
content-basedな評価を提案している．content-basedな評価では，指定された要
約率の正解要約を一つだけ用意すれば評価可能であるため，utilityに基づく評
価に比べ，被験者への負荷が少ない．しかし，この評価方法で2つの要約を比較
する場合，どの程度意味があるのかについては，これまで十分な議論がなされて
いない．

そこで，本研究では，まず，utilityに基づく評価の問題点を改良する新しい評
価方法を提案する．一般に低い要約率の抜粋に含まれる文は高い要約率の抜粋中
の文よりも重要であると考えられる．このような考えに基づけば，あるテキスト
に関して複数の要約率のデータが存在する場合，テキスト中の各文に重要度を割
り振ることが可能であるため，utilityに基づく評価を疑似的に実現することが
できる．これまでの要約研究において，1テキストにつき複数の要約率で正解要
約が作成されたデータは数多く存在する(例えば，\cite{jing:98:a})ことから，
提案する評価方法に用いるデータの作成にかかる負荷は決して非現実的なもので
はなく，utilityを直接被験者が付与するより負荷は小さいと考えられる．




本研究では，評価型ワークショップNTCIR 2の要約サブタスクTSC(Text
Summarization Challenge)\cite{Fukushima:2001a,Fukushima:2001b}で作成され
た10\%，30\%，50\% の3種類の要約率の正解データを用いて，提案方法により評
価を行う．この評価結果をF-measureによる結果と比較し，提案方法がF-measure
による評価を改善できることを示す．

次に，本研究では，content-basedな評価を取り上げる．同様にTSCのデータを用
いて，人間の主観評価の結果と比較し，これまで十分議論されていないその有用
性に関する議論を行う．

本論文の構成は以下のとおりである．次節では，まず，これまで提案されてきた
内的な評価方法，特にF-measureの問題点の解消方法について述べる．3節では，
本研究で提案する評価方法について説明する．4節では，F-measureと提案する評
価方法を比較し，結果を報告する．また，content-basedな評価に関する調査に
ついても述べる．最後に結論と今後の課題について述べる．


\section{関連研究}



要約の内容に関する評価について，Jingら\cite{jing:98:a}は，典型的な評価方
法の1つであるF-measureをとりあげ，その問題点をいくつか指摘している．Jing 
らは，システムの要約と人間の被験者の作成した抜粋との比較による評価と，要
約を利用して人間がタスクを行なう場合のタスクの達成率による評価の2つの評
価方法を分析し，評価結果に影響を与える要因を同定することを試みているが，
その結果少なくとも次の2つの点において，これまでの人間の抜粋を用いた評価
方法は問題であるとの知見を得ている．

\begin{itemize}
 \item {\bf 問題点1(要約率の変化に伴う評価値の変化):}\\
       人間の抜粋との比較による評価では，要約率を変化させると，システム
       の評価がかなり変化する．このため，特定の要約率でシステム間の性能
       の比較をする意味がどの程度あるのかは疑問が残る．
 \item {\bf 問題点2(テキスト中の複数類似個所の選択問題):}\\
       テキスト中に類似の内容を含む文が複数存在する場合，どちらの文が正
       解として選択されるかにより，システムの評価は大きく変化する．
\end{itemize}


これまで，問題点1(要約率の変化に伴う評価値の変化)を解消するいくつかの方
法が提案されている．
Mittalら\cite{mittal:99:a}は，要約率の違いによるシステムの評価の違いに関
して，さまざまな要約率における精度を求めた上で，情報検索の評価で用いられ
ている11点平均精度(11 point average precision)のように，複数の要約率での
精度の平均として結果を示すべきであるとしている．

また，コーパスとするテキスト集合の違いが精度に影響を与えることから，コー
パスの要約のしやすさを計る指標として，ランダムに文を選択して要約を作成し
た場合の精度をベースラインとして示すべきであると主張している．そして，シ
ステムの性能を評価する場合，

\[ p' = \frac{p-b}{1-b} \]
(ここで，p，b，p'はそれぞれシステム，ベースライン，補正後のシステムの精
度)のように，ベースラインを用いて補正した精度を用いるべきであるとしてい
る．

一般に，F-measureで要約の精度を評価する場合，ベースライン値＝要約率と
考えることができるため，要約率が大きくなるにつれ，F-measure値は大きく
なる傾向にある．従って，ベースラインを用いて評価値を補正する上記の評価
方法は，Jingらの指摘する問題点1の解消には有用であると考えられる．

一方，被験者間の一致の度合をJとすると，Jは要約システムの精度の上限と考え
られ，また，ランダムに選択した時の精度Rは下限と言える．そのため，Radevら
\cite{radev:00:a}も，Mittalらと同様に，システムの性能を計る値を示す際，
普通に計算された値Sを単に用いるのではなく，これらの値で正規化した値\[ S'
= \frac{S-R}{J-R} \]を示すべきであるとしている．

問題点2(テキスト中の複数類似個所の選択問題)を解消する方法もいくつ
か提案されている．Jingら\cite{jing:98:a}は，人間が選択した重要文を用いて
評価を行なう際，正解と一致した場合正解数1，一致しない場合0として再現率，
精度を計算するのではなく，正解数を被験者間の一致の度合として計算する方法
を提案している．たとえば，5人の被験者中3人，2人がそれぞれ一致して選択し
た文が存在する場合，これまでの評価方法では，前者をシステムが選択した場合
正解数1(過半数以上の被験者が選択しているので)，後者では0となるが，提案す
る方法では，システムの正解数は，前者では3/5，後者では2/5となる．

Radevら\cite{radev:00:a}は，文のutilityという概念を用いた評価方法を示している．文の
utilityは，文がそのテキストの話題に対してどの程度適合した内容であるかを
示す尺度であり，[0-10]の値をとる\footnote{genericな要約を考えた場合，テ
キスト中での文の重要度を示していると考えて良い．}．人間が選択した重要文
を用いたこれまでの評価方法は，正解と一致した場合正解数1，一致しない場
合0として再現率，精度を計算していたが，utilityに基づく評価値は，システム
が選択した文に対して人間が割り当てたutilityの総和を，正解の文のutilityの
総和で割った値として計算する．これまでの評価方法では，システムが選択した
不正解の文は，全く評価が得られなかったのに対し，utilityに基づく評価の場
合，Jingらの方法と同様に，たとえ不正解でもその文がある程度の重要度を持
つ場合，その重要度に対する部分的な評価が得られる点が異なる．ただ一つ正解
が存在し，それとまさに一致することを要求されていたこれまでの評価に比べ，
正解の文のutilityにどのくらい近いutilityの文を選択できるかで評価を行なう．

Donawayら\cite{Donaway:2000}は，2種類の評価方法を提案している．一つは，
人間にも，システムにも，テキスト中の文にすべて順位をつけさせるようにし
て，その文の序列を比較して評価を行なう方法である．これは，これまでの方
法がテキスト中の文を重要/非重要の2つに分類して評価に利用していたのに対
し，テキスト中の文数に分類して利用することに相当する．
Donawayらが提案するもう一つの評価尺度は，人間の作成した正解要約の単語頻
度ベクトルとシステムの要約の単語頻度ベクトルの間のコサイン距離で評価する
方法(以後，content-basedな評価)である．

Donawayらは，この2種類の評価尺度にこれまでの評価方法である再現率に基づ
いた評価を加え，これらを実験により比較，検討している．正解の抜粋に含ま
れる個所が要約作成者毎に異なっていても，内容の類似した個所を抜き出して
いるのであれば，どの要約作成者の抜粋を用いても似たような評価値が得られ
る必要がある．Donawayらは，4人の要約作成者の作った抜粋を用いて，上で述
べたいくつかの尺度で要約を評価し，尺度毎に評価値の相関を調べている．そ
の結果，content-basedな評価が人間の要約との比較による評価方法としては，
Jingらの指摘する問題点2に対する解決策ともなっており，もっとも優れてい
ると結論づけている．


\section{pseudo-utilityに基づく評価}

本研究では，あるテキストに関する複数の要約率の正解データを用いることで，
utilityに基づく評価を疑似的に実現する方法(以後，pseudo-utilityに基づく評
価)を提案する．

例えばあるテキストに，要約率が$r_{1}$\%，
$r_{2}$\%，$r_{3}$\%($r_{1} < r_{2}, r_{2} < r_{3}$)の3種類の正解データ
が存在する場合，テキスト中の各文は(1)$r_{1}$\%の要約に含まれる文，
(2)$r_{1}$\%には含まれないが$r_{2}$\%には含まれる文，(3)$r_{2}$\%には含まれ
ないが$r_{3}$\%には含まれる文，(4)$r_{3}$\%に含まれない文の4種類に分けら
れる\footnote {ただし，$r_{1}$\%の要約は$r_{2}$\%の要約に($r_{1}<r_{2}$)，
$r_{2}$\%の要約は$r_{3}$\%の要約に($r_{2}<r_{3}$)含まれていることが前提
となる．}．これらは，テキストの話題に対する各文の適合度が4段階で表された
データと考えることができるため，4段階の疑似的なutilityに基づく評価が実現
できる．


表\ref{table:exp1}に示す例を用いて，pseudo-utilityの計算方法を説明する．
表\ref{table:exp1}は，要約率10\%，30\%，50\%の要約データを用いた場合につ
いて述べている．表\ref{table:exp1}では，S1--S10の10文からなるテキストに
ついて，要約率毎に，要約作成者と2つの要約システム({\it System 1}と{\it
System 2})が選択した重要文を`+'で示している．また，ここでは各文の重要度w
を`1/要約率'として計算する．

表において，例えばSystem 1の要約率50\%の要約において，System 1が重要文
として選択した5文(S3，S4，S7，S9，S10)のうち3文(S4，S7，S10)が一致する
ため，F-measure値は0.6(3/5)となる．一方，System 1が選択した5文(S3，S4，
S7，S9，S10)の重要度はそれぞれ0，1/30，1/50，0，1/30であるため，重要度
の総和は 0 + 1/30 + 1/50 + 0 + 1/30 = 13/150 となる．また，要約作成者は
要約率50\%ではS1，S4，S7，S8，S10の5文を選択している．この場合の重要度
の総和は1/10 + 1/30 + 1/50 + 1/50 + 1/30 = 31/150となる．pseudo-utility
値は，システムの選択した文の重要度の総和を要約作成者の選択した文の重要
度の総和で割って正規化した値であり，この例の場合$\frac{13/150}{31/150}
= 0.419$となる．

\begin{table}[t]
\caption{pseudo-utilityに基づく評価の例\label{table:exp1}}
\begin{center}
\begin{tabular}{c||c|c|c||c||c|c|c||c|c|c}\hline
    & \multicolumn{3}{c||}{正解データ} & 重要度 & \multicolumn{3}{c||}{\it
 System 1} & \multicolumn{3}{c}{\it System 2}\\\cline{2-4}\cline{6-11}
    & 10\% & 30\% & 50\% & (重要度) & 10\% & 30\% & 50\% & 10\% & 30\% & 50\% \\\hline
S1  &   +  &   +  &   +  & 1/10     &   -  &  -   &  -   &   -  &  +   &  +   \\
S2  &   -  &   -  &   -  & 0        &   -  &  -   &  -   &   -  &  -   &  -   \\
S3  &   -  &   -  &   -  & 0        &   -  &  -   &  +   &   -  &  -   &  -   \\
S4  &   -  &   +  &   +  & 1/30     &   +  &  +   &  +   &   +  &  +   &  +   \\
S5  &   -  &   -  &   -  & 0        &   -  &  -   &  -   &   -  &  -   &  -   \\
S6  &   -  &   -  &   -  & 0        &   -  &  -   &  -   &   -  &  +   &  +   \\
S7  &   -  &   -  &   +  & 1/50     &   -  &  -   &  +   &   -  &  -   &  -   \\
S8  &   -  &   -  &   +  & 1/50     &   -  &  -   &  -   &   -  &  -   &  -   \\
S9  &   -  &   -  &   -  & 0        &   -  &  +   &  +   &   -  &  -   &  +   \\
S10 &   -  &   +  &   +  & 1/30     &   -  &  +   &  +   &   -  &  -   &  +   \\
\end{tabular}
\end{center}
\vspace{0.3cm}
\caption{F-measureとpseudo-utilityに基づく評価によるシステムの比較例\label{table:exp2}}
\begin{center}
{\scriptsize
\begin{tabular}{|c||l|l|l|l|}\hline
 & \multicolumn{2}{c|}{\it System 1} & \multicolumn{2}{c|}{\it System 2}\\\cline{2-5}
     & F-measure & pseudo-utility & F-measure & pseudo-utility measure\\ \hline\hline
10\% & 0.000 \(\displaystyle (\frac{0}{1})\) & 0.333 \(\displaystyle (\frac{1/30}{1/10})\) & 0.000 \(\displaystyle (\frac{0}{1})\) & 0.333 \(\displaystyle (\frac{1/30}{1/10})\)\\ \hline
30\% & 0.667 \(\displaystyle (\frac{2}{3})\) & 0.400 \(\displaystyle (\frac{2/30}{1/10 + 2/30})\) & 
 0.667 \(\displaystyle (\frac{2}{3})\) & 0.800 \(\displaystyle (\frac{1/10 + 1/30}{1/10 + 2/30})\)\\ \hline
50\% & 0.600 \(\displaystyle (\frac{3}{5})\) & 0.419 \(\displaystyle (\frac{2/30 + 1/50}{1/10 + 2/30 + 2/50})\) & 
 0.600 \(\displaystyle (\frac{3}{5})\) & 0.806 \(\displaystyle (\frac{1/10 + 2/30}{1/10 + 2/30 + 2/50})\)\\ \hline
\end{tabular}
}
\end{center}
\end{table}

表\ref{table:exp2}に，System 1，2のF-measure値とpseudo-utility値を示す．表
\ref{table:exp2}において，要約率10\%におけるF-measure値とpseudo-utility値を比
較すると，どちらのシステムも10\%要約の正解であるS1ではなくS4を選択して
いるため，F-measure値は0になる．ここで，S4は30\%要約の正解に含まれているため，
S1よりも重要度は低いが，ある程度重要な情報を含んだ文であると考えられる．
この例の場合，要約率10\%ではF-measure値は0か1しか取り得ないが，pseudo-utility
に基づく評価では，このような文も評価の対象とすることで，より適切な評価
が可能になる．

また，要約率50\%におけるSystem 1とSystem 2の結果を比較すると，どちらも
選択した5文のうち3文が50\%要約の正解データに含まれているため，
F-measure値は共に0.6である．この3文のうちS4とS10はSystem1，2が共通して
選択しているが，他の1文はSystem 1はS7(重要度 1/50)，System 2はS1(重要
度 1/10)を選択している．2システムが同数の正解文を抽出している場合でも，
特に重要と考えられる文(この場合S1)が抽出されている場合とそうでない場合
との区別がF-measureではできない．一方，pseudo-utilityに基づく評価では，
この場合System 1，2それぞれにおいて0.419，0.806と評価値に開きがあり，
この例では両者の区別がつけられることが分かる．

\section{評価方法の分析}

本研究では，pseudo-utilityに基づく評価の有効性を調べるために，TSCのデー
タを用いて評価を行う．また，TSCではcontent-basedな評価がシステムの評価方
法の一つに採用されているが，この評価結果を用い，content-basedな評価の有
効性についても検討する．

本節では，まず，4.1節でTSCの課題および評価方法について説明する．次に，
4.2節でTSCのデータを用いた本研究の分析について述べる．




\subsection{TSCにおける評価}

TSCとは，要約研究
における資源の共有や日本語テキストの要約に関する共通の評価方法や評価基
準の明確化を本格的に推進させるために行われた，第2回NTCIRワークショップのタスク
である．TSCでは3種類の課題が設定されているが，本節ではそのうち内的
(intrinsic)な評価を適用している2つの課題A-1「重要文抽出型要約」とA-2
「人間の自由作成要約と比較可能な要約」について述べる．なお，結果に関す
る詳細およびこの他の課題については，
\cite{Fukushima:2001a,Fukushima:2001b,難波:2001}を参照されたい．

\subsubsection{課題}

\begin{flushleft}
・課題A-1: 重要文抽出型要約
\end{flushleft}

新聞30記事から，要約率10\%，30\%，50\%で重要文を抽出する．

\begin{flushleft}
・課題A-2: 人間の自由作成要約と比較可能な要約
\end{flushleft}


新聞30記事を対象に，要約率20\%，40\%を越えない文字数で要約を作成する．な
お，要約部分がplain textであり，指定文字数以内に納まっていれば，どのよう
な要約でも構わないため，課題A-1と同じシステムの出力からタグを取り除いて，
plain textにすれば，課題A-2にも参加できる．

\subsubsection{要約対象テキスト}

毎日新聞94年および98年から15記事づつ，計30記事が選ばれている．記事は94
年から600，900，1200文字以上の3種類の長さの報道記事が，98年からは1200，
2400文字以上の2種類の長さの社説が選ばれている．














\subsubsection{評価方法}

\subsection*{課題A-1}

課題A-1のシステムの提出結果は，重要文抽出に基づいて作成された要約であ
り，人間が選択した重要文との間の一致度を元に評価を行なう．評価尺度とし
ては，以下の3つを用いる．\\

\begin{itemize}
 \item \(\displaystyle 再現率 = \frac{システムが選んだ文の内で正解の文の数}{人間が選んだ正解の文の総数}\)\\
 \item \(\displaystyle 精度 = \frac{システムが選んだ文の内で正解の文の数}{システムが選んだ文の総数}\)\\
 \item \(\displaystyle $F-measure値$ = \frac{2 * 再現率 * 精度}{(再現率+精度)}\)\\
\end{itemize}

これらの値を要約率ごとに求めた後，平均したものを最終的な結果とする.

また，ベースラインシステムとして，以下の2種類を用いる.

\begin{itemize}
 \item Lead:

       本文の先頭から要約率として指定された文数だけ出力する．

 \item TF:

       本文の各文ごとに内容語のTFの和を計算し，このスコアの高い文を要約
       率として指定された文数だけ選択する．選択した文を元の文の出現
       順に戻して出力する.
\end{itemize}

\subsection*{課題A-2}

   \subsubsection*{(i) 主観評価}

まず，
\begin{itemize}
 \item 人間の作成した重要個所抽出要約(PART)
 \item 人間の自由作成要約(FREE)
 \item 1システムが提出した結果(SYS)
 \item Leadのベースラインシステムの結果(BASE)
\end{itemize}
の4種類の要約を用意する．同時に元テキストも用意しておく.
要約評価者(1名)に元テキストと各要約結果を読んでもらい，次に「テキストと
して読みやすいかどうか」の観点と，「元テキストの重要な内容を不足なく記述
しているかどうか」の観点の2点から要約を評価をしてもらう．評価は，読みや
すいものから，1，2，3，4となり，同様に内容の点で見て良いものから，1，2，
3，4となる．

\subsubsection*{(ii) content-based な評価}

人間の作成した要約およびシステムの作成した要約をともに，Jumanで形態素解
析し，名詞，動詞，形容詞，未定義語を抽出する．そして，人間の作成した正解
要約(FREEとPART)の単語頻度ベクトルとシステムの要約の単語頻度ベクトルの間
の距離を計算し，どの程度内容が単語ベースで類似しているかという値を求める
\cite{Donaway:2000}．ベクトルの要素は，各内容語の tf*idf値とし，idfの計
算には，課題と同じ年の毎日新聞CD-ROM('94 or '98)の全記事を同じく形態素解
析した結果を用いる．

なお，課題A-2において，人間の作成する要約は，(1)人間が自由作成した要約，
(2)人間が重要個所抽出により作成した要約の2種類があり，content-basedな
評価はこの両方に対して行なった．

\subsection{評価方法の分析}


pseudo-utilityに基づく評価の有効性を示すためには，pseudo-utilityに基づく
評価とutilityに基づく評価の比較，および，F-measureとpseudo-utilityに基づ
く評価の比較を行う必要があると考えられる．しかし，先にも述べたとおり，
utilityに基づく評価に用いるデータの作成にかかる負荷は非常に高く準備が困
難であったため，本研究ではpseudo-utilityに基づく評価方法を課題A-1に適用
し，F-measureとの比較のみを行った．4.2.1節では，まずこの結果について報告
する．


次に，課題A-2の結果を用いて，content-basedな評価と主観評価の比較を行った．
比較結果について4.2.2節で述べる．

\subsubsection{F-measureとpseudo-utilityに基づく評価の比較(課題A-1)}

まず，実際にどの程度pseudo-utilityに基づく評価が有効に機能しているか，い
くつかの事例にあたって調べてみた．図\ref{fig:ps_app1}は，pseudo-utility
に基づく評価が有効に機能した典型例である．2文は，「アジアにおけるエイズ
感染」に関する報道記事から，要約率10\%(1文)で重要文を選択したシステムの
出力結果と正解の要約である．この2文は，どちらも「アジアにおいてエイズ患
者が急増している」ことを示した個所である．F-measureによる評価では，シス
テムは正解文を選択していないので，F-measure値は0となる．一方，システムの
選択した文は30\%要約には含まれているため，pseudo-utility値は
0.333($\frac{1/0.3}{1/0.1}$)となる．一般に，報道記事1記事に含まれる文数
は10文-20文が中心的であり，この場合，要約率10\%の時は正解文が1-2文しかな
い\footnote{TSCデータにおいて，要約率10\%の時の報道記事の正解文数は過半
数が1, 2文であった．}．このような場合，システムがある程度重要な情報を含
んだ文を抽出していても，最重要文が抽出されなければF-measureでは全く評価
に反映されない．一方，pseudo-utilityに基づく評価では，図
\ref{fig:ps_app1}の例のようにある程度評価値に反映されるため，より適切な
システムの評価が行なえると考えることができる．

別の例を図\ref{fig:ps_app2}に示す．記事940715208において，要約率10\%で
は正解要約文数は3文である．システムが出力した3文のうち第1文目が正解の
要約に含まれているため，F-measure値は0.333となっている．一方，システム
の出力した3文のうち，正解に含まれていない残りの2文の一方は30\%の正解に，
もう一方は50\%の要約に含まれているため，pseudo-utility値は
0.511($\frac{1/0.1+1/0.3+1/0.5}{3/0.1}$)となっている．正解とシステムの
出力を比較すると，正解の2文目にある「大学や教育施設一体となった動き」
の具体例がシステムの要約の2文目と3文目になっていることがわかる．つまり，
システムの抽出した2文は正解文(2文目)の部分情報となっている．このような
個所をシステムが抽出できたことをpseudo-utilityでは適切に評価できている
ことは妥当であると思われる．

\begin{figure}[t]
\begin{center}
\vspace{0.1cm}
\begin{tabular}{|c|}\hline
\begin{minipage}[c]{14cm}
\flushleft{\small
\vspace{0.3cm}
記事番号: 940702171，要約率: 10\%(1文)\\
見出し: エイズ感染「アジア、２０００年には４倍」−−来日のＷＨＯ局長警告\\
F-measure値: {\bf 0.000}，pseudo-utility値: {\bf 0.333}

\begin{itemize}
 \item {\bf (正解)}\\
       世界のエイズ患者は推計で約四百万人に達し、特にアジアではこの一年
       間で八倍にも急増して約二十五万人になったと、世界保健機関（ＷＨＯ）
       ＝ＮＥＷＳのことば参照＝世界エイズ対策プログラム局長のマイケル・
       マーソン博士が一日、発表した。
 \item {\bf (システム)}\\
       八月に横浜市で開かれる第十回国際エイズ会議を前に、来日中の同局長
       は厚生省で会見し「アジアの累積感染者数は二百五十万人以上だが、二〇〇〇
       年には四倍増の一千万人以上になると見込まれる」と警告した。
\end{itemize}
\vspace{0.1cm}
}
\end{minipage}
 \\ \hline
\end{tabular}
\end{center}
\caption{pseudo-utilityに基づく評価がうまく適用された例(換言)\label{fig:ps_app1}}
\vspace{-0.3cm}

\begin{center}
\vspace{0.1cm}
\begin{tabular}{|c|}\hline
\begin{minipage}[c]{14cm}
\flushleft{\small
\vspace{0.3cm}
記事番号: 940715208，要約率: 10\%(3文)\\
見出し: 止まるか「理工系離れ」−−大学・文部省など“あの手この手”\\
F-measure値: {\bf 0.333}，pseudo-utility値: {\bf 0.511}

\begin{itemize}
 \item {\bf (正解)}\\
       技術立国ニッポンが危ない——理科嫌いの子供の増加や大学の理工系志
       願者の伸び悩みなど「理工系離れ」が深刻になっている。\\
       こうした傾向にストップをかけようと、大学や教育施設一体となった動きが出ている。\\
       こうした動きの背景にあるのが、若者の理工系離れ。 
 \item {\bf (システム)}\\
       技術立国ニッポンが危ない——理科嫌いの子供の増加や大学の理工系志
       願者の伸び悩みなど「理工系離れ」が深刻になっている。\\
       大学側などは、この夏、子供向けに科学の面白さをＰＲするプログラム
       を続々登場させた。\\
       文部省も十四日、理数系に強い高校生への支援策を開始する一方、専門家の懇談会からの報告を受け、魅力ある理工系大学作りに乗り出した。
\end{itemize}
\vspace{0.1cm}
}
\end{minipage}
 \\ \hline
\end{tabular}
\end{center}
\caption{pseudo-utilityに基づく評価がうまく適用された例(例示)\label{fig:ps_app2}}
\end{figure}

これらの調査から，pseudo-utilityに基づく評価が，Jingらの指摘する問題点
2(テキスト中の複数類似個所の選択問題)をある程度解消できていると考えら
れる．

次に，F-measureとpseudo-utilityに基づく評価を適用した結果をシステム別に
まとめた．結果を表\ref{table:aefscore}および表\ref{table:aefscore2} に示
す\footnote{なお，評価用のデータは，脚注1の条件を満たさない4記事
(940701189, 940702187, 940716331, 980203053)を除く26記事を用いている．}．
課題A-1には7団体10システム参加しており，表中のI--IXは各システムのIDを，ま
た，同団体の異なるシステムはダッシュで示してある．

F-measureとpseudo-utilityに基づく評価の各
システムの順位を比較すると，F-measureではそれぞれ1位，2位であるシステム
II，Iが，pseudo-utilityに基づく評価では順位が逆転している．また，多くの
システムは順位が1位か2位程度変動しており，中でもシステムVは，F-measureで
は9位なのがpseudo utilityでは5位になっている．そこで，これらの順位の変動
が適正であるかどうかを調べるため，システムIとIIの出力結果を比較した．

システムIとIIが出力したそれぞれ90個の要約(30テキスト×10\%, 30\%, 50\%) 
のうち，システムIとIIでF-measure値は同じだがpseudo-utility 値の異なる16 
組の要約について調査した．16組のうち，システムIIよりもIの方が
pseudo-utility値が高くなる場合は10組，IIが高い場合が6組であった．
表\ref{ivsii}にシステムIとIIの出力例を示す．表\ref{ivsii}は，記事 
980500136 における要約率10\%での例で，原文中の文ID，pseudo-utilityに基
づく評価に用いた重要度，システムIとIIが選んだ文，および文の内容を示し
ている．重要度 1/10の文が要約率10\%の正解である．システムIが選択した5
文のうち要約率10\%の正解に含まれるもの(重要度1/10)が2文(S44とS52)ある
ため，F-measure値は0.4になる．システムIはこの他に重要度1/30の文を1文
(S30)，重要度1/50の文を2文(S3とS4)選択しており，結果として，このテキス
トにおいてはpseudo-utility値0.547を得ている．

一方，システムIIもシステムIと同様に要約率10\%の正解に含まれる文(重要度
1/10)を2文(S26とS43)選択しているため，F-measure値ではシステムIと同じく0.4にな
る．システムIIが選んだ残りの3文のうち，重要度1/50の文の2文(S3とS4)はシステ
ムIと共通であるが，残りの1文(S31)は重要度が0であり，pseudo-utility値はシス
テムIよりも低い0.480に留まっている(表\ref{ivsii2})．

この記事の主題は「定年制　高齢者に多様な働き方を　６５歳現役社会の道も
開け」であり，S22(重要度 1/10)はその問題提起になっている．システムIが選ん
だS50はS22の一つの解決方法であり，ある程度重要な情報を持った文であるた
め，システムIとIIでこの文が選択できたかどうかで，pseudo-utility値に差
ができることは妥当であると考えられる．


\begin{table*}[t]
{\small
\caption{課題A-1における各システムのF-measure値\label{table:aefscore}}
\begin{center}
\begin{tabular}{|c||c|c|c||l|}\hline
SYSTEM & 10\%  & 30\%  & 50\%  & total (順位)\\ \hline\hline
I      & 0.363 & 0.435 & 0.589 & 0.463 (2)\\ \hline 
II     & 0.337 & 0.452 & 0.612 & 0.467 (1)\\ \hline 
V      & 0.251 & 0.447 & 0.574 & 0.424 (9)\\ \hline 
VI     & 0.305 & 0.431 & 0.568 & 0.435 (6)\\ \hline 
VI'    & 0.282 & 0.435 & 0.572 & 0.429 (8)\\ \hline 
VII    & 0.305 & 0.474 & 0.586 & 0.455 (3)\\ \hline 
VII'   & 0.241 & 0.497 & 0.578 & 0.439 (5)\\ \hline 
VIII   & 0.199 & 0.399 & 0.590 & 0.396 (11)\\ \hline 
IX     & 0.358 & 0.420 & 0.571 & 0.450 (4)\\ \hline 
IX'    & 0.268 & 0.409 & 0.570 & 0.416 (10)\\ \hline 
TF     & 0.284 & 0.433 & 0.586 & 0.434 (7)\\ \hline 
Lead   & 0.276 & 0.367 & 0.530 & 0.391 (12)\\ \hline\hline 
Ave．  & 0.289 & 0.433 & 0.577 & 0.433 \\ \hline 
\end{tabular}
\end{center}
}

{\small
\caption{課題A-1における各システムのpseudo-utility値\label{table:aefscore2}}
\begin{center}
\begin{tabular}{|c||c|c|c|||l|}\hline
SYSTEM & 10\%  & 30\%  & 50\%  & total (順位)\\ \hline\hline
I      & 0.518 & 0.559 & 0.664 & 0.581 (1)\\ \hline 
II     & 0.450 & 0.603 & 0.673 & 0.569 (2)\\ \hline 
V      & 0.410 & 0.546 & 0.641 & 0.527 (5)\\ \hline 
VI     & 0.444 & 0.537 & 0.608 & 0.521 (8)\\ \hline 
VI'    & 0.420 & 0.516 & 0.607 & 0.504 (9)\\ \hline 
VII    & 0.433 & 0.560 & 0.651 & 0.541 (3)\\ \hline 
VII'   & 0.401 & 0.556 & 0.636 & 0.525 (6)\\ \hline 
VIII   & 0.330 & 0.515 & 0.654 & 0.495 (11)\\ \hline 
IX     & 0.463 & 0.544 & 0.616 & 0.535 (4)\\ \hline 
IX'    & 0.388 & 0.509 & 0.612 & 0.498 (10)\\ \hline 
TF     & 0.406 & 0.526 & 0.657 & 0.525 (6)\\ \hline 
Lead   & 0.401 & 0.481 & 0.549 & 0.468 (12)\\ \hline\hline 
Ave．  & 0.422 & 0.537 & 0.630 & 0.530 \\ \hline 
\end{tabular}
\end{center}
}
\end{table*}

\begin{table}[t]
\caption{記事 980511036 におけるシステムIとIIの要約結果 (要約率10\%)\label{ivsii}}
\begin{center}
見出し: 定年制　高齢者に多様な働き方を　６５歳現役社会の道も開け
{\scriptsize
\begin{tabular}{|l|l|c|c|l|}\hline
文ID   & 重要度 & I & II & 文 \\ \hline\hline
S3     & 1/50 & + & + & 東京都武蔵野市にある「横河エルダー」の最高齢者、菅野清治さん（７９）は\\
       &      &   &   & 今も現役時とほぼ同じ週４０時間のフルタイムで元気いっぱいに働き続ける。\\ \hline
S4     & 1/50 & + & + & 「横河エルダー」は１９７５年に工業計器メーカー「横河電機」（従業員６３\\
       &      &   &   & １１人）を定年退職した人たちのための受け皿会社として設立された。 \\ \hline
S22    & 1/10 &   &   & 一律にではなく高齢者のニーズに合わせ、多様なメニューをどう用意するか。 \\ \hline
S26    & 1/10 &   & + & 年金支給開始年齢まで働きたくとも働く場がない、という切実な雇用問題が\\
       &      &   &   & 起きるおそれが多分にある。 \\ \hline
S31    & 0    &   & + & 今年３月ごろから、６０歳定年制の見返りに、退職金や賃金をダウンさせた\\
       &      &   &   & という訴えが連合東京をはじめ、全国の労組や労働相 談窓口などに相次いで\\
       &      &   &   & 寄せられている。 \\ \hline
S43    & 1/10 &   & + & 約２０年前には２０歳代の若者は５人に１人、６５歳以上は１０人に１人だっ\\
       &      &   &   & たのが、２０１５年には２０歳代は１０人に１人足らずとなり、逆に６５歳以\\
       &      &   &   & 上の人口比率は４人に１人を占める、世界に例のない高齢社会となる。 \\ \hline
S44    & 1/10 & + &   & 意欲はあっても働けない高齢者が多くなるほど、年金や医療などの社会保障負\\
       &      &   &   & 担はより若い世代にしわ寄せされるのは明らかだ。 \\ \hline
S50    & 1/30 & + &   & それまでのキャリアを生かす継続雇用を基本に据え、職種によっては高齢者向\\
       &      &   &   & けの職域拡大を図り、短時間勤務も認める。 \\ \hline
S52    & 1/10 & + &   & ２１世紀の初めには「６５歳現役」が当たり前となる社会にしたい。 \\ \hline
\end{tabular}
}
\vspace{0.5cm}

\caption{記事 980511036 におけるシステムIとIIのF-measure値およびpseudo-utility値 (要約率10\%)\label{ivsii2}}
\begin{tabular}{|c|c|c|}\hline
               & I     &   II \\ \hline\hline
F-measure      & 0.400 & 0.400 \\ \hline
pseudo-utility & 0.547 & 0.480 \\ \hline
\end{tabular}
\end{center}
\end{table}

\subsubsection{content-basedな評価の考察　-- 主観評価との比較 -- (課題A-2)}

まず，content-basedな評価の比較対象となる主観評価の結果について簡単に述
べる．次に，主観評価とcontent-based な評価の結果を比較し，考察する．

\subsubsection*{主観評価の結果}

主観評価に用いた4種類の要約(FREE，PART，SYS，BASE)と順位の関係を表
\ref{table:ordera2}に示す．表は，FREE，PART，SYS，BASEの4種類の要約が，
内容(CONT)および読みやすさ(READ)の観点において，1位，2位，3位，4位それぞ
れにランクされた割合を示している\footnote{(要約率20\%，40\%)×30テキスト
×10 システム=600}．表より，FREEは1位を占める割合が一番高く(73.5\%)，次
いでPART，SYS，BASEの順になっているが，FREEやPARTに比べ，SYSとBASEの品質
は僅差であると言える．4種類の要約の品質を大小関係で示すと大まかに次
のようになる．

\begin{quote}
 (1)FREE $>$ (2)PART $>$ (3)システム要約とベースライン
\end{quote}

\begin{flushleft}
このようなデータの性質をふまえ，次節では主観評価とcontent-basedな評価の
比較を行う．
\end{flushleft}


\begin{table*}[t]
\caption{主観評価に用いた4種類の要約と順位の関係\label{table:ordera2}}
\begin{center}
{\scriptsize
\begin{tabular}{|c|c|c|c|c|c|}\hline
      && 1位 & 2位 & 3位 & 4位 \\ \hline\hline
 FREE & CONT& 69.8\%(419/600) & 28.7\%(172/600) & 1.5\%(9/600) & 0.0\%(0/600)\\
      & READ & 77.7\%(466/600) & 19.0\%(114/600) & 3.2\%(19/600) & 0.2\%(1/600)\\\cline{2-6}
      & TOTAL& 73.5\%(885/1200) & 23.8\%(286/1200) & 2.3\%(28/1200) & 0.1\%(1/1200)\\ \hline\hline
 PART & CONT& 49.0\%(294/600) & 49.0\%(294/600) & 1.8\%(11/600) & 0.2\%(1/600)\\
      & READ& 40.6\%(244/600) & 47.5\%(285/600) & 8.5\%(51/600) & 3.0\%(18/600)\\\cline{2-6}
      & TOTAL& 44.8\%(538/1200) & 48.3\%(579/1200) &  5.3\%(64/1200) & 1.6\%(19/1200)\\ \hline\hline
 SYS  & CONT& 2.3\%(14/600) & 3.3\%(20/600) & 68.0\%(408/600) & 26.3\%(158/600)\\
      & READ& 11.2\%(67/600) & 10.3\%(62/600) & 43.3\%(260/600) & 38.8\%(233/600)\\\cline{2-6}
      & TOTAL&  6.6\%(79/1200)  &  6.8\%(82/1200) & 55.7\%(668/1200) & 32.6\%(391/1200)\\ \hline\hline
 BASE & CONT& 0.0\%(0/600) & 0.8\%(5/600) & 38.2\%(229/600) & 61.0\%(366/600)\\
      & READ& 6.5\%(39/600) & 8.0\%(48/600) & 52.7\%(316/600) & 32.8\%(197/600)\\\cline{2-6}
      & TOTAL& 3.2\%(39/1200)  &  4.4\%(53/1200) & 45.4\%(545/1200) & 46.9\%(563/1200)\\ \hline
\end{tabular}
}
\end{center}
\end{table*}

\subsubsection*{主観評価とcontent-basedな評価の比較}

まず，content-basedな評価結果と主観評価の結果の相関について調査した．調
査は，主観評価に用いた4種類の要約の中から任意の2つを選び，主観評価による
順序とcontent-basedな評価の大小関係が一致する割合を調べた．4種類の要約の
組合せは「FREE-PART」「FREE-SYS」「FREE-BASE」「PART-SYS」「PART-BASE」
「SYS-BASE」の6通りあるが，FREEとPARTは共にcontent-based な評価で評価基
準として用いており，どちらも人手で作成した理想的な要約であるため，6通り
の組合せから「FREE-PART」の組合せだけ除外した\footnote {すなわち，5通り
の組合せ×30テキスト×10システム=1500通りの組合せについて調べた.}．また，
主観評価は内容と読みやすさの2つの側面から行なったが，content-basedな評価
は，要約間の内容の類似度を測るために用いられた指標であるため，主観評価結
果は内容による比較のものを用いた．また，content-basedの評価値は，TSCにお
ける評価ではFREEを基準にした場合とPARTを基準にした場合の2種類で計算して
いるが，主観評価との比較も，それぞれの場合毎に分けて行っている．

表\ref{table:cbcomp1}は，その結果である．表から，要約率が20\% と40\%の両
方において，主観評価の結果とcontent-basedな評価が，高い割合(約90\%)で一致
していることが分かる.

一方，先にも述べたように，主観評価で比較した4種類のうち，システムの要
約とベースライン(Lead)の要約は，FREEやPARTと比べると平均的に同程度の品
質の要約であると考えられる．そこで，表\ref{table:cbcomp1}の中でも特に
システムの要約とベースラインに着目し，比較を行った．結果を表
\ref{table:cbcomp2}に示す．表\ref{table:cbcomp2}において，主観評価と
content-basedな評価との相関は，表\ref{table:cbcomp1}の場合ほどはっきり
とは現れていない．このことから，content-basedな評価は，品質に大きな違
いのある2つの要約を比較する上では，よい指標であるが，品質が僅差な2つの
要約を比較する上では，それほど有用な指標ではないと考えることができる.

\begin{table}[t]
\caption{主観評価による順序とcontent-basedな評価の大小関係が一致する
 事例の割合(全データ)\label{table:cbcomp1}}
\begin{center}
\begin{tabular}{|c|c|c|}\hline
    & FREEを基準 & PARTを基準  \\ \hline\hline
20\%要約 & 91.4\%(1371/1500) & 88.6\%(1329/1500) \\ \hline
40\%要約 & 89.3\%(1339/1500) & 90.0\%(1350/1500) \\ \hline
\end{tabular}\\
\vspace{0.1cm}
平均: 89.8\%
\vspace{-0.7cm}
\end{center}
\end{table}


\begin{table}[t]
\caption{主観評価による順序とcontent-basedな評価の大小関係が一致する
 事例の割合\\
(SYSとBASEの比較)\label{table:cbcomp2}}
\begin{center}
\begin{tabular}{|c|c|c|}\hline
    & FREEを基準    & PARTを基準    \\ \hline\hline
20\%要約 & 64.3\%(193/300) & 58.0\%(174/300) \\ \hline
40\%要約 & 58.7\%(176/300) & 63.7\%(191/300) \\ \hline
\end{tabular}\\
\vspace{0.1cm}
平均: 61.2\%
\vspace{-0.7cm}
\end{center}
\end{table}

そこで，さらに，content-basedの評価値の差と信頼度(精度)に関する調査を行
なった.  content-basedの評価値の差に着目し，値の差 0.1毎に2つの要約の
content-basedの評価値と主観評価の順位との大小関係が一致する事例の割合に
ついて調べた．結果を表\ref{table:cb0.1}に示す．表より, content-basedの評
価値で0.2以上の開きがあれば，93\%以上の割合で主観評価の結果と一致する，
すなわち，93\%以上の信頼度で要約を評価することが可能になると思われる.

\begin{table}[t]
\caption{content-basedの評価値と主観評価の順位との大小関係が一致する
事例の割合\label{table:cb0.1}}
\begin{center}
\begin{tabular}{|c|l|}\hline
content-basedの評価値の差 & 主観評価と一致する\\ 
             & 事例の割合(\%)\\ \hline\hline
0.0 - 0.1 & 0.578(718/1242)\\ \hline
0.1 - 0.2 & 0.771(916/1188)\\ \hline
0.2 - 0.3 & 0.928(966/1041)\\ \hline
0.3 - 0.4 & 0.959(805/839)\\ \hline
0.4 - 0.5 & 0.964(588/610)\\ \hline
0.5 - 0.6 & 0.988(589/596)\\ \hline
0.6 - 0.7 & 0.994(336/338)\\ \hline
0.7 - 0.8 & 0.990(103/104)\\ \hline
0.8 - 0.9 & 1.000(26/26)\\ \hline
0.9 - 1.0 & 1.000(16/16)\\ \hline
\end{tabular}
\end{center}
\end{table}

表\ref{table:cb0.1}から得られた知見を元に，表\ref{table:cbcomp2}に示した
システムの要約とベースライン(Lead)の要約の比較結果のうち，content-based
の評価値の差が0.2以上の場合について調べてみた．表\ref{table:cbcomp2}の中
でcontent-basedの評価値の差が0.2以上となる事例の割合を表
\ref{table:cbcomp31}に示す．表\ref{table:cb0.1}において，評価値の差が0.2
以上になる場合は全体の59.5\%($1-\frac{1242+1188}{6000}$) であるのに対し，
システムの要約とベースラインの要約の間では全体の14.5\% しかない．このこ
とからも，先にも述べたようにシステムの要約とベースラインの要約は，全体的
に品質の近い要約であることが分かる．

次にシステムの要約とベースラインの要約との間のcontent-basedの評価値の
差が0.2以上となる場合に，主観評価による順序とcontent-basedな評価の大小
関係が一致する事例の割合を調べた．結果を表\ref{table:cbcomp32}に示す．
表\ref{table:cb0.1}における調査(事例数:6000)と比べると事例数が少ない
(174)ので，あまり厳密な値であるとは言えないが，表\ref{table:cbcomp32}
の値(71.3\%)と表\ref{table:cbcomp2}の61.2\%とを比較すると，評価値の差
が0.2以上の場合content-basedな評価の信頼度が10\%以上高くなることが確認
できる．しかし，この結果からは表\ref{table:cb0.1}における評価値の差0.2
における一致度92.8\%までには至っていない．


\begin{table}[t]
\caption{content-based値の差が0.2以上ある事例の割合(SYSとBASEの比較)\label{table:cbcomp31}}
\begin{center}
\begin{tabular}{|c|c|c|}\hline
    & FREEを基準    & PARTを基準    \\ \hline\hline
20\%要約 & 17.0\%(51/300) & 23.0\%(69/300) \\ \hline
40\%要約 & 10.0\%(30/300) & 8.0\%(24/300) \\ \hline
\end{tabular}\\
\vspace{0.1cm}
平均: 14.5\%
\vspace{-0.7cm}
\end{center}
\end{table}

\begin{table}[t]
\caption{content-based値の差が0.2以上ある場合に主観評価による順序と一
致する事例の割合\\
(SYSとBASEの比較)\label{table:cbcomp32}}
\begin{center}
\begin{tabular}{|c|c|c|}\hline
    & FREEを基準    & PARTを基準    \\ \hline\hline
20\%要約 & 74.5\%(38/51) & 73.9\%(51/69) \\ \hline
40\%要約 & 60.0\%(18/30) & 70.8\%(17/24) \\ \hline
\end{tabular}\\
\vspace{0.1cm}
平均: 71.3\%
\vspace{-0.7cm}
\end{center}
\end{table}

\section{結論と今後の課題}

本研究では，要約の評価方法について，pseudo-utilityに基づく評価方法を提
案し，F-measureとの比較を行った．また，content-basedな評価と被験者によ
る主観評価との結果を比較し，結果について検討した．

F-measureとpseudo-utilityに基づく評価の比較では，要約システムの出力を
いくつか調べたところ，正解には含まれていないが正解文と類似する内容の文
をシステムが抽出した場合，pseudo-utilityに基づく評価では評価値にそれが
反映されていることが確認された．すなわち，pseudo-utilityに基づく評価は，
F-measureがかかえる2つの問題点のうち「(2)テキスト中に類似の内容を含む
文が複数存在する場合，どちらの文が正解として選択されるかにより，システ
ムの評価が大きく変化する」が解消できていることがわかった．

次に，content-basedな評価と被験者による主観評価との比較の結果，2つの要
約が，content-based値で0.2以上の開きがあれば，93\%以上の割合で人間の主
観評価の結果と一致することがわかった．

本研究では，複数の要約率のデータを用いることで，Radevらの提案する
utilityに基づく評価を疑似的に実現できることを示した．本研究はTSCで作成
された10\%, 30\%, 50\%の3種類の要約データを用いたが，今後は，この他の
要約率の組合せについても調べる必要がある．

また，本研究ではpseudo-utilityに基づく評価において，文の重要度を`1/要
約率'として計算したが，この他にも様々な重要度を設定することが可能であ
る．重要度をどのように設定すればより良い評価が可能になるかについても調
べる必要があると考えられる．

本研究では扱っていないが，Jingらの指摘する問題点1(要約率の変化に伴う評価
値の変化)を解消する評価方法についても今後検討していく必要がある．


\bibliographystyle{jnlpbbl}
\bibliography{jpaper}


\begin{biography}
\biotitle{略歴}
\bioauthor{難波 英嗣(正会員)}{
  1996年東京理科大学理工学部電気工学科卒業．
  1998年北陸先端科学技術大学院大学情報科学研究科 博士前期課程修了．
  2001年北陸先端科学技術大学院大学情報科学研究科 博士後期課程修了．
  同年4月 日本学術振興会 特別研究員．
  2002年 東京工業大学精密工学研究所 助手，現在に至る．
  博士(情報科学)．
  自然言語処理，特にテキスト自動要約に関する研究に従事．
  情報処理学会，人工知能学会 ACL，ACM各会員．
  nanba@pi.titech.ac.jp．
  }
\bioauthor{奥村 学(正会員)}{
  1984年東京工業大学工学部情報工学科 卒業．
  1989年東京工業大学大学院理工学研究科 博士課程 修了．
  同年，東京工業大学工学部情報工学科 助手．
  1992年北陸先端科学技術大学院大学情報科学研究科 助教授．
  2000年東京工業大学精密工学研究所 助教授，現在に至る．
  工学博士．
  自然言語処理，知的情報提示技術，語学学習支援，語彙的知識獲得に
  関する研究に従事．
  情報処理学会，人工知能学会，AAAI，ACL，認知科学会，計量国語学会各会員．
  oku@pi.titech.ac.jp．
}
\bioreceived{受付}
\biorevised{再受付}
\bioaccepted{採録}

\end{biography}
\end{document}
