



\documentstyle[eclepsf,jnlpbbl]{jnlp_j_b5}

\setcounter{page}{33}
\setcounter{巻数}{9}
\setcounter{号数}{4}
\setcounter{年}{2002}
\setcounter{月}{7}
\受付{2001}{9}{28}
\再受付{2001}{12}{19}
\再々受付{2002}{2}{22}
\採録{2002}{4}{5}

\setcounter{secnumdepth}{2}

\title{テキスト要約の複数の正解に基づいた評価}
\author{石川 開\affiref{NEC} \and 安藤 真一\affiref{NEC} \and
        奥村 明俊\affiref{NEC}}

\headauthor{石川，安藤，奥村}
\headtitle{テキスト要約の複数の正解に基づいた評価}

\affilabel{NEC}{NEC マルチメディア研究所}{Multimedia Research
Laboratories, NEC Corporation}

\jabstract{
本稿では，要約手法として複数の正解に基づく評価法の提案を行なった．従来
のテキスト要約の評価方法では唯一の正解を用いるが，テキストによっては観
点の異なる正しい要約が複数存在する場合もあり，評価の信頼性が保証されな
いという問題があった．我々は，自動評価の信頼性を高めるため，特に重要文
抽出法に焦点を当てて複数の正解に基づく評価方法を検討した．提案手法では，
複数の正解と評価対象の要約を共にベクトルで表現し，複数の正解の線形結合
と評価対象の要約との内積の最大値を評価値とする．提案手法の検証のために，
NTCIR-2要約データ中の4記事に対して，要約者7名で要約の作成を行なった．
正解の要約間の一致度に基づく品質評価の結果，提案手法の評価の正解として
用いるのに十分な品質が得られなかったが，要約の比較から，照応関係，結束
性等，元テキスト中の構造を損なわないように要約する共通の法則性が見出さ
れ，今後要約の正解を作成する上で有用な知見を得た．提案手法の有効性を検
証する予備実験として，異なる幾つかの自動要約手法と複数正解との一致度に
基づく評価を行なった．正解ごとに評価の高い自動要約手法が異なるという傾
向が見られ，複数の正解を用いることで評価対象の要約との相性によらない評
価結果を得るという提案手法の前提を裏付ける結果を得た．
}

\jkeywords{テキスト要約，評価手法，複数の正解，信頼性，一致度}

\etitle{Evaluating Text Summarization\\Using Multiple Correct Answer Summaries}
\eauthor{Kai Ishikawa\affiref{NEC} \and Shinichi Ando\affiref{NEC} \and
         Akitoshi Okumura\affiref{NEC}}

\eabstract{ We proposed an evaluation method based on multiple correct
answer summaries. Conventional evaluation methods had reliability
problem due to adopting single model answer while multiple correct
answer summaries may exist from various points of view. We aimed to
increase the reliability of automatic evaluation, and focused on an
evaluation method using multiple answer summaries. In our method, we
introduced linear combinations of answer summaries, all denoted by
vectors, and calculated its maximum value of the scalar product for
the answers and the target summary. To verify the reliability of our
method, 7 people created summaries for 4 newspaper articles in NTCIR-2
summarization test collection data. However, low agreement among these
answer summaries showed these data inadequate to be used as answers
for the evaluation method. These summaries showed some tendency of
keeping the text configurations due to anaphoric relations and
sentence cohesions. Those findings will be valuable in creating model
summaries. To verify the feasibility of the evaluation method, some
automatic methods were evaluated using the multiple correct summaries. 
Most feasible method was varied according to each correct summary.
\vspace{6mm}
The result has proved our presupposed theory, that multiple correct
answers were necessary to sufficiently evaluate the target summary
data.
}

\ekeywords{text summarization, evaluation method, multiple correct
answers, reliability, agreement.}

\begin{document}
\thispagestyle{plain}
\maketitle



\section{はじめに}

本稿では，テキスト要約の自動評価手法について述べる．テキスト自動要約に
関する研究は，テキスト中の表層的な情報から重要な箇所を判断し重要な部分
のみを抽出するLuhn等，Edmundson等の研究
\cite{H.P.Luhn.58,H.P.Edmundson.69}に始まり，現在も様々な方法が提案さ
れている\cite{C.D.Paice.90,C.Aone.98}．ここ数年はインターネットの急速
な普及に伴って，国内外での研究活動が非常に活発になっている
\cite{M.Okumura.99J,I.Mani.00}．

テキスト要約の研究において，評価の重要性は言うまでもない．最も信頼性が
高いのは要約の経験者が直接要約を見て評価する方法であるが，コストが非常
に大きいというデメリットがある．このためより低コストで効率の良い方法と
して，要約の経験者によって作成された要約を正解とし，正解との一致度を機
械的に評価する方法が一般によく用いられる．しかし，要約は観点や戦略など
の違いから，同じテキストに対しても複数の要約者から得られる結果は多様で
あることが知られている
\cite{G.J.Rath.61,K.S.Jones.96,H.Jing.98,K.Saito.01J}．要約タスクにお
いて唯一の理想的な要約が存在するという前提は現実には成り立たず，それゆ
え唯一の正解に基づく評価では，対象の評価結果が正解との相性に影響され易
いという問題がある．

本稿では，このような従来法の問題点を踏まえ，複数の正解に基づく信頼性の
高い評価法の提案を行なう．さらに，正解として用いる要約集合の満たすべき
条件について，要約の品質と網羅性の観点から検討を試みる．提案手法は重要
文抽出結果を評価することを前提に定式化されているが，手法の基本的アイデ
アや検討内容の多くはテキスト要約一般に共通するものである．


\section{唯一の理想的な要約を正解とする評価法の問題}

まず，要約の自動評価に関する従来方法について検討する．従来の評価方法と
しては，各テキストごとに人間が{\bf 唯一の理想的な要約}を作成し，これを
正解とする方法が一般的である．要約システムの出力の妥当性を測る尺度は，
正解からの単語や文字に基づく編集距離，単語ベクトルの内積，抽出単位(文，
文節など)の適合率，再現率，F値などがタスクに応じて用いられている．テキ
スト要約のコンテストである NTCIR-2 TSC \cite{T.Fukusima.01}では，重要
文抽出タスクの評価において，抽出文に関する再現率R(= 要約中の正解文数 / 
要約中の文数)と適合率P(= 要約の正解文数 / 正解要約の文数)に基づく次の
ようなF値を用いている．

\begin{equation}
F = \frac{2 \cdot R \cdot P}{R + P}
\end{equation}

この重要文抽出タスクでは，毎日新聞記事データ\footnote{毎日新聞全文記事
データベース CD-毎日新聞94年版，98年版(毎日新聞社提供)}中の30記事から
なる評価セットが用いられた．各記事データはヘッドライン，文，パラグラフ
のタグを含み，専門家が作成した要約率10\%，30\%，50\%での重要文抽出結果
が正解として与えられている．この評価セットの一記事の平均文数$\bar{N}$は
33.1であり，各タスクに対する実際の要約率の平均値 $\bar{p}$，抽出文数の
平均値 $\bar{n}$，無作為な文抽出によって得られる要約のF値の期待値 
$E(\tilde F_{Random})$，および標準偏差 $\sigma(\tilde F_{Random})$は表
\ref{table-np-test}に示す通りである．

\begin{table}
\begin{center}
\caption{評価セットの性質}
\begin{tabular}{|l||c|c|c|} \hline
一記事あたりの平均文数 & \multicolumn{3}{c|}{要約率} \\ \cline{2-4}
 $\bar{N} = 33.1$ & $10\%$ & $30\%$ & $50\%$ \\ \hline\hline
実際の要約率の平均値 $\bar{p}$ & 0.105 & 0.315 & 0.536 \\ \hline
抽出文数の平均値 $\bar{n}$ & 3.40 & 10.03 & 16.93 \\ \hline
期待値 $E(\tilde F_{Random})$ & $0.105$ & $0.315$ & $0.536$ \\ \hline
標準偏差 $\sigma(\tilde F_{Random})$ & 0.160 & 0.124 & 0.086 \\ \hline
\end{tabular}
\label{table-np-test}
\end{center}
\end{table}

ここで，表中のF値の期待値，分散は理論値であり，次の計算により求めた．
まず$N$文からなるテキストに対し，要約率p$(0 < p < 1)$での重要文抽出の
正解，すなわち$Np$(正の整数)文の重要文が与えられている．同じテキストか
ら$n$文の無作為抽出により要約を作成した場合，その中に含まれる正解文の
数$k$は，超幾何分布$HG(n,p;N)$に従う．正解と同じ文数$n= Np$を無作為に
抽出する場合，F値($F = \frac{k}{n}$)の期待値$E(\tilde F)$と分散
$V(\tilde F)$は$k$に関する確率分布$f(k|n,p,N)$を用いて次のように表され
る．表\ref{table-np-test}に示した無作為な文抽出によるF値の期待値
$E(\tilde F)$と標準偏差$\sigma(\tilde F_{Random})$\footnote{標準偏差は
関係式$\sigma(\tilde F_{Random}) = \sqrt{V(\tilde F_{Random})}$に基づ
く．}の値は，これらの関係式に$\bar{N}$，$\bar{n}$，$\bar{p}$を適用して
求めた．

\begin{eqnarray}
\begin{array}{lllll}
E(\tilde F) & = & \sum_{k=0}^{n} F \cdot f(k|n,p,N) \; = \;p &&\\
V(\tilde F) & = & \sum_{k=0}^{n} \left( F - E(\tilde F) \right)^2 \cdot
f(k|n,p,N) & = & \frac{p(1 - p)}{n} \cdot \frac{N-n}{N-1}\\
\end{array}
\end{eqnarray}

さて，図\ref{NTCIR-results}にNTCIR-2 TSCの重要文抽出タスクでのこの評価
セットにおける各参加システムの評価結果を示す\cite{T.Fukusima.01}．ここ
で縦軸はF値を表し，横軸上のシステム1$\sim$10およびLEAD，TFは，そ
れぞれタスクにおける各参加システム，およびベースラインシステムの結果を
表す．３種類ある棒グラフは凡例が示すように，それぞれ要約率$10\%$，
$30\%$，$50\%$での結果を表している．

\begin{figure}
\begin{center}
\epsfile{file=fig/NLP-figs-NTCIR-results.eps,scale=0.4}
\caption{評価セットにおける各参加システムのF値}
\label{NTCIR-results}
\end{center}
\end{figure}

特に要約率$50\%$での各参加システムのF値に注目すると，各値は$0.58$を中
心に差が$0.05$以内と，分散の小さな分布になっている．この値は，先程の表
\ref{table-np-test}中の無作為な文抽出によるF値の分布$0.536 \pm 0.086$
に非常に近いため，この結果に基づく各システムの性能比較は信頼性が低いと
考えられる．一方，要約率$10\%$，$30\%$での各システムの結果は，ランダム
な文抽出による分布を明らかに上回っており，各システムの性能差が評価に現
れている．

これらの評価結果を解釈する上で，評価の方法自体の信頼性についても検討す
る必要がある．上記のF値による評価結果が十分信頼できる場合，要約率50\%
ではいずれのシステムも性能が低いため，有意な要約結果が得られていないと
いう解釈になる．しかし，評価方法自体の信頼性を疑うという観点に立てば，
上記の評価結果で各評価システムの評価が同様に低く有意な差が現れていない
のは，要約を機械的に評価する上での本質的な困難が顕現しているためと見る
こともできる．

要約タスクからテキストの主題に関する理解や要約の観点といった主観的な要
素を排除することは不可能であり，テキストの要約において{\bf 唯一の理想
的な正解}が存在するという前提は現実的とは言えない．この点において，唯
一の正解に基づく評価方法では，評価結果が正解と評価対象の相性によって左
右されるという問題が懸念される．すなわち，正解との類似性に基づく評価で
あるために，正解と要約の観点や戦略が一致していなければ有意な評価結果が
得られないという問題である．この問題は，特に抽出文の組み合わせ数が最大
となる要約率50\%では，異なる観点や戦略に基づく多様な要約が可能なためよ
り顕著に現れると予想される．


\section{複数の正解に基づく評価手法}

\subsection{従来の評価の仕組みと問題点}

\begin{figure}
\begin{center}
\epsfile{file=fig/NLP-figs-summary-adequacy.eps,scale=0.35}
\caption{重要文抽出の評価の仕組み(概念図)}
\label{summary-adequacy}
\end{center}
\end{figure}

ここでは，まず重要文抽出における従来の評価方法の仕組みと問題点について，
定性的な議論を行なう．以降では図\ref{summary-adequacy}に示すような概念
図を用いる．図中の水平方向の広がりはN文のテキストからのn文の抽出によっ
て得られる可能な要約の集合を表し，この広がり上の各点は要約集合中の各要
約を表している．また説明の便宜上，要約集合の広がり上の2点が近いほど，2
つの要約間の類似度は高いものとする．

要約集合の広がり上の各点に対して理想的な評価を行い，その結果を数値で表
現できると仮定する．これを，要約の妥当性の高さと呼ぶことにし，この数値
を縦軸に取って要約集合の各点をプロットする．すると，各点を結ぶことによっ
て図中に示すような妥当性の高さが表現された面が出来る．これを妥当性の表
面と呼ぶことにする．あるテキストに対して適切な要約を求めるという問題は，
この概念図においては妥当性の表面上において十分高い点を探す問題に置き換
えて考えることが出来る．例えば図\ref{summary-adequacy}中では，最適な要
約は要約Aと要約Bである．ここでは両者の間に距離があるため，要約Aと要約B
はある程度異なった要約でありながら，ともに適切な要約であると理解できる．

あるテキストに対して，適切な要約が何通りか存在することは珍しくない．こ
のような場合は，概念図では妥当性の表面が複数の点において高い値を持つ場
合で考えることができる．このような状況において，要約の正解を一意に絞る
ことによって生じる評価の問題について，図\ref{problem}を用いて検討する．

\begin{figure}
\begin{center}
\epsfile{file=fig/NLP-figs-problem.eps,scale=0.35}
\caption{唯一の正解に基づく評価の問題(概念図)}
\label{problem}
\end{center}
\end{figure}

図\ref{problem}中の(a)と(b)では共に，同じテキストに対して作成された二
つの要約結果，要約1と要約2を示している．要約1と要約2の評価を行なう際，
用いられる正解の違いによって評価結果にどのような違いが生じるかを，(a)
と(b)の比較によって検討する．この図では，(a)の正解は要約1により近く，
(b)の正解は要約2により近い．正解との類似度に基づく評価では，正解により
近い要約の方がより高い評価を得るので，(a)の場合には要約1がより評価が高
く，(b)の場合には要約2がより評価が高くなる．以上の議論から，要約の多様
性によって適切な要約が複数存在する場合には，用いられる正解との相性によっ
て評価結果が左右されるという問題が生じることが分かる．

\begin{figure}
\begin{center}
\epsfile{file=fig/NLP-figs-proposed-method.eps,scale=0.35}
\caption{複数の正解に基づく要約評価の利点(概念図)}
\label{proposed-method}
\end{center}
\end{figure}

この問題を改善するために，複数の正解を用いる評価方法を検討する．正解と
する要約を複数用意し，評価対象に最も近い正解を用いて評価することで，正
解と評価対象との相性の問題は緩和される．ここでは複数要約を正解として用
いる効果とともに，用いる複数要約の数や品質と評価の信頼度との関係につい
て，図\ref{proposed-method}に基づいて検討を行なう．

図の(a)，(b)は共に，あるテキストに対する二つの要約，要約1と要約2を評価
する場合を示している．両者の妥当性の値は要約1は十分高いが，要約2はこれ
に比べて低いという状態を示している．(a)では，要約1の方が要約2に比べて
より近くに正解が存在する．評価対象に最も近い正解を用いて類似度で評価を
行なうことにより，要約1が要約2に比べてより高い評価を得る．この結果は，
本来の両者の妥当性の高さの関係を適切に反映している．一方，(b)の場合，
要約1と要約2は共に近傍に正解を持つため，両者は同様に高い評価となり，両
者の本来の妥当性の差が評価に現れない．

この(a)と(b)の違いは，正解とする複数の要約集合の違いにある．(a)で正解
に用いている要約集合は妥当性が十分に高いのに対し，(b)で用いている要約
集合では妥当性の低いものが混在している．以上の議論から，正解に用いる要
約集合は，{\bf(1)要約の品質が十分に高い}こと，および{\bf (2)要約タスク
における理想的な要約を網羅している}ことが信頼性の高い評価を行なう上で
の必要条件となることが分かる．



\subsection{複数の正解に基づく評価方法}

ここで，複数の正解に基づく評価方法の具体的な定式化について述べる．ここ
では，$N$文からなるテキストから$n$文の重要文抽出により作成される要約の
評価を考える．まず文抽出による要約結果の表現として，ベクトル表記を導入
する．ここで，$N$文のテキストから$n$文を抽出して得られる要約結果を長さ
1の$N$次元ベクトル${\bf v}$によって表現する．ベクトルの第$i$成分には，
テキスト中の第$i$文が要約に抽出されている場合は$1/\sqrt{n}$，抽出され
ていない場合は0の値を与える．例えば，5文からなるテキストの第1, 3文を抽
出して得られる要約のベクトル表現は${\bf v} = 1/\sqrt{2}(1,0,1,0,0)$と
なる．

まず，評価に正解を一つ用いる場合を考える．ここで正解と評価対象の要約の
抽出文数は同じとする．正解のベクトル表現${\bf v}_{Ans}$と評価対象のベ
クトル表現${\bf v}_{Obj}$を用いると，F値は両者のベクトルの内積によって
得られる．

\begin{equation}
F値 = Sim({\bf v}_{Ans}, {\bf v}_{Obj}) = {\bf v}_{Ans} \cdot {\bf v}_{Obj}
\end{equation}

このF値を，複数の正解を用いた評価尺度に拡張する．次式のような評価対象
の要約と複数の正解との内積の最大値を複数の正解に基づく評価尺度として提
案する．

\begin{equation}
F値 = max_{i = 1, \cdots , k} \left[{\bf v}_{Ans} \cdot {\bf v}_{Obj}\right]
\label{proposed-measure-1}
\end{equation}

この評価尺度は最終的に正解を一つ選択して評価を行なうものであるが，複数
正解において網羅性が不足している場合には，評価対象を評価するための適切
な正解が存在しないために適切な評価結果が得られないといった問題が生じる．
そこでさらに，網羅性の不足に対する頑健性を向上するために，式
\ref{proposed-measure-1}の尺度の拡張を試みる．まず正解を複数要約の単純
な集合から，各要約を基底として張られる部分空間へと拡張する．具体的には
次のような疑似的な線形性\footnote{ここで仮定する線形結合によるベクトル
は，要素に0，1以外の値を持つ場合は対応する要約が実在しないのでこのよう
に呼ぶ}を導入する．すなわち，k個の正解の集合${\bf v}_{Ans_1}, \ldots,
{\bf v}_{Ans_k}$が与えられた場合，これらの線形結合であるベクトル${\bf
V}_{Ans}(\alpha_1, \ldots, \alpha_k)$も同様に正解の一つと見なす．

\begin{eqnarray}
{\bf V}_{Ans}(\alpha_1, \ldots, \alpha_k) = \sum^{k}_{i} \alpha_i {\bf v}_{Ans_i}\\
ただし，\sum^{k}_{i} \alpha_i^2 = 1 \; (\alpha_i \geq 0)
\end{eqnarray}

網羅性の不足に対する頑健性が改善された複数の正解に基づくF値を以下のよ
うに提案する．

\begin{equation}
F値 = max_{\alpha_1, \ldots, \alpha_k}
\left[{\bf V}_{Ans}(\alpha_1, \ldots, \alpha_k) \cdot {\bf v}_{Obj}\right]
\label{proposed-measure-2}
\end{equation}

ここで結合係数$\alpha_1, \ldots, \alpha_k$は，複数正解の結合ベクトル
${\bf V}_{Ans}(\alpha_1, \ldots, \alpha_k)$と評価対象${\bf v}_{Obj}$と
の内積を最大化するように決定する．



\subsection{正解に用いる要約集合の作成方法}

ここでは，前節の類似度に基づく評価の妥当性を保証するために，正解に用い
る要約集合の満たすべき条件について検討する．提案手法による評価の妥当性
が保証されるためには，正解とする要約集合にいて，{\bf (1)網羅性に関する
条件}，すなわち要約タスクにおける可能な要約を網羅していること，および
{\bf (2)品質に関する条件}，すなわち正解として用いるのに十分な品質であ
ること，の二つが同時に満足される必要がある．これらは，任意の文抽出によっ
て可能な全ての要約集合から，要約タスクに対する理想的な要約集合を抽出す
る際のPrecisionとRecallであると言い換えることもできる．

\subsubsection*{(1)網羅性に関する条件}

まず，要約者の作成する要約が{\bf (2)品質に関する条件}を十分に満足して
いるという状況を仮定して考えてみる．この場合，{\bf (1)の網羅性に関する
条件}を満たすためには，要約者の人数を増やすなどして，可能な要約のバリ
エーションを尽くし切ればよい．正解の品質を高く保ちながら，同じ記事に対
して作成する要約の数を増やしていくと，正解集合のバリエーションの数もそ
れに従い増加して行くが，要約タスクにおける理想的な要約集合が尽くされて
いく過程で徐々に飽和していくと予想される．理想的な要約集合が尽くされた
かどうかを知るには，要約集合の数を増やして行く過程で，新たに加えられる
要約とすでに存在する要約集合との一致度の最大値が飽和したかどうかを見れ
ば良い．

要約間の一致度の尺度として，ここでは$\kappa$係数\cite{J.Carletta.96}を
用いる．この他の尺度としては，Marcu等の研究\cite{D.Marcu.97}で用いられ
ているPercent Agreement\cite{W.Gale.92}や，Cochran's Q Summary
Statistic \cite{W.G.Cochran.50}などがあるが，$\kappa$係数は無作為な文
抽出によって作成された二つの要約に対して0，完全に一致した要約に対して1
を与えるので飽和の程度を知るのに適している．ここで$\kappa$係数の導入を
行なう．N文のテキストからn文を抽出する要約タスクにおいて，k個の正解の
集合${\bf v}_{Ans_1}, \ldots, {\bf v}_{Ans_k}$がある時，この中の２つの
要約${\bf v}_{Ans_i}$と${\bf v}_{Ans_j}$の間の類似度は次のようになる．

\begin{eqnarray}
Sim({\bf v}_{Ans_i}, {\bf v}_{Ans_j}) = {\bf v}_{Ans_i} \cdot {\bf v}_{Ans_j}
\end{eqnarray}

この類似度から２つの要約中の抽出文の偶然一致によって生じる要約間の類似
度$Sim_{Random}$を差し引く．この値はn文の無作為抽出によって作成される
２つの要約間の類似度の期待値を計算すればよい．無作為抽出で作成された要
約間で偶然に一致する抽出文数$k$の確率分布は超幾何分布$HG(n,p;N)$に従う
ので，期待値$Sim_{Random}$は$k$に関する確率分布$f(k|n,p,N)$を用いて次
のように求めることができる．

\begin{equation}
Sim_{Random} = \sum_{k=0}^{n} \frac{k}{N} \cdot f(k|n,p,N) = p = \frac{n}{N}
\end{equation} 

$\kappa$係数\cite{J.Carletta.96}は，この２つの要約${\bf v}_{Ans_i}$と
${\bf v}_{Ans_j}$に対して次のように計算できる．

\begin{equation} 
\begin{array}{lcl}
\kappa({\bf v}_{Ans_i}, {\bf v}_{Ans_j})& = &\frac{Sim({\bf v}_{Ans_i}, {\bf v}_{Ans_j}) - Sim_{Random}}{1 - Sim_{Random}} \\
& = & \frac{{\bf v}_{Ans_i} \cdot {\bf v}_{Ans_j} - \frac{n}{N}}{1 - \frac{n}{N}}
\end{array}
\label{kappa-def}
\end{equation}

$\kappa$係数は，２つの要約が完全に一致する場合は1を与え，２つの要約が
抽出文の偶然の一致を除いて一致しない場合は0を与える．Krippendorff等の
研究\cite{K.Krippendorff.80}から，判断が一致していると結論するための基
準値は$0.7$以上であることが知られている．この基準に基づくと，既に作成
された要約集合${\bf v}_{Ans_1} \cdots {\bf v}_{Ans_n}$に，新たな要約
${\bf v}_{Ans_{n+1}}$を加え，要約集合の要素数nが増加していく過程におい
て，{\bf 要約集合における網羅性が十分であると判断できるのはnを増やして
も以下の基準が常に満たされ，異なりが飽和している場合}と言うことができ
る．

\begin{equation} 
Max_{i = 1 \cdots n} \kappa({\bf v}_{Ans_i}, {\bf v}_{Ans_{n+1}}) > 0.7
\label{satulation-condition}
\end{equation}

この条件を50文の文書に対して要約率$p=0.3$で要約集合を作成する場合にあ
てはめると，新たに要約を加える過程で要約集合の中で最も類似した要約との
抽出文の異なりが常に3文(抽出文の20\%)以下になった時に網羅性の高い要約
集合が得られたということになる．



\subsubsection*{(2)品質に関する条件}

品質の条件を満たすためには，要約作成の経験を積んだ専門家など，高いスキ
ルを持つ要約者に要約を作成させればよい．しかしながら，{\bf (1)網羅性に
関する条件}を同時に満たすことを考慮すると，専門家を多人数使って要約の
異なりを尽くし切るような方法はあまりにもコストが膨大で現実的とは言えな
い．したがって実際に評価を行なう上で要約集合の網羅性と品質の条件をどの
程度優先して作成するかという問題も検討する必要がある．

対象とするテキストが例えば新聞記事のように，ヘッドライン，パラグラフ構
造などの要約作成の指針となるような情報を多く含んでいたり，テキスト中の
文数や要約の抽出文数が少ないような場合は，理想的な要約を作成する上での
自由度も小さくなると期待される．このように{\bf 作成される要約の多様性
が比較的小さくなると予想される場合，要約スキルの高い作成者によって，あ
る程度の網羅性を満たす要約集合を作成するという方法が良い}と思われる．
しかし，要約を作成する上での自由度が高く評価対象の多様性が大きいと期待
される場合や，評価対象の要約の品質が低くそれほど品質の高い正解を基準と
する必要がない場合，要約の品質の高さはそれほど高くなくても網羅性が保証
された要約集合を用いるほうがより有意な評価結果が得られるという考え方も
できる．

後者のような大規模な要約集合を作成した例として，斎藤等による人間による
要約文の多様性の研究\cite{K.Saito.01J}が挙げられる．この実験では，朝日
新聞のコラム「天声人語」の原文から140名の学生によって20\%と30\%の要約
率でそれぞれ70の要約文を作成し，原文から要約文への文節単位での取り込み
傾向を分析している．その結果文節はその取り込み率によって，取り込まれる
傾向のもの，取り込まれない傾向のもの，そのいずれにも属さないものへと分
類され，6割以上の要約者が取り込んでいる文節集合(コア)を並べると，ほぼ
意味が通じる要約文が完成するという結果を得ている．この結果で興味深いの
は，それほど品質の高さが高くないと予想される要約集合からも，多くの要約
者に共通して重要と判定される部分(コア)，共通して重要でないと判断される
部分，それ以外を分離することが可能で，かつコアの部分の要約の品質が元の
要約集合に比べて高いという点である． \\

\noindent
このことから，{\bf 品質は高くないが大規模な要約集合が作成可能な場合，
まず網羅性の高い大規模な要約集合を作成し，その中から品質が比較的保証さ
れるような部分集合を切り出すといった方法が現実的である}と思われる．コ
アおよびその周辺の文を多く含む一致度の高い要約の抽出は，要約集合の全要
約対の間の一致度に基づいて階層的クラスタ分析などの方法を適用する方法で
実施できると思われる．例えば，$\kappa$係数の値の大きな要約対から順次，
群平均法などの階層的クラスタ分析を適用して階層構造を作成し，これを
Krippendorffの基準($\kappa > 0.7$)に基づいて全体の階層構造から一致度の
高い要約の部分集合を抽出する．この部分集合を正解の要約集合に用いる際に，
部分集合を全て用いるのではなく，含まれる要約数の大きいものだけを正解集
合に取り込むようにすれば，正解集合はよりコアに近い文を多く含んだ要約の
みが残るため，網羅性に比べてより品質が重視された集合が得られる．


\section{提案評価手法の予備実験}

\subsection{作成した正解要約集合の品質}

提案手法の検証のために，要約タスクにおいて複数要約の作成を試みた．ここ
では，NTCIR-2 TSCの重要文抽出タスク\cite{T.Fukusima.01}における評価セッ
ト\footnote {毎日新聞社新聞記事データより作成された要約データ(国立情報
学研究所提供)} 30記事中の4記事980503045，980505037，940701176，
940701189を選び(１テキストあたりの平均文数は$40.8$)，評価セットに付い
ている専門家による正解に加え，新たに要約者7名によって要約を作成した．
要約は評価セットの全要約率10\%，30\%，50\%について行なった．なお，要約
者は理系大学の卒業生で，要約に関連する特別な技術を持たない非専門家であ
る．

これらの要約者によって作成された4記事に対する要約の品質と網羅性につい
て検討するために，評価セットの正解(専門家による要約)と非専門家7名によ
る要約間の$\kappa$係数を求め，表\ref{matrix-kappa}に示した．Eは専門家
による要約結果，N1$\sim$N7はそれぞれ7名の非専門家による要約を表す．表
中の各値は，新聞記事4記事に対し要約率$p=0.1, 0.3, 0.5$で作成されたそれ
ぞれ(計12)の要約の$\kappa$の平均値である．また"平均"は，各評価者とそれ
以外の要約者7名との間の$\kappa$係数の平均値を示している．

\begin{table*}
\begin{center}
\caption{各要約対の$\kappa$係数の値(評価セット全4記事，要約率10\%, 30\%, 50\%の平均値)}
{\small
\begin{tabular}{|c||c|c|c|c|c|c|c|c|} \hline
& E & N1 & N2 & N3 & N4 & N5 & N6 & N7 \\ \hline\hline
E&- &0.32 &0.42 &0.31 &0.26 &0.28 &0.34 &0.29 \\ \hline
N1&0.32 &- &0.16 &0.29 &0.29 &0.24 &0.31 &0.27 \\ \hline
N2&0.42 &0.16 &- &0.29 &0.29 &0.25 &0.22 &0.12 \\ \hline
N3&0.31 &0.29 &0.29 &- &0.28 &0.30 &0.15 &0.13 \\ \hline
N4&0.26 &0.29 &0.29 &0.28 &- &0.22 &0.22 &0.01 \\ \hline
N5&0.28 &0.24 &0.25 &0.30 &0.22 &- &0.24 &0.17 \\ \hline
N6&0.34 &0.31 &0.22 &0.15 &0.22 &0.24 &- &0.30 \\ \hline
N7&0.29 &0.27 &0.12 &0.13 &0.01 &0.17 &0.30 &- \\ \hline\hline
平均&0.32&0.27&0.25&0.25&0.22&0.24&0.25&0.18 \\ \hline
\end{tabular}
}
\label{matrix-kappa}
\end{center}
\end{table*}

すべての$\kappa$係数の値が正であることは，全要約者の間に有意な一致が見
られることを示している．特に専門家と他の要約者との値が最も高い．これは
専門家による要約結果が非専門家による要約結果のコア(要約者によって共通
して抽出されている文集合)をより多く含んでいることを示している．このこ
とは専門家による要約が非専門家の要約に比べて品質が高いことに起因してい
ると理解される．品質の高い要約はコアを含んだ理想的な要約集合における抽
出文から構成されるが，品質の低い要約では理想的な要約集合には含まれない
文も混在するため，結果として品質の低い要約に比べると品質の高い要約の方
がより多くコアを含むと考えられるからである．

この要約集合における値をSalton等が報告している2人の要約者による50の文
書の要約結果\cite{G.Salton.97}と比較してみる．この結果では，2人の要約
者による要約の間の重なりは45.81\%，Randomによるベースラインは39.16\%で
あり，Salton等は得られた一致度が驚くほど低いと分析している．要約の対象
は百科辞典のテキストであり要約率はおよそ$40\%$，要約者のスキルについて
は情報がなく，実験条件が異なるので単純に比較するには問題があるが，
$\kappa$に換算すると0.1093であり我々の作成した要約の値より低い値である
ことが分かる．

また作成された要約集合は，$\kappa$係数の平均値がいずれもKrippendorff等
による基準を下回っていることから，非専門家による要約の品質の問題だけで
なく網羅性の不足も懸念される．さらに詳細に要約集合の網羅性を検討するた
め，評価セット中の記事940701176に対して30\%と50\%の要約率で作成された
要約結果を具体例として取り上げ検討する．

表\ref{matrix-kappa-03}は要約率30\%での要約結果に対する値を示している．
表\ref{matrix-kappa}での平均の値と異なり，各要約間の一致度の差がより明
確に現れていることが分かる．この中で，要約対(E, N5)と(N2, N5)は基準値
である0.7を越えていることから，要約E, N2, N5はこの集合のコアを構成して
いると考えられる．

しかし要約集合全体では，要約Eに対して，要約N1，N2，と順次要約を追加し
て行く過程での$\kappa$係数の最大値の推移を見ると，0.30，0.54，0.30，
$-0.16$，0.76，0.30，0.54，というように式\ref{satulation-condition}の
基準を下回る低い値で振動していることが分かる．このことから，ここで作成
された要約集合は，飽和するまでにまだかなり要約の数を増やす必要があるこ
とが分かる．表\ref{matrix-kappa-05}は要約率50\%での要約結果に対する値
を示しているが，全体的な傾向は要約率30\%での結果と変わらない．ただ，要
約率50\%では，抽出文の組み合わせの数が最大となるため，要約の可能性がよ
り多様になる分，全体的な$\kappa$係数の値も低くなっている．これに伴って，
飽和するまでに必要な要約の数もさらに大きくなると推測される．

以上の議論から，作成された要約集合は専門家による要約と非専門家による要
約との間に品質の差があり，また要約集合の網羅性を満たすためには要約の数
が不足していることが結論出来る．

\begin{table*}
\begin{center}
\caption{各要約対の$\kappa$係数の値(評価セット: 940701176，要約率: 30\%)}
{\small
\begin{tabular}{|c||c|c|c|c|c|c|c|} \hline
       & N1 & N2 & N3 & N4 & N5 & N6 & N7 \\ \hline\hline
E&0.30&0.54&0.30&-0.16&{\bf 0.76}&0.30&0.30\\ \hline
N1&-&-0.16&0.06&-0.40&0.06&0.30&0.54\\ \hline
N2&-&-&0.30&-0.16&{\bf 0.76}&0.06&0.06\\ \hline
N3&-&-&-&-0.16&0.54&0.06&0.06\\ \hline
N4&-&-&-&-&-0.16&0.30&-0.40\\ \hline
N5&-&-&-&-&-&0.30&0.30\\ \hline
N6&-&-&-&-&-&-&0.3\\ \hline\hline
最大値 & 0.30 & 0.54 & 0.30 & -0.16 & 0.76 & 0.30 & 0.54 \\ \hline
\end{tabular}
}
\label{matrix-kappa-03}
\end{center}
\end{table*}

\begin{table*}
\begin{center}
\caption{各要約対の$\kappa$係数の値(評価セット: 940701176，要約率: 50\%)}
{\small
\begin{tabular}{|c||c|c|c|c|c|c|c|} \hline
       & N1 & N2 & N3 & N4 & N5 & N6 & N7 \\ \hline\hline
E&0.06&0.24&0.43&-0.16&0.43&0.24&0.24\\ \hline
N1&-&-0.53&0.06&0.06&-0.16&0.43&0.43\\ \hline
N2&-&-&0.24&0.06&0.24&-0.16&0.06\\ \hline
N3&-&-&-&0.24&0.06&0.24&0.06\\ \hline
N4&-&-&-&-&-0.16&0.43&-0.16\\ \hline
N5&-&-&-&-&-&0.06&-0.16\\ \hline
N6&-&-&-&-&-&-&0.43\\ \hline\hline
最大値 & 0.06 & 0.24 & 0.43 & 0.24 & 0.43 & 0.43 & 0.43 \\ \hline
\end{tabular}
}
\label{matrix-kappa-05}
\end{center}
\end{table*}


\subsection{各要約者の要約結果の異なりの検討}

ここでは，前節で既に取り上げた評価セット中の記事940701176について，各
要約者の要約結果がどのような箇所においてばらつきが生じているのかをさら
に詳細に検討する．記事の本文を付録に示し，専門家および非専門家
によって作成された要約結果を以下表\ref{testset-sample-sum}に示す．各行
は記事中の各文番号，列は各要約率10\%，30\%，50\%における専門家E，非専
門家1 $\sim$ 7(既出のN1 $\sim$ N7に対応)による要約を示し，それぞれの値
が1であれば重要文として要約に含まれ，0であれば要約に含まれないことを表
している．


\begin{table*}
\begin{center}
\caption{評価セット中の記事940701176に対する要約結果}
{\scriptsize
\begin{tabular}{|c||c||c|c|c|c|c|c|c||c||c|c|c|c|c|c|c||c||c|c|c|c|c|c|c|} \hline
 & \multicolumn{8}{c|}{要約率10\%} & \multicolumn{8}{c|}{要約率30\%} & \multicolumn{8}{c|}{要約率50\%} \\ \cline{2-25}
文 & \hspace{-1.0pt}E\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}2\hspace{-1.0pt} & \hspace{-1.0pt}3\hspace{-1.0pt} & \hspace{-1.0pt}4\hspace{-1.0pt} & \hspace{-1.0pt}5\hspace{-1.0pt} & \hspace{-1.0pt}6\hspace{-1.0pt} & \hspace{-1.0pt}7\hspace{-1.0pt} & \hspace{-1.0pt}E\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}2\hspace{-1.0pt} & \hspace{-1.0pt}3\hspace{-1.0pt} & \hspace{-1.0pt}4\hspace{-1.0pt} & \hspace{-1.0pt}5\hspace{-1.0pt} & \hspace{-1.0pt}6\hspace{-1.0pt} & \hspace{-1.0pt}7\hspace{-1.0pt} & \hspace{-1.0pt}E\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}2\hspace{-1.0pt} & \hspace{-1.0pt}3\hspace{-1.0pt} & \hspace{-1.0pt}4\hspace{-1.0pt} & \hspace{-1.0pt}5\hspace{-1.0pt} & \hspace{-1.0pt}6\hspace{-1.0pt} & \hspace{-1.0pt}7\hspace{-1.0pt} \\ \hline\hline
\hspace{-1.0pt}1\hspace{-1.0pt}  & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} \\ \hline
\hspace{-1.0pt}2\hspace{-1.0pt}  & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} \\ \hline
\hspace{-1.0pt}3\hspace{-1.0pt}  & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} \\ \hline
\hspace{-1.0pt}4\hspace{-1.0pt}  & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} \\ \hline
\hspace{-1.0pt}5\hspace{-1.0pt}  & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} \\ \hline
\hspace{-1.0pt}6\hspace{-1.0pt}  & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} \\ \hline
\hspace{-1.0pt}7\hspace{-1.0pt}  & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} \\ \hline
\hspace{-1.0pt}8\hspace{-1.0pt}  & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} \\ \hline
\hspace{-1.0pt}9\hspace{-1.0pt}  & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} \\ \hline
\hspace{-1.0pt}10\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} \\ \hline
\hspace{-1.0pt}11\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} \\ \hline
\hspace{-1.0pt}12\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} \\ \hline
\hspace{-1.0pt}13\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} \\ \hline
\hspace{-1.0pt}14\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} \\ \hline
\hspace{-1.0pt}15\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} \\ \hline
\hspace{-1.0pt}16\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} \\ \hline
\hspace{-1.0pt}17\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} \\ \hline
\hspace{-1.0pt}18\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} \\ \hline
\hspace{-1.0pt}19\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} \\ \hline
\hspace{-1.0pt}20\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}1\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} \\ \hline
\hspace{-1.0pt}21\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} & \hspace{-1.0pt}0\hspace{-1.0pt} \\ \hline
\end{tabular}
}
\label{testset-sample-sum}
\end{center}
\end{table*}

まず，表\ref{testset-sample-sum}の結果を見ると，要約率10\%において専門
家"E"は，重要文として第4，19文を選択していることが分かる．一方，非専門
家"1$\sim$7"の判断のうち過半数が一致しているのは，第1文である(第1,17,
19文の3文には３人以上が集中)．また，要約率30\%では，専門家が重要と判断
している第1,2,4,7,8,19文の6文に対し，非専門家の過半数が一致してい
るのは第1,4,17,19文の4文である．要約率50\%では，専門家が重要と判断
している第1,2,4,6,7,8,13,14,17,18,19文の11文に対して，非専門
家の過半数が一致しているのは第1,4,5,6,10,11,12,13,14,15,17,18,19文の13
文である．これらの結果から，非専門家の多数が重要と判断している文は，専
門家の判断によく一致していることが分かる．

さらに各要約結果の中身を詳細に検討すると，要約者が重要文を決定する際に，
テキスト中での文の重要性と同時に，文間の結束性も考慮されていることが分
かる．強い結束関係によって結ばれた2文の一方のみを重要文として抽出して
も，要約において意味が正しく伝わらない場合が生じるためである思われる．
同記事中に存在する文間の結束性のうち，指示，代用，省略に相当すると思わ
れるものを以下に挙げる．

\begin{description}
\item[省略1] $第1文: "ダウレット・トルリハノフさんは" \leftarrow \{第
2,3,4,5,6,8文,ヘッドライン\}$
\item[省略2] $第1文: "カザフスタン" \leftarrow 第4文: "独立", 第6文: "最高会議議員"$
\item[省略3] $第2文: "レスリング" \leftarrow 第3文: "チャンピオン"$
\item[省略4] $第2文: "五輪" \leftarrow 第4文: "メダリスト"$
\item[省略5] $第12文: "カザフスタンは" \leftarrow 第13文$
\item[指示1] $第4文: "褒賞金" \leftarrow ヘッドライン: "褒賞金"$
\item[指示2] $第4文: "実業界" \leftarrow ヘッドライン: "実業界"$
\item[指示3] $第5文: "スポーツジム" \leftarrow 第9文: "スポーツジム"$
\item[指示4] $第7文: "カザフスタンのレスリング" \leftarrow 第8文: "それ"$
\item[指示5] $第11文: "「奨学金」" \leftarrow 第14文: "奨学金"$
\item[指示6] $第13文: "給与生活者" \leftarrow 第14文: "その"$
\item[代用1] $第7文: "広島アジア大会" \leftarrow 第19文: "広島", 第20文: "アジア大会"$
\item[代用2] $第10文: "有望選手六十五人" \leftarrow 第15文: "選手"$
\end{description}

例えばテキスト中の第2,3,4,5,6,8文およびヘッドラインにおいては，"ダウレット・
トルリハノフさんは"という主語が，第1文中において既出であるため省略され，
省略の関係にある．また，第8文の"それ"は，第7文の"カザフスタンのレスリ
ング"を指しており，指示の関係にあると思われる．

表\ref{testset-sample-sum}の10\%の要約結果を結束性に基づいて考慮すれば，
非専門家"1$\sim$7"の判断が第1文に集中したのは，第1文とそれ以降の文との
間で，結束関係が多数結ばれていたためと考えられる．専門家による要約では，
第4,19文が選択されているが，第4文自身は，ヘッドラインとの結束性が高い
ため，重要性が高いと考えられる．この場合も，"トルリハノフ"と"カザフス
タン"が第19文に含まれており，第4文との間での結束性が保存される組合せと
なっている．

ここで，表\ref{testset-sample-sum}の要約率30\%において，専門家と非専門
家の過半数が重要と判断している第1,2,4,7,8,17,19文の7文に注目して検討を
行うことにする．第(1$\sim$20)文を文脈的なまとまりで分けると，
(7$\sim$15)，(16$\sim$17)，(18$\sim$20)の3つの部分に分割することが出来
る．それぞれの部分に閉じた結束関係は，まず最初の部分(1$\sim$6)について
は"省略1"，"省略2"，"省略3"，"省略4"，"指示1"，"指示2"である．これらの
結束性をなるべく保存しながら文抽出を行うとすると，第1文，第2文，第4文
の順に抽出することになり(ヘッドラインを重視すれば第4文はより優先される)
要約率30\%において第1,2,4文が重要文と評価された結果と矛盾しない．同様
に(7$\sim$15)の部分における結束関係は"省略5"，"指示4"，"指示5"，"指示
6"であるが，第7,8文を抽出している結果はこのうち"指示4"の結束関係を保存
し，構造全体においても以降に続く文の展開の起点となっているため妥当であ
ると考えられる．さらに修辞構造もまた同様に，要約結果を大きく決定づける
要因であると考えられる\cite{D.Marcu.97}．

このように，複数要約者が要約作成する際，観点の違いによって要約結果の違
いを生じることはあっても，結束性，照応関係，修辞構造などの要約の対象で
ある元テキストが持っている構造をなるべく保存するような原則が働いている
ものと考えられる．このことは，今後より品質の高い要約の正解を作成する上
で有用な知見であると思われる．


\subsection{自動要約手法との比較}

ここでは，要約の戦略の異なるいくつかの重要文抽出法との比較を行なう．重
要文抽出法では，テキスト中の文の重要度を計算し，重要度の高い文から順に
要約率に達するまで抽出する．この文の重要度の計算には，(1)キーワードの
出現頻度，(2)文位置，(3)ヘッドライン，(4)文同士の関係に基づくテキスト
構造，(5)手がかり表現，(6)文あるいは単語間の関係，(7)文間の類似性，な
どのテキスト中の情報が有用であることが知られており
\cite{C.D.Paice.90,M.Okumura.99J}，現在に至るまでこれらの情報にもとづ
く様々な要約手法が検討されてきた
\cite{H.P.Edmundson.69,C.Aone.98,C.Nobata.01J,T.Yoshimi.99J,M.Utiyama.00J}．
ここでは，以下に示す{\bf TF}，{\bf TF+H}，{\bf LEAD}，{\bf Hyb(rid)1}，
{\bf Hyb(rid)2}の5つの自動要約手法\cite{K.Ishikawa.01}を用いて，これら
の手法による要約結果と，先に作成した複数の正解要約との比較評価を行なう．

\begin{description}
\item[TF] TF法．次式の$IW_{TF}(s)$を文の重要度に用いる．$\{t\} \in s$
は文$s$中に出現する単語集合，$f(t)$はキーワード$t$の文書中における出現
頻度を表す．
\begin{displaymath}
IW_{TF}(s) = \sum_{\{t\} \in s} f(t)
\end{displaymath}
\item[TF+H] ヘッドライン情報を考慮したTF法，次式の$IW_{TF+H}(s)$を文の
重要度に用いる．$A = 20$を用いる．
\begin{displaymath}
IW_{TF+H} (s) = \sum_{\{t\} \in s} \alpha (t)
\cdot f(t), \;\;\;\;\;\;
 \alpha (t) = \left \{
\begin{array}{ll}
 A & \mbox{t がヘッドライン中に出現} \\ 1 &
\mbox{それ以外} 
\end{array}
\right. 
\end{displaymath}
\item[LEAD] LEAD法．記事テキストの先頭から文の並び順に要約率に達するま
で文抽出を行う．
\item[Hyb(rid)1] TF+HとLEADを組み合わせた手法．次式の$IW_{Hyb}(s,i)$を
文の重要度に用いる．$i$は文$s$のテキスト中での先頭からの位置，$IW_{TF
＋H} (s)$は{\bf TF+H}で用いた文の重要度を表す．パラメータは経験的に求
められた最適値$A = 20$，$B = 10$，$N = 3$を用いる．
\begin{displaymath}
IW_{Hyb} (s, i) = \beta(i) \cdot IW_{TF＋H} (s), \;\;\;\;\;\;
\beta (i) = \left\{
\begin{array}{ll}
B & \mbox{if $1 \leq i \leq N$} \\
1 & \mbox{if $i > N$}
\end{array}
\right.
\end{displaymath}
\item[Hyb(rid)2] {\bf Hyb1}と同じ$IW_{Hyb}(s,i)$を文の重要度
に用いる．パラメータに$A =20$，$B = 100$，$N = 3$を用いる．$B$が十分大
きいので，先頭$N$文を無条件に抽出(LEAD法)した後に{\bf TF+H}を適用する
のと同様の効果を持つ．
\\
\end{description}

先に複数の要約正解を作成したNTCIR-2要約データ中の4記事に対し，以上の5
つの自動要約手法{\bf TF}，{\bf TF+H}，{\bf LEAD}，{\bf Hyb1}，{\bf
Hyb2}を適用し，要約結果を作成した．これらの自動要約手法による要約結果
と，複数の正解要約との間の一致度を$\kappa$係数の値として求め，表
\ref{kappa-human-machine}に示した．ここでは要約間の一致度の相対的な異
なりを議論するために，偶然による一致度が除かれる$\kappa$係数の値を示し
ているが，太字で示した最大値は本質的に，先に提案した複数の正解に基づく
F値(\ref{proposed-measure-1}式)に相当するものである．表中で，Eは専門家
による正解要約，N1$\sim$N7はそれぞれ7名の非専門家による正解要約，TF，
TF+H，LEAD，Hyb1，Hyb2，は自動要約手法を表す．各$\kappa$係数の値は，新
聞記事4記事と3種類の要約率$p=0.1, 0.3, 0.5$に関する平均値を表している．

\begin{table*}
\begin{center}
\caption{複数の正解要約と自動要約手法による要約結果の$\kappa$係数の値}
\begin{tabular}{|c||c|c|c|c|c|c|c|c|} \hline
  & E & N1 & N2 & N3 & N4 & N5 & N6 & N7 \\ \hline\hline
TF & 0.09 & 0.09 & 0.07 & 0.11 & -0.01 & 0.03 & 0.06 & 0.01 \\ \hline
TF+H & 0.12 & 0.09 & 0.15 & {\bf 0.16} & 0.13 & 0.17 & 0.07 & 0.05 \\ \hline
Hyb1 & 0.18 & 0.14 & 0.13 & 0.11 & 0.13 & 0.22 & 0.12 & 0.11 \\ \hline
Hyb2 & {\bf 0.23} & 0.18 & {\bf 0.16} & 0.11 & {\bf 0.16} & 0.24 & 0.13 & 0.11 \\ \hline
LEAD & 0.08 & {\bf 0.26} & -0.03 & -0.01 & -0.03 & {\bf 0.25} & {\bf 0.14} & {\bf 0.15} \\ \hline
\end{tabular}
\label{kappa-human-machine}
\end{center}
\end{table*}

表を見ると，一致度の高い自動要約手法は，正解ごとで異なっていることが分
かる．正解要約E，N2，N4に対しては要約手法Hyb2，正解要約N1，N5，N6，N7
に対しては要約手法LEAD，正解要約N3に対しては要約手法TF+Hが最も高い値と
なっている．これは，正解要約の作成において，それぞれの要約者の観点や戦
略が異なるためと考えられる．とくに，正解要約N1，N5，N6，N7を作成した要
約者達はテキストの先頭数文を重要文として抽出するLEAD法と類似した戦略を
とっているが，正解要約N2，N3，N4を作成した要約者達は全くそのような戦略
をとっていないということが表から読みとれる．この結果に見られるような，
要約正解の観点や戦略の違いなどによる相違は，提案手法において複数正解を
用いる上で期待されていたような傾向であり，正解の品質を十分に高められた
場合に，要約結果と正解の間の相性によらずに適切に評価出来るという，提案
手法の目指す枠組が有効に機能することを示唆している．より品質の高い正解
要約による提案手法の完全な検証は今後の課題である．

\section{おわりに}

本稿では，要約手法として特に重要文抽出法に焦点を当て，複数の正解に基づ
く評価法の提案を行なった．従来の評価方法では，テキストの要約において唯
一の正解を用いるが，テキストによっては観点の異なる正しい要約が複数存在
する場合もあり，評価の信頼性が保証されないという問題がある．要約評価の
例として，NTCIR Workshop2のテキスト要約タスクの評価結果を取り上げ，特
に要約率50\%において複数の要約間での有意な差が現れていないという現象に
着目して議論した．

我々は，この要約の自動評価の信頼性を高めるために，評価において複数の正
解を用いる方法について検討を行なった．提案手法では，複数の正解要約と評
価対象を共に，0，1のバイナリ値を要素とするベクトル表現で表した時，複数
の正解要約のパラメータを含んだ線形結合と評価対象との内積の最大値を評価
値とする．この評価値は，個々の正解要約から計算される評価値から最大のも
のを選ぶ方法と異なり，複数の正解要約を組み合わせたような中間的な要約を
適切に評価できるという性質を持つ．

提案手法の検証のために，要約タスクに対して複数の正解の作成を行なった．
ここでは NTCIR-2 要約データ中の4記事に対して，要約者7名で正解要約の作成
を行なった．適切な評価を行なう上で，作成された要約が正解として十分な品
質であるかどうかを，正解の要約間の一致度 $\kappa$ 係数で評価した．その
結果，Krippendorff等による $\kappa$ 係数の条件をはるかに下回り，複数正
解に基づく評価を行なう上で品質が不十分であることが明らかとなった．

この正解の作成過程において，作業コスト，要約作成の経験，対象テキストの
性質等は正解の品質に影響し，要約の品質を高めるためにはこれらの要約作成
条件を注意深く管理することが重要であることが分かった．さらに，作成され
た複数の要約を詳細に検討した結果，観点の違いによって要約結果の違いを生
じても，元テキスト中の結束性や修辞関係に基づく構造をなるべく損なわない
様に要約するという共通の法則性も見出された．この知見は，今後複数の要約
正解を作成する上でも有用な知見であると思われる．

最後に，提案手法の有効性を検証する予備実験として，異なる幾つかの自動要
約手法と複数正解との一致度に基づく評価を行なった．その結果，最も評価の
高い自動要約手法は正解によって異なるという結果が得られた．この結果は，
正解の品質を十分に高められた場合，要約者の観点や戦略が異なる複数正解の
存在によって，要約結果と正解の間の相性によらない適切な評価を実現すると
いう，提案手法の枠組の有効性を示唆している．より品質の高い正解要約によ
る提案手法の完全な検証は今後の課題である．




\bibliographystyle{jnlpbbl}
\bibliography{346}

\section*{付録 評価セット(940701176)の本文(毎日新聞全文記事データベース)}

{\setlength{\baselineskip}{9pt}{\footnotesize
\noindent
ヘッドライン ［ヒロシマ・熱風］／５　褒賞金で実業界へ・・・後進を支援 【大阪】\\
1 ダウレット・トルリハノフさん（３０）はカザフスタンでいま，一番有名で，忙しい人物だろう．\\
2 九歳からレスリングを始め，ソウル五輪（一九八八年）で銀，バルセロナ五輪（九二年）で銅メダルを獲得．\\
3 全ソ連のチャンピオンに七回輝いた．\\
4 独立後の経済自由化の波に乗り，メダリストの褒賞金を元手に実業界に転身．\\
5 レスリングジムを手始めに現在はアルマトイでレストラン，バー，スポーツ
ジムなどからなる複合レジャー施設「ダウリヤット」や出版社などを経営する． \\
6 今年三月には日本の国会議員に当たる最高会議議員に当選，どこへ行っても
握手攻めに遭う国民的英雄だ．\\
7 カザフスタンのレスリング水準は高く，広島アジア大会でも金メダル三個は
狙えるといわれる． \\
8 それを個人の財力で支援している．\\
9 トルリハノフさんのスポーツジムには，ドイツ製の最新トレーニングマシン
がずらっと並ぶ．\\
10 レスリングのほか，ボクシング，重量挙げなどの有望選手六十五人が所属．\\
11 毎月一人最高で日本円二万円相当の「奨学金」をもらっている．\\
12 カザフスタンは天然資源が豊富なのに，精製工場が国内にない旧ソ連の分
業生産体制のなごりで，エネルギー危機が続く．\\
13 独自通貨の導入に伴う激しいインフレで，給与生活者の大半は本業だけで
は生活できず，国家公務員がアルバイトにタクシーを運転する．\\
14 その平均給与の約八倍にも当たる奨学金は，破格の待遇．\\
15 それだけに「やる気のないものは出ていけ．余分なやつの面倒はみられな
い」というレスリングコーチ，サプノフ・ゲナンディさん（５５）のハッパは
厳しく，選手たちの表情も真剣だ．\\
16 大理石を敷きつめた高級レストランの奥で，トルリハノフさんが力説した．\\
17 「経済，文化，科学は危機的状況だが，スポーツは生き残らせてみせる．わたしたちは国づくりに踏み出したばかり．国民の士気を盛り上げるためにスポーツは非常に重要だからね」\\
18 七月一日から，従来の「ＣＣＣＰ」（旧ソ連）のパスポートが，カザフス
タン独自のものに切り替わり，民族意識はより高まる．\\
19 「カザフスタンの存在をアジアの仲間に訴えたい」と意気込むトルリハノ
フさん自身もコーチ兼選手として，広島に乗り込む予定だ．\\
20 アジア大会開幕まで，あと三カ月——．\\
21 （おわり）\\
}}

\begin{biography}
\biotitle{略歴}

\bioauthor{石川 開}{
1994年東京大学理学部物理学科卒業．1996年同大学院修士課程修了．同年，
NEC入社．1997年より2年間，ATR音声翻訳通信研究所に出向．現在，NECマルチ
メディア研究所，研究員．自然言語処理の研究に従事．情報処理学会会員．}

\bioauthor{安藤 真一}{
1990年大阪大学基礎工学部生物工学科卒業．1992年同大学院修士課程修了．同
年，NEC入社．1995年より2年間，ATR音声翻訳通信研究所に出向．現在，NECマ
ルチメディア研究所，主任．自然言語処理の研究に従事．情報処理学会，
人工知能学会，各会員．}

\bioauthor{奥村 明俊}{
1984年京都大学工学部精密工学科卒業．1986年同大学院工学研究科修士課程修
了．同年，NEC入社．1992年10月南カリフォルニア大学客員研究員(DARPA MTプ
ロジェクト１年半参加)．1999年東京工業大学情報理工学研究科博士課程修了．
現在，マルチメディア研究所，研究部長．自然言語処理の研究に従事．工学博
士．情報処理学会，ヒューマンインターフェース学会などの各会員．}


\bioreceived{受付}
\biorevised{再受付}
\biorerevised{再々受付}
\bioaccepted{採録}
\end{biography}

\end{document}


