



\documentstyle[epsf,jnlpbbl]{jnlp_j_b5}
\setlength{\topmargin}{0mm}

\setcounter{page}{101}
\setcounter{巻数}{6}
\setcounter{号数}{3}
\setcounter{年}{1999}
\setcounter{月}{4}
\受付{1998}{9}{2}
\再受付{1998}{12}{17}
\採録{1999}{1}{25}

\setcounter{secnumdepth}{2}

\title{語彙的連鎖に基づくパッセージ検索}
\author{望月  源\affiref{JAIST} \and 岩山  真\affiref{HARL} \and
	奥村  学\affiref{JAIST}}

\headauthor{望月 源，岩山 真，奥村 学}
\headtitle{語彙的連鎖に基づくパッセージ検索}

\affilabel{JAIST}{北陸先端科学技術大学院大学 情報科学研究科}
{School of Information Science, Japan Advanced Institute of
Science and Technology}
\affilabel{HARL}{(株) 日立製作所 基礎研究所}
{Advanced Research Laboratory, Hitachi, Ltd.}

\jabstract{
計算機上の文書データの増大に伴い，膨大なデータの中から
ユーザの求める文書を効率よく索き出す文書検索の重要性が高まっている．
伝統的な検索手法では，文書全体を1つのまとまりとして考え検索要求との
類似度を計算する．しかし，実際の文書，特に長い文書では様々な話題が存
在し，文書中の各部分によって扱われる話題が異なる場合も多く見られる．
そのため，最近の文書検索では，ユーザの入力した検索要求と関連の高い文
書の一部分を取り出して類似度を計算するパッセージレベルの検索が注目さ
れている．パッセージ検索におけるパッセージとは，文書中で検索要求の内容と強
く関連する内容を持つ連続した一部分のことを言う．
パッセージ検索では，このパッセージをどのように決定するかが問題となる．
良いパッセージを決定するためには，パッセージ自体が意味的なまとまりを
形成し，パッセージの位置やサイズが検索要求や文書に応じて柔軟に設定さ
れる必要があると考えられる．
本稿では，文書中の文脈情報である語彙的連鎖を利用し，検索要求と文書の
適切な類似度を計算できるパッセージ決定手法について述べる．また，このパッ
セージを使用し，検索精度を向上させる検索手法について述べる．
}

\jkeywords{パッセージ，文書検索，語彙的連鎖，共起単語}

\etitle{Passage-Level Document Retrieval\\
\hspace*{17mm}Using Lexical Chains}
\eauthor{Hajime Mochizuki \affiref{JAIST} \and Makoto
Iwayama\affiref{HARL}
	\and Manabu Okumura\affiref{JAIST}} 

\eabstract{
The importance of document retrieval systems which can retrieve relevant
documents for user's needs is now increasing with the growing availability
of full-text documents.
In the traditional document retrieval, each document is 
treated as a single unit. However, since long documents tend to contain
various topics, the passage-level retrieval has been received more
attention in the recent document retrieval.
The passage can be considered as a sequent part of the document
which contains a content related to a content of the query.
In the passage retrieval, it is a problem how to decide the passages. 
It is considered that the passages which form coherent semantic units can
effectively improve the accuracy. Furthermore, it may be also 
effective that the size and position of passage can be flexibly changed 
determining on the query and the document.
In this paper, we describe a better method for calculating the passages
that uses lexical chains.
We will also present a passage-level document retrieval method which
improves the accuracy.}
\ekeywords{passage, document retrieval, lexical chain, cooccurrence word}

\begin{document}
\maketitle


\newpage
\section{はじめに}\label{sec:intro}
計算機上の文書データが増大するにつれ，膨大なデータの中からユーザ
の求める文書を効率よく索き出す文書検索の重要性が高まっている．
文書検索では，ユーザが情報要求を検索要求として表現する．
検索システムは，検索要求の内容と各文書の内容との類似度を計算し，
値の高い順に文書を並べて表示する．
この類似度は，一般に検索要求内のタームとマッチするタームの文書中の重要度を
基に計算される．
各タームの重要度は，「ある文書に多く出現し，文書集合全体ではあまり出現しな
いタームほど，その文書中で重要なタームである」という仮定に基づき，文書中の
各タームの出現頻度($tf$)および，そのタームの文書集合全体での出現文書頻度の
逆数($idf$)に基づいて計算する場合が多い\cite{salton:88b}．

伝統的な検索手法では，文書全体を1つのまとまりとして考え，文書中の各ターム
の重要度を文書全体における重要度として計算する．
しかし，実際の文書，特に長い文書は様々な話題を含むため，
文書中の各部分によって話題が異なる場合も多く見られる．話題の違いは，その話
題が述べられている部分に出現するタームの違いとして現われる．例えば，あるター
ムが文書中の一部分では頻出し，他の部分ではほとんど出現しないという状況もあ
る．このような文書に対しては，文書全体を分割できない1つの単位とするので
は，各タームの重要度を計算するには充分ではなく，各話題を表わす部分を別々に
扱って各タームの重要度を計算することが必要になる．
こうした点から，最近の研究では，
パッセージを用いた検索が注目されている
\cite{Salton:93,Callan:94,Hearst:93,Knaus:94,Moffat:94,Kaszkiel:97,Melucci:98}．

パッセージ検索は，文書全体を1つの単位とした検索とは異なり，パッセージとい
う単位を使用して，検索要求と文書の類似度計算を行なう．
各タームの重要度は，パッセージにおける重要度として計算する．
そのため，パッセージ検索と文書全体での検索では，同じ検索要求と文書に対し，
異なる単位によって類似度を計算することになり，統合的に用いることが可能であ
る．

パッセージ検索では，どのようにパッセージを決定するかという新たな問題が発生
する．
良いパッセージが決定できれば検索の精度も向上すると考えられるので，これは重
要な問題である．
パッセージとは一般的には文書中で連続した一部分のことを言うが，パッセージ検
索においては，単に連続した一部分というだけでは充分ではなく，
文書中で検索要求の内容と強く関連する内容を持つ意味的なまとまりを形成する必
要がある．

また，ユーザによって求める情報が異なり，その要求は検索要求によって反映され
るという文書検索の性質から，文書検索におけるパッセージは，検索要求が入力さ
れた時点で検索要求に応じて動的に計算される方が望ましい．
さらに，検索要求に関連する部分が全ての文書で一定のサイズであるということは
考え難いことから，パッセージのサイズが検索要求や文書に応じて柔軟に設定され
ることも良いパッセージの決定につながると考えられる．

本研究では検索要求が入力された時点で検索要求と各文書に応じて意味的
なまとまりを持つパッセージを動的に決定する手法を示す．
意味的なまとまりは，
語彙的連鎖\cite{Morris:91}の情報を
使用して獲得する．語彙的連鎖(lexical chain)とは，
語彙的結束性(lexical cohesion)\cite{Halliday:76}と呼ばれる意味的な関連を持
つ単語の連続のことをいう．語彙的連鎖は文書中に複数存在し，1つの連鎖の範囲
内では，その連鎖の概念に関連する話題が述べられている
\cite{okumura:94a,Barzilay:97}．そのため，文書内で検索要求と関連する話題が
述べられている部分を語彙的連鎖の情報を使用して計算できるので，意味的にまと
まったパッセージを得ることができる．

本研究では，語彙的連鎖を使用することで検索要求に応じた良いパッセージが抽出
でき，そのパッセージを使用することで検索精度が向上することを示す．
また，上記の主張の有効性を調べるため，いくつかの実験を行う．

以下，\ref{sec:passage}節ではパッセージ検索研究の概要について述べ，
\ref{sec:lexchain}節では語彙的連鎖の計算方法について述べる．
\ref{sec:ourpassage}節では本研究で提案する語彙的連鎖に基づくパッセージ検索
手法について述べる．
\ref{sec:experiment}節では実験に関して述べ，結果の考察をする．

\section{パッセージレベルの文書検索}\label{sec:passage}
パッセージ検索では，検索要求と各文書との類似度を，
文書中の各パッセージとの類似度によって計算
\cite{Mittendorf:94,Hearst:93,Melucci:98}したり，
文書全体での類似度とパッセージでの類似度を組み合わせて計算
\cite{Callan:94,Salton:93,Wilkinson:94,Allan:95}したりする．

パッセージの単位には大きく分けて，文書の章，節や形式段落
のような形式的な情報に基づくもの
\cite{Salton:93,Salton:94b,Moffat:94,Wilkinson:94,Mittendorf:94,Knaus:94}，
固定長や可変長のウィンドウに基づくもの
\cite{Callan:94,Kaszkiel:97,Melucci:98}，
形式によらない意味的なまとまりに基づくもの\cite{Hearst:93}の3種類が
ある．

文書中の形式段落や章，節という形式的な情報によるパッセージ抽出は，パッセー
ジを著者が決定した構造に従って取り出す手法である．このタイプのパッセージは，
検索に先立ってインデキシング時に決定できるため処理が容易であるという利点が
ある．
しかし，現実の文書では同一の話題が複数の段落や章，節などにまたがる場合もあ
る．
また，日本語においては，形式的な切れ目と内容の切れ目が一致しない場合があ
る\cite{tokoro}．このような場合，形式的な情報をパッセージの単位とすると検
索精度に悪影響を与える可能性がある．
また，このタイプのパッセージは，検索要求に関係なくパッセージの単位を決定す
る．そのため，検索の精度を向上させる条件として，決定されたパッセージがどの
ような検索要求に対しても適切な類似度を計算できるパッセージである必要がある．
しかし，実際にこのようなパッセージを決定することは困難であり，この点が問題
点として指摘されている\cite{Callan:94,Melucci:98}．

固定長や可変長ウィンドウによるパッセージは，検索要求が入力された時点で
ウィンドウをスライドさせながら各文書を走査し，検索要求との類似度が高いウィ
ンドウを関連の高いパッセージとして決定する．このタイプのパッセージ検索は，
検索要求に応じて関連するパッセージを決定できるという利点がある一方で，有意
なウィンドウサイズを決定しなければならないという問題が生じる．ウィンドウサ
イズには，固定長\cite{Callan:94,Kaszkiel:97}，一定の範囲で変化させる可変長
\cite{Kaszkiel:97,Melucci:98}があるが，実際には効果的な検索を実現するため
に，データベース中の文書の長さや種類によってウィンドウの長さを調整する方法
がよくとられている．
また，走査において，ウィンドウをスライドさせる幅も問題になる．スライド幅を
小さくすると細かな走査が可能になるが，検索にかかるコストが高くなり実用的で
なくなる．一方，幅を大きくすると検索コストは軽減されるが，ウィンドウ境界に
またがる部分の影響により検索精度が悪くなる可能性がある．Callanはこの問題に
対処するために，入力された検索要求と最初に一致した場所からウィンドウによる
走査を開始し，以降のウィンドウは前のウィンドウの中間点から開始するという手
法を提案している\cite{Callan:94}．しかし，有意なウィンドウサイズを決定しな
けれはならないという問題は依然として残っている．またこのタイプのパッセー
ジは，文書の意味的な要素を反映していないという問題がある．

形式によらない意味的なまとまり
に基づくパッセージ抽出は，文書の内容に基づいているため
最も望ましい方法である．
このタイプのパッセージ抽出には，あらかじめ文書を談話セグメント(意味段落)に
分割することでインデキシング時にパッセージを決定する方法と，検索要求が入力
された時点で検索要求と関連の強い意味的なまとまりとしてパッセージを取り出す
方法の2つが考えられる．

HearstとPlauntは，前者の方法として，文書をあらかじめ固定長のブロックに区切
り，文書中に出現する語の結束性を計算し，結束性を持つ語がブロック間にまたがっ
ている割合の多いブロックどうしをまとめ，談話セグメント，すなわちパッセージ
を形成する\cite{Hearst:93}．しかし，形式的な情報を
用いる場合と同様に，検索要求に関係なくパッセージが決定されるため，どのよう
な検索要求にも適切なパッセージを仮定しているという問題がある．また，文書
の談話セグメントへの分割は多くの研究者によって行われているが
\cite{Kozima:93,Hearst:94,Litman:95,Mochizuki:98}，
現在のところ充分な精度での談話セグメントへの分割は達成されていない．

しかし，厳密に談話セグメントを計算する代わりに，比較的浅い処理を用いて文書
中の意味的にまとまった部分を取り出すことは可能である．例えば，
語彙的連鎖\cite{Morris:91}を計算すると，文書中の語彙ごとに意味的にまとまっ
た部分を計算できる．この語彙的連鎖の情報を使用することで，意味的なまとまり
に基づくパッセージ抽出の後者の方法が実現できる．すなわち，検索要求が入力さ
れた時点で検索要求と一致する語彙に関する語彙的連鎖が出現する部分をまとめる
ことで検索要求と関連するパッセージが取り出せる．

次節では，我々がパッセージの決定に使用する語彙的連鎖の計算方法について説明
する．

\section{語彙的連鎖の計算}\label{sec:lexchain}

語彙的連鎖とは文書中で互いに意味的な関係を持つ語の連続のことである．
例えば，

\vspace*{1em}
膨張を続ける宇宙の中で数多くの星が誕生，消滅を繰り返しました．そして宇宙の
誕生から約100億年後，他の星と同じ様にして，原始太陽を
中心にして原始太陽系星雲と呼ばれるガスの円盤を作りました．

\vspace*{1em}
\noindent という文章中には，意味的に関連のある語の集まり\{星，星，星雲\}が
共起する．
このような語の集まりを語彙的連鎖と呼ぶ．一般に語彙的連鎖は文書中に複数
存在し，1つの連鎖が出現している範囲では，その連鎖を構成する語に関する話題
が述べられていると考えることができる．語彙的連鎖形成の基準としては，表層形
式が一致するタームの連続(同一タームの反復)，シソーラス上の同一概念に属す
るタームの連続，共起しやすいタームの連続などが考えられる．以降では本研究で
使用する語彙的連鎖の計算手法について説明する．なお，本研究では，文書中の各
文を形態素解析し\cite{Chasen:97j}，名詞，動詞，形容詞をタームとして取り出
す．語彙的連鎖は，この名詞，動詞，形容詞についてのみ計算する．

\subsection{同一タームの反復に基づく語彙的連鎖}\label{ssec:repetition}
同一タームの反復に基づく語彙的連鎖は，最も単純な手法である．
表層形式の同じタームは互いに意味的に関連のあるタームと考え連鎖を構成する．

\subsection{シソーラス上の同一概念に基づく語彙的連鎖}\label{ssec:thesaurus}

シソーラス上の同一概念に属するタームを互いに意味的に関連のあるタームと考え，
連鎖を構成する．シソーラスを使用する場合，1つのタームが複数の概念に含まれ
る場合には，語義曖昧性の問題が発生する．そのため，語義曖昧性を解消しつつ語
彙的連鎖を生成する手法\cite{okumura:94a}により語彙的連鎖を生成する．語彙的
連鎖生成の手法を要約すると次のようになる．

語彙的連鎖を漸進的に生成する過程で，語彙的連鎖の候補を最近更新された
もの
が上位に来るようにスタック状に管理し，スタックの上位にある語彙的連鎖の候補
から順に，現在解析中の語との結束性を調べる．このスタック構造により，解析中
の語の近傍の文脈を得ることができるので，語義曖昧性解消をしつつ，語彙的連鎖
を生成することが可能となる．

本研究では，シソーラスに角川類語新辞典\cite{kadokawa}を使用する．
角川類語新辞典では，概念体系を大分類，中分類，小分類の3階層に分類している
が，小分類を使用する\footnote
{小分類は$1000$分類あるが，語彙的連鎖形成の基準として考慮しない
方が良いと考えられる \{508：接尾辞，509：接辞，828：単位，829：助
数詞および834：接辞\}の5つの分類を除く．}．

\subsection{語の共起関係に基づく語彙的連鎖}\label{ssec:cooccurrence}

このタイプの語彙的連鎖は，既存のシソーラスを使用しない．文書コーパスの共
起情報からターム間の共起の強さである共起スコアを計算する．このスコアを用い
てタームのクラスタを構成する．1つのクラスタ内のタームの連続が1つの語彙的連
鎖となる．

本研究では，ターム$X$と$Y$の共起スコアを式(\ref{equ:cosdis})のコサイン距離
によって計算する．

\begin{equation}\label{equ:cosdis}
coscr(X,Y) = \frac{\sum_{i=1}^{n} x_{i} \times y_{i}}
	{\sqrt{\sum_{i=1}^{n} x_{i}^{2}} \times \sqrt{\sum_{i=1}^{n}
	y_{i}^{2}}}
\end{equation}

\noindent ここで，$x_{i}$と$y_{i}$はそれぞれ文書$i$にターム$X$と$Y$の出現
する数($tf$)を表わし，$n$はコーパスの全文書数を表わす．

また，クラスタリングにおけるクラスタ間の類似尺度には式(\ref{equ:min})の最
短距離法を用いる．

\begin{equation}\label{equ:min}
sim(C_i,C_j)=\max_{X,Y} coscr(X\in C_i, Y\in C_j)
\end{equation}
\noindent ここで$X,Y$はそれぞれクラスタ$C_i$内，$C_j$内のタームである．

この共起スコアを使用した文書ごとの語彙的連鎖の計算は，次のように行なう．
文書の先頭から順に1文を取り出し，1文内のタームの共起スコアを計算する(式
(\ref{equ:cosdis}))．1ターム1クラスタから開始し，クラスタ間の類似度をターム
の共起スコアを基に式(\ref{equ:min})により計算する．類似度が高い順に，閾値
以上の類似度を持つクラスタをマージすることで，クラスタリングを行なう．
1文内での処理が終了した後に，その時点までに作成された文書全体でのクラスタ
と今計算した1文内でのクラスタによる2段階目のクラスタリングを1文内の場合と
同様に行なう．これを文書内の文がなくなるまで繰り返す．

共起関係に基づく語彙的連鎖生成アルゴリズムは次のようになる．

\begin{tabbing}
{\bf ステップ1．}\\
\quad \= {\bf if} (文書から取り出す文がない)\\
	\>\quad \= 終了\\
	\>{\bf else}\\
	\>\quad \= 文書から1文を取り出し，{\bf ステップ2}へ\\
{\bf ステップ2．}1文内のタームのクラスタリング\\
\quad \= {\bf ステップ2-1.}\\
	\>\quad \=  1文内のすべてのタームペア間の共起スコアをコサイン距離
(式(\ref{equ:cosdis}))\\
	\>\>により計算する\\
\quad \= {\bf ステップ2-2.}\\
	\>\quad \= 1ターム1クラスタとしてクラスタを形成する\\
\quad \= {\bf ステップ2-3.}\\
	\>\quad \= {\bf if} (クラスタが1つである)\\
	\>\>\quad \= {\bf ステップ3}へ\\
	\>\> {\bf else}\\
	\>\>\quad \= すべてのクラスタペア間の類似度を最短距離法(式
			(\ref{equ:min}))により計算する\\
\quad \= {\bf ステップ2-4.}\\
	\>\quad \= {\bf if} (類似度の最も高いクラスタペアの類似度が閾値以
	上である)\\
	\>\>\quad \= クラスタペアをマージし，{\bf ステップ2-3}へ\\
	\>\> {\bf else}\\
	\>\>\quad \= {\bf ステップ3}へ\\

{\bf ステップ3．} 文書全体のタームのクラスタリング\\
\quad \= {\bf ステップ3-1.}\\
	\>\quad \= {\bf if} (文書全体のクラスタが存在しない)\\
	\>\>\quad \= {\bf ステップ2}で計算したクラスタを文書全体のクラスタ
	とする\\
	\>\quad \= {\bf else}\\
	\>\>\quad \= {\bf ステップ2}で計算した1文内の各クラスタ内の各ター
	ムと，\\
	\>\>\>文書全体の各クラスタ内の\\
	\>\>\>タームとの共起スコアをコサイン距離(式
	\ref{equ:cosdis}))により計算する\\

\quad \= {\bf ステップ3-2.}\\
	\>\quad \= {\bf if} (マージするクラスタがない)\\
	\>\>\quad \= {\bf ステップ1}へ\\
	\>\quad \= {\bf else}\\
	\>\>\quad \= 1文内のクラスタと文書全体のクラスタの\\
	\>\>\>全ペア間の類似度を最短
	距離法(式(\ref{equ:min}))により計算する\\
\quad \= {\bf ステップ3-3.}\\
	\>\quad \= {\bf if} (類似度の最も高いクラスタペアの類似度が閾値以
	上である)\\
	\>\>\quad \= クラスタペアをマージし，{\bf ステップ3-2}へ\\
	\>\> {\bf else}\\
	\>\>\quad \= {\bf ステップ1}へ\\
\end{tabbing}

\subsection{有意な連鎖の選択}\label{ssec:lexselect}
計算された語彙的連鎖の中には重要と考え難いものも含まれる．
例えば，図\ref{fig:leximg}の語彙的連鎖を考える．
図\ref{fig:leximg}では，連鎖A,B,C,D,Eの5種類の連鎖が計算されているが，連鎖
CとEは連鎖を形成するタームが極端に少ないうえに，出現する位置が互いに非常に
離れている．このような連鎖は重要ではなく有意な連鎖と認めない方が良いと思わ
れる．
一方，連鎖A,BおよびDは形成するタームの数が全体的に多く，文書のある部分で高
密度で出現していることがわかる．また，連鎖Bでは，14語目から23語目までの間お
よび，28語目から36語目の間というタームの出現しない部分が存在する．これを我々
は語彙的連鎖のギャップと呼ぶ．このようなギャップが存在する場合，同一の連鎖
であっても，ギャップの区間ではその連鎖に関連する話題が述べられていないと考
えられるため，ギャップで一旦連鎖を切り離して別の連鎖として計算した方が良い．

\begin{figure}[htbp]
\begin{center}
\epsfile{file=chain_img.eps,scale=0.65}
\caption{語彙的連鎖の例}
\label{fig:leximg}
\end{center}
\end{figure}

そこで，有意な連鎖を選択するために，連鎖およびギャップの長さを考慮した以下
の制約を
設ける．

\begin{itemize}
\item ギャップ長の閾値を設定し，連鎖を構成するタームが閾値以上の間出現しな
	い場合は，連鎖を切り別々の連鎖とする．
\item 連鎖長の閾値を設定し，連鎖の覆う範囲が閾値以上の長さをもつ連鎖だけを
有意な連鎖とする．
\end{itemize}

図\ref{fig:leximg}の連鎖Bを例にとると，図\ref{fig:decidechn}のように，ギャッ
プ長閾値において連鎖Bは部分連鎖B1，B2，B3に分割される．次にそれぞれの部分
連鎖に対して連鎖長の閾値の制約を適用することで，部分連鎖B2，B3は連鎖と認め
られなく
なる．結果として元の連鎖Bの中で，部分連鎖B1だけが有意な連鎖として残
される(図\ref{fig:decidechn})．図\ref{fig:leximg}の連鎖CおよびE
も同様の閾値によって有意な連鎖と認められなくなる．

\begin{figure}[htbp]
\begin{center}
\epsfile{file=decide_chain.eps,scale=0.75}
\caption{有意な語彙的連鎖の例}
\label{fig:decidechn}
\end{center}
\end{figure}

\section{語彙的連鎖に基づくパッセージ検索}\label{sec:ourpassage}
前節で説明した語彙的連鎖を使用した我々のパッセージ検索手法について述べる．
我々のパッセージ検索手法は基本的に次のような手法に基づく．
まず，入力された検索要求内の各タームと関連する語彙的連鎖の文書内での出
現位置と，その連鎖の重要度を文書ごとに取り出す．次に，各文書ごとに
出現位置の重複する語彙的連鎖をまとめ，1つのパッセージとする．各パッセージ
内の語彙的連鎖の重要度を足し合わせることにより検索要求と各パッセージの類似
度を計算する．

以下では語彙的連鎖の重要度の計算方法，連鎖のインデキシングおよび検索要求と
関連の強いパッセージの抽出手法について順に説明する．

\subsection{語彙的連鎖の重要度}\label{ssec:lexweighting}

各連鎖の重要度は，ある文書に多く出現し，文書集合全体ではあまり出現しないター
ムほどその文書内で重要なタームであるという$tf*idf$の考えに基づいて決
定する．
すなわち，ある文書内で多くのタームから構成される連鎖で，文書集合全体ではあ
まり出現しない連鎖ほどその文書内で重要な連鎖であると考え，文書$d$内の語彙
的連鎖$C_{d}$の重要度$w_{C_d}$を次のように定義する．

シソーラスおよび同一タームの反復を使用する場合，
\begin{equation}\label{equ:cweight_lex}
w_{C_d} = {\mid C_{d}\mid}\times log(N/n_{C_{d}})
\end{equation}

共起タームを使用する場合，
\begin{equation}\label{equ:cweight_co}
w_{C_d} = {\mid C_{d}\mid}\times 
log(N/\max_{c \in C_{d}} n_{c})
\end{equation}

ここで，$\mid C_d\mid$は語彙的連鎖$C_{d}$を構成するタームの総数，
$N$はデータベース中の全文書数，$n_{C_{d}}$は連鎖$C_{d}$と同一の概念に
属する連鎖が出現する文書の数，$max_{c \in C_{d}} n_{c}$は，
連鎖$C_{d}$を構成するタームの出現する文書数の中で最大の値をそれぞれ示して
いる．

シソーラスを使用する場合，各タームの属する概念があらかじめ決っているため，
全文書中に現れる各概念の数も計算できる．同一タームの反復の場合も同様である．
一方，共起タームに基づき文書ごとに計算した連鎖の場合，連鎖を構成するターム
の種類も文書ごとに異なるため，シソーラスのように出現する文書数を計算できな
い．例えば，タームAとBがある文書で連鎖を構成し，別の文書でタームBとCが連鎖
を構成した場合，タームAおよびCの出現する文書は1つであるが，タームBは2つの
文書に出現することになる．そのため，連鎖の出現文書頻度としては連鎖を構成す
るタームの内，もっとも多くの文書に出現するタームの情報を使用することにした．

\subsection{語彙的連鎖のインデキシング}\label{ssec:lexindexing}
検索時にタームの属する語彙的連鎖の出現文書と文書中の出現位置および連鎖の重
要度を取り出す必要があるため，まず語彙的連鎖のインデキシングを行う．インデッ
クスは，

(連鎖を構成するターム，文書ID，連鎖ID[出現範囲]，重要度)

\noindent という形式からなる．

例として，文書00001に出現する連鎖A1 
\{星，星，星雲，星\}と，連鎖A2 
\{星，太陽，月，星\}の2つの連鎖の
インデキシング
を考える．


\begin{figure}[htbp]
\begin{center}
\begin{tabular}{|c|}\hline
(星，  00001，A1[1-36]，  xxxx)\\
(星雲，00001，A1[1-36]，  xxxx)\\
(星，  00001，A2[93-116]，yyyy)\\
(太陽，00001，A2[93-116]，yyyy)\\
(月，  00001，A2[93-116]，yyyy)\\\hline
\end{tabular}
\caption{インデキシングの例}\label{fig:index}
\end{center}
\end{figure}

図\ref{fig:index}のように，インデキシングすることにより，ターム
の属する連鎖の出現文書と文書中の出現位置および重要度を効率良く取り出すこと
ができる．例えば，図\ref{fig:index}のインデックスを使用すると，『星』
というタームから文書00001の連鎖A1と連鎖A2が検索でき，連鎖A1の範囲はテキス
ト00001の1語目から36語目まで，連鎖A2の範囲は93語目から116語目までであるこ
とがわかる．

\subsection{検索要求と関連の強いパッセージの計算}\label{ssec:calcpassage}

前節で作成したインデックスを使用することで，検索要求と関連の強いパッセージ
が計算できる．計算は以下の手続きで行う．

\begin{enumerate}
\item 検索要求を形態素解析し，検索要求内のタームとして名詞，動詞，形容詞を
選択する．
\item 検索要求内の各タームごとにインデックスを索き，語彙的連鎖の出現位置の
	情報を得る．
\item 検索要求内のタームにマッチした連鎖の含まれる文書ごとに，出現する各連
	鎖をまとめパッセージの範囲を決定する．

パッセージの範囲は次のように決定する．
まず，文書中に出現する各語彙的連鎖のうち，出現位置に重なりのある連鎖どうし
を1つのパッセージ候補としてマージする．この処理を出現位置に重なりのある連
鎖がなくなるまで繰り返し，最終的に残ったパッセージ候補をパッセージとする．
1つのパッセージの範囲は，パッセージ内の最初の語彙的連鎖が始まるタームから
最後の語彙的連鎖が終了するタームまでである．

\item 各パッセージと検索要求との類似度を計算する．\\
次のようなパッセージは検索要求と強く類似していると考えられる．
\begin{itemize}
\item より多くの検索要求内のタームと関連する語彙的連鎖を含むパッセージ．
\item 重要度の高い語彙的連鎖を多く含むパッセージ．
\item 各語彙的連鎖の出現位置の重なっている部分が多いパッセージ．
\end{itemize}
そこで，本研究では上記の条件を満たすパッセージほど検索要求との類似度が高く
なるように，パッセージ内の連鎖の出現数，重要度および連鎖どうしの重なりを考
慮してパッセージと検索要求の類似度を計算する．

まず，式(\ref{equ:passcr0})により，検索要求内のターム$q_{k}$と対応する語彙
的連
鎖$c_{k}$との類似度$cw_{k}$を計算する．

\begin{equation}\label{equ:passcr0}
cw_{k} = (tf_{q_{k}}\times log(N/n_{k}))^2 \times w_{C_{k}}
\end{equation}

ここで，$tf_{q_{k}}$は検索要求内のターム$q_{k}$の検索要求内の頻度，$N$は全
文書
数，$n_{k}$はターム$q_{k}$の出現する文書数であり，$w_{C_{k}}$はターム
$q_{k}$に対応する語彙的連鎖$C_{k}$の重要度である．

次に，$cw_{k}$を連鎖の長さ$cl_{k}$で割ることにより，連鎖の範囲内の各ターム
$j$のスコア$cw_{k,j}$を計算する(式(\ref{equ:passcr1}))．

\begin{equation}\label{equ:passcr1}
cw_{k,j} = cw_{k}/cl_{k}
\end{equation}

\vspace{6mm}
次に検索要求内のターム毎の各スコア$cw_{k,j}$をパッセージの開始位置から終了位
置まで足しながら各位置での連鎖の重なりに応じて重みをかける(式
(\ref{equ:passcr}))．

\begin{equation}\label{equ:passcr}
sim(Q,P_{i}) = \sum_{j=begin_{i}}^{end_{i}} (\sum_{k=1}^{\mid Q\mid}
cw_{k,j})\times (\mid q_{j}\mid^2/\mid Q\mid^2)
\end{equation}

ここで，$Q$は検索要求，$P_{i}$はパッセージ$i$であり，
$begin_{i}$，$end_{i}$はそれぞれパッセージ$P_{i}$の開始するタームの位置お
よび終了するタームの位置を表す．$cw_{k,j}$は語彙的連鎖$k$の位置$j$における
スコアである．
$\mid Q\mid$は検索要求内のタームの数， $\mid q_{j}\mid$は検索要求内のター
ムに対応
する連鎖の内，パッセージ $P_{i}$内の$j$番目のタームを範囲に含んでいる連鎖
の数である．

\end{enumerate}
\begin{figure}[htbp]
\begin{center}
\epsfile{file=pasimg.eps,scale=0.75}
\caption{パッセージの例}
\label{fig:pasimg}
\end{center}
\end{figure}

例として，図\ref{fig:pasimg}を考える．図\ref{fig:pasimg}には，検索要求内の
タームとして入力された3つのターム(それぞれ黒い丸，グレーの丸，四角で表され
てい
る)と，インデックスを索くことによりマッチした文書の1つが示されている．
この文書中には検索要求内のタームとマッチする語彙的連鎖A1，A2，B1，B2，C1，
C2，
C3が存在している．
この例では，連鎖A1およびA2は黒い丸で表わされた検索要求内のタームに，連鎖B1
およ
びB2はグレーの丸で表わされた検索要求内のタームに，また連鎖C1，C2およびC3は
四角
で表わされた検索要求内のタームにそれぞれマッチする．
ここで各語彙的連鎖をパッセージ候補とし，その範囲を調べる．次に重複した範囲を
持つ連鎖どうしを1つのパッセージ候補としてまとめる作業を繰り返すことにより，
最終的なパッセージを決定する．図\ref{fig:pasimg}では3つのパッセージが決定
されており，パッセージ1には語彙的連鎖A1,B1,C1，パッセージ2にはA2，C2，パッ
セージ3にはB2，C3がそれぞれ含まれている．

次に各パッセージと検索要求との類似度を計算する．
例えば，パッセージ1では，連鎖A1の範囲が1語目から36語目の36語，B1の範囲が3
語目から59語目の57語，C1の範囲が17語目から63語目の44語である．従って各連鎖
と検索要求内のタームの類似度$cw_{k}$を，それぞれ36，57，44で割ることにより，
$cw_{k,j}$を求める．パッセージ1のスコアは$j$を1語目から63語目まで変化させ
ながら，対応する$cw_{k,j}$を足して求める．この時，3語目から16語目までは，
A1とB1が重なり，17語目から36語目まではA1,B1とC1が重なり，37語目から63語目
まではB1とC1が重なっているためそれぞれの重みをかける．
これにより，各文書中の各パッセージごとに検索要求との類似度が計算できる．


\section{実験}\label{sec:experiment}
前節までで述べた我々のパッセージ検索の有効性を調べるため，
伝統的な文書全体によるキーワード検索(以下，キーワード検索)，
パッセージ検索として代表的で
ある
形式段落に基
づくパッセージ検索およびウィンドウに基づくパッセージ検索と，我々の
語彙的連鎖に基づくパッセージ検索による比較実験を行う．また，各パッセー
ジ検索を単独で行う場合とパッセージ検索と
キーワード検索を組み合わせた場合の比較も行う．

実験には，『情報検索システム評価用テストコレクションBMIR-J2』
\cite{BMIR-J2:98j}
を使用する．BMIR-J2は，対象文書5080件(1994年の毎日新聞から選択した経済
および工学，工業技術一般に関連する記事)，検索要求50種と対応する正解がセッ
トとなっているテストコレクションである．50の検索要求には5種類の機能分類が
されており，研究課題に応じて使用する検索要求を選ぶことが出来るようになって
いる．また，正解判定にはA，Bの2ランクがあり，Aは検索要求を主題とする記事，
Bは検索要求の内容を少しでも記述している記事をそれぞれ表わしている．

パッセージ検索は，文書中で強く関連する部分を取り出すという性質から，本研究
の正解判定には，主題を表わすAランクを使用する．また，パッセージ検索は特に
長い文書で有効であると考えられるため，全5080件の内比較的長い文書として1600
バイト以上の文書904件を選択したセット(セット1)を使用する．また，
5080件全てを使用するセット2による実験も行う．
検索要求は全50の内，数値・レンジ機能\footnote{システムに求められる機能と
して『数の数え上げや，数値などの範囲を正しく解釈する．数値の大小比較や単位
の理解・変換なども含む』が要求される．}および知識処理機能\footnote{シス
テムに求められる機能として『世界知識を利用する．常識的な判断や，蓄積された
事実からの推論などを含む』が要求される．}
を必要とする検索要求以外の検索要求から，セット1において正解文書数が5文書を
越える検索要求をすべて選択して使用する．
本研究では，後述するように評価尺度として再現率と適合率を使用する．このよう
な評価尺度を用いる場合，正解文書数の少ない検索要求を使用すると統計的な信頼
性が低下する．そのため，本実験で使用するテストコレクションにおいて信頼性の
基準とされている5文書以上の正解を持つ検索要求だけを使用することにした．

また，各文書には見出しが付いているが，本文と合せて1つの文書として扱う．
テストコレクションの特徴を表\ref{tab:collection}にまとめる．

\begin{table}[htbp]
\begin{center}
\caption{テストコレクションの特徴}\label{tab:collection}
\begin{tabular}{lcc}\hline
       	   		& セット1 & セット2 \\\hline
文書数     		& 904	 & 5080   \\
検索要求数 		&    8   &   8 \\
正解文書数 		&  52 	 &  197   \\
平均正解文書数  	&  6.5	 &  24.6  \\
平均文書長(バイト数) 	& 1785.8 & 1236.1 \\
平均文書長(ターム数) 	& 199.5	 & 142.1  \\
平均文数		&  19.1	 &  12.9  \\\hline
\end{tabular}
\end{center}
\end{table}

\vspace{-5mm}
次に本研究で実装した各検索手法について説明する．すべての手法において，
文書を形態素解析し，名詞，動詞，形容詞を取り出しインデキシング用のタームと
する．また，パッセージ検索では同一文書内で検索要求とマッチするパッセージが
複数ある場合には，類似度が最大のものを選択し検索要求と各文書の類似度として
使用する．

\subsection{キーワード検索}\label{subsec:keyword}

1つの文書内のターム$t$の重みは，タームの文書内の出現頻度$tf$およびタームの
文書集合全体での出現文書頻度の逆数$idf$に基づく一般的な$tf*idf$の式
(\ref{equ:tfidf})により計算し，文書をタームの重みつきベクトル$D$で表現す
る．

\vspace{-2mm}
\begin{equation}\label{equ:tfidf}
w_{t} = tf_{t} \times log(N/n_{t})
\end{equation}

\noindent ここで，$tf_{t}$は文書内でのターム$t$の出現頻度，$N$は全文書数，
$n_{t}$はターム$t$が出現する文書の数である．

検索要求ベクトル$Q$と文書ベクトル$D$との間の類似度は次式で計算する．

\begin{equation}\label{equ:normsim}
sim(Q,D) = \sum_{t}(tf_{q_{t}}/log(N/n_{t}))^2 \times w_{t}
\end{equation}

\noindent ここで，$tf_{q_{t}}$は検索要求内のターム$q_{t}$の検索要求内の頻
度である．

\subsection{形式段落に基づくパッセージ検索}\label{subsec:formpara}
このタイプのパッセージ検索では，見出しと形式段落をそれぞれ1つの
パッセージ
として
扱う．パッセージ毎の各タームの重要度は式(\ref{equ:tfidf})と同様であり，
検索要求とパッセージの類似度は式(\ref{equ:normsim})と同様であるが，
$tf_{t}$はパッセージ内に出現するターム$t$の数，$N$は全段落数であり，
$n_{t}$はターム$t$の出現する段落の数となる．

セット1(904文書)は，7949段落に分割され，1文書平均8.8段落であり，
1段落当り平均28.2タームである．
セット2(5080文書)は，31904段落に分割され，1文書平均6.3段落であり，
1段落当り平均27.9タームである．

\subsection{固定長ウィンドウに基づくパッセージ検索}\label{subsec:window}

サイズ$l$の固定長ウィンドウによりパッセージを作る．
Callanの手法\cite{Callan:94}と同様に，検索要求にマッチするタームが最初に出
現した位置から走査を開始し，$\frac{l}{2}$ずつウィンドウをずらしながらクエ
リーとの類似度を計算する．

ウィンドウ内のタームの重要度は式(\ref{equ:tfidf})と同様であり，
各ウィンドウと検索要求の類似度は式(\ref{equ:normsim})で計算されるが，
$tf_{t}$はウィンドウ内に出現するターム$t$の数となる．

本研究では，ウィンドウのサイズを，$20,40,80,\cdots, 300$までの範囲で20刻み
に設定しそれぞれのサイズで実験を行う．
本研究で用いたほとんどの文書データにおいて，文書全体となる値である300をウィ
ンドウサイズの上限とした．

\subsection{語彙的連鎖に基づくパッセージ検索}\label{subsec:lexpas}
\ref{sec:lexchain}節で述べた手法により語彙的連鎖を計算し，
\ref{sec:ourpassage}節で述べた手法によりパッセージと各検索要求の類似度を計
算する．検索要求との類似度が最大のパッセージを検索要求と関連の高いパッセー
ジとし，その類似度を検索要求と文書の類似度とする．

\begin{equation}\label{equ:maxpas}
sim(Q,D)=\max_{i}sim(Q,P_{i})
\end{equation}
\noindent ここで，$sim(Q,P_{i})$は式(\ref{equ:passcr})によって求められる．

\ref{ssec:lexselect}節で述べたように，語彙的連鎖に基づくパッセージでは，
有意な連鎖を選択するための2つの制約，ギャップ長の制約と連鎖長の制約を課す．
今回の実験では，両制約とも閾値を文書内のターム数の$1/4,1/8,1/16,1/32$の4通
りに変化させ$4*4=16$通りの組み合わせを用いて実験する．
連鎖長，ギャップ長は，文書内のターム数に対してどのくらいの割合になるかを考
慮して，長めである$1/4$から短かめである$1/32$までの範囲とした．
また，タームの共起スコアに基づく語彙的連鎖の計算では，
\ref{ssec:cooccurrence}節で述べたように，連鎖の決定に共起スコアの閾値を用
いる．
今回の実験では，$0.2,0.25,0.3,0.35,0.4$の各閾値について連鎖を計算し
て実験を行う．
この閾値は，予備的な語彙的連鎖構成実験により，$0.2$より小さいとまとまり過
ぎ，$0.4$より大きいと細かくなり過ぎる傾向が見られたため，この範囲に決定し
た．
なお，共起スコアの計算では大規模なコーパスが必要となるため，
テストコレクションと同じ毎日新聞94年の記事1年分(約10万記事)を使用する．

\subsection{キーワード検索とパッセージ検索の統合}
形式段落，ウィンドウおよび語彙的連鎖に基づくパッセージ検索とキーワード検索
とを統合した検索を行う．数多くの統合手法が考えられるが，
本研究では次の統合手法を実装して実験を行う．

検索要求$Q$に対する文書$D$のキーワード検索，パッセージ検索における類似
度を，それぞれの最大の類似度で割って正規化し足し合わせた値を$D$の類似
度として計算する．
	\begin{equation}
	sim(Q,D) =
	\frac{ksim}{\displaystyle{\max_{i}ksim_{i}}} + 
	\frac{psim}{\displaystyle{\max_{i}psim_{i}}}
	\end{equation}
	
\noindent ここで，$ksim$は\ref{subsec:keyword}節で述べたキーワード
	検索による文書$D$の類似度であり，
	$\displaystyle{\max_{i}ksim_{i}}$はキーワード
	検索の中で検索要求$Q$との類似度が最大の文書の類似度である．
	$psim$はパッセージ検索による文書$D$の類似度であり，
	$\displaystyle{\max_{i} psim_{i}}$はパッセージ検索の中で検索要求
	$Q$との類似度が最
	大の文書の類似度を表わす．
	パッセージ検索の類似度は，形式段落型を使用する場合は
	\ref{subsec:formpara}節，ウィンドウ型は\ref{subsec:window}節，語彙
	的連鎖型は\ref{subsec:lexpas}節で述べた手法によりそれぞれ計算する．

この統合手法では，パッセージとキーワードでの検索の両方の類似度が相対的に高
い文書が上位にランクされる．

\subsection{比較実験}\label{subsec:experiments}
前節の4つの検索手法を使用して以下の組み合わせで実験を行う．

\begin{enumerate}
\item キーワード検索 (document)
\item 形式段落に基づくパッセージ検索 (formpara)
\item 固定長ウィンドウに基づくパッセージ検索(window)
\item 語彙的連鎖に基づくパッセージ検索
	\begin{enumerate}
	\item [(4-a)] 同一タームの反復による語彙的連鎖 (repetition)
	\item [(4-b)] シソーラスによる語彙的連鎖 (thesaurus)
	\item [(4-c)] 共起タームによる語彙的連鎖 (cooccurrence)
	\end{enumerate}
\item (1)と(2)の組み合わせ (formpara\_doc)
\item (1)と(3)の組み合わせ(window\_doc)
\item (1)と(4)の組み合わせ
	\begin{enumerate}
	\item [(7-a)] (1)と(4-a) (repetition\_doc)
	\item [(7-b)] (1)と(4-b) (thesaurus\_doc)
	\item [(7-c)] (1)と(4-c) (cooccurrence\_doc)
	\end{enumerate}
\end{enumerate}

評価尺度には，再現率($Recall$)と適合率($Precision$)を使用する．$再現
率$は全正解文書の内，システムによって正しく検出された文書の割合を示す．
$適合率$はシステムが関連すると判断した文書の内，実際に正解文書であるも
のの割合を示す．$再現率$，$適合率$は次式で表わされる．

\begin{equation}\label{equ:recall}
再現率 = \frac{システムにより検出された正解文書数}{全ての正解文書数}
\end{equation}

\begin{equation}\label{equ:precision}
適合率 = \frac{システムにより検出された正解文書数}{システムが検出した
文書数}
\end{equation}

但し，各検索要求に対するシステムの出力を上位$M$位までとする．
本研究では，$M$を上位2位から26位まで2文書刻み($M=2, 4, \cdots, 26$)にし各
$M$の時点で全検索要求による適合率，再現率の平均を計算する
\footnote{検索要求によっては出力数が$M$個に満たない場合が存在するが，
式(\ref{equ:precision})の右辺の分母を$M$にして計算している．}．

実験結果を図\ref{fig:ex5}から図\ref{fig:ex8}に示す．
図\ref{fig:ex5}と\ref{fig:ex6}はセット1の結果であり，図\ref{fig:ex7}と
図\ref{fig:ex8}はセット2の結果である．図\ref{fig:ex5}と図\ref{fig:ex7}は，
各パッセージ検索単独と文書全体の検索の結果である．図\ref{fig:ex6}と図
\ref{fig:ex8}は，各パッセージ検索とキーワード検索の統合手法の結果である．

また，前節までで述べた各検索実験にはさまざまなパラメータが存在しているが，
各$M$における平均適合率が最大になる場合を最適なパラメータ値であると推定
した．
パッセージ検索の主な効果としては，キーワード検索に比べ適合率を向上させるこ
とが期待される．そのため，パラメータ値の推定には再現率を考慮せず，適合率の
みを考慮した．
図\ref{fig:ex5}から図\ref{fig:ex8}には，
最も
良かった場合の結果を示し
ている．
最も良い結果が得られた各パラメータの値と，その際の平均パッセージサ
イズおよびパッセージサイズの標準偏差を表\ref{tab:bestparam}に示す．

\begin{table}[htbp]
\begin{center}
\caption{結果の良かったパラメータの値}\label{tab:bestparam}
\begin{tabular}{lccccc}\hline
			& 共起 & {\small 同一ターム} &{\small シソーラス}& {\small ウィンドウ} & {\small 形式段落}
\\\hline
\multicolumn{6}{c}{セット1}\\\hline
共起スコア閾値		& 0.25 &  -   &   -	 & -	  & -\\
連鎖閾値 {\small (ターム数/*)}	& 8    & 32   &  32	 & -	  & -\\
ギャップ閾値 {\small (ターム数/*)}& 4    &  8   &   8	 & -	  & -\\
ウィンドウサイズ      & -  & -    &-      &       260     &- \\\hline
平均パッセージサイズ	& 96.0 & 81.9 & 64.9     & 260    & 43.4\\
標準偏差		& 52.3 & 68.4 & 46.5	 & -	  & 19.3\\
\hline\hline
\multicolumn{6}{c}{セット2}\\\hline
共起スコア閾値		& 0.25 &  -   &   -	 & -	  & -\\
連鎖閾値 {\small (ターム数/*)}	& 8    & 32   &  32	 & -	  & -\\
ギャップ閾値 {\small (ターム数/*)} & 4    &  4   &   8	 & -	  & -\\
ウィンドウサイズ        & -    &  -   &   -      & 240    & -\\\hline
平均パッセージサイズ	& 66.9 & 67.5 & 50.7     & 240    & 41.5\\
標準偏差		& 46.9 & 49.6 & 37.8   	 & - 	  & 17.5\\\hline
\end{tabular}
\end{center}
\end{table}


\begin{figure}
\begin{center}
\epsfile{file=res1600btpasa.ps,scale=0.48}
\caption{1600bytes以上の文書セット1を使用(パッセージのみ)}
\label{fig:ex5}
\end{center}
\end{figure}

\begin{figure}
\begin{center}
\epsfile{file=res1600bthba_.ps,scale=0.48}
\caption{1600bytes以上の文書セット1を使用(統合)}
\label{fig:ex6}
\end{center}
\end{figure}

\begin{figure}
\begin{center}
\epsfile{file=respasa.ps,scale=0.48}
\caption{全文書セット2を使用(パッセージのみ)}
\label{fig:ex7}
\end{center}
\end{figure}

\begin{figure}
\begin{center}
\epsfile{file=reshba.ps,scale=0.48}
\caption{全文書セット2を使用(統合)}
\label{fig:ex8}
\end{center}
\end{figure}


\newpage
\subsection{考察}\label{subsec:kousatsu}
パッセージ検索単独では，セット1の場合(図\ref{fig:ex5})
，ウィンドウ型がキーワード検索単独とほぼ同じであり，形式段落，語彙的連鎖の
パッセージの中では共起による語彙的連鎖型が一番良いものの，キーワード検索単
独を上回る精度を得られなかった．
また，セット2(図\ref{fig:ex7})の場合も，セット1の時ほどはっきりした差は
ないが，概ね同様の結果であった．

一方，キーワード検索との統合による結果では，セット1の場合(図\ref{fig:ex6})，
共起による語彙的連鎖型のパッセージ検索によって，多くの部分でキーワード検索
単独を上回る良い適合率および再現率を得た．
形式段落型と他の語彙的連鎖型パッセージ検索では，単独の場合よりも統合するこ
とによって適合率，再現率が向上したもののキーワード検索単独の結果を上回る
ことができなかった．ウィンドウ型は統合によってもキーワード検索単独の結果と
ほぼ同じであった．
また，セット2(図\ref{fig:ex8})の場合も，セット1の時より差が少ないが，共起
による語彙的連鎖型のパッセージ検索により，多くの部分でキーワード検索単独を
上回る結果を得た．

結果的にセット1で共起による語彙的連鎖に基づくパッセージ検索とキーワード検
索を統合する場合に，最も高い適合率，再現率が得られた．特に検索文書数が少な
い段階での差は顕著であり，上位10位までの文書を見ると，キーワード検索単独で
は適合率約34\%，再現率約53\%であるのに対し，統合により適合率約40\%，再現率
約64\%を得ている．

セット1とセット2の結果をキーワード検索を基準として比べると，形式段落以外の
各パッセージ検索では，セット1の方がセット2よりも全体的に良い成績を収めてい
る．セット2には短い文書が含まれているのに対し，セット1は比較的長い文書によ
るセットであるため，この結果は，本来パッセージ検索は長い文書の方が有効であ
るという考えに概ね一致し，セット1の方がパッセージ検索の評価に向いていると
考えられる．よって，以降はセット1の結果である図\ref{fig:ex5}と図
\ref{fig:ex6}について考察する．

パッセージ検索はキーワード検索とは異なる検索結果を示すことが
期待できる．パッセージ検索の効果として期待されるのは，次の3点である．

\begin{enumerate}
\item キーワード検索とは異なる正解文書を上位に上げる．
\item キーワード検索で上位にランクされる正解文書をより上位に上げる．
\item キーワード検索で上位にランクされる不正解文書を下位に下げる．
\end{enumerate}

逆に，悪影響を及ぼす可能性があるのは，次の3点である．
\begin{enumerate}
\item キーワード検索とは異なる不正解文書を上位に上げる．
\item キーワード検索で上位にランクされる不正解文書をより上位に上げる．
\item キーワード検索で上位にランクされる正解文書を下位に下げる．
\end{enumerate}

当然のことながら，パッセージ検索がキーワード検索を上回る精度を得る
ためには，パッセージ検索による効果が悪影響を上回る必要がある．その意味で
図\ref{fig:ex5}の実験結果では悪影響の方が強く出たと考えられる．しか
し，キーワード検索との精度の差がパッセージ検索の優劣を直接示すことにはな
らない．パッセージ検索で上位に位置する文書集合がキーワード検索によるものと
どのくらい異なるかという点と，集合内で上記効果と悪影響がどのような割合で見
られるかという点に注目する必要がある．パッセージ検索とキーワード検索では，
有効に働く文書が異なると考えられるため，パッセージ検索によってキーワード検
索とは異なる正解文書の順位を上げ，不正解の文書の順位を下げることができ
ていれば，統合によって全体的な精度を向上させる可能性が高いからである．

そこで，セット1で，各パッセージ検索結果の上位(10位以内)，下位(11位〜26位以
内)，圏外(27位以下)にランクされる文書をキーワード検索の結果と比較する
と次のような傾向が見られた．

\begin{itemize}
\item 上位の文書集合がキーワード検索の結果と異なる割合いは，シソーラス，共
	起，同一ターム，形式段落の順に高い．ウィンドウ型では，順位にほとん
ど変化
	が見られずキーワード検索とほぼ同じ文書を同じ順位で選択している．

\item キーワード検索で下位または圏外にある正解文書を上位に上げる割合(正
の働き)は，共起，同一ターム，シソーラス，形式段落の順に高い．逆に，上
位にある正解文書の順位を下げる割合(負の働き)は，形式段落，シソーラス，
共起，同一タームの順に高かった．

\item 不正解文書の順位を下げる割合(正の働き)は，上位どうしでは形式段
落が高いが，上位から下位，圏外へ下げる割合は，シソーラス，共起，同一ターム，
形式段落の順に高い．逆に，不正解文書の順位を上げる割合(負の働き)は，上位ど
うしでは，形式段落が高く，下位，圏外から上位へは，シソーラス，形式段落，同
一ターム，共起の順に高い．
\end{itemize}

上記の結果から各パッセージ検索について次のような特徴が言える．ウィンドウ型
は検索される文書集合や順位がキーワード検索とほとんど同じである．
形式段落型は比較的狭い範囲で文書の順位が入れ換わっており，上位および
下位の文書集合はキーワード検索とそれほど変わらない．
3タイプの語彙的連鎖型は，他のパッセージ検索に比べて上位にランクされる文
書集合が異なる割合が高い．しかし，シソーラスと同一タームによる語彙的連鎖型
は，不正解文書が上位に含まれる割合も高い．一方，共起による語彙的連鎖
型では，上位に正解文書が含まれる割合も他の2つの語彙的連鎖型に比べて
高い．

以上の特徴から，共起による語彙的連鎖型のパッセージ検索が，キーワード検
索との統合によって精度を向上する可能性がもっとも高い手法であるといえる．

次にパッセージ検索で選択されたパッセージのサイズについて考察する．
表\ref{tab:bestparam}に示すように，選択されたパッセージの長さは各パッセー
ジ検索手法によって異なっている．
ウィンドウ型では260語が最適だった．これはほとんどの文書よりも大きく，
パッセージの単位は文書全体とほぼ同じである．
このことから今回の実験で，ウィンドウ型では有意なパッセージサイズを決
定できていないと考えられる．
形式段落では平均パッセージ長が43.4語であった．これは1段落当りの平均長
28.2語よりも大きいが語彙的連鎖型に比べて小さい．また標準偏差を見ると
サイズのばらつきも小さい．
語彙的連鎖型では平均パッセージ長が共起，同一ターム，シソーラスの順に大きく，
ばらつきも大きい．
形式段落で選択されるパッセージ長は小さく，変化が少ないのに対して，語
彙的連鎖では検索要求や文書によって選択されるパッセージの長さが大きく
変化しており，語彙的連鎖型の方が柔軟なパッセージサイズを設定している
と考えられる．

3タイプの語彙的連鎖型パッセージ検索の比較では，共起によるものがキーワード
検索に近い適合率，再現率を得ている．他の2つは共起の場合よりも適合率，再
現率ともにかなり低い．語彙的連鎖型パッセージでは生成する語彙的連鎖の良否
が精度に大きく関連する．
シソーラスの分類を基に連鎖を計算する場合は，分類が粗過ぎるためシソーラス上
では同一概念にあるが文書中ではあまり関連のないタームを含む可能性がある．こ
のような連鎖がノイズになった可能性がある．
逆に同一タームの反復を基に計算する場合は，連鎖を生成する基準が細か過ぎて文
書中では関連があるが異なる表層形式をしたタームを連鎖に含めることができない．
このため良い連鎖を得ることができなかった可能性がある．
一方，タームの共起を基に計算する場合は，検索対象の文書に近いデータをコー
パスとして使用したため，関連の高いタームによってうまく語彙的連鎖を生成で
きたと考えられる．

実際に，キーワード検索との統合結果である図\ref{fig:ex6}において，
ウィンドウ型の統合にはほとんど変化が見られない．また，形式段落型では単独の
場合よりも適合率，再現率が向上しているが，キーワード検索単独の場合に比べ，
統合によって精度が向上しているとは言えない．また，シソーラスと同一タームに
よる語彙的連鎖型の場合も，統合によって単独の場合より適合率，再現率が向上し
ているものの，キーワード検索単独の場合を上回っていない．一方，タームの共起
関係による語彙的連鎖型では，統合によって良い精度を示すことができている．

以上のことから，共起による語彙的連鎖に基づくパッセージ検索が最も優れたパッ
セージ検索であるため，文書全体の検索との統合によって，高い
精度を得ることができたと言える．

\section{おわりに}\label{sec:owarini}
本稿では，文書中の語彙的連鎖を利用して，検索要求と対象文書の適切な類
似度を計算するパッセージ検索手法について述べた．他のパッセージ検索
手法との比較により，タームの共起により作られた語彙的連鎖が，より優れたパッ
セージの決定ができ，キーワード検索との統合によって，高い適合率を得ることが
できることを示した．

本稿で述べたパッセージ検索手法には，語彙的連鎖の連鎖長閾値，ギャップ長閾値
など以外にもパラメータとして考えられる要素が存在する．例えば，共起スコアに
よって語彙的連鎖を生成する際の共起スコアの計算方法や語彙的連鎖を組み合せて
パッセージを決定する際の連鎖の重なりに関するスコアなどは変化させて実験する
ことができる．また，同一文書内で複数のパッセージが存在する場合に，パッセー
ジと検索要求の類似度を最大のものではなく，上位$N$位のパッセージの合計スコ
アとする方法なども考えられる．
今後パラメータとして考えられる要素を明らかにし，それらパラメータの検索精度
への影響について検討していく必要がある．

近年，パッセージ検索の技術はハイパーテキスト生成や要約生成の分野で応用さ
れ始めている．検索された複数のパッセージをリンクして階層構造化する
\cite{Salton:94b}，関連の高いパッセージ間から重要文を抜き出す
\cite{Salton:94b}，異なる文書間のパッセージをリンクする
\cite{Dalamagas:98}などの手法が提案されている．
本稿で述べた語彙的連鎖型のパッセージも同様にハイパーテキスト生成への応
用が可能である．また．検索要求に強く関連する部分を意味的にまとまった
単位で選択できることから，検索要求指向型の自動要約文生成への応用も考
えられる．今後の課題として，より高度な文書検索の実現のためにパッセー
ジ検索を応用することについて検討していく必要がある．


\vspace{4mm}
\acknowledgment
本研究では，(社)情報処理学会・データベースシステム研究会が，新情報処理開発
機構との共同作業により，毎日新聞CD-ROM'94データ版を基に構築した情報検索シ
ステム評価用テストコレクションBMIR-J2を利用させていただきました．感謝致し
ます．また，「角川類語新辞典」の使用を許可して下さいました株式会社 角川書
店に感謝致します．
本研究を進めるにあたり貴重な御助言を下さいました高野明彦氏，丹羽芳樹氏をは
じめとする日立製作所基礎研究所ソフトウェア研究プログラムグループの皆様に感
謝致します．また，共起計算プログラムの提供およびシステム実装に関する御助言
を頂きました同グループの西岡真吾氏に感謝致します．

\bibliographystyle{jnlpbbl}
\bibliography{v06n3_05}

\begin{biography}
\biotitle{略歴}
\bioauthor{望月 源}{
1970年生．
1993年金沢大学経済学部経済学科卒業．
1999年北陸先端科学技術大学院大学情報科学研究科博士後期課程修了．
同年4月より，北陸先端科学技術大学院大学情報科学研究科助手．
博士(情報科学)．自然言語処理，知的情報検索システムの研究に従事．
情報処理学会会員．
}
\bioauthor{岩山 真}{
1987年東京工業大学工学部情報工学科卒業．
1992年同大学院理工学研究科博士後期課程修了．
同年(株)日立製作所基礎研究所入所．
博士(工学)．自然言語処理，情報検索の研究に従事．情報処理学会，人工知能学会，
AAAI，ACM SIGIR 各会員．
}
\bioauthor{奥村 学}{
1962年生．1984年東京工業大学工学部情報工学科卒業．1989年同大学院博士課
程修了．同年，東京工業大学工学部情報工学科助手．1992年北陸先端科学技術
大学院大学情報科学研究科助教授，現在に至る．工学博士．自然言語処理，知
的情報検索システム，語学学習支援システム，語彙知識獲得に関する研究に従
事．情報処理学会，人工知能学会, 
AAAI，ACL, 認知科学会，計量国語学会各会員．
}

\bioreceived{受付}
\biorevised{再受付}
\bioaccepted{採録}

\end{biography}

\end{document}
