



\documentstyle[rotating_j,epsbox,jnlpbbl]{jnlp_j_b5}

\setcounter{page}{3}
\setcounter{巻数}{7}
\setcounter{号数}{2}
\setcounter{年}{2000}
\setcounter{月}{4}
\受付{1999}{6}{1}
\再受付{1999}{1}{1}
\採録{2000}{1}{7}

\setcounter{secnumdepth}{2}
\setlength{\parindent}{\jspaceskip}

\title{複合語の分野連想語の効率的決定法}
\author{辻 孝子\affiref{TUIS} \and 泓田 正雄\affiref{TUIS} \and 森田 和宏\affiref{TUIS} \and 青江 順一\affiref{TUIS}}

\headauthor{辻,泓田,森田,青江}
\headtitle{複合語の分野連想語の効率的決定法}

\affilabel{TUIS}{徳島大学工学部知能情報工学科}
{Dept. of Information Science \& Intelligent Systems, The University of Tokushima}

\jabstract{
人間は文書全体を読むことなしに，代表的な単語を見るだけで，＜政治＞や＜スポーツ＞などの分野を認知できることから，文書断片内の数少ない単語情報から分野を的確に決定するための分野連想語の構築は重要な研究課題である．しかし，文書から連想語を抽出する場合，複合語の冗長な連想語が多く存在する．本論文では，事前に分野体系が定義され，各分野に文書データが構築されている場合において，複合語の分野連想語を効率的に決定する手法を提案する．本手法では，連想分野を特定する範囲に応じて連想語を五つの水準に分類し，まず複合語以外の単語（短単位語と呼ぶ）の連想語候補を決定し，人手で修正を加える．次に，この短単位語の連想情報を利用して，膨大な数になる複合語の連想語候補を自動的に絞り込む．収集された180分野の学習データ（42メガバイト，15,435ファイル）に対して提案手法を適用した結果，88,782個の候補が8,405個（候補数の約9\%）の連想語に絞り込まれ，再現率0.77以上（平均0.85），適合率0.90以上（平均0.94）の高い抽出精度が得られた．また，連想語を利用した264種類の断片文書の分野決定実験より，複合連想語と短単位連想語による正解率は90\%以上となり，短単位連想語のみの場合より約30\%向上することが分かった．}

\jkeywords{分野決定，複合語，分野連想語，文書分類}

\etitle{An Efficient Method of Determining Field \\ Association Terms of Compound Words}
\eauthor{Takako Tsuji\affiref{TUIS} \and Masao Fuketa\affiref{TUIS} \and Kazuhiro Morita\affiref{TUIS} \and Jun-ichi Aoe\affiref{TUIS}}

\eabstract{
Although there are many kinds of research about text classification based on term information in the whole text, humans can recognize the field of a text by finding a small number of  specific words in it.   In this paper, such terms are called a field association (FA) term that can be directly related to the field of a text.  It is possible to collect single-word FA terms because the number is finite, but there are some difficulties: how to select useful compound FA terms from a huge number of combinations of single-word FA terms.     For FA terms, five association levels are defined and two kinds of ranks based on stability and inheritance are presented.   Redundant candidates of compound FA terms can be removed remarkably by using the level and the rank.   From the simulation results of 180 fields' Japanese text files, it turns out that the total number 88,782 of candidates for compound FA terms can be reduced to 8,405 which is about 9\% to the original and that recall and precision are more than 0.77 and 0.90, respectively.   From the experimental results of field determination using FA terms for 264 fragments of texts, it is shown that the accuracy by the presented method attains  more than 90\% , and that is about 30\% higher than the case where only single-word FA terms are used.}

\ekeywords{Field determination, compound words, field association terms, document classification}

\begin{document}
\thispagestyle{plain}
\maketitle


\section{はじめに}

コンピュータで利用する電子化文書データの増大に伴って，文書の自動分類に関する研究開発が非常に活発であり，文書全体の情報を利用して，類似度を計算するベクトルモデル\cite{長尾他1996,野村1999,徳永他1994}や確率モデル\cite{Fuhr1989}の技術が確立されてきた．しかしながら，実際の文書は，複数の話題や分野を混合して含み，検索したい内容は文書の一部分（断片）に存在する場合がほとんどであるので，文書全体を検索対象とするのではなく，検索要求に合致した文書断片のみを抽出するパッセージ検索技術が着目されている\cite{Callan1994,Kaszkiel1997,Melucci1998,望月他1999,Salton1993}．特に，人間は文書全体を読むことなしに，代表的な単語を見るだけで，＜政治＞や＜スポーツ＞などの分野を認知できることから，文書断片内の数少ない単語情報から分野を的確に決定するための分野連想語セットの構築は重要な研究課題である．文書全体の情報を利用するモデルでは，誤った重要語の多少の過剰抽出は補正されるが，本論文では，文書断片を対象とするので，誤った連想語を過剰抽出する割合を限りなく零にできる抽出法の実現を目標とする．

連想語の水準に関連する研究として，統計情報を利用して単語の重要度（重み）を決定する方法\cite{Salton1988,Salton1983,Salton1973,徳永他1994}，単語の重み付けを学習する方法\cite{福本他1999}があり，また単語の概念や意味情報を利用する方法\cite{亀田他1987,Walker1987}，意味的に関係のある名詞をリンク付けする手法\cite{福本他1996}などが提案されている．しかしながら，これら手法では，本論文の目標である高い適合率（過剰抽出が少ないことを意味する）には十分な関心が払われていない．また，シソーラスなどの分類体系を利用する手法は，単語の統計情報のみに依存する手法に比べて精度向上が期待できるが，分類体系と単語間の対応関係を事前に構築しておいて，文書の特徴を学習する方法\cite{河合1992,山本他1995}では，データスパースネス\cite{福本他1996}の問題があり，十分な精度向上は得られていない．また，分類体系の特徴を規則として学習する手法\cite{Blosseville1992}では，高い精度を実現しているが，実験のデータ規模が小さく，解析も複雑であるので，現段階では実用性に難がある．更に，分類体系から分野決定するためのルールを機械学習する方法\cite{Apte1994}では，文書分類精度がBreakeven point(再現率と適合率が一致する値)で最高約0.80まで向上しているが，本研究が目標とする精度には達していない．

また，複合語の連想語の決定に関連する研究として，複合語のキーワード抽出手法\cite{伊藤他1993,小川他1993,林他1997,原他1997}があるが，人手で修正した短単位語キーワードを利用して複合語キーワードを決定する手法は議論されていない．

本論文では，固定された分野体系と学習データを利用し，誤った連想語の割合が数パーセント以下となる抽出法を提案する．本手法では，単語数が有限である短単位語の連想語を人手で修正し，この短単位語の連想情報を利用して，無限に造語される複合語の連想語を自動決定する．

以下，2~章では分野連想語の水準と安定性ランクを説明し，3~章では学習データから連想語候補を自動決定する方法と短単位語の人手による修正法を述べる．4~章では複合語の連想語の決定法を提案し，5~章では180分野に分類された約15,000ファイルの実験結果により，提案手法の有効性を実証する．6~章では本論文をまとめ，今後の課題を述べる．
\vspace{-2mm}
\section{分野連想語の水準}
\vspace{-2mm}
\subsection{準備}

形態素解析の辞書に登録されている語を短単位語\footnote{未登録語は連想語の対象としない．}と呼び，2語以上から構成される語を複合語と呼ぶ．これら短単位語や複合語を単語と呼び，``''内に記述する．また，短単位語の分野連想語を{\bf 短単位連想語}，複合語の分野連想語を{\bf 複合連想語}と略記する．但し，それぞれ一つの接辞と名詞で構成される一般的な複合語（``消費税''，``核燃料''，``温暖化'' など）は，細分化することで分野情報が失われるので，短単位語として取り扱う．また，高校名``鹿児島商工''や会社名``ＮＴＴ東京''などの固有名詞（人名以外）も短単位語とする．更に，固有名詞（人名）については，``長島茂雄''のように姓名で文書中に存在する場合はそのまま短単位語とし，``長島監督''のように普通名詞との複合語であれば，``長島''と``監督''を独立の短単位語とする．なお，用語集imidas\cite{戸澤1998}において三つ以上の短単位語で構成される複合語（1,000個）の分析調査では，新しい連想語が検出できなかったので，以後，二つの短単位語で構成される複合連想語を議論の対象とする．

以後，分野体系を分野木，分野木の葉に相当する分野を{\bf 終端分野}，終端分野以外は{\bf 中間分野}と呼ぶ．本論文では，付録の分野木を利用する．この分野木の全分野数は180個であり，中間分野数は22個，終端分野158個（深さ2と3の終端分野はそれぞれ122個，36個）である．また，直接の上位分野，下位分野をそれぞれ親分野，子分野と呼ぶ．分野の指定は分野名のパス$＜S＞$で記述するが，根に相当する＜全体分野＞は省略する．例えば，\mbox{分野パス$＜S＞=$＜ス}ポーツ¥相撲＞は＜スポーツ＞の下位の終端分野＜相撲＞を表す．また，特に矛盾が生じない場合はパス指定を省略して終端分野のみで説明する．また，＜＞内の分野名と区別するために，意味や概念名などは［］内に記述する．

\subsection{分野連想語における水準と安定性ランク}

単語は唯一の終端分野や中間分野を特定する場合，あるいは複数の終端分野や中間分野を特定する場合があるので，連想語の水準を次に定義する．\\
{\bf 【定義１】　連想語wの分類と水準}
\begin{description}
\item[（水準１）] 完全連想語$w$：$w$は唯一の終端分野のみを連想する．
\item[（水準２）] 準完全連想語$w$：同じ親分野をもつ終端分野の中で限られた複数の終端分野のみを連想する．
\item[（水準３）] 中間連想語$w$：$w$は完全連想語，準完全連想語でなく，唯一の中間分野を連想する．
\item[（水準４）] 多分野連想語$w$：$w$は完全連想語，準完全連想語，中間分野連想語でなく，\mbox{複数の}中間分野や終端分野を連想する．
\item[（水準５）]非連想語$w$：$w$は水準１〜４以外であり，特定分野を連想しない．
\end{description}

水準１の完全連想語は，``横綱''のように終端分野＜相撲＞を一意に特定する．水準２の準完全連想語は``シングルス''，``ダブルス''のように同じ親分野＜スポーツ＞内の複数の終端分野＜テニス＞，＜卓球＞，＜バトミントン＞を特定する．水準３の中間連想語は，``試合''のように，終端分野は特定できないが，一つの中間分野＜スポーツ＞を特定する．また，水準４の多分野連想語``勝敗''は，複数の終端分野＜趣味・娯楽¥将棋＞，＜政治¥選挙＞や中間分野＜スポーツ＞を特定する．水準５の非連想語は，``場合''，``使用''のように分野を特定しない単語である．

次に，重要なことは，分野連想語が時間経過により変化することである．例えば，＜野球＞であれば``投手''，``捕手''などは変化しない安定した連想語であるが，高校野球の優勝校や選手名は短期間で変化する不安定な連想語である．また，プロ野球のチーム名や有名選手も高校野球ほど変化期間は短くないが，不変なものではない．このように，安定性の低い連想語は固有名詞に多いと考えられ，特に人名の安定性は非常に低いと思われる．従って，短単位連想語には，{\bf 安定性(stability)ランク}を高い順に普通名詞をa，固有名詞（人名以外）をb，固有名詞（人名）をcに割り当てる．


\section{分野連想語候補の決定手法}

\subsection{分野連想語と水準の決定アルゴリズム}

学習データを各終端分野に均一に収集するのは難しいので，終端分野$＜S＞$に出現する全ての単語の合計頻度を$T(＜S＞)$とし，単語$w$の分野$＜S＞$の頻度を$F(w,＜S＞)$で表すとき，以後，終端分野$＜S＞$における単語$w$の頻度は次のように正規化\mbox{した頻度$R(w,＜S＞)$を使用}する．
\[
R(w,＜S＞)=(F(w,＜S＞)/T(＜S＞))\cdot \gamma
\]
ここで，$F(w,＜\hspace{-0.05mm}S\hspace{-0.05mm}＞)/T(＜\hspace{-0.05mm}S\hspace{-0.05mm}＞)$は非常に小さな値となるので，\mbox{適切な定数$\gamma$により，$R(w,＜\hspace{-0.05mm}S\hspace{-0.05mm}＞$}\break
$)$を整数に調整する．以下に示す付録の分野木の例では，$\gamma=105$とした．中間分野$＜S'＞$\break
における単語$w$の頻度$R(w,＜S'＞)$は，$＜S'＞$の下位に存在するすべての終端分野$＜S＞$の\break
$R(w,＜S＞)$を合計した頻度とする．

分野$＜\hspace{-0.05mm}S'＞$を分野$＜\hspace{-0.05mm}S\hspace{-0.05mm}＞$の親分野とするとき，分野$＜\hspace{-0.05mm}S\hspace{-0.05mm}＞$における単語$w$の集中率$P(w,＜\hspace{-0.05mm}S\hspace{-0.05mm}＞$\break
$)$を次で定義する．
\[
P(w,＜S＞)=R(w,＜S＞)/R(w,＜S'＞)
\]

次に，分野連想語の決定アルゴリズムＡを示す．\\
{\bf 【アルゴリズムＡ：分野連想語候補の決定】}\\
{\bf 入力：}各分野$＜S＞$を連想する単語$w$の頻度$R(w,＜S＞)$，分野木．\\
{\bf 出力：}$w$が連想語になるならば，連想する分野と水準．\\
{\bf （手順Ａ１）｛完全連想語（水準１）の決定｝}

分野木の根\hspace{-0.1mm}$＜S＞$\hspace{-0.1mm}の子分野\hspace{-0.1mm}$＜S¥C＞$\hspace{-0.1mm}において，単語\hspace{-0.1mm}$w$\hspace{-0.1mm}が集中するか否かを条件式$P(w,＜S¥$\mbox{$C＞)\ge \alpha $}で判定し\footnote{$\alpha$は0.5より大きい値を想定しているので，この条件を満足する単語$w$は高々1個である．}，条件式を満足すれば，$＜S¥C＞$を$＜S＞$に改めて，\mbox{更に下位の子分野へ}と同様な判定を繰り返す．この繰り返し処理で\hspace{-0.1mm}$＜S¥C＞$\hspace{-0.1mm}が終端分野になれば，$w$を分野$＜S¥$
$C＞$の完全連想語に決定する．

この処理で，条件式を満足する\hspace{-0.1mm}$＜\hspace{-0.02mm}S＞\hspace{-0.02mm}$\hspace{-0.1mm}の子分野\hspace{-0.1mm}$＜\hspace{-0.02mm}S¥C\hspace{-0.02mm}＞$\hspace{-0.1mm}が存在しない場合は，次へ進む．\\
{\bf （手順Ａ２）｛準完全（水準２）と中間連想語（水準３）の決定｝}

分野$＜S＞$の$m(\ge 2)$個の全ての子分野$＜S¥C＞$から，
\begin{equation}
P(w, ＜S¥C＞)\ge R(w, ＜S＞)/m
\end{equation}
なる$＜S¥C＞$を抽出し，$P(w, ＜S¥C＞)$を大きい順に累積加算し，$k(1<k<m)$個の加\break
算で初めて合計値が$\alpha$を越える場合，$k$個の子分野$＜S¥C＞$が全て終端分野ならば，$w$を分野\break
$＜S¥C＞$の準完全連想語に決定する．全てが終端分野でなければ，次へ進む．

但し，累積加算の値が$\alpha$を越えなければ，$w$を分野$＜S＞$の中間連想語に決定する．\\
{\bf （手順Ａ３）｛多分野連想語の決定｝}

$k$個の子分野$＜\hspace{-0.03mm}S¥C\hspace{-0.03mm}＞$から，終端分野$＜\hspace{-0.03mm}S¥C\hspace{-0.03mm}＞$を抽出し，$w$を分野$＜\hspace{-0.03mm}S¥C\hspace{-0.03mm}＞$の多分野連想\break
語とする．終端分野以外の小分野$＜S¥C＞$を部分分野木の根$＜S＞$に改めて，
手順Ａ１とＡ２\break
で決定された完全，準，中間連想語の分野に対して，$w$を多分野連想語とする．
\begin{flushright}
{\bf （アルゴリズム終）}
\end{flushright}

なお，手順Ａ２の式(1)は，子分野の候補を平均頻度以上に制限しているが，これは低い頻\break
度の子分野を候補に入れると$＜S＞$の多くの子分野$＜S¥C＞$が準完全連想語となり，$＜S＞$の\break
中間連想語との区別が弱くなるからである．この点は実験評価でも議論される．

連想語の水準決定の例として，付録の分野木の一部を図~1~に示し，``横綱''，``シングルス''，\mbox{``勝敗''の各分野での頻度を}()内に示す．なお，＜分野全体＞の子分野数は12，＜スポーツ＞，＜趣味・娯楽＞，＜政治＞の子分野数はそれぞれ19,13,14であり，基準値$\alpha=0.92$として，連想語と水準の決定を説明する．

\begin{figure}[t]
  \begin{center}
    \epsfile{file=fig1.eps,scale=.8}
  \end{center}
  \caption{分野連想語の水準決定の例}
\end{figure}

$w=\mbox{``横綱''}$，$＜S＞=＜分野全体＞$，$＜C＞=＜スポーツ＞$に対して，
\[
P(w,＜S¥C＞)=R(w,＜S¥C＞)/R(w，＜S＞)=236/243=0.97\ge \alpha =0.92
\]
より，$w$は$＜S¥C＞$に集中するので，$＜S＞=＜分野全体¥スポーツ＞$と改めて，下位の終端分野$＜C＞=＜相撲＞$に対して判定すると，$P(w,＜S¥C＞)=231/236=0.98\ge \alpha =0.92$
となり，``横綱''は＜相撲＞への完全連想語と決定される．次に，$w=\mbox{``シングルス''}$では，$＜S＞=＜分野全体¥スポーツ＞$の下位分野で$w$が$\alpha$以上で集中す\mbox{る分野は存在しない．ここ}で，＜スポーツ＞の子分野$＜C＞=＜テニス＞$，＜卓球＞，＜バトミントン＞は式(1)
\[
P(w,＜S¥C＞)>R(w,＜S¥C＞)/m=351/19=18.74
\]
を満足し，大きい順に$P(w,＜S¥C＞)$をそれぞれ累積加算すると，
\[
142/351+105/351+93/351=0.97\ge \alpha =0.92
\]
となり，しかも$＜S¥C＞$は全て終端分野であるので，``シングルス''は＜テニス＞，\mbox{＜卓球＞，}＜バトミントン＞の準完全連想語に決定される．ここで，中間連想語を説明するために，＜スポーツ＞の子分野を$＜C＞=＜テニス＞$，＜卓球＞，＜バトミントン＞の$3(=m)$\mbox{種類と仮定}すると，
\[
P(w,＜S¥C＞)>R(w,＜S＞)/m=(142+105+93)/3=113.3
\]
なる$＜C＞$は＜テニス＞のみとなるので，``シングルス''は＜スポーツ＞への中間連想\mbox{語に決定}される．また，$w=\mbox{``勝敗''}$は，$＜S＞=＜分野全体＞$の唯一の下位分野には集中しないが，$＜C＞=＜スポーツ＞$，＜趣味・娯楽＞，＜政治＞が次を満足する．
\[
P(w,＜S¥C＞)>R(w,＜S＞)/m=478/13=36.77
\]
そして，これらの累積加算値0.98は$\alpha=0.92$を越えるが，$＜S¥C＞$は全て終端分野で\mbox{ないの}で，$＜C＞=＜スポーツ＞$，＜趣味・娯楽＞，＜政治＞を部分分野木として，手順Ａ１，Ａ２を実行すると，``勝敗''は分野＜スポーツ＞，＜趣味・娯楽¥将棋＞，＜政治¥選挙＞への多分野連想語となる．
\vspace{-3mm}
\subsection{短単位連想語の決定}
\vspace{-1mm}
アルゴリズムＡによる短単位連想語候補には，水準，安定性ランク，候補語，分野，集中率，頻度情報を提示し，分野とランクを人手で修正する．＜野球＞の短単位連想語（水準１）の候補\mbox{を示す表~1~において}，→は変更を表し，●印は削除を表す．例えば，候補``中前''，\mbox{``青学大''の}分野は削除され，``新監督''の分野は＜スポーツ＞へ変更されている．また，\mbox{``巨人（球団名）''の}安定性ランクbは，aに変更されている\footnote{この他，``長島茂雄''，``王貞治''，``イチロー''なども，固有名詞（人名）であるが，安定性の高い連想語として一般性があるので，人手の判断でランクaに変更される．この安定性ランクaは，次に述べる冗長連想語除去の重要な情報となる．}．修正された分野情報から，水準の定義１に従い水準欄の変更は自動的に行われる．表~2~には短単位連想語（水準２〜４）の候補を示すが，表~1~とは異なり複数の分野が提示される\footnote{水準３は＜スポーツ＞への連想語であるが，人手の確認のため下位分野が示される．また，集中率と頻度情報も分野毎に提示されるが，例では省略し，同時に分野数も~3~種類に限定する．また，分野情報のない場合は，空白のままで示してある．}．この修正により，水準２の``初出場''は３に変更され，水準２の``球団側''や水準４の``野茂''は水準１に変更される．なお，このように＜野球＞の分野以外に``野茂''が出現するのは，``会長＋陣野茂（人名）''のような複合語を``会長＋陣＋野茂''とする形態素解析の誤り（文法的には正しいので，未登録語に判定できない）に起因する場合，＜野球＞以外の＜教育¥外国語教育＞の文書に局所的に存在する次のような文に起因する場合がある．
\begin{center}
``英語ができないのにがんばる野茂投手は、本当にえらい。''
\end{center}

但し，この水準変更では，解析誤りによる不当な連想語を高く評価することになるので，形態素解析の誤りに起因する連想語は安全のため水準を低いままにすることも考えられる．しかしながら，上記の二つの原因を全て確認することは大変な労力を必要とするし，このような形態素解析の誤りはいずれは修正できると仮定して，上記の水準変更を実施した．なお，この水準変更については，5~章で有効性を評価している．

短単位連想語の人手の修正は，このような連想語候補の不適切な分野を除去するために有効である．

\begin{table}[t]
 \caption{＜野球＞に対する短単位連想語候補（水準１）の例}
 \begin{center}
  \begin{tabular}{cccccc}
    \hline\hline
	水準 & 安定性ランク & 連想語候補 & 分野 & 集中率 & 頻度 \\
    \hline
	1 & b→a & 巨人 & ＜スポーツ¥野球＞ & 0.99  & 944 \\
	1 & a & 投手 & ＜スポーツ¥野球＞ & 0.99  & 703 \\
	1 & b & 西武 & ＜スポーツ¥野球＞ & 1.00  & 697 \\
	1 & a & 野球 & ＜スポーツ¥野球＞ & 0.96  & 692 \\
	1 & a & 本塁打 & ＜スポーツ¥野球＞ & 1.00  & 442 \\
	1 & c & 長嶋 & ＜スポーツ¥野球＞ & 0.99  & 231 \\
	1→5 & a & 中前 & ●＜スポーツ¥野球＞ & 1.00  & 74 \\
	1→5 & b & 青学大 & ●＜スポーツ¥野球＞ & 0.93  & 64 \\
	1→3 & a & 新監督 & ＜スポーツ¥野球＞ & 0.92  & 22 \\
	 &  &  & →＜スポーツ＞ \\
	1 & a & 選球眼 & ＜スポーツ¥野球＞ & 1.00  & 3 \\
	1 & a & ｂａｓｅｂａｌｌ & ＜スポーツ¥野球＞ & 1.00  & 2 \\
    \hline
  \end{tabular}
 \end{center}
\end{table}

\begin{sidewaystable}[p]
 \caption{＜スポーツ＞に対する短単位連想語候補（水準２，３，４）の例}
 \begin{center}
\small
  \begin{tabular}{cccccc}
   \hline\hline
水準2 & 安定性ランク & 連想語候補 & 分野１ & 分野２ & 分野３ \\
    \hline
2 & a & 先発 & ＜スポーツ¥野球＞ & ＜スポーツ¥サッカー＞ \\
2 & a & 先制 & ＜スポーツ¥野球＞ & ＜スポーツ¥サッカー＞ & ＜スポーツ¥ラグビー＞ \\
2 & a & 勝ち点 & ＜スポーツ¥野球＞ & ＜スポーツ¥サッカー＞ & ＜スポーツ¥ヨット＞ \\
2→3 & a & 初出場 & ＜スポーツ¥野球＞ & ●＜スポーツ¥サッカー＞ & ●＜スポーツ¥ゴルフ＞ \\
 &  &  & →＜スポーツ＞ \\
2→5 & a & 歯車 & ●＜スポーツ¥野球＞ & ●＜スポーツ¥サッカー＞ & ●＜スポーツ¥バレーボール＞ \\
2→1 & a & 球団側 & ＜スポーツ¥野球＞ & ●＜スポーツ¥サッカー＞ \\
2 & c & 金本 & ＜スポーツ¥野球＞ & ＜スポーツ¥サッカー＞ \\
    \hline\hline
水準3 & 安定性ランク & 連想語候補 & 分野１ & 分野２ & 分野３ \\
    \hline
3 & a & 試合 & ＜スポーツ¥野球＞ & ＜スポーツ¥サッカー＞ & ＜スポーツ¥バレーボール＞ \\
3 & a & 首位 & ＜スポーツ¥ゴルフ＞ & ＜スポーツ¥サッカー＞ & ＜スポーツ¥ヨット＞ \\
3 & b & バルセロナ & ＜スポーツ¥野球＞ & ＜スポーツ¥柔道＞ & ＜スポーツ¥陸上＞ \\
3→5 & a & 立ち上がり & ●＜スポーツ¥野球＞ & ●＜スポーツ¥バスケットボール＞ & ●＜スポーツ¥ラグビー＞ \\
3→5 & a & 中盤 & ●＜スポーツ¥野球＞ & ●＜スポーツ¥ボクシング＞ & ●＜スポーツ¥陸上＞ \\
3 & a & 選手 & ＜スポーツ¥サッカー＞ & ＜スポーツ¥野球＞ & ＜スポーツ¥バレーボール＞ \\
3→5 & a & 右足 & ●＜スポーツ¥サッカー＞ & ●＜スポーツ¥相撲＞ & ●＜スポーツ¥野球＞ \\
    \hline\hline
水準4 & 安定性ランク & 連想語候補 & 分野１ & 分野２ & 分野３ \\
    \hline
4 & a & 監督 & ＜スポーツ¥サッカー＞ & ＜スポーツ¥野球＞ & ＜娯楽・趣味¥映画＞ \\
4 & a & 勝負 & ＜スポーツ＞ & ＜趣味・娯楽¥将棋＞ & ＜趣味・娯楽¥競馬＞ \\
4→5 & c & 村田 & ●＜スポーツ¥野球＞ & ●＜スポーツ¥ラグビー＞ & ●＜政治¥日本政治＞ \\
4→1 & c & 野茂 & ＜スポーツ¥野球＞ & ●＜娯楽・趣味¥将棋＞ & ●＜娯楽・趣味¥ＴＶ＞ \\
4→2 & b & 東洋大 & ●＜スポーツ¥野球＞ & ＜教育¥学校行事＞ & ＜教育¥外国語教育＞ \\
4 & a & トレード & ＜スポーツ¥野球＞ & ＜経済¥株式・債権＞ & ＜経済¥世界経済＞ \\
4 & a & バッテリー & ＜スポーツ¥野球＞ & ＜環境問題¥環境・エネルギー＞ & ＜科学・技術¥宇宙開発＞ \\
    \hline
  \end{tabular}
 \end{center}
\end{sidewaystable}


\section{複合語の分野連想語の決定}

\subsection{短単位語の分野継承に基づく複合連想語の分析}

複合名詞の統語的構成については，通常，右側の語基の品詞が複合語の文法的主要語となり，全体の品詞を決定する．同様に，右側にある統語的主要部が，語彙的主要部と一致しているとき，それは類別名辞(taxonomic class term)と言うことができる\cite{油井1997,Williams1981}．この場合，左側の語基は右側の修飾辞であるので，右側の語基の意味は複合語（下位語）へ継承され，分野情報の継承にも関係する．例えば，``鍋''には二つの意味［料理の道具］，［食べ物］があり，分野は＜趣味・娯楽¥料理・食べ物＞である．そして，複合語``圧力＋鍋''と``ジンギスカン＋鍋''の左の語基``圧力''と``ジンギスカン''は，右の語基``鍋''の意味を限定する修飾辞であり，``鍋''の意味を継承する．分野情報も同様に継承して，``鍋''と同じ分野＜料理・食べ物＞を連想する．

しかし，右側の語基のメタファー的転意により，左側の語基が類別名辞となり，分野連想が変化する場合がある．``戦争''の本来の意味は分野＜社会¥戦争・紛争＞を連想するので，``湾岸＋戦争''にはその意味を継承できるが，``受験＋戦争''の``戦争''は比喩的に用いられており，本来の戦争を意味するものではない．右側の``戦争''は統語的主要語であるが，語彙的主要語ではない．この場合，左側の``受験''が語彙的主要部，また類別名辞となり，連想する分野は＜教育¥受験・入試＞となる．特に，このようなメタファー的転意は限りなく生じるので，連想語を単語の意味情報\cite{河合1992}だけで捉えることは困難である．

更に，右側の語基にメタファー的な転意がなくても，左側の語基が語彙的主要部，類別名辞となる場合もある．例えば，``チャンコ＋鍋''は，``鍋''の意味継承により＜料理・食べ物＞も連想するけれども，＜相撲＞も連想する．この場合は，語彙的主要部となる左側の``チャンコ''の分野＜料理・食べ物＞と＜相撲＞を継承していることになる．但し，同じ分野を同じ水準で継承する``チャンコ＋鍋''は，複合連想語としては冗長であるので，本手法では除去される．

以上より，複合連想語はその構成語（左右の語基に区別なく）の分野を継承し，類似した分野を連想しやすい性質をもつ．また，継承情報のない水準５の構成語``九州''，``場所''から，＜相撲＞への水準１の新しい複合連想語``九州＋場所''が生まれる場合もある．更に，＜野球＞への連想語候補``ぬるま湯＋体質''や``法政大＋進学''のように，明らかに異なる分野情報を継承する構成語を含む場合もあるが，この場合は，当然ながら複合連想語にはなりにくい性質がある．

以上の考察に基づいて，{\bf 継承(Inheritance)ランク}を次に定義する．

＜全体分野＞でない二つの分野$＜S＞$と$＜S'＞$に対して，$＜S＞$と$＜S'＞$が一致する場合，\break
$＜\hspace{-0.02mm}S'\hspace{-0.02mm}＞$が$＜\hspace{-0.02mm}S\hspace{-0.02mm}＞$の上位である場合，$＜\hspace{-0.02mm}S\hspace{-0.02mm}＞$と$＜\hspace{-0.02mm}S'\hspace{-0.02mm}＞$が終端分野で同じ親分野をもつ場合，$＜\hspace{-0.02mm}S\hspace{-0.02mm}＞$\break
と$＜S'＞$は類似分野であるという．逆に，類似分野でない$＜S＞$と$＜S'＞$は異分野であるとい\break
う．このとき，複合連想語候補$w$とその構成語$x$の特定する分野が類似分野をもつ場合，継承ランクは高いランクAに定義し，類似分野をもたないで異分野情報のみをもつ場合，継承ランクは低いランクCとする．但し，$x$が水準５の非連想語の場合，継承ランクは中間ランクのBとする．

例えば，＜野球＞への連想語候補``東洋大＋監督''では，``監督''は表~2~に示すように＜野球＞と類似分野をもつので，継承ランク値はAとなるが，``東洋大''は表~2~に示すように，＜教育＞の下位分野への連想語となるので，継承ランク値はCとなる．

\subsection{短単位語情報を利用した優先順位の決定}

継承と安定性ランクを利用して，複合連想語候補を絞り込むための優先順位を決定する．

\renewcommand{\labelenumi}{}
\begin{enumerate}
\item 複合連想語候補の構成語の継承ランク列と安定性ランク列を連接したランク列を決定する．\\
例えば，＜野球＞への連想語候補``長島＋監督''の構成語``長島''の継承と安定性ランクはAとc，``監督''の継承と安定性ランクはAとaより，ランク列はAAcaとなる．
\item ランク列から連想語候補の{\bf 判定基準表}を決定する．表~3~に示すように判定基準表では，まず継承ランクの組み合わせにより，AAからCCまでの~5~段階の優先順位を定義する．但し，ACはAの優性とCの劣性が打ち消し合うので，優劣なしのBBと同じ段階とする．この各~5~段階を安定性ランクのaaからccまでの~5~段階で更に細分化して，合計~25~段階の判定基準を決定する．
\item 水準$J$に対して，分野$＜S＞$を連想する候補$w$の集合$W\_SET(J,＜S＞)$\mbox{を決定し，}その集合の中で，候補語の最大，平均，最小の頻度を決定する．そして，最低頻度から平均頻度までと平均頻度から最大頻度までをそれぞれ~12~等分し，平均頻度を加えた~25~段階の基準頻度を対応させた判定基準表$DECISION(J,＜S＞)$を定義する．
\end{enumerate}

\begin{table}[t]
 \caption{判定基準表}
 \begin{center}
  \begin{tabular}{rccr}
    \hline\hline
段階 & 継承ランク列 & 安定性ランク列 & 基準頻度 \\
    \hline
1 & AA & aa & 3 \\
2 & AA & ab & 6 \\
3 & AA & ac-bb & 8 \\
4 & AA & bc & 11 \\
5 & AA & cc & 13 \\
6 & AB & aa & 15 \\
7 & AB & ab & 18 \\
8 & AB & ac-bb & 20 \\
9 & AB & bc & 23 \\
10 & AB & cc & 25 \\
11 & AC-BB & aa & 27 \\
12 & AC-BB & ab & 30 \\
13 & AC-BB & ac-bb & 32 \\
14 & AC-BB & bc & 40 \\
15 & AC-BB & cc & 48 \\
16 & BC & aa & 56 \\
17 & BC & ab & 64 \\
18 & BC & ac-bb & 72 \\
19 & BC & bc & 80 \\
20 & BC & cc & 88 \\
21 & CC & aa & 95 \\
22 & CC & ab & 103 \\
23 & CC & ac-bb & 111 \\
24 & CC & bc & 119 \\
25 & CC & cc & 127 \\
    \hline
  \end{tabular}
 \end{center}
\end{table}

この判定基準表は，優先順位の高い候補ほど除去する頻度を低くして，抽出漏れを防ぎ，逆に優先順位の低い候補は除去する頻度を高くして，過剰抽出を防ぐために利用される．

\subsection{複合連想語の決定アルゴリズム}

複合語はアルゴリズムＡにより複合連想語候補に絞り込まれ，以下に示すアルゴリズムＢで最終的な連想語に絞り込まれる．

継承性ランクが高い候補を優先的に選択することは，逆に冗長性の高い連想語を選択する矛盾を生じる．アルゴリズムＢではこの矛盾を次のように解決している．

（ａ）複合連想語候補$w$の連想分野$＜S＞$と構成語$x$の連想分野$＜S'＞$とが異分野\mbox{である場}合，（ｂ）$w$の全ての連想分野$＜S＞$と構成語$x$の全ての連想分野$＜S'＞$\mbox{とが類似分野であり，}しかも$w$の水準が$x$の水準より高い場合，$w$は新しい連想語候補にすべきであるが，それ以外は構成語による連想分野で$w$の連想分野を補えるので，冗長である．この観点より，手順Ｂ１では継承ランクで生じる冗長な複合連想語候補を事前に排除する．次の手順Ｂ２で継承ランクを利用した判定基準表により優先的な選択を行う．手順Ｂ３では変更された連想分野情報に対して，最終的な連想語の水準を自動的に決定する．

以下，組$(J,＜S＞)$の情報をもつ連想語$w$の集合$W\_SET(J,＜S＞)$の逆表現として，\mbox{連想}語$w$の組$(J,＜S＞)$を要素とする集合を$F\_SET(w)$で表す．\\
{\bf 【アルゴリズムＢ：複合連想語候補の決定アルゴリズム】}\\
{\bf 入力：}複合連想語候補$w$と$W\_SET(J,＜S＞)$．\\
{\bf 出力：}複合連想語$w$の分野と水準．\\
{\bf （手順Ｂ１）｛冗長連想語の除去｝}

全ての連想語候補$w=xy$に対して，次を実行する．\\
(1)　$w$の水準$J$が１の場合 

$F\_SET(w)$と$F\_SET(x)$が同じ要素$(1, ＜S＞)$をもち，
$x$の安定性ランクがaの場\break
合\footnote{水準１の連想語は，唯一の終端分野を特定する重要な連想語であるので，安定ランクがaである条件をつけてあるが，次の(2)で対象となる水準２〜４では安定性ランクの条件をつけない．}，$F\_SET(y)$が$＜S＞$の異分野$＜S'＞$となる要素$(1, ＜S'＞)$をもたなければ，$w$を$W\_SET(J,＜S＞)$から除去する\footnote{$F\_SET(w)$からも要素$(J,＜S＞)$が除去されることを意味する．}（$x$が$y$の場合も同様）．\\
(2)　$w$の水準Jが２〜４の場合

$F\_SET(w)$の全ての分野$＜S＞$が$F\_SET(x)$と$F\_SET(y)$の全ての分野$＜S'＞$と\mbox{類似分野}であり，且つ$w$の水準が$x$と$y$の水準を越えないならば，$w$を$W\_SET(J,＜S＞)$から\mbox{除去する} ．\\
{\bf （手順Ｂ２）｛判定基準表による絞り込み｝}

以上で絞り込まれた$W\_SET(J,＜S＞)$に対して，
判定基準表$DECISION(J,＜S＞)$\mbox{を決}定し，$w$の継承と安定性ランク列に対応する基準頻度より$w$の頻度$R(w,＜S＞)$が\mbox{少なければ}，$w$を$W\_SET(J,＜S＞)$から除去する．\\
{\bf （手順Ｂ３）｛水準の最終決定｝}

以上により，連想分野のなくなった候補語$w$は水準５へ変更し，連想する分野数が減少した候補語$w$は，水準の定義１に従って水準を変更する．
\begin{flushright}
{\bf （アルゴリズム終）}
\end{flushright}

表~4~に水準１の複合連想語候補の例，表~5~に水準２〜４の候補例を示す．但し，表~5~の分\break
野数は表~2~と同様に三つ以内とし，また水準３では下位の終端分野を列挙する．手順Ｂ１で\break
削除される冗長な候補語は，表~4~と~5~の判定欄に×印で示す．手順Ｂ１の(1)の例として，表~4~の候補$w=\mbox{``伊藤＋投手''}$を考える．$F\_SET$(``投手'')は要素(1,＜野球＞)を含み，安定性ランクはaであり，``伊藤''は水準１の異分野の連想語でないので，候補語$w$\mbox{は除去され}る．ここで，候補$w=\mbox{``野球＋入学''}$は，$F\_SET(w)=F\_SET$(``野球''$)=\{$(1,＜野球＞\}であって，$F\_SET$(``入学''）が異分野＜教育¥受験と入試＞への水準１の連想語であるならば\footnote{短単位語と複合語とも同じ学習データを使用しているので，短単位語候補の段階で``入学''は＜野球＞と＜教育¥受験と入試＞を連想する水準４となるが，人手の修正で＜野球＞が削除され，このような場合が生じる．但し，このような異分野を含む候補が，手順Ｂ２において採用されることは極めて少ない．}，除去しないで最終決定は後の手順にゆだねる．手順Ｂ１の(2)の例として，表~5~の水準２の$w=\mbox{``先発＋金本''}$を考えると，表~2~より$F\_SET(w)=F\_SET$(``先発''$)=F\_SET$(``金本'')であるので，$w$は除去される．同様に，水準３の``選手権＋初出場''も除去される．また，$w=\mbox{``日本＋選手''}$は，$F\_SET(w)=F\_SET$(``選手'')であり，``日本''が水準５なので，$w$は除去される．表~5~には存在しないが，$F\_SET(w)=\{$(2,＜野球＞)，(2,＜サッカー＞)\}なる連想語候補$w=\mbox{``金本＋投手''}$を仮定するとき，``金本''と``投手''の全ての連想分野と$w$の全ての分野は類似分野である．しかし，$w$の水準２は構成語の水準１と２を超えないので，除去される．

\begin{table}[t]
 \caption{＜野球＞に対する複合連想語候補（水準１）の例}
 \begin{center}
  \begin{tabular}{lrcrlc}
    \hline\hline
複合語候補 & 頻度 & ランク列 & 判定基準 & 判定 & 決定水準 \\
    \hline
高校＋野球 & 149 &  &  & × &  \\
長嶋＋監督 & 127 & AAca & 8 & ○ & 1 \\
日本＋シリーズ & 117 & BAba & 18 & ○ & 1 \\
野村＋監督 & 85 & AAca & 8 & ○ & 1 \\
社会人＋野球 & 66 &  &  & × &  \\
森＋監督 & 65 & BAca & 20 & ○ & 1 \\
野球＋連盟 & 55 &  &  & × &  \\
法政大＋進学 & 53 & CCba & 103 & ● & 5 \\
上田＋監督 & 43 & BAca & 20 & ○ & 1 \\
西武＋ファン & 39 & AAba & 6 & ○ & 1 \\
ヤクルト＋古田 & 23 & AAbc & 11 & ○ & 1 \\
戦力＋診断 & 21 & ACaa & 27 & ● & 5 \\
交流＋試合 & 20 & BAaa & 15 & ○過剰 & 1 \\
巨人＋打線 & 19 &  &  & × &  \\
教育＋リーグ & 16 & CAaa & 27 & ● & 5 \\
中村順司＋監督 & 15 & BAca & 20 & ● & 5 \\
観音寺中央＋高校 & 14 & BCba & 64 & ● & 5 \\
改革＋本部 & 14 & BBaa & 27 & ● & 5 \\
鈴木＋オーナー & 13 & BAca & 20 & ● & 5 \\
ＮＴＴ＋選手 & 11 & BAba & 18 & ● & 5 \\
近鉄＋選手 & 10 & AAba & 6 & ○ & 1 \\
同点＋本塁打 & 10 &  &  & × &  \\
二軍＋コーチ & 9 & AAaa & 3 & ○ & 1 \\
球団＋キャンプ & 9 &  &  & × &  \\
本塁打＋記録 & 8 &  &  & × &  \\
完全＋試合 & 4 & BAaa & 15 & ●漏れ & 5 \\
公式戦＋開幕 & 4 & AAaa & 3 & ○ & 1 \\
現役＋引退 & 4 & AAaa & 3 & ○過剰 & 1 \\
投手＋リレー & 4 &  &  & × &  \\
星野＋監督 & 3 & AAca & 8 & ●漏れ & 5 \\
三輪＋捕手 & 3 &  &  & × &  \\
巨人＋ベンチ & 3 &  &  & × &  \\
伊藤＋投手 & 3 &  &  & × &  \\
    \hline
  \end{tabular}
 \end{center}
\end{table}

\setlength{\tabcolsep}{1pt}

\begin{sidewaystable}[p]
 \caption{＜スポーツ＞に対する複合連想語候補（水準２〜４）の例}
 \begin{center}
\footnotesize
  \begin{tabular}{clcclcclccc}
    \hline\hline
水準２の候補 & 分野1 & ランク列1 & 判定１ & 分野2 & ランク列2 & 判定２ & 分野3 & ランク列3 & 判定3 & 決定水準 \\
    \hline
リーグ＋記録 & ＜スポーツ¥野球＞ & AAaa & ○ & ＜スポーツ¥バスケットボール＞ & AAaa & ○ & ＜スポーツ¥サッカー＞ & AAaa & ○ & 2 \\
先発＋金本 & ＜スポーツ¥野球＞ & AAac & × & ＜スポーツ¥サッカー＞ & AAac & × &  &  &  &  \\
テレビ＋放映権 & ＜スポーツ¥野球＞ & CCaa & ● & ＜スポーツ¥ラグビー＞ & CCaa & ● &  &  &  & 5 \\
大阪＋桐蔭 & ＜スポーツ¥野球＞ & BBbb & ● & ＜スポーツ¥ラグビー＞ & BBbb & ● &  &  &  & 5 \\
連係＋プレー & ＜スポーツ¥野球＞ & BAaa & ○ & ＜スポーツ¥バスケットボール＞ & BAaa & ○ & ＜スポーツ¥サッカー＞ & BAaa & ● & 2 \\
    \hline\hline
水準３の候補 & 分野1 & ランク列1 & 判定１ & 分野2 & ランク列2 & 判定２ & 分野3 & ランク列3 & 判定3 & 決定水準 \\
    \hline
日本＋代表 & ＜スポーツ¥サッカー＞ & BAba & ○ & ＜スポーツ¥バスケットボール＞ & BAba & ○ & ＜スポーツ¥ラグビー＞ & BAba & ● & 2 \\
優勝＋戦線 & ＜スポーツ¥野球＞ & ACab & ○ & ＜スポーツ¥サッカー＞ & ACab & ○ & ＜スポーツ¥相撲＞ & ACab & ○ & 3 \\
日本＋選手 & ＜スポーツ¥陸上＞ & BAba & × & ＜スポーツ¥テニス＞ & BAba & × & ＜スポーツ¥ゴルフ＞ & BAba & × &  \\
逆転＋優勝 & ＜スポーツ¥野球＞ & AAaa & ○ & ＜スポーツ¥相撲＞ & AAaa & ○ & ＜スポーツ¥ゴルフ＞ & AAaa & ○ & 3 \\
選手権＋初出場 & ＜スポーツ¥ラグビー＞ & AAaa & × & ＜スポーツ¥バスケットボール＞ & AAaa & × & ＜スポーツ¥サッカー＞ & AAaa & × &  \\
    \hline\hline
水準４の候補 & 分野1 & ランク列1 & 判定１ & 分野2 & ランク列2 & 判定２ & 分野3 & ランク列3 & 判定3 & 決定水準 \\
    \hline
有効＋投票数 & ＜スポーツ¥野球＞ & BBaa & ● & ＜政治¥選挙＞ & BAaa & ○ & ＜政治¥政党＞ & BAaa & ○ & 2 \\
先制＋攻撃 & ＜スポーツ¥野球＞ & AAaa & ○ & ＜スポーツ¥テニス＞ & AAaa & ○ & ＜国際地域¥中東＞ & BAaa & ○ & 4 \\
敗戦＋処理 & ＜スポーツ¥野球＞ & ABaa & ○ & ＜国際地域¥中東＞ & ABaa & ○ & ＜政治¥防衛＞ & CBaa & ● & 4 \\
タイトル＋防衛 & ＜スポーツ¥野球＞ & ACaa & ● & ＜スポーツ¥ボクシング＞ & AAaa & ○ & ＜娯楽・趣味¥将棋＞ & AAaa & ○ & 4 \\
藤田＋監督 & ＜スポーツ¥野球＞ & AAca & ● & ＜スポーツ¥バレーボール＞ & BAca & ● & ＜娯楽・趣味¥劇＞ & CBca & ● & 5 \\
    \hline
  \end{tabular}
 \end{center}
\end{sidewaystable}

表~4~で×印が付いていない候補語22個（最低頻度3，平均頻度32，最大頻度127)が手順Ｂ２の$W\_SET(1,＜野球＞)$の要素となり，表~3~の判定基準表$DECISION(1,＜野球＞)$の基準頻度が得られる．例えば，``法政大＋進学''の頻度は53で比較的高いが，構成語は＜教育＞への連想語であり，得られたランク列CCbaの基準頻度は103となるので，除去される．同様に，表~5~でも$W\_SET(J,＜S＞)$に対応する判定基準表を構成して，除去分野を決定する．手順Ｂ２で除去された表~4~の候補語と表~5~の分野の判定欄に●印を示す．

手順Ｂ３では，上記の削除で連想分野がなくなった候補語の水準を水準５に変更する．また，水準２〜４の候補語で一部の分野が除去される場合は，水準変更を行う．人手で修正した短単位連想語の情報を利用する手順Ｂ２の分野更新は，人間により近い分野情報を複合連想語にもたせることを意味するので，手順Ｂ３の水準上昇は，人間の判断に基づいた分野連想語や分野決定と比較する~5~章の評価で効果がある．表~4~と~5~の決定水準欄に手順Ｂ３で最終決定された水準を示す．表~4~では最終的に12個の連想語に絞り込まれたが，``完全＋試合''，``星野＋監督''は抽出漏れである．また，``交流＋試合''と``現役＋引退''は＜スポーツ＞への連想語であり，過剰抽出であるが，この連想語は＜野球＞と類似分野であるので，異分野を連想する間違った連想語ではない．また，表~5~では，``日本＋代表''（＜スポーツ＞の下位である複数の終端分野を連想すると仮定する）の水準が３から２へ変更され，同様に，水準４の``有効＋投票数''も＜政治＞の複数の下位分野を連想する水準２に変更される．

\section{分野連想語の構築実験結果と評価}

\subsection{実験データ}

付録の分野体系は，用語辞書\cite{戸澤1998,現代用語1997,知恵蔵1996}を参考にして構築され，文書データは主としてＣＤ−毎日新聞’９５データ集と学術情報センターの「NACSIS (National Center for Science Information Systems) テストコレクション１」より収集した．新聞データでは掲載面種別コードを，また学術情報センターのデータは学会名を利用して，本論文の分野体系への大まかな分類を行い，残りは人手で分類を行った．なお，相対的な頻度を用いることで，収集データが極端に少ない分野では誤った分野連想語が過剰抽出されるので，終端分野の最低データ量を50キロバイト以上とした．

アルゴリズムＡの手順Ａ２における式(1)は簡単のために$R(w, ＜S＞)/m$\mbox{なる平均値を用い}たが，実験では$R(w, ＜S＞)/(\beta m)$なる基準値$\beta$を導入した．$\beta > 1$ならば\mbox{累積加算される子分}野数は多くなり，水準２の候補が増加し，水準３の候補が減少する．アルゴリズムＡで使用す\break
る有効な基準値$\alpha$と$\beta$を決定するために，$\alpha$を~14~種類（0.86から0.99までの0.01\mbox{きざみ），$\beta$}を~6~種類（0.80から1.30までの0.1きざみ）に変化させて得られる~84~種類の連想語候補セットに対して，人手で選択した代表的な短単位連想語500語の抽出精度結果を考慮し，基準値$\alpha =0.92$と$\beta =0.91$を決定した．また，正規化されていない頻度$F(w,＜S＞)$が1の単語$w$は，連想語抽出の実験対象に含めない．

分野全体で抽出された短単位語83,894個に対するアルゴリズムＡの連想語候補数は49,798個(水準1，２，３，４の順にそれぞれ28,367個，4,400個，320個，16,711個）であり，人手による修正後の短単位連想語は15,328個(水準1，２，３，４の順にそれぞれ7,354個，1,846個，191個，5,937個）となった．この作業は，表~1~と~2~の提示方法により効率的に行われ，一人が３週間で完了した．

\subsection{複合語の分野連想語の評価}

まず，アルゴリズムＡにより複合連想語候補を決定し，次にアルゴリズムＢで複合連想語候補を絞り込む．学習データより得られた約18万個の複合語はアルゴリズムＡにより連想語候補は88,782個(水準1，２，３，４の順にそれぞれ74,257個，5,815個，181個，8,529個）に，更にアルゴリズムＢにより複合連想語は8,405個(水準1，２，３，４の順にそれぞれ6,188個，915個，98個，1,204個）に絞り込まれた．

提案手法の評価のために，六つの中間分野＜スポーツ＞，＜趣味・娯楽＞，＜健康・医療＞，＜政治＞，＜国際地域＞，＜科学技術・学問＞に，水準１，２，３，４の正解連想語を314個，216個，34個，186個人手で決定した．但し，水準４の正解連想語は複数の分野にまたがるので，＜スポーツ＞内の連想語候補から決定された．正解連想語の数を$E$，抽出結果に含まれる正解連想語の数を$F$，抽出された連想語の数を$G$とするとき，再現率(recall)を$R=F/E$，適合率(precision)を$P=F/G$で表す．これら正解連想語の再現率と適合率を図~2~に示す．但し，水準１と３の~6~種類の結果はそれぞれ□，●印で示し，水準２と４は複数分野の平均値としてそれぞれ○，■印で示す．また，比較実験のために次の手法を組み合わせた結果を示す．
\begin{description}
\item[A：] アルゴリズムＡ（集中率の高い順）のみで連想語を決定した場合．
\item[B1：] アルゴリズムＢの手順Ｂ１による冗長連想語を除去した場合．
\item[Stability-5：] 安定性ランクのみによる５段階の判定基準を使用した場合．５段階の決定は，最大頻度と平均頻度間を２段階に，最低頻度を平均頻度間を２段階に均等に分割設定した．
\item[Inheritance-5：] 継承ランクのみによる５段階の判定基準を使用した場合．５段階の分割設定は上記と同様．
\item[Reverse-25：] 25~段階の判定基準において，継承ランクと安定性ランクの優先を逆にした場合．分割設定は上記と同様．
\item[Uniform-25：] 25~段階の判定基準において，最大頻度と最低頻度間を~25~段階の均等分割で設定した場合．
\item[25：] 提案手法による~25~段階を設定した場合.
\end{description}

\begin{figure}[t]
  \begin{center}
    \epsfile{file=fig2.eps,scale=1}
 
  \end{center}
  \caption{再現率と適合率による実験結果の比較}
\end{figure}

図~2~に示すように，(A)と(A, B1)は抽出単語数を変更した結果を示すが，他の方法は判定基準を使用するので，固定された値の分布を示す．図~2~より，(A)のみでは適合率は向上しないが，(A, B1)では適合率が向上し，アルゴリズムＢの冗長語除去法（手順Ｂ１）の有効性が分かる．安定性と継承ランクを単独で用いた(A, Stability-5)と(A, Inheritance-5)では，適合率の改善は小さいが，(A, B1, Stability-5)と(A, B1, Inheritance-5)では改善が顕著になる．この理由は，Ｂ1による冗長語の除去数がStability-5とInheritance-5による除去数に比べて多いからである．二つのランクを組み合わせた提案手法(A, B1, 25)は，更に適合率が大きく向上しており，有効性が分かる．また，継承と安定性ランクの優先順位を変更した(A, B1, Reverse-25)は，提案手法より適合率が低下した．この原因は，安定性ランクを優先することで継承ランクの高い連想語が抽出漏れになるからである．更に，判定基準表の分割設定を均等に行った(A, B1, Uniform-25)も提案手法より，適合率が低下した．この理由は，均等分割では優先度が高い連想語の基準頻度が提案した~25~段階より大きくなり，低い頻度に存在する正しい連想語が過剰に除去されるからである．

以上より，提案手法は再現率0.77以上（平均0.85）を維持して，適合率0.90以上（平均0.94）を実現しており，複合連想語の有効な抽出法であると評価できる．しかも，過剰抽出された連想語で，対象分野の類似分野情報をもつ連想語を含めると適合率は0.98以上となり，非常にノイズの少ない連想語が抽出できたといえる．

なお，アルゴリズムＢの手順Ｂ３では，分野数の減少による連想語の水準上昇を考慮したが，この水準変更を行わない場合は提案手法(A, B1, 25)の再現率と適合率がそれぞれ約3\%，約5\%低下したので，手順Ｂ３の水準変更は有効であるといえる．

\subsection{文書断片の分野決定タスクによる評価}

学習データ以外の300文書\footnote{文書の抽出元は学習データと同じであり，見出し文や先頭単語が水準１の連想語である文は除去した．}に，文書の断片を20文字単位で段階的に伸長できるウィンドウを準備して，人間が唯一の終端分野を認識した段階で，断片文書，確定分野，及び分野決定の要因となった連想語集合$X$を記録したデータセットを構築した．但し，200文字を越えても分野が決定できない36の断片文書\footnote{この~36~文書は話題が変化して，人間でも一意に終端分野が決定できなかった．}を除き，264の文書を採用した．この断片文書内の単語に対して，短単位語と複合語の連想語（23,733個）に一致する連想語集合$Y$を決定し，次の手法で分野を決定した．

各連想語についてそれが水準１の連想語となる分野には10点，以下同様に水準２，３，４の連想語となる分野にはそれぞれ5点，3点，2点の得点を与えた．但し，中間分野への連想語には，その下位の全ての終端分野に得点を与えた．そして，人間が終端分野を認識した段階の断片文書内の集計で最高得点の終端分野を決定分野とした．図~3~には，断片文書の文字数に対する次の結果を示す．
\begin{description}
\item[正解率$T$：] 人手による正解分野と比較した場合の決定分野の正解率．比較実験として，短単位連想語のみを利用した正解率$S$を示す．
\item[共有連想語数の割合$T$：] 人手による連想語集合$X$と集合$Y$に共通する連想語の割合．上記と\break
同様に短単位語のみの割合$S$も示す．
\item[文書数の割合：] 文字数（文書長）ごとの断片文書数の比率．
\end{description}

\begin{figure}[t]
  \begin{center}
    \epsfile{file=fig3.eps,scale=1}
  \end{center}
  \caption{断片文書に対する分野決定実験の結果}
\end{figure}

図~3~より，本手法は人間の分野判定に対して，90\%以上の高い正解率になることが分かった．特に，決定分野が正解分野の類似分野となる場合を含めると，正解率は約97\%となる．また，文書数の割合からも分かるように，断片文書は約80文字以内が約90\%を占めており，非常に\break
早い段階で分野が決定されており，断片文書の分野決定の有効性が分かる．連想語の総数に対応する短単位連想語数の比率は約65\%であるので，割合$T$に対する割合$S$の低下率も65\%に近\break
い値となっている．しかし，正解率$T$に対する正解率$S$の低下率は，文字数の少ない文書では65\%より更に低い50\%以下となっている．これは，分野決定力の強い水準１の連想語の総数に対応する水準１の短単位連想語数が約54\%しかなく，逆に決定力の弱い水準４の連想語の総数に対する水準４の短単位連想語数が約83\%であることが理由である．このことより，連想語の中で分野決定力の強い水準１が占める割合が短単位連想語の水準１の割合より多い複合連想語は非常に有用であるといえる．

また，共有連想語の割合は文書が長くなると低くなる．この理由は，提案手法が出現する全ての連想語を利用しているのに対して，人間は文書長に関係なく分野判定に利用する連想語がほとんど変化せず，非常に少ない数（今回の実験では平均2.3個）となるからである．このように，分野決定中に有用な連想語を動的に絞り込むメカニズムについては，今後検討すべき課題である．

文書全体の単語情報を使用する方法では，特定分野の文書断片を検索することは，
難しい問題である．例えば，冒頭に``阪神大震災の復興''の話題があって，その
後，``高校野球''の話題が長く続く文書では，冒頭の話題は隠蔽されてしまう．
従って，連想語を利用した分野決定手法は，パッセージ検索やより精度の高いピ
ンポイント検索\cite{藤田1999}を実現する一つの方法として有用であると考え
られる．特に，語彙的連鎖によるパッセージ検索法\cite{望月他1999}に対して
は，有用な連想語連鎖を利用することで，検索効率の改善が期待できる．本論文
の目\break
的は分野連想語セットの構築であるので，本節では得点加算による簡単な分野決
定法を用いた
が，パッセージ検索のための分野決定法は，今後研究を進める必要がある．

また，表~4~で抽出漏れとなった``完全＋試合''は，＜野球＞で頻繁に生じることでないので，必然的に頻度は少なくなり，提案手法でも抽出は難しい．この点についても，今後検討を加える必要がある．

\vspace{-3mm}
\section{むすび}
\vspace{-1mm}

以上，本論文では分野連想語を定義し，短単位語の連想語情報を利用して，非常に多く造語される複合連想語を効率的に決定する手法を提案し，180分野の学習データの実験結果に基づき提案手法の有効性を評価した．また，構築された連想語が文書断片の分野決定に有効であることも示した．

本論文では，一般的な分野体系を対象として議論を進めたが，短単位語の連想語が人手で判断できるならば，独自の分野体系\cite{伊藤他1993,福田他1998}に対しても利用可能と考えられるので，この実験評価は今後の課題である．また，本論文では名詞連続の複合語を対象としたが，用言，助詞を含む名詞句，名詞と用言の組み合わせなどの共起情報\cite{湯浅他1995,山田他1998}と分野連想の関係も検討する必要がある．




\appendix
\section{分野体系と学習データの情報}

分野体系の子分野は＜＞付きで記述し，括弧内には文書数と容量（キロバイト）を示す．その下位の分野については，＜＞を省略し，分野が細分化される場合は，入れ子形式で列挙する．\\
＜分野全体（15,435; 42,092）＞\\
＜スポーツ(1,856; 5,527)＞：ゴルフ，サッカー，テニス，卓球，バトミントン，バスケットボール，バレーボール，レスリング，ボクシング，ヨット，ラグビー，マラソン，柔道，水泳，相撲，野球，冬季スポーツ（スキー，スケート，ジャンプ，ボブスレー），陸上（砲丸投げ，ハンマー投げ，円盤投げ，１００ｍ，マラソン，棒高跳び，３段飛び），モータスポーツ（Ｆ１，モトクロス，ボート）．\\
＜娯楽・趣味（1,680; 4,891）＞：アニメ，コンピュータゲーム，劇，将棋，料理・食べ物，旅行，映画，競馬，芸術，読書，釣り，音楽，ＴＶ．\\
＜科学技術・学問(735; 7,074)＞：宇宙開発，海洋開発，軍事技術，生物学・バイオ，原子力，電気電子，建築，素材，化学，数学，物理学，考古学，言語学，コンピューター(ソフトウェア，ハードウェア）．\\
＜自然(102; 517)＞：地球科学，地震・火山，天文宇宙，気象．\\
＜健康・医療(514; 3,708)＞：診断，病名（Ｏ−１５７，アトピー性皮膚炎，エイズ，癌，糖尿病，脳卒中），健康（ダイエット，ストレス，コレステロール，血圧）．\\
＜環境問題(1,618; 2,782)＞：環境・エネルギー，オゾン破壊，ゴミ問題，人口増加，公害，国連政策，温暖化環境，自然破壊，道路・交通．\\
＜教育(1,622; 4,102)＞：教育機器，学力と偏差値，先生・教師，受験と入試，外国語教育，教育場所，学校行事，資格，教育教材，教育問題（いじめ，不登校）．\\
＜社会（1,104; 1,824）＞：ジャーナリズム，広告，風俗流行，文化活動，戦争・紛争，事件（オウム，毒物混入，誘拐，汚職），災害（地震，台風，火災，水害）．\\
＜生活（988; 1,742）＞住生活，食生活，女性生活，保険，年金，家族・家庭，福祉，介護，税金対策．\\
＜国際地域(2,179; 3,991)＞：アジア，オセアニア，アフリカ，南米，中国，中東，旧ソ連，朝鮮，欧州，米国，カナダ，北極・南極．\\
＜政治(2,026; 4,910)＞：司法，国会，圧力団体，地方自治体，外交，憲法，政党，政治理論，日本政治，国際政治，税制，行政・内閣，選挙，防衛．\\
＜経済(1,011; 4,024)＞：マーケティング，世界経済，労働，国際通貨，国際金融，日本経済，景気・物価，株式・債権，経営，経済理論，財務会計，財政，貿易，農林，漁業，金融一般，雇用問題．


\bibliographystyle{jnlpbbl}
\bibliography{v07n2_01}

\begin{biography}
\vspace{-2mm}
\biotitle{略歴}
\bioauthor{辻 孝子}{
平成2年上智大学文学部心理学科卒業．
野村證券株式会社入社．
退社後，徳島大学工学部受託研究員．
現在徳島大学大学院博士後期課程在学中．
自然言語処理の研究に従事．情報処理学会会員．
}

\bioauthor{泓田 正雄}{
平成5年徳島大学工学部知能情報工学科卒業．
平成7年同大学院博士前期課程修了．
平成10年同大学院博士後期課程修了．
現在同大学工学部知能情報工学科助手．工学博士．
情報検索，自然言語処理の研究に従事．
情報処理学会会員．
}

\bioauthor{森田 和宏}{
平成7年徳島大学工学部知能情報工学科卒業．
平成9年同大学院博士前期課程修了．
現在同大学院博士後期課程在学中．
情報検索，自然言語処理の研究に従事．
情報処理学会会員．
}

\bioauthor{青江 順一}{
昭和49年徳島大学工学部電子工学科卒業．
昭和51年同大学院修士課程修了．
同年同大学工学部情報工学科助手．
現在同大学工学部知能情報工学科教授．
この間コンパイラ生成系，パターンマッチングアルゴリズムの効率化の研究に従事．
最近，自然言語処理，特に情報検索システムの開発に興味を持つ．
著書「Computer Algorithms---Key Search Strategies---」，「Computer Algorithms---String Matching Strategies---」IEEE CS press．平成4年度情報処理学会「Best Author賞」受賞．
工学博士．
電子情報通信学会，人工知能学会，日本認知科学会，日本機械翻訳協会，IEEE，ACM，AAAI，ACL各会員．
}

\vspace{-3mm}
\bioreceived{受付}

\hspace*{11.8mm}
{\small (1999年9月20日, 1999年11月1日, 1999年11月24日 再受付)}
\bioaccepted{採録}

\end{biography}

\end{document}

