


\documentstyle[epsf,jnlpbbl]{jnlp_j_b5}

\setcounter{page}{27}
\setcounter{巻数}{10}
\setcounter{号数}{1}
\setcounter{年}{2003}
\setcounter{月}{1}
\受付{2001}{11}{12}
\再受付{2002}{6}{1}
\採録{2002}{10}{4}

\setcounter{secnumdepth}{2}

\title{出現頻度と連接頻度に基づく専門用語抽出}
\author{中川 裕志\affiref{UT}
 \and 湯本 紘彰\affiref{YNUENG}\affiref{TOS}
 \and 森 辰則\affiref{YNUEIS}}

\headauthor{中川，湯本，森}
\headtitle{出現頻度と連接頻度に基づく専門用語抽出}

\affilabel{UT}{東京大学情報基盤センター}
{Information Technology Center, the University of Tokyo}
\affilabel{YNUENG}{横浜国立大学大学院工学研究科}
{Graduate School of Engineering, Yokohama National University}
\affilabel{TOS}{2002年4月より株式会社東芝，同年10月より東芝ITソリューション株式会社勤務}
{Toshiba IT-Solutions Corporation}
\affilabel{YNUEIS}{横浜国立大学大学院環境情報研究院}
{Graduate School of Environment and Information Sciences, Yokohama National University}

\jabstract{
本論文では，専門用語を専門分野コーパスから自動抽出する方法の提案と実験的評価を報告する．本論文では名詞(単名詞と複合名詞)を対象として専門用語抽出について検討する．基本的アイデアは，単名詞のバイグラムから得られる単名詞の統計量を利用するという点である．より具体的に言えば，ある単名詞が複合名詞を形成するために連接する名詞の頻度を用いる．この頻度を利用した数種類の複合名詞スコア付け法を提案する．NTCIR1 TMREC テストコレクションによって提案方法を実験的に評価した．この結果，スコアの上位の1,400用語候補以内，ならびに，12,000用語候補以上においては，単名詞バイグラムの統計に基づく提案手法が優れていることがわかった．
}

\jkeywords{用語抽出，専門用語，単名詞，複合名詞}

\etitle{Term Extraction Based on  \\
Occurrence and Concatenation Frequency}
\eauthor{Hiroshi Nakagawa\affiref{UT} \and Hiroaki Yumoto\affiref{YNUENG}\affiref{TOS} \and Tatsunori Mori\affiref{YNUEIS}}

\eabstract{
In this paper, we propose a new idea of automatically recognizing
domain specific terms from monolingual corpus. The majority of domain
specific terms are compound nouns that we aim at extracting. Our idea
is based on single-noun statistics calculated with single-noun
bigrams. Namely we focus on how many nouns adjoin the noun in question
to form compound nouns. In addition, we combine this measure and
frequency of each compound nouns and single-nouns, which we call FLR
method. We experimentally evaluate these methods on NTCIR1 TMREC test
collection. As the results, when we take into account less than 1,400
 or more than 12,000 highest term candidates, FLR method performs best.
}

\ekeywords{Term recognition, Domain specific terms, Basic Nouns,
Compound Nouns}

\begin{document}
\maketitle
\thispagestyle{empty}


\section{はじめに}
自動用語抽出は専門分野のコーパスから専門用語を自動的に抽出する技術として
位置付けられる．従来，専門用語の抽出は専門家の人手によらねばならず，大変
な人手と時間がかかるため up-to-date な用語辞書が作れないという問題があっ
た．それを自動化することは意義深いことである．専門用語の多くは複合語，と
りわけ複合名詞であることが多い．よって，本論文では名詞(単名詞と複合名詞
)を対象として専門用語抽出について検討する．筆者らが専門分野の技術マニュ
アル文書を解析した経験では多数を占める複合名詞の専門用語は少数の基本的か
つこれ以上分割不可能な名詞(これを以後，単名詞と呼ぶ)を組み合わせて形成さ
れている．この状況では当然，複合名詞とその要素である単名詞の関係に着目す
ることになる．

専門用語のもうひとつの重要な性質として\cite{KageuraUmino96}によれば，ター
ム性があげられる．ターム性とは，ある言語的単位の持つ分野固有の概念への関
連性の強さである．当然，ターム性は専門文書を書いた専門家の概念に直結して
いると考えられる．したがって，ターム性をできるだけ直接的に反映する用語抽
出法が望まれる．

これらの状況を考慮すると，以下のような理由により複合名詞の構造はターム性
と深く関係してくることが分かる．第一に，ターム性は通常 tf$\times$idf の
ような統計量で近似されるが，tf$\times$idf といえども表層表現のコーパスで
の現われ方を利用した近似表現に過ぎない．やはり書き手の持っている概念を直
接には表していない．第二に，単名詞N が対象分野の重要な概念を表しているな
ら，書き手は N を頻繁に単独で使うのみならず，新規な概念を表す表現とし
て N を含む複合名詞を作りだすことも多い．

このような理由により，複合名詞と単名詞の関係を利用する用語抽出法の検討が
重要であることが理解できる．この方向での初期の研究に\cite{Enguehard95}
があり，英語，フランス語のコーパスから用語抽出を試みているが，テストコ
レクションを用いた精密な評価は報告されていない．中川ら
\cite{NakagawaMori98}は，この関係についてのより形式的な扱いを試みている．
そこでは，単名詞の前あるいは後に連接して複合名詞を形成する単名詞の種類数を
使った複合名詞の重要度スコア付けを提案していた．この考え方自体は
\cite{Fung95}が非並行2言語コーパスから対訳を抽出するとき用いた context
heterogeneity にも共通する．その後，中川らはこのスコア付け方法による用語
抽出システムによって NTCIR1 の TMREC(用語抽出)タスクに参加し良好な結果を
出している．彼らの方法はある単名詞に連接して複合名詞を構成する
単名詞の統計的分布を利用する方法の一実現例である．しかし，彼らの方法
では頻度情報を利用していない．上記のように複合名詞とそれを構成する単
名詞の関係がターム性を捉えるときに重要な要因であるとしても，
\cite{NakagawaMori98}が焦点を当てた単名詞に連接する単名詞の種類数だけで
はなく，彼らが無視したある単名詞に連接する単名詞の頻度の点からも用語抽出
の性能を解析してみる必要があると考える．本論文ではこの点を中心に論じ，ま
た複合名詞が独立に，すなわち他の複合名詞の一部としてではない形で，出現す
る場合の頻度も考慮した場合の用語抽出について論ずる．さらに，
有力な用語抽出法である C-value による方法\cite{FrantziAnaniadou96}や語頻度
(tf)に基づく方法との比較を通じて，提案する方法により抽出される用語の性質などを調べる．

以下，2節では用語抽出技術の背景，3節では単名詞の連接統計情報を一般化した枠
組，4節では NTCIR1 TMREC のテストコレクションを用いての実験と評価につい
て述べる．
\section{用語抽出技術の背景}

単言語コーパスからの用語抽出には三つのフェーズがある．第一フェー
ズは，用語の候補の抽出である．第二フェーズは第一フェーズで抽出された候補
に対する用語としての適切さを表すスコア付けないし順位付けである．この後に
順位付けられた用語候補集合の中から適切な数の候補を用語として認定するとい
う第三のフェーズがある．しかし，第三フェーズは認定したい用語数の設定など
外部的要因に依存するところもあるので，本論文ではその技術的詳細に立ち入ら
ないことにする．


\subsection{候補抽出}

西欧の言語と異なって空白のような明確な語境界がない日本語や中国語では，
情報検索に使う索引語として文字 N-gram も考えられる\cite{FujiiCroft93,
Lam97}．しかし，専門用語という観点に立てばやはり人間に理解できる言語単
位でなければならず，結果として単語を候補にせざるをえない．また， 
NTCIR1 TMREC で使用されたテストコレクションでも単語を対象にしている．
さて，単語も詳細に見ると単名詞と複合語に分かれる．関連する過去の研究では単語よ
りは複雑な構造である連語 (Collocation)や名詞句の抽出を目標にする研究
\cite{SmadjaMcKeown90,Smadja93,FrantziAnaniadou96,HisamitsuNitta96,Shimohata97}
が多い．連語や複合語のような言語単位を対象にする場合には，それらはより基
本的な構造から構成されることを仮定しなければならない．ここでは，単名詞を
最も基本的な要素とする．用語候補が単名詞のどのような文法的構造によって構
成されるかという問題も多く研究されてきた\cite{Anania94}．どのような構造
を抽出するにせよ，まずコーパスの各文から形態素解析によって単語を切り出す
必要がある．形態素解析の結果としては各単語に品詞タグが付けられる．よって，
複合名詞を抽出するなら，連続する名詞を抽出すればよい．これまでの研究では，
名詞句，複合名詞\cite{HisamitsuNitta96,Hisamitsu00,NakagawaMori98}，連語
\cite{SmadjaMcKeown90,daille94,FrantziAnaniadou96,Shimohata97}などを抽出するこ
とが試みられた．

\subsection{スコア付け}

前節で述べた用語候補抽出の後，用語候補に用語としての重要度を反映するスコ
ア付けを行う．当然ながら，用語としての重要度はターム性を直接反映すると考
えてよく，それゆえにスコアはターム性を反映したものが望ましい．しかし，ター
ム性というのは前にも述べたように直接計算することが難しい．このため，
tf$\times$idfのような用語候補のコーパスでの頻度統計で近似することがひと
つの方法である．一方，\cite{KageuraUmino96}は用語の持つべきもうひとつの
重要な性質，ユニット性を提案している．ユニット性とは，ある言語単位(例え
ば，連語，複合語など)がコーパス中で安定して使用される度合いを表す．これ
を利用するスコアも用語の重要度を表す有力な方法である．例えば，
Ananiadou らが\cite{FrantziAnaniadou96,Ananiadou99}で提案している
C-valueは入れ子構造を持つコロケーションからユニット性の高い要素に高いス
コアを付ける有力な方法である．\cite{Hisamitsu00}は，注目する用語と共起す
る単語の分布が全単語分布に比べてどのくらい偏っているかをもってターム性を
計ろうとしている．\cite{Kageura00}は日英2言語コーパスを用い，日本語の用
語の対訳が英語のコーパスの対応する部分にも共起することがターム性を表わす
というアイデアに基づいた用語抽出法を提案している．同様の考えは
\cite{daille94}にも見られる．これらの研究は，用語の現れ方や使用統計に基
礎をおくものである．一方，\cite{NakagawaMori98}は，単名詞と複合語の関係
という用語の構造に着目してターム性を表わそうとしている．本論文の次節以降
で我々は，ターム性を直接的に捉えようとする\cite{NakagawaMori98}に対して，
連接する単名詞の種類数だけではなく，頻度も考慮した場合を提案し実験的比較
を行った．


\section{単名詞の連接統計情報の一般化}

\subsection{単名詞の連接}
2節の用語抽出技術の背景で述べた多くの研究では実質的に用語の対象にしてい
るのは名詞である．実際，専門用語の辞典に収録されている用語も大多数は名詞
である．例えば，\cite{densi,computer-sci,archi}などでは収録されているの
はほとんどが名詞である．そこで本研究では対象とする用語を単名詞と，その単
名詞のみで構成される複合名詞とした．実際，用語の大多数は
\cite{densi,computer-sci,archi}に見られるように複合名詞である．しかし，
これらの複合名詞の要素となる単名詞はあまり多数にのぼるわけではない．この
考え方から，単名詞に連接して複合名詞を構成する単名詞の異なり数に着目するとい
うアイデア\cite{NakagawaMori98}が生まれる．しかし，連接する単名詞の異なり
数だけではなく，頻度など他の要素も考慮することは
重要である．連接する単名詞のどのような性質に着目したときに性能の良いスコ
アになるかを調べるのが本論文の課題のひとつである．

まず，特定のコーパスを想定したとき，単名詞$N$ が連接する状況すなわち単名
詞バイグラムを一般的に図\ref{fig:1}のように表わす．

\begin{figure}[htbp]
\hspace*{\fill}
\begin{tabular}{ll}
$[LN_1 \hspace{1em} N] (\#L_1)$ &               $[N \hspace{1em} RN_1](\#R_1)$\\
$[LN_2 \hspace{1em} N] (\#L_2)$ &               $[N \hspace{1em} RN_2](\#R_2)$\\
:              &                        :    \\
$[LN_n \hspace{1em} N] (\#L_n)$ &               $[N \hspace{1em} RN_m](\#R_m)$\\
\end{tabular}
\hspace*{\fill}
\caption{単名詞$N$を含む単名詞バイグラムと左右連接単名詞の頻度}
\label{fig:1}
\end{figure}

図\ref{fig:1}において，$LN_i$ ($i=1,...,n$)は，単名詞バイグラム$[LN_i
\hspace{1em} N]$ において$N$の左方に連接する単名詞($n$種類)を表わし，単名詞バイグラム$[N \hspace{1em} RN_i]$において$RN_i$ ($i=1,...,m$)は$N$の右方に連接する単名詞($m$種類)を表わす．また，()内の$\#L_i$ ($i=1,...,n$)は$N$の左方に連接する
単名詞 $LN_i$ の頻度を表わし，$\#R_i$ ($i=1,...,m$)は$N$の右方に連接する
単名詞 $RN_i$ の頻度を表わす．もちろん，単名詞バイグラム$[LN_i
\hspace{1em} N]$ や $[N \hspace{1em} RN_j]$はより長い複合名詞の一部分で
あってもよい．
以下に``トライグラム''という単名詞を含む単語バイグラムがコーパスから得られた場合，そこから連接頻度を求める簡単な作例を示す．
\begin{quote}
{\bf 例 1: 単名詞``トライグラム''を含む単語バイグラムの抽出例}\\
トライグラム 統計，トライグラム，単語 トライグラム，クラス トライグラム，
 単語 トライグラム，トライグラム，トライグラム 抽出，単語 トライグラム 統
 計，トライグラム，文字 トライグラム
\end{quote}
この例を図\ref{fig:1}に示す形式で表記すると図\ref{fig:2}のようになる．

\begin{figure}[htbp]
\hspace*{\fill}
\begin{tabular}{ll}
$[$単語 トライグラム$](3)$  &    $[$トライグラム 統計$](2)$\\
$[$クラス トライグラム$](1)$ & $[$トライグラム 抽出$](1)$ \\
$[$文字 トライグラム$](1)$               &      \\
\end{tabular}
\hspace*{\fill}
\caption{単名詞``トライグラム''を含む単語バイグラムと左右連接単名詞の頻度の例}
\label{fig:2}
\end{figure}




\subsection{単名詞バイグラムを用いた単名詞のスコア付け}

\subsubsection {\bf 連接種類数　$\#LDN(N), \#RDN(N)$}
図 1において単名詞バイグラムで単名詞$N$の左方にくる単名詞の種類の異なり
数，すなわち$n$を以後$\#LDN(N)$と書く．同様に，単名詞バイグラムで単名詞
$N$の右方にくる単名詞の種類の異なり数，すなわち$m$を以後$\#RDN(N)$と書く．
図\ref{fig:2}の例では，$\#LDN(トライグラム)=3$，$\#RDN(トライグラム
)=2$である．\cite{NakagawaMori98}では，この$\#LDN(N), \#RDN(N)$を単名詞
$N$のスコアにしている．$\#LDN(N), \#RDN(N)$は頻度に影響されないので，コー
パスが出現する複合名詞の用語をカバーする程度に大きくなれば，もはや一定の
値になる．$\#LDN(N), \#RDN(N)$は$N$が固有の分野においてどれほどたくさん
の概念(複合名詞で表される)を作るときに使われるかを表す．つまり，分野にお
ける基礎概念である度合を表す．よって，$N$の持つ概念としての重要さを直接
表現しているので，ターム性の重要な一面を計っているといえよう．

\subsubsection {\bf 連接頻度　$\#LN(N), \#RN(N)$}
単名詞バイグラムを特徴付ける要因には，連接単名詞の異なり数の他に頻度情報
$\#L_i, \#R_j$がある．この二つの要因を組み合わせ方としては種々の方法が考
えられるが，簡単なのは異なり単名詞毎の頻度の総和をと
る方法であり，次式で表わされる．ただし，記法は図\ref{fig:1}の記号を用い
る．
\begin{eqnarray}
\#LN(N) & = & \sum_{i=1}^{n}(\#L_i) \label{form1}\\
\#RN(N) & = & \sum_{i=1}^{m}(\#R_i) \label{form2}
\end{eqnarray}

$\#LN(N), \#RN(N)$は，それぞれ$N$の左方，右方に連接して複合名詞を形成す
る全単名詞の頻度である．図 2の例だと，$\#LN(トライグラム)=5$，$\#RN(トラ
イグラム)=3$である．









\subsection{複合名詞のスコア付け}

以上のような方法で単名詞の左右に連接する単語の種類数あるいは頻度を用いた
スコアを定義した．これら左右のスコアを組み合わせて単名詞そのもののスコア
を定義する必要がある．一方，我々が注目している用語は単名詞だけではなく，
複数の単名詞から生成される複合名詞も含まれる．先に述べたように専門用語で
はむしろ複合名詞が多いので，複合名詞のスコアを定義することも必要で
ある．複合名詞のスコア付けには，ふたつの考え方がある．第一の考え方は，複
合名詞のスコアはその構成単名詞数すなわち長さに依存するというものである．
この考え方に従えば，長い複合名詞ほど高いスコアがつくことが自然である．第
二の考え方は，スコアは複合名詞の長さに依存しないというものである．この考
え方に従えば，長さに対して依存しないような正規化が必要になる．専門用語に
複合名詞が多いことは認めるにしても，長い程，あるいは逆に短い程，重要であ
るという根拠は今のところない．よって，我々は第二の考え方を採る．

まず，前節までで導入した2つの単名詞のスコア関数を抽象化し，単名詞$N$の
左方のスコア関数を$FL(N)$，右方のスコア関数を $FR(N)$と書くことにする．
単名詞$N_1,N_2,..., N_L$がこの順で連接した複合名詞を$CN$とする．$CN$のス
コアとして前節で定義した各単名詞の左右のスコアの平均をとれば，我々の採っ
た第二の考えに沿った，$CN$の長さに依存しないスコアを定義できる．ここでは，
相乗平均を採用する．ただし，$CN$の構成要素の単名詞のスコアが一つでも0に
なると$CN$のスコアが0になってしまうので，これを避けるために次式で$CN$の
スコア$LR(CN)$を定義する．
\begin{eqnarray}
LR(CN)&=&(\prod_{i=1}^L (FL(N_i)+1)(FR(N_i)+1))^{\frac{1}{2L}} \label{form5}
\end{eqnarray}

例えば，図 2の場合，連接頻度をスコアとすれば，$LR(トライグラム)= \sqrt{(5+1)(3+1)}\simeq4.90$ であ
る．式(\ref{form5})によれば，複合名詞と同時に単名詞のスコア付けもでき
ている．(\ref{form5})で$CN$の長さ$L$の逆数のべき乗となっているので，
$LR(CN)$は$CN$の長さに依存しない．したがって，単名詞も複合名詞も同じ基準
でそのスコアを比較できる．なお，ここで定義した相乗平均の他に相加平均を用
いる方法もあるが，以下では予備実験において若干性能の良かった相乗平均のみにつ
いて議論する．

\subsection{候補語の出現頻度を考慮した重み付け}\label{sec35}

これまでに述べてきたのは，連接種類数にせよ，連接頻度にせよ，
(\ref{form5})の$LR(CN)$に関しては，抽出された用語候補集合内での統計的性
質についての議論であった．一方で，用語候補が純粋にコーパス中で出現した頻
度という別種の情報が存在する．つまり，前者が用語候補集合における構造の情
報，後者が，コーパスにおける個別用語候補の統計的性質であり，両者は別種の
情報であるといえる．したがって，この両者を組み合わせることによってスコア
付け方法の性能改善が期待できる．そこで，用語候補である単名詞あるいは複合
名詞が
単独で出現した頻度を考慮すべく，(\ref{form5})を補正して，
次のように$FLR(CN)$を定義する．
\begin{eqnarray}
    FLR(CN) &=& f(CN) \times LR(CN) 
\end{eqnarray}

$f(CN)$は候補語$CN$が単独で出現した頻度である．ここで単独で出現した用語
というのは，他の複合名詞に包含されることなく出現した用語のことを指
す．例えば，例1(図\ref{fig:2})の場合，``トライグラム''は単独で3回出現して
いるので，連接頻度をスコアとすれば，$FLR(トライグラム)=3\times \sqrt{(5+1)(3+1)}\simeq14.70$ となる．

\subsection{MC-value}\label{sec36}

比較のために，単名詞バイグラムによらない用語スコア付けとして C-value
\cite{FrantziAnaniadou96}を考える．C-value は次式で定義される．
\begin{eqnarray}
\mbox{C-value}(CN)&=&(length(CN)-1)\times (n(CN)-\frac{t(CN)}{c(CN)})
\end{eqnarray}
ここで，
\begin{quote}
 \begin{tabular}{ll}
  $CN$: & 複合名詞\footnotemark\\
  $length(CN)$: & $CN$の長さ(構成単名詞数)\\
  $n(CN)$: & コーパスにおける$CN$の出現回数\\
  $t(CN)$: & $CN$を含むより長い複合名詞の出現回数\\
  $c(CN)$: & $CN$を含むより長い複合名詞の異なり数
 \end{tabular}
\end{quote}
\footnotetext{\cite{FrantziAnaniadou96}ではnested collocationと呼ばれる．}
である．

　ところがこの式では，$length(CN)=1$　すなわち$CN$が単名詞の場合 
C-value が 0 になってしまい，適切なスコアにならない．C-value以前の類似の
方法の\cite{kita94}では，複合語を認識するための計算コストを用語の重要度
評価に用いていた．C-valueにおいても，このような背景から，一度複合名詞が
切り出された後は，その構成要素の名詞数に比例する認識コストが重要度になる．
ただし，複合名詞全体がすでに認識されている場合，名詞を順に認識していけば，
最後の名詞を認識する手間は必要なくなる．したがって，(5)では
$(length(CN)-1)$となる．しかしながら，人間が言葉を認識する上では全ての構
成要素の単名詞を認識していると考えられる．そこで，我々は
\cite{FrantziAnaniadou96}の定義を次のように変更した．また，変更した定義
を以後，Modified C-value 略して MC-value と呼ぶ．
\begin{eqnarray}
\mbox{MC-value}(CN)=length(CN)\times (n(CN)-\frac{t(CN)}{c(CN)})
\end{eqnarray}
例1(図\ref{fig:2})の場合，$\mbox{MC-value}(トライグラム)=(7-7/5)=5.6$ である．
	
\section{実験および評価}
\subsection{実験環境および方法}
本節では，まず実験の主な環境となるテストコレクションについて述べる．我々
が用いたのは NTCIR-1 のTMREC タスクで利用されたテストコレクションである
\cite{kageura99}．1999年に行われた NTCIR-1 のタスクのひとつであった 
TMREC では，日本語のコーパスを配布して用語抽出を行う課題が行われた．主催
者側が人手で準備した用語に対して参加システムが抽出した用語の一致する度合
いを評価した．ただし，これらは何らかの客観的定量的基準に基づいて人手で選
択されたものではなく，抽出者の直観によるものである．翻って，ある学問分野
における正しい用語とは多くの専門家の時間をかけた合意の産物であり，簡単に
定義できない．さりとて，この問題に深入りしても当面大きな成果が得られる保
証もないので，上記の評価方法を用いる．なお，以下ではNTCIR1で準備された用
語を簡単のため正解用語と呼ぶことにする．さて，日本語コーパスは，NACSIS学
術会議データベースから収集された 1,870の抄録からなる．対象の分野は，情報
処理である．主催者側で準備した正解用語は8,834語であり，単名詞と複合名詞
が多く含まれる．参加システム側で形態素解析を行うタスクと，主催者側で予め
行って形態素解析済みコーパスを配布して利用するタスクがあった．我々は，形
態素解析済みで品詞タグ付きのコーパスを利用した．

我々は，この品詞タグ付きのコーパスから用語候補として連続する名詞を抽出し
た．ただし，``的''と``性''で終了する形容詞は分野固有の複合語の用語に含ま
れることが多いと考え，例外として単名詞扱いしている．この結果，用語候補数
は16,708になった．これらを3節に述べた諸方法でスコア付けし，スコアの降順
に整列した．こうして作られた用語候補を上位から$PN$個取り出した場合につい
て，NTCIR-1 TMREC テストコレクションとして供給された正解用語と比較し，抽
出正解用語数，適合率，再現率，F-値を計算し評価する．これらは次式で定義さ
れる．
\begin{eqnarray}
抽出正解用語数(PN) &=& 上位PN候補中の正解用語数\\
適合率(PN) &=& \frac{抽出正解用語数(PN)}{PN}\\
再現率(PN) &=& \frac{抽出正解用語数(PN)}{\mbox{NTCIR-1 TMREC}テストコレクション中の全正解用語数}\\
\mbox{F-値}(PN)&=&\frac{2 \times 再現率(PN) \times 適合率(PN)}{ 再現率(PN) + 適合率(PN)}
\end{eqnarray}

\subsection{各方法の比較実験および考察}

以下の各々の手法によりスコア付けをし順位を求めた場合について，
$PN$が3,000語までの抽出結果を示し，考察を行なう．
\begin{enumerate}
 \item 連接種類数$\#LDN(N),\#RDN(N)$を用いた$LR$法 (以下，「連接種類$LR$法」と呼ぶ．)
 \item 連接頻度$\#LN(N),\#RN(N)$を用いた$LR$法 (以下，「連接頻度$LR$法」と呼ぶ．)
 \item $LR$(連接頻度)法に候補語の単独出現数を考慮した$FLR$法
 \item MC-value法
 \item 単名詞，複合名詞の単独での出現頻度をスコアとする語頻度法
\end{enumerate}
NTCIR1のように専門用語が高い密度で現われるコーパスでは語頻度法が
有効に機能すると考えられるので，比較対象の一つに加えた．
もしも，語頻度法のような簡単な方法が高い精度を示すなら，
ここまで検討してきた1から4のような複雑な方法は必要がないからである．
\begin{figure}[htbp]
\hspace*{\fill}
\epsfile{file=LRDN.eps,scale=0.47}
\hspace*{\fill}
\caption{連接種類LR法で抽出した候補語上位3,000語における完全一致数と部分一致数}
\label{fig:LR}
\end{figure}
\begin{figure}[htbp]
\hspace*{\fill}
\epsfile{file=seikai.eps,scale=0.47}
\hspace*{\fill}
\caption{語頻度法,連接頻度LR法,MC-value法,FLR法における完全一致数の変化\\
         (連接種類LR法との差をプロット)}
\label{fig:LR1}

\vspace*{10ex}
\hspace*{\fill}
\epsfile{file=bubun.eps,scale=0.47}
\hspace*{\fill}
\caption{語頻度法,連接頻度LR法,MC-value法,FLR法における部分一致数の変化\\
         (連接種類LR法との差をプロット)}
\label{fig:LR2}
\end{figure}

まず，図\ref{fig:LR}に連接種類$LR$法によって抽出された候補語3,000語までの場合について，正解用語との
完全一致用語数と，正解用語を含んだより長い候補語も数えた，部分一致用語数を示す．
例えば，正解用語に「エキスパートシステム」という用語があって，候補語に「エ
キスパートシステム構築支援」というような用語が抽出された場合，これは部分
一致用語数として数えられる．正解用語を含んだより長い候補語も正解とすると
3,000語まではかなりの部分をカバーしていることがわかる．
そこで，この連接種類$LR$法を基準として，語頻度法，連接頻度$LR$法，MC-value法，および，$FLR$法を比較する．
図\ref{fig:LR1}に完全一致用語数の変化を示し，
図\ref{fig:LR2}に部分一致用語数の変化を示す．
いずれも，各手法の一致用語数から，基準となる連接種類$LR$法の一致用語数を減じた数を記している．例えば，図中「$FLR-$種類」と示されているプロットは，
$FLR$法により求めた一致用語数と連接種類$LR$法により求めたものの差の変化を示すものである．

まず，完全一致用語数では「連接頻度$-$種類」のプロットが0よりもほぼ上にあることから，連接種類数を手掛かりとするよりも連接頻度を用いる手法のほうが若干優れていることがわかる．
一方，$FLR$法，MC-value法，語頻度法は，いずれも，連接頻度$LR$法，連接種類$LR$法を上回る結果となった．さらに，1,400語
までは$FLR$法が最も優れた結果を示し，それ以降はMC-valueがこれを上回った．
また，部分一致用語数では連接頻度$LR$法が最も優れた結果を示した．
しかしながら，連接種類$LR$法と$FLR$法は，共に大差
はないが，語頻度法ならびにMC-value法はこれらを大きく下回る結果となった．これらを見てもわか
るように，我々の提案する手法では完全に間違った候補語は抽出されにくいのに対して，
語頻度法やMC-value法は正解用語とまったく関係のない候補語も抽出される傾向にあるといえる．

さらに，候補語3,000語，6,000語，9,000語，12,000語，15,000語の各々につい
て，抽出正解用語数，再現率，適合率，F-値を求めた．表
\ref{table1}に抽出正解用語数を，表\ref{table2}に再現率，
適合率，F-値を示す．
\begin{table}[htbp]
\caption{各方法により抽出された完全一致用語数}\label{table1}
\begin{center}
\begin{tabular}{|r|r|r|r|r|r|}
\hline
$PN$   &  連接種類$LR$     & 連接頻度$LR$    & $FLR$  & 語頻度 & MC-value \\ \hline
3,000  & 1746          & 1784        & 1970   & 2034     & 2111 \\ \hline
6,000  & 3270          & 3286        & 3456   & 3740     & 3671 \\ \hline
9,000  & 4713          & 4744        & 4866   & 4834     & 4930 \\ \hline
12,000 & 5974          & 6009        & 6090   & 5914     & 6046 \\ \hline
15,000 & 7036          & 7042        & 7081   & 6955     & 7068 \\ \hline
\end{tabular}
\end{center}
\end{table}
\begin{table}[htbp]
\caption{各方法により抽出された完全一致用語における再現率，適合率，F-値}\label{table2}
\begin{center}
\begin{tabular}{|r|r|r|r|r|r|r|}
\hline
$PN$   &  連接種類$LR$ & 連接頻度$LR$ & $FLR$   & 語頻度 & MC-value  \\ \hline
3,000  & .197 & .202 & .223 & .230 & .239 \\
       & .582 & .595 & .657 & .678 & .704 \\
       & .295 & .301 & .333 & .343 & .356 \\ \hline
6,000  & .370 & .372 & .391 & .423 & .415 \\
       & .545 & .548 & .576 & .623 & .612 \\
       & .441 & .443 & .466 & .504 & .496 \\ \hline
9,000  & .533 & .536 & .550 & .547 & .557 \\
       & .524 & .527 & .540 & .537 & .548 \\
       & .529 & .532 & .545 & .542 & .553 \\ \hline
12,000 & .676 & .680 & .689 & .669 & .684 \\
       & .498 & .501 & .508 & .493 & .504 \\
       & .573 & .577 & .584 & .567 & .580 \\ \hline
15,000 & .796 & .796 & .800 & .786 & .799 \\
       & .469 & .469 & .472 & .464 & .471 \\
       & .590 & .591 & .594 & .583 & .593 \\ \hline
\end{tabular}\\
表の各セルの内容は上段が再現率，中段が適合率，下段がF-値 を表わす．
\end{center}
\end{table}

この結果を見ると，まず単名詞バイグラムによる方法の中では，$\#LN(N),
\#RN(N)$に候補語の独立出現数を補正した$FLR$のスコアが一番性能がよい．語頻
度法が6,000語の場合には一番性能が良く，MC-valueは抽出用語数が3,000語，お
よび9,000語の場合には全ての方法の中で最も性能がよい．しかし，抽出用語数
が増えるにつれて$FLR$との差は小さくなり，上位12,000語および15,000語を抽
出した場合には$FLR$が最高の性能を示した．単純な語頻度法は6,000語付近で最
高の性能を示すが，それ以外では$FLR$あるいはMC-valueに劣ることが実験的に
判明した．

さて，このような傾向から見てどの方法が優れているかについて考えてみる．専
門用語辞書をみると，\cite{densi,computer-sci,archi}では，各々10,000語か
ら40,000語を収録している．よって，15,000語という多数の抽出で高い性能を示
した$FLR$が有望な方法である．一方，インターネット上の情報通信用語辞典
e-Words\cite{e-words}では，2002年5月時点で約3,200語を収録している．この
領域ではMC-valueが最も高い性能であった．目的とする抽出語数が決まれば，採
用すべき方法が決まるようにも見えるが，実際は既に述べたようにNTCIR1で主催
者が用意した用語の性質にも定量的根拠が薄いので早急な結論は出しにくい．い
ろいろな分野への適用を通じてどの方法が望ましいかが見えてくると考える．

\subsection{抽出用語の性質}

さて，これまでは抽出用語の質をそのまま候補語中の正解用語数で議論してきた．
しかし，テストコレクションの正解が実用的にどのくらい有効な指標になってい
るかは議論の余地がある．そこで抽出用語に対する直接的な評価を以下に試みる．
まず，用語の長さは抽出用語の品質に密接に関係するのでこれを調べる．
語頻度法，連接頻度$LR$法，$FLR$法，MC-value法の4つの手法における上位から並べた正解用語
の長さを図\ref{fig:gotyou}に示す．ただし，長さは複合名詞を構成する単名詞
数で表わした．なお，正解用語の平均語長は2.56である．
\begin{figure}[htbp]
\hspace*{\fill}
 
\epsfile{file=gotyou.eps,scale=0.47}
 \caption{各手法における100語毎の平均語長}
\label{fig:gotyou}
\hspace*{\fill}
\end{figure}
図\ref{fig:gotyou}を見ると，候補語上位1,400語付近まででMC-value法は連接頻度$LR$法や$FLR$法に比べて平均語長が短い傾向にある．すなわちMC-value法では語長の短い語が高いスコ
アを得る傾向にある．ところが，上位1,400語までは$FLR$が最も多くの正解用語
を抽出している．上位1,400語以降，MC-valueは語長の長い語も抽出するように
なるにつれて，より多くの正解用語を抽出するようになった．連接頻度$LR$，$FLR$の手
法は1,000語付近まではFLRのほうが短い語を抽出しているが，それ以降は同程度
の長さの語を抽出し，比較的安定している．語頻度法は安定して短い用語を抽出
する傾向にある．この理由は後で述べる．

次に具体的な抽出用語例を示そう．全てを示すことは紙面の関係でできないので，
最上位の抽出用語を示して各スコア付けの特徴について考えてみる．

\begin{table}[htbp]
\hsize\textwidth
\caption{スコアの最上位の15用語候補}
\begin{center}
\begin{tabular}{|l|c||l|c||l|c||l|c|}
\hline
連接種類 $LR$        &          & $FLR$        &          & 語頻度   &          &  MC-value    & \\ \hline
知識                 &          & 知識         &          & システム &          & 学習者       & \\
学習知識             &          & システム     &          & 知識     &          & 問題解決     & \\
学習                 &          & 問題         &          & 研究     & $\times$ & システム     & \\
言語的知識           &          & 学習         &          & 本稿     & $\times$ & 知識         & \\
知識システム         &          & モデル       &          & 手法     & $\times$ & 研究         & $\times$ \\
学習システム         &          & 情報         &          & 問題     &          & 本稿         & $\times$ \\
問題知識             & $\times$ & 問題解決     &          & 論文     & $\times$ & 手法         & $\times$ \\
学習問題             &          & 設計         &          & 方法     & $\times$ & 問題         & \\
言語的               &          & 知識ベース   &          & 学習者   &          & 知識ベース   & \\
システム             &          & 推論         &          & 情報     &          & 論文         & $\times$ \\
問題                 &          & 支援         & $\times$ & モデル   &          & 方法         & $\times$ \\
論理的知識           &          & 知識表現     &          & 我々     & $\times$ & 支援システム & \\
学習支援システム     &          & エージェント &          & ユーザ   &          & 計算機       & \\
設計知識             &          & 学習者モデル &          & 機能     & $\times$ & 情報         & \\
学習問題解決システム &          & 構造         & $\times$ & 対象     &          & モデル       & \\
\hline
\end{tabular}\\
無印:正解用語， $\times$:不正解用語
\end{center}
\label{table:15}
\end{table}

表\ref{table:15}に各手法におけるスコアの最上位15候補を示す．この結果を見
ると，明らかに連接種類$LR$によるスコア付の上位候補は複合名詞が多い．一方，
$FLR$，語頻度，MC-valueの各手法によるスコア付けの上位候補には単名詞が多い．$FLR$では，出現頻
度の高い単名詞を優遇する補正をしているし，MC-valueでも単名詞の頻度がその
単名詞を含む複合名詞の頻度を強く反映した構造になっているから，この結果は
偶然ではない．MC-valueの場合``研究，論文，方法，手法''などという分野の用
語でない名詞が多く抽出されているが，これも大量かつ多種類の複合名詞に含ま
れるであろうこと，および MC-value が多数かつ多種類の複合名詞に含まれる単
名詞のスコアを高くつけることから得られる帰結である．一方，$FLR$法では，
連接頻度を用いることにより，これらの単純に頻度が高いだけの名詞をスコアを
低くする効果がある点が有利である．さて，図
\ref{fig:gotyou}で見たように語頻度法が短い用語を抽出する傾向についてであ
るが，表\ref{table:15}を見れば，「我々」「方法」のような一般に使用される
単名詞を抽出している．このような一般的な単語は高い頻度で現われるというこ
とを示しており，同時に必ずしも専門用語としては重要でないことを考えれば，
語頻度法では専門用語を選択的に抽出する能力には限界があると言わざるをえな
い．

\subsection{NTCIR-1TMRECの結果との比較}

ここまで述べてきたスコア付け方法の客観的評価を行うために，NTCIR-1 TMRECタ
スクで上位の成績を残したチームとの比較を行う．なお，NTCIR-1 には
C-valueによるスコア付けをするチームも参加しているが，NTCIR-1の参加規定に
よりどのチームかは不明である．しかし，後で述べるように本論文で提案した
C-valueを修正したMC-valueが良好な結果を示していることから，我々の
C-valueの修正法には若干の独自性が認められると考えられる．NTCIR-1 TMREC 
の上位2チームの手法を以後T1,T2と呼ぶ．

T1，T2，ならびに，本論文で性能の良かった$FLR$およびMC-valueの各スコア付け方法において，上位から3,000語までの範囲で1,000語毎に求めた適合率を表\ref{table:pre}ならびに図\ref{fig:Prec1k}に示す．
また，同様に上位から15,000語までの範囲で3,000語毎に求めた適合率を図\ref{fig:Prec3k}に示す．

\begin{table}[htbp]
\caption{NTCIR-1 TMREC参加上位2チームと$FLR$，MC-valueの比較(1000語毎の適合率)}
\begin{center}
\begin{tabular}{|r|r|r|r|r|}
\hline
$PN$ &  $FLR$  & MC-value  & T1  & T2  \\ \hline
1 から  & .773 & .754 & .705& .744 \\
1,000 &      &      &      &      \\ \hline
1,001から  & .635 & .707 & .607 & .584 \\
2,000   &      &      &      &      \\ \hline
2,001から  & .562& .640 & .618 & .518 \\
3,000      &      &      &      &      \\ \hline
\end{tabular}
\end{center}
\label{table:pre}
\end{table}
\begin{figure}[htbp]
\hspace*{\fill}
\epsfile{file=Prec1k.eps,scale=0.47}
\hspace*{\fill}
\caption{NTCIR1 TMRECタスク参加上位2チームとFLR，MC-value方式の比較(1000語毎の適合率)}
\label{fig:Prec1k}
\end{figure}
\begin{figure}[htbp]
\hspace*{\fill}
\epsfile{file=Prec3k.eps,scale=0.47}
\hspace*{\fill}
\caption{NTCIR1 TMRECタスク参加上位2チームとFLR，MC-value方式の比較(3000語毎の適合率)}
\label{fig:Prec3k}
\end{figure}


表\ref{table:pre}ならびに図\ref{fig:Prec1k}によれば，スコア付け1001〜2000,2001〜3000語の部分では
MC-valueが他を上回ったが，1〜1000語部分での抽出精度は我々の提案した
$FLR$によるスコア付けが，最も優れた結果を示した．また，図
\ref{fig:Prec3k}に示すとおり，3,000語以降については，候補
語数が多くなるにつれて，手法T1，T2は適合率を落とすが，$FLR$法とMC-value法の抽出精
度の下がり方はなだらかであった．このことは$FLR$法やMC-value法が安定して正解用語を抽出し
ていることを示している．最終的に$FLR$は候補語上位16000語のうち，7412語が
正解用語であった．この結果は他の研究と比較しても高い結果といえるだろう．
NTCIRの中のチームの候補語上位16,000語での抽出結果では，$T1$の正解用語数
6536語が最高である．また，最も多く正解用語を抽出したチームは$T2$で，正解用語
数7944語であるがこれは候補語上位23270語からマッチしたものであり，かなり
低い適合率である．我々は，名詞の連続だけを取り出したが，正解用語の中には形
容詞と名詞の連接や，助詞``の''によってつながった用語もある．これらを広く
抽出すれば再現率は高まるが，上位のスコアの抽出後においてすら非正解用語を多
数抽出してしまい，あまり好ましくない．





\section{おわりに}

本論文では，専門分野コーパスからの専門用語の抽出法について検討した．まず，
用語抽出技術の背景を述べ，次に本論文の核心である単名詞$N$に連接する単名
詞の頻度の統計量を利用する$N$のスコア付け方法を提案した．これらスコア付
け方法を複合名詞のスコア付けに拡張した．比較対象としては，既存の
C-valueを修正したMC-value法ならびに語頻度法を検討した．これらのスコア付け法をNTCIR-1
TMRECタスクのテストコレクションに適用して結果を評価した．その結果，スコ
ア上位の候補，および12,000語以上を抽出する場合においては我々の提案する
$FLR$法の性能が優れていることがわかった．一方，1,500〜10,000語程度の専門語を抽出
したいのであるなら，MC-value法のほうが優れた結果を示すが，正解用語を含む長めの語で
よいのであれば，$FLR$法の出力は正解用語の大部分をカバーすることができることもわかった．

今後の課題としては，より多様な情報，例えば文脈情報を利用して用語抽出の性能
の向上を計ることが重要である．しかし，一方で，専門分野の用語として真に欲
しいのはどのような性質を持つ用語なのかを定式化するという根本的問題も考察
していく必要があろう．このような考察は哲学的なものというよりは，実際のコー
パスの統計処理を用いた実験的なものでなければ実用性に乏しい．その意味で，
このような観点から設計した用語抽出タスクを企画することも望まれる時期にき
ているのではないだろうか．

\acknowledgment

国立情報学研究所主催のNTCIRならびにそのサブタスクTMRECを企画・運営し，
評価用データを作成していただいた皆様に感謝致します．
また，数多くの有益なコメントを頂いた査読者の方に感謝いたします．

なお，本研究の一部は文部科学省科学研究費補助金基盤研究(C)(2)(課題番号12680368)により支援を受けております．


\bibliographystyle{jnlpbbl}
\bibliography{jpaper}

\begin{biography}
\biotitle{略歴}
\bioauthor{中川 裕志}{
1975年東京大学工学部電気工学科卒業．
1980年同大学院博士課程修了．
同年，横浜国立工学部講師，同助教授，教授を経て，
1999年より東京大学 情報基盤センター教授．現在に至る．
自然言語処理の研究に従事．
1990年1月より1年間Stanford大学CSLI客員研究員．
現在，言語処理学会副会長， ACL Executive Committee Member．}

\bioauthor{湯本 紘彰(非会員)}{
2000年横浜国立大学工学部電子情報工学科卒業．
2002年同大学院工学研究科博士課程前期修了．
同年4月，株式会社東芝入社．
同年10月，東芝ITソリューション株式会社転籍．現在に至る．
同大学院在学中，自然言語処理の研究に従事．
}

\bioauthor{森 辰則}{
1986年横浜国立大学工学部情報工学科卒業．
1991年同大学大学院工学研究科博士課程後期修了．
工学博士．
同年，同大学工学部助手着任．
同講師を経て現在，同大学大学院環境情報研究院助教授．
この間，1998年2月より11月までStanford大学CSLI客員研究員．
自然言語処理，情報検索，情報抽出などの研究に従事．
言語処理学会，情報処理学会，人工知能学会，日本ソフトウェア科学会，日本認知科学会，ACM, AAAI各会員．
}

\bioreceived{受付}
\biorevised{再受付}
\bioaccepted{採録}


\end{biography}

\end{document}
