\documentstyle[epsf,jnlpbbl]{jnlp_j_b5}

\setcounter{page}{3}
\setcounter{巻数}{10}
\setcounter{号数}{1}
\setcounter{年}{2003}
\setcounter{月}{1}
\受付{2001}{10}{25}
\再受付{2002}{7}{24}
\採録{2002}{10}{4}

\setcounter{secnumdepth}{2}


\title{日本語固有表現抽出の難易度を示す指標の提案と評価}
\author{野畑 周\affiref{CRL} \and 関根 聡\affiref{NYU} \and 辻井 潤一\affiref{UTOKYO}}

\headauthor{野畑，関根，辻井}
\headtitle{日本語固有表現抽出の難易度を示す指標の提案と評価}


\affilabel{CRL}{独立行政法人通信総合研究所けいはんな情報融合研究センター自然言語グループ} 
{Computational Linguistic Group, Keihanna Human Info-Communication Research Center, Communications Research Laboratory}

\affilabel{NYU}{ニューヨーク大学コンピュータサイエンス学科}
{Computer Science Department, New York University}

\affilabel{UTOKYO}{東京大学大学院情報理工学系研究科コンピュータ科学専攻}
{Graduate school of Information Science and Technology, University of Tokyo}

\jabstract{
本論文では，固有表現抽出の難易度をテストコーパスから評価
する指標を提案する．固有表現抽出システムの性能は客観的な指標
によって評価される．しかし，システムの出力に対する評価だけで
は，あるコーパスに対する固有表現抽出がどのように難しいのか，
どのような情報がそのコーパスに対して固有表現抽出を行なう際に
有効なのかを知ることは難しい．本論文で提案する指標は，個々の
システムの出力に依存することなく，複数のコーパスについて統一
的に適用できる．指標の有効性は固有表現抽出システムの性能評価
と比較することで検証される．さらに固有表現のクラス間における
難易度の比較や，有用な情報の違いについても議論する．
}

\jkeywords{固有表現，情報抽出，コーパス比較}

\etitle{Analysis on Difficulty Indices \\ for Japanese Named Entity Task}

\eauthor{Chikashi Nobata \affiref{CRL} \and Satoshi Sekine \affiref{NYU} \and Jun'ichi Tsujii \affiref{UTOKYO}} 

\eabstract{
We propose indices to measure the difficulty of the named entity (NE)
task by looking at test corpora, based on expressions inside and outside
the NEs.  These indices are intended to estimate the difficulty of each
task without actually using an NE system and to be unbiased towards a
specific system.  The values of the indices are compared with the
systems' performance in Japanese documents. We also discuss the
difference between NE classes with the indices and show useful clues
which will make it easier to recognize NEs.
}

\ekeywords{Named entity, Information extraction, Corpus comparison}

\begin{document}
\maketitle
\thispagestyle{empty}

\section{はじめに}

本研究の目的は，情報抽出のサブタスクである固有表現抽出(Named Entity
Task)の難易度の指標を定義することである．情報抽出とは，与えられた文章の
集合から，「人事異動」や「会社合併」など，特定の出来事に関する情報を抜き
出し，データベースなど予め定められた形式に変換して格納することであり，米
国のワークショップMessage Understanding Conference (MUC)でタスクの定義・
評価が行われてきた．固有表現(Named Entity)とは，情報抽出の要素となる表現
のことである．固有表現抽出(Named Entity Task)はMUC-6\cite{MUC6}において
初めて定義され，組織名(Organization)，人名(Person)，地名(Location)，日付
表現(Date)，時間表現(Time)，金額表現(Money)，割合表現(Percent)という7種
類の表現が抽出すべき対象とされた．これらは，三つに分類されており，前の三
つがentity names(ENAMEX)，日付表現・時間表現がtemporal
expressions(TIMEX)，金額表現・割合表現がnumber expressions(NUMEX)となっ
ている．1999年に開かれたIREXワークショップ\cite{IREXproc}では，MUC-6で定義さ
れた7つに加えて製品名や法律名などを含む固有物名(Artifact)というクラスが
抽出対象として加えられた．

固有表現抽出システムの性能は，再現率(Recall)や適合率(Precision)，そして
その両者の調和平均であるF-measureといった客観的な指標\footnotemark{}によっ
て評価されてきた．
\footnotetext{ 
再現率は，正解データ中の固有表現の数（G）のうち，正しく認識された固有表
現表現の数（C）がどれだけであったかを示す．適合率は，固有表現とみなされ
たものの数（S）のうち， 正しく認識された固有表現の数（C）がどれだけであっ
たかを示す．F-measureは，両者の調和平均である．それぞれの評価基準を式で
示せば以下のようになる．
\begin{quote}
再現率（R） = C / G \\
適合率（P） = C / S \\
F-measure = 2PR / (P + R)
\end{quote}
}
しかし，単一システムの出力に対する評価だけでは，あるコーパスに対する固有
表現抽出がどのように難しいのか，どのような情報がそのコーパスに対して固有
表現抽出を行なう際に有効なのかを知ることは難しい．
例えば，あるコーパスについて，あるシステムが固有表現抽出を行い，それらの
結果をある指標で評価したとする．得られた評価結果が良いときに，そのシステ
ムが良いシステムなのか，あるいはコーパスが易しいのかを判断することはでき
ない．

評価コンテストを行い，単一のシステムでなく複数のシステムが同一のコーパス
について固有表現抽出を行い，それらの結果を同一の指標で評価することで，シ
ステムを評価する基準を作成することはできる．しかしながら，異なるコーパス
について，複数の固有表現抽出システムの評価結果を蓄積していくことは大きな
コストがかかる．また，継続して評価を行なっていったとしても，評価に参加す
るシステムは同一であるとは限らない．異なるコーパスについて，個別のシステ
ムとは独立に固有表現抽出の難易度を測る指標があれば，コーパス間の評価，ま
た固有表現抽出システム間の評価がより容易になると考えられる．本研究は，こ
のような指標を定義することを目指すものである．

\subsection{固有表現抽出の難易度における前提}

異なる分野における情報抽出タスクの難易度を比較することは，複数の分野に適
用可能な情報抽出システムを作成するためにも有用であり，実際複数のコーパス
に対して情報抽出タスクの難易度を推定する研究が行われてきている．Bagga
et. al~\cite{bagga:97}は，MUCで用いられたテストコーパスから意味ネットワー
クを作成し，それを用いてMUCに参加した情報抽出システムの性能を評価してい
る．固有表現抽出タスクに関しては，Palmer et. al~\cite{palmer:anlp97}が
Multilingual Entity Task~\cite{MUC7}で用いられた6カ国語のテストコーパス
から，各言語における固有表現抽出技術の性能の下限を推定している．

本研究では，固有表現抽出の難易度を，テストコーパス内に現れる固有表現，ま
たはその周囲の表現に基づいて推定する指標を提案する．指標の定義は，「表現
の多様性が抽出を難しくする」という考えに基づいている．文章中の固有表現を
正しく認識するために必要な知識の量に着目すると，あるクラスに含まれる固有
表現の種類が多ければ多いほど，また固有表現の前後の表現の多様性が大きいほど，固
有表現を認識するために要求される知識の量は大きくなると考えられる．

あらゆるコーパスを統一的に評価できるような，固有表現抽出の真の難易度は，
現在存在しないので，今回提案した難易度の指標がどれほど真の難易度に近いの
かを評価することはできない．本論文では，先に述べた，「複数のシステムが同
一のコーパスについて固有表現抽出を行った結果の評価」を真の難易度の近似と
見なし，これと提案した指標とを比較することによって，指標の評価を行うこと
にする．具体的には，1999年に開かれたIREXワークショップ\cite{IREXproc}で行わ
れた固有表現抽出課題のテストコーパスについて提案した指標の値を求め，それ
らとIREXワークショップに参加した全システムの結果の平均値との相関を調べ，
指標の結果の有効性を検証する．

このような指標の評価方法を行うためには，できるだけ性質の異なる数多くのシ
ステムによる結果を得る必要がある．IREXワークショップでは，15システムが参
加しており，システムの種類も，明示的なパタンを用いたものやパタンを用いず
機械学習を行ったもの，またパタンと機械学習をともに用いたものなどがあり，
機械学習の手法も最大エントロピーやHMM，決定木，判別分析などいくつかバラ
エティがあるので，これらのシステムの結果を難易度を示す指標の評価に用いる
ことには一定の妥当性があると考えている．


\subsection{\label{section:IREX_NE}IREXワークショップの固有表現抽出課題}

\begin{table}[t]\small
\caption{\label{table:preliminary_comparison}IREX固有表現抽出のテストコーパス}
\begin{center}
\begin{tabular}{|l||r|r|r|} \hline
       &          & \multicolumn{2}{|c|}{本試験}\\ \cline{3-4}
       & 予備試験 & 総合課題 & 限定課題 \\ \hline
記事数 &       36 &       72 &       20 \\
単語数 &    11173 &    21321 &     4892 \\ 
文字数 &    20712 &    39205 &     8990 \\ \hline
\end{tabular}
\end{center}
\end{table}

IREXワークショップの固有表現抽出課題では，予備試験を含め，3種類のテスト
コーパスが評価に用いられた．表\ref{table:preliminary_comparison}に各々の
記事数，単語数，文字数を示す．単語の切り分けにはJUMAN3.3~\cite{JUMAN33}
を用い，単語の切り分けが固有表現の開始位置・終了位置と異なる場合には，そ
の位置でさらに単語を分割した．

IREXワークショップに参加した固有表現抽出システムの性能評価はF-measureで
示されている．表\ref{table:F-measures}に各課題におけるF-measureの値を示
す．本試験の評価値は，IREXワークショップに参加した全15システムの平均値で
ある．一方，予備試験においては，全システムの評価は利用できなかったため，
一つのシステム\cite{nobata:irex1}の出力結果を評価した値を用いている．こ
のシステムは，決定木を生成するプログラム\cite{quinlan:93}を用いた固有表
現抽出システム\cite{sekine:wvlc98}をIREXワークショップに向けて拡張したも
のである．

IREXでは，8つの固有表現クラスが定義された．表\ref{table:F-measures}から，
最初の4つの固有表現クラス(組織名，人名，地名，固有物名)は残り4つの固有表
現クラス(日付表現，時間表現，金額表現，割合表現)よりも難しかったことが分
かる．以下では，両者を区別して議論したいときには，MUCでの用語に基づき前
者の4クラスを「ENAMEXグループ」と呼び，後者の4クラスを「TIMEX-NUMEXグルー
プ」と呼ぶことにする．

\begin{table}[t]\small
\caption{\label{table:F-measures}IREX固有表現抽出の性能評価}
\begin{center}
\begin{tabular}{|l||r|r|r|} \hline
         &          & \multicolumn{2}{|c|}{本試験}\\ \cline{3-4}
クラス   & 予備試験 & 総合課題 & 限定課題 \\ \hline \hline
組織名   &     55.6 & 57.3 & 55.2 \\ \hline
人名     &     71.3 & 67.8 & 68.8 \\ \hline
地名     &     65.7 & 69.8 & 68.1 \\ \hline
固有物名 &     18.8 & 25.5 & 57.9 \\ \hline
日付表現 &     83.6 & 86.5 & 89.4 \\ \hline
時間表現 &     69.4 & 83.0 & 89.8 \\ \hline
金額表現 &     90.9 & 86.4 & 91.4 \\ \hline
割合表現 &    100.0 & 86.4 &  --- \\ \hline \hline
全表現   &     66.5 & 69.5 & 71.7 \\ \hline
\end{tabular}
\end{center}
\end{table}

\subsection{指標の概要}

以下，本稿では，まず固有表現内の文字列に基いて，固有表現抽出の難易度を示す指標を提案する．
ここで提案する指標は2種類ある．
\begin{itemize}
 \item Frequency of tokens: 各固有表現クラスの頻度と異なり数を用いた指標(\ref{section:FT}節)
 \item Token index: 固有表現内の個々の表現について，その表現のクラス内における頻度とコーパス全体における頻度を用いた指標(\ref{section:TI}節)
\end{itemize}
これらの指標の値を示し，それらと実際のシステムの評価結果との相関を調べた結果について述べる．

次に，固有表現の周囲の文字列に基いた指標についても，
固有表現内の文字列に基いた指標と同様に2種類の指標を定義し，
それらの値とシステムの評価結果との相関の度合を示す(\ref{section:CW}節)．

\section{\label{section:FT}Frequency of tokens}

本節では，固有表現クラスに含まれる文字列の頻度と異なり数とを用いて，固
有表現抽出の難易度を示す指標について述べる．このような指標は，あ
る固有表現クラス内において，異なる文字列が数多く現れるならば，そのクラ
スの固有表現を認識することは難しくなる，という仮定に基づいている．頻度
や異なり数を考慮する文字列の単位には，固有表現そのもの，単語，また単一
の文字をとることができる．

\subsection{\label{subsec:FE}固有表現を単位とする指標}

まず，固有表現そのものを単位として分析を行なう．表\ref{table:FE_first}
に，各クラスがもつ固有表現の異なり数を示す．予備試験と本試験の総合課題
では，全表現の異なり数が各クラスの異なり数の合計よりも少ない．これは，
複数のクラスに分類される固有表現がそれぞれ3個ずつあったからである．ま
た，限定課題には割合表現が現われなかったので，数値が入っていない．

\begin{table}[t]\small
\caption{\label{table:FE_first}各クラスの固有表現の異なり数}
\begin{center}
\begin{tabular}{|l||r|r|r|} \hline
         &          & \multicolumn{2}{|c|}{本試験}\\ \cline{3-4}
クラス   & 予備試験 & 総合課題 & 限定課題 \\ \hline \hline
組織名   &  131 & 187 & 48 \\ \hline
人名     &  113 & 217 & 71 \\ \hline
地名     &   89 & 191 & 78 \\ \hline
固有物名 &   31 &  39 &  9 \\ \hline
日付表現 &   71 & 126 & 49 \\ \hline
時間表現 &   16 &  32 & 15 \\ \hline
金額表現 &   28 &  13 &  7 \\ \hline
割合表現 &    6 &  16 &  - \\ \hline \hline
全表現   &  482(485) & 818(821) & 277 \\ \hline
\end{tabular}
\end{center}
\end{table}

異なり数を指標として用いるには，コーパスサイズの影響を除く必要がある．
最初に定義する指標は，各クラスについて固有表現の異なり数を出現頻度で正
規化したものである．以下これをFE(Frequency of Entities)と呼ぶ．FEの定
義を式で示せば式\ref{eq:FE}となる．\(D_E\) は各クラスに含まれる固有表
現の異なり数，\(N_E\)は各クラス内の固有表現の総出現数である．
FEは，あるクラス内の固有表現を抽出することが難しいときに，指標の値が大き
くなることを意図して定義されている．

\begin{equation}\label{eq:FE}
\mbox{\it FE} = \frac{D_E}{N_E}
\end{equation}

FEの値を求める際には，文章中に現れる数字を全て文字``＃''で置き換えた．
これは，各数字を異なる表現とみなすよりも同一の表現とみなす方が固有表現
の多様性を捉える際にはより適切であるという判断による．数字を同一の文字
とみなすことによってTIMEX-NUMEXグループに含まれる固有表現クラスのFEの
値は小さくなるが，これはTIMEX-NUMEXグループの認識精度が非常に高いとい
う結果に合致する．FEの値を表\ref{table:FE_second}に示す．

\begin{table}[t]\small
\caption{\label{table:FE_second}各クラスのFEの値}
\begin{center}
\begin{tabular}{|l||l|l|l|} \hline
         &          & \multicolumn{2}{|c|}{本試験}\\ \cline{3-4}
クラス   & 予備試験 & 総合課題 & 限定課題 \\ \hline \hline
組織名   & 0.61       & 0.48        & 0.65       \\
         & (=131/214) & (=187/389)  & (=48/ 74)  \\ \hline
人名     & 0.67       & 0.61        & 0.73       \\
         & (=113/169) & (=217/355)  & (=71/ 97)  \\ \hline
地名     & 0.46       & 0.46        & 0.75       \\
         & (=89/192)  & (=190/416)  & (=78/106)  \\ \hline
固有物名 & 0.71       & 0.80        & 0.69       \\
         & (=30/ 42)  & (=39/ 49)   & (=9/ 13)   \\ \hline
日付表現 & 0.33       & 0.18        & 0.24       \\
         & (=36/110)  & (=51/277)   & (=17/ 72)  \\ \hline
時間表現 & 0.46       & 0.27        & 0.53       \\
         & (=11/ 24)  & (=16/ 59)   & (=10/ 19)  \\ \hline
金額表現 & 0.09       & 0.13        & 0.13       \\
         & (= 3/ 33)  & (= 2/ 15)   & (= 1/  8)  \\ \hline
割合表現 & 0.50       & 0.29        & ---        \\
         & (= 3/  6)  & (= 6/ 21)   & ---        \\ \hline \hline
全表現   & 0.53       & 0.45        & 0.60       \\ 
         & (=415/790) & (=706/1581) & (=235/389) \\ \hline
\end{tabular}
\end{center}
\end{table}

\subsection{\label{subsec:FW}単語，文字単位の指標}

前節では固有表現そのものを指標を計算する単位として用いたが，単語や文字を
単位としても同様に指標を定義することができる．固有表現よりも短かく頻度の
大きい単語や文字を単位にすることで，よりコーパスサイズの影響を受けにくい
指標が得られると期待される．以下，単語単位の指標をFW，文字単位の指標をFC
と呼ぶ．
FW，FCの定義はFEと同様に，それぞれ式\ref{eq:FW}，式\ref{eq:FC}によって表
わせる．
\begin{eqnarray}\label{eq:FW}
\mbox{\it FW} & = & \frac{D_W}{N_W} \\
              & \mbox{但し:} &  \nonumber \\ 
              & D_W & \mbox{各固有表現クラスに含まれる単語の異なり数} \nonumber \\
              & N_W & \mbox{各固有表現クラスに含まれる単語の総出現数} \nonumber 
\end{eqnarray}
\begin{eqnarray}\label{eq:FC}
\mbox{\it FC} & = & \frac{D_C}{N_C} \\
              & \mbox{但し:} &  \nonumber \\ 
              & D_C & \mbox{各固有表現クラスに含まれる文字の異なり数} \nonumber \\
              & N_C & \mbox{各固有表現クラスに含まれる文字の総出現数} \nonumber 
\end{eqnarray}
FEと同様に，FW・FCにおいても数字は同一の文字とみなして値を求めた．FWと
FCの値の傾向は似通っているので，ここではFCの値のみを示す(表
\ref{table:FC})．FCではクラス間の差がFEよりも際だっており，特に
TIMEX-NUMEXグループ内のクラスに対するFCの値はきわめて小さい．

\begin{table}[t]\small
\caption{\label{table:FC}各クラスのFCの値}
\begin{center}
\begin{tabular}{|l||l|l|l|} \hline
         &             & \multicolumn{2}{|c|}{本試験} \\ \cline{3-4}
クラス   & 予備試験    & 総合課題    & 限定課題    \\ \hline \hline
組織名   & 0.29        & 0.20        & 0.38        \\ 
         & (=258/883)  & (=365/1792) & (=139/365)  \\ \hline
人名     & 0.39        & 0.26        & 0.48        \\ 
         & (=222/575)  & (=319/1228) & (=148/311)  \\ \hline
地名     & 0.30        & 0.19        & 0.34        \\ 
         & (=186/618)  & (=284/1491) & (=155/462)  \\ \hline
固有物名 & 0.53        & 0.50        & 0.58        \\ 
         & (=131/245)  & (=175/ 347) & (= 34/ 59)  \\ \hline
日付表現 & 0.16        & 0.07        & 0.07        \\ 
         & (= 44/282)  & (= 54/ 737) & (= 15/226)  \\ \hline
時間表現 & 0.18        & 0.09        & 0.14        \\ 
         & (= 12/ 66)  & (= 16/ 182) & (= 10/ 71)  \\ \hline
金額表現 & 0.06        & 0.09        & 0.13        \\ 
         & (= 4 / 72)  & (=  3/  34) & (=  2/ 16)  \\ \hline
割合表現 & 0.38        & 0.10        &  ---        \\ 
         & (= 5 / 13)  & (=  7/  58) &  ---        \\ \hline \hline
全表現   & 0.20        & 0.12        & 0.24        \\
         & (=555/2754) & (=717/5869) & (=355/1510) \\ \hline
\end{tabular}
\end{center}
\end{table}

\subsection{指標の有効性}

指標の有効性を確かめるために，各指標がシステムの評価結果とどの程度相関
しているかを調べる．
まず，各固有表現クラスに対するFE・FW・FCの値とF-measureとの散布図を予備試験(図
\ref{figure:scatter_diagram_dryrun})，本試験の総合課題(図
\ref{figure:scatter_diagram_general})，限定課題(図
\ref{figure:scatter_diagram_arrest})それぞれについて示す．
どの図においても，縦軸に指標の値，横軸にF-measureの値をとっている．
各クラスに対応するF-measureの値には，以下のような，クラス名を示す英字3文字のラベルを付した：
\begin{quote}
組織名(ORG)，人名(PRS)，地名(LOC)，固有物名(ART)，\\
日付表現(DAT)，時間表現(TIM)，金額表現(MON)，割合表現(PRC)
\end{quote}

予備試験と総合課題においては，
TIMEX-NUMEXグループが右下にまとまり，固有物名を除いたENAMEXグループがややその左上に位置する．
その左上に位置しているのは，固有物名である．
限定課題においては，固有物名は他のENAMEXグループに属するクラスと同様の位置にある．
F-measureの値においても，指標の値においても，値の傾向としてはほぼ同様であるといえる．

各クラスごとにFE・FW・FCの値とF-measureとの相関係数
を求めた結果を表\ref{table:FEWC_CC}に示す．
これらの指標は，固有表現の抽出が難しいときに値が大きくなることを意図して
定義されたものである．即ち，F-measureの値との負の相関が高くなることを
意図して作成された指標である．

\begin{table}[t]\small
\caption{\label{table:FEWC_CC}指標とF-measureとの相関}
\begin{center}
\begin{tabular}{|l||r|r|r|} \hline
課題         &    FE &    FW &    FC \\ \hline \hline
予備試験     & -0.66 & -0.63 & -0.61 \\ \hline	     	             
本試験(総合) & -0.91 & -0.92 & -0.97 \\ \hline	     	             
本試験(限定) & -0.80 & -0.87 & -0.89 \\ \hline
\end{tabular}
\end{center}
\end{table}

表\ref{table:FEWC_CC}から，FW・FCは予備試験のコーパスにおいてはFEよりも
相関が弱いが，本試験のコーパスにおいては総合・限定課題どちらにおいてもFE
より相関が強いことが分かる．予備試験に対するシステムの評価結果は1つのシ
ステムによるものであることを考慮すると，本試験の二つの課題に対して相関が
強いほうが指標としてより信頼できる．本試験のコーパスに対する結果から，固
有表現よりも単語の方が，単語よりも文字の方が指標の値を求める単位としては
安定しているといえる．

\begin{figure}[hb]\small
\begin{center}
\epsfile{file=dryrun_scatter_diagram.eps,scale=0.9}
\end{center}
\caption{\label{figure:scatter_diagram_dryrun}指標とF-measureとの散布図(予備試験)}
\end{figure}
\begin{figure}[htp]\small
\begin{center}
\epsfile{file=general_scatter_diagram.eps,scale=0.9}
\end{center}
\caption{\label{figure:scatter_diagram_general}指標とF-measureとの散布図(総合課題)}
\begin{center}
\epsfile{file=arrest_scatter_diagram.eps,scale=0.9}
\end{center}
\caption{\label{figure:scatter_diagram_arrest}指標とF-measureとの散布図(限定課題)}
\end{figure}

\newpage
\section{\label{section:TI}Token index}

本節では，固有表現内の個々の表現について，その表現のクラス内における頻度とコーパス全体における頻度との関係に基いて固有表現抽出の難易度を示すことを考える．
これは，あるクラスに相対的に関連の強い文字列が多いほど，そのクラスの固有表現を抽出することはより易しくなるという仮定に基づいている．
先に定義した指標では，クラス内の頻度のみを用いており，個々の固有表現内の文字列については考慮していなかった．
本節で考える指標では，ある文字列の固有表現クラスとの関連の強さを，その文字列のクラス内での頻度とコーパス全体の頻度の双方を用いて定義する．
つまりある文字列の頻度が高く，かつそのほとんどが特定の固有表現クラス内に限られるならば，その文字列はそのクラスと関連が強くなり，そのような文字列が多いほどそのクラスにおける固有表現の抽出は易しくなるという仮定に基づく．

\subsection{\label{subsec:CI}文字単位の指標}

以下では，文字を単位として指標を定義する．文字を単位として選んだのは，
先に定義された指標の中では，文字を単位とした指標が最もシステムの評価結
果との相関が強かったためである．

まず，各文字ごとの指標CI$_c$を定義する．文字\(c\)のクラス\(L\)に対する
CI$_c$の値は，式\ref{eq:character_index_each}によって与えられる．
\(n_L(c)\)は文字\(c\)のクラス\(L\)における頻度，\(n_{(c)}\)はコーパス
全体での頻度を現わす．\(N_{C^L}\)はクラス\(L\)内の総文字数である．つまり，
右辺第1項\(\frac{n_L(c)}{N_{C^L}}\)はクラス\(L\)での文字\(c\)の相対頻度
を示し，第2項\(\frac{n_L(c)}{n(c)}\)は文字\(c\)がクラス\(L\)にどれだけ
偏って現れるかを示しているので，CI\(_c\)は文字\(c\)のクラス\(L\)における偏りを
相対頻度で正規化したものとなる．

\begin{equation}\label{eq:character_index_each}
\mbox{CI$_c$} = \frac{n_L(c)}{N_{C^L}} \frac{n_L(c)}{n(c)}
\end{equation}

各固有表現クラスに現れる全文字のCI$_c$の値を合計した値を，新たな指標
CI(Character Index)として用いることにする．
\begin{equation}\label{eq:character_index}
\mbox{CI} = \sum_{c \in C^L} \mbox{CI$_c$}
\end{equation}
この指標は，固有表現の抽出が易しいときに値が大きくなることを意図して定義
されたものである．従って，システムの評価結果との正の相関が強ければ，指標
として優れていることになる．

CI\(_c\)は，クラス\(L\)の表現に文字\(c\)が生じる条件付き確率\(p(c\vert L)\)と，
文字cがあったときにそれがクラス\(L\)の表現の一部である条件付き確率\(p(L\vert c)\)との積を
推定する式となっている．

\[
\mbox{CI$_c$} = p(c\vert L) \cdot p(L\vert c)
\]

CI\(_c\)は，文字\(c\)の出現確率\(p(c)\)，クラス\(L\)内の文字が出現する確率\(p(L)\)，
文字\(c\)とクラス\(L\)の同時確率\(p(c,L)\)を用いて次のように変形できる．

\[
\mbox{CI$_c$} = \frac{p(c,L)^2}{p(c) \cdot p(L)}
\]

これは，文字\(c\)とクラス\(L\)に対する相互情報量に基づく尺度(式\ref{eq:mutual_information})
に類似する．

\begin{equation}\label{eq:mutual_information}
\mbox{MI$_c$} = \log_2 \left(\frac{p(c,L)}{p(c) \cdot p(L)}\right)
\end{equation}

異なる点は，\(log\)を取っていないことと，同時確率\(p(c,L)\)が二乗になっ
ていることである．この違いによって，文字\(c\)がクラス\(L\)にのみ出現する
場合，相互情報量に基づく尺度では，その文字の頻度に関わらず一定値になるの
に対し，CI\(c\)の値では，さらにその文字がクラス\(L\)の全表現のうちどのく
らいの割合を占めるかを指標として含むことができる．また，CI\(_c\)の定義は，
CI\(_c\)の総和としてCIを求める際に必要な正規化となっており，クラス\(L\)
内の全ての文字が\(L\)にのみ現れるならば，CIは最大値1をとる．これに対し，
相互情報量に基づく尺度では，そのクラス内での文字の分布により最大値は一定
でない．

\begin{table}[tb]\small
\caption{\label{table:CI}各クラスのCIの値}
\begin{center}
\begin{tabular}{|l||l|l|l|} \hline
         &          & \multicolumn{2}{|c|}{本試験}\\ \cline{3-4}
クラス   & 予備試験 & 総合課題 & 限定課題 \\ \hline \hline
組織名   &     0.34 &     0.31 &     0.45 \\ \hline
人名     &     0.51 &     0.45 &     0.59 \\ \hline
地名     &     0.38 &     0.40 &     0.56 \\ \hline
固有物名 &     0.21 &     0.15 &     0.27 \\ \hline
日付表現 &     0.39 &     0.48 &     0.60 \\ \hline
時間表現 &     0.36 &     0.40 &     0.47 \\ \hline
金額表現 &     0.47 &     0.51 &     0.51 \\ \hline
割合表現 &     0.33 &     0.27 &     ---  \\ \hline \hline
全表現   &     0.57 &     0.58 &     0.71 \\ \hline
\end{tabular}
\end{center}
\end{table}

\subsection{CIの有効性}

表\ref{table:index_CC_CI}に，CIとシステムの評価結果との相関係数の値を
示す．CIとシステムの評価との相関は先に定義した指標のそれと比べると低く，
指標としては十分でないことを示している．
相関が低い理由の一つとしては，CIの値が，各固有表現クラスに含まれる全文字の
CI$_c$の値を合計した値であることが考えられる．CI$_c$の値が低い文字は
そのクラスに含まれる固有表現を抽出するのに有用であるとはいえないので，
そのような文字はCIを求める際に取り除く必要がある．
CI$_c$の値に対する閾値を設け，閾値以上の値についてのみ
CIの値に加えることで，CIの値をより指標として優れたものにできると考えられる．

図\ref{figure:CI}は，CI$_c$に対する閾値と相関係数との関係を示すグラフで
ある．CI$_c$に対する閾値を示す軸には対数軸を取っている．グラフから，3種
類のテストコーパス全てについて相関係数の値は一旦上昇し，その後低下してい
ることが分かる．各々の相関係数の最大値と，それに対応する閾値は表
\ref{table:index_CC_CI}に示してある．これらの値は前節で提示した指標の相
関係数と同程度になっている．

もっとも，相関係数の最大値を与える閾値は，システムの評価結果を用いて初めて明らかになるので，
新しいタスクのテストコーパスにおいては，事前に閾値を何らかの方法で決定する必要がある．
新しいタスクにおいて閾値を求める方法の一つとしては，予め閾値を求めるために
本当に評価したいコーパスと同じ種類のデータを用意し，同じ固有表現クラスの定義を用いて
複数の参加システムについて実験をしておき，そこで得られた閾値を，
本当に評価したいコーパスについて用いることが考えられる．
例えば，性質の似た2種類のコーパスを用いて予備試験と本試験を行い，それぞれについて
複数システムの評価結果を得ることができれば，予備試験の結果から閾値を得て本試験に
用いることができる．
今回の実験においては，予備試験に対して1システムの結果のみを用いているが，それでも
その結果から得られた閾値を本試験のコーパスに対して用いるならば，表
\ref{table:index_CC_CI}の最後の行に示すように，最大値に近い相関係数の値
が得られるので，この方法によって妥当な閾値が得られたといえる．

CIの値の振舞いをより詳しく調べるために，固有表現クラスをENAMEXグループと
TIMEX-NUMEXグループの二つに分け，各々についてCI$_c$の値が大きい順に文字
を並べてCI$_c$の値の変化を示したのが図\ref{figure:CI}である．
TIMEX-NUMEXグループにおいてはCI$_c$の値が他に比べて極立って大きい文字が
いくつか存在するのに対し，ENAMEXグループにはそのような文字は存在せず，な
だらかにCI$_c$の値が変化していくことがグラフから見てとれる．このことは，
ENAMEXグループの固有表現には多くの文字がほぼ同程度に関連しているが，極立っ
て強い関連を持つものはなく，固有表現を抽出する際にはほぼ全ての文字を考慮
する必要があること，一方NUMEX-TIMEXグループの固有表現には，少数の文字が
非常に強く関連していることを示唆している．

\begin{table}[t]\small
\caption{\label{table:index_CC_CI}CIとF-measureとの相関}
\begin{center}
\begin{tabular}{|l|rr|rr|rr|} \hline
CIに対する条件              & \multicolumn{2}{c|}{予備試験}    & \multicolumn{2}{c|}{本試験(総合)} & \multicolumn{2}{c|}{本試験(限定)} \\ \hline \hline
閾値なし                    & 0.62        &         & 0.75 &         & 0.49 &         \\ \hline
最大値 (CI$_c$への閾値)     & 0.86        & (0.005) & 0.88 & (0.004) & 0.96 & (0.009) \\ \hline
予備試験の閾値に対する値    & \multicolumn{2}{c|}{-} & 0.86 & (0.005) & 0.95 & (0.005) \\ \hline
\end{tabular}
\end{center}
\end{table}

\begin{figure}[tb]\small
\begin{center}
\epsfile{file=CI_graph.eps,scale=0.8}
\end{center}
\caption{\label{figure:CI}CI とF-measureとの相関の変化}
\end{figure}



\subsection{CI$_c$による文字の重要度}

本節では，CI$_c$の値に基づいて，固有表現を抽出する際に有用と思われる
文字を具体的に挙げて述べる．

表\ref{table:characters_with_CIc_numex}にTIMEX-NUMEXグループにおいて
CI$_c$の値が大きい文字を示す．対象課題は本試験の総合課題である．「＃」
は数字全体を示している．
前節で見たように，TIMEX-NUMEXグループには，CI$_c$の値が非常に大きい文
字がいくつか存在する．
これらの文字がそのクラスに属する表現と強く結びついていることは人間の直観から
見ても妥当だといえる．
実際，金額表現クラスにおける「円」，割合表現クラ
スにおける「％」のCI$_c$の値は非常に大きく，各クラスに対するCIの値の半
分以上を占めている．一方，コーパス中の数字の頻度は非常に大きいが，
TIMEX-NUMEXグループ内の各クラスに同様に現れるため，日付表現以外では
CI$_c$の値は小さい．


\begin{table}[tb]\small
\caption{\label{table:characters_with_CIc_numex}TIMEX-NUMEXグループ内でCI$_c$の値が大きい文字}
\begin{center}
\begin{tabular}{|l||r|r|l|} \hline
クラス   & CI$_c$ & \(n_L(c)\) & 文字 \\ \hline \hline
日付表現 & 0.1113 &   277 & ＃ \\ \cline{2-4}
         & 0.1071 &   143 & 日 \\ \cline{2-4}
         & 0.0931 &    75 & 月 \\ \cline{2-4}
         & 0.0893 &    98 & 年 \\ \cline{2-4}
         & 0.0421 &    31 & 昨 \\ \hline \hline
時間表現 & 0.1868 &    34 & 午 \\ \cline{2-4}
         & 0.0586 &    32 & 時 \\ \cline{2-4}
         & 0.0368 &    23 & 後 \\ \cline{2-4}
         & 0.0352 &     8 & 夜 \\ \cline{2-4}
         & 0.0330 &     6 & 夕 \\ \hline \hline
金額表現 & 0.4412 &    15 & 円 \\ \cline{2-4}
         & 0.0588 &     2 & 銭 \\ \cline{2-4}
         & 0.0091 &    17 & ＃ \\ \hline \hline
割合表現 & 0.1379 &     8 & ％ \\ \cline{2-4}
         & 0.0616 &     5 & 倍 \\ \cline{2-4}
         & 0.0276 &     4 & 半 \\ \cline{2-4}
         & 0.0212 &     4 & 割 \\ \cline{2-4}
         & 0.0134 &    27 & ＃ \\ \hline
\end{tabular}
\end{center}
\end{table}



次に，ENAMEXグループにおける各文字のCI$_c$の値の傾向を調べる．表
\ref{table:characters_with_CIc_enamex}に，ENAMEXグループにおいてCI$_c$の
値が大きい文字を示す．対象課題は同様に本試験の総合課題である．これを見る
と，人名以外の3つのクラスにおいては，接尾辞として用いられる文字において
CI$_c$の値が比較的大きいことが分かる．これをより明確に示すために，ENAMEX
グループにおいてCI$_c$を文字bi-gramについて求めた結果を表
\ref{table:characters_with_CIc_bigram_enamex}に示す．{\tt [BOE]} は固有
表現の開始，{\tt [EOE]} は終了を示す．文字bi-gramに対する結果からは，組
織名クラスにおける「党」や「銀」，固有物名における「法」，地名における
「市」や「国」など，いくつかの接尾辞に対して高いCI$_c$の値が得られた．こ
れらの接尾辞が，特定の固有表現クラスに属する表現と強く結びついていること
は人間の直観から見て妥当だといえる．今回の実験では，固有表現中の先頭にあ
るか末尾にあるかといった位置の情報は用いなかったが，このような位置情報を
取り入れることで，指標の値から固有表現抽出に必要な知識の一部をより効率良
く得ることができると考えられる．


\begin{table}[htbp]\small
\caption{\label{table:characters_with_CIc_enamex}ENAMEXグループ内でCI$_c$の値が大きい文字}
\begin{center}
\begin{tabular}{|l|c|r|l|} \hline
クラス   & CI$_c$ & \(n_L(c)\) & 文字 \\ \hline \hline
組織名   & 0.0177  &   41 & 銀 \\ \cline{2-4} 
         & 0.0159  &   43 & 党 \\ \cline{2-4} 
         & 0.0108  &   22 & 庁 \\ \cline{2-4} 
         & 0.0106  &   19 & 衆 \\ \cline{2-4} 
         & 0.0087  &   22 & Ａ \\ \hline \hline
人名     & 0.0200  &   34 & 原 \\ \cline{2-4} 
         & 0.0172  &   35 & 田 \\ \cline{2-4} 
         & 0.0155  &   19 & 郎 \\ \cline{2-4} 
         & 0.0126  &   18 & 藤 \\ \cline{2-4} 
         & 0.0109  &   21 & 山 \\ \hline \hline
地名     & 0.0323  &   51 & 米 \\ \cline{2-4} 
         & 0.0161  &   36 & 市 \\ \cline{2-4} 
         & 0.0151  &   30 & 京 \\ \cline{2-4} 
         & 0.0125  &   24 & ボ \\ \cline{2-4} 
         & 0.0124  &   33 & 東 \\ \hline \hline
固有物名 & 0.0206  &   20 & 法 \\ \cline{2-4} 
         & 0.0080  &    6 & 商 \\ \cline{2-4} 
         & 0.0058  &    2 & 仙 \\ \cline{2-4} 
         & 0.0043  &    3 & 賞 \\ \cline{2-4} 
         & 0.0038  &    2 & 鳳 \\ \hline
\end{tabular}
\end{center}

\caption{\label{table:characters_with_CIc_bigram_enamex}ENAMEXグループ内でCI$_c$の値が大きい文字bi-gram}
\begin{center}
\begin{tabular}{|l|c|r|l|} \hline
クラス   & CI$_c$ & \(n_L(c)\) & 文字bi-gram \\ \hline \hline
組織名   & 0.0125 &   39 & 党 {\tt [EOE]}  \\ \cline{2-4} 
         & 0.0119 &   27 &            長銀 \\ \cline{2-4} 
         & 0.0111 &   26 & 銀 {\tt [EOE]}  \\ \cline{2-4} 
         & 0.0110 &   24 &            自民 \\ \cline{2-4} 
         & 0.0101 &   22 &            民党 \\ \hline \hline
人名     & 0.0126 &   20 &            上原 \\ \cline{2-4} 
         & 0.0120 &   19 & 郎 {\tt [EOE]}  \\ \cline{2-4} 
         & 0.0107 &   17 & 原 {\tt [EOE]}  \\ \cline{2-4} 
         & 0.0074 &   24 & {\tt [BOE]} 上  \\ \cline{2-4} 
         & 0.0069 &   11 &            佐藤 \\ \hline \hline
固有物名 & 0.0146 &   14 & 法 {\tt [EOE]}  \\ \cline{2-4} 
         & 0.0130 &    6 &            商法 \\ \cline{2-4} 
         & 0.0057 &    5 &  {\tt [BOE]} 商 \\ \cline{2-4} 
         & 0.0057 &    3 &            ドラ \\ \cline{2-4} 
         & 0.0051 &    2 &            鳳仙 \\ \hline \hline
地名     & 0.0252 &   49 &  {\tt [BOE]} 米 \\ \cline{2-4} 
         & 0.0163 &   31 & 米 {\tt [EOE]}  \\ \cline{2-4} 
         & 0.0139 &   46 &  {\tt [BOE]} 日 \\ \cline{2-4} 
         & 0.0136 &   36 & 本 {\tt [EOE]}  \\ \cline{2-4} 
         & 0.0121 &   36 &            日本 \\ \cline{2-4} 
         & 0.0110 &   21 &            京都 \\ \cline{2-4} 
         & 0.0104 &   26 & 市 {\tt [EOE]}  \\ \cline{2-4} 
         & 0.0100 &   44 & 国 {\tt [EOE]}  \\ \hline
\end{tabular}
\end{center}
\end{table}

\newpage
\section{\label{section:CW}固有表現周囲の文字列に基づく指標}

固有表現内の文字列に関する分析だけでは，難易度を調べるのに十分ではない．
あるクラス内の固有表現が多様であったとしても，その周囲の表現が定まって
いるならば，そのクラスの固有表現抽出に関する難易度は小さくなると考えら
れる．本節では，固有表現の周囲の表現に着目して新たな指標を定義し，その
有効性を先に定義した指標と同様に検証する．以下では指標を求める際の
文字列の単位としては全て単語を用いている．

\subsection{Frequency of context words}

まず，FE・FW・FCと同様に，固有表現の周囲の単語について，その頻度と異な
り数に基づいた指標FCW(Frequency of context words)を定義する．
FCWは固有表現クラスの周囲\(m\)語以内の単語を対象とする指標であり，式
\ref{eq:FCW}のように定義される．

\begin{eqnarray}\label{eq:FCW}
\mbox{\it FCW} & = & \frac{DCW_{m}}{NCW_{m}} \\
              & \mbox{但し:} &  \nonumber \\ 
              & DCW_{m} & \mbox{各固有表現クラスの周囲\(m\)語以内に現れる単語の異なり数} \nonumber \\
              & NCW_{m} & \mbox{各固有表現クラスの周囲\(m\)語以内に現れる単語の総出現数} \nonumber 
\end{eqnarray}

周囲の単語とみなす範囲\(m\)を，固有表現の直前または直後1単語から最大4単語まで変化させ，指
標の値を求めた．また，固有表現の直前に現われる単語に関する指標{\it FCWpre}と，
固有表現の直後に現れる単語に関する指標{\it FCWfol}とをそれぞれ求めた．

\begin{eqnarray}\label{eq:FCWpre}
\mbox{\it FCWpre} & = & \frac{DCW\mbox{\it pre}_{m}}{NCW\mbox{\it pre}_{m}} \\
              & \mbox{但し:} &  \nonumber \\ 
              & DCW\mbox{\it pre}_{m} & \mbox{各固有表現クラスの直前\(m\)語以内に現れる単語の異なり数} \nonumber \\
              & NCW\mbox{\it pre}_{m} & \mbox{各固有表現クラスに直前\(m\)語以内に現れる単語の総出現数} \nonumber 
\end{eqnarray}

\begin{eqnarray}\label{eq:FCWfol}
\mbox{\it FCWfol} & = & \frac{DCW\mbox{\it fol}_{m}}{NCW\mbox{\it fol}_{m}} \\
              & \mbox{但し:} &  \nonumber \\ 
              & DCW\mbox{\it fol}_{m} & \mbox{各固有表現クラスの直後\(m\)語以内に現れる単語の異なり数} \nonumber \\
              & NCW\mbox{\it fol}_{m} & \mbox{各固有表現クラスに直後\(m\)語以内に現れる単語の総出現数} \nonumber 
\end{eqnarray}

指標とシステムの評価結果との相関を表\ref{table:index_CC_FCW}に示す．
負の相関が強いほどこの指標の値がシステムの結果とよく合致していることになるが，
相関係数の値から，FCWは指標として適切であるとはいえない．

\begin{table}[t]\small
\caption{\label{table:index_CC_FCW}FCW と F-measureとの相関}
\begin{center}
\begin{tabular}{|l||rrrr|} \hline
           & \multicolumn{4}{|c|}{FCWpre: 直前の単語} \\ \cline{2-5}
課題          &  1 語 &  2 語 &  3 語 &  4 語 \\ \hline \hline
予備試験      &  0.50 &  0.22 &  0.20 &  0.18 \\ \hline
本試験(総合)  &  0.16 & -0.05 &  0.01 &  0.01 \\ \hline
本試験(限定)  & -0.56 & -0.36 &  0.00 &  0.16 \\ \hline \hline
           & \multicolumn{4}{|c|}{FCWfol: 直後の単語} \\ \cline{2-5}
課題        &  1 語 &  2 語 &  3 語 &  4 語 \\ \hline \hline
予備試験      &  0.58 &  0.50 &  0.49 &  0.46 \\ \hline
本試験(総合)  &  0.34 &  0.43 &  0.23 &  0.26 \\ \hline
本試験(限定)  &  0.06 &  0.13 &  0.34 &  0.49 \\ \hline
\end{tabular}
\end{center}
\end{table}

\subsection{Context word index}\label{section:CWI}

固有表現の周囲の単語を用いた新たな指標として，CIと同様にCWI(Context
Word Index)を定義する．CWIの定義は式\ref{eq:context_word_index}で与え
られる．
\begin{eqnarray}\label{eq:context_word_index}
\mbox{CWI}_w & = & \frac{1}{m} \frac{n_L(w)}{N_{W^L}} \frac{n_L(w)}{n(w)} \nonumber \\
\mbox{CWI} & = & \sum_{w \in W^L_{m}} \mbox{CWI}_w
\end{eqnarray}
\(m\)は固有表現の周囲の単語とみなされる語の範囲を示し，右辺第1項\(\frac{1}{m}\)は，範囲\(m\)を大きくしたときに頻度を補正するための項である．
\(W^L_m\)は，固有表現クラス\(L\)の周囲\(m\)語以内に現れる単語の集合を示す．
\(n_L(w)\)は，単語\(w\)がクラス\(L\)の固有表現の周囲\(m\)語以内に現れる頻度，\(n_{(w)}\)はコーパス全体での頻度を現わす．
\(N_{W^L}\)はクラス\(L\)の固有表現周囲に現れる単語の総数である．
すなわち，右辺第2項\(\frac{n_L(w)}{N_{W^L}}\)はクラス\(L\)に対する単語\(w\)の相対頻度を示し，
第3項\(\frac{n_L(w)}{n(w)}\)は単語\(w\)がクラス\(L\)に属する表現の周囲\(m\)語以内にどれだけ偏って現れるかを示す．
表\ref{table:CWI}に，\(m=1\)のときの各クラスにおけるCWIの値を示す．
FCWと同様に，直前の単語に関する指標CWIpreと直後の単語に関する指標
CWIfolとを別々に求めた．各課題における指標の値のうち，クラス間で最も
大きいものを太字で示した．

\begin{table*}[t]\small
\caption{\label{table:CWI}各クラスのCWIの値\((m=1)\)}
\begin{center}
\begin{tabular}{|l||c|c|c|c|c|c|} \hline
         & \multicolumn{2}{|c|}{予備試験} & \multicolumn{2}{|c|}{総合課題} & \multicolumn{2}{|c|}{限定課題} \\ \cline{2-7}
クラス   &    CWIpre &    CWIfol &    CWIpre &    CWIfol &    CWIpre &    CWIfol  \\ \hline \hline
組織名   &      0.23 &      0.30 &      0.16 &      0.22 &      0.15 &      0.20  \\ \hline
人名     &      0.18 & {\bf 0.47}&      0.17 & {\bf 0.53}&      0.16 & {\bf 0.58} \\ \hline
地名     &      0.22 &      0.35 &      0.20 &      0.21 &      0.29 &      0.27  \\ \hline
固有物名 &      0.09 &      0.10 &      0.05 &      0.18 &      0.02 &      0.56  \\ \hline
日付表現 &      0.13 &      0.25 &      0.15 &      0.22 &      0.14 &      0.33  \\ \hline
時間表現 & {\bf 0.29}&      0.07 & {\bf 0.29}&      0.20 & {\bf 0.44}&      0.40  \\ \hline
金額表現 &      0.14 &      0.20 &      0.25 &      0.28 &      0.37 &      0.45  \\ \hline
割合表現 &      0.07 &      0.04 &      0.12 &      0.27 &       --- &       ---  \\ \hline \hline
全表現   &      0.32 &      0.41 &      0.30 &      0.36 &      0.34 &      0.43  \\ \hline
\end{tabular}
\end{center}
\end{table*}

\subsection{CWI$_w$による単語の重要度}

固有表現の周囲の単語とみなす範囲を，固有表現の直前または直後1単語から
最大4単語まで変化させ，システムの評価結果との相関を調べた．結果を表
\ref{table:index_CC_CWI}に示す．ここでは正の相関が強いほどシステムの結
果とよく合致していることを表わす．CWIの指標としての有効性はFCWよりは高
いが，その他の指標と比べると低い．

CWIは固有表現の周囲の表現がもつ情報を十分に利用しているとはいえないが，
しかし課題や固有表現クラスによっては，人間の直観に沿うような結果が得られ
ている．\(m=1\)のときの結果から，具体的な単語の例を表
\ref{table:timeCWIpres}，表\ref{table:personCWIfols}，また表
\ref{table:arrestCWIfols}に示す．これらの表において単語に添えられている
値は，単語ごとの指標CWI$_w$と，あるクラスに属する固有表現の前または後に
現われた頻度\(n_L(w)\)である．

\begin{table}[tbp]\small
\caption{\label{table:index_CC_CWI}CWIとF-measureとの相関}
\begin{center}
\begin{tabular}{|l||rrrr|} \hline
           & \multicolumn{4}{|c|}{CWIpre: 直前の単語} \\ \cline{2-5} 
課題        & \(m=1\) & \(m=2\) & \(m=3\) & \(m=4\) \\ \hline \hline
予備試験      &   -0.07 &   -0.34 &   -0.53 &   -0.49 \\ \hline
本試験(総合)  &    0.66 &   -0.01 &   -0.01 &   -0.04 \\ \hline
本試験(限定)  &    0.67 &    0.39 &    0.46 &    0.20 \\ \hline \hline
           & \multicolumn{4}{|c|}{CWIfol: 直後の単語} \\ \cline{2-5} 
課題        & \(m=1\) & \(m=2\) & \(m=3\) & \(m=4\) \\ \hline \hline
予備試験      &   -0.01 &   -0.24 &   -0.07 &   -0.09 \\ \hline
本試験(総合)  &    0.14 &    0.29 &    0.00 &    0.02 \\ \hline
本試験(限定)  &    0.06 &    0.46 &    0.36 &    0.10 \\ \hline
\end{tabular}
\end{center}
\caption{\label{table:timeCWIpres}総合課題の時間表現に対してCWIpre$_w$の値が大きい単語}
\begin{center}
\begin{tabular}{|r|r|l|} \hline
CWIpre$_w$ & \(n_L(w)\) & 単語 \\ \hline \hline
0.1805 &   35 &         ＃日 \\ \hline
0.0920 &    8 &         同日 \\ \hline
0.0086 &    1 & ＃年＃月＃日 \\ \hline
0.0067 &    5 &           同 \\ \hline
0.0057 &    1 & 昨年＃月＃日 \\ \hline
\end{tabular}
\end{center}

\caption{\label{table:personCWIfols}人名に対してCWIfol$_w$の値が大きい単語}
\begin{center}
\begin{tabular}{|l||r|r|p{1.5cm}|} \hline
課題       & CWIfol$_w$ & \(n_L(w)\) & 単語 \\ \hline \hline
本試験(限定) & 0.0471 &   30 &     容疑者 \\ \hline
本試験(限定) & 0.0407 &   33 &         （ \\ \hline
予備試験     & 0.0406 &   28 &         氏 \\ \hline
本試験(総合) & 0.0370 &   54 &       さん \\ \hline
本試験(限定) & 0.0340 &   13 &       さん \\ \hline
予備試験     & 0.0228 &   17 &       さん \\ \hline
本試験(総合) & 0.0214 &   29 &         氏 \\ \hline
本試験(総合) & 0.0170 &   28 &         】 \\ \hline
本試験(総合) & 0.0164 &   25 &       被告 \\ \hline
\end{tabular}
\end{center}

\caption{\label{table:arrestCWIfols}限定課題においてCWIfol$_w$の値が大きい単語}
\begin{center}
\begin{tabular}{|l||r|r|p{1.5cm}|} \hline
クラス   &     CWIfol & CWIfol$_w$ & 単語 \\ \hline \hline
固有物名 &     0.5640 &     0.5470 & 違反 \\ \hline
時間表現 &     0.4015 &     0.3876 & ごろ \\ \hline
金額表現 &     0.4460 &     0.3750 & 相当 \\ \hline
\end{tabular}
\end{center}
\end{table}

表\ref{table:CWI}から3種類の課題全てにおいて時間表現クラスは他のクラスより
CWIpreの値が大きいことが分かるが，これは表\ref{table:timeCWIpres}に
示すように，時間表現の直前には日付表現がよく現われていることによる．
この逆が成り立たないことは，日付表現クラスのCWIfolの値が時間表現のCWIpre
の値ほど高くないことから分かる．日付表現クラスは時間表現クラスとともに現
れることも多いが，単独で現れることも多いからである．
人名クラスについても同様に，どの課題でも他のクラスよりCWIfolの値が
大きいことが表\ref{table:CWI}から分かる．表\ref{table:personCWIfols} 
にCWIfol$_w$の値が大きい単語を示す．どの課題においても敬称や呼称が
人名の直後によく現れており，これらの単語は人名を抽出する際に有用である
ことが分かる．

固有物名，金額表現，時間表現クラスはそれぞれ本試験の限定課題において
CWIfolの値が大きい．表\ref{table:arrestCWIfols}に示すように，そのほと
んどが特定の一単語がもつCWIfol$_w$の値によるものである．
これは，限定課題におけるコーパスが逮捕に関する記事のみから成っており，
単語の用いられ方が他の種類の記事に比べてより固定されていることが理由であると
考えられる．


	   
\section{個々のシステムとの相関}

\begin{figure}[tb]
\begin{center}
\epsfile{file=hist_graph_g_in.eps,scale=0.55}
\epsfile{file=hist_graph_g_ex.eps,scale=0.55}
\end{center}
\caption{\label{figure:hist_graphs_g}指標とシステムの評価結果との相関係数(総合課題)}
\end{figure}

\begin{figure}[tb]
\begin{center}
\epsfile{file=hist_graph_a_in.eps,scale=0.55}
\epsfile{file=hist_graph_a_ex.eps,scale=0.55}
\end{center}
\caption{\label{figure:hist_graphs_a}指標とシステムの評価結果との相関係
 数(限定課題)}
\end{figure}

IREXワークショップに参加した全システムの性能について，その平均値との相関
を調べることによって指標の結果の有効性を検討してきた．
本節では，各システムの性能と指標との相関について示す．

IREXで行なわれた本試験の総合課題・限定課題それぞれについて，定義した指標
と参加した各システムの評価結果との相関係数を調べた結果を図
\ref{figure:hist_graphs_g}，\ref{figure:hist_graphs_a}に示す．指標の種類
は FE, FW, FC, CI, CWIpre, CWIfolの全6種類である．CI については，図
\ref{figure:CI} から得られたしきい値を用いた結果を示した．
固有表現内の文字列を用いた指標(FE, FW, FC, CI)との相関は，どちらの課題に
おいても，ほとんどのシステムで高い．
固有表現の周囲の単語を用いた指標(CWIpre, CWIfol)との相関はそれに比べると
低いことが分かる．特に限定課題では，固有表現の周囲の単語を用いた指標との
相関はシステムによって大きくばらつきがある．

表\ref{table:each_system_fmeasure}に，個々のシステムについて，その
F-measureの値と手法の特徴をまとめた．括弧内に示した値は，各々のシステムの
F-measureについて，それ以外の全システムのF-measureの平均との相関係数をとった
ものである．また，表\ref{table:each_system_index_general}，表
\ref{table:each_system_index_arrest} に，
IREXで行なわれた本試験の総合課題・限定課題それぞれについて，定義した指標
と参加した各システムの評価結果との相関係数を調べた結果を示す．
これは，図\ref{figure:hist_graphs_g}，図\ref{figure:hist_graphs_a}を記述するのに
用いたものである．
固有表現の周囲の単語を用いた指標は，どのシステムにおいても相関係数の値が
低く，また，バラツキが大きいので以下の考察ではふれない．

総合課題においては，各システムの評価と全体との相関は，システムOを除いて非常に高い．
限定課題においては，システムE,F,Oにおいて，全体との相関が低くなっている．
固有表現内の文字列を用いた指標(FE, FW, FC, CI)との相関は，
両課題においてほぼシステム全体との相関に類似した結果になっている．
システムE, F, Oはそれぞれ異なる機械学習手法を用いており，
また評価結果も互いに近い値ではないので，
手法の特徴が指標との相関に影響しているとはいえないが，
システムFとOについては，評価時に用いたプログラムやデータに不備があり，
本来の性能が発揮されていなかったことがワークショップにて発表された．
このことが，F-measureの値や指標の値の双方において，他のシステムとの相関が低い
原因になっていると考えられる．
システムEについては，総合課題においては相関が高いが，限定課題では相関が低くなっている．
システムの各クラスごとの評価を見ると，とくに固有物名・組織名での結果が平均に比べて高く，
この差が相関が低くなった原因と考えられる(表\ref{table:system_E})．
システムEは，限定課題用にチューニングは行っていないが，
手作業および自動生成によって得られたNグラムパタンを用いており，
これらのパタンが，限定課題の固有物名としてよく現れる法律名などに
対応していたと考えられる．

\begin{table}
\begin{center}
\caption{システムEの各クラスごとの評価結果}
\label{table:system_E}
\begin{tabular}{l|rrr} \hline
クラス   & 全平均 & システムE & 値の差  \\ \hline
組織名   & 55.2   & 74.2      & (+19.0) \\       
人名     & 68.8   & 68.9      & (+0.1)  \\       
地名     & 68.1   & 61.2      & (-6.8)  \\       
固有物名 & 57.9   & 91.7      & (+33.8) \\       
日付表現 & 89.4   & 91.2      & (+1.8)  \\       
時間表現 & 89.8   & 89.5      & (-0.3)  \\       
金額表現 & 91.4   & 100.0     & (+8.6)  \\ \hline
全表現   & 71.7   & 74.6      & (+2.9)  \\ \hline 
\end{tabular}	  
\end{center}
\end{table}

総じて，固有表現内の文字列に基づいた指標と各システムの性能との相関は，ほ
ぼ全システムの平均との相関と同じ傾向を示しているが，固有表現の周囲の単語
を用いた指標は改善の必要があるといえる．

\begin{table*}
\begin{center}\small
\caption{各システムの性能評価・手法の特徴:\\システムの評価はF-measureの値．括弧内の数字は，各システムのF-measureと，\\それ以外の全システムのF-measureの平均との相関係数．}
\label{table:each_system_fmeasure}
\begin{tabular}{c|rr|rr|cl} \hline
         & \multicolumn{4}{|c|}{各システムの評価} & \multicolumn{2}{c}{手法の特徴}       \\ \cline{2-7} 
システム & \multicolumn{2}{|c|}{総合課題} & \multicolumn{2}{|c|}{限定課題}  & パタンの使用 & 機械学習の手法       \\ \hline
A        & 57.69    & (0.956)         & 54.17    & (0.972)          & Y            & -                    \\       
B        & 80.05    & (0.989)         & 78.08    & (0.901)          & Y            & 有限状態変換器       \\       
C        & 66.60    & (0.969)         & 59.87    & (0.756)          & Y            & -                    \\       
D        & 70.34    & (0.973)         & 80.37    & (0.927)          & N            & 決定木               \\       
E        & 66.74    & (0.975)         & 74.56    & (0.520)          & Y            & Nグラムパタン        \\       
F        & 72.18    & (0.876)         & 74.90    & (0.493)          & N            & 最大エントロピー     \\       
G        & 75.30    & (0.967)         & 77.61    & (0.901)          & Y            & -                    \\       
H        & 77.37    & (0.990)         & 85.02    & (0.905)          & N            & 最大エントロピー     \\       
I        & 57.63    & (0.901)         & 64.81    & (0.908)          & Y            & -                    \\       
J        & 74.82    & (0.961)         & 81.94    & (0.820)          & Y            & -                    \\       
K        & 71.96    & (0.975)         & 72.77    & (0.923)          & Y            & 決定木               \\       
L        & 60.96    & (0.984)         & 58.46    & (0.882)          & N            & 隠れマルコフモデル   \\       
M        & 83.86    & (0.892)         & 87.43    & (0.933)          & Y            & -                    \\       
N        & 69.82    & (0.932)         & 70.12    & (0.779)          & Y            & -                    \\       
O        & 57.76    & (0.424)         & 55.24    & (0.229)          & Y            & パタン学習と判別分析 \\ \hline
\end{tabular}
\end{center}
\end{table*}

\begin{table*}
\begin{center}\small
\caption{指標とシステムの評価結果との相関係数(総合課題)}
\label{table:each_system_index_general}
\begin{tabular}{c|cccc|cc} \hline
システム & FE     & FW     & FC     & CI    & CWIpre & CWIfol \\ \hline
A        & -0.927 & -0.935 & -0.906 & 0.894 & 0.570  & 0.156  \\       
B        & -0.944 & -0.943 & -0.984 & 0.877 & 0.699  & 0.223  \\       
C        & -0.923 & -0.931 & -0.979 & 0.806 & 0.625  & 0.122  \\       
D        & -0.870 & -0.897 & -0.914 & 0.821 & 0.572  & 0.205  \\       
E        & -0.922 & -0.938 & -0.942 & 0.925 & 0.661  & 0.270  \\       
F        & -0.676 & -0.704 & -0.821 & 0.629 & 0.384  & 0.343  \\       
G        & -0.836 & -0.881 & -0.905 & 0.832 & 0.645  & 0.275  \\       
H        & -0.900 & -0.908 & -0.967 & 0.883 & 0.737  & 0.344  \\       
I        & -0.899 & -0.854 & -0.904 & 0.770 & 0.471  & 0.150  \\       
J        & -0.832 & -0.825 & -0.922 & 0.755 & 0.504  & 0.318  \\       
K        & -0.913 & -0.902 & -0.920 & 0.906 & 0.616  & 0.316  \\       
L        & -0.896 & -0.920 & -0.965 & 0.865 & 0.704  & 0.274  \\       
M        & -0.733 & -0.704 & -0.884 & 0.725 & 0.630  & 0.579  \\       
N        & -0.966 & -0.979 & -0.942 & 0.894 & 0.681  & 0.038  \\       
O        & -0.369 & -0.342 & -0.494 & 0.556 & 0.767  & 0.751  \\ \hline
\end{tabular}
\end{center}
\end{table*}
									   					  
\begin{table*}
\begin{center}\small
\caption{指標とシステムの評価結果との相関係数(限定課題)}
\label{table:each_system_index_arrest}
\begin{tabular}{c|cccc|cccc} \hline
システム & FE     & FW     & FC     & CI    & CWIpre & CWIfol \\ \hline
A        & -0.753 & -0.855 & -0.894 & 0.923 & 0.726  & 0.483  \\       
B        & -0.756 & -0.687 & -0.684 & 0.886 & 0.444  & 0.547  \\       
C        & -0.721 & -0.884 & -0.929 & 0.787 & 0.744  & 0.096  \\       
D        & -0.771 & -0.792 & -0.770 & 0.870 & 0.646  & 0.344  \\       
E        & -0.767 & -0.535 & -0.451 & 0.622 & 0.133  & 0.058  \\       
F        & -0.267 & -0.355 & -0.484 & 0.582 & 0.110  & 0.682  \\       
G        & -0.729 & -0.684 & -0.679 & 0.869 & 0.482  & 0.547  \\       
H        & -0.754 & -0.841 & -0.906 & 0.886 & 0.708  & 0.345  \\       
I        & -0.904 & -0.852 & -0.818 & 0.926 & 0.509  & 0.353  \\       
J        & -0.587 & -0.776 & -0.858 & 0.775 & 0.802  & 0.322  \\       
K        & -0.959 & -0.886 & -0.886 & 0.958 & 0.519  & 0.383  \\       
L        & -0.575 & -0.791 & -0.868 & 0.838 & 0.758  & 0.452  \\       
M        & -0.672 & -0.709 & -0.725 & 0.832 & 0.704  & 0.503  \\       
N        & -0.671 & -0.701 & -0.646 & 0.770 & 0.492  & 0.315  \\       
O        & 0.135  & 0.035  & -0.023 & 0.260 & -0.085 & 0.570  \\ \hline
\end{tabular}
\end{center}
\end{table*}



\section{結論}

本論文では，固有表現抽出の難易度を示す指標を定義し，IREXワークショップで
行なわれた課題についてそれらの指標を適用し，参加したシステムの評価結果と
相関を調べることで，その有効性を検証した．指標を定義するために，固有表現
内の文字列，あるいは固有表現周囲の文字列に対して，固有表現クラスごとの頻
度・異なり数や，個々の表現のクラス内における頻度とコーパス全体における頻
度を用いた．定義された指標のうち，固有表現内の文字列に基いた指標に対して
は非常に高い相関が得られた．また，個々の表現に対する指標の値と固有表現抽
出における有効性との関係を具体例から考察した．

今後の課題としては，まず固有表現の周囲の表現に基づいた指標を改良して指標
としての有効性を高めることが挙げられる．また，固有表現内の文字列に基づい
た指標に位置情報を加え，接頭辞や接尾辞などの有効性を測れるようにすること
も考えられる．最終的には，指標による分析を通して，与えられた分野の固有表
現抽出に有用な情報を自動的に獲得したいと考えている．

\bibliographystyle{jnlpbbl}

\begin{thebibliography}{}

\bibitem[\protect\BCAY{Bagga \BBA\ Biremann}{Bagga \BBA\
  Biremann}{1997}]{bagga:97}
Bagga, A.\BBACOMMA\  \BBA\ Biremann, A.~W. \BBOP 1997\BBCP.
\newblock \BBOQ {Analyzing the Complexity of a Domain With Respect To An
  Information Extraction Task}\BBCQ\
\newblock In {\Bem The Tenth International Conference on Research on
  Computational Linguistics(ROCLING X)}, pp.~175--184.

\bibitem[\protect\BCAY{DARPA}{DAR}{1995}]{MUC6}
DARPA \BBOP 1995\BBCP.
\newblock {\Bem {Proceedings of the Sixth Message Understanding Conference
  (MUC-6)}}, Columbia, MD, USA. Morgan Kaufmann.

\bibitem[\protect\BCAY{DARPA}{DAR}{1998}]{MUC7}
DARPA \BBOP 1998\BBCP.
\newblock {\Bem {Proceedings of the Seventh Message Understanding Conference
  (MUC-7)}}, Fairfax, VA, USA.

\bibitem[\protect\BCAY{IREX}{IREX}{1999}]{IREXproc}
IREX実行委員会\JED\ \BBOP 1999\BBCP.
\newblock \Jem{{IREXワークショップ予稿集}}. IREX 実行委員会.

\bibitem[\protect\BCAY{松本，黒橋，山地，妙木，長尾}{松本\Jetal
  }{1997}]{JUMAN33}
松本裕治，黒橋禎夫，山地治，妙木裕，長尾真 \BBOP 1997\BBCP.
\newblock \Jem{日本語形態素解析システム JUMAN (version 3.3)}.
\newblock 京都大学工学部, 奈良先端科学技術大学院大学.

\bibitem[\protect\BCAY{野畑}{野畑}{1999}]{nobata:irex1}
野畑周 \BBOP 1999\BBCP.
\newblock \JBOQ 決定木を用いた学習に基づく固有表現抽出システム\JBCQ\
\newblock \Jem{IREX ワークショップ予稿集}, pp.~201--206.

\bibitem[\protect\BCAY{野畑，関根，辻井}{野畑\Jetal
  }{2000}]{nobata:nlp2000}
野畑周，関根聡，辻井潤一 \BBOP 2000\BBCP.
\newblock \JBOQ 固有表現抽出技術の難易度に関する分析\JBCQ\
\newblock \Jem{言語処理学会 第６回年次大会併設ワークショップ}.

\bibitem[\protect\BCAY{NOBATA, SEKINE \BBA\ TSUJII}{NOBATA
  et~al.}{2000}]{nobata:acl2000}
Nobata, C., Sekine, S.\JBA  \BBA\ Tsujii, J. \BBOP 2000\BBCP.
\newblock \BBOQ Difficulty Indices for the Named Entity task in Japanese\BBCQ\
\newblock In {\Bem Proceedings of the 38th Annual Meeting of Association for
  Computational Linguistics (ACL2000)}, pp.~344--351.

\bibitem[\protect\BCAY{Palmer \BBA\ Day}{Palmer \BBA\
  Day}{1997}]{palmer:anlp97}
Palmer, D.~D.\BBACOMMA\  \BBA\ Day, D.~S. \BBOP 1997\BBCP.
\newblock \BBOQ {A Statistical Profile of the Named Entity Task}\BBCQ\
\newblock In {\Bem Proceedings of the Fifth Conference on Applied Natural
  Language Processing (ANLP'97)}, pp.~190--193.

\bibitem[\protect\BCAY{Quinlan}{Quinlan}{1993}]{quinlan:93}
Quinlan, J.~R. \BBOP 1993\BBCP.
\newblock {\Bem C4.5: Programs for Machine Learning}.
\newblock Morgan Kaufmann Publishers, Inc., San Mateo, California.

\bibitem[\protect\BCAY{Sekine, Grishman \BBA\ Shinnou}{Sekine
  et~al.}{1998}]{sekine:wvlc98}
Sekine, S., Grishman, R. \BBA\ Shinnou, H. \BBOP 1998\BBCP.
\newblock \BBOQ A {D}ecision {T}ree {M}ethod for {F}inding and {C}lassifying
  {N}ames in {J}apanese {T}exts\BBCQ\
\newblock In {\Bem Proceedings of the Sixth Workshop on Very Large Corpora},
  pp.~171--178\ Montreal, Canada.
\end{thebibliography}

\begin{biography}
\biotitle{略歴}
\bioauthor{野畑 周}{
1995年東京大学理学部情報科学科卒業．
2000年東京大学大学院理学系研究科博士課程修了．博士(理学)．
同年通信総合研究所関西先端研究センター知的機能研究室非常勤研究員．
2001年より，同けいはんな情報通信融合研究センター自然言語グループ専攻研究員．
言語処理学会，情報処理学会，ACL各会員．}
\bioauthor{関根 聡}{
Assistant Research Professor, New York University．
1987年東京工業大学応用物理学科卒業．同年松下電器東京研究所に入社．
1990年〜1992年UMIST客員研究員．1992年UMIST計算言語学科修士．
1994年からNYU, Computer Science Department, Assitant Research Scientist．
1998年Ph.D.．同年から現職．自然言語処理の研究に従事．
コーパスベース，パーザー，分野依存性，情報抽出，情報検索等に興味を持つ．
言語処理学会，人工知能学会，ACL各会員．}
\bioauthor{辻井 潤一}{
京都大学大学院工学博士．
1971年京都大学工学部電気工学科卒業，1973年同大学大学院修士課程修了．
同年4月より，同大学電気工学第2教室助手，助教授を経て，1988年から英国
UMIST(University of Manchester Institute of Science and Technology)の教授．
同大学の計算言語学センター所長などを経て，
1995年より東京大学大学院理学系研究科情報科学専攻・教授．
組織変更により，現在は，同大学院情報理工学系研究科・コンピュータ科学専攻教授．
また，1981年〜1982年，フランスCNRS（グルノーブル）の招聘研究員．
言語処理学会，情報処理学会，ACL各会員．}

\bioreceived{受付}
\biorevised{再受付}
\bioaccepted{採録}

\end{biography}

\end{document}

