



\documentstyle[epsf,jnlpbbl]{jnlp_j_b5}

\setcounter{page}{77}
\setcounter{巻数}{5}
\setcounter{号数}{4}
\setcounter{年}{1998}
\setcounter{月}{10}
\受付{1998}{2}{4}
\再受付{1998}{4}{7}
\再々受付{1998}{5}{18}
\採録{1998}{7}{10}

\setcounter{secnumdepth}{2}

\title{コンパラブルコーパスと対訳辞書による\\日英クロス言語検索}
\author{奥村 明俊\affiref{NEC} \and 石川 開\affiref{ATR}
\and 佐藤 研治\affiref{NEC}}
\headauthor{奥村，石川，佐藤}
\headtitle{コンパラブルコーパスと対訳辞書による日英クロス言語検索}

\affilabel{NEC}{日本電気（株）C\&Cメディア研究所}
{NEC Corp., C\&C Media Research Laboratories}
\affilabel{ATR}{ATR 音声翻訳通信研究所}
{ATR Interpreting Telecommunications, NEC在籍中の研究成果}

\jabstract{
クロス言語検索手法 GDMAX は, 日本語入力から英語ドキュメントの検索を可
能にする. GDMAXは, 対訳辞書によって入力キュエリから翻訳キュエリ候補を
生成し, キュエリからそれぞれの言語のコーパスにおけるキュエリタームの共起
頻度を成分とする共起頻度ベクトルを生成する. 
入力共起頻度ベクトルと翻訳共起頻度ベクトルとの距離によって, 翻訳キュ
エリ候補をランキングし, 上位の英語キュエリ集合を検索キュエリとする. こ
の手法によって, 一つの対訳だけでなく適切な複数の訳語集合を英語キュエリ
として得ることができる. ウォールストリートジャーナルやAP通信な
ど2ギガの英語ドキュメントについて適合率と再現率で評価したところ, 
理想訳と比べて約62\%の精度を得て, 
対訳辞書のすべての訳語候補を用いる場合と比べて12\%, 機械
翻訳による訳語選択と比べて6\%高い精度を得ることができた. }

\jkeywords{クロス言語検索，コーパス，キュエリ翻訳，情報検索}

\etitle{Japanese-English Cross Language\\ 
Information Retrieval based on\\
 Comparable Corpora and Bilingual Dictionary}
\eauthor{Akitoshi Okumura \affiref{NEC} \and Kai Ishikawa \affiref{NEC}
\and Kenji Satoh \affiref{NEC}}


\eabstract{
This paper proposes a method to translate query terms for
cross-language information retrieval (CLIR).  CLIR is generally
performed by query translation and information retrieval (IR). CLIR is
less precise than IR because of query term translation ambiguities,
especially in Japanese and English CLIR. We developed
Double MAXimize criteria
based on comparable corpora (DMAX), which is an equivalent
translation selection method for machine translation (MT) , by using
term co-occurrence frequency in comparable corpora. Though a term
should be translated into one word for MT, a query term should be
translated into several appropriate terms for CLIR. This paper
describes a generalized query term selection model, the GDMAX for CLIR.
In this model, a source query is represented in the vector form of the
term co-occurrence frequency in source corpora. Translation queries are
searched by vector similarity calculation between a source query and a
target query represented by the co-occurrence frequency in comparable
target corpora.  GDMAX was evaluated by using 
TREC6 (Text Retrieval
Conference) English data and 15 Japanese queries. GDMAX queries had
approximately 62\% accuracy of human queries, and
6\% higher accuracy than machine translation queries and 12\% higher
accuracy than bilingual dictionary-based queries.}


\ekeywords{Cross Language Information Retrieval, Comparable Corpora,
Query Generation}

\begin{document}
\maketitle




\section{はじめに}

WWWの普及とともに多言語情報検索, とりわけ, クロス言語検索(cross
language information retrieval, CLIR)に対するニーズが高まっている. 
CLIRによって, 例えば, 日本語の検索要求(キュエリ)によって英語ドキュメン
トの検索が可能となる. CLIRは, キュエリもしくは検索対象となるドキュメン
トの翻訳が必要となるので, IRよりも複雑な処理が必要となる
\cite{hull97}. 

CLIRの多くは, キュエリを翻訳した後, 情報検索を行なう. キュエリの各ター
ムには, 訳語としての曖昧性が存在するため, CLIRの精度は単言語でのIRより
も低い. 特に日英間では, 機械翻訳の訳語選択と同様に, 対訳の訳語候補が
多いので困難である\cite{yamabana96}. 
機械翻訳の訳語選択手法として, コンパラブルコーパスでの単語の文内共起頻度に
基づいた Double MAXimize (DMAX) 法が提案されている
\cite{yamabana96,doi92,doi93,muraki94}. 
DMAX法は, ソース言語コーパスにおいて最大の共起頻度を持つ2つの単語に着
目し, その2つの単語の訳語候補が複数ある場合, 正しい訳語は, コンパラブ
ルなコーパスにおいても最大の共起頻度を有するという事実に基づいた訳語選
択手法である. 機械翻訳においては, 一つの単語は一意に訳されるべきである
が, CLIRにおいては, キュエリのタームは適切な複数のタームに訳される方
が精度良く検索できることもある. シソーラスや他のデータベースによって適
切に展開されたキュエリのタームは良い検索結果を導くことが報告されている
\cite{trec,trec4}. 

CLIRにおけるキュエリタームの訳語選択の問題を解決するために, DMAX法を一
般化したGDMAX法を提案する. GDMAX法では, コンパラブルコーパスを用いてキュ
エリタームの共起頻度を成分とする共起頻度ベクトルを生成し, 入力キュエリ
と翻訳キュエリの類似度をベクトルとして計算して類似性の高い翻訳キュエリ
を選択する. 

本報告では, まず, CLIRにおけるキュエリの翻訳の課題について説明し, 次に, 
GDMAX法によるキュエリタームの翻訳・生成ついて説明する. GDMAX法に関して, 
TREC6 (Text Retrieval Conference)の50万件のドキュメントと15の日本語キュ
エリを用いて実験したので報告する\cite{trec}. 


\section{キュエリタームの訳語選択}

キュエリタームの翻訳では, 検索精度が向上するよう適切な訳語集合を得るこ
とが課題である. 一般には, 表~\ref{queryall}に示すように, ソースキュエリ
のターム$j_{i}$ には, ターゲットキュエリのタームとして対訳辞書から
$e_{i1}$, ..., $e_{ik}$ ,..., $e_{ir}$ の候補を得る. それぞれのソース
キュエリのタームに対して適切な訳語集合を得なければならない. 

\begin{table}[htbp]
\renewcommand{\arraystretch}{}
  \vspace*{-2mm}
  \caption{キュエリタームの選択}
  \begin{center}
  \begin{tabular}[tb]{|c|c|}
    \hline
    Source query terms &  Target query terms \\
    \hline
    $j_{1}$ & $e_{11}$~~~$e_{12}$ ~~~ ... ~~~ $e_{1p}$ \\
    $j_{2}$ & $e_{21}$~~~$e_{22}$ ~~~ ... ~~~ $e_{2q}$ \\
    … & … \\
    $j_{i}$ & $e_{i1}$~~~...~~$e_{ik}$~~... ~~~ $e_{ir}$ \\
    … & … \\
    $j_{n}$ & $e_{n1}$~~~$e_{n2}$ ~~~ ... ~~~ $e_{nm}$ \\
    \hline
  \end{tabular}
  \end{center}
  \label{queryall}
\end{table}

キュエリタームの翻訳には, パラレルコーパスやコンパラブルコーパスを用い
るコーパスベースの手法, 機械翻訳を含めて対訳辞書を用いる辞書ベースの手
法, コーパスベースと辞書ベースを統合したハイブリッドな手法, の３種類が
ある\cite{hull97}. パラレルコーパスは, 異なる言語の文書セットで, 対訳
関係が保証されたものであって, パラレルコーパスによって, キュエリの選択
を高い精度で行なうことができるが, 一般にはなかなか
整備されていないので, 適用ドメインが限定される. コンパラブルコーパスは, 
対訳コーパスほど異言語間で文書の対応が保証されていないが, 記述内容の分
野的同一性が保証されたものであり, 同一の概念や表現がコーパス中に含まれ
る. コンパラブルコーパスは, 収集しやすいが, 関連性の低いタームもキュエリの
中に含みがちである. また, 辞書ベースの手法では, ドメイン毎に適切な訳語
を柔軟に得ることが困難である. こういった問題を解決するためにハイブリッ
ドな手法が研究されている. GDMAX法は, 対訳辞書とコンパラブルコーパスを
用いるハイブリッドな手法で, 対訳辞書から得られた訳語候補の中から適切な
ものをコンパラブルコーパスを用いて抽出する. 

\section{GDMAX 訳語選択法}

GDMAX法は, DMAX法と同様に, 対訳辞書およびコンパラブルコーパスにおけるター
ムの文内共起頻度を利用する. DMAX法は, ソース言語コーパスにおいて最大の共起
頻度を持つ2つの単語に着目し, その2つの単語の複数の訳語候補の中から, コ
ンパラブルコーパスにおける共起頻度を用いて訳語を選択する. 
DMAXのアルゴリズムは, 以下の通りである\cite{doi93}. 

\begin{enumerate}  \setlength{\itemsep}{-1mm}
\item コンパラブルコーパスにおけるタームの1文内の共起頻度をカウントする. \\
{j}$_{i}(i=1\cdots n)$
 : ソース言語のターム\\
{e}$_{ij}(j=1\cdots m_{i})$ 
 : {j}$_{i}$に対する $m_{i}$個のターゲット言語の訳語 \\
{f}({j}$_{a}$,{j}$_{b}$) 
 : ソース言語でのターム {j}$_{a}$,{j}$_{b}$ の共起頻度 \\
{f}({e}$_{ai}$,{e}$_{bj}$) 
 : ターゲット言語のターム {e}$_{ai}$,{e}$_{bj}$の共起頻度
\item  $\max_{p,q}{f}({j}_{p},{j}_{q})$となる{j}$_{p}$,{j}$_{q}$を選
択する. \\ 
この段階では, {j}$_{p}$と{j}$_{q}$のターゲット言語の訳語が決定されてい
ない. 
\item $\max_{r,s}{f}({e}_{pr},{e}_{qs})$となる{e}$_{pr}$,{e}$_{qs}$
を選択する. 
\item {j}$_{p}$のターゲット言語の訳語を{e}$_{pr}$に決定する. 
\item {j}$_{q}$のターゲット言語の訳語を{e}$_{qs}$に決定する. 
\item すべての{j}$_{a}(a=1\cdots n)$のターゲット言語の訳語が決まるまで, 2-5
のステップを繰り返す. 
\end{enumerate}

DMAX 法は, 機械翻訳における訳語選択のために開発されたもので, 
最大の共起頻度をもつ訳語のペアに着目して, 決定的に訳語の
タームを探索していく. 一方, 
GDMAX法は, CLIRのために訳語集合を得るもので, ターゲット言語のタームをランキング
するために, すべてのタームのペアの文書内共起頻度を考慮しながら探索する. 
共起頻度データがスパースな場合, ひとつの候補を選択できても, 
すべての候補をランキングすることは困難である. そこで, GDMAX法では, 
文内共起頻度よりも文書内共起頻度を用いる. 
GDMAX法では, ソース言語のキュエリタームと
ターゲット言語のキュエリタームから
コンパラブルなそれぞれの言語コーパスを用いて, 各タームの共起頻度を成
分とするベクトル, 共起頻度ベクトルを生成する. 

例えば, $n$ タームからなる日本語キュエリからは, 共起頻度ベクトルの列で
ある ${\bf F}_{jap}$ が生成される. 
\begin{eqnarray*}
 {\bf F}_{jap} = ({\bf f}_{j}^{1},{\bf f}_{j}^{2},..,{\bf f}_{j}^{n})
\end{eqnarray*}
${\bf f}_{j}^{p}$ は, $~_{n}C_{p}$ 次元のベクトルで, 同一文中の $p$ 個
のタームの共起頻度である. つまり, GDMAX法は, キュエリを表現するために, 
ベクトル空間法におけるタームの代わりにタームの共起頻度を成分として用いる. 
以下の式において, ${\bf f}_{j}^{2}$ は, 任意の2つのタームが１文書中で共
起する頻度から構成される. ここで, $f(j_{i},j_{j})$ は, 日本語コーパス
におけるターム $j_{i}$ と $j_{j}$ の共起頻度を正規化した値である. 
\begin{eqnarray*}
 {\bf f}_{j}^{2} = (f(j_{1},j_{2}),f(j_{1},j_{3}),...f(j_{n-1},j_{n}))
\end{eqnarray*}
同様に, 英語翻訳キュエリの共起頻度ベクトル列 ${\bf F}_{eng}$ は, 以下の
ように表現される.  
\begin{eqnarray*}
 {\bf F}_{eng} = ({\bf f}_{e}^{1},{\bf f}_{e}^{2},..,{\bf f}_{e}^{n})
\end{eqnarray*}
表~\ref{queryall} に示すような訳語候補が存在する場合, 
${\bf F}_{eng}$ として, $p*q*r*..*m$ 通りの可能性が存在する. 

${\bf F}_{jap}$と${\bf F}_{eng}$ の類似性, ${\bf Sim}({\bf
F}_{jap},{\bf F}_{eng})$ は, 各成分の類似性, ${\bf Sim}({\bf
f}_{j}^{1},{\bf f}_{e}^{1})$,${\bf Sim}({\bf f}_{j}^{2},{\bf
f}_{e}^{2})$ ,..., ${\bf Sim}({\bf f}_{j}^{n},{\bf f}_{e}^{n})$ の関数
と考えられる. 
ここでは, 類似性 ${\bf Sim}({\bf f}_{j}^{p},{\bf f}_{e}^{p})$ を以下の
ようにコサインによって定義する. 
\begin{eqnarray*}
 {\bf Sim}({\bf f}_{j}^{p},{\bf f}_{e}^{p}) =
  \frac{({\bf f}_{j}^{p},{\bf f}_{e}^{p})}{|{\bf f}_{j}^{p}||{\bf f}_{e}^{p}|}
\end{eqnarray*}

実際には, データスパースネスの問題もあって, ３ターム以上の共起頻度は, 
２タームの共起頻度と比べて無視できるほど小さくなることが多い. また, 
１タームの出現頻度は, 非常に大きく, 日英の単語がカバーする意味の違いを
考えた場合, 類似性における１タームの出現頻度の影響は抑制されるべきであ
る. 例えば, 「米」というタームには, rice と USA などの意味があり, 「米」の出
現頻度が日本語コーパスにおいて多いからといって, 訳語の一つである rice がコン
パラブルな英語コーパスにおいて出現頻度が多いとは限らない. そこで, ここ
では, ２タームの共起頻度にのみ着目してモデルを簡略化する. つまり, 
${\bf F}_{jap}$ と ${\bf F}_{eng}$ は, ${\bf f}_{j}^{2}$ と ${\bf
f}_{e}^{2}$ を用いて類似性を照合する. 類似性は, 以下に示すように, 
 ${\bf F}_{jap}$ とその訳語候補である ${\bf F}_{eng}$ の内積を計算しコサイン
によって照合する. 
\vspace{-4mm}
\begin{eqnarray*}
{\bf Sim}({\bf F}_{jap},{\bf F}_{eng}) & = & {\bf Sim}({\bf f}_{j}^{2},{\bf f}_{e}^{2}) \\
 & = &
  \frac{({\bf f}_{j}^{2},{\bf f}_{e}^{2})}{|{\bf f}_{j}^{2}||{\bf f}_{e}^{2}|}
\end{eqnarray*}
訳語候補は, ベクトルの距離の近いものから順にランキングされる. 

例えば, 日本語キュエリが3つのターム, $j_{1},j_{2},j_{3}$ で表現される
場合, 2つのタームの共起頻度として,  $f(j_{1},j_{2})$,
$f(j_{1},j_{3})$, $f(j_{2},j_{3})$ の3つの値がある. この日本語キュエリ
は, 図~\ref{dmaxspace}の示すように日本語コーパス空間の三角形で表現でき
る. GDMAX法は, コンパラブルな英語コーパス空間において, 
$j_{1},j_{2},j_{3}$ と相似に近い三角形 $e_{1i},e_{2j},e_{3k}$ を探索す
る. ある閾値を越えた類似性をもつ訳語集合が, 検索で用いられる英語訳語キュエ
リタームとなる. 

\begin{figure}[htbp]
      \begin{center}
       \epsfile{file=./compspace.prn,height=5cm,width=8cm}
      \end{center}
  \caption{コンパラブルコーパスにおける類似性}
  \label{dmaxspace}
\end{figure}

\section{実験・評価}

\subsection{実験方法}

TREC6のドキュメントとトピックを用いて, GDMAX法を実験・評価する
\cite{trec,trec4}. TREC6 では, 図~\ref{topic1e}に示すように, トピック
と呼ばれる英語検索要求文が用意されている. それぞれのトピックには, 関連
があることが人手により確認されたリレバントドキュメントと呼ばれる正解デー
タが準備されている. 今回の実験では, 図~\ref{topic1j} に示すように, 英
語トピックと等価な日本語トピックを15作成した. つまり, 15の日本語トピッ
クに関しては, 英語ドキュメントのリレバントドキュメントが存在しており, 
この15の日本語トピックを入力として実験を行なう. トピックの内容は, 政治, 
経済, 科学, 社会的なもので, およそ, 50から100のタームのキュエリで表現さ
れる. 検索対象となる英語ドキュメントは, ウォールストリートジャナールや
AP通信などから抽出された約50万件の記事である. 

\begin{figure}[tb]
\vspace*{-4mm}
      \begin{center}
\epsfile{file=./topic1e.prn,height=5cm,width=8cm}
      \end{center}
  \caption{TREC 英語トピック例}
  \label{topic1e}
\end{figure} 

\begin{figure}[tb]
      \begin{center}
\epsfile{file=./topic1j.prn,height=5cm,width=8cm}
      \end{center}
  \caption{TREC 日本語トピック例}
  \label{topic1j}
\end{figure} 

訳語集合による検索の効果を確認するために, 英語トピックから生成したキュ
エリによる検索, 日本語キュエリの各タームの可能な英語訳語をすべて用いた
検索, 日本語キュエリの各タームの英語訳語を一つに絞った検索との比較を行
なう. 図~\ref{expenv} に示すように, 以下の4種類の方法で生成された英語
キュエリに関して, 実験・評価を行なう. 英語のキュエリタームの重みは, そ
れぞれのトピックに対するリレバントドキュメントを含むトレーニングデータ
から与える. 評価用のドキュメントには, トレーニングデータは含まない. 重
みの与え方としては, キュエリタームの全ドキュメント中の出現頻度とリレバ
ントドキュメント中の出現頻度に基づく対数尤度比を用いて行なう
\cite{trec4}. 検索は, ベクトル空間モデルを用いており, 重みつきのベクト
ルとして表現されたキュエリとドキュメントの内積を計算することでランキン
グする
\cite{trec}. 

\begin{figure}[tb]
      \begin{center}
\epsfile{file=./expenv2.prn,height=8cm,width=12cm}
      \end{center}
  \caption{実験環境}
  \label{expenv}
\end{figure}

\noindent {\bf ・理想訳語キュエリ (理想訳):}

キュエリタームは, 人手によって作成された英語タームである. TRECの英語ト
ピックから約50のストップワードを除外し, キュエリのタームとなる英単語を
抽出して生成した英語キュエリで, 理想訳として扱う. シソーラスや人手によ
るキュエリの拡張は行なわない. 

\noindent {\bf ・可能訳語キュエリ (可能訳):}

キュエリタームは, 日英対訳辞書による訳語すべてである. 日本語トピックは, 
形態素解析によって単語単位に分割され, 約50のストップワードを除く自立語
をタームとし, 日英機械翻訳システムの約5万語の一般辞書(対訳辞書)を用い
て, それぞれの日本語タームにリンクされた英語訳語すべてを可能訳としてキュ
エリタームとする. 

\noindent {\bf ・機械翻訳キュエリ (機械翻訳):}

キュエリタームは, 日英機械翻訳システムによって選択されたものである. 日
本語トピックは, 約5万語の一般辞書(対訳辞書)をもつ日英機械翻訳システム
によって英語に翻訳される. 英語に翻訳されたトピックは, 理想訳語キュエリ
生成と同様の手順で, 英語キュエリに変換される. 対訳辞書は, 可能訳語キュ
エリ生成に用いたものと同一のものである. 訳語を一つに絞る方法としては, 
機械翻訳システム以外に, 代表訳語によるもの, DMAX法などコーパスを用いる
方法などが考えられるが, ドメインに影響されずに安定した訳出を行なうルー
ルベースの機械翻訳システムを用いることとした. 

  \noindent {\bf ・GDMAXキュエリ (GDMAX):}  

キュエリタームは, GDMAX 法によって 日英対訳辞書から選択されたもの
である. 共起頻度データは, 図~\ref{datamake}に示すように, コンパラブル
コーパスと対訳辞書を用いて準備する. 日本語トピックは, 形態素解析によっ
て単語に分割され, 約50のストップワードを除く自立語をタームとして, すべ
ての2つのタームの文書内共起頻度を日本語コーパスにおいてカウントする. 日本語
タームは, 対訳辞書を用いて訳語となり得るすべての英語タームに変換する. 
対訳辞書は, 可能訳と機械翻訳に用いたものと同一のものである. 
日本語コーパスとコンパラブルな英語コーパスにおいて, 英語タームについて
も, すべての2つの組み合わせの文書内共起頻度をカウントする. 例えば, 図~
\ref{datamake}に示すように, 日本語ターム, 「危機」と「水」には, 英語ター
ムとして, それぞれ,  ``crisis, precipice, critical situation, pinch,
imminent danger, emergency'' と``water, aqua, plasma''が存在し, それぞ
れの組み合わせに対する共起頻度がカウントされる. 日本語キュエリと英語キュ
エリから共起頻度を成分とするベクトルを生成し, ベクトルの類似度計算によっ
て, 類似した英語キュエリを求める. 今回, ひとつのタームあたり平均3個程
の訳語となるように, 実験的にベクトルの類似性の閾値を0.85とした. この閾
値を越える共起頻度ベクトルをもつすべての英語キュエリを類似キュエリとし, 
類似キュエリのすべてのタームから構成されるキュエリを作成して検索を行な
う. 

\begin{figure*}[tb]
\vspace*{-6mm} 
     \begin{center}
\epsfile{file=./datamake.prn,height=8.2cm,width=14cm}
      \end{center}
  \caption{共起頻度データの作成フロー}
  \label{datamake}
\end{figure*}

\subsection{日英コンパラブルコーパス}

共起頻度データは, 50万記事ずつの日英コンパラブルコーパスから抽出する. 
コーパスは, ドメインとサイズに関して, 以下の点を考慮して収集した. 

  \noindent {\bf ・ドメイン:}

実験対象となるドメインが, 政治, 経済, 社会, 科学の分野であることから, 
これらの分野に関する新聞, 雑誌記事を収集する. コンパラブルコーパスを用
いることの利点の一つは, その収集しやすさであることから, ジャンルや話題
の一致などの特別な調整は行なわずに収集を行なう. ただし, 新聞記事の時間
情報に着目して, 日英ともに10年未満のものとし, 時間的な共有を図る. 
実験をオープンテストとするために, 検索対象となるドキュメント(TRECドキュ
メント)は, コーパスの中に含めない. 

\newpage

  \noindent {\bf ・サイズ:}

コンパラブルコーパス作成のために収集した記事の平均的サイズは, 日本語約
500文字, 英語約300単語であり, 共起頻度は記事毎にカウントする. コーパス
のサイズが小さく共起頻度データがスパースになると, GDMAXの有効性が低下
すると予想されるので, 共起頻度データが0となるタームの対が, 極力少なく
なるまでデータを収集する. データサイズは, 大きければ大きいほどデータス
パースネスの問題は解消されるが実験コストが大きくなる. 今回のトピックを
用いて実験するために, 9,815対の日本語キュエリタームの共起頻度データが
必要であり, 英語タームは, すべての訳語候補の組合せとして, 166,111対 の
共起頻度データが必要であった. 日英50万件の記事を収集した時点で, 頻度0
の日本語ターム対は96対, 英語ターム対は2,503対となった. ターム対総数に
対する0件のターム対の割合が, 日英ともに1〜2\%程度であり, 共起頻度0のター
ム対がほとんど増加しなくなったので, データスパースネスの問題は少ないと
判断し, かつ, 現実的に実験可能なサイズであることから, 50万件ずつのコン
パラブルコーパスを用いて実験を行なうこととした. 

\subsection{実験結果}

4つの方法で生成されたキュエリの各タームに先に述べたように対数尤度比に
よって重みをつけ, ベクトル空間モデルによってドキュメントとの類似
性を計算する. キュエリベクトルとドキュメントベクトルとの内積によってラ
ンキングされた1000件のドキュメントが, 各キュエリ毎に出力される. 適合
率/再現率は, TRECの評価方法に基づいて4種類のキュエリによる検索結果に対
して計算した\cite{trec}. TRECでは, 各キュエリ毎にリレバントドキュメント
が用意されており, このデータをもとに, interpolated
precision-recall curve を描く. これは, リレバントドキュメントの10\%, 
20\%, 30\%, 40\%, 50\%, 60\%, 70\%, 80\%, 90\%, 100\%を含むように上位
の検索結果をとった場合の精度をプロットして曲線を描くもので, それぞれ4
つの方法に対して, 15件のキュエリの平均をプロットした結果, 
図\ref{result}に示すような適合率/再現率曲線(precision-recall curve)を得
ることができた. 
\vspace*{0.5cm}


\begin{figure}[htbp]
\vspace*{-8mm}
      \begin{center}
 
\epsfile{file=./eval2.prn,height=10cm,width=12cm}
      \end{center}
\vspace*{-1cm}
       \caption{適合率/再現率曲線}
  \label{result}
\end{figure}
\vspace*{0.5cm}


\section{考察}

GDMAX法は, 理想訳に比べて再現率の各ポイントの平均で約62\%の精度を得た. 
また, 機械翻訳による手法と対訳辞書による手法と比べて, 適合率/再現率と
もに高い結果を得た. 特に, 実際にユーザがブラウズすることが多い再現率
10\%までの精度に関して, GDMAX法は, 機械翻訳による手法に比べて, 約6\%, 
対訳辞書による手法と比べて, 約 12\% 高い精度を得た. 

理想訳のキュエリよりも低かったのは, 主に2つの理由による. 第1は, 対訳辞
書が十分な語彙を持っていなかったことである. 理想訳語が対訳辞書のエ
ントリとして含まれていない場合と, エントリとしては存在するが, 入力訳語
の対訳としてのパスがない場合がある. 
IRにおいては, 専門用語や固
有名詞が精度の向上に大きく寄与する. 今回, 5万語の一般的な語彙に関する
対訳辞書を用いたので, 必ずしも専門用語や固有名詞の語彙が十分ではなかっ
た. そのため, 3つの手法によるキュエリの精度がすべて低くなっている. 対
訳の中に的確な訳語が含まれていなかったので, GDMAX法が正しい訳語を選択
できなかった. 第2は, タームの重み付けの問題である. タームの重みは, そ
れぞれのトピックに対するリレバントドキュメントから計算されて付与されて
いるが, GDMAX法によって得られた類似性の割合も考慮すべきである. 類似性
が低いタームであっても類似性の高いタームと同様の重みがつけられたことが, 
検索精度として大きな差を生じなかった原因と考えられる. 
今回の実験結果を基に, 以下の課題に取り組む予定である. 

\noindent {\bf ・対訳辞書}

キュエリを翻訳するための適切な訳語を辞書の中に含むように対訳辞書を改良
する. 改良した対訳辞書を用いて, GDMAX法によるキュエリ, 機械翻訳による
キュエリ, 可能訳語すべてのキュエリ, TRECの英語ト
ピックから作ったキュエリによる, 4つの検索精度を比較する予定である. 

また, 対訳辞書を改良した後, 訳語選択能力を評価する. 予め入力訳語
ごとに選択されるべき訳語(集合)を明らかにしておき, 選択能力を適合
率と再現率で評価する. 選択されるべき訳語とは, 検索精度をベストにするも
のであるべきだが, ここでは, 検索能力と訳語選択能力を切り分けるために, 
理想訳語およびその同義語を選択すべき訳語として評価する. 

\noindent {\bf ・タームの重み調整と閾値の設定}

今回の実験で, GDMAX法によるキュエリのタームの重みは, ベクトルとしての
類似性を考慮しなかった. 基本的には, タームの重みに類似度を掛け合わせて
調整を図る必要がある. その時, ワードネットのようなシソーラスを用いて重
み調整をコントロールする\cite{WORDNET}. 例えば, 類似性の高いベクトルの
訳語タームと類似性が低いベクトルの訳語タームが, シソーラスによって同義
語関係があることが保証された場合, タームの重みを調整する必要はないと考
えられる. タームの重みの調整方法は, 実験的に最適なものを見つけていく. 

また, 今回の実験では, 平均選択訳語数の観点から類似度の閾値を設定したが, 
閾値は, 検索精度が最適となるように設定されるべきものである. 実験的に最
適な閾値を求めていく. 類似ベクトルの選択方法としては, 類似度の絶対値を
閾値とするのではなく, 類似度の差分を用いる方法も考えられる. 例えば, ラ
ンキングされたベクトルの1位と2位の差分, 2位と3位の差分, …というように
差分を比較して, その差分がある一定の値を超えたところを境界として選択す
ることができる. 他の統計的な手法も含めて, ランキングされたベクトルから
の選択手法について検討する. 


\noindent {\bf ・多次元的な類似性照合 }

今回のモデルでは, 2タームの共起頻度, ${\bf f}_{j}^{2}$ に着目して, 
${\bf F}_{jap}$ と ${\bf F}_{eng}$ の類似性を照合した.  厳密には, 
${\bf F}_{eng}$ の他の次元の共起頻度ベクトルも
${\bf F}_{jap}$ と照合されるべきである. 例えば, 次元毎の重み
$w_{p}$ を各次元の類似度に掛け合わせて以下のような総合的な類似性が考え
られる. 
  \begin{eqnarray*}
{\bf Sim}({\bf F}_{jap},{\bf F}_{eng}) = 
\sum_{p = 1}^{n} {w}_{p}{{\bf Sim}({\bf f}_{j}^{p},{\bf f}_{e}^{p})}
\end{eqnarray*}
計算が複雑になるので探索アルゴリズムを工夫する必要はあるが, 
少なくとも, 主成分分析や他の統計的手法によって, 重要な次元を認定する必
要がある. 

\noindent {\bf ・コーパスへの依存性}

コンパラブルコーパスは, パラレルコーパスに比べて収集しやすく, ドメイン
への依存性が少ない. さらに, 本方式では, 訳語を複数選択するので, 訳語を
一つに選択する手法よりもドメイン依存の影響は小さいと考えられる. その代
わり, 不要な訳語がキュエリに含まれる可能性が増えるが, 選択された訳語集
合の個々のタームにリレバンスデータから計算された重みをつけるので, 不要
な訳語の検索への悪影響を抑制することができる. 実験によって, すべての訳
語に重みをつけたもの(可能訳キュエリ)と, 一つに選択したものに重みをつけ
たもの(機械翻訳キュエリ)の双方よりも精度が上回ったので, 訳語集合として
の選択と重み付けは効果があったと考えられる. 

しかしながら, その精度は, 作成された共起頻度データの質に依存するもので
あり, 共起頻度データの質的評価方法の確立が必要である. 一つの方法として, 
パラレルコーパスとの比較において, コンパラブルコーパスの質を評価するこ
とが考えられる. パラレルコーパスによる共起頻度データを用いた方が, より
正確に類似度の高い共起頻度ベクトルを求めることができるので, 訳語集合を
選択するためには好ましい. 
コンパラブルコーパスによる共起頻度データと, パラレル
コーパスによる共起頻度データとの差異が, 一つの質的評価基準となりうると
考える. 
コンパラブルコーパスのいずれかの言語に関してパラレルコー
パスを作成して, パラレルコーパスにおける共起頻度データとコンパラブルコー
パスにおける共起頻度データを比較することができれば, コンパラブルコーパ
スとパラレルコーパスのずれを分析できるが, 大量データでの実現は困難であ
る. そこで, いくつかのドメインをサンプリングして, 小規模でもパラレルコー
パスとコンパラブルコーパスを作成して評価する方法が考えられる. 例えば, 
すでにパラレルコーパスが存在するものをいくつかの異なる分野で収集して, 
パラレルコーパスと同じ分野のコーパスを類似文検索の手法を用いてそれぞれ
の言語で独立に収集することによって, コンパラブルコーパスを作成する. ま
た, 実際に収集したコンパラブルコーパスの中には, パラレルコーパスとなっ
ているものもある. 対訳辞書と統計情報を用いてテキスト照合を行なうことに
より, パラレルコーパス部分を抽出することも可能だと考えられる
\cite{Utsuro94al}. 
パラレルコーパス部分とコンパラブルコーパス部分を分離して, 共起頻度デー
タを作成して比較することで, コンパラブルコーパスの質の評価が可能になる. 

さらに, コーパスの量に関する評価として, コーパスの量と検索精度の関係を明
らかにする必要がある. 現状の５０万記事以上を集めるのは, 必ずしも容易で
はないので, 量を減少させた場合の検索精度の変化を測定する予定である. そ
の際には, コーパスに含まれる記事のドメインの割合が同じくなるように
変化させることが必要と考える. 

今後, 上述した手法でコーパスの質と量に関する分析を行ない, コンパラブル
コーパスの収集方法と質的・量的評価手法を確立していく. 




\section{関連研究}

CLIRのシステムは利用するリソースから以下のように分類される\cite{hull97}. 


  \noindent {\bf ・コーパスベースシステム}

コーパスベースシステムは, パラレルコーパスやコンパラブルコーパスをキュ
エリの翻訳のために用いる. LSI(Latent Semantic Indexing)は, 行列の次元
を縮退させる手法で, パラレルコーパスから言語に依存せずに, タームとドキュ
メントを表現することができる\cite{14,17}. LSIは, パラレルコーパスから
抽出したタームとドキュメントの対応をターム/ドキュメント間頻度マトリク
スに, 特異値分析法(singular value decomposition)を適用して, 次元数を縮退
し新たな空間を形成するベクトルを抽出する. LSIが, トレー
ニングコーパス以外のドメインでどの程度有効なのかは明らかではない. ETH
は, 疑似的なパラレルコーパスとシソーラスを用いて類似のキュエリタームを
拡張しながら, ドイツ語キュエリをイタリア語キュエリに変換した\cite{26}. 
シソーラスを用いた類似性判定では, タームの分布状況によって, ドキュメン
トにまたがるタームを関連つける. 拡張されたイタリア語キュエリタームが, 
イタリア語ドキュメントと照合される. この手法は, 平均適合率で単言語の検
索の約半分の精度を得たが, ドメイン依存の問題点がある. 

また, 機械翻訳のためにコンパラブルコーパスから単語レベルの訳語知識を抽
出する手法がいくつか提案されている
\cite{Fung95,Fung97,Rappo95,Kaji96,Tanaka96}. 
訳語集合抽出に活用できる
手法については比較・検討し, GDMAX法の改良のために参考としていく. 

  \noindent {\bf ・辞書ベースシステム}

辞書ベースシステムは, 対訳辞書によってタームやフレーズを翻訳しすべての
翻訳結果を結合してキュエリを生成する. SPIRITは, ターム, 複合語, イディ
オムの辞書を用いてキュエリタームを翻訳しブーリアンモデルによって検索する
\cite{23}. この辞書ベースのシステムは, 単言語検索の75-80 \%の精度を得
たが, 機械翻訳システムでは, 60-65 \% の精度であった. この性能は, ドメ
イン対応辞書を作ってキュエリをマニュアル編集した結果によるものであり, 
機械翻訳においても, ドメイン辞書を用意して比較したものである. 我々も, 
対訳辞書をドメインに適応させた後, GDMAX法に関して同様の比較実験を行な
う予定である. 辞書ベースシステムに関して, David Hullは, 自身のシステム
の実験の中でキュエリの約20\%は, キュエリ翻訳の訳語の曖昧性の問題により, 
不適切なものになっていることを報告している\cite{hull97}. 対訳辞書の改
良とともに, GDMAX法に関しても同様の分析を行なう. 

  \noindent {\bf ・ハイブリッドシステム}

ハイブリッドシステムは, キュエリ翻訳のために, 辞書, コーパス, ユーザイ
ンタラクションなどを組み合わせて用いるもので, GDMAX法は, この範疇に属
する. 日英の言語対の報告ではないが, 以下の評価結果とGDMAX法の結果を比
較検討する予定である. マサチュセッツ大学では, 翻訳前と翻訳後のフィード
バックを用いる手法を提案している\cite{1}. キュエリの拡張には, キュエリ
タームと高頻度で共起するタームを選択する自動フィードバック手法が用いら
れている. キュエリ拡張は, ソース言語で翻訳前に, ターゲット言語で翻訳後
に行なう. 翻訳前のフィードバックは, 検索結果と関係のないコーパスを用い
て, 翻訳後のフィードバックは, 検索結果のコーパスを用いて行なわれる. はじめ
は, 単言語検索の40-50 \%の精度だったものが, キュエリ拡張により, 60-65
\% まで向上した\cite{1}. 
ニューメキシコ州立大学は, 品詞タガーを使って, 同じ品
詞の訳語だけを選択するようにしている. さらに, 各タームの訳語候補の中か
ら, パラレルコーパス中のアラインメントされた文に着目して, 最も対応性の
高い訳語を選択する. CLIRの精度は, 初期翻訳では40-50 \%の精度であったが, 
この2段階の訳語絞り込みにより70-75 \% の精度となった\cite{5}. CNR は, 
コンパラブルコーパスを用いた自動キュエリ翻訳の手法を提案している
\cite{20}. ソース言語のキュエリタームは, 限られた範囲内で共起する単語集合とい
うプロファイルで表現される. ターゲット言語のキュエリタームに関しても同様のプロ
ファイルが作成される. ソース言語のプロファイルは, 対訳辞書を用いて翻訳
され, ターゲット言語のプロファイルと最も類似しているものが認定される. 
その中で上位のターゲット言語のタームが, 翻訳キュエリとして用いられる. 
この手法は, ソース言語キュエリとターゲット言語キュエリをプロファイルと
いう別の形式で表現し比較する点において, GDMAX法と類似しているが, 共起
する単語というインスタンスで表現している点で異なる. GDMAX法は, 共起頻度と
いう数値と共起の次元数も複数とれるので, より一般的な記述と考えられる. 
CNRについては, 具体的な評価結果が報告されていないが, 同様の実験を日英
に関しても行なって比較評価していきたい. 


\section{おわりに}

本稿では, クロス言語情報検索のためのキュエリ翻訳手法として, GDMAX法を
提案した. GDMAX法をTREC6の50万件の英語ドキュメントと15の日本語キュエリ
を用いて実験評価したところ, 理想訳に比べて再現率の各ポイントの平均で約
62\%の精度を得た. また, 適合率/再現率において, 機械翻訳を用いる方法, 
対訳辞書を用いる方法よりも高い精度を得た. 今後は, 対訳辞書を整備しシソー
ラスと統合するとともに, GDMAX法の一般化によって検索精度の向上を図って
いく予定である. 


\acknowledgment

本研究を進めるにあたって, DMAX法に関して, C\&Cメディア研究所音声言語TG
の土井伸一氏より, また, 関連研究並びにGDMAX法の検討にあたって, C\&Cメ
ディア研究所音声言語TGの山端潔氏より, 有意義なコメントを頂きました. ま
た, 東京工業大学の田中穂積教授と徳永健伸助教授からは, 論文作成にあたり
大変貴重なコメントを頂きました. 



\bibliographystyle{jnlpbbl}
\bibliography{draft}

\newpage
\begin{biography}
\biotitle{略歴}
\bioauthor{奥村 明俊}{
1984年京都大学工学部精密工学科卒業．
1986年同大学院工学研究科修士課程修了．同年，日本電気株式会社入社．
1992年10月より1年半南カリフォルニア
大学客員研究員としてDARPA機械翻訳プロジェクトに参加．
現在，C\&Cメディア研究所，主任研究員．
自然言語処理，自動通訳システムの研究に従事．
情報処理学会，人工知能学会，ACL各会員}

\bioauthor{石川 開}{
1994年東京大学理学部物理学科卒業．
1996年同大学大学院修士課程修了．同年，日本電気株式会社入社．
1997年ATR音声翻訳通信研究所出向．
現在，第三研究室，研究員．
音声翻訳，情報検索の研究に従事．
情報処理学会会員}

\bioauthor{佐藤 研治}{
1989年京都大学工学部情報工学科卒業．
1991年同大学院工学研究科修士課程修了．同年，日本電気株式会社入社．
現在，C\&Cメディア研究所，主任．
自然言語処理，情報分類の研究に従事．
情報処理学会，人工知能学会，各会員}


\bioreceived{受付}
\biorevised{再受付}
\biorerevised{再々受付}
\bioaccepted{採録}

\end{biography}

\end{document}

