



\documentstyle[jnlpbbl,epsbox]{jnlp_j_b5}

\setcounter{page}{43}
\setcounter{巻数}{6}
\setcounter{号数}{5}
\setcounter{年}{1999}
\setcounter{月}{7}
\受付{1998}{11}{5}
\再受付{1999}{2}{8}
\採録{1999}{4}{23}


\title{論文間の参照情報を考慮した\\
  サーベイ論文作成支援システムの開発}
\author{難波 英嗣\affiref{JAIST} \and
  奥村 学\affiref{JAIST}}

\headauthor{難波, 奥村}
\headtitle{論文間の参照情報を考慮したサーベイ論文作成支援システムの開発}

\affilabel{JAIST}{北陸先端科学技術大学院大学 情報科学研究科}
{School of Information Science, Japan Advanced Institute of Science and Technology}

\jabstract{
\quad 
本稿では，データベースから関連する論文を自動的に収集し，人間が特定分野の
サーベイ論文作成する作業を支援するシステムを示す．本研究では，サーベイ論
文作成支援の際，論文の参照情報に着目する．論文の参照情報とは，論文中でそ
の論文と参照先論文との関係について記述されている箇所(参照箇所)から得られ
る情報のことで，参照先論文の重要点や，参照元と参照先論文間の相違点を明示
する有用な情報が得られる．サーベイ論文作成には2つの処理(1)特定分野の論文
の収集(2)論文間の相違点の検出が必要であると考えられる．本研究では参照情
報を利用することでこれらの処理が部分的に実現可能であることを示す．具体的
には，ある論文が他の論文を参照する時の参照の目的を，cue wordを用いて解析
し，論文の参照・被参照関係にリンク属性(参照タイプ)を付与する．結果として，
参照箇所抽出ではRecall 79.6\%，Precision 76.3\%の精度が得られた．また，
参照タイプ決定では83\%の精度が得られた．これらの参照タイプを利用し，ある
特定分野の論文を自動的に収集するのに近い処理が可能になった．また，ユーザ
に論文間の参照関係を表すグラフ，グラフ中の個々の論文のアブストラクト，論
文間の相違点の記述された参照箇所を提示するシステムを構築した．このシステ
ムを利用することで特定分野の論文が自動収集され，また収集された論文集合の
論文間の相違点が明らかにされるため，参照情報がサーベイ論文作成の支援に有
用であることが示された．}

\jkeywords{複数論文の要約，参照関係，手がかり語}

\etitle{Towards Multi-paper Summarization\\
Using Reference Information}
\eauthor{Hidetsugu Nanba\affiref{JAIST} \and
 Manabu Okumura\affiref{JAIST}}

\eabstract{ \quad In this paper, we present a system to support writing
a survey of the specific domain. In this system, we use reference
information. Reference information includes the reference relationships
between papers and the information which can be derived from the
description around the citation, and be useful for understanding the
difference between the referring and referred papers. To write a survey,
at least two processes are necessary. One is to collect papers of some
domain. Another is to make clear the differences between papers. We
think the reference information is useful for these two
processes. Firstly, we try to extract a fragment of texts where the
author describes about a referring paper. We call the fragment
``Reference Area''. Secondly, we attempt to analyze the purpose of
reference. We divide that into three categories(we call these categories
``Reference Types''), and develop the method to determine the type by
using cue words．As a result, we got the recall of 79.6\% and the
precision of 76.3\% in reference area extraction, and the accuracy of
83\% in reference type decision. Making use of these reference types，we
can collect a set of papers in the same domain. Finally, we build up a
system to display the reference graph of the papers. With the system,
abstracts and reference areas of papers can be seen. Users of this
system can easily collect papers of some specific domain, and also can
understand the differences between the related papers.  }

\ekeywords{multi-paper summarization, reference relation, cue word}

\raggedbottom
\begin{document}
\thispagestyle{myheadings}
\maketitle

\section{はじめに}

近年，研究者数の増加，学問分野の専門分化と共に学術情報量が爆発的に増加し
ている．また，研究者が入手できる文献の量も増える一方であり，人間の処理能
力の限界から，入手した文献全てに目を通し利用することが益々困難になってき
ている.

このような状況で必要とされるのは，特定の研究分野に関連した情報が整理，統
合された文書，すなわちサーベイ論文(レビュー)や専門図書である．サーベイ論
文や専門図書を利用することで，特定分野の研究動向を短時間で把握することが
可能になる．しかし，論文全体に対するサーベイ論文の占める割合が極端に少な
いという指摘がある\cite{Garvey79}．その理由の一つとして，サーベイ論文を
作成するという作業がサーベイ論文の作者にとって，時間的にも労力的にも非常
にコストを要することが挙げられる．しかし，今後の学術情報量の増加を考えれ
ば，このようなサーベイ論文の需要は益々高まっていくものと思われる.

我々はサーベイ論文を複数論文の要約と捉えており，サーベイ論文の自動作成の
研究を行っている．本来サーベイ論文とは，多くの論文に提示されている事実や
発見を総合化，また問題点を明らかにし，今後更に研究を要する部分を提示した
ものであると考えられる\cite{Garvey79}．しかし現在の自動要約の技術
\footnote{近年の自動要約技術の動向に関しては\cite{奥村98}を参照されたい.}
から考えると，このようなサーベイ論文の自動作成は，非常に困難であると思わ
れる．そこで関連する複数の論文中から各論文の重要箇所，論文間の相違点が明
示されている箇所を抽出し，それらを部分的に言い替えて読みやすく直した後，
並べた文書をサーベイ論文と考え，そのような文書の自動作成を試みる.

本稿では，その第１歩として，サーベイ論文作成を支援するシステムを示す．本
研究では，サーベイ論文作成支援の際，論文間の{\bf 参照情報}に着目する．一
般に，ある論文は他の複数の論文と参照関係にあり，また論文中に参照先論文の
重要箇所や，参照先論文との関係を記述した箇所(以後，{\bf 参照箇所})がある．
この参照箇所を読むことで，著者がどのような目的で論文を参照したのか(以後,
{\bf 参照タイプ})や参照/被参照論文間の相違点が理解できる．論文の参照情報
とは，このように論文間の参照・被参照関係だけでなく，参照箇所や参照タイプ
といった情報まで含めた物を指す．参照情報は特定分野の論文の自動収集や論文
間の関係の分析に利用できると考えられる.

本稿の構成は以下の通りである．2章では，複数テキスト要約におけるポイント
とサーベイ論文作成におけるポイントについて述べ，また関連研究を紹介する．
3章では参照箇所と参照タイプについて説明する．また，参照箇所，参照タイプ
がサーベイ論文作成においてどのように利用できるかについて述べる． 4章では，
3章で述べた考え方を基にしたサーベイ論文作成支援システムの実現方法につい
て説明する． また，参照箇所の抽出手法，参照タイプの決定手法について述べ
る．5章ではそれらの手法を用いた実験結果を示す．6章では，作成したサーベイ
論文作成支援システムの動作例を示す.

\section{サーベイ論文作成}

\subsection{サーベイ論文作成のポイント}

これまで，単一論文の要約に関して，論文中の重要箇所を抽出する数多くの手法
が提案されてきた(例えば\cite{Edmundson69,Kupiec95,Teufel97,Mani98})．し
かし，要約対象が複数論文の場合，単一論文の要約とは別に考慮すべき点が出て
くる．まず，要約対象となる複数の論文をどのように収集するのか．また，収集
してきたテキスト間で内容が重複する場合，従来の単一論文要約の手法を個々の
論文に適用し並べただけでは，個々の要約の記述が重複する可能性があり，冗長
で要約として適切ではない．そのため，冗長な箇所(論文間の共通箇所)をどのよ
うに検出し削除するかが問題となる．一方，冗長な箇所を削除しても複数論文の
要約文書としてはまだ十分であるとは言えない．複数論文を要約するとは，それ
らの論文を比較し要点をまとめることであり，そのためには論文間の共通点だけ
でなく相違点も明らかにすることが必要であると考えられる．さらに，要約文書
を作成するためには，検出された論文間の共通点や相違点を並べ，使用する単語
の統一，接続詞の付与，``we''，``they''，``in this paper''といった照応詞
の著者名への置換等，readabilityを上げるための処理が必要となる．従って，
複数論文要約のポイントは図\ref{fig:multi-paper-sum}のようにまとめること
ができる.

\vspace{-0.3cm}

\begin{figure}[h]
\[
\left\{ 
 \begin{array}{lll}
  (a) & 関連論文の自動収集 & \\
  (b) & 関連する複数論文からの情報の抽出 & 
\left\{ 
 \begin{array}{ll}
  (b)-1 & 重要箇所の抽出\\
  (b)-2 & 論文間の共通点の検出\\
  (b)-3 & 論文間の相違点の検出\\
 \end{array}
\right.
\\
  (c) & 論文の著者毎の文体の違い等を考慮した & \\
 & 要約文書の生成 & \\
 \end{array}
\right.
\]
\caption{複数論文要約のポイント\label{fig:multi-paper-sum}}
\end{figure}

\vspace{-0.3cm}

\subsection{関連研究}

神門は，手がかり語を用いて論文中の各文に構成要素カテゴリの自動付与を行い，
そのカテゴリを論文検索に応用している\cite{Kando97}(a)．このようにして収
集された特定分野の論文集合の「既存の研究」や「既存の研究の不完全さ」カテ
ゴリの文を抽出し，それらを並べて表示することで，その分野の基本的な動向を
把握するのに有用であると述べている(b)．神門は，このようなカテゴリの文が
「当該論文の著者の判断を通してみた，その課題に関する現状や背景を示してい
る」と考えている．本研究でもこのような著者の主観的な判断をサーベイ論文作
成の際に利用している．


対象テキストが学術論文とは異なるが，Yamamotoら\cite{Yamamoto95}，船坂ら
\cite{船坂96}，稲垣ら\cite{稲垣98}，柴田ら\cite{柴田97}，McKeownら
\cite{McKeown95}，Maniら\cite{Mani97}はいずれも，複数の新聞記事を対象に
複数記事要約を試みている\footnote{これらの論文のサーベイについては，
\cite{奥村98}の5章を参照されたい}．要約対象が新聞記事の場合，次のような
特徴がある.

\vspace{0.3cm}

\begin{itemize}
 \item 新聞記事は，記事中の事実文が重要であると考えられることが多い．従っ
       て，客観的な正解データが作成しやすいと思われる．
 \item 図\ref{fig:multi-paper-sum},(c)に関して，新聞記事では文体がある程
       度統一されているため，記事間の文体の違いをあまり意識する必要がな
       い.
\end{itemize}

一般に，論文には著者毎の文体の違いが存在し，しかも新聞記事を要約対象とし
た場合と比べてその違いが大きいため，論文間の共通点の検出には新聞記事の場
合のような各文中の個々の形態素の比較といった手法が適用しにくい．また，論
文は著者毎に異なる観点で書かれているため，複数論文をまとめるにはどのよう
な観点でまとめるのかが重要なポイントとなる．本研究では，このような著者毎
の観点の違いに着目している．


\section{サーベイ論文作成における参照情報の利用}

\subsection{参照箇所と参照タイプ}



図\ref{fig:reference_area}の5文は\cite{Bond96a}中で\cite{Murata93}を参照
している文の前後数文を抜粋したものである\cite{Bond96a}，\cite{Murata93}
は共に，機械翻訳に関する論文で，特に数詞表現について取り扱っている．文
(2)では，参照先論文\cite{Murata93}について，どのような問題を取り扱った論
文であるかについて述べられている．文(3)では，参照先論文の問題点の指摘が
なされている．そして文(4)では，参照元論文\cite{Bond96a}がその問題点を考
慮した論文であると述べている．

\begin{figure}[t]
\begin{center}
\small
\begin{tabular}{|c|}\hline
\begin{minipage}[c]{13.5cm}
\flushleft{
in \cite{Bond96a}
\vspace{0.2cm}
\begin{quote}
(1)In addition, when Japanese in translated into English, the selection
 of appropriate determiners is problematic.\\
{\bf
(2)Various solutions to the problems of generating articles and possessive pronouns and determining countability and number have been proposed \cite{Murata93}.\\
(3)The differences between the way numerical expressions are realized in Japanese and English has been less studied.\\
(4)In this paper we propose an analysis of classifiers based on properties of both Japanese and English.\\
}
(5)Our category of classifier includes both Japanese jos\=ushi `numeral classifiers' and English partitive nouns.
\end{quote}
\begin{center}
\begin{center}
参照箇所 文(2)〜(4)
\end{center}
\end{center}
}
\end{minipage}
 \\ \hline
\end{tabular}
\end{center}
\caption{type Cの参照箇所\label{fig:reference_area}}
\end{figure}
\normalsize

ここで，参照元論文\cite{Bond96a}と参照先論文\cite{Murata93}の関係は文(2)〜
(4)を読めばわかる．このように参照元/参照先論文の関係が明示されている箇所
を{\bf 参照箇所}と呼ぶ．参照箇所を読むことで参照元論文の参照の理由({\bf 
参照タイプ})や，参照元/参照先論文の関係が容易に理解できる．我々は，
Weinstockの15種類の参照の理由\cite{Weinstock71}の分類を基に，参照タイプ
を次に示す3種類に分類する.

\vspace{0.3cm}

\begin{itemize}
 \item {\bf type B(論説根拠型)}\\
       新しい理論を提唱したり，システムを構築する場合，他の研究者の研究
       の成果を利用する場合がある．例えば，他の研究者が提唱する理論や手
       法を用いて新しい理論を提唱する場合などである．
       このような参照タイプを{\bf type B(論説根拠型)}と呼ぶ.
 \item {\bf type C(問題点指摘型)}\\
       新しく提案した理論や，構築したシステムの新規性について述べる場合，
       関連研究との比較，あるいは既存研究の問題点の指摘を行う場合がある．
       このような目的の参照タイプを{\bf type C(問題点指摘型)}と呼ぶ.
 \item {\bf type O(その他型)}\\
       type Bにもtype Cにも当てはまらない参照を{\bf type O(その他型)}と
       する.
\end{itemize}

\vspace{0.3cm}

我々は，3つの参照タイプの中でtype Cが最も重要であると考えている．type C
の参照箇所からは，図\ref{fig:C-type_refer}のような情報が得られる．図
\ref{fig:reference_area}の例の場合，文(2)が($\alpha $)に，文(3)が($\beta
$)に，文(4)が($\gamma $)にそれぞれ対応する．ここで，($\alpha $)は参照元
論文の著者の観点から見た参照先論文の一種の要約であると考えられ，同時に参
照元/参照先論文がどのような観点で共通点があるのかを示している箇所である
と捉えることもできる．文(2)では，参照元/参照先論文の両方が，冠詞，所有代
名詞，可算・不可算，数詞等の生成を問題にしている論文であると述べている．
一方，既存研究の問題点と著者の研究の目的が文(3),(4)に書かれており，これ
が論文間の相違点と考えられる．このように，type Cの参照箇所には論文間の共
通点や相違点に関する事項が書かれているため，サーベイ論文作成に有用である
と思われる.

       
\begin{figure}[t]
 \[
 \left\{ 
 \begin{array}{ll}
  (\alpha ) & 既存研究の紹介 \\
  (\beta ) & 既存研究の問題点 \\
  (\gamma ) & 参照元論文の研究の目的 \\
 \end{array}
 \right.
\]
\caption{type Cの参照箇所中の記述\label{fig:C-type_refer}}
\end{figure}


\subsection{サーベイ論文作成における参照情報の利用}


\subsubsection{関連論文の自動収集}

本研究では関連論文の自動収集に，論文間の参照関係を利用する．論文間の参照
関係を単純に辿ることで，ある程度自動的に関連論文を収集することが可能であ
ると考えられる．しかし，そのようにして得られた論文集合は複数分野の論文が
混在してしまう可能性があり，サーベイ論文作成上望ましくない．そこで，必要
な参照関係のみを辿って論文を収集する手法が必要とされる．そのために，参照
タイプを考慮した論文収集の手法が考えられる．我々は，type Cの参照関係が論
文収集に有効であると考えている．それは，「type Cの参照箇所中の``既存研究
の紹介''の記述が参照元/参照先論文共通の問題点である」という仮定に基づい
ている．この仮定がどの程度正しいか，次章で説明する論文データベースを用い
て調べた．その結果，論文データベース中でtype Cの参照関係で結ばれる参照元
/参照先論文31組のうち，29組は参照元/参照先共に同じ分野の論文であることが
確認された．図\ref{fig:graph}は，被要約対象論文の集合を示している(図中の
楕円内の論文集合を以後，{\bf 参照グラフ}と呼ぶ)

\begin{figure}[t]
\centering
\epsfile{file=Images/s-sim-def.eps,scale=0.6}
\caption{論文間の共通点と相違点\label{fig:graph}}
\end{figure}

\subsubsection{論文間の共通点，相違点の検出}

type Cの参照箇所から得られる情報(図\ref{fig:C-type_refer})と，複数論文要
約のポイント(図\ref{fig:multi-paper-sum})との関係について，$(\alpha )$は
(b)-1,2に，$(\beta )$と$(\gamma )$は(b)-3にそれぞれ対応している．従って，
参照箇所を抽出し提示することで，サーベイ論文作成支援が可能になると考えら
れる．

さて，ひとつの論文を他の複数の論文が参照する場合，著者の観点毎に参照の仕
方も異なる可能性がある． 図\ref{fig:reference_area}には，\cite{Bond96a}
の\cite{Murata93}に関する参照箇所を示したが，図\ref{fig:reference_area2}
に，\cite{Murata93}に関する\cite{Bond94}と\cite{Takeda94}の参照箇所を示
す．\cite{Bond96a}中の文(1)は図\ref{fig:multi-paper-sum}の$(\alpha )
(\beta )$に，文(2)は$(\gamma )$にそれぞれ対応する．また\cite{Takeda94}中
の文(1)(2)が$(\alpha )$に，文(3)が$(\beta )(\gamma )$に対応する．2つの論
文の$(\alpha )(\beta )(\gamma )$同士を比較すれば，同じ\cite{Murata93}に
関しても著者毎に参照の仕方が様々であることがわかる．このように，ひとつの
論文を参照する複数の論文中の参照箇所(著者の観点の違い)を比較することはサー
ベイ論文作成の上で有用であると考えられる.

\begin{figure}[t]
\begin{center}
\vspace{0.1cm}
\small
\begin{tabular}{|c|}\hline
\begin{minipage}[c]{13.5cm}
{\bf
\flushleft{
in \cite{Bond94}
\vspace{0.5cm}
\begin{quote}
(1)Recently，\cite{Murata93} have proposed a method of determining the
referentiality property and number of nouns in Japanese sentences for
machine translation into English，but the research has not yet been
extended to include the actual English generation.\\
(2)This paper describes a method that extracts information relevant to
countability and number from the Japanese text and combines it with
knowledge about countability and number in English.
\end{quote}
\vspace{0.5cm}
}
}
\end{minipage}
 \\ \hline
\end{tabular}
\begin{tabular}{|c|}\hline
\begin{minipage}[c]{13.5cm}
{\bf
\flushleft{
in \cite{Takeda94}
\vspace{0.5cm}
\begin{quote}
(1)Another example is the problem of identifying {\it number} and {\it
 determiner} in Japanese-to-English translation.\\
(2)This type of information is rarely available from a syntactic
 representation of a Japanese noun phrase，and a set of heuristic
 rules\cite{Murata93} is the only known basis for making a reasonable
 guess.\\
(3)Even if such contextual processing could be integrated into a logical
 inference system，the obtained information should be defeasible，and
 hence should be represented by green nodes and arcs in the TDAGs．
\end{quote}
\vspace{0.5cm}
}
}
\end{minipage}
 \\ \hline
\end{tabular}
\end{center}
\caption{\cite{Murata93}に関するtype Cの参照箇所\label{fig:reference_area2}}
\end{figure}

\normalsize

\section{サーベイ論文作成支援システム}

前章で，ひとつの論文を他の複数の論文が参照する場合は，著者の観点毎にまと
める必要があることについて述べた．しかし同じ事項を述べる場合でも，論文の
著者毎に用いる単語や文体等が異なるため，形態素同士の比較といった単純な手
法では著者毎の観点の同一性は明らかにできない．また，著者の使用する単語や
文体等の違いは，著者の観点の分類だけでなく，サーベイ論文生成時にも問題が
ある．論文間の共通点や相違点を検出して並べただけではreadabilityに欠ける
ため，ひとつのサーベイ論文として非常に読みづらくなると思われる．
readabilityを向上するためには使用する単語や文体の統一といった処理を必要
とするが，それには高度な言い替えの処理技術が必要になると考えられる.

そこで，本稿ではサーベイ論文の自動作成ではなく，サーベイ論文作成システム
実現の第1歩として，関連論文を自動収集し，関連論文間の相違点や各論文の
ABSTRACTが表示できるサーベイ論文作成支援システム作成を試みた.

\subsection{論文間の参照・被参照関係の解析}

サーベイ論文作成の対象としてe-Print archive
\footnote{http://xxx.lanl.gov/cmp-lg/}という論文データベースの``The
Computation and Language''の分野の論文の\TeX ソース約450本を用いる．論文
間の参照情報を利用して要約を作成するには，まず要約対象となる論文データベー
ス中の論文間の参照・被参照の関係を解析する必要がある．\TeX には参考文献
を記述するためのコマンドbibliographyがあり，これを解析することで自動的に
450本の\TeX ソース間の参照関係が明らかにできる.

図\ref{fig:biblio}は，\TeX ファイル\cite{Bond96a}(cmp-lg/9608014)の参考
文献の記述の一部を抜粋したものである．\cite{Bond96a}は論文中で
\cite{Murata93}を参照している．

一方，e-Print archiveの論文リストファイルをftpサイトより入手することがで
きる．図\ref{fig:e-list}はそのリストの一部を抜粋したものである.
\cite{Bond96a}(cmp-lg/9608014)が\cite{Murata93}(cmp-lg/9405019)を参照し
ているという情報を得るには，図\ref{fig:biblio}と図\ref{fig:e-list}の論文
が同一であることを判断する必要がある．そこで，bibliography中の論文のタイ
トルや著者名の記述のありそうな箇所から単語(キーワード)を切り出し，切り出
された全ての単語を含むような書誌情報を持つものを論文リストから検索する，
という手法で論文間の参照・被参照関係の解析を行う．どのようにして
bibliographyから検索に有用なキーワードを切り出すかが問題となるが，参考文
献の記述形式に着目する．齊藤ら\cite{齊藤93}によれば，参考文献の記述形式
は多くの場合，最初に著者名，次に文献名が記述される．場合によっては著者名
の後に発行日が記述されるケースもある．そこで，図\ref{fig:biblio}のような
個々のbibitemの先頭3行以内に含まれる単語からアルファベット以外のデータは
すべて除去し，残ったものをキーワードとして利用する．図\ref{fig:biblio}の
場合以下の語がキーワードとなる.

\begin{quote}
 ``Murata''，``Masaki''，``Makoto''，``Nagao''，
 ``Determination''，``of''，``referential''，``property''，``and'',
 ``number''，``of''，``nouns''，``in''
\end{quote}

\begin{flushleft}
そして，これらのキーワードを用いてe-Print archiveの論文リストに対してand
検索をかけ,論文間の参照・被参照関係の解析を試みた結果，94\%の精度が得ら
れた．
\end{flushleft}

\begin{figure}[t]
\begin{center}
\begin{tabular}{|c|}\hline
\begin{minipage}[c]{13.5cm}
{\bf
\flushleft{
\vspace{0.3cm}
\begin{quote}
{\footnotesize
\begin{verbatim}
\bibitem[\protect\citename{Murata and Nagao}1993]{Murata:1993a}
Murata，Masaki and Makoto Nagao.
\newblock 1993.
\newblock Determination of referential property and number of nouns in
Japanese sentences for machine translation into English.
\newblock In {\em Proceedings of the Fifth International Conference on
Theoretical and Methodological Issues in Machine Translation (TMI~'93)}，
 pages 218--25, July.
\end{verbatim}
}
\end{quote}
}
}
\vspace{0.3cm}
\end{minipage}
 \\ \hline
\end{tabular}
\end{center}
\caption{\TeX ファイル中のbibliographyコマンドの使用例\label{fig:biblio}}
\end{figure}
\vspace{-0.5cm}

\normalsize

\begin{figure}[t]
\begin{center}
\begin{tabular}{|c|}\hline
\begin{minipage}[c]{13.5cm}
{\bf
\flushleft{
\vspace{0.3cm}
\begin{quote}
{\footnotesize
\begin{verbatim}
\\
Paper: cmp-lg/9405019
Title: Determination of referential property and number of nouns in Japanese
sentences for machine translation into English
Author: Masaki Murata，Makoto Nagao
Comments: 8 pages，TMI-93
\\
\end{verbatim}
}
\end{quote}
}
}
\vspace{0.3cm}
\end{minipage}
 \\ \hline
\end{tabular}
\end{center}
\caption{e-Print archive論文リスト中の書誌情報の一例\label{fig:e-list}}
\end{figure}
\normalsize

\subsection{参照箇所の抽出}

参照箇所の抽出とは，citationの出現する段落において，citationのある文と文
間のつながりが強いと考えられる文を，citationの前後の文から抽出する処理と
考えることができる．このような文間のつながりは大まかに(1)照応詞(2)接続詞
(3)1人称代名詞(4)3人称代名詞(5)副詞，(6)その他の6つの種類に分類される語
により示されていると我々は考え，これらの6つの分類を考慮し，cue wordを用
いて参照箇所の抽出を試みた．cue wordとしてどのような語を用いるかは，人間
が主観的に決める方法もあるが，本研究では，参照箇所コーパスのn$-$word
gram統計をとり半自動的にcue wordを得ることを試みた．n$-$word gram統計の
結果を分類し整理することで，最終的に86個のcue wordを得た．なお，n$-$word
gram統計をとる際，大文字，小文字の区別をしている．表\ref{table:ra_cue}に
cue wordの例を示す.

\begin{table}[t]
\caption{参照箇所抽出用cue wordの例\label{table:ra_cue}}
\begin{center}
\begin{tabular}{|l|l|}\hline
 {\bf (1)照応詞} & In this, On this, Such \\ \hline
 {\bf (2)接続詞} & But, However, Although \\ \hline
 {\bf (3)１人称}  & We, we, Our, our, us, I \\ \hline
 {\bf (4)３人称}  & They, they, Their, their, them \\ \hline
 {\bf (5)副詞} & Furthermore, Additionally, Still \\ \hline
 {\bf (6)その他} & In particular, follow, For example \\ \hline
\end{tabular}
\end{center}
\end{table}

\begin{figure}[t]
\vspace{-0.8cm}
\centering
\epsfile{file=Images/flow_ra.eps,scale=0.6}
\caption{参照箇所抽出の手順\label{fig:ext_ra}}
\end{figure}

{\small
\begin{figure}[t]
\centering
\begin{tabular}{|c|}\hline
\begin{minipage}[c]{13.5cm}
\vspace{0.5cm}
\begin{quote}
\begin{verbatim}
# cue wordの設定
@this_cue=('For this','For these','On this','On these','In this',
           'In these','This','These');
@however_cue=('However','however','But','In spite of','in spite of'…);

# 照応詞に関する参照箇所抽出ルール
foreach $cue (@this_cue){  # ルール1
   if($paragraph[$first_sentence]=~/$cue/){$first_sentence--}
}

# 接続詞に関する参照箇所抽出ルール
foreach $cue (@however_cue){ # ルール2
   if($paragraph[$first_sentence]=~/$cue/){$first_sentence--}
}
foreach $cue (@however_cue){ # ルール3
   if($paragraph[$last_sentence]=~/$cue/){$last_sentence++}
}
…
\end{verbatim}
\end{quote}  
\vspace{0.5cm}
\end{minipage}
 \\ \hline
\end{tabular}
\caption{参照箇所抽出ルールの例\label{fig:ext_rule}}
\end{figure}
}

次に，cue wordを用いた参照箇所抽出の手順を図\ref{fig:ext_ra}に示す．入力
は，予めcitationの含まれる段落を1行1文の形に直し，配列(paragraph)に入れ
ておき，ルールを用いて参照箇所抽出を行う．参照箇所抽出ルールとは，「参照
箇所候補となる文の前後の文にcue wordが出現すれば，その文も参照箇所候補に
含める」といったものである．参照箇所抽出ルールの例を図\ref{fig:ext_rule}
に示す．

図\ref{fig:ext_rule}において，変数\$first\_sentenceとは参照箇所候補の最
初の一文の文番号，\$last\_sentenceは最後の一文の文番号を意味する．図
\ref{fig:ext_rule}に示すようなルールを11種類作成し，抽出を試みた．一方，
これらの11種類のルールの中には参照箇所抽出精度低下の原因となるルールも含
まれる可能性が考えられる．従って，11種類のルールの組み合わせ$2^{11}$通り
の中で最も精度が高くなる場合が，ルールの最適な組み合わせであると考えられ
る．調査の結果，11種類のうちで10種類のルールを組み合わせた場合，参照箇所
抽出精度が最も高くなり，この組み合わせで参照箇所抽出を行うことにした．

\subsection{参照タイプの決定}

参照箇所中で，例えばcitationの後の文が``However''で始まるような場合，参
照元論文の著者は参照先論文の何らかの問題点を指摘している(type C)と考えら
れる．また，citationの前に``We use''や``We adopt''といった語が出現する場
合，参照元論文は参照先論文の理論や手法等をベースにしている(type B)と思わ
れる．従って，参照タイプ決定には，まず``However''や``We adopt''といった，
参照タイプ決定のためのcue word listを作成し，次にcue wordとcitationの出
現順序を考慮したルールを作成することが必要であると考えられる．

まず，cue wordの抽出方法について述べる．学術論文には，論文特有の構造があ
る．Biberらは，医学論文において``Introduction''，``Methods''，
``Discussion''，``Results''の4つのsectionで使われる言語の特徴を調査し，4
つのsection間の言語的な特徴の違いを明らかにしている\cite{Biber94}．本研
究では参照タイプ毎にこのようなsectionに注目した．type Cの場合，論文中の
``Introduction''，``Related Work''，``Discussion''に注目した．また，B
typeについては, ``Introduction''，``Experiment''のsectionに注目した．
e-Print archiveの論文約450本からsection毎にn$-$word gramをとり，次にcost
criteria \cite{Kita94}を利用することでcue wordの候補のリストを自動的に作
成した．n$-$word gram統計をとる際，大文字と小文字の区別を行った．また，カ
ンマやピリオドも一語として取り扱った．こうして得られたリストから，参照タ
イプ決定に有用であると思われるものを，type C用に76個，type B用に84個を，
cue word として選びだした．cue wordの一部を表\ref{table:cue1}，表
\ref{table:cue2}に示す．

\begin{table}[t]
\caption{type C決定用cue word の例\label{table:cue1}}
\begin{center}
\begin{tabular}{|c|c|c|}\hline
 Although，& Though，& ,although \\ \hline
 However ，& however，their & however，the \\ \hline
 but the & but it & But they \\ \hline
 In spite of & Instead of & But instead \\ \hline
 does not & did not & was not \\ \hline
 should not & has not & were not \\ \hline
 not require & not in effect & not provide \\ \hline
 difficult to & more difficult & a difficult \\ \hline
\end{tabular}
\end{center}
\end{table}

\begin{table}[t]
\caption{type B決定用cue word の例\label{table:cue2}}
\begin{center}
\begin{tabular}{|c|c|c|}\hline
 based mainly on & basis & is based on \\ \hline
 the basic & used in & uses? of \\ \hline
 used by & to use a & can use \\ \hline
 that can & We can & We use \\ \hline
 which can be & follow & useful for \\ \hline
 available in & available for & applied to \\ \hline
 the application of & application to & We adopted \\ \hline
 extend the & extended to & For this \\ \hline
\end{tabular}
\end{center}
\end{table}

次に参照タイプ決定ルールについて説明する．参照タイプ決定は，表
\ref{table:cue1}，表\ref{table:cue2}に示すcue wordを用いてルールを作成し
た．参照タイプ決定には，本節の始めでも述べたようなcitationとcue wordの出
現順序を考慮することが有用であると考えられ，この情報を用いたルールを作成
した．ルールは大きく2種類に分けることができる．ひとつはtype Cに決定する
ためのルール，もうひとつはtype Bに決定するためのルールである．そして，B，
Cいずれのタイプも割り振られなかった参照箇所を type Oとする．ルールは各
cue word毎に作成されているため，type C決定用ルールは76個，type B決定用ルー
ルは84個ある．これらのルールの適用順序について説明する．type C決定用ルー
ルは76個の順序を入れ換えても参照タイプ決定精度には影響がない．type B用ルー
ル84個についても同様である．そこで，type C用ルール，type B用ルールの順に
適用した後にtype Oを割り振った場合と，type B用ルール，type C用ルールの順
に適用した後にtype Oを割り振った場合について調べた．その結果，先にtype C
用ルールを用いた方が解析精度が高くなったので，type C用，type B用ルールの
順に適用した後，参照タイプがどちらにも割り振られなかったものをtype Oとし
た．参照タイプ決定ルーチンの一部を図\ref{fig:type_decision}に示す．参照
タイプ決定ルーチンでは，1行1文に整形された参照箇所を配列として，また配列
中のcitationの位置を入力値として受け取り，参照タイプB，C，Oを値として返
す．

{\small
\begin{figure}[t]
\centering
\begin{tabular}{|c|}\hline
\begin{minipage}[c]{13.5cm}
\vspace{0.3cm}
\begin{quote}
\begin{verbatim}
sub reference_type_decision($@){ # 参照タイプ決定ルーチン
  ($citeline,@ra)=@_; # $citeline : citationの位置
                      # @ra       : 参照箇所，1行1文のリスト         
# type C 決定用ルール
  for($i=1;$i<=3;$i++){if($ra[$citeline+$i]=~/However/]){return(C)}}
  for($i=0;$i<=2;$i++){if($ra[$citeline+$i]=~/ less studied/]){return(C)}}
  for($i=0;$i<=2;$i++){if($ra[$citeline+$i]=~/In spite of/]){return(C)}}
  …
# type B 決定用ルール
  for($i= -2;$i<=0;$i++){if($ra[$citeline+$i]=~/ based mainly on/])
                                                             {return(B)}}
  for($i= -3;$i<=0;$i++){if($ra[$citeline+$i]=~/ apply to /]){return(B)}}
  for($i= -2;$i<=0;$i++){if($ra[$citeline+$i]=~/Using the/]){return(B)}}
  …
# B，C に割り振られなかったものはtype O
  return(O);
}
\end{verbatim}
\end{quote}  
\end{minipage}
 \\ \hline
\end{tabular}
\caption{参照タイプ決定ルーチンの一部\label{fig:type_decision}}
\end{figure}
}

\section{実験}

\subsection{参照箇所の抽出}

前章で述べた手法の有効性を評価するため，参照箇所抽出実験を行った．評価は
式(\ref{f-measure})(b=1)に示すF-measure\cite{rijsbergen79} を用いて行う．

\begin{equation}
 \label{f-measure}
  F(F-measure)=\frac{(1+b^2) P R}{b^2 P+R}
\end{equation}

ここで，P，Rは以下により計算される．

\begin{equation}
 R(Recall) = 
 \frac{
  抽出された文のうち正解のものの数
 }{
 参照箇所コーパスの抽出すべき文の総数
 }
\end{equation}

\begin{equation}
 P(Precision) = 
 \frac{
  抽出された文のうち正解のものの数
 }{
 \left(
 \begin{array}{l}
  参照箇所抽出ルールにより\\
  抽出された文の総数
 \end{array}
 \right)
 }
\end{equation}

実験用データとして，citationの含まれる段落を1行1文に整形したものと，段落
中の何文目から何文目までが参照箇所かを記したものを150個用意した．段落の
切れ目は話題の切れ目と考え，参照箇所は最大でもcitationの含まれる段落全体
までとした．そのうちルール作成用を100個，評価用を50個とした．ルールにつ
いては4.2節で述べた通りである．また，ルール作成用データを用いて，参照箇
所抽出用の11種類のルールの最適な組み合わせを得た．この組み合わせで評価用
データに対して実験を行った．結果を表\ref{table:5_3}に示す.

\begin{table}[t]
\caption{参照箇所抽出精度\label{table:5_3}}
\begin{center}
\begin{tabular}{|c|c|c||c|}\hline
 & Recall(\%) & Precision(\%) & F-measure \\ \hline\hline
 本手法 & & & \\
 (ルール作成用) & 90.9 & 76.9 & 0.833 \\
 本手法 & & & \\
 (評価用) & 79.6 & 76.3 & 0.779 \\
 ベースライン 1 & 40.4 & 100.0 & 0.575 \\
 ベースライン 2 & 100.0 & 36.4 & 0.534 \\ \hline
\end{tabular}
\end{center}
\end{table}

本手法の有効性を示すために，2つのベースラインを考慮した．
citationの含まれる文のみを参照箇所として抽出した場合，その文は必ず参照箇
所である．この時F-measureは0.575(Recall/Precision: 40.4/100.0 \%)であった．
一方，citationのある段落全体を参照箇所として抽出した場合，参照箇所として
抽出されうる文はすべて含まれてしまう．この時F-measureは
0.534(Recall/Precision: 100.0/36.4 \%)であった．

表\ref{table:5_3}に示すように，本手法のF-measure値は2つのベースラインの
値を上回っており，従って参照箇所抽出手法の有用性が示されたと言える．



\subsection{参照タイプの決定}

参照タイプ決定実験の評価方法も参照箇所抽出と同様，Recall，Precisionを用
いた．式(4)(5)はtype Cのタイプ決定精度の評価方法である.

\begin{equation}
 Recall=\frac{
 \left(
 \begin{array}{l}
  ルールを用いてtype Cに決定された\\
   参照箇所のうち正解の数
 \end{array}
 \right)
  }
  {
  参照箇所コーパス中のtype C参照の数
  }
\end{equation}


\begin{equation}
 Precision = 
 \frac{
 \left(
 \begin{array}{l}
  ルールを用いてtype Cに決定された\\
  参照箇所のうち正解の数
 \end{array}
 \right)
 }{ルールを用いてtype Cに決定された参照箇所の数
 }
\end{equation}

\vspace{0.5cm}

実験用データとして，参照箇所とそのタイプを人手で決定したものを382個用意
し，そのうち282個をルール作成用，残り100個を評価用とした．ルール作成用デー
タにおけるタイプ決定精度を表\ref{table:training}に，評価用データにおける
精度を表\ref{table:evaluation}に示す.

\begin{table}[t]
\caption{ルール作成用データを用いた参照タイプ決定精度(282)\label{table:training}}
\begin{center}
\begin{tabular}{|c|c||r|r|r||r|}\hline
 \multicolumn{2}{|l||}\, & \multicolumn{3}{c||}{ルールで決定} & 
 {タイプ毎の}\\%\cline{3-5}
 \multicolumn{2}{|l||}\, & \multicolumn{3}{c||}{されたタイプ} & {
精度(\%)}\\ \cline{3-5}
 \multicolumn{2}{|l||}\, & \multicolumn{1}{c|}C & \multicolumn{1}{c|}B &
 \multicolumn{1}{c||}O & \\ \hline\hline
{正解の} & C & {\bf 46} & 2 & 1 & 93.9 \\ \cline{2-6}
       & B & 1 & {\bf 105} & 13 & 88.2 \\ \cline{2-6}
{タイプ} & O & 3 & 8 & {\bf 103} & 90.3 \\ \hline
\multicolumn{6}{c}{}\\
\multicolumn{6}{c}{\bf \large\underline{参照タイプ決定精度 90.1(\%)}}\\
\end{tabular}
\end{center}
\end{table}

\normalsize
\begin{table}[t]
\caption{評価用データを用いた参照タイプ決定精度(100)\label{table:evaluation}}
\begin{center}
\begin{tabular}{|c|c||r|r|r||r|}\hline
 \multicolumn{2}{|l||}\, & \multicolumn{3}{c||}{ルールで決定} & 
 {タイプ毎の}\\%\cline{3-5}
 \multicolumn{2}{|l||}\, & \multicolumn{3}{c||}{されたタイプ} & 
{精度(\%)}\\ \cline{3-5}
 \multicolumn{2}{|l||}\, & \multicolumn{1}{c|}C & \multicolumn{1}{c|}B &
 \multicolumn{1}{c||}O & \\ \hline\hline
{正解の} & C & {\bf 12} & 0 & 4 & 75.0 \\ \cline{2-6}
       & B & 2 & {\bf 25} & 5 & 78.1 \\ \cline{2-6}
{タイプ} & O & 1 & 5 & {\bf 46} & 88.5 \\ \hline
\multicolumn{6}{c}{}\\
\multicolumn{6}{c}{\bf \large\underline{参照タイプ決定精度 83.0(\%)}}\\
\end{tabular}
\end{center}
\end{table}

タイプ決定精度について考察する．過去の研究\cite{難波98}ではcue wordとし
てuni-gramを多く用いていたが，今回はcue word選定の際，極力排除した．それ
はuni-gramが参照タイプ決定の精度を低下させる要因になっていたためである．
例えばこれまでは``not''や``but''といった語をcue wordとして用いていたが，
`` not only 〜 but also''のように``not''や``but''が明らかに否定以外の目
的で使われているものもある．今回は例えば``not''に関するcue wordでは，
``can not''，``could not''，``might not''といったbi-gramをタイプ決定に利
用している．これにより，以前の解析精度(約66\%)を大幅に改善することができ
た．一方で，cue wordのような表層的な情報のみを用いたタイプ決定方法は精度
的にほぼ限界に達していると思われ，これ以上の精度向上には意味処理等を行う
必要があると考えられる.

\section{サーベイ論文作成支援システムの構築}

4章に基づき，サーベイ論文作成支援システムを作成した．サーベイ論文作成支
援の流れを図\ref{fig:system}に示す．サーベイ論文作成を支援する過程は大き
く2つに分けられる．ひとつは論文検索過程である．以前の研究\cite{難波98}で
作成した論文検索システムPRESRI({\bf P}aper {\bf RE}trieval {\bf S}ystem
using {\bf R}eference {\bf
I}nformation)\footnote{http://galaga.jaist.ac.jp:8000/pub/tools/sum}を利
用して論文検索を行う．この検索システムには2種類の検索機能がある．ひとつ
はキーワード検索機能で，論文のタイトル中の語や著者名をキーワードとして論
文を検索できる．検索結果はリスト表示される．このリスト中の個々の論文につ
いて，e-Print archiveのデータベース中に参照・被参照関係の論文がある場合，
論文間の参照・被参照関係のグラフを表示することができる．このグラフを辿る
ことで，論文間の参照・被参照関係を用いた検索が可能になる．

\begin{figure}[t]
\centering
\epsfile{file=Images/system.eps,scale=0.7}
\caption{サーベイ論文作成支援の流れ\label{fig:system}}
\end{figure}

次にサーベイ論文作成支援過程について説明する．この過程では，関連論文の収
集，関連論文の参照箇所やABSTRACTの表示を行うことでサーベイ作成の支援を行
う．このような機能を提供するために，前章の参照箇所抽出や参照タイプ決定と
いった処理が必要とされる．3章で論文間の参照・被参照関係でtype Cのものだ
けを辿ることで関連論文の自動収集に近いことができることを示した．これは，
論文検索過程で示された論文間の参照・被参照関係を示したグラフを利用し，グ
ラフ中でtype Cの参照・被参照関係だけを表示することで，実現可能であると考
えられる．図\ref{fig:sss}は，サーベイ論文作成支援システムの実行画面で，
左側のウィンドウは[Murata93](9405019)という論文に関する論文間の参照・被
参照関係を示したグラフである．このグラフから4本の論文が[Murata93]を参照
していることがわかる．この4本の論文のうち[Bond96](9601008)が黒く表示され
ている．これは，[Bond96](9601008)がMurata93(9405019)をtype C以外のタイプ
で参照しているためである．他の3つの論文に関しては[Murata93](9405019)を
type Cで参照している．type Cの参照・被参照関係の論文は関連分野の論文であ
ると考えられ，グラフ中の``ABSTRACT''や``REFERENCE AREA''(参照箇所)の箇所
をクリックすることで，個々の論文のABSTRACTや参照箇所を閲覧することが可能
になる．図\ref{fig:sss}の右側のウィンドウは3本の論文[Takeda94](9407008)，
[Bond94](9511001)，[Bond96](9608014)の[Murata93](9405019)に関する参照箇
所を示しており，左側ウィンドウのグラフ中の``REFERENCE AREA''の箇所をクリッ
クした結果である\footnote{図中に``REFERENCE AREA''が3箇所あるが，いずれ
の箇所をクリックしても右側ウィンドウの表示になる}．このように，ひとつの
論文を参照している複数の論文の参照箇所を並べて表示することで，ひとつの論
文に関する複数の著者の観点を直接比較することが可能となり，サーベイ論文作
成において有用であると考えられる．尚，このシステムはPerlで実装し，また
CGIを用いることでWorld Wide Web上からの利用が可能となっている.

\begin{figure}[t]
\centering
\epsfile{file=Images/PRESRI.eps,scale=0.85}
\caption{サーベイ論文作成支援システム\label{fig:sss}}
\end{figure}

\section{おわりに}

本研究では，関連する論文集合からのサーベイ論文自動作成を目指し，その第1
歩としてサーベイ論文作成支援システムを構築した． 本研究では，複数の論文
間の共通点，相違点を検出するために，論文間の参照情報に着目した．ある論文
中の他の論文について記述してある箇所(参照箇所)を論文中から自動的に抽出し，
その箇所を解析することで，論文の参照の目的(参照タイプ)が明らかにされる.

参照箇所の抽出と参照タイプの決定には，cue wordを利用した．cue wordの選定
には\cite{Kita94}らの提唱するcost criteriaという手法を利用し，得られた
cue wordを用いて参照箇所抽出ルールと参照タイプ決定ルールを作成した．その
結果，参照箇所抽出精度はRecall，Precision共に80\%弱，参照タイプ決定は
83\%の精度が得られた.

また，サーベイ論文作成支援をするシステムを作成した．このシステムでは論文
データベース中から特定分野の論文を自動収集し，関連論文間の相違点や個々の
論文のABSTRACTが閲覧可能である．ひとつの論文を参照する複数の論文の参照箇
所を並べて表示することで，著者間の参照が直接比較できるため，サーベイ論文
作成の際に有用であると考えられる.

\bigskip

\acknowledgment

本研究にあたり，御指導を賜わりました学術情報センターの神門典子助教授に心
から感謝致します．また，論文データの提供および論文検索システムPRESRIの公
開を快く承諾して下さった e-Print archive administrator の方々に感謝致し
ます．




\bibliographystyle{jnlpbbl}
\bibliography{v06n5_03}


\begin{biography}
\biotitle{略歴}
\bioauthor{難波 英嗣(学生会員)}{
  1972年生．
  1996年東京理科大学理工学部電気工学科卒業．
  1998年北陸先端科学技術大学院大学情報科学研究科博士前期課程修了．
  同年同大学院博士後期課程，現在に至る．
  自然言語処理，特にテキスト自動要約に関する研究に従事．
  情報処理学会，人工知能学会 各学生会員．}

\bioauthor{奥村 学(正会員)}{
  1962年生．
  1984年東京工業大学工学部情報工学科卒業.
  1989年同大学院博士課程修了.
  同年，東京工業大学工学部情報工学科助手.
  1992年北陸先端科学技術大学院大学助教授，現在に至る.
  工学博士．
  自然言語処理，知的情報提示技術，語学学習支援，語彙的知識獲得に
  関する研究に従事．
  情報処理学会，人工知能学会，AAAI，ACL，認知科学会，計量国語学会各会員．}

\bioreceived{受付}
\biorevised{再受付}
\bioaccepted{採録}

\end{biography}

\end{document}
