



\documentstyle[jnlpbbl,ascmac,tree]{jnlp_j_b5}
\newif\ifDRAFT \DRAFTfalse

\def\atari(#1,#2){}

\setcounter{page}{19}
\setcounter{巻数}{3}
\setcounter{号数}{2}
\setcounter{年}{1996}
\setcounter{月}{4}
\受付{1995}{5}{19}
\再受付{1995}{10}{26}
\採録{1995}{11}{28}

\setcounter{secnumdepth}{2}

\title{ネットニュースグループfj.wantedの \\ ダイジェスト自動生成}
\author{佐藤 理史\affiref{JAIST} \and 佐藤 円\affiref{JAIST}}



\headauthor{佐藤理史・佐藤 円}
\headtitle{fj.wantedのダイジェスト自動生成}

\affilabel{JAIST}{北陸先端科学技術大学院大学 情報科学研究科}
{School of Information Science, Japan Advanced Institute of Science and Technology}

\jabstract{
本稿では，fj.wantedのダイジェストの自動生成を実現する方法について述べる．
その中心技術は，ニュース記事からのサマリ抽出法である．
この方法は，言わば「斜め読みを模擬した処理」であり，
まず，表層的な表現を手がかりとして，42の特徴を抽出し，
それらの特徴を用いて，記事のサマリ（カテゴリとサマリ文）を抽出する．
ブラインドデータに対する実験において，本方法は，カテゴリ判定正解率81\%，
サマリ文抽出正解率76\%という値を示した．
抽出されたサマリはカテゴリ毎に整理され，
HTML形式のダイジェストとして出力される．
このとき，元の記事へのポインタは，ハイパーテキストのリ
ンクとして埋め込まれる．
作成されたダイジェストは，WWWのクライアントプログラムによって
読むことができる．
}

\jkeywords{ダイジェスト自動生成，ネットニュース，サマリ抽出，ハイパーテキス
ト，\\ワールドワイドウェブ}

\etitle{~\vspace*{10mm}\\Automatic Digesting of \\ Network Newsgroup fj.wanted}
\eauthor{Satoshi Sato\affiref{JAIST} \and Madoka Sato\affiref{JAIST}} 

\eabstract{
This paper proposes an automatic digesting system for a Network 
Newsgroup ``fj.wanted''.
The key component of the system is the {\em summary extraction} from NetNews
articles.
In the summary extraction, 42 features are detected by using surface language
expression patterns.  Using these features, the system determines the 
{\em category} of the
article and extracts the most important sentence ({\em summary sentence})
from the article.  
A blind test demonstrates that the accuracy of the category detection is 81\%
and the accuracy of the summary sentence extraction is 76\%.
The system creates the digest in HyperText Markup Language from 
the extracted summary sentences.
The digest can be accessed via World-Wide Web.
}

\ekeywords{Automatic Digesting, NetNews, Summary Extraction, HyperText,
\\World-Wide Web}

\begin{document}
\maketitle


\clearpage
\section{はじめに}
インターネット上の電子ニュース(以下，ネットニュースと記す)は，
誰もが自由に記事を投稿することができ，それがそのまま広く配布されるとい
う特徴を持った，新しいマスメディアである．
情報発信者が限られている従来のマスメディア(新聞，ラジオ，
テレビ)と比べ，情報発信の機会を広くに解放した点で，
ネットニュースはマスメディアの新しい可能性を開いたが，逆に，
情報発信者の拡大による情報の洪水と情報(テキスト)品質の多様化
という新しい現象を引き起こしつつある．
このため，求める情報を簡単に見つけることができなくなりつつある．

我々は，この問題を解決する方策として，ダイジェストに注目している
\cite{Madoka-master-94,Madoka-ipsj-conf-94,Madoka-ipsj95}．
ダイジェストとは，元となる情報の特質を
コンパクトにまとめて情報の種類別に整理したものであり，我々が大量の
情報に接する際に効果的なナビゲーション機能を果たす．既存のダイジェストは，
人手で編集されたものがほとんどであるが，
はじめからオンラインテキストとして存在するネットニュースでは，
このダイジェスト作成を完全に自動化することが可能である．
我々は，既に，ネットニュースのダイジェスト自動生成の1つの
プロトタイプとして，fj.meetingsのダイジェスト自動生成システムを作成し，
実際に運用している\footnote{
\verb+http://www.jaist.ac.jp/\~{ }sato/nnad/home-j.html+}．

本研究では，その次のステップとして，fj.wantedのダイジェスト自動生成につ
いて検討した．fj.wantedは，fj.meetingsとは異なり，かなり多様な投稿者が，
多様なテキスト品質の記事を投稿しており，fj.meetings
のダイジェスト自動生成で用いた手法とは異なった手法が必要となる．

\section{ニュースグループfj.wanted}

ダイジェスト自動生成システムの作成に先立ち，
94年9月8日から10月18日の間にfj.wantedに流れた記事231件(フォロー記事は除く)
に対する調査を行なった．特に，その中の59件については，詳細な調査を行なった．
ここでは，その調査結果を示す．

\subsection{主題上の特徴}

fj.wantedの記事の主題(目的)は，
「何かを探している(求めている)ということを伝える」というものである．
これらの記事の主題は，おおよそ，図\ref{fig:category} に示す
ような2段の階層的カテゴリに分類することが可能である
\footnote{下位分類の1--5に分類できないもの(例えば，
「ある物とある物を交換したい$=$交
換してくれる人を探している」)は，0の「探しています」に分類する．}．
この図において，かぎ括弧内は，求めるものの対象が何であるかを示している．
以下では，これらのカテゴリを記事のカテゴリと呼ぶ．

\begin{figure}
\begin{center} 
\tree[h]{0. 探しています [人, 物, 情報]}
\leaf{1. 譲って下さい [物]}
\leaf{2. 譲ります [物]}
\leaf{3. 貸して下さい [物]}
\leaf{4. 募集します [人]}
\leaf{5. 教えて下さい [情報]}
\endtree
\end{center}
\caption{記事のカテゴリ}
\label{fig:category}
\end{figure}

\subsection{文章上の特徴}

fj.wantedの記事には，以下のような文章上の特徴が見られた．
\begin{enumerate}
\item[(1)] 多くの記事において，その記事の内容を端的に表す1文(以下，サマリ
文と呼ぶ)が存在する．
\end{enumerate}
調査した記事59件中，54件(91.5\%)にサマリ文が存在した．
\begin{enumerate}
\item[(2)] fj.wantedの記事で用いられる文章構造のほとんどは，
単刀直入型か背景説明型である．
\end{enumerate}
単刀直入型と背景説明型とは，図\ref{fig:structure} に示すような文章構造
(文章の流れ)をさす． この図において，かぎ括弧がつけられたものは，
省略可能な要素である．
調査した記事59件中，単刀直入型は47件(79.8\%)，背景説明型は10件
(16.9\%)であった．
なお，これらの型において，「要約」の部分が1文であれば，
それがサマリ文となる．

\begin{figure}
\begin{center} 
\begin{tabular}[t]{|l|}
\multicolumn{1}{c}{単刀直入型} \\ \hline
1. [あいさつ・自己紹介] \\
2. 要約(1文 or 複数の文) \\
3. [詳細説明] \\ \hline
\end{tabular}
\hspace*{10mm}
\begin{tabular}[t]{|l|}
\multicolumn{1}{c}{背景説明型} \\ \hline
1. [あいさつ・自己紹介] \\
2. 背景説明 \\
3. 要約(1文 or 複数の文) \\
4. [詳細説明] \\ \hline
\end{tabular}
\end{center}
\caption{単刀直入型と背景説明型}
\label{fig:structure}
\end{figure}

\subsection{表現上の特徴}

fj.wantedの記事には，以下のような表現上の特徴が見られた．
\begin{enumerate}
\item[(1)] 典型的な「求む」の表現が，多くの記事で用いられる．
\end{enumerate}
これらの表現のほとんどは，典型的な動詞群と文パターン(文末表現)によって構成され
ている．
使われる典型的な動詞は，記事のカテゴリによって異なる．
図\ref{fig:pattern_example} に例を示す．

\begin{enumerate}
\item[(2)] 機械による言語処理を難しくする，以下のような特徴が見られる．
\begin{itemize} 
\item テキストが低品質である．(誤りが多い)
\item 会話体が存在する．(ex. 「〜ってあるんでしょうか？」)
\item 品目名として，かなり特殊な固有名詞が多数現れる．
\end{itemize}
\end{enumerate}

\begin{figure}
\begin{center} 
\begin{tabular}{|rl|} \hline
\multicolumn{2}{|l|}{特徴的な動詞} \\ \hline
0. & 探しています，求めています，〜方はいらっしゃいませんか，... \\
1. & 譲って下さい，売って下さい，買います，... \\
2. & 譲ります，売ります，... \\
3. & 貸して下さい \\
4. & 募集します \\
5. & 教えて下さい，ご存知ないですか，...  \\ \hline\hline
\multicolumn{2}{|l|}{典型的な「求む」の文パターン} \\ \hline
a. & 「〜を(動詞)下さい」\\
b. & 「〜を(動詞)下さる方を探しています」 \\
c. & 「〜を探しています．どなたか(動詞)いただけないでしょうか」 \\ \hline
\end{tabular}
\end{center}
\caption{典型的な「求む」の表現例}
\label{fig:pattern_example}
\vspace*{10mm}
\end{figure}

\section{サマリ抽出}

上記の調査結果に基づき，fj.wantedの各記事から
\begin{enumerate} 
\item 記事のカテゴリ
\item サマリ文
\end{enumerate}
の2つを記事のサマリとして抽出することとし，それを行なうモジュールを作成した．
その概要を図\ref{fig:summary_extraction} に示す．
この図に示すように，
サマリ抽出は，文分割，特徴抽出，カテゴリ判定，サマリ文抽出の4つのステップ
によって行なうが，最後の2つのカテゴリ判定とサマリ文抽出はそれぞれ独立に行
う．これは，以下のように，サマリ文として抽出すべき文と
カテゴリ判定の根拠となる文が異なる場合があるからである．
\begin{quote}
ＡＴ互換機用のモニタを探しています。\\
ＶＧＡ以上の解像度を持つカラーモニターを２万円未満で
譲っていただけないでしょうか。
\end{quote}
この例では，1文目がサマリ文であるのに対し，
カテゴリ「譲って下さい」は2文目から求まる．

\begin{figure} 
\begin{center} \small
\fbox{
\begin{tabular}{p{8zw}cp{8zw}}
& 記事 & \\
& $\downarrow$ & \\
& \fbox{1. 文分割} & (先頭10文のみ) \\
& $\downarrow$ & \\
& \fbox{2. 特徴抽出} & \\
& $\downarrow$ & \\
& 特徴ベクトル & (各文に対して) \\
& $\swarrow$ \ \ \ \ $\searrow$ & \\
\multicolumn{3}{c}{
\begin{tabular}{@{}c@{}}
\fbox{3. カテゴリ判定} \\
$\downarrow$ \\
カテゴリ 
\end{tabular}
\ \ 
\begin{tabular}{@{}c@{}}
\fbox{4. サマリ文抽出} \\
$\downarrow$ \\
サマリ文
\end{tabular}
}
\end{tabular}
}
\end{center}
\caption{サマリ抽出の概要}
\label{fig:summary_extraction}
\end{figure}

\subsection{文分割}
ニュース記事の本文を文毎に分割し，先頭の10文を
取り出す\footnote{この10という数は，実験的に決定した．
なお，fj.wantedの記事の半数以上は，10文以下の記事である．}．
記事には，色々な表示上の工夫がされていることがあり，
文を切り出すことはそれほど単純ではない．ここでは，各種のヒューリスティック
を組み込んだ専用プログラムによって文を切り出す．

\subsection{特徴抽出}

各文に対して，42個の特徴が存在するかどうかを調べ，
特徴ベクトル(42bitのビット列)を作成する．
ここでの「特徴」とは，例えば，
\begin{description}
\item[特徴2] 「譲って下さい」に類する表現が存在する
\end{description}
といったものであり，これは，表\ref{table:yuzutte}
に示すような表現が存在するかどうかを，文字列照合によって調べることによって
判定する．
42個の特徴の概要を表\ref{table:features} に示す．

\begin{table}
\caption{特徴2の表現}
\label{table:yuzutte}
\begin{center} \small
\begin{tabular}{|r|l|l|l|} \hline
譲って & \multicolumn{3}{l|}{\{欲しい$|$下さい$|$もらいたい$|$頂きたい\}} \\
\cline{2-4}
       & もらえ & \multicolumn{2}{l|}{ると} \\ \cline{3-4}
       & 頂け   & ます & か \\
       &        & ません & でしょうか \\ 
       &        & ない  &  \\ \hline
お譲り & \multicolumn{3}{l|}{\{下さい$|$頂きたい$|$頂きたく\}} \\
\cline{2-4}
       & 頂け   & \multicolumn{2}{l|}{ると} \\ \cline{3-4}
       & 願え   & ます & か \\
       &        & ません & でしょうか \\ 
       &        & ない &  \\ \hline
\end{tabular}
\end{center}
\end{table}

\begin{table}
\caption{42個の特徴}
\label{table:features}
\begin{center}\footnotesize
\begin{tabular}{rll}
ID & 特徴        & 以降の処理での利用 \\ \hline
1 & 探しています & $\rightarrow$ 探しています \\
2 & 譲って下さい & $\rightarrow$ 譲って下さい \\ 
3 & 売って下さい & $\rightarrow$ 譲って下さい \\
4 & 買って下さい & $\rightarrow$ 譲ります \\
5 & 貸して下さい & $\rightarrow$ 貸して下さい \\
6 & 教えて下さい & $\rightarrow$ 教えて下さい \\
7 & 知らせて下さい & $\rightarrow$ 教えて下さい \\
8 & 紹介して下さい & $\rightarrow$ 教えて下さい \\
9 & ダビングして下さい & $\rightarrow$ 譲って下さい \\
10 & 譲ります & $\rightarrow$ 譲ります \\
11 & 売ります & $\rightarrow$ 譲ります \\
12 & 募集します & $\rightarrow$ 募集します \\
13 & 知りたいの & $\rightarrow$ 教えて下さい \\
14 & 買いたいの & $\rightarrow$ 譲って下さい \\
15 & 欲しいの   & $\rightarrow$ 譲って下さい \\
16 & 求めています & $\rightarrow$ 探しています \\
17 & 希望します   & $\rightarrow$ (譲って下さい) \\
18 & 存在しますか & $\rightarrow$ 教えて下さい \\
19 & はあるのでしょうか & $\rightarrow$ 教えて下さい \\
20 & はいらっしゃいますか & $\rightarrow$ 探しています \\
21 & 可能でしょうか & $\rightarrow$ 教えて下さい \\
\hline
\end{tabular}
\begin{tabular}{rll}
ID & 特徴        & 以降の処理での利用 \\ \hline
22 & 知りませんか & $\rightarrow$ 教えて下さい \\
23 & 質問です & $\rightarrow$ 教えて下さい \\
24 & 譲って下さる & $\rightarrow$ 譲って下さい \\
25 & 売って下さる & $\rightarrow$ 譲って下さい \\
26 & 買って下さる & $\rightarrow$ 譲ります \\
27 & 貸して下さる & $\rightarrow$ 貸して下さい \\
28 & ダビングして下さる & $\rightarrow$ 譲って下さい \\
29 & 知っている & $\rightarrow$ 教えて下さい \\ 
30 & 情報を待っています & $\rightarrow$ 教えて下さい \\ 
31 & 情報をお持ちの & $\rightarrow$ 教えて下さい \\ 
32 & 届きません & $\rightarrow$ 譲って下さい \\ 
33 & 価格 & $\rightarrow$ 譲って下さい (+探) \\
34 & 1万円 & $\rightarrow$ 譲って下さい (+探) \\
35 & どのように/誰か/どこか & $\rightarrow$ 教えて下さい (+探) \\
36 & 疑問文 & \\ 
37 & です文 & $\rightarrow$ skip \\
38 & あいさつ & $\rightarrow$ skip \\
39 & 自己紹介 & $\rightarrow$ skip \\
40 & 代理投稿 & $\rightarrow$ skip \\
41 & 境界線 & $\rightarrow$ skip \\
42 & コメント & $\rightarrow$ skip \\ \hline
\end{tabular}
\end{center}
\end{table}

\subsection{カテゴリ判定}

カテゴリ判定では，35個の規則を用いる．
このうち，31個の規則は，特徴1--16, 18-32に直接対応する規則で，
これらの特徴の存在がそのままカテゴリの候補に対応する(表
\ref{table:features} 中の，「以降の処理での利用」欄を参照)．
残りの4つの規則のうちの3つは，特徴33--35に対応する規則で，
他の規則によって「探しています」というカテゴリが候補となっている場合にのみ
使用する．残りの1つの規則(特徴17に対応)は，
他の規則によってカテゴリの候補が得られない場合にのみ使用する．

具体的には，以下の手順によってカテゴリを決定する．
\begin{enumerate} 
\item カテゴリ候補リストを空とする．
\item 先頭の文の特徴ベクトルから順に，文の特徴ベクトルに対して以下を実行す
る．
\begin{enumerate} 
\item[(a)] 規則を適用し，その特徴ベクトルから得られる全てのカテゴリの候補を
カテゴリ候補リストに追加する．
\item[(b)] そのリストの中に，「譲って下さい／譲ります／貸して下さい／募集します」
のいずれかが含まれる場合は，それを最終的なカテゴリとし，処理を終了する．
\end{enumerate}
\item カテゴリ候補リストに「教えて下さい」が含まれている場合は，それを最終
的なカテゴリとし，処理を終了する．
\item カテゴリ候補リストに「探しています」が含まれている場合は，それを最終
的なカテゴリとし，処理を終了する．
\item カテゴリは不明とする．
\end{enumerate}

\subsection{サマリ文抽出}
サマリ文の抽出では，以下の2つの方法を実装した．
\begin{description} 
\item[表現パターンによる方法]
特徴1--32を持った最初の文をサマリ文とする．但し，その前の文が「疑問文(特徴
36)」である場合は，その文をサマリ文とする．
\item[文章構造による方法]
特徴37--42を持たない最初の文をサマリ文とする\footnote{これは，単刀直入型に
対応した方法である．}．
\end{description}

\section{実験}

2節での調査の対象とした231件の記事(KNOWN)と，
1994年12月5日から12月13日の間にfj.wantedに流れた80件の
記事(UNKNOWN)に対してサマリ抽出の実験を行なった．
ここでは，その実験結果について述べる．

\subsection{カテゴリ判定}

カテゴリ判定の実験結果を表\ref{table:cat_result} に示す．
この表よりわかるように，既知の記事群(KNOWN)に対しては88.3\%，
未知の記事群(UNKNOWN)に対しては81.3\%という高い精度で正しくカテゴリを判定できた．

\begin{table}
\caption{カテゴリ判定の実験結果}
\label{table:cat_result}
\begin{center}
\begin{tabular}{|l|rr|rr|} \hline
                     & \multicolumn{2}{c|}{KNOWN} & \multicolumn{2}{c|}{UNKNOWN}  \\ \hline
全記事数             & 231 & (100.0\%)  & 80 & (100.0\%) \\ \hline
カテゴリを正しく判定 & 204 & (88.3\%) & 65 & (81.3\%) \\ 
カテゴリを誤って判定 &  22 & (9.5\%)  & 7  & (8.8\%) \\
判定不能             &   5 & (2.1\%)  &  8 & (10.0\%) \\ \hline
\end{tabular}
\end{center}
\end{table}

カテゴリの判定に失敗した例とカテゴリが抽出できなかった例を，
図\ref{fig:cat_error} と図\ref{fig:cat_fail} に示す
\footnote{ここで，本論文におけるネットニュース記事の参照に関する考え方を
述べておく．
通常のガイドラインでは，
ネットニュース記事を参照する場合には，そのメッセージIDを明記することが
推奨されている．しかし，本論文では，メッセージIDを明記しないことにし，
かつ，記事中の署名，所属に関する記述を編集することによって，そのニュース記
事の投稿者に関する情報を明らかにしない方針を取った．
それは以下の理由による．(1) 本論文での参照している記事は，
本論文では，処理対象の例としてのみ意味を持っている．
(2) 本論文でメッセージIDを明記することが投稿者の利益になるとは思われない．
なお，本論文で例として参照しているニュース記事は，全て，
1994年12月5日から12月13日の間にfj.wantedに流れた80件の記
事(UNKNOWN)から取った．
}．
図\ref{fig:cat_error} の例では，正しいカテゴリは「譲って下さい」であるのに
対し，「探しています」というカテゴリだと判定された．



\subsection{サマリ文抽出}

サマリ文抽出の実験結果を表\ref{table:summary_result} に示す．
ここで，組み合わせた方法とは，まず，表現パターンによる方法でサマリ文の抽出
を試み，抽出できない場合のみ文章構造による方法を用いる方法である．
この表において，カギ括弧内は，サマリ文が存在する場合の成功率を示す．
この表より，表現パターンによる方法は，抽出精度がよく，
文章構造による方法と組み合わせることのよって，さらにほんの少しだけ抽出精度
が向上することがわかる．

\begin{figure}
\begin{screen} \small
\noindent
\begin{tabular}{@{}p{\textwidth}@{}}
\verb+<名前>＠<所属>+ \\
\\
キャノンのFD レンズを探してます。\\
\\
FD50 F1.2（〜1.4まで）のレンズを手放そうと考えている方がありましたら
一報連絡ください。
\end{tabular}
\end{screen}
\caption{カテゴリ判定の失敗例}
\label{fig:cat_error}
\end{figure}

\begin{figure}
\begin{screen} \small
\noindent
\begin{tabular}{@{}p{\textwidth}@{}}
オーディオ用アンプ \\
メーカー等問いません。\\
気長にお待ちしています。\\
\\
\verb+<名前>＠<所属>+
\end{tabular}
\end{screen}
\caption{カテゴリ判定の不能例}
\label{fig:cat_fail}
\end{figure}


図\ref{fig:extract_error} にサマリ抽出の失敗例を示す．
この例の場合，「私が欲しているのは，〜とゆーものです」というパターンが
登録されていないため，表現パターンによる方法では抽出に失敗する．また，
文章構造による方法では，
最初の文が自己紹介文(特徴39)であり，
第2文が「です文」(特徴37)であるため，
この2文をスキップし，第3文をサマリ文として抽出してしまう．

\begin{table}
\caption{サマリ文抽出の実験結果}
\label{table:summary_result}
\begin{center}
\begin{tabular}{|l|rrr|rrr|} \hline
                   & \multicolumn{3}{c|}{KNOWN} & \multicolumn{3}{c|}{UNKNOWN} \\ \hline
全記事数           & 231 & (100.0\%) &          & 80 & (100.0\%) & \\ 
サマリ文が存在     & 198 & (85.7\%) & [100.0\%] & 69 & (86.3\%) & [100.0\%] \\ \hline
表現パターンによる方法 & \multicolumn{3}{c|}{} & \multicolumn{3}{c|}{} \\
\multicolumn{1}{|r|}{正しく抽出}
                   & 185 & (80.1\%) & [93.4\%]& 60 & (75.0\%) & [87.0\%] \\ 
\multicolumn{1}{|r|}{抽出誤り}
                   &  40 & (17.3\%) &         & 14 & (17.5\%) & \\
\multicolumn{1}{|r|}{抽出不能}
                   &   6 & (2.6\%)  &         &  6 & (7.5\%) & \\ \hline
文章構造による方法 & \multicolumn{3}{c|}{} & \multicolumn{3}{c|}{} \\
\multicolumn{1}{|r|}{正しく抽出} 
                   & 156 & (67.5\%) & [78.8\%]& 44 & (55.0\%) & [63.8\%] \\ 
\multicolumn{1}{|r|}{抽出誤り}
                   &  75 & (32.5\%) &         & 36 & (45.0\%) & \\ \hline
組み合わせた方法 & \multicolumn{3}{c|}{} & \multicolumn{3}{c|}{} \\
\multicolumn{1}{|r|}{正しく抽出}
                   & 187 & (81.0\%) & [94.4\%]& 61 & (76.3\%) & [88.4\%] \\ 
\multicolumn{1}{|r|}{抽出誤り}
                   &  44 & (19.0\%) &         & 19 & (23.8\%) & \\ \hline
\end{tabular}
\end{center}
\end{table}


\section{ダイジェストシステム}

上記のサマリ抽出モジュールを用いて，fj.wantedのダイジェストシステ
ムを試作した．作成したシステムの概要を図\ref{fig:system} に示す．
サマリ文抽出では，基本的には，表現パタンによる方法を用い，
この方法によってサマリ文が抽出できない場合には，文章構造による方法を用いる．
ダイジェスト編集では，得られた記事のサマリをカテゴリ別に整理し，
HTML (HyperText Markup Language)形式で出力する．
このとき，元の記事へのポインタを，ハイパーテキストのリ
ンクとして埋め込む．ダイジェストリーダーとしては，WWW (World-Wide Web)
のクライアントプログラム(xmosaic等)を用いる．

\begin{figure}
\begin{screen} \small
\noindent
\begin{tabular}{@{}p{\textwidth}@{}}
\verb+<名前>＠<所属>と申します。+ \\
\\
私が欲しているのは、
”HONDA CIVIC 25X [EF2] のサービスマニュアル”
いわゆる、整備解説書とゆーものです。\\
\\
まあ、ディーラー系の部販に行けば手にはいるのですが、
何せ１万円という値段は、今の私には大き過ぎるのです。
(以下略)
\end{tabular}
\end{screen}
\caption{サマリ抽出の失敗例}
\label{fig:extract_error}
\end{figure}

\begin{figure}
\begin{center} \small
\fbox{
\begin{tabular}{cccc}
記事 & 記事 & ... & 記事 \\
$\downarrow$ & $\downarrow$ &  & $\downarrow$ \\
\fbox{サマリ抽出} & \fbox{サマリ抽出} & ... & \fbox{サマリ抽出} \\
$\downarrow$ & $\downarrow$ &  & $\downarrow$ \\
サマリ & サマリ & ... & サマリ \\
$\downarrow$ & $\downarrow$ &  & $\downarrow$ \\
\multicolumn{4}{c}{\framebox[70mm]{ダイジェスト編集}} \\
\multicolumn{4}{c}{$\downarrow$} \\
\multicolumn{4}{c}{ダイジェスト} \\
\multicolumn{4}{c}{$\uparrow$} \\
\multicolumn{4}{c}{\fbox{ダイジェストリーダー}} 
\end{tabular}
}
\end{center}
\caption{ダイジェストシステムの概要}
\label{fig:system}
\end{figure}

\clearpage

\begin{figure}[h]
\begin{center}
\atari(139,73)
\end{center}
\caption{WWWでのダイジェストサービス}
\label{fig:digest}
\end{figure}

本システムは，現在，WWWにおいて試験運用している
\footnote{\verb+http://www.jaist.ac.jp/\~{ }sato/nnad/home-j.html+}．
図\ref{fig:digest} にダイジェストの表示例を示す．



\section{議論}

\begin{enumerate}
\item[(1)] 本研究により，fj.wantedに関しても
実用的なダイジェストの自動生成が可能であることが明らかになった．
\end{enumerate}

当初，我々は，テキストと投稿者がかなり多様であるため，
fj.wantedのダイジェスト自動生成は，難しいのではないかと考えていた．しかし，
本研究の結果は，この予想を覆すものであった．
fj.wantedのダイジェスト自動生成が可能であった最大の理由は，
「fj.wantedの記事が，自分の求めるものが何であるかを読み手に伝
えるという明確な目的を持った文章であり，そのような情報を伝達するために使
われる文章構造と文章表現はかなり限定される」ということにあるだろう
\footnote{
逆の側面から見れば，
このように文章構造や文章表現が限られているため，我々は明確
にその文章の主題(目的)を理解することができるとも言えよう．}．
このことが，言わば「斜め読み」的処理によるサマリ抽出を可能にしていると考えられ
る．

\begin{enumerate}
\item[(2)] さらなる精度向上を目指すならば，
サマリ文がない記事(15\%)のサマリ生成が必要となる．
\end{enumerate}

サマリ文がない記事の多くは，
照応や省略といった現象が現れているためにサマリ文となるような1文が存在しない
記事である．このため，照応，省略の処理が十分な精度で実現できなければ，
適切なサマリ文を生成できないと考えられる．

\begin{enumerate}
\item[(3)] 投稿者によるサマリ作成は非現実的である．そのため，サマリの自動
抽出は重要である．
\end{enumerate}

サマリを自動生成するのではなく，あらかじめサマリを付けて投稿してもらうとい
う解も存在する．しかし，現在の記事のサブジェクト(subject)に書かれている
情報からみて，我々は，それは非現実的だと考える．


\begin{enumerate}
\item[(4)] 本方法は，
他の掲示情報型ニュースグループや質問応答型\footnote{「ある質問記事に対して，
それに対する答がフォロー記事として投稿される」という性質を持つ
ニュースグループ．}
ニュースグループの質問記事のダイジェストにも応用できると考えられる．
\end{enumerate}

応答記事の要約を含んだ形で，
ダイジェスト(あるいは，FAQ(Frequently Asked Questions))
を自動生成することも考えられるが，
その重要性は低いと考える．なぜならば，質問記事のリストを，
質問の要約とそれへの応答記事へのポインタという形で示すことができれば，
十分にダイジェストの役割を果たすと考えられるからである．

\begin{enumerate}
\item[(5)] テキストの主題による分類は重要である．
\end{enumerate}

テキストには，主題(目的)と分野(内容)\footnote{
例えば，新聞記事では，経済，政治，スポーツといった分類が，
この「分野による分類」に相当する．}
という2つの直交する分類が存在し，
この2つが，いわば情報の取捨選択の縦糸と横糸となっている．
このうち，分野による分類はいままで多くの研究があるが，
主題による分類は，それほど注目されていなかった．
この主題による分類も，分野による分類と同様に，
求める情報に到達することを支援する
ナビゲーション機能の実現において，強力な道具となると考えられる．

\section{関連研究}

ダイジェストの自動生成を実現する中心技術は，サマリ抽出にある．
本システムでは，記事のサマリとして，記事のカテゴリとサマリ文を抽出した．
これらに関連する研究は，主に，テキスト分類と要約という分野において
研究されてきた．

\subsection{テキスト分類}

テキスト分類とは，ひとまとまりのテキスト(文献，ニュース記事等)を，
その内容に基づいて，分類することである．
通常，あらかじめカテゴリ集合が与えられ，
その中から適切なカテゴリを割り当てることを行なう．

Construe-TIS \cite{Construe-TIS-91}は，
英語の新聞記事を対象とする分類システムで，
キーワードから概念を認識し，認識した概念を組み合わせて最終的なカテゴリを決
定する．このシステムは，キーワードとその前後の文脈情報という表層的な手がか
りを利用し，かなりよい精度(90\%程度)で新聞記事を分類することができる．

一方，Thinking Machine Corporationは，Memory-Based Reasoningを用いて，
Dow Jonesのニュース記事を分類するシステムを開発している\cite{Masand-92}．
このシステムは，すでに分類済みの5万件のニュース記事を用いて，
再現率約80\%，正解率約70\%で，分類コード割り当てを行なうことができる．

これらのシステムは，いずれも英語を対象としたシステムであり，
日本語を対象としたテキスト分類は，それほど試みられていない．
また，前節で述べたように，これらの分類は，いずれもテキストの
内容(分野)による分類であり，主題(目的)による分類は，ほとんど研究されていな
い．

\subsection{要約}

要約とは，あるひとまとまりのテキスト(例えば，論文)が表している意味内容を，
非常に短いテキストで簡潔に表現することを言う．ここ1,2年，日本語を対象とし
た要約研究がいくつか行なわれている．

原ら\cite{Hara-ipsj-nlp-94}は，
複雑な言語解析を避け，項目名と特徴という表層的な情報を利用すること
で，特許広報の抄録を作成する方法を提案している．
一方，GREEN\cite{Yamamoto-nlp-95}は，論説文を対象とした要約システムである．
このシステムは，現状で利用可能な談話要素を取り込み，重要な文を抜き出すこと
とその文から修飾句を削減することによって要約を生成する．

我々の立場は，前者と近いが，以下の二点において今までの研究と異なる．
第一に，ネットニュースのダイジェストの生成の際に必要となる
サマリは，通常の要約よりも非常に短いという点である．
我々がダイジェストに求める機能は，「情報(記事)が必要であるか，
不必要であるか判定できること」であり，これを満たすならば，サ
マリは短ければ短いほど好ましいと考える．
第二に，対象としているテキストの品質が多様であるという点である．
これまでの研究が対象としてきたテキストは，特許広報や新聞の論説記事など
高品質なテキストである．これらのテキストの品質に対し，
ネットニュースの記事のテキスト品質はかなり低い．

\subsection{fj.meetingsダイジェストとの違い}

ネットニュースのダイジェスト自動生成システムは，本システム以外に，
筆者らが先に実現したfj.meetingsのダイジェスト自動生成システム
\cite{Madoka-master-94,Madoka-ipsj-conf-94,Madoka-ipsj95}がある．
このシステムと本システムとの大きな違いは，サマリとして抽出する情報と，
その抽出法にある．

fj.meetingsのダイジェスト作成では，会告記事から，その会議の名称(タイトル）
，開催期日，開催場所，論文締切期日といった情報項目を，
その記事のサマリとして抽出する．
このように，抽出すべき情報をあらかじめ限定できるのは，
対象とする記事が会議に関する記事に限定されるからである．
このため，サマリ抽出には，いわゆる情報抽出の手法を用いることができる．
fj.meetingsのサマリ抽出では，センタリング，箇条書といったスタイル情報と
抽出する情報項目に特有な言語表現パターンを組み合わせて利用する．

これに対して本システムのダイジェスト作成では，
各記事から，その記事の内容を端的に表す1文(サマリ文)を抽出する．
これは，fj.wantedの記事から抽出すべき情報項目を，
fj.meetingsの会告記事のように限定することができないからである．
このため，サマリ抽出の手法は，情報抽出よりは要約に近い形となる．
本システムでは，主に言語表現パターンを利用して，サマリ文を見つける方法を
とっている．

\section{おわりに}

本稿では，fj.wantedのダイジェストの自動生成を実現する方法について述べた．
その中心技術は，ニュース記事からのサマリ抽出法である．
この方法は，言わば「斜め読みを模擬した処理」であり，
まず，表層的な表現を手がかりとして，42の特徴を抽出し，
それらの特徴を用いて，記事のサマリ(カテゴリとサマリ文)を抽出する．
未知の記事群に対するブラインドテストにおいて，本方法は，カテゴリ判定正解率81\%，
サマリ文抽出正解率76\%という値を示した．

本論文で述べた方法は，fj.wantedを対象としたものであるが，
他の掲示情報型ニュースグループや
質問応答型のニュースグループのダイジェスト作成にも，
同様な手法が適用できると考えられる．また，本方法を発展させることによって，
FAQの自動作成もある程度可能であろう．

ダイジェストの自動生成では，オリジナルのテキストがすでにオンラインテキストと
して存在することが前提となっている．現在のところ，
ネットニュースはこの前提を満たす数少ない対象であるが，
今後，多くのテキスト情報がオンラインテキストとして入手可能になるにつれて，
他の対象に対しても，ダイジェストの自動生成の道が開けると考えられる．

本論文で示したダイジェストは，ネットニュースに
対するダイジェストの一例に過ぎない．この他に，
いわゆる``What's up?''(今，何が話題になっているか)を
把握するための俯瞰ダイジェストや
必要な記事をキーワードから探すリファレンスダイジェストなどが考えられる
\cite{Madoka-master-94}．今後，これらのダイジェストをニュースリーダーと
有機的に統合し，多角的にネットニュースにアクセスすることを可能にしていく
必要があるであろう．それは，間接的には，ネットニュースの新しいマスメディア
としての可能性を広げていくことにつながっていくと考えられる．


\newpage
\bibliographystyle{jnlpbbl}
\bibliography{main}

\begin{biography}
\biotitle{略歴}
\bioauthor{佐藤 理史}{
1983年京都大学工学部電気工学第二学科卒業．
1988年同大学院博士課程研究指導認定退学．
同年，京都大学工学部助手．
1992年より北陸先端科学技術大学院大学情報科学研究科助教授．
京都大学博士(工学).
自然言語処理，機械学習，超並列人工知能などの研究に従事．}
\bioauthor{佐藤 円}{
1986年慶應義塾大学法学部政治学科卒業．
同年，(株)総合ビジョン入社．1990年(株)電通総研勤務．
1994年北陸先端科学技術大学院大学情報科学研究科修士課程修了．
現在，同博士後期課程在学中．
計算機ネットワーク上のマスコミュニケーション，
計算機使用者の倫理等に興味を持っている．}

\bioreceived{受付}
\biorevised{再受付}
\bioaccepted{採録}

\end{biography}

\end{document}
