



\documentstyle[epsf,jnlpbbl]{jnlp_j_b5}

\setcounter{page}{131}
\setcounter{巻数}{6}
\setcounter{号数}{6}
\setcounter{年}{1999}
\setcounter{月}{7}
\受付{1998}{9}{30}
\再受付{1998}{12}{17}
\再々受付{1999}{2}{19}
\採録{1999}{4}{19}

\setcounter{secnumdepth}{2}

\title{短文分割の自動要約への効果}
\author{福島 孝博\affiref{TAO} \and 江原 暉将\affiref{NHK} \and
	白井 克彦\affiref{WASEDA}}

\headauthor{福島, 江原, 白井}
\headtitle{短文分割の自動要約への効果}

\affilabel{TAO}{〒151‐0064 東京都渋谷区上原３−２３−５
オーガストハウス２Ｆ，通信・放送機構   渋谷上原リサーチセンター}
{Telecommunications Advancement Organization (TAO) of Japan.,
August House 2F, 3-23-5 Uehara, Shibuya-Ku, Tokyo 151-0064, Japan}
\affilabel{NHK}{〒157-8510東京都世田谷区砧1-10-11，ＮＨＫ放送技術研究所}
{NHK Science and Technical Research Lab.,
  1-10-11, Kinuta, Setagaya, Tokyo, 157-8510, Japan}
\affilabel{WASEDA}{〒169-8555 東京都新宿区大久保3-4-1，
早稲田大学理工学部情報学科}
{Waseda University, Department of Information and Computer Science.,
  3-4-1 Ookubo, Shinjuku-ku, Tokyo 169-8555, Japan}

\jabstract{
TVニュース原稿は，新聞記事に比べて１記事中の文数が少なく，１文当たりの
文字数も多い．このため，自動要約としての重要文抽出を行うと，文単位で選
択が行われる為，情報の欠落が大きい．本論文では，記事中に現れる長文を分
割出来る条件を設定し，条件に合う場合は，短い文に分割するという処理（短
文分割処理）を行った結果が自動要約の基本的技術にどれだけ影響・効果があ
るのかを調べた．短文分割は，基本的に，動詞，形容動詞と述語名詞の連用文
節を分割の対象とした．また，分割の自動要約に対する影響については，評価
の尺度として，各文の重要度による順位付けと文字数圧縮（不要部分削除）を
用いた．
文順位付けの評価では，テキスト中の各文を人手及びシステムによって，その
重要度に応じて順位を付けたものを対象とした．人手により重要と判断された
文が，短文分割により分割された場合に，その分割された文は，どのような順
位となると判断されるのかを調べた．その結果，短文分割により分割された重
要文は，分割後の順位差において「３」以上離れる場合のほうが，順位差が生
じない場合，つまり順位差が「１」の場合より多くあり，短文分割の効果が見
られた．
次に，記事中の重要文だけではなく全部の文を対象として，人手とシステムに
よる順位付けについて短文分割前後での変化をスペアマンの順位相関関係係数
を用いて比較した．
その結果，短文分割をすることにより，スペアマンの係数が０．０３１８〜０．
０６５増加し，文の順位が，人とシステムにおいてより近いものになることが
判明した．
最後に，文字数圧縮での評価では，不要部分を特定し，文字列を削除または言
い換えを行う文字数圧縮処理において，短文分割を行う前後での変化を調査し
た．短文分割により削除される文字数は増え，文字数圧縮後の文字数を元記事
の文字数で割る圧縮率において，２．７１％〜２．７８％減少することが判明
し，短文分割が文字数圧縮に良い効果があることが分かった．
}

\jkeywords{短文分割，自動要約，文字数削減}

\etitle{Partitioning long sentences\\for text summarization}
\eauthor{Takahiro Fukushima\affiref{TAO} \and Terumasa Ehara\affiref{NHK}
 \and Katsuhiko Shirai\affiref{WASEDA}} 

\eabstract{
It is known that there are fewer sentences and the sentences are
longer in a TV news text compared with those in a newspaper article.
If we would like to summarize such TV news texts by selecting
important sentences, since each sentence is rather long, we end up
with losing a good amount of information by omitting a whole sentence.
Therefore, we adopt a method in which we partition a long sentence
into shorter sentences before summarization. To evaluate how the
partitioning affects text summarization, we select two basic measures
for text summarization, and examine how they vary before and after the
partitioning of long sentences.  The two measures are first ranking of
sentences in the text by their importance, and second, the number of
characters removed from the text by applying the same set of rules for
shortening and deleting the text.
All the sentences in the text are ranked by their importance by hand
and by sentence extraction system.  First, we examine how the ranks of
the sentences judged important by human vary before and after the
partitioning.  We found that there are more partitioned important
sentences whose difference in ranking is greater or equal to three (3)
than those whose difference in ranking is one (1).   This suggests
that the partitioning is good for sentence extraction.
Then, we compare the rankings of the human and the system for all the
sentences in the text using Spearman's rank correlation coefficient.
We found that the coefficient increases between 0.0318 and 0.065,
which means the rankings of the human and the system for the
partitioned texts are more similar that those for the original texts.
Lastly, we investigate how the partitioning affects the shortening the
text.  Here we found that the number of characters that are deleted
increases for the partitioned texts and a compaction ratio (the number
of characters of the shortened text divided by the number of
characters in the original text) decreases by 2.71 percent to 2.78
percent.  It shows that the partitioning long sentences makes
shortening method work better.
}
\ekeywords{Partitioning sentences, text summarization, shortening text}

\begin{document}
\thispagestyle{plain}
\maketitle


\section{はじめに}
近年テキストを自動的に要約する技術に関する研究が国内外で盛んになって来
ている(Hovy and Marcu 1998；奥村，難波 1998)．自動要約に関する研究の歴
史は，古く１９５０年代後半から研究されているが，対象のテキストから重要
な部分を抜き出して要約とする重要部分特定の手法が中心であった．テキスト
の内容を理解しての自動要約は，難しくまだ現実的なシステムを作成するに至っ
ていないのが現状である．また，最近，テキストの重要部分に注目するのでは
なく，不要部分を特定し，言い換え及び削除により，要約を行う研究も出てき
ている．

本研究の目的は，長い文を短い文に分割する処理（今後「短文分割」と呼ぶ）
を行ない，その短文分割の自動要約手法への影響を調査することである．

短文分割に関する研究は，機械翻訳の研究で見られる．機械翻訳においては，
長文は，文の係り受け構造の複雑さが増え，翻訳精度低下の原因の一つとされ
ている．このため，短文分割を翻訳の前処理として行い，翻訳の精度を高める
ことを目的とした研究が行われている．金ら（金，江原 1993）は，長文に現
れる連用中止表現，引用，連体節，接続節などを分割点と認定している．また，
木村ら（木村，野村，平川 1993）は，単語数の多い文で，特定の言語表現を
持つ場合に分割を行っている．特定の言語表現としては，動詞と助動詞の連用
中止表現，接続助詞の「ので」などがある．本論文で用いる短文分割手法は，
これらの手法と同様のものである．

一方，関連研究としてはMarcuの研究がある（Marcu 1997）．Marcuは，手がか
りとなる語句を使って要約の基本となる単位を決定し，談話構造を解析してそ
の結果を自動要約に用いている．手がかり語としては，becauseなどの接続詞
などを使っているため，節が基本単位となる場合があり，文より小さな単位を
用いての要約を実現している．手がかり語がない場合は，文全体が１つの単位
となる．Marcuの手法は，文より小さな単位を扱っているが，短文分割は行っ
ていない．

もう１つの関連研究として，簡易な文構造解析を行い，自動要約に役立てるも
のがある．構文解析の結果を利用して重要・不要部分を特定し，要約を作成す
るものである．日本語では三上らが，TVニュース原稿を題材として，構文解析
を行い，文中の要素に重要度を与えて，重要要素や，削除すると文を壊してし
まう恐れのある要素を重要として抽出している（三上，山崎，増山，中川 
1998）．英語では，Grefestetteの研究があり，自身の開発したparserを使い，
構文解析を行い，主節は従属節より重要であり，否定の表現も重要であるなど
として，重要部分を特定して文書の単純化を行っている（Grefenstette 1998）．
これらの研究は簡易構文解析処理を行っているのに対し，本研究では，構文解
析を行わずに，文字列や品詞の情報のみを利用して短文分割を行っている．

上記の短文分割に関係した研究と比べて，本研究は，短文分割の手法は既存の
手法と同様のものを用いており，その短文分割が自動要約の基本的手法にどれ
だけ効果があるのかに焦点を置いている．

本研究は，聴覚障害者向けにサービスしようとしている字幕付きテレビニュー
スでの自動要約技術に関する研究の一環であり，自動的にテレビニュース原稿
を要約する手法について，重要文抽出，文字数圧縮などをテーマに研究を進め
て来ている（Wakao, Ehara, Sawamura, Abe, Shirai 1997；Wakao, Ehara,
Shirai 1998）．

本稿で題材としているのは，TVニュース番組の電子化原稿である．ニュース番
組原稿は，新聞記事と似ているが，両者を比較した場合，ニュース原稿のほう
が１記事中の文数が少なく，且つ一文当たりの文字数が多いことが分かってい
る (江原，沢村，若尾，阿部，白井 1997)．ここで重要文を自動的に抽出する
ことにより要約を作成すると，文数が少なく，一文が長いため，どうしても粗
い要約となってしまう．この欠点を補正するために，短文分割を行い，その自
動要約における基本的技術への効果を評価した．

評価には，文の重要度における順位付けと文字数圧縮を取り上げた．文の順位
付けでの評価では，まず，各文を人手及びシステムによりその文の重要度に応
じて順位付けを行い，人手により重要と判定された文が，短文分割により分割
された場合，分割された文の順位がどうなるかを調査した．次に，記事中の重
要な文だけではなく，全部の文を対象として，文の順位付けにおける短文分割
の自動要約への影響を調べるために，人手とシステムにより順位付けされた結
果の類似度を算出し，短文分割の前後での変化を調べた．この類似度には，ス
ペアマンの順位相関関係係数を用いた．

また，文の不要部分を特定して，それを短い表現への言い換えや，削除により，
文字数を削減する「文字数圧縮」においても短文分割の前後での圧縮率の違い
を算出することにより，短文分割の効果を評価した．

以下に，まず，本研究の対象とした原稿を紹介し，短文分割の条件，短文分割
の自動要約の基本的技術への影響について記述する．

\section{原稿}
題材とした原稿は，NHK放送データーベースの１９９２年の記事より選ばれた
２００件のテレビニュース番組の電子化原稿である．これは，NHKにおいて実
際に放送されたＴＶニュースの原稿であり，放送日などの情報がヘッダーとし
て付けられたデータベースである．記事の大きさは，１記事当たり約５００文
字であり，１つの記事当たりの文数は，約５文である．２００記事平均の１記
事の文字数，文数，１文当たりの文字数は表１の通りである．

\renewcommand{\arraystretch}{}
\begin{table}[h]
\begin{center}
\begin{tabular}{|c|r|} \hline
\multicolumn{2}{|c|}{１記事当たり} \\ \hline
平均 文字数     & ４８４．６８文字 \\ \hline
平均 文数       & ５．１８  文 \\ \hline
\multicolumn{2}{|c|}{１文当たり} \\ \hline
平均 文字数     & ９３．５７文字 \\ \hline
\end{tabular}
\end{center}
\caption{対象記事（２００記事）の詳細}
\end{table}

前節でも述べたが，テレビニュース番組原稿は，新聞記事と比べると，一記事
当たりの文数が少なく，一文当たりの文字数が多いと言う特徴がある．


\section{短文分割}
短文分割の処理は，条件を満たす長い文を記事中から選び，その文を複数の短
い文に分割するものである．分割の条件は，ＮＨＫ放送データベース（１５万
件）のテレビニュース原稿のうち，１９９１年４月１日から１９９１年６月１
１日にかけての記事（３,４９２記事）から，長さが２００バイト（１００文
字）以上の文を無作為に抽出したコーパス（全部で９,２０５文）を使用し，
それらを分析して分割条件を人手で作成したものである．\\
一方，後出の評価用のテキストは同じ１５万件の記事から無作為に選ばれてい
るが，１９９２年の記事から無作為に選ばれている．分割条件を導き出した記
事とは重っていない．

以下に，分割を行う条件を記述し，その後に，分割した結果の詳細を示す．

\subsection{分割条件}
文の分割を行わない場合をまず記述し，その後に分割を行う条件の例を以下に
記述する．分割をする条件は，下記記載のもの以外にも１０規則あり，合計で，
１９規則ある．また，これらの規則は，適用されて生成される文末の時制は，
原文の時制を反映した形となる．記載の例は，全て現在形で示してある．

\begin{list}{}{}
\item[1)] 分割をしない場合
\begin{itemize}
\item 基本的に，動詞と形容動詞と述語名詞の連用文節と終止文節以外は分割しない．\\
      また，この条件を満たす場合でも，以下の場合には，分割を行わない．
\begin{list}{}{}
\item[$\Box$] 連用文節であっても，連体文節直後の連用文節は分割しない．
\item[$\Box$] 直後または２文節以内に連体文節がある連用文節は分割しない．
\item[$\Box$] 直後または２文節以内に連用文節がある連用文節は分割しない．
\end{list}
\item 用言自立語＋(助動詞)＋接続詞「ば」は，分割しない．  例  「働きかければ，」
\item 「… も（と）あって，」は，分割しない．
\item 自立語＋と＋なり＋読点 または，自立語＋に＋なり＋読点は，分割しない．
\end{itemize}
\item[2)] 分割をする場合
\begin{itemize}
\item 自立語＋（助動詞）＋「ており」＋読点\\
      自立語＋（助動詞）＋「でおり」＋読点\\
      例「働きかけており，ｂｂ\footnote{「bb」は，文の一部であり，分割条件を満たす語句の直後に来る部分を示す．}」→ 「働きかけております．そして，ｂｂ」
\item 自立語＋（助動詞）＋「が」＋読点\\
      例「働きかけますが，ｂｂ」→ 「働きかけます．しかし，ｂｂ」
\item 自立語＋（助動詞）＋「もので」＋読点\\
      例「働きかけるもので，ｂｂ」→「働きかけるものです．そして，ｂｂ」
\item 自立語＋（助動詞）＋「ものの」＋読点\\
      例「働きかけるものの，ｂｂ」→「働きかけます．しかし，ｂｂ」
\item 自立語＋（助動詞）＋「のに対し」＋読点\\
      例「働きかけるのに対し，ｂｂ」→「働きかけます．それに対し，ｂｂ」
\item 自立語＋（助動詞）＋「のに対して」＋読点\\
      例「働きかけるのに対して，ｂｂ」→「働きかけます．それに対して，ｂｂ」
\item 自立語＋（助動詞）＋「にもかかわらず」 ＋読点\\
      例「働きかけるにもかかわらず，ｂｂ」→\\
     \hspace*{1cm}「働きかけます．それにもかかわらず，ｂｂ」
\item 自立語＋（助動詞）＋「とともに」＋読点\\
      自立語＋（助動詞）＋「と共に」＋読点\\
      例「働きかけるとともに，ｂｂ」→「働きかけます．それとともに，ｂｂ」
\item 「あり」または「強まり」＋読点\\
      例「強まり，ｂｂ」→ 「強まります．そして，ｂｂ」
\end{itemize}
\end{list}

これらの条件を実際のTV番組原稿文に適用してみると，\\
「千葉市に本店がある京葉銀行の成田西支店の女子行員が，他人名義のカード
ローンを悪用しておよそ三億円を着服していた疑いが強まり，京葉銀行ではきょ
う，この女子行員を懲戒解雇するとともに，千葉県警察本部に被害を届け出ま
した．」は，３文に分割され，
\begin{list}{}{}
\item[1.] 「京葉銀行の成田西支店の女子行員が，他人名義のカードローンを悪用しておよそ三億円を着服していた疑いが強まりました．」
\item[2.] 「そして，京葉銀行ではきょう，この女子行員を懲戒解雇しました．」
\item[3.] 「それとともに，千葉県警察本部に被害を届け出ました．」
\end{list}
となる．

上記の条件の下で，分割は，対象となる文の長さ（文の長さは文節数により算
出）により以下の２つの場合に行うこととした．

\vspace{-3mm}
\begin{table}[h]
\begin{center}
\begin{tabular}{|l|p{10cm}|} \hline
分割１ & 分割前に文が１２文節以上あり，分割後５文節以上の文に分割され
る場合．\\ \hline
分割２ & 分割する文の文節数に制約をかけない場合．つまり，これは，分割
出来る文は，全て分割しようという場合に相当する．\\ \hline
\end{tabular}
\end{center}
\end{table}

\vspace{-3mm}
\subsection{分割結果}
分割前と分割後の２つのケースを１記事当たりの文字数，文数，そして１文当
たりの文字数で比較してみると表２のようになる．

\begin{table}[h]
\begin{center}
\begin{tabular}{|c|r|r|r|} \hline
２００記事       & 文字数／記事 & 文数／記事 & 文字数／文\\ \hline
分割前           & 484.68       & 5.18       & 93.57\\ \hline
分割後（分割１） & 491.87       & 6.45       & 76.20\\ \hline
分割後（分割２） & 493.39       & 6.75       & 73.09\\ \hline
\end{tabular}
\end{center}
\caption{文数，文字数でみた短文分割の結果}
\end{table}

\vspace{-3mm}
短文分割処理を行った結果，一記事当たりの文数が約５文から約７文に増え，
１文当たりの文字数は，約２０文字減ることが確認された．

\section{自動要約への影響}
短文分割の自動要約への影響を調べるために，まず，重要度に応じて文を並べ
る，文の順序付けにおける効果を調べた．まず，記事中の重要と判定される文
が分割された場合に分割された複数の文の重要度がどう判定されるかを調べた．
これは，分割前に重要であると判断された文が，短文分割により分割され，且
つ，その分割された文が，重要度の判定において，一方が重要でありもう一方
が重要でないといった差が認められる場合，短文分割の要約への効果があると
考えられるからである．

また，記事中の重要文だけではなく記事全体として，短文分割が文の順位付け
において自動要約の結果にどのような影響があるかを調べた．これには，人手
による順位付けの結果と自動要約システムによる順位付けの結果の類似度を，
スペアマンの相関関係係数を用いて算出することにより行った．

文順位付けでの評価の対象としたのは，１００記事で，短文分割処理で対象と
した２００記事のTVニュース番組原稿から少なくとも４文以上を含んでいる記
事を１００選んだ．記事の分野の特定などは一切していない．

次に，文中の不要部分を削除または言い換えて文字数を削減する（文字数圧縮）
を取り上げ，短文分割の影響を調べた．この調査の対象とした記事は，短文分
割処理で対象とした同じ２００記事である．

\subsection{分割前後での文順位の変化}
対象となる１００記事に対して各記事毎に，その記事中の各文の重要度に応じ
て順位をつけた．順位付けは，まず人手で順位付けを行った．それとは別に，
自前の重要文抽出のシステム (若尾，江原，白井 1998) を用いて同じ記事の
各文に順位を付けた．１００記事中，分割１で分割されたものは，７５記事あ
り，分割２で分割が行われたものは２８記事である．分割２では，分割された
記事の総数が，１００記事中８５記事で，分割１で分割されたものを再分割し
たものが１８記事，新たに分割されたものが１０で，合計８５記事が分割され
ている．人手及びシステムにより文の順位が付与されたのは，分割前の１００
記事，分割１の結果（７５記事）を含む１００記事，分割２の結果（８５記事）
を含む１００記事である．

システムで用いられた重要文抽出の手法は，重要語密度法であり，各記事にお
いて頻度２以上の自立語を重要語とし，各文の重要語の割合を計算し，それを
その文の重要度とした(Luhn 1957; Edmundson 1969)．TVニュース番組原稿は，
新聞記事と似ているが，１段落しかなく，見出しも存在しないという前提
\footnote{データの出典元であるNHK放送データベースには，見出しが存在す
るが，ここでは用いなかった．}であるので，記事中の位置情報（例，第一段
落の第一文など）は用いず，単純に頻度の高い自立語を重要語とした重要語密
度法を採用した．文の順位付けは，この重要語密度法で計算された重要度を用
いて行われた．

重要とされた文の分割前後での順位の変化の調査には，分割１の結果を使った．
分割前の記事中で人手による判定で重要度による順位が１位または２位と判断
された文のうち，その文が短文分割を行うことにより分割され，且つ，２文に
分割された文，総数３０文（分割後６０文）について調査をした．

まず，重要度において１位と判定された文での分割後の２文が，人手によって
どのような順位に判定されたを調べた．結果を図 1に示す．

\begin{figure}[h]
\vspace{-4mm}
\begin{center}
\mbox{\epsfile{file=666_138-1.eps}}
\end{center}\vspace{-1mm}
\caption{１位文の分割後２文の順位分布}
\end{figure}

\vspace{-3mm}
同じく，重要度で２位と判断された文での分割後の文の順位の分布は，図 2の
ようになる．

\begin{figure}[!hb]
\vspace{-3mm}
\begin{center}
\mbox{\epsfile{file=666_138-2.eps}}
\end{center}
\vspace{-1mm}
\caption{２位文の分割後２文の順位分布}
\end{figure}


\clearpage
これらの結果から，分割前の重要度１位文においては，分割後の順位が，１位
と２位とが度数が最も多くなるのではなく，１位，３位，２位，４位以降とい
う順になっている．また，２位の文では，度数順に見ると，２位，３及び６位，
５及び７位となり，重要度による順位がばらつくことが分かる．

１位と２位の文をまとめて，分割後の文の順位における差の分布を，次に調べ
た．例えば，分割前に１位の文で，分割後に１位と３位に判定されたのであれ
ば，差は３マイナス１の２となる．この差の分布を３０文について調査した．

結果は，図 3の通りである．

\begin{figure}[h]
\begin{center}
\mbox{\epsfile{file=666_139.eps}}
\end{center}
\caption{分割後２文の順位差の分布}
\end{figure}

分割後の差が「１」の場合は順位が１位と２位などとなっている場合であり，
短文分割の効果が見られないと考えられる．他方，順位における差が「２」以
上の場合は，分割された文の間に他の文が入って来る場合であり，短文分割の
効果があると考えられる．順位の差が「２」の場合は，人手による判定で全体
の３３％（１０／３０）を占める．また，順位差が「３」以上の場合は，全体
の３７％（１１／３０）を占め，順位差が「１」の場合（９／３０）より多く
なっている．この事から，分割を行うことにより，分割された文の順位に差が
生じる場合が，生じない場合（順位差「１」の場合）よりも多くあり，短文分
割は，重要度による文順位付けに効果があると言える．


\subsection{記事全体での文の順序付けの評価}
次に，前節での順位付けの結果を用いて，記事中の重要文だけではなく記事全
体として，短文分割が文の順位付けにおいて自動要約の結果にどのような影響
があるかを調べた．これは，人手による順位付けと自動要約システムによる順
位付けの結果の類似度を，スペアマンの相関関係係数(Spearman's rank
correlation coefficient)を用いて算出することにより行った．スペアマンの
順位相関係数は，２つの順位付けのなされたもの間の相関を計るのに一般的に
用いられる統計尺度である(大村 1980)．

スペアマン順位相関関係係数（ｒ）の計算は以下のようである．
X$=(x_1,x_2,x_3\ldots x_n)$  Y$=(y_1,y_2,y_3,\ldots y_n)$,  $x_1,\ldots x_n$,
$y_1,\ldots y_n$ は各文の順位を示し，記事の第１文から第ｎ文までの順位を並
べたものであるX, Yが与えられた時，r は以下の式で計算される．
{\large
$$r=1-\frac{{\displaystyle 6\times\sum_{i=1}^n d_i^2}}{n(n^2-1)}$$
$$d_i:x_i-y_i \hspace{3mm} for \hspace{1mm} 1\leq i \leq n$$}
\noindent
$d_i$： $x_i$ と $y_i$ での順位における差\\
\hspace*{2mm}$n$： 記事中の文数

スペアマンの順位相関係数rは，１から−１の間の数値となり，１であれば２
つの順位が完全に一致している場合であり，−１だと全く逆の順位の並びとなっ
ている場合である．０の付近だと順位間の相関はなくなることになる．

比較を行ったのは，分割前の記事を用いての人とシステムの文順序付けの結果，
分割後の記事を用いた人とシステムの文順序付けの結果である．分割後の記事
としては，分割がなされた記事ばかりを集めたもの，つまり，分割１の場合だ
と７５記事，分割２の場合だと２８記事を対象としたケースと，それらの分割
結果を含む１００記事全体を対象とした場合について順位相関係数値を算出し
た．表3 にその結果を示す．

\begin{table}[h]
\begin{center}
\begin{tabular}{|l|r|} \hline
\multicolumn{1}{|c|}{比較対象記事} & \multicolumn{1}{|c|}{順位相関係数値}\\ \hline
分割前 （１００記事） & 0.4933\\ \hline
分割１ （７５記事）   & 0.5311\\ \hline
分割１ （１００記事） & 0.5304\\ \hline
分割２ （２８記事）   & 0.5583\\ \hline
分割２ （１００記事） & 0.5251\\ \hline
\end{tabular}
\end{center}
\caption{短文分割の文順位付けへの影響（スペアマン相関関係係数）}
\end{table}

尚，参考までに，人間の評価者間での順位相関を調べた．この調査に用いた原
稿は，上記の記事とは違うTVニュース原稿記事１００記事を用いた．２名の人
間の評価者間の順位相関係数値は0.7427であった．

短文分割後は，分割前と比べて順位相関係数値が若干ではあるが良くなること
が判明した．数値が良くなる原因として以下のことが考えられる．

\begin{itemize}
\item 短文分割の結果，長文の一部であまり内容情報を持たない部分が別の文として分割され，文の順位付けにおいて，人間にも，システムにも順位が低いものと判断されて，記事全体の順位付けでより近いものとなった．
\end{itemize}

例えば，原文が\\
「この女子行員は昭和六十年四月に京葉銀行に入社し，平成元年の四月から成
田西支店の貸し付け係，平成三年十月から成田西支店の出納係を担当しており，
ふだんの勤務態度は真面目で上司の信頼もあつかったということです．」\\
に対して，分割後は，２文になり，

\begin{list}{}{}
\item[1.] 「この女子行員は昭和六十年四月に京葉銀行に入社し，平成元年の四月から成田西支店の貸し付け係，平成三年十月から成田西支店の出納係を担当していました．」

\item[2.] 「そして，ふだんの勤務態度は真面目で上司の信頼もあつかったということです．」
\end{list}
\noindent
となる．分割前のこの文の順位は，人の判定で，７文中４位であるが，分割後の第二文目は，人の判定及びシステムの判定において順位が１１文中１０位と低くなっている．

また，人手で判断された順位を上から７０％程度までを見て，それらがシステ
ムの判断した上位７０％と一致しているかも見てみた．分割後の対象としたの
は，分割１，分割２の双方とも，１００記事全体である．順位の近さを計るの
に今回もスペアマンの順位相関係数を用いた．その結果は以下の通りである．
\footnote{尚，前述の２名の評価者間での上位７割における順位相関係数値は，
0.8246である．}

\begin{table}[h]
\begin{center}
\begin{tabular}{|l|r|} \hline
比較対象記事（上位７０％） & 順位相関係数値\\ \hline
分割前 （１００記事） & 0.5051\\ \hline
分割１ （１００記事） & 0.5056\\ \hline
分割２ （１００記事） & 0.5063\\ \hline
\end{tabular}
\end{center}
\caption{短文分割の文順序付けへの影響（上位７割での順位相関係数値）}
\end{table}

\vspace{-3mm}
上位７割を比較したのは，現在数少ない字幕付きＴＶニュース番組であるＮＨ
Ｋ教育チャンネルの「手話ニュース８４５」において，原稿に対して付与され
る字幕は，原稿の要約となっているが，文字数において約７割程度になってい
ることを考慮したものである(若尾，江原，白井 1997)．

上位７割の文での比較では，分割前，分割後ともほぼ同じ順位相関係数値を残
した．これは，上にみたように，分割後の場合，人とシステムで順位の低い文
が一致しているケースが多く，その結果，上位７割だけでの比較を行うと，分
割前の相関係数値が多少上がり，それに対して分割後の２つの係数値は，多少
下がることになり，全体として余り差のない結果となっている．短文分割の順
位付けへの影響を総合すると図４のようになる．


\vspace{-3mm}
\begin{figure}[h]
\begin{center}
\mbox{\epsfile{file=fig/142_ue.eps,height=69mm}}
\end{center}
\caption{文順位付けでの短文分割の影響（スペアマン相関関係係数）}
\end{figure}

\vspace{-8mm}
\subsection{文字数圧縮}
記事中の文中の不要な部分の削除や，短い表現へ言い換えることによって文字
数を減らす（文字数圧縮）について，短文分割のもたらす影響を調べた．

文字数圧縮規則を，付録に添付した．基本的には，文中，特に，文頭，文末の
表現に注目して，文字の削除，または言い換えを行うものである．例えば，
「強調しました．」と言う文末であれば，「強調．」とする，「総理大臣」は
「首相」とするなどである．

文字数圧縮規則は，聴覚障害者向けであり，字幕付きニュース番組である「手
話ニュース８４５」（ＮＨＫ教育）の字幕で使われている要約の規則を分析し
得られた規則を基礎とし，ＮＨＫ放送データベース中のニュース番組の原稿を
約３００記事\footnote{文字数圧縮規則の改良に用いた記事（約３００記事）
は，本論文で評価に用いた記事と重複していない．}用いて，更に修正，改良
したものである (若尾，江原，白井 1998)．

これらの規則を用いて，短文分割を行う前と後での，圧縮率の変化を調べた．
この場合，圧縮率は以下の式で算出した．

\vspace{3mm}
{\bf 圧縮率 ＝ 圧縮後の記事の文字数 ／ 元記事の文字数}
\vspace{3mm}

短文分割を行うと，前述のように記事の文字数は増加するが，それらは中間結
果であり，この圧縮率は，あくまで，元の記事の文字数と最終的な記事の文字
数から算出されるものである．

まず，元記事２００に文字数圧縮規則を適用して，圧縮率を計算し，そして，
分割１，分割２の処理を行った結果に文字数圧縮規則を適用して，圧縮率を算
出した．つまり，３つの場合での圧縮率を計算している．

\begin{list}{}{}
\item[1.] 短文分割は行わず，文字数圧縮のみを行った場合
\item[2.] 短文分割１を行い，その後文字数圧縮を行った行った場合
\item[3.] 短文分割２を行い，その後文字数圧縮を行った行った場合
\end{list}

その結果は，表５の通りである．

\vspace{-3mm}
\begin{table}[h]
\begin{center}
\begin{tabular}{|l|l|r|r|r|} \hline
   & \multicolumn{1}{|c|}{２００記事} & \multicolumn{1}{|c|}{短文分割による} & \multicolumn{1}{|c|}{\hspace{4mm}文字数\hspace*{4mm}} & \multicolumn{1}{|c|}{圧縮率（％）}\\
   &  & \multicolumn{1}{|c|}{増加文字数} &  & \\ \hline
   & 元記事     &                          & 96,936 &             \\ \hline
１ & 文字数圧縮のみ &                      & 91,808 & 94.71％     \\ \hline
２ & 分割1 ＋ 文字数圧縮          & 1,438  & 89,182 & 92.00％     \\ \hline
３ & 分割２ ＋ 文字数圧縮         & 1,742  & 89,114 & 91.93％     \\ \hline
\end{tabular}
\end{center}
\caption{文字数圧縮での短文分割の影響}
\end{table}
\vspace{-5mm}

短文分割を行うと，分割１，分割２を問わず記事がより圧縮されることが判明
した．この理由として次の２点が考えられる．

\begin{itemize}
\item 短文分割により接続詞（「そして」，「しかし」）などが挿入されるが，文字数圧縮の段階で削除される．これにより，短文分割処理による文字数の増加分は，文字数圧縮により相殺される．

\item 短文分割の条件に合った長文が，記事中にある場合は，分割が行われ，文数が増える．これにより，文末の数も増加することになり，文字数圧縮規則により文末の文字数を圧縮できる機会が増え，より多くの文字を減らすことが出来ることになる．
\end{itemize}

つまり，短文分割を行うことにより，元記事を単に文字数圧縮をした場合より
も文字数をより減らすことが出来る場合が生じることになる．

例えば，３．１節の京葉銀行の文だと，原文（１文のみ）では，文字数圧縮規
則により削減されるのは，文末の「届け出ました」が「届け出た」となる２文
字だけである．ところが，３文に分割されると，以下のようになる．

\begin{list}{}{}
\item[1.] 「京葉銀行の成田西支店の女子行員が，他人名義のカードローンを悪用しておよそ三億円を着服していた疑いが強まった．」
\item[2.] 「京葉銀行ではきょう，この女子行員を懲戒解雇．」
\item[3.] 「千葉県警察本部に被害を届け出た．」
\end{list}

第一文で「強まりました」が「強まった」となり，第二文で，「そして，」が
削除，「解雇しました」が「解雇」になり，第三文では，「それとともに，」
削除，「届け出ました」が「届け出た」となり，３文全体では，原文と比べて，
結局，８文字削減されたことになる．つまり，短文分割を行うことにより，よ
り多くの文字が削減されることになった．

\section{おわりに}\label{sec:owarini}
テキスト中の長い文を短い文に分割する短文分割処理の自動要約技術への影響
を調べた．自動要約技術としては，重要度による文の順位付け，そして，不要
部分を特定し，削除，言い換えする文字数圧縮を取り上げた．重要と判定され
る文で，短文分割により分割される場合の分割文の順位を調べると，順位にば
らつきが見られ，短文分割の要約への効果があることが分かった．また，記事
中の全文を対象とした順位の評価では，短文分割をすると，人とシステムの順
位付けがより近くなることが判明した．次に，文字数圧縮においては，短文分
割をすることにより，文字数を削減する機会が増え，より多くの文字が削除出
来ることが判明した．短文分割は，文単位での要約を，より小さな単位に分割
して要約しようとするものであり，今後は，短文よりさらに小さな単位である
文節を基礎とした自動要約技術についての研究を進めて行く予定である．

本論文では，対象をテレビニュース原稿としたが，新聞記事（毎日新聞 １９
９５年版）を用いて実験を行ない，他の分野でのテキストでも，短文分割の効
果があるかを調べた．

新聞記事は，記事の文字数が２５０文字以上ある１００記事を無作為に選んだ
ものを用いた．評価には，文字数圧縮において，短文分割の効果があるかを調
査した．その結果，元記事を単純に文字数圧縮した場合，圧縮率が９７．９０
％であり，圧縮そのものにあまり効果が見られなかった．これは，新聞記事で
は，文末が，「です，ます」調ではなく言い切りであること，また，テレビニュー
ス原稿に見られる「…ということです」などの独特の表現が少ないことに原因
があると思われる．短文分割後に文字数圧縮をした場合は，圧縮率が９７．６
１％となり，短文分割をしない場合より０．２９％下がるに留まり，ニュース
原稿の場合ほどには，分割の効果が見られなかった．この実験は，小規模のも
のであり，TVニュース原稿以外での分野のテキストにおいて短文分割の自動要
約への効果を調べるには，より詳細で，大規模な実験が必要であり今後の課題
である．

\clearpage


\appendix

\renewcommand{\arraystretch}{}
\begin{tabular}{|p{6.3cm}|p{6.5cm}|} \hline
{\bf 条件} & {\bf アクション と 例文}\\ \hline
{\bf 文末の動詞がサ変動詞} & {\bf そのサ変動詞以降を全て削除する}\\
（但し，否定の表現は含まない） & 「強調しました．」  →   「強調．」\\
& 「言及しませんでした．」  (適応せず)\\ \hline
{\bf 文末の動詞がサ変名詞＋「を」＋「する」} & {\bf そのサ変名詞以降を削除する}\\
（但し，否定の表現は含まない） & 「宣誓をしました．」  →  「宣誓」\\ \hline
{\bf 丁寧助詞の「ます」} & {\bf 「ます」「まし」を削除して適当な文末に}\\
& 「…なりました．」  →  「…なった．」\\
& 「…訪れます．」 →  「…訪れる．」\\ \hline
{\bf 特定の文末表現} & {\bf その表現を削除}\\
& 「ということです」，「としています」，\\
& 「ことにしています」など\\ \hline
{\bf 特定の文頭表現} & {\bf その表現を削除}\\
& 「一方」「その一方で」「このあと」など\\ \hline
{\bf 名詞性語句 ＋ 断定の助動詞「です」で} & {\bf 「です」を削除する}\\
{\bf 終る} & 「状況です．」→  「状況．」\\
& 「１５アンダーです．」→ 「１５アンダー．」\\ \hline
{\bf 特定の表現} & {\bf 意味を変えずに，より短い表現（語句）に}\\
& 「総理大臣」 → 「首相」\\
& 「最高裁判所」→ 「最高裁」\\ \hline
{\bf 文中に現れ，括弧でくくられたカタカナ} & {\bf カタカナ文字列を括弧とともに削除}\\
{\bf 文字列} & 「大洗漁港（オオアライギョコウ）」\\
 & →  「大洗漁港」\\ \hline
{\bf 省略形がある場合} & {\bf 省略形だけにする}\\
& 「連合＝日本労働者組合総連合会」\\
&→ 「連合」\\ \hline
{\bf 括弧でくくられた数字列} & {\bf 括弧とともに削除する}\\
& 「… 容疑者（４９）」  → 「… 容疑者」\\ \hline
{\bf 特別な表現} & {\bf 削除する}\\
\vspace{-3mm}
\begin{itemize}
\item 「問い合わせ先」ではじまる文
\item 「電話」ではじまり，その後が数字と括弧だけで構成される文
\end{itemize}\vspace{-5mm} & \\ \hline
\end{tabular}

\clearpage


\bibliographystyle{jnlpbbl}

\begin{thebibliography}{99}
\bibitem[\protect\BCAY{}{}{}]{}
Edmundson H.P. \BBOP 1969\BBCP. 
\newblock \BBOQ New Methods in Automatic Extracting\BBCQ\
\newblock {\Bem Journal of the ACM}, {\Bbf 16} (2), \BPGS\ 264--285.

\bibitem[\protect\BCAY{}{}{}]{}
江原 暉将，沢村 英治，若尾 孝博， 阿部 芳春，白井 克彦 \BBOP 1997\BBCP. 
\newblock \BBOQ 聴覚障害者のための字幕つきテレビ放送制作への自然言語処理の応用\BBCQ\
\newblock 言語処理学会 第３回年次大会予稿集.

\bibitem[\protect\BCAY{}{}{}]{}
Grefenstette G. \BBOP 1998\BBCP. 
\newblock \BBOQ Producing intelligent telegraphic text reduction to provide an audio scanning service for the blind\BBCQ\
\newblock In {\Bem Working Notes of the AAAI Spring Symposium on Intelligent Text Summarization}, \BPGS\ 111--117.

\bibitem[\protect\BCAY{}{}{}]{}
Hovy E., Marcu D. \BBOP 1998\BBCP. 
\newblock \BBOQ Automated Text Summarization" Tutorial Notes for Text summarization\BBCQ\
\newblock {\Bem the 36th Annual Meeting of the Association for Computational Linguistics and 17th International Conference on Computational Linguistics}.

\bibitem[\protect\BCAY{}{}{}]{}
金 淵培，江原 暉将 \BBOP 1993\BBCP. 
\newblock \BBOQ 日英機械翻訳のための日本語ニュース文自動短文分割と主語補完\BBCQ\
\newblock 情報処理学会 自然言語処理研究会報告書 NL-93-3.

\bibitem[\protect\BCAY{}{}{}]{}
木村 真理子，野村 浩一，平川 秀樹 \BBOP 1993\BBCP. 
\newblock \BBOQ 日英機械翻訳前編集における日本語文分割処理について\BBCQ\
\newblock 情報処理学会 自然言語処理研究会報告書 NL-96-8.

\bibitem[\protect\BCAY{}{}{}]{}
Luhn, H.P. \BBOP 1957\BBCP. 
\newblock \BBOQ A statistical approach to the mechanized encoding and searching of literary information\BBCQ\
\newblock {\Bem IBM Journal of Research and Development}, {\Bbf 1} (4), \BPGS\ 309--317.

\bibitem[\protect\BCAY{}{}{}]{}
毎日新聞 \BBOP 1995\BBCP. 
\newblock CD-毎日新聞９５版，
\newblock （株）毎日新聞社.

\bibitem[\protect\BCAY{}{}{}]{}
Marcu D. \BBOP 1997\BBCP. 
\newblock \BBOQ From discourse structures to text summarization\BBCQ\
\newblock In {\Bem Proceedings of the ACL Workshop on Intelligent Scalable Text
Summarization}, \BPGS\ 82--88.

\bibitem[\protect\BCAY{}{}{}]{}
三上 真，山崎 邦子，増山 繁，中川 聖一 \BBOP 1998\BBCP. 
\newblock \BBOQ 文中の重要部抽出と言い替えを併用した聴覚障害者用字幕生成のためのニュース文要約\BBCQ\
\newblock 言語処理学会第四回年次大会併設ワークショップ「テキスト要約の現状と将来」論文集, \BPGS\ 14--21.

\bibitem[\protect\BCAY{}{}{}]{}
奥村 学，難波 英嗣 \BBOP 1998\BBCP. 
\newblock \BBOQ テキスト自動要約技術の現状と課題\BBCQ\
\newblock 北陸先端科学技術大学院大学 情報科学研究科リサーチレポート IS-RR-98-0010I.

\bibitem[\protect\BCAY{}{}{}]{}
大村 平 \BBOP 1980\BBCP. 
\newblock \BBOQ 統計解析のはなし\BBCQ\
\newblock 日科技連出版社.

\bibitem[\protect\BCAY{}{}{}]{}
Wakao, T., Ehara, E., Sawamura, E., Abe, Y., Shirai, K. \BBOP 1997\BBCP. 
\newblock \BBOQ Application of NLP technology to production of closed-caption TV programs in Japanese for the hearing impaired\BBCQ\
\newblock In {\Bem Proceedings of ACL97 workshop, Natural Language
Processing for Communication Aids}, \BPGS\ 55--58.

\bibitem[\protect\BCAY{}{}{}]{}
若尾 孝博，江原 暉将，白井 克彦 \BBOP 1997\BBCP. 
\newblock \BBOQ テレビニュース番組の字幕に見られる要約の手法\BBCQ\
\newblock 情報処理学会自然言語処理研究会，NL-122-13.

\bibitem[\protect\BCAY{}{}{}]{}
若尾 孝博，江原 暉将，白井 克彦 \BBOP 1998\BBCP. 
\newblock \BBOQ テレビニュース字幕のための自動要約\BBCQ\
\newblock 言語処理学会併設ワークショップ「テキスト要約の現状と将来」論文集, \BPGS\ 7--13.

\bibitem[\protect\BCAY{}{}{}]{}
Wakao, T., Ehara, E., Shirai, K. \BBOP 1998\BBCP. 
\newblock \BBOQ Project for production of closed-caption TV programs for the hearing impaired\BBCQ\
\newblock In {\Bem Proceedings of 36th Annual Meeting of the Association for Computational Linguistics and 17th International Conference on Computational Linguistics (Coling-ACL98)}.
\end{thebibliography}



\begin{biography}
\biotitle{略歴}
\bioauthor{福島 孝博}{
1990年米国 State University of New York at Buffalo,大学院Computer Science研究科修士終了．1990年から1993年米国New Mexico State University, CRLにて研究員．1994，95年，英国シェフィールド大学大学院Computer Science研究科　Research Associate（研究員）．96年日本電気（株）入社．同年より通信・放送機構渋谷上原リサーチセンターに出向，研究員, 現在に至る．自然言語処理，情報抽出，自動要約の研究に従事．
}
\bioauthor{江原 暉将}{
1967年早稲田大学第一理工学部電気通信学科卒業．同年，NHK入局．1970年よ
り放送技術研究所勤務．かな漢字変換，放送衛星の管制制御，機械翻訳，音声
認識などの研究に従事．1996年より現職．本会評議委員．工学博士．
}
\bioauthor{白井 克彦}{
1963年早稲田大学理工学部電気工学科卒業．1968年大学院理工学研究科博士課程修了．同年同大学理工学部電気工学科専任講師，1975年同教授，1991年理工学部情報学科教授．1998年，常任理事．
}

\bioreceived{受付}
\biorevised{再受付}
\biorerevised{再々受付}
\bioaccepted{採録}

\end{biography}

\end{document}
