    \documentclass[japanese]{jnlp_1.2c}

\usepackage[dvips]{graphicx}
\usepackage{ascmac}
\Volume{14}
\Number{1}
\Month{Jan.}
\Year{2007}
\received{2006}{5}{19}
\revised{2006}{9}{26}
\accepted{2006}{10}{6}

\setcounter{page}{67}

\jtitle{文書拡張によるキーワード抽出}
\jauthor{長町　健太\affiref{TUT} \and 武田　善行\affiref{TU} \and 梅村　恭司\affiref{TUT}}
\jabstract{
キーワード抽出は情報検索に不可欠な技術の一つである．
例えば，検索速度の短縮や検索精度の改善に利用される．
既存のキーワード抽出法としては，語の統計情報や文書の構文上の特徴に基づくものなどがある．
その中で，辞書を一切用いず，反復度と呼ばれる統計量のみに基づくキーワード抽出法がある．
この方法には，文書数に上限があるとき複合語が一般的な語に分割されて，長いキーワードとして抽出できないという問題がある．
そこで本論文では，質問拡張のアイデアを利用して複数文書への繰り返し出現という考えを導入する．
そして，この考えを元にキーワード抽出法を提案する．
結果として，提案したキーワード抽出法のF値は上がった．
また，これまでに取れなかったキーワードが取れるようになった．
結論として，キーワード抽出における文書拡張の有用性を報告する．
}
\jkeywords{文書拡張，フレーズ，複合語，反復度，キーワード抽出}

\etitle{A Keyword Extraction Method by Document Expansion}
\eauthor{Kenta Nagamachi\affiref{TUT} \and Yoshiyuki Takeda\affiref{TU} \and Kyoji Umemura\affiref{TUT}} 
\eabstract{
Keyword extraction is one of the technology essential for information retrieval. There are methods based on the statistical information of words and features in syntax of the documents as existing keyword extraction methods. Among these methods, there is a keyword extraction method based on only a statistics which is called {\it adaptation}  without using the dictionary. 
This method has a problem that it is not possible to extract a keyword as a long character string when the number of documents is limited.
In this research, we introduce an idea of repetition occurrence in two or more documents based on the idea of query expansion. And, we propose a novel keyword extraction method based on this idea. The F measure of the proposed keyword extraction method is improved. 
And, it becomes possible to extract the keyword that was not able to be extract before.
In conclusion, we report the usefulness of the document expansion in the keyword extraction.
}
\ekeywords{Document expansion, Phrase, Compound word, Adaptaion, Keyword extraction}

\headauthor{長町，武田，梅村}
\headtitle{文書拡張によるキーワード抽出}

\affilabel{TUT}{豊橋技術科学大学 ネットワーク応用研究室}
	{Network Application Laboratory, Toyohashi University of Technology}
\affilabel{TU}{東京大学総合研究機構 俯瞰工学部門}
	{Department of Meta-Technica, Research and Education in Tokyo University}



\begin{document}
\maketitle
\vspace{-1\baselineskip}




\section{はじめに}
キーワード抽出は情報検索に不可欠な技術の一つであり，現在，多様なキーワード抽出法が提案されている．
その手法では，辞書を用いて形態素解析を行う方法\cite{Nakagawa1997}が一般的であるが，辞書を全く用いない方法\cite{TakedaAndUmemura2001}もある．
辞書を用いて形態素解析を行う方法は，辞書に登録されていない語（未知語）の処理を考えなければならない．
これは，未知語の存在がキーワード抽出の性能に悪い影響を与えるからである．
したがって，日々増え続ける新しい未知語に対して，対処法を講じる必要がある．
一方，辞書を一切用いずに，コーパスにおける文字列の統計量を元にキーワードを獲得する手法がある．
文献\cite{TakedaAndUmemura2001}では，adaptation（反復度）を用いたキーワード抽出法を提案している．
この手法では，文書数に上限があるとき複合語が分割されて抽出され，長いキーワードとして抽出できないという問題がある．
この原因について我々は，文書中での文字列の反復出現が少ないことにより，反復度をうまく推定できていないと分析した．
つまり，反復度は文書数をたくさん必要とする指標である．

そこで本論文では，類似する文書への出現を考えた．
情報検索における検索質問拡張では，新しい索引語を検索質問に付け加えることで検索質問の不足を補う．
我々はこの手法を，コーパスの文書を拡張することに応用して，長い文字列の反復出現をうまく捕らえることができないかと考えた．
ここで，文書拡張したコーパスを拡張文書集合と呼ぶことにする．

本論文では，反復度を用いたキーワード抽出システムを利用する．
そしてこのシステムにおいて，従来法と拡張文書集合を使用する提案法との比較実験を行う．
結果として，文書拡張によるキーワード抽出法は，長いキーワードの反復出現をうまく捕らえるということを確かめる．
また，これまでに取れなかった分野に特化したキーワード及びフレーズ的キーワードが抽出できるという新たな性質を報告する．
結論として，キーワード抽出における文書拡張の有用性を報告する．

本論文では，はじめに2節でキーワードの定義を行う．
次に3節で反復度を用いたキーワード抽出法と文書拡張によるキーワード抽出法について，その手法及び手順と，文書拡張の妥当性について述べる．
4節では従来法と提案法において反復度の振る舞いを調査する．
そして5節で実際にキーワード抽出を行い，従来法と比較及び考察する．
6節で先行研究と比較する．
最後に7節で本論文の調査をまとめ，結論とする．


\section{キーワードの定義}
はじめにキーワードの定義について考える．
キーワードの定義はその用途によって様々である．
例えば情報検索分野を考えると，索引語をキーワードと見なせる．
ここで，索引語は文書の内容をよく表す要素であり，語を索引語として用いることが多い\cite{Tokunaga1999}．
また，キーワード抽出における論文に例を見てみると，キーワードは「文書中に出現し，著者が自分の主張を伝える上で重要であると考える語\cite{Mori2005}」と定義している．
つまり，文書は著者が何かを伝えるために書いている以上，キーワードとしては著者の主張の上で重要な語を取り出すべきであるという考えである．
研究者の情報をキーワードとして自動的に抽出する手法を提案する論文\cite{Matumura2002a}では，研究者の活動を表すために重要な語，例えば，所属組織，研究テーマ，共著者，プロジェクト名をキーワードと定義している．
そして最後に，語の活性度に基づくキーワード抽出法を提案する論文\cite{Matumura2002b}では，文書を読んだ後に読者の記憶に強い印象を残す語をキーワードとしている．
すなわち，強く活性化される語を著者の主張を表すキーワードと定義している．
このように，キーワードの定義は様々である．

ここでキーワードの単位について着目すると，多くの場合で語を単位としている．
しかし，英語と違って日本語には，語を区切る空白というものが存在しないため，語の厳密な定義を与えることは困難である．
ここで語とは，自然言語において一つの意味のまとまりをなし，文法上一つの機能をもつ最小の言語単位である\cite{Iwanami1995}．
さらに，文を構成する際の働きを基準とした場合，日本語の語は自立語と付属語に大別される．
自立語はそれだけで意味がわかる語で，付属語は自立語に接続して意味をつけくわえたりする語である．
しかし，このような区別はあるが付属語を語と認めない考え方もある．
また，どのような基準で複合語を1語としてみなすかも明確ではない．
このように語の定義もさまざまである．

このように多くのキーワードの定義，語の定義がある中で，文書中で繰り返し出現する確率（反復度）もキーワードを定義するものの一つである．
反復度は自立語と付属語の境界を特定する特徴量として語彙分類の実験からその有用性が明らかにされている\cite{Church2000}．
そして，この反復度を用いたキーワード抽出結果は，情報検索用途で実証もされている\cite{TakedaAndUmemura2004}．
このようなことからも多くのキーワードらしさの中でも，主題を抽出するために利用できるものの一つである.
\section{キーワード抽出}
キーワード抽出とは，前節で説明したようなキーワードを，語の統計情報や文書の構文上の特徴をもとに自然言語で書かれた文書中から自動抽出する技術である．
3.1節ではまず，従来法である反復度を用いたキーワード抽出法について述べる．
3.2節では文書拡張によるキーワード抽出法を提案し，その妥当性を述べる．


\subsection{反復度を用いたキーワード抽出法}
\subsubsection{3.1.1　反復度の定義}
多くの語は文書に繰り返し出現する傾向にあり，その度合いを示す特徴量は語の意味に関わる値であるということが報告されている\cite{Church2000}．
文献\cite{TakedaAndUmemura2001}では，キーワードらしさを測る上での反復度の有用性とキーワード抽出への応用が報告されている．


{\bf 定義3.1　反復度}

ここでの全事象は文書の出現とする．
語を$w$，文書が語$w$を（1回以上）含む事象を$e_1(w)$，文書が語$w$を2回以上含む事象を$e_2(w)$とすると，反復度は次のように定義される．


\[adaptation(w)=p(e_2(w)|e_1(w))=\frac{p(e_2(w) \wedge e_1(w))}{p(e_1(w))}=\frac{p(e_2(w))}{p(e_1(w))}\]


反復度は，ある文書に単語$w$が1回以上含まれていることを条件とした時にある文書に単語$w$が2回以上含まれる条件付き確率である．
語が文書に出現する確率と語が文書に2回以上出現する確率は，コーパス全体で考えると文書頻度を用いて推定することができる．
コーパス全体である語$w$を含む文書の数を$df(w)$，2回以上含む文書の数を$df_2(w)$とすると，反復度は次のように推定することができる．


\[adaptation(w)=\frac{p(e_2(w))}{p(e_1(w))} \approx \frac{df_2(w)}{df(w)}\]

文献\cite{TakedaAndUmemura2001}では，キーワードに対して反復度がある範囲の値に集中していて，出現確率よりも高い値を持つという特徴があることが報告されている．
さらに，キーワードらしさの単位境界を特定するための特徴量としても有用であると報告されている．
そして，これらの反復度の分析結果から，単位の特定とキーワードの特定をし，キーワード抽出を行うシステムが実現されている．


\subsubsection{3.1.2　反復度によるキーワード抽出の手順}
この手順は文献\cite{TakedaAndUmemura2001}の方法であるが，提案する手法でも同じ手順を使う．
はじめにキーワード抽出の元となる文字列をなるべくキーワードらしい文字列になるように分割する．
この単位分割のために用いるキーワードらしさは反復度を用いて次のように定義する．
~
\[ Score_{adaptaion}(x_i)=\cases{
		- \infty & $\cdots \qquad df_2<3$\cr
		\log 0.5 & $\cdots \quad  df_2 \geq 3,df/N>0.5$\cr
		\log df_2(x_i)/df(x_i) & $\cdots \quad  df_2 \geq 3,df/N \leq 0.5$\cr
	}\]
~


反復度はサンプル数が少数の場合（$df_2<3$の領域），不安定になる．
これに対処するためにスコアを$-\infty$として単純に切り捨て処理を行っている．
また，高頻度の文字列（$df_2\geq3,df/N>0.5$の領域）に対して反復度は語の種類の分別性を失うため，スコアを$\log 0.5$に押さえることによって，キーワードらしいと特定されるのを避けている．
このスコアを使用して，キーワード抽出元の文字列におけるすべての分割によってできるすべての部分文字列に対してスコアを計算する．
そして，ビタビアルゴリズムを用いて，文字列全体におけるスコアが最大となる分割を求める．
これは長さ$n$の文字列に対して$O(n^2)$の計算量のアルゴリズムである．

\[ viterbi\_adaptation = MAXARG_X \left( \sum_{X=\{x_1,x_2,\cdots,x_n\}} Score_{adaptation}(x_i) \right)\]
次にキーワードか否か判定を行い，キーワードらしくないものを除去する．
$l$を文字列の長さとし，キーワードと判定する条件を次のように定義する．

\[ keyword = \left\{x|0.00005<\frac{df(x_i)}{N}<0.1,1<l \right\} \]

\subsection{文書拡張によるキーワード抽出法}
\subsubsection{3.2.1　文書拡張の妥当性}
反復度を用いたキーワード抽出には，複合語が一般的なキーワードに分割され，情報検索に役立つ専門的な長いキーワードが抽出できないという問題がある．
我々はこの主な原因として，文字列の反復出現が少なく，反復度をうまく推定できていないと分析した．

本研究では長いキーワードの反復出現を捕らえる方法として，単一文書ではなく，類似する複数の文書への出現を考慮した．
語の出現確率は，単一の文書に比べて，複数の文書のほうが高いからである．
また，言及する内容によって語の出現が左右されるのならば，似たような文書では，語の出現も似通っているのではないかということを仮定している．

したがって本論文では，単一文書を複数文書で拡張した拡張文書集合において，キーワード抽出を行うことを提案する．
すなわち，文書をそのまま利用するのではなくて，前処理をしたのち文献\cite{TakedaAndUmemura2001}に提案される反復度を用いたキーワード抽出システムと同じ処理を行う．

\subsubsection{3.2.2　拡張文書集合の作成}
拡張文書集合を作成するために，既存の情報検索システムを使用した．
その情報検索システムは，検索質問の文字列をbigramに分割し，そのスコアの合計からコーパス内の類似する文書を検索するものである．
ここで，bigramとは文字列の先頭から1文字ずつ移動しながら得た2文字の集合とする．
例えば，文字列が「いろはに」であったなら，bigramは「いろ，ろは，はに」とする．
スコアについては，情報検索によく使われるtfidf法をもとにし，それを文書の長さ($Document \quad Length$)のルートで割って文書長で正規化したものを使用する．
次にその式を示す．
\clearpage

\[score=\frac{tf \cdot idf}{\sqrt{Document \quad Length}}\]

\begin{itemize}
\item 
$tf$：文書中の単語の頻度(term frequency)
\item
$idf$：単語の出現する文書数が少ないことを重要と考える指標(inverse document frequency)
\item
$Document \quad Length$：文書の長さ（文字数）
\end{itemize}
このような情報検索システムを用いて類似する文書を検索する．
ここで類似する文書を元文書に結合する文書数を{\bf 拡張数}と定義する．
例えば，拡張数が2であれば，類似文書を2文書使って元文書を拡張する．
この拡張数に応じて拡張文書集合を作成する．
その手順を図~\ref{fig:mk-ex-corpus}に示す．


\begin{figure}[t]
	\begin{center}
		\includegraphics[width=14cm]{mk-ex-corpus.eps}
	\end{center}
	\caption{拡張文書集合の作成}
	\label{fig:mk-ex-corpus}
\vspace{-2\baselineskip}
\end{figure}

\subsubsection{3.2.3　文書拡張によるキーワード抽出の手順}
3.2.2節で述べたように，コーパスを文書拡張して拡張文書集合を作成する．
この拡張文書集合において，反復度を用いてキーワード抽出を行う．つまり，従来法において，反復度を計算するコーパスを拡張文書集合に置き換えてキーワード抽出を行う．
\section{文書拡張による反復度と出現確率のヒストグラム}
文書拡張による反復度と出現確率の変化について分析する．
この調査はキーワードの反復度と出現確率をヒストグラムにすることで，その変化を視覚化することが目的である．
調査に使用するコーパスとしてNTCIR-1Jコレクション\cite{Kando2001}を用いた．
このコーパスは，情報検索問題における性能評価を主眼としたテストコレクションである．
その内容は，学会発表データベースの一部で日本語論文抄録である．
そして，それぞれの文書には，その文書の著者が付けたキーワードが付属している．
全文書数は332,921件で，一文書は100〜400文字程度である．
その構造を図~\ref{fig:corpus}に示す．


\begin{figure}[t]
	\centering
	\begin{screen}
		\begin{verbatim}
		<REC>
		<ACCN>gakkai-0000000001</ACCN>
		<TITL>電気回路演習用ＣＡＩとその改良</TITL>
		<ABST>大学等での基礎的な電気回路演習を支援するＣＡＩソフトウェアとその改良について述べている．ＣＡＩはコンピュータが出題される回路を学習者各人のレベルに応じて自動的に作成すること，解答を数式で入力することが大きな特長である．また，誤った解答に対しては，原因の検討を容易にするメッセージが
		・・・
		の改良を行った．</ABST>
		<KYWD>電気回路 // 演習</KYWD>
		</REC>

		\end{verbatim}
	\end{screen}
	\caption{NTCIRコーパスの構造（一文書）}
	\label{fig:corpus}
    \vspace{20pt}
	\begin{center}
		\includegraphics[width=12cm]{ex-df2df.eps}
	\end{center}
	\caption{著者キーワードの反復度ヒストグラム}
	\label{fig:ex-df2df}
\end{figure}


このコーパスの先頭から500件の文書に付属する著者キーワードについて，従来法と文書拡張による手法で反復度と出現確率を調査した．
その際，従来法はそのままのコーパス，文書拡張による手法は拡張数5の拡張文書集合を使用し，それらの先頭から50000件を反復度の推定コーパスとして用いた．
図~\ref{fig:ex-df2df}に反復度ヒストグラム，図~\ref{fig:ex-dfn}に出現確率ヒストグラムを示す．
このヒストグラムの縦軸はキーワード数，横軸は図~\ref{fig:ex-df2df}が$df_2/df$，図~\ref{fig:ex-dfn}が$df/N$である．ただし，出現確率ヒストグラムについては，グラフの見易さの面から縦軸がキーワード数＋1を対数で表示する．
500件に付属するキーワード総数は729個である．

\begin{figure}[t]
	\begin{center}
		\includegraphics[width=12cm]{ex-dfn-plus1.eps}
	\end{center}
	\caption{著者キーワードの出現確率ヒストグラム}
	\label{fig:ex-dfn}
\end{figure}

図~\ref{fig:ex-df2df}のグラフから，文書拡張により反復度が高い値を持つことがわかる．
また，図~\ref{fig:ex-dfn}のグラフにおいても文書拡張により出現確率が高い値を持つことがわかる．
出現確率については，文書拡張という手法を考えると高くなることが容易に想像できる．
これをさらに著者キーワードごとに調査した結果，文書拡張による手法では，著者キーワードの82\%において反復度($df_2/df$)が，すべての著者キーワードにおいて出現確率が，従来法以上の値を示した．
これは，従来法において文書中でキーワードの反復出現が少なかったが，文書数に上限があるとき文書拡張により反復出現が多くなることから，文書拡張がキーワード判定に有用であることが示唆される．
拡張文書における反復度も元文書における反復度と同様な情報を含み，値がより増幅されていると推定できる．
\section{キーワード抽出実験}
従来法のキーワード抽出と文書拡張によるキーワード抽出結果の比較実験を行う．実験に使用するコーパスは4節で使用したNTCIR1-Jコレクションを用いる．
\subsection{著者キーワード再現率の比較と考察}
著者が付与した論文のキーワードを正解として判定した再現率を{\bf 著者キーワード再現率}と呼ぶことにする．
これは，著者の付与したキーワードが，システムが出力したもののなかに含まれる確率の推定値である．
従来法と文書拡張による手法で著者キーワード再現率の比較を行った．
この調査では，コーパスそのままのoriginal，コーパスの各文書を単純に半分の文字数でカットしたコーパスhalf，各拡張数（1文書に結合する文書数）の拡張文書集合expansion\_1〜5，これらの先頭から5万件を反復度の推定コーパスとして，著者キーワード再現率を調査した．
キーワード抽出元の文書は1万件を単位にして，ランダムに選んだ5つに対してキーワード抽出を行った．その結果を図~\ref{fig:re-uniq}に示す．
ここで，originalは従来法のNTCIRのコーパス，halfはoriginalの文書長を半分にしたコーパス，expansion1〜5は拡張数1〜5の拡張文書集合をそれぞれ表す．

\begin{figure}[b]
	\begin{center}
		\includegraphics[width=12cm]{re-uniq.eps}
	\end{center}
	\caption{著者キーワード再現率}
	\label{fig:re-uniq}
\end{figure}

図~\ref{fig:re-uniq}の結果から，文書拡張して拡張数が増えると再現率が上昇することがわかる．
従来法においては長い文字列の反復度の推定がうまく働いていないという問題があった．
しかし，文書拡張により反復度の推定がうまく働き，再現率が改善された．特に従来法では，$df_2(w)<3$となる低頻度の文字列に対して，文書を特徴付けるキーワードではないと判断していた．
$df_2(w)<3$となる文字列は非常に多く，それが反復度の推定に影響を与えていたのである．
4節で述べたように，文書拡張により著者キーワードの$df_2(w)$値は大きくなり，反復度をうまく推定できるようになった．
その結果，再現率が上昇した．

\begin{figure}[p]
	\begin{center}
		\includegraphics[width=12cm]{re-doc-org.eps}
	\end{center}
	\caption{originalの文献数に対する再現率}
	\label{fig:re-doc-org}
\vspace{1\baselineskip}
	\begin{center}
		\includegraphics[width=12cm]{re-doc-ex2.eps}
	\end{center}
	\caption{expansion\_2の文献数に対する再現率}
	\label{fig:re-doc-ex2}
\end{figure}

次に，反復度を推定するコーパスの文献数に対する著者キーワード再現率をoriginalとexpansion\_2に限って図~\ref{fig:re-doc-org}，\ref{fig:re-doc-ex2}にそれぞれ示す．
設定や入力などは今までと同一である．
図~\ref{fig:re-doc-org}と図~\ref{fig:re-doc-ex2}のグラフから，文書拡張にかかわりなく文献数が増えると再現率が大きくなることがわかる．

\subsection{キーワード抽出結果の比較と考察}
キーワードの抽出結果について従来法と文書拡張による手法でどのような変化があるか調査を行った．
それぞれの抽出結果を表~\ref{tab:out-key}に示す．
ここで，角括弧に囲まれた文字列がキーワードとして抽出された文字列である．
調査における反復度の推定コーパスは，4節の反復度と出現確率のヒストグラムの調査と同じ設定である．

\begin{table}[b]
	\caption[extraction]{キーワード抽出結果}
	\begin{center}
		\begin{tabular}{|l|} \hline		
			従来法のキーワード抽出結果 \\ \hline
			[クラウン][ガラス][マイクロレンズ]を[炭酸ガスレーザーの][照射]により加工し，\\
			その光学的特性を結像法により評価すると[炭酸ガスレーザーの][照射]条件に依存し\\
			て樽型の[歪曲][収差]と系巻型の[歪曲][収差]が表れることが判明した． \\ \hline
			文書拡張によるキーワード抽出結果 \\ \hline
			[クラウンガラスマイクロレンズ]を[炭酸ガスレーザーの照射]により加工し，[その光]\\
			学的特性を[結像法により]評価すると[炭酸ガスレーザーの照射]条件に依存して[樽\\
			型の歪曲収差][と系巻型]の[歪曲収差]が表れることが判明した． \\ \hline
		\end{tabular}
		\label{tab:out-key}
	\end{center}
\end{table}

表~\ref{tab:out-key}からわかるように，従来法では[クラウン][ガラス][マイクロレンズ]のように分割されて抽出されていたキーワードが，文書拡張による手法では分割されずに[クラウンガラスマイクロレンズ]として抽出されている．
これは文書拡張により，従来法より複合語がうまく抽出できるようになったということを示す．
さらに，従来法では抽出されていなかった[結像法により]というキーワードが文書拡張による手法では抽出された．
しかし，[により]という助詞的な文字も一緒に抽出された．
これは文書拡張により，[結像法]というキーワードが文章中で[により]という助詞的文字と一緒に使われる頻度が多くなり[により]までを含めてキーワードとして判定されてしまうためである．
また，文書拡張による手法では[炭酸ガスレーザーの照射]や[樽型の歪曲収差]のように従来法ではほとんど見られなかったフレーズ的なキーワードが抽出できた．
このように抽出される理由も助詞がついて抽出されてしまう理由と同様である．
フレーズ的なキーワードの是非は，応用によって異なる．
しかし，フレーズ的キーワードが重宝される用途は確実にある．
例えば，フレーズ的キーワードの方が人間には直感的でその内容を理解しやすいものとする．
また，文書要約においてフレーズ的キーワード単位で要約を考えることもできる．
これらの用途において，反復度が有益な尺度になる．

そして，複合語とフレーズ的キーワードは，その分野に特化したキーワードと考えることもでき，文書の重要語を抽出できているという見方をできる結果の一つといえる．

\subsection{精度比較と考察}
文書拡張により精度にどのような変化があるか調査を行った．
従来法と文書拡張による手法のキーワード抽出結果の両方から，ランダムに500個のキーワードを選び出し，正しく抽出されているか調査した．
従来法はそのままのコーパス，文書拡張による手法は拡張数2で作成した拡張文書集合expansion\_2を使用し，それらの先頭から10000件を反復度の推定コーパスとして用いた．
キーワードの正解判定は人間が行い，キーワードの判定基準は，語を単位として意味のわかる自立語および自立語のみで構成された語とした．
調査は，キーワード境界で厳密に正解と判断する場合と助詞や読点を含んでいても正解と判断する場合の2通りで行った．これらの正解不正解の判定例を表~\ref{tab:keyword-judge}に示す．
キーワード抽出システムの各種閾値の設定は従来法と文書拡張による手法のそれぞれで良い結果を与える値に設定し，精度を調査した結果を表~\ref{tab:precision}に示す．

\begin{table}[b]
	\centering
	\caption{キーワード正解不正解判定例}
	\begin{tabular}{l|c|c}
		正解判定　& 正解 & 不正解 \\ \hline
		(a)判定 & 形態素解析 & 形態素解析を \\
		　 & 意味 & 意味する \\
		　 & システム & システムの構築 \\
		　 & 特長 & その特長 \\
		　 & 過冷却液体窒素 & 過冷却液体窒素の\\ \hline
		(b)判定 & 形態素解析 & 形態素解析を行 \\
		　 & 意味を & 意味を知る \\
		　 & システムは， & システムは，始めに \\
		　 & の設計 & システムの設計 \\
		　 & 辞書として & 辞書として使う\\
		　 &  ，ギャップと & ，ギャップと考え  \\
	\end{tabular}
	\begin{tabular}{cl}
	※ & (a)：キーワード境界を厳密に判断 \\
	& (b)：助詞や読点を含んでもキーワードと判断 \\
	\end{tabular}
	\label{tab:keyword-judge}
\end{table}

\begin{table}[t]
	\centering
	\caption{精度比較}
	\begin{tabular}{l|cc}
		手法　& (a)精度 & (b)精度 \\ \hline
		従来法 & 69.0 & 76.6 \\ 
		文書拡張手法 & 69.4 & 83.6 \\ 
	\end{tabular}
	\\
	\begin{tabular}{cl}
	※ & (a)：キーワード境界を厳密に判断 \\
	& (b)：助詞や読点を含んでもキーワードと判断 \\
	\end{tabular}
	\label{tab:precision}
\end{table}

表~\ref{tab:precision}の結果から，従来法と文書拡張による手法との間には精度の違いがあまりないことがわかる．
ただし，助詞や読点を含んでいる場合も正解と判断した場合は7％の精度改善が得られた．
これは文書拡張によりキーワードに助詞や読点が付属しやすくなっているということを考慮して正解判定を行ったために，精度が改善した．

\subsection{著者キーワード精度の比較と考察}
著者が付与した論文のキーワードを正解として判定した精度を{\bf 著者キーワード精度}と呼ぶことにする．
これは，システムが出力したキーワードが著者の付与したキーワードに含まれる確率の推定値である．
5.1節と同様に，従来法と文書拡張による著者キーワード精度の比較を行った．
調査は5.1節と同様な設定で行った．
ただし，文書拡張による手法において，助詞や読点が付属して抽出される傾向がある．
これは従来法においても同様な傾向が少なからずある．
しかし，本論文は助詞や読点が付属しないように閾値を設定及び対処法を講じることが目的ではないので，著者キーワードの前後に助詞や読点，および，記号（括弧など）が付属しても正解と判定するものとした．
その結果を図~\ref{fig:pre-overlap}に示す．
ここで，orginalは従来法のNTCIRのコーパス，halfはorginalの文書長を半分にしたコーパス，expansion1〜5は拡張数1〜5で作成した拡張文書集合を表す．

\begin{figure}[t]
	\begin{center}
		\includegraphics[width=12cm]{pre-overlap.eps}
	\end{center}
	\caption{著者キーワード精度}
	\label{fig:pre-overlap}
\end{figure}

図~\ref{fig:pre-overlap}の結果から，文書拡張して拡張数が増えると著者キーワード精度がやや低下することがわかる．
これは，5.2節で述べたように，従来法では文書拡張による手法に比べて多くの複合語が分割され，分割されたキーワードそれぞれが著者キーワードの正解数を増加するためである．
例えば，従来法では[クラウンガラスマイクロレンズ]が分割され[クラウン][ガラス][マイクロレンズ]のように抽出される．
このとき，[ガラス]，[マイクロレンズ]，[クラウンガラスマイクロレンズ]が著者キーワードに含まれており，分割されると正解数が増えることになる．
その結果，拡張数が増えると著者キーワード精度が少し低下する．
しかし，複合語を正確に抽出するという観点では[クラウンガラスマイクロレンズ]として抽出できる方が望ましい上に，分野をよく表していて人間が直感的にわかるキーワードとして考えれば，文書拡張の有用性の一つと言える．

精度が低下するもう1つの理由としては，5.2節で述べたように，文書拡張による手法では，フレーズ的キーワードが抽出される．
これは複数の概念を含むキーワードである．
複数の概念を含むことについての是非は粒度決定の問題なので，ここでは一概に言えない．
これを正解判定できていない．
しかし，複数の概念を含むキーワードが取れたほうが有用な応用もある．

次に，反復度を推定するコーパスの文献数に対する著者キーワード精度をoriginalとexpansion\_2に限って図~\ref{fig:pre-doc-org}，\ref{fig:pre-doc-ex2}にそれぞれ示す．
実験条件は今までと同一とする．
結果より，文献数が少ないとき若干精度が低い傾向があるが，拡張数によらず精度は一定であるということがわかる．

\begin{figure}[p]
	\begin{center}
		\includegraphics[width=12cm]{pre-doc-org.eps}
	\end{center}
	\caption{originalの文献数に対する精度}
	\label{fig:pre-doc-org}
    \vspace{\baselineskip}
	\begin{center}
		\includegraphics[width=12cm]{pre-doc-ex2.eps}
	\end{center}
	\caption{expansion\_2の文献数に対する精度}
	\label{fig:pre-doc-ex2}
\end{figure}


\subsection{著者キーワードF値の比較}
5.1と5.4節の著者キーワードの再現率と精度の結果より，F値を計算した．F値は再現率と精度の二つを統合的に考える尺度として使用するものである．図~\ref{fig:re-uniq}と図~\ref{fig:pre-overlap}の結果より計算した著者キーワードのF値を図~\ref{fig:f-ex}示す．図~\ref{fig:re-doc-org}と図~\ref{fig:pre-doc-org}の結果より計算したoriginalの文献数に対するF値を図~\ref{fig:f-doc-org}に示す．図~\ref{fig:re-doc-ex2}と図~\ref{fig:pre-doc-ex2}の結果より計算した文献数に対するF値を図~\ref{fig:f-doc-ex2}に示す．

\begin{figure}[p]
	\begin{center}
		\includegraphics[width=12cm]{f-ex.eps}
	\end{center}
	\caption{著者キーワードのF値}
	\label{fig:f-ex}
    \vspace{\baselineskip}
	\begin{center}
		\includegraphics[width=12cm]{f-doc-org.eps}
	\end{center}
	\caption{originalの文献数に対するF値}
	\label{fig:f-doc-org}
\end{figure}

\begin{figure}[t]
	\begin{center}
		\includegraphics[width=12cm]{f-doc-ex2.eps}
	\end{center}
	\caption{expansion\_2の文献数に対するF値}
	\label{fig:f-doc-ex2}
\end{figure}

図~\ref{fig:f-ex}の結果から，文書拡張すると著者キーワードのF値も大きくなり，その後一定となることがわかる．
図~\ref{fig:f-doc-org}，~\ref{fig:f-doc-ex2}の結果からは，文献数が増えるとoriginalもexpansion\_2もF値が大きくなることがわかる．
これらの結果から，定量的に性能が向上することが示せた．

\section{先行研究との比較}
先行研究\cite{Church2000}でも，文書拡張を行った場合での反復度について述べられているが，ここでは，分析する文書の数が限られているという条件の設定はなされておらず，拡張文書における反復度は，文書の反復度よりも値が低いことが報告されている．
本論文では，実際の応用の局面で想定される文書数の不足に注目した．
その場合には， Churchの報告と異なり，拡張文書における反復度のほうが，通常の反復度よりも高い値となり，積極的に利用できて有用であることを報告したことが異なる．

本論文において用いた著者キーワードは，文書の著者が付与したその文書の特徴を表すキーワードである．
この著者キーワードには一般的なキーワードも含まれるが，専門用語とされるキーワードも多く含まれている．
専門用語は名詞（単名詞と複合名詞）であることが多く，その多くは複合語である．
このことから，複合語の分割を改善したことにより専門用語を多く抽出できるようになったと考えることもできる．
専門用語抽出の先行研究として，出現頻度と連接頻度に基づく専門用語抽出\cite{Nakagawa2003}がある．
この先行研究では専門用語抽出のために形態素解析を行う必要があるのに対し，本論文で用いたキーワード抽出法はコーパスのみで良いところが異なる．
キーワードのスコア付けの違いについては先行研究が単語の出現頻度と連接統計情報を利用するのに対し，本論文ではある条件を満たす文書の出現の統計量を用いる．
両手法とも抽出に利用する統計量が多くなるほど再現率が上昇するが，先行研究は統計量が多くなるほど精度が低下する問題がある．
この点で考えると本論文が提案する手法は，精度がほぼ一定になるので安定していると言える．

この先行研究\cite{Nakagawa2003}に関連した専門用語（キーワード）自動抽出用Perlモジュール“TermExtract”がWebページ(http://www.r.dl.itc.u-tokyo.ac.jp/~nakagawa/resource-index.html/)上で公開されている．
このTermExtractは，形態素解析した結果を入力とし，キーワード候補をランキング順に出力する．
このモジュールを使い，実際に我々と同じ入力を与え，著者キーワードからなる同じ正解集合を用いて性能の比較を行った．
TermExtractの抽出にかかわる設定はデフォルトのままを用いた．
また，TermExtractではキーワード候補ランキングの何位までをキーワードとして重要とするか，つまりキーワードとするかでその性能が左右される．
そこで正解集合が入力1万件に対して著者キーワード数約1万3千個となるので，入力1万件に対するキーワード候補約8万個のうちランキング上位1万3千個を出力とした．
入力はランダムに1万件単位で与えた．
その結果を表~\ref{tab:research}に示す．

\begin{table}[t]
	\centering
	\caption{先行研究との比較}
	\begin{tabular}{l|l|c|c|c|c}
	\raisebox{-1.8ex}[0pt][0pt]{指標} & \raisebox{-1.8ex}[0pt][0pt]{Input Document} & \multicolumn{2}{c|}{文書拡張システム[\%]} & \multicolumn{2}{c}{先行研究システム[\%]} \\
	\cline{3-6}
	 & & \multicolumn{1}{c|}{評価値} & \multicolumn{1}{|c|}{平均} & \multicolumn{1}{c|}{評価値} & \multicolumn{1}{|c}{平均} \\
	\hline
		 & doc\_50001-60000 & 　28.79　 & & 　23.51　 & \\
		 & doc\_70001-80000 & 12.88 & & 26.68 & \\
		recall & doc\_100001-110000 & 18.76 & 19.12 & 21.48 & 23.23 \\
		 & doc\_150001-160000 & 19.82 & & 20.69 & \\
		 & doc\_180001-190000 & 15.34 & & 23.80 \\ \hline
		 & doc\_50001-60000 & 42.43 & & 27.26 & \\
		 & doc\_70001-80000 & 48.08 & & 26.49 & \\
	precision & doc\_100001-110000 & 45.86 & 45.54 & 28.62 & 28.39 \\
		 & doc\_150001-160000 & 42.89 & & 28.79 & \\
		 & doc\_180001-190000 & 48.46 & & 30.77 & \\ \hline
		 & doc\_50001-60000 & 34.31 & & 25.25 & \\
		 & doc\_70001-80000 & 20.31 & & 26.59 & \\
		f-measure & doc\_100001-110000 & 26.62 & 26.33 & 24.54 & 25.46 \\
		 & doc\_150001-160000 & 27.11 & & 24.08 & \\
		 & doc\_180001-190000 & 23.31 & & 26.84 & \\
	\end{tabular}
	\label{tab:research}
\end{table}

表~\ref{tab:research}の結果からわかるように，本文書拡張システムと専門用語抽出システムは，ほぼ近い性能だった．2つのシステムの動作原理がまったく異なるので性能の正確な比較は行えないが，この結果は本論文が提案する手法の効果を表す一つの目安として考えることができる．

\section{結論}
拡張文書における反復度を分析し，その上で，反復度を用いたキーワード抽出法において，コーパスを文書拡張する手法を提案した．
5.1節より，提案法には，文書数に上限があるとき文書拡張して拡張数が増えると著者キーワード再現率も上昇するという効果があった．
そのキーワード抽出結果を見ると5.2節より，これまで取れていなかった多くの複合語が分割されずに抽出できることがあった．
そして，著者キーワードを含むフレーズ的キーワードのような分野に特化したキーワードを抽出できるという結果が得られた．
また，5.3節においては従来法と同程度のキーワード抽出精度が得られており，5.4節では，拡張数が増えると著者キーワード精度が若干低下するという結果が得られた．

結論として，キーワード抽出において文書拡張を行うことは，キーワード抽出再現率を上昇させる効果を持ち，長い複合語を抽出できるようになる効果がある．


\acknowledgment

本研究を進めるにあたって有意義なコメントを戴いた梅村研究室の方々に
感謝いたします．データを心よく提供していただいた関係各社に深く感謝いたします．
また有用なコメントを頂いた査読者の方々に敬意を表します．
本研究は文部科学省21世紀COEプログラム「インテリジェント　ヒューマンセンシング」の援助により行われました．


\bibliographystyle{jnlpbbl_1.1}
\begin{thebibliography}{}

\bibitem[\protect\BCAY{Church}{Church}{2000}]{Church2000}
Church, K.~W. \BBOP 2000\BBCP.
\newblock \BBOQ Empirical Estimates of Adaptation: The chance of Two Noriegas
  is closer to $p/2$ than $p^2$\BBCQ\
\newblock In {\Bem Proceedings of the 18th International Conference on
  Computational Linguistics (COLING'00)}, \mbox{\BPGS\ 173--179}.

\bibitem[\protect\BCAY{長尾真}{長尾真}{1995}]{Iwanami1995}
長尾真\JED\ \BBOP 1995\BBCP.
\newblock \Jem{自然言語処理}.
\newblock 岩波書店.
\newblock 岩波講座ソフトウェア科学.

\bibitem[\protect\BCAY{Kando}{Kando}{2001}]{Kando2001}
Kando, N. \BBOP 2001\BBCP.
\newblock \BBOQ Overview of the Second NTCIR Workshop\BBCQ\
\newblock In {\Bem Proceedings of the Second \mbox{NTCIR} Workshop on Research
  in Chinese \& Japanese Text Retrieval and Text Summarization}, \mbox{\BPGS\
  35--44}.

\bibitem[\protect\BCAY{松村\JBA 大澤\JBA 石塚}{松村\Jetal
  }{2002a}]{Matumura2002a}
松村真宏\JBA 大澤幸生\JBA 石塚満 \BBOP 2002a\BBCP.
\newblock \JBOQ Small World 構造に基づく文書からのキーワード抽出\JBCQ\
\newblock \Jem{情報処理学会論文誌}, {\Bbf 43}  (6), \mbox{\BPGS\ 1825--1833}.

\bibitem[\protect\BCAY{松村\JBA 大澤\JBA 石塚}{松村\Jetal
  }{2002b}]{Matumura2002b}
松村真宏\JBA 大澤幸生\JBA 石塚満 \BBOP 2002b\BBCP.
\newblock \JBOQ 語の活性度に基づくキーワード抽出法\JBCQ\
\newblock \Jem{人工知能学会論文誌}, {\Bbf 17}  (4-F), \mbox{\BPGS\ 398--406}.

\bibitem[\protect\BCAY{森\JBA 松尾\JBA 石塚}{森\Jetal }{2005}]{Mori2005}
森純一郎\JBA 松尾豊\JBA 石塚満 \BBOP 2005\BBCP.
\newblock \JBOQ Webからの人物に関するキーワード抽出\JBCQ\
\newblock \Jem{人工知能学会論文誌}, {\Bbf 20}  (5-C), \mbox{\BPGS\ 337--345}.

\bibitem[\protect\BCAY{中川\JBA 森\JBA 松崎\JBA 川上}{中川\Jetal
  }{1997}]{Nakagawa1997}
中川裕志\JBA 森辰則\JBA 松崎知美\JBA 川上大介 \BBOP 1997\BBCP.
\newblock \JBOQ
  日本語マニュアル文における名詞間の連接情報を用いたハイパーテキスト化のための
索引の抽出\JBCQ\
\newblock \Jem{情報処理学会}, {\Bbf 38}  (10), \mbox{\BPGS\ 1986--1994}.

\bibitem[\protect\BCAY{中川裕志\JBA 森辰則\JBA 湯本紘彰}{中川裕志\Jetal
  }{2003}]{Nakagawa2003}
中川裕志\JBA 森辰則\JBA 湯本紘彰 \BBOP 2003\BBCP.
\newblock \JBOQ 出現頻度と連接頻度に基づく専門用語抽出\JBCQ\
\newblock \Jem{自然言語処理}, {\Bbf 10}  (1), \mbox{\BPGS\ 27--45}.

\bibitem[\protect\BCAY{武田\JBA 梅村}{武田\JBA
  梅村}{2001}]{TakedaAndUmemura2001}
武田善行\JBA 梅村恭司 \BBOP 2001\BBCP.
\newblock \JBOQ キーワード抽出を実現する文書頻度分析\JBCQ\
\newblock \Jem{計量国語学会}, {\Bbf 23}  (2), \mbox{\BPGS\ 65--90}.

\bibitem[\protect\BCAY{Takeda \BBA\ Umemura}{Takeda \BBA\
  Umemura}{2004}]{TakedaAndUmemura2004}
Takeda, Y.\BBACOMMA\ \BBA\ Umemura, K. \BBOP 2004\BBCP.
\newblock \BBOQ Selecting indexing strings using adaptation\BBCQ\
\newblock In {\Bem The 25th international ACM SIGIR conference on research and
  development in information retrieval}, \mbox{\BPGS\ 42--43}.

\bibitem[\protect\BCAY{徳永健伸}{徳永健伸}{1999}]{Tokunaga1999}
徳永健伸 \BBOP 1999\BBCP.
\newblock \Jem{情報検索と言語処理}.
\newblock 東京大学出版会.
\newblock 辻井潤一.

\end{thebibliography}

\begin{biography}
	\bioauthor{長町　健太}{
	2005年豊橋技術科学大学工学部情報工学課程卒業．
	同年，同大学院入学，現在に至る．
	}
	\bioauthor{武田　善行}{
	2000年豊橋技術科学大学工学部情報工学課程卒業．
	2002年同大学大学院工学研究科情報工学専攻修士課程修了．
	2005年同大学大学院工学研究科電子・情報工学専攻博士課程修了．
	同年，同大学工学部情報工学系教務職員．
	同年，東京大学大学院工学系研究科附属総合研究機構助手，現在に至る．
	情報処理学会会員．
	}
	\bioauthor{梅村　恭司}{
	1983年東京大学大学院工学系研究系情報工学専攻修士課程終了．
	博士（工学）．
	同年，日本電信電話公社電気通信研究所入所．
	1995年豊橋技術科学大学工学部情報工学系助教授，2003年教授，2005年インテリジェントセンシングシステム リサーチセンター兼務．現在に至る．
	システムプログラム，記号処理の研究に従事．
	ＡＣＭ，ソフトウェア科学会，電子情報通信学会，計量国語学会各会員．
	}
\end{biography}


\biodate

\end{document}
