    \documentclass[japanese]{jnlp_1.4}
\usepackage{jnlpbbl_1.1}
\usepackage{amsmath,amssymb}
\usepackage{longtable}
\usepackage{fancybox,ascmac}
\usepackage[dvips]{graphicx}



\Volume{15}
\Number{2}
\Month{Apr.}
\Year{2008}
\received{2007}{9}{13}
\revised{2007}{11}{20}
\accepted{2007}{12}{8}

\setcounter{page}{101}


\jtitle{文書に対する大衆の興味の強さの推定}
\jauthor{沢井　康孝\affiref{Author_1} \and 山本　和英\affiref{Author_1}}
\jabstract{
ある入力文書が多くの人にとってどの程度興味や関心を持つかを算出する指標
を提案する．各個人の興味や関心は多種多様であり，これを把握することで情
報のフィルタリング等を行う研究は知られているが，本研究では不特定多数す
なわち大衆が全体でどの程度の興味を持つかについて検討を行った．このよう
な技術は，不特定多数に対して閲覧されることを想定しているWebサイトにお
ける提示文書の選択や表示順の変更など，非常に重要な応用分野を持っている．
我々は大衆の興味が反映されている情報源として順位付き文書を使用した．本
手法ではこれを学習データとして利用して，文書に含まれる語句及び文書自体
に興味の強弱を値として付与する手法を構築した．興味を値として扱うことで，
興味の強弱を興味がある・ないの2値ではなく興味の程度を知ることや興味発
生の要因分析を行うことが可能である．提案手法は，文書に含まれる語句を興
味判別する素性として扱い，内容語，複合名詞，内容語及び複合名詞の組み合
わせの3種類について比較，議論した．評価は，ニュース記事のランキングを
対象にして，実際の順位とシステムの順位を比較した．その結果，順位相関に
基づいた評価値は0.867であり，手法の有効性を確認した．さらに，ほぼ興味
を持たれない記事に対して抽出精度0.90を超える精度で弁別できることを実験
で確認した．
}
\jkeywords{大衆の興味，順位情報，順位相関，テキストマイニング}

\etitle{Estimating Level of Public Interest for Documents}
\eauthor{Yasutaka Sawai\affiref{Author_1} \and Kazuhide Yamamoto\affiref{Author_1}} 
\eabstract{
We propose a new measure to estimate level of public interest given a
document.  Although personal interests is of great variety, public
interest, that is collection of personal interests, has consistency to
some extent regardless of time difference.  The task here is not to
know whether a given document has interest or not, but to know how
much interest a given document has, that expects enabling deep
interest analysis by use of our measure.  This problem has many
applications such as display control of documents on the Web, that is
assumed to be seen by public.  We use in this paper document
collection with ranking information in terms of public interest.  We
estimate level of interest for each word, and then for each document
by utilizing the ranking information.  As feature set we use three
kinds: content words, compound words, and the combination of them.  In
the evaluation we use newspaper ranking as a source, and evaluate the
performance by comparing our output to the real ranking.  The results
illustrates that the extended rank coefficient of these two rankings
is 0.867.  We also show that more than 0.90 accuracy is attained for
rejecting little interest documents.
}
\ekeywords{Public interest, Ranking, Rank coefficient, Text mining}

\headauthor{沢井，山本}
\headtitle{文書に対する大衆の興味の強さの推定}

\affilabel{Author_1}{長岡技術科学大学　電気系}{Department of Electrical Engineering, Nagaoka University of Technology}


\newcounter{ex}
\setcounter{ex}{0}
    \def\ex#1{}
\def\exref#1{}
\def\secref#1{}
\def\tableref#1{}



\begin{document}
\maketitle


\section{はじめに}

近年，Webの普及や様々なコンテンツの増加に代表される
不特定多数の情報
の取得や不特定多数への情報の発信
が容易になったことで，
個人が取得できる
情報の量が急激に増大してきている．個人が取得できる情報量は今後さらに増え
続けるだろう．このような状況は，必要な情報を簡単に得られるようにする一方
で不必要な情報も集めてしまう原因になっている．

この問題を解決する方法として
大量の情報の中から必要な情報だけを選択する技術が必要で，これを実現する
手段として検索，フィルタリング，テキストマイニングが挙げられる．
このような技術はスパムメールの排除やWebのショッピングサイトの推薦システ
ム等で実際に使われている．


本論文では大量の情報の中から必要な情報を取得する手段として人間の興味に
着目し，文書に含まれる語句及び文書自体に興味の強弱を値として付与する
ことを提案する．
本論文では，不特定多数の人がどの程度興味を持つかに注目した．すなわち
不特定多数を全体とした大衆に対する興味の程度である．
興味の強弱を語句及び文書自体に付与することにより
人間の興味（文書の面白さ，文書の注目度）
の観点で情報を選別することが可能となるだけではなく，


興味の強弱を値として与えることで
興味がある・ないの関係ではなく興味の強さの程度を知ることができる．
また，文書に含まれる語句に与えた興味の強弱の値から
文書のどの部分が最も興味が強いか明らかになるため，
文書のどの部分が興味の要因となるのか分析を行うことが可能である．

このように語句の興味の強弱自体を明らかにすることは，
例えばタイトル作成や広告等において
同一の意味を示す複数の語句の中から興味が強い語句を選択する際の
基準として利用できるため，
興味を持ってもらえるように文書を作成する支援となることが期待できる．
さらに，Web上でのアクセスランキングなどは
アクセス数の集計後に
知ることのできる事後の情報である．
本論文の文書自体に付与する興味の強弱の値
を利用することでこの順位を事前に予測することが可能となり，
提示する文書の選択や表示順の変更などを
アクセス集計前に利用することが期待できる．


大衆の興味が反映されているデータに注目することでこのような
大衆の興味を捉えることが出来ると考える．
また興味を持つことになった原因と
持たれない原因を分析する手がかりになると期待できる．


本論文では，多くの人が興味を持つ文書を判断するため，まず興味の判断に必要な
素性を文書から抽出する．次に抽出した素性に興味の強弱を値で推定して付与する．
さらに興味の強弱の値が付与された素性から文書自体の興味の強弱を推定する．



\ref{sec_興味}章にて本論文で対象とする興味，
\ref{sec_関連}章にて関連研究，
\ref{sec_rank}章で順位情報の詳細，
\ref{sec_method}章で提案手法について述べ，
\ref{sec_expeval}章で評価実験及び考察を行う．
さらに\ref{sec_method2}章で提案手法の拡張について述べ，その評価を
\ref{sec_evalexp2}章にて行う．


\section{興味について}\label{sec_興味}
\subsection{大衆の興味}

興味は
ある対象に対して面白いと感じる又は魅かれている
状態を示すものであり，個人によって興味を持つ対象は様々である．
我々は個人の興味の集合を大衆の興味とした．
大衆の興味を引きやすいということは
より多くの人に興味を持たれるものであり，
このようなものを大衆の興味を得られやすい情報として扱っている．
前述のように各個人の興味は多種多様であり，1つの尺度では表せないものである．
しかし不特定多数の人がいる中で
興味を持つ人がどの程度いるかという
大衆の興味として扱うことで興味の傾向などが得られると考えている．


\subsection{対象とする興味}

我々が定義した大衆の興味には次に示す2種類の興味が含まれていると考える．
\begin{itemize}
\item 時間変動を含んでいる興味

      時間変動を含んでいる興味はトレンドや流行と呼ばれ，
      今現在や過去のある時点で興味を集めているもの
\item 対象自体が持っている興味

      対象（語句）自体が普遍的に持つ「興味を発生させる強さ」を指し，
      時間で変動せずに対象自体が持っている普遍的な興味の度合い
\end{itemize}
我々は
語句自体が持つ時間変動を持たない後者の興味の強さに注目し
本論文の対象とした．
例えばトレンド分析の結果「収賄の疑いで逮捕」が抽出された場合，
これは現在注目を集めている特定の話題として抽出されたものである．
本論文ではこのような時間で変動するトレンドではなく，
「逮捕」という語句そのものが普遍的に持つ興味があると考え，
その強さを明らかにするためにその語句に対して
興味の強さを値として与えた．


\section{関連研究}\label{sec_関連}

興味の分析や抽出を行う先行研究には，
多数の販売記録から対象者が興味を持つ商品の推薦を行うものや，
時系列分析を行って
単語の出現傾向から現在注目されている
イベントや単語を検出する研究などがある．
さらに最近では文書の書き手が個人
であるBlogなどを用いることで主観情報の分析や個人の興味，トレンド分析を行
う研究が存在する．

奥村らはWeb上の文書を時間情報が含まれたdocument streamで扱い，
burst検出手法に基づいて分析を行い注目されて
いる話題を検出する手法を提案している{\cite{fuziki}}．
このシステムではBlogなど
に対する書き込み時間を基に単語の出現間隔が短くなっている箇所に注目すべき
話題があるとして注目されている話題の検出を行っている．
このように
現在注目を集めている話題，及び過去に注目を集めていた話題を検出するのは
トレンド分析の1種であり，
興味を分析する研究の1つとして挙げられる．


また西原らは興味を持ってもらえるタイトルやアブストラクトの作成を目標に，興味
を引く研究発表のタイトルを作成する支援システムを提案している\cite{nishihara}．
システムは論文タイトルを入力にとり，興味を値として推定しこの値によっ
て入力されたタイトル群に順位を付与している．
興味の値として
タイトルに含まれる名詞の分かりやすさと，単語の組み合わせ
の斬新さという2つの尺度からタイトルの面白さを評価している．

興味自体の分析を行っている研究として福原らのKANSHINの開発が挙げられる
\cite{fukuhara2}．このシステムはBlog記事を大量に収集し時系列分析す
ることで社会の{「関心動向」（トレンド）}を把握することを
可能としている．
収集した記事から単語が出現する頻度の推移を分析し，
興味の発生を{「関心パタン」}として周期型，漸次増
加型，突発型，関心持続型，その他の5つに分類している．
さらに単語と気温の関係のような出現単語と
現実で起こる現象の関係についても議論を行っている
\cite{fukuhara2005acp}．

興味を持つ商品や楽曲の推薦を行う研究として協調フィルタリングを使用した研
究が挙げられる．
協調フィルタリングは複数のユーザが評価したデータが存在す
る中で，
対象者と嗜好等の類似度によって求めたいくつかの類似性の高いユーザ
の情報を選択し，使用者へ推薦する情報の選別に利用する．
個人の興味を対象としプ
ロファイルやユーザー間の類似度を利用して情報の選択を行う．Resnick
らはニュースの記事の集合から，対象者の好みに合う記事を推薦するシステムを
開発した\cite{Resnick}．個人がニュース記事に付与した5段階の評価値を利
用している．
Upendraらは楽曲のプレイリスト生成システムを考案してい
る\cite{Upendra}．これは多数の人が作成したプレイリストから対象者にプレイリスト
を提供するシステムである．


これらの研究では
単語の出現する頻度を時系列で解析することや，
出現した単語の斬新さ等の尺度を定義することによって
興味を捉えている．
これに対し本論文では
文書の内容自体と
大衆の興味が反映されているデータを基に興味の強さを推定した．
対象とする興味はトレンドのような時間で変動する興味ではなく，
語句自体が持つ時系列で変化しない興味の強さである．
このような興味を対象に，
大衆の興味が反映されているデータから興味の強弱を値として
推定する研究は従来行われていない．



\section{順位情報付き文書}\label{sec_rank}


人の興味の情報が得られるものとして
Web掲示板，Blog，Webページのアクセスランキング，アンケート
などが存在する．
我々は大衆の興味を含んでいる情報源として順位情報に注目し，
Webで公開されているニュースランキングを選択した．
ランキングは不特定多数の利用者の興味が反映されており，
大衆の興味を含むデータとして有効である．



\subsection{順位情報と興味}\label{sec_RANK-INT}
本論文で扱う順位情報について述べる．本論文における順位情報とは，ある対象
を一定の基準で並び替えを行い，昇順または降順に付与した順番の事である．
順位を付与する際に用いられる基準には様々な種類
が存在する．以下に順位情報と順位を決定した基準についていくつか示す．

\underline{順位情報と順位の決定基準}

\begin{itemize}
\item アクセス数ランキング：アクセス数
\item 選択式のアンケート：投票数
\item ダウンロードランキング：ダウンロード数
\item 検索キーワードランキング：クエリの使用回数
\end{itemize}

例として示した順位情報は人に選択されるほど上位の順位が付与される．
そのため，順位情報は多数の人の興味が集合した結果であり，大衆の興味を強く
反映していると考える．

順位を決定する基準であるアクセス数や投票数は人々に選択された数がそのまま反映され直接的に
人の興味に関係する．
順位情報自体はこの基準の上下関係である．
この意味で順位情報は大衆の興味と間接的に関係している情報と考えられる．
そこで，本論文では大衆の興味という情報をスコアの形で推定するために，
順位情報をアクセス数やダウンロード数に変換することを考えた．



\subsection{順位情報の扱い}

\ref{sec_RANK-INT}節で述べたように順位情報は興味に対して間接的な関係を示
している値である．本論文で集めた順位情報はアクセス数によって順位が決定さ
れている．そこでまず順位情報をアクセス数の値に変換することを考える．
これは順位からアクセス数を推定することで行い，
順位情報の示す上下関係から順位付けの決定基準に変換することに相当する．
この変換によって
順位が持っている興味に対する間接的な関係を
アクセス数のように興味に対して直接関係する値に変換することが可能になる．


アクセス数と順位の間にある関係は経験則でべき乗の法則に従うこ
とが知られている\cite{lada2002}．本論文ではこの経験則を利用して順位を興
味に直接関係する値として変換する．
順位の変数$r$とアクセス数の変数$h$の関
係をべき乗の法則に従うとし，両対数上で直線となる特性から式(\ref{eq_ZIP})が
仮定できる．式(\ref{eq_ZIP})に順位とアクセス数の関係式を示す．
\begin{equation} \label{eq_ZIP}
 \mathit{log}(h) = C_{1} - C_{2} \cdot log(r)
\end{equation}


式(\ref{eq_ZIP})において$C_{1}$及び$C_{2}$は
任意の定数を示している．
本研究では式を簡単にするため$C_{1}=C_{2}=1$として扱う．この結果順位$r$
からアクセス数$h$を推定する変換式$Hit(r)$を式(\ref{eq_rank2hit})に示す．
\begin{equation} \label{eq_rank2hit}
 \mathit{Hit}(r) = h = 10^{-log(r)} = \frac{1}{r} 
\end{equation}

式(\ref{eq_rank2hit})によって文書に付与されている順位$r$はアクセス数に変
換される．
式(\ref{eq_rank2hit})で表される推定アクセス数は0から1までの値をとり，
最大のアクセス数が1となるように正規化されている．



\section{提案手法}\label{sec_method}
本節では文書に興味の強弱を値として付与する方法について提案する．
提案手法の概略を図\ref{flow}に示す．

\begin{figure}[b]
\begin{center}
\includegraphics{15-2ia5f1.eps}
\end{center}
\caption{提案手法の大まかな流れ}
\label{flow}
\end{figure}


文書に含まれる語句の興味の強弱を推定するために，
まず文書に含まれる形態素から内容語を興味判別の素性として抽出した．
なぜなら
文書が興味を持たれるかは
その文書の内容に依存しており，
人が文書の興味を判断する際に文法的機能を示す機能語では
直接的に興味を引く対象にはならないと考えたためである．


次に，今注目している
素性が興味を引くかどうかを興味の強弱の値で表すことによって推定する．
興味を値で推定する方法として学習データを利用した2つの尺度を用いた．
1つ目の尺度として学習データにおいて
順位付き文書に出現する回数と順位無し文書に出現する回数の割合を使用し
た．これは，
興味を持たれやすい文書はランキングに出現しやすく，それ
に伴って文書に含まれる内容語が
ランキングの中で出現する回数が多くなると考えるためである．
2つ目の尺度は出現順位である．
興味が持たれやすいならば高
い順位に出現することが多くアクセス数も高い値を持つと考える．ここでは順位か
ら推定したアクセス数の平均を利用した．
以上2つの尺度を本論文では興味を推
定するために用いる．

最後に文書自体に興味の強弱を値で付与する．
文書の興味の強弱は文書に含まれる素性に付与された興味の強弱の値によって決定する．
以上の3つのステップで本システムは興味の強弱に関する値を文書に付与する．
\begin{enumerate}
 \item 興味を推定するための素性の抽出\\
	入力された文書を形態素解析し内容語を抽出する．
 \item 素性の興味強度の推定\\
       順位付き文書を利用して素性に興味の強弱を値で付与する．
 \item 文書の興味強度の推定\\
       文書に対して興味の強弱を値で付与する．
\end{enumerate}

次節より各ステップの詳細について説明する．


\subsection{興味を推定するための素性の抽出}\label{nai}

入力されたそれぞれの文書から興味の判別を行う際に重要であると
考えられる素性を抽出する．形態素解析器に茶筌\footnote{
形態素解析器 ChaSen, Ver.~2.3.3, 奈良先端科学技術大学院大学　松本研究室，http://chasen.naist.jp/hiki/ChaSen/.
}を用いた．
人が文書に対して興味があるかどうか判断する場合，助詞，助動詞，接続詞などの機能語
に注目することは考えにくく，文書の内容が表れている内容語が重要である
と考える．
また出現した単語の順序よりも，どのような単語が出現しているかが
重要であると考える．
そこで，文書を内容語の集合(bag-of-words)で表現することにした．
本論文で抽出する内容語の品詞を茶筌(IPADIC)
の品詞体系に従って次に示す．



\underline{使用する品詞}
\begin{enumerate}
 \item 名詞（一般，固有名詞，サ変接続，形容動詞語幹）
 \item 動詞（自立）
 \item 形容詞（自立）
\end{enumerate}

ただし，以下に示す8形態素は
出現頻度が非常に多く，また他の語句の補助的な機能を持つ語句であることから
興味の強弱の判断材料として不向きであるため，ストップワード
とする．

\underline{ストップワード}
\vspace{0.5\baselineskip}
\begin{center}
 \fbox{する，ある，よる，いる，なる，いう，みる，できる}
\end{center}
\vspace{0.5\baselineskip}

抽出処理の例を\exref{chasenex}に示す．


\begin{itembox}{\ex{}\label{chasenex}内容語の抽出処理}
入力：共産社民両党に国会を混乱させたことをわびた．\\
抽出単語：共産，社民，党，国会，混乱，わびる
\end{itembox}

本節で述べた品詞，条件を持つ内容語について次節以降の処理を行う．



\subsection{素性の興味強度の推定}\label{calc_int}


対象となる素性に
学習データを利用して興味の強弱を値として与える方法について述べる．
学習データはあらかじめ用意しておいた順位情報が付与されている文書，
及び順位情報が付与されなかった文書の集合である．
文書自体の興味の強弱が内容語に左右されるとしたときに，
内容語自身が持つ興味への影響の強弱は，
注目している内容語が学習データの順位付き文書において出現する回数
及びその順位に関係していると考えられる．

\underline{興味に関係する要素}
\begin{itemize}
 \item 順位情報付き文書に出現した文書数
 \item 順位情報無し文書に出現した文書数
 \item 順位別出現文書数
\end{itemize}

入力文書から抽出した素性には，興味の強弱に基づいた値として
興味スコアを付与する．興味スコアを付与するために以下の処理を行う．

\begin{enumerate}
 \item 学習データにおける対象素性の各出現回数を数える．出現回数は
       順位情報付き文書に出現した文書数，順位情報無し文書に出現した文書
       数，各順位における出現文書数の3種類である．       
 \item 対象が学習データ内で一度も出現していない場合，
       興味スコアの付与は困難である
       ため興味スコアの付与は行わずに素性の集合から取り除く．
 \item 各種出現回数から興味スコアを付与する．
\end{enumerate}

本論文では興味を2つの尺度で評価する．
まず平均アクセス数の形で興味を評価する方法について述べる．

入力文書$D$に含まれる
素性を$w$として$w$が順位$r$に出現した文書数$Rank\_DF_{r}(w)$，
素性$w$が順位情報付き文書に出現した文書数を$Ranked\_DF(w)$，
素性$w$が
順位情報無し文書に出現した文書数を$UnRanked\_DF(w)$と表す．
このとき素性$w$について平均アクセス数$Average\_Hit(w)$を式
(\ref{all_hit})によって求める．
順位$r$をアクセス数に変換する関数$Hit(r)$は式
(\ref{eq_rank2hit})を用いる．
式(\ref{all_hit})における$M$は順位付き文書に付与される順位で最も低い順位を示す．
\begin{equation} \label{all_hit}
 Average\_Hit(w) = \frac {\sum_{r=1}^{M}(Hit(r) \cdot Rank\_DF_{r}(w))} {Ranked\_DF(w)}
\end{equation}

次に，興味を持たれる要素ならば順位付き文書に出現する回数が多いという観
点から素性$w$が全文書に対して順位付き文書に出現する
割合を$Ranked\_Ratio(w)$で示し
式(\ref{prob})を用いる．
\begin{equation} \label{prob}
 Ranked\_Ratio(w) 
	= \frac{Ranked\_DF(w)}{Ranked\_DF(w)+UnRanked\_DF(w)}
\end{equation}

以上2つの尺度から
素性$w$の
興味スコア$Interest(w)$を式(\ref{bow})によって算出する．
\begin{equation} \label{bow}
 Interest(w) 
	=  Average\_Hit(w) \cdot Ranked\_Ratio(w)
\end{equation}

それぞれの素性について式(\ref{bow})を使って興味スコアを決定する．
この時，興味スコアが算出できなかった素性は除外する．
こうして入力文書$D$に対して値が決定できた興味ス
コア列を$F$で示し文書の興味推定に使用する．
興味スコアの作成例を\exref{chasenex2}に示す．

\vspace{0.5\baselineskip}
\begin{itembox}{\ex{}\label{chasenex2}興味スコア列の作成\\}
入力$D_0$：南極観測隊の越冬交代式が1日，昭和基地で開かれた．\\
抽出単語：｛南極，観測，越冬，交代，昭和，基地，開く｝\\[-0.5zw]
{\small
\begin{center}
\begin{tabular}{c||c|c|c|c|c|c}\hline
&&& \multicolumn{3}{c|}{$Rank\_DF_{r}$}\\ \cline{4-6}
\raisebox{0.5\normalbaselineskip}[0pt][0pt]{素性}& \raisebox{0.5\normalbaselineskip}[0pt][0pt]{$Ranked\_DF$}&\raisebox{0.5\normalbaselineskip}[0pt][0pt]{$UnRanked\_DF$}&$r=1$&${r=2}$&${r=3}$&\raisebox{0.5\normalbaselineskip}[0pt][0pt]{$Interest$}\\
\hline
南極&2&3&1&0&1&0.266\\
観測&1&3&0&1&0&0.125\\
越冬&0&3&0&0&0&0\\
交代&0&0&0&0&0&--- \\
昭和&2&2&0&2&0&0.25\\
基地&0&0&0&0&0&--- \\
開く&1&9&0&0&1&0.033\\
\hline
\end{tabular}
\end{center}}\par\vspace{0.5zw}
興味スコアの計算例(南極)：
\begin{align*}
\mathit{Interest}(南極) & = Average\_Hit(南極) \cdot Ranked\_Ratio(南極) \\
 & = \frac {\frac{1}{1}+\frac{1}{3}}{2} \cdot \left(\frac{2}{2+3}\right) = 0.266
\end{align*}

興味スコア列：$ F_0=\{0.266,0.125,0,0.25,0.033\}$
\end{itembox}



\subsection{文書の興味強度の推定}

入力文書$D$から作成した興味スコア列$F$を利用して
興味の強弱を値とした文書興味スコアを文書に付与する方法について述べる．
入力文書に含まれる素性それぞれが，順位に対して影響を与えるとしたとき，
興味スコアの高い素性は順位を上げる要素であり，
興味スコアの低い素性は順位を下げる要素である．
そこで，入力文書$D$に含まれる素性から
作成した興味スコア列$F$を使用して文書興味スコアを式(\ref{txt_bow})によっ
て算出する．
\begin{equation} \label{txt_bow}
 Interest\_Doc(D) =  \frac{1}{N}{\sum_{val \in F} val }
\end{equation}

式(\ref{txt_bow})において，
$F$は入力文書$D$から作成した興味スコア列を示し，$N$は$F$の興味スコア列の
要素数を示している．
\exref{chasenex2}に示した入力文書$D_0$の興味スコアは\exref{text}に示すように計算される．

\begin{itembox}{\ex{}\label{text}文書興味スコアの算出}
\vspace{-1\baselineskip}
\begin{align*}
 Interest\_Doc(D_0) & =({0.266+0.125+0+0.25+0.033}) \div {5}  \\
   & =0.132
\end{align*}
\vspace{-1.5\baselineskip}
\end{itembox}

本研究では入力文書に文書興味スコアを計算し順位を付与するシステムを構築し
た．入力文書の順位付けは各入力文書について式(\ref{txt_bow})を使用して文書
興味スコアを付与し，スコアの高い順に順位を与える．
システムは順位の高い順に出力を行う．



\section{評価実験}\label{sec_expeval}

\subsection{評価方法}\label{eval_method}

本論文の評価はシステムが付与したランキングの上位文書がより多くの人に興味
を持たれているかを確認する事である．
実際の順位が付与された文書を含む文書群を入力とし，
システムが付与した順位と実際の順位を比較することで評価を行った．
このとき実際に付与されている順位を正解として扱っている．

本論文ではシステムの出力順位と実際の順位が近似しているほど
高精度であると考え，評価式は相関係数を求めるSpearmanの順位相関係数
\cite{Spearman}
を基に式を拡張して用いた．
Spearmanの順位相関係数$\gamma$を式(\ref{spearman})に示す．
式(\ref{spearman})において$n$は入力順位の総数，$d_i$は$i$番目に入力された
2つの順位$x_i$, $y_i$の差分を示している．
\begin{gather}
 \gamma = 1 - 6 \cdot \frac{\sum_{i=1}^{n}(d_i)^2}{n\cdot(n^2-1)} 
	\label{spearman}\\
 d_i=x_i-y_i
	\label{spearman2}
\end{gather}

本論文における精度はシステムの出力した順位と実際の順位が
類似するほど精度が高いとする．

本評価では式(\ref{spearman2})を式(\ref{eval2})の様に変更
して評価式として扱う．式(\ref{eval2})において$m$番目に
システムが出力した順位と正解順位の対を$Rank\_Sys_{m},Rank\_Ans_{m}$と示す．
\begin{gather}
 d_m = 
 \begin{cases}
  Rank\_Sys_{m} - Rank\_Ans_{m}, & if~exist\ Rank\_Ans_{m} \\
  0 , & otherwise
 \end{cases}
	\label{eval2}\\
 Rank\_Sys_{m} = m
	\label{eval3}
\end{gather}

式(\ref{eval2})を使った場合
式(\ref{spearman})において，$n$は入力文書の総文書数を
示し，$i$はシステム出力の順位，$d_i$はシステムの順位と実際の順位との差を
示している．ただし順位の差を計算する上で実際の順位とシステムの順位の両方
の値を持つ文書のみに対して順位差$d_i$を計算を行う．
これは正解の順位が正確に得ることが出来ないためである．
評価式は以下に示す情報が反映されている．
\begin{itemize}
\item 実際の順位とシステムの順位の差
\item 興味を持たれなかった記事がシステムの上位に出現する数
\end{itemize}

評価式において上記の項目が大きい値を持つとき評価値を下げることになる．
評価式は$-1$から1までの値をとり，評価式の結果が1に近づくほどシステム出力の順位と実際の順位が近いことを示す．
評価値が1に近づくことは
システムが大衆の選択した文書に
高い順位を与え，
さらにシステムの出力した順位と正解の順位が近いことを示す．
また評価の結果が1の時，システムの出力した順位と実際の順位に差が全くないことを
示している．
評価式を使った計算を\exref{evalex}に示す．

\begin{itembox}{\ex{}\label{evalex}様々な正解に対する評価値の計算}
入力文書数を10文書とし正解が1位，2位，3位の3つの場合の計算を示す．
空欄は順位が無いことを示している．
\vspace{0.5zw}
\begin{center}
{\small
\begin{tabular}{c|cccccccccc}
\hline
システム順位&1&2&3&4&5&6&7&8&9&10 \\
\hline
正解順位1&1&&2&3&&&&&& \\
正解順位2&3&&1&&&&2&&& \\
正解順位3&1&2&3&&&&&&& \\
正解順位4&&&&&&&&3&2&1 \\
正解順位5&&&&&&&&1&2&3 \\
\hline
\end{tabular}
}\end{center}
\vspace{0.5zw}
各評価値の計算を以下に示す．\\
{\setlength{\baselineskip}{12pt}
正解1：$1 - 6 \cdot ({0+1^2+1^2}) \div ({10\cdot(10^2-1)}) = 0.99$\\
正解2：$1 - 6 \cdot ({-2^2+2^2+5^2})\div({10\cdot(10^2-1)}) = 0.81 $\\
正解3：$1 - 6 \cdot ({0+0+0})\div({10\cdot(10^2-1)}) = 1 $\\
正解4：$1 - 6 \cdot ({5^2+7^2+9^2})\div({10\cdot(10^2-1)}) = 0.07$\\
正解5：$1 - 6 \cdot ({7^2+7^2+7^2})\div({10\cdot(10^2-1)}) = 0.11$
\par}
\end{itembox}



\subsection{学習データの収集}\label{sec_collect_learn}

本論文ではランキングに付与されている順位情報を用いるために順位情報が付与されて
いる文書を収集した．
順位付き文書の収集源として我々はニュースランキングに着目した．
順位情報が付与されている文書が新聞記事であるため，
形態素解析などの処理が容易であり，
また閲覧数を基にランキング付与を行っているという点において
大衆の興味への関係性が高いと考えたからである．

本論文では順位付き文書を
朝日新聞社の「アクセス Top30」\footnote{
アサヒ・コム アクセス Top30, http://www.asahi.com/whatsnew/ranking/.
}を対象に収集した．
このランキングはWeb上で公開されており，掲載される記事のジャンルは，
社会，スポーツ，ビジネス，暮らし，政治，国際，文化，芸能，サイエンスと広
範囲の記事が含まれている．
収集時期において朝日新聞社が公開していたニュースランキングは，順位を決定
する基準として0時から24時までの24時間分の総アクセス数を使用し，アクセス数
の多い順番で順位を決定している．また，
このニュースランキングでは全ての記事の順位が公開されているのではなく，
アクセス数上位30位以内の記事が順位と共に公開されている．
アクセス数は公開されていない．
順位の決定に
24時間分の総アクセス数を用いているので，ランキングの中にはその時間内に
掲載された記事だけではなくアクセス数の収集期間よりも以前に掲載された記事
も含まれている．
よって，ランキングに複数の日で出現する記事が存在するため，
記事には複数の順位情報が付与されることもある．
記事の収集については順位付きの記事だけではなく，順位が付かなかった記事に
ついても収集を行い，
順位付き文書と順位無し文書の両方を学習データとして用いている．

実際に記事を収集した期間は
2004年1月1日から2004年12月31日までの1年分について収集を行った．
表\ref{learn}に収集データの詳細を示す．

\begin{table}[b]
\caption{収集した学習データの統計データ}
\label{learn}
\input{05table01.txt}
\end{table}


\subsection{評価対象}\label{sec_collect_eval}

評価対象として入力する文書は同一の掲載日付でまとめた記事の集合である．
システムは各記事に文書興味スコアを付与し，このスコアによって順位を付与し
て出力する．この入力文書の掲載日付に対して
次の日に掲載されるランキングを参照し，
システムの順位と実際の順位の対応を作成しこの2つの順位
の比較を行う．

評価用データとして収集する文書は学習データと同様に
朝日新聞社の「アクセスTop30」とした．
抽出した記事から順位情報付き文書と順位情報無し文書を掲載日付で
分割したテストセットを作成した．
収集期間は学習データと異なる2005年3月の1ヶ月を収集の期間とし，
テストセットを30セット作成した．
この時のテストセットに含まれている順位付き文書を正解として扱う．

また，
朝日新聞社のニュースランキングは順位付き文書を30位まで取得することができるが，
ランキングに含まれる文書は同一の掲載日付のみではないため
1つのテストセットに含まれている順位付き文書数は30未満になる場
合もあり，順位付き文書数はテストセットによって左右する．
作成したテストセットについての詳細なデータを表\ref{testset}に示す．

\begin{table}[t]
\begin{center}
\caption{収集したテストセットの統計データ}
\label{testset}
\input{05table02.txt}
\end{table}


1つのテストセットごとに評価式(\ref{spearman})及び式(\ref{eval2})を使用
して評価を行い全テストセットの平均値をシステム全体の評価値とする．


\subsection{システムの評価}\label{sec_eval_main}

実験では入力文書に順位を付け正解順位との比較を行うことを評価している．
システムの出力例を付録に示す．
評価値の比較のため次の2つのモデルを考える．
\begin{itemize}
\item ランダム\\
      入力記事群にランダムに順位を付与する．
\item IDFを用いた手法\\
      対象素性$w$の興味の強さを$Interest(w)$の代わりに
      文書に含まれる語句の特徴性を表す$idf$と対象素性が順位付き文
      書に出現する割合$Ranked\_Ratio(w)$を使用して素性の興味スコアを計
      算する．
      計算式を式(\ref{idfP})に示す．
\end{itemize}
\begin{equation}\label{idfP}
 Interest_{idf}(w) = Ranked\_Ratio(w) \cdot idf(w)
\end{equation}


式(\ref{idfP})において$Ranked\_Ratio(w)$は学習データから求め，
$idf(w)$については
別にコーパスを用意し，各形態素の$idf$を算出している．
$idf$辞書を作成するために使用したコーパスは日本経済新聞\footnote{
日本経済新聞全記事データベース1990年〜2004年，日本経済新聞社．
}の1990年から2004年までの14年分である．
$idf$をカウントする際の文書の単
位は1記事としている．
$Interest_{idf}(w)$を
$Interest(w)$
の代わりに使用して興味スコア
を算出し，文書興味スコアの推定に用いる．


システムが出力した順位と実際の順位との
評価値を図\ref{eval_eq}に示す．図\ref{eval_eq}には
各評価対象の評価値の平均，
最大及び最低の評価値をエラーバーで示している．



\begin{figure}[b]
\begin{center}
\includegraphics{15-2ia5f2.eps}
\end{center}
\caption{内容語を素性とした文書の興味推定の評価}
\label{eval_eq}
\end{figure}

図\ref{eval_eq}において提案手法はランダムと比べて平均の評価値で0.17向
上している．IDFと比べて提案手法は平均の評価値で0.08向上し
ている．提案手法は平均，最低値，最高値のそれぞれにおいて比較対象より良好
な結果を得られることが分かった．


次に実際のランキングの30位以内に出現した記事を正解記事として，システムの上位
10記事分を取り出した場合の正解記事の抽出精度を調査した．
表\ref{eval_2}にシステムの出力上位10記事に注目した抽出精度を示す．

比較対象として先ほど述べた2つに加えSVM\footnote{
SVM学習ツール TinySVM, Ver.~0.09, 奈良先端科学技術大学院大学 松本研究室，http://chasen.org/\~{}taku/\linebreak[2]software/TinySVM/.
}による分類器を追加し
た．SVMの学習は内容語を素性に順位付き文書を正例，順位無し文書を負例とし
て行っている．使用したカーネルは線形カーネルである．SVMの抽出精度につい
ては10記事分ではなく分類の結果正例として出力された中で正解記事が含
まれている割合を示している．


SVMは評価条件が違うため正確な比較ではないが，提案手法は他に定義した比較
して，ランダムに比べて約26ポイント，IDFに比べて約24ポイント，SVMに比べて
約13ポイント向上している．



\subsubsection{品詞別に分けた評価}\label{pos_vary}

内容語の中でどのような語が興味の強弱の判別に貢献しているか調査するため
内容語を品詞別に分けて評価実験を行った．
\tableref{var_pos}に品詞別の評価を示す．表において使用した品詞は○，未使
用の品詞は空欄となっている．

表\ref{var_pos}より以下の事が分かった．
\begin{itemize}
\item 全ての品詞を使った場合の評価値が0.862であり名詞のみを使った場合の
      評価値が0.858であることから，名詞の貢献する割合が大きく名詞は
      興味判別のために重要である．
 \item 動詞，形容詞は文書の興味の判別に対する貢献は小さいが
      全体の精度を下げるものではない．
\end{itemize}

影響が最も大きかった名詞をさらに品詞詳細に分けて評価を行った結果を
表\ref{var_pos2}に示す．

\begin{table}[b]
\begin{minipage}{0.45\textwidth}
\caption{興味を持たれる記事の抽出精度}
\input{05table03.txt}
\label{eval_2}
\end{minipage}
\begin{minipage}{0.45\textwidth}
\caption{品詞別に分けた評価実験結果}
\input{05table04.txt}
\label{var_pos}
\end{minipage}
\end{table}
\begin{table}[b]
\caption{名詞を詳細別に分けた評価実験結果}
\input{05table05.txt}
\label{var_pos2}
\end{table}


以上より興味を判別する際に重要となる語句は
名詞—一般，名詞—サ変，動詞，名詞—固有名詞，形容詞の順で重要であることが
分かった．



\subsubsection{学習データ内の出現回数と精度}\label{th}

次に，興味を判定する素性である内容語が学習データ内の出現回数によって
評価値とどのような関係があるか調査を行った．
これは出現回数が少ない素性に付与した興味スコアが不安定であることが評価値にどの
程度影響を与えるのか調べるためである．
また出現回数の多い素性は文書を興味の強弱で判別することに不向きであるかど
うかも確認することができる．
実験は学習データ内に出現した回数で閾値を設定し閾値以上又は閾値以下の出現回数であった内容語は文書
の興味の推定の時に扱わないようにして行った．
出現回数が閾値以下の素性を削除して実験を行った結果を図\ref{down}に示す．

\begin{figure}[b]
\begin{center}
\includegraphics{15-2ia5f3.eps}
\end{center}
\caption{出現回数が閾値以下の素性を削除した評価値の変動}
\label{down}
\end{figure}

図\ref{down}より学習データにおいて頻度が少なかった素性を削除した結果，
特に「出現回数1回以下を削除」から「出現回数5回以下を削除」において
精度の低下は見られなかった．この原因は学習データにおいて
出現回数が少ない語が
評価対象として入力する文書にも出現することが少ない事，
また出現回数が少ない素性に付与する興味スコアの信頼性が低い事が挙げられる．
出現回数が少ない素性は1回の出現回数の増加で興味スコア
が大きく変化することからスコアが不安定であり信頼性を低いとしている．

次に出現回数が閾値以上の素性を削除して実験を行った結果を図\ref{up}に示す．

図\ref{up}より学習データにおいて閾値より頻度が多い素性を削除した結果，
閾値を下げていくと閾値が1,000までは精度の向上が見られた．
出現頻度が高い語を削除しても精度に変化が表れなかったことから
，これらは興味を判別する要素として重要ではないと考えられる．

以上の結果から評価値の低下が見られなかった「出現回数5回以下を削除」及び
「出現回数1,000回以上を削除」の両方を利用した．
その結果，評価値で0.865であり，
閾値が無い場合の評価値（\tableref{var_pos}の最大値0.862）と比較して精度が上昇したことが確認できた．
これにより「出現回数5回以下」及び「出現回数1,000回以上」
は全体として興味判別に貢献していないと考える．


\subsubsection{素性に付与されたスコア}\label{scoring}

興味スコアの値が付いた素性の観測結果について述べる．
\pagebreak
素性に付与した興味スコアについて並び変えを行い，
スコアの上位と下位からいくつかの内容語を例として
\exref{score1}及び
\exref{score2}に示す．

\begin{itembox}{\ex{}\label{score1}高い興味スコアが付いた内容語}
\begin{center}
乱造，落葉，撲殺，偏愛，鉢巻き，作画，倦怠，怪死，往還，討伐
\end{center}
\end{itembox}

\begin{itembox}{
\ex{}\label{score2}低い興味スコアが付いた内容語
}
\begin{center}
調べ，調査，入る，予定，述べる，会社，関係，求める，発表，東京
\end{center}
\end{itembox}

\begin{figure}[t]
\begin{center}
\includegraphics{15-2ia5f4.eps}
\end{center}
\caption{出現回数が閾値以上の素性を削除した評価値の変動}
\label{up}
\end{figure}


興味スコアが高い値の語句の特徴としては低頻度の語が多く，
低い値の語句の特徴としては高頻度の語，経済のジャンルに属する語句及びスポーツのジャ
ンルに属する語句が多いという傾向が分かった．
これはシステムが出力する順位の結果においても
スポーツ記事全般と経済に関する記事の興味スコアが低いという同様の傾向が得
られている．
よって今回の順位付けは大きく分けて
経済記事，スポーツ記事，その他の記事の
3種類の特徴を捕らえているようになっている
ことが考えられる．
これは記事の特性上，スポーツ記事では
記事間で同様の単語が使われることが多いため，
それらの単語が順位付き文書で使用される割合が
減少し，この結果興味スコアが低くなったと考える．
また，経済の記事は全経済記事に対して順位付き記事に表れる割合が少ない．
以上の傾向は大衆の興味をとらえるという点では妥当な結果と考えられる．

また\exref{ex_var}に示すような動詞は
\ref{pos_vary}節で述べたように興味推定の貢献度は少なかった．
これは内容語単体では興味を推定するのに情報が不十分であることが考えられる．
これは，一部のサ変名詞にも言えることである．
例えば\exref{ex_var}にある「結婚」という語句については
「結婚」自体が興味を持たれるのでは無く
，それと共に出現する語句を同時に扱うことで情報に限定性が付
与され興味の対象となると考える．
例えば「結婚」と「タレント＋結婚」では興味を判別すると言う観点から
語句に含まれる情報が違うと考える．
さらに，「タレント」の部分は固有名詞まで
限定できた方が興味の判別要素としては適切なのかもしれないが，この処理
を行うのは容易ではない．
固有名詞は数多くあって統計的扱いが困難なためである．

\begin{itembox}
{\ex{}\label{ex_var}単体では興味の判別要素にならない語句}
\begin{center}
入る，述べる，求める，発表，結婚，調査
\end{center}
\end{itembox}

複合名詞の問題も存在する．例えば「首相官邸」などの語が「首相」と「官邸」
に分けられた状態でしか扱っていないため語句が示す意味が実際とは異なってし
まうことが挙げられる．複合名詞になって初めて興味を判断できるとするならば
改善が必要である．



以上の考察から次節以降では素性がもつ情報量を増やす方向で拡張を試みる．



\section{処理単位の拡張}\label{sec_method2}

前節で述べた内容語を素性とした興味判別は記事の内容を特定する
情報が少なく，判別する要素として十分ではないことが問題として分かった．
この問題に対応するため，処理の単位の拡張を行った．
提案する処理単位を以下に示す．
\begin{itemize}
\item[1] 複合名詞を素性として抽出
\item[2] 内容語及び複合名詞の組み合わせを素性として抽出
\end{itemize}
以降では，内容語及び複合名詞の組み合わせを「複合素性」と呼び，興味の推定に使用する．
次節より，複合名詞を素性として抽出する方法，複合素性を抽出する方法，
拡張した素性を使って文書に興味のスコアを付与する方法について順に述べる．


\subsection{複合名詞の抽出}\label{fukugou}

入力されたそれぞれの文書から興味の判別を行う際に
重要であると思われる素性を複合名詞として抽出する．
複合名詞の研究は盛んに行われており，
本論文では専門用語の抽出\cite{Nakagawa2003}を参考に複合名詞を作成した．
複合名詞の作成対象となるのは名詞，接尾辞，接頭詞の連続部分である．


複合名詞作成にあたって以下に示す出現回数をコーパスよりカウントする．
\begin{itemize}
\item 2単語の文中における共起回数をコーパスよりカウントする
\item 2単語の連接回数をコーパスよりカウントする
\item 2単語それぞれに連接する名詞の種類数をコーパスよりカウントする
\end{itemize}


本研究では複合名詞作成のコーパスとして日本経済新聞
1990年から
2004年までの14年分を使用した．
 連接した2つの形態素を「$i j$」とした場合，
$i$と$j$が文中において
共起する回数を$Count_{co}(i,j)$， 
$i$の後に$j$が連接する回数を$Count_{bigram}(i,j)$，
前方の語$i$の後に連接する名詞の種類数を$Count_{var}(i)$，
後方の語$j$の前に連接する名詞の種類数を$Count_{var}(j)$としたとき
以下の条件のいずれかに一致するものを複合名詞とした．

\underline{名詞の結合条件}
\begin{itemize}
\item 条件1:
      \begin{equation}
       Count_{bigram}(i,j) \div {Count_{co}(i,j)} > 0.01
      \end{equation}
\item 条件2:
      \begin{equation}
       \sqrt{(Count_{var}(i)+1)^2+(Count_{var}(j)+1)^2} > 100
      \end{equation}
\end{itemize}

3語以上の複合名詞は
それぞれの形態素間について同様の方法を用いて判定を行う．複合名詞の作成例を
\exref{fukuex}に示す．

\begin{itembox}{\ex{}\label{fukuex}複合名詞の判定\\}
入力を「競売入札価格の決定」としたとき名詞が連続している部分は
｛競売，入札｝と｛入札，価格｝の部分である．この2つについて複合名詞の
判定について行う．
\vspace{0.5zw}
\begin{center}
\begin{tabular}{c|c|c|c}\hline
対象&条件1&条件2&判定\\ \hline
競売，入札&0.913&368.5&結合\\ \hline
入札，価格 &0.195&1191.8&結合\\ \hline
\end{tabular}
\end{center}
\vspace{0.5zw}
｛競売，入札｝と｛入札，価格｝の両方が複合名詞として扱う条件を満たしているため
「競売入札価格」を複合名詞として扱う．
\end{itembox}
以上の手順で複合名詞を作成し，興味の判別素性として用いる．また複合名詞に
ならないものは興味判別の素性として扱わない．

\subsection{複合素性の抽出}\label{taple}

入力されたそれぞれの文書から興味の判別を行う際に
重要であると思われる素性を
内容語及び複合名詞を組み合わせた複合素性として抽出する．

そのため\ref{fukugou}節で述べた複合名詞の処理も行う．
複合名詞とならなかったものは内容語として扱う．
文書の形態素解析を茶筌で行い，文書が内容語のみによって構成されて
いるとし，まずは連接している名詞に対して複合名詞処理を行い，
複合名詞と内容語の集合を作成する．
入力文書と複合名詞処理後の結果の例を\exref{ex複合}
に示す．内容語を抽出する条件は\ref{nai}節と同様である．

\begin{itembox}{
\ex{}\label{ex複合}複合名詞と内容語の抽出
}
入力：インド北部で厳しい冷え込みが続いている．\\
抽出単語：インド北部，厳しい，冷え込み，続く
\end{itembox}

\exref{ex複合}に示した内容語と複合名詞の集合から次に示す条件で組み合わ
せを作成する．

\underline{組み合わせの作成条件}
\begin{itemize}
\item 内容語及び複合名詞の出現順は考えない．
\item 組み合わせの作成は1つの文中から探す．
\item 2要素からなる組み合わせで行う．
\item 組み合わせを出現文書数でカウントする．
\item 学習データ内で出現文書数5以下1,000以上の組み合わせは扱わない．
\end{itemize}

出現文書数の閾値は\ref{th}節の内容語を素性とした評価で最も良好な結果を得られ
た下限閾値5及び上限閾値1,000をそのまま適用した．
\exref{ex複合}の内容語及び複合名詞から複合素性を作成した例を
\exref{extaple}に示す．

\begin{itembox}{
\ex{}\label{extaple}複合素性の作成
}
\begin{center}
｛インド北部，厳しい｝，｛インド北部，冷え込み｝,...,｛冷え込み，続く｝
\end{center}
\end{itembox}

複合素性は，2要素からなる素性集合の全部分集合である．
本節で説明した複合素性を1つの素性として扱い
，\ref{calc_int}節で述べた
方法で興味スコアを付与し，これを利用して文書興味
スコアの付与を行う．

\subsection{拡張した素性を使った文書興味スコアの計算方法}

入力文書$D_i$に対して内容語，複合名詞，複合素性の3種類の素性
集合が抽出できる．
それぞれに対して式(\ref{all_hit})及び式(\ref{bow})を使って興味
スコア列を作成する．値が付与できなかった素性はこの時点で除去され
る．作成した興味スコア列をそれぞれ，内容語を$F_i$，複合名詞を$C_i$，
複合素性を$T_i$として，
全ての素性を利用するときの文書興味スコアを式(\ref{txt_EX})に示す．
\begin{align} \label{txt_F}
 F_i & =\{Val_{1},Val_{2},...,Val_{N_F}\} \\
 C_i & =\{Val_{C1},Val_{C2},...,Val_{N_C}\} \\
 T_i & =\{Val_{T1},Val_{T2},...,Val_{N_T}\} 
\end{align}
\begin{equation}
 Interest\_Doc'(D_i) =  \frac{
	\sum_{Val \in F_i,C_i,T_i} Val}{ N_F + N_C + N_T}   
\label{txt_EX}
\end{equation}

式(\ref{txt_EX})において$N_F$，$N_C$，$N_T$は
それぞれの興味スコア列の要素数を示している．
この評価式を使って文書興味スコアを文書に与え，
スコアが高い順に文書に順位を付ける．



\section{拡張した素性の評価}\label{sec_evalexp2}

評価方法は\ref{eval_method}節と同様の方法を用いる．
内容語を素性とした場合では\ref{th}節で最もよい評価値を得られた下限閾値5
回及び上限閾値1,000回の結果を採用している．
使用する素性を
内容語，複合名詞，複合素性，内容語と複合名詞，内容語と複合素性，内容
語と複合名詞と複合素性の6種類について評価を行った．評価結果を
表\ref{sandan}に示す．表において文書興味スコアの算出に使用した
素性は○，未使用の素性は空欄となっている．

\begin{table}[b]
\caption{拡張した素性を使った評価実験}
\input{05table06.txt}
\label{sandan}
\end{table}

表\ref{sandan}より拡張した素性である複合名詞，複合素性
だけを使用した場合の
精度は内容語のみを使用した場合より精度が低下している．
しかし内容語の素性と同時に使用する場合において精度は向上する事が分かった．
複合名詞のみ及び複合素性のみを使用した2つの評価では
値を付与できない記事，つまり値を付与できる素性が1つもない記事が発生した．
これは，素性の情報量を増やすことで使用できる素性が
減少し評価値及び抽出精度が落ちたと考えられる．
複数種類の素性を使用した場合の精度の向上については，
内容語を素性とした方法が
他の2つを素性とした場合のスパースな部分において補完が行われ，
さらに内容語だけでは得られなかった情報が追加されたこと
になるため精度が向上したと考える．
最も評価値が上昇したのは内容語と複合名詞と複合素性の全てを
素性として使用する場合であり，
評価値で0.867，抽出精度で0.57という結果が得られた．



\subsection{システム出力の観察}

使用する素性を変化させたときに
システムの出力にどのような変化が起こっているのか確認する．
システムが出力した順位の上位10位，上位30位，下位10位，
下位30位について実際に順位が付与されている記事（正解記事）
が含まれている数について調査を行った．
システムの上位及び下位における正解記事数を表\ref{ch}に示す．
表\ref{ch}の「全て」は内容語と複合名詞と複合素性を素性として使用すること
を示す．

表\ref{ch}より拡張した素性を加えると
システム上位10記事の結果では順位が
実際に付与されている記事数が160記事から171記事に増加した．
またシステム下位30記事の結果では正解76記事から75記事に減少した．
内容語，複合名詞，複合素性の全てを用いた場合
システムの出力において上位の変動が11件確認でき
下位の変動は1件であった．上位の変動が下位より大きく表われ，
精度の向上は主にシステム上位部分で発生している事が分かった．


\begin{table}[t]
\caption{システム出力に含まれている正解記事数}
\input{05table07.txt}
\label{ch}
\end{table}

システムの出力において正解記事が出現する偏りの傾向について述べる．
表\ref{ch}に示したシステムの上位30位と下位30位に含まれる正解数
から，順位付きの記事が含まれる傾向は上位30記事に387記事，下位30記事に75
記事であった．従って上位には下位より約5倍
ほど正解記事が出現しやすく正解記事がシステムの上位に強く偏る傾向が見られる．


次にシステム出力の下位の記事を興味を持たない記事として
抽出することに利用することについて述べる．
興味を持たない記事は評価用のテストセット内で順位無し記事であり，
テストセットにおける興味を持たない記事の割合は
0.754である．
表\ref{ch}より，
システム出力の下位10記事を抽出した場合，
300記事の中で289($=300-11$)記事が順位無し記事（ほとんど興味を持たれない記事）で
ある．
従って興味を持たれない記事の抽出精度としては0.97($=289 \div 300$)という精度であった．
また下位30記事を見た場合においても興味無し記事の抽出精度は0.92($=1-76
\div 900 $)である．

システムの下位30記事を抽出する場合，900記事が対象であるため
全記事の2,958記事に対して約3割($=900 \div 2985 $)の記事に対して抽出精度0.90を超える精度で興味を持たれない記事の抽出が期待できる．



\subsection{順位を大きく誤った記事に対する考察}

評価実験の結果，文書興味スコアから付けた順位が正解と離れている文書について
その原因を考察する．
観察対象は，
システム出力の下位から10文書を取り出したときに含まれている順位付き記事で
ある．この記事は興味ありを興味無しと判断した誤りである．

システムが付けた順位の下位から
10文書に出現した順位付き記事を\exref{err}に記事タイトルで示す．

\begin{itembox}{\ex{}\label{err}システムの下位に出現した正解記事} 
(22)量的緩和解除，静かな幕開け　福井総裁は国会答弁5時間\\
(26)佐々木が2位，日本人最高順位タイ　スキーW杯男子回転\\
(26)チーム青森，常呂中破り決勝に　カーリング日本選手権\\
(22)将棋名人戦，谷川九段が挑戦権を獲得　羽生三冠を破る\\
(17)中村が活躍，セルティックV　スコットランドサッカー\\
(29)大久保が同点ゴール　スペイン1部サッカー\\
(14)日本のチーム長野は5連敗　カーリングの女子世界選手権\\
(16)朝青龍16度目の優勝　決定戦で白鵬下す　大相撲春場所\\
(26)共済年金の上乗せ給付，10年新規加入者から廃止へ \\
(15)安保理拡大，日本が21カ国案の提出断念　米の支持なし\\
*()内の数字は実際の順位である．
\end{itembox}

\exref{err}に示した
順位付きの記事は低い順位の記事が占めている事が分かる．
これらの記事が下位に出現した原因として
未知語処理に関する問題が挙げられる．
学習データに出現しない語句はシステムにおいて除外しているため
興味スコアに反映されない．
例えば\exref{err}に示した「チーム青森，常呂中破り決勝に　カーリング日本選手権」
では「カーリング」という語句は抽出できていない．
スポーツ記事が占める割合が高いのは，\secref{scoring}で述べた
類似した記事が大量に存在することで素性に付与される興味スコアが
低下しやすい状況にあるからだと推測する．


次に，システム出力の上位から10文書を取り出したときに
含まれている順位無し記事を対象にする．
その記事は興味無しを興味ありと判断した誤りである．
システムの出力で上位から取り出した10文書に出現した順位無し記事について
記事のタイトルを\exref{err2}に示す．

\begin{itembox}{\ex{}\label{err2}システムの上位に出現した不正解記事}
登校中の中学生切られる　男が逃走　愛知・美和町\\
スーパーにライトバン突っ込み7人重軽傷　山形・川西\\
東京の自宅マンション放火事件，中2少年を家裁送致\\
集団自殺か，男女3人が車内で死亡　弘前・岩木山ろく\\
架線にビニールひも付着，東北新幹線に遅れ\\
男女4人が集団自殺，車内に練炭　静岡市の山間部\\
東武伊勢崎線普通列車が停車予定駅を通過\\
東京・豊島のマンションに男性の遺体　強盗殺人で捜査\\
川崎の小3男児転落死　マンション15階にランドセル\\
女子中学生の顔にスプレー　鹿児島・薩摩川内
\end{itembox}

\exref{err2}の特徴としては事件記事が多く含まれていることが分かる．
提案したシステムでは事件ジャンルに属する記事のスコアを高く与える傾向があ
り，\exref{err2}にあるような「強盗」「自殺」「放火」等の語句が高いスコアを
持って記事の中に含まれているため，高い順位が付与される．なお，不正解記事の中
には他の正解記事の関連記事や，前日の正解記事の続報である場合もあり，完全な間
違いと言い切れない記事も存在した．


\subsection{拡張した素性の観察}

内容語を使って求めた興味スコアと
複合名詞を素性とした興味スコアを比較し，素性を拡張した影響の調査を行った．

内容語及び複合名詞の素性から求めた興味スコアの差を
「プロ」で始まる語句を例に表\ref{fukugoures}に示す．
同様に複合素性
を素性とした結果と内容語を使った場合との差を
「株価」の語句を含むものを例に表\ref{tapleres}に示す．
表では組み合わせた2つの内容語又は複合素性を「：」で分割して表記する．
表\ref{fukugoures}，表\ref{tapleres}において
興味スコアは複合名詞や複合素性から求めた場合の興味スコアを示し，
内容語による興味スコアは
複合名詞や複合素性に含まれる内容語から求めた興味スコアである．

\begin{table}[b]
\caption{複合名詞の興味スコア}
\input{05table08.txt}
\label{fukugoures}
\end{table}

複合名詞から算出した興味スコアと複合名詞に含まれる内容語から算出した興味スコア
について相関値を算出した結果，相関値は0.698となった．
同様に複合素性と内容語による興味スコアの相関値を算出すると0.551であった．
両者共に相関係数は高いものであるが，複合名詞を素性とした場合の方が高い相関
値を持っている．
このことから複合素性の興味スコアよりも
複合名詞の興味スコアが内容語の興味スコアにより類似していると考える．
そのため評価値も同程度得られると考えられるが，
素性の情報量を増やした事でそれぞれの出現回数が
減少することによるスパースの問題だけ評価値が下がったと考察する．
反対に複合名詞にすることで興味を判別する素性として良くなった例を挙げる．
\tableref{fukugoures}にある「プロアイスホッケー」では内容語のみを使用した
興味スコアの推定では「プロ」の語句だけで値が付与されている．これを複合名
詞として扱うことで「アイスホッケー」を考慮した興味スコアとなり，
「プロ」の興味スコア(0.045)と比較して大きく異なる値(0.000)となった．
また複合名詞にすることで素性として良くなった
別の例では，一般的な名詞同士の複合名詞「日本＋経済」，「日本＋代表」のような語句に興
味スコアの差が表れるようになった．「日本＋経済」，「日本＋代表」については
内容語を素性とした場合，両者の興味スコアは共に0.035であるが，複合名詞の場
合では「日本＋経済」のスコアが0.009，「日本＋代表」のスコアが0.03という結
果になっており，後者の興味がはるかに強いことが分かる．

\begin{table}[t]
\caption{複合素性の興味スコア}
\input{05table09.txt}
\label{tapleres}
\end{table}

次に複合素性にすることで興味を判別する素性として良くなった例を挙げる．
\tableref{tapleres}にある「株価：売却」と「株価：経営」では内容語による
興味スコアにほぼ差が存在しないが複合素性では
「株価：売却」の興味スコアが0.009，
「株価：経営」の興味スコアが0.068となっている．
このように素性の情報量を増やすことで
興味スコアに差を得られるようになった．
このことが抽出精度が上昇した要因だと考える．

次に残された問題点について述べる．
複合素性の問題点として，複合素性を作成する
と大量の組み合わせが作成されてしまう．
本論文では出現頻度5以下を削除しているが，削除された中には実際には有効なデータも含まれている
と考える．
しかし判断要素として使えない対が有効なデータよりもはるかに大量に含まれているため
，現在の方法では精度を下げる要因にしかならない．


システムが付与した興味スコアの高い素性と低い素性の一部を
\exref{high}及び\exref{low}に示す．
\begin{itembox}{\ex{}\label{high}高い興味スコアとなった複合素性}
｛駐車場：突っ込む｝，
｛男性：聴く｝，
｛関東：低気圧｝，
｛ダイヤ：乱れ｝，
｛殴る：現行犯逮捕｝，
｛車内：確認｝，
｛NHK：現場｝，
｛メンバー：人気｝，
｛団体：中止｝，
｛県警：車内｝，
｛救急隊員：駆けつける｝，
｛女子生徒：分かる｝，
｛現行犯逮捕：調べる｝，
｛揺れ：最大｝，
｛原因：容疑｝，
｛レギュラー：番組｝，
｛通行人：110番通報｝，
｛女子：盗む｝，
｛男性：任意｝，
｛駆けつける：女性｝
\end{itembox}


\begin{itembox}{\ex{}\label{low}低い興味スコアとなった複合素性}
｛ダウ工業株：平均｝，
｛ニューヨーク外国為替市場：円相場｝，
｛東京株式市場：日経平均株価｝，
｛承認：向ける｝，
｛状況：厚生労働省｝，
｛人：救済｝，
｛世界：棒高跳び｝，
｛制裁：再開｝，
｛奪う：優勝｝，
｛農業：求める｝，
｛判断：輸入｝，
｛粉飾：担当｝，
｛保護：批判｝，
｛補助金：決める｝，
｛目標：抑える｝
\end{itembox}

これらの素性に付与された値の妥当性を個別に判断するのは困難であるが，
我々は\exref{high}の素性の方が\exref{low}よりも興味を持たれるのではない
かと感じた．



\subsection{学習データによる影響}

学習データの量と精度の関係を調査するため，学習量を変化させて評価を行った．
評価実験は最も良い結果が出た
内容語，複合名詞，複合素性の全てを使用した．
\secref{sec_collect_learn}において収集した全ての学習データに対して，
データ量を減少させて評価を行った．
学習データを変化させて評価した結果を図\ref{amount}に示す．

図\ref{amount}より学習データの増加に対して評価値の向上が見られる．学習デー
タの増加に対する評価値の向上は今回用意したデータの0.3倍程度（順位付き文書
約2,500文書，順位無し文書約7,500文書）のところで精度向
上が緩やかになっている．このデータが描く曲線の様子から，
データ量を現在の全データよりも2倍，3倍と増やした場合の評価値は0.875程度であると予測する．


次に学習データの違いによってどの程度精度に影響するかを調査するため
いくつかの学習データを作成した．
\secref{sec_collect_learn}で収集した学習データを順位付き文書と順位無し文
書の比率を変えないように2分割し，一方を
学習データA，残りを学習データBとした．
学習データA及びBから無作為にそれぞれ半分づつ取り出して合わせたものを学習
データCとした．
従ってAB間のデータの重複はなく，AC間及びBC間の重複は50％である．
この3種類の学習データに対して評価実験を行った．
評価結果を表\ref{oth}に示す．


\begin{figure}[t]
\begin{center}
\includegraphics{15-2ia5f5.eps}
\end{center}
\caption{学習データの量を変化させた評価実験}
\label{amount}
\end{figure}
\begin{table}[t]
\caption{異なる学習データと評価値の関係}
\input{05table10.txt}
\label{oth}
\end{table}

表\ref{oth}から学習データを変更させても同程度の精度を得られることが
分かった．
以上の結果より収集期間に関係なく同じ量の文書を学習データとして用意した場
合，同程度の精度を得ることができ，学習データは多いほど良い精度を得ること
が期待できる．
しかし今回調査した学習量の増加と
評価値の増加の2つの関係から，データ量を極端に増やしたとしても精度の向上
は評価値で0.875ほどが上限であると予測する．

以上の学習データの量を変化させた評価実験と，
異なる学習データによる評価実験より，
約1万件以上の記事を用意した場合，収集した期間と関係なくほぼ同等の精度が
得られることが期待できる．
これは，ある程度のデータ量があれば収集した日付の違いによる
影響は小さいことを示している．



\section{おわりに}

本論文では，順位情報を利用して，文書の興味推定を行うモデルを提案
し，大衆の興味が反映されているデータをテストデータとして用いて評価実験を行った．
文書の興味推定のための素性として，内容語，複合名詞，複合素性
の3種類について実験を行った結果，相関係数を基にした評価値で0.867，
システムが付けた順位で上位10記事を出力した場合に，
実際のランキングで30位以内の記事が含まれる割合は0.57となった．
さらにほぼ興味を持たれない記事を抽出する精度が0.90を超えることが期待でき
る結果を得た．
システムの出力から経済記事が出力下位に非常に多く表われやすい傾向を持つこ
とや実際の順位付き記事が上位に表われやすい傾向から今回付与した興味スコアは
大衆の興味を捕らえるのに概ね妥当なものであると確認した．

 今回はニュースランキングの文書を中心に実験を行ったが，収集が可能であれ
ば他のランキングについても同様の実験を行いランキングが異なることによる特性
の違いなどが得られれば興味の判別に役立つと考えている．また本論文では文書
に興味の強弱を表すスコアを付与することのみを行ったが今後の課題として文書
の中において興味を持たれる要因の自動抽出を考えている．




\bibliographystyle{jnlpbbl_1.3}
\begin{thebibliography}{}

\bibitem[\protect\BCAY{福原\JBA 村山\JBA 中川\JBA 西田}{福原\Jetal
  }{2006}]{fukuhara2}
福原知宏\JBA 村山敏泰\JBA 中川裕志\JBA 西田豊明 \BBOP 2006\BBCP.
\newblock \JBOQ Weblog から社会の関心を探る\JBCQ\
\newblock \Jem{人工知能学会全国大会論文集(CD-ROM)}, {\Bbf 20}  (3D2-1).

\bibitem[\protect\BCAY{Fukuhara, Murayama, \BBA\ Nishida}{Fukuhara
  et~al.}{2005}]{fukuhara2005acp}
Fukuhara, T., Murayama, T., \BBA\ Nishida, T. \BBOP 2005\BBCP.
\newblock \BBOQ Analyzing concerns of people using Weblog articles and real
  world temporal data\BBCQ\
\newblock {\Bem Proc. of WWW 2005 2nd Annual Workshop on the Weblogging
  Ecosystem: Aggregation, Analysis and Dynamics}.

\bibitem[\protect\BCAY{藤木\JBA 南野\JBA 鈴木\JBA 奥村}{藤木\Jetal
  }{2003}]{fuziki}
藤木稔明\JBA 南野朋之\JBA 鈴木泰裕\JBA 奥村学 \BBOP 2003\BBCP.
\newblock \JBOQ document stream における burst の発見\JBCQ\
\newblock \Jem{情報処理学会研究報告. 自然言語処理研究会}, {\Bbf 160}  (23),
  \mbox{\BPGS\ 85--92}.

\bibitem[\protect\BCAY{中川\JBA 湯本\JBA 森}{中川\Jetal }{2003}]{Nakagawa2003}
中川裕志\JBA 湯本紘彰\JBA 森辰則 \BBOP 2003\BBCP.
\newblock \JBOQ 出現頻度と連接頻度に基づく専門用語抽出\JBCQ\
\newblock \Jem{自然言語処理}, {\Bbf 10}  (1), \mbox{\BPGS\ 27--45}.

\bibitem[\protect\BCAY{Adamic \BBA\ Huberman}{Adamic \BBA\
  Huberman}{2002}]{lada2002}
Adamic, L.~A.\BBACOMMA\ \BBA\ Huberman, B.~A. \BBOP 2002\BBCP.
\newblock \BBOQ Zipf's law and the Internet\BBCQ\
\newblock {\Bem Glottometrics}, {\Bbf 3}, \mbox{\BPGS\ 143--150}.
\newblock RAM-Verlag, http://www.ram-verlag.de/.

\bibitem[\protect\BCAY{Kendall \BBA\ Gibbons}{Kendall \BBA\
  Gibbons}{1990}]{Spearman}
Kendall, M.\BBACOMMA\ \BBA\ Gibbons, J. \BBOP 1990\BBCP.
\newblock {\Bem Rank Correlation Methods}.
\newblock Oxford University Press.

\bibitem[\protect\BCAY{西原\JBA 砂山\JBA 谷内田}{西原\Jetal }{2007}]{nishihara}
西原陽子\JBA 砂山渡\JBA 谷内田正彦 \BBOP 2007\BBCP.
\newblock \JBOQ 多くの人の興味をひく研究発表タイトルの作成支援\JBCQ\
\newblock \Jem{人工知能学会全国大会論文集(CD-ROM)}, {\Bbf 21}  (2F4-5).

\bibitem[\protect\BCAY{Resnick, Iacovou, Suchak, Bergstrom, \BBA\
  Riedl}{Resnick et~al.}{1994}]{Resnick}
Resnick, P., Iacovou, N., Suchak, M., Bergstrom, P., \BBA\ Riedl, J. \BBOP
  1994\BBCP.
\newblock \BBOQ GroupLens: An Open Architecture for Collaborative Filtering of
  Netnews\BBCQ\
\newblock {\Bem Proceedings of ACM 1994 Conference on Computer Supported
  Cooperative Work}, \mbox{\BPGS\ 175--186}.

\bibitem[\protect\BCAY{Shardanand \BBA\ Maes}{Shardanand \BBA\
  Maes}{1995}]{Upendra}
Shardanand, U.\BBACOMMA\ \BBA\ Maes, P. \BBOP 1995\BBCP.
\newblock \BBOQ Social information filtering: algorithms for automating ``word
  of mouth''\BBCQ\
\newblock {\Bem CHI '95: Proceedings of the SIGCHI conference on Human factors
  in computing systems}, \mbox{\BPGS\ 210--217}.

\end{thebibliography}

\appendix
\setcounter{table}{0}
\renewcommand{\tablename}{} 

付表1〜付表3にシステム出力の上位から記事を並べた結果を示す．

\input{05t-app1-3.txt}

\begin{biography}

\bioauthor{沢井　康孝}{
2008 年長岡技術科学大学大学院工学研究科修士課程電気電子情報工
学専攻修了．在学中はテキストマイニングの研究に従事．言語処理学会学生会員．
sawai@nlp.nagaokaut.ac.jp
}

\bioauthor{山本　和英}{
1996年豊橋技術科学大学大学院工学研究科博士後期課程システム情報
工学専攻修了．
博士（工学）．
1996年〜2005年（株）国際電気通信基礎技術研究所(ATR)研究員
（2002年〜2005年客員研究員）．
1998年中国科学院自動化研究所国外訪問学者．
2002年より長岡技術科学大学電気系，現在准教授．
言語表現加工技術（要約，換言，翻訳），
主観表現処理（評判，意見，感情）などに興味がある．
言語処理学会，人工知能学会，情報処理学会，各会員．
yamamoto@fw.ipsj.or.jp
}

\end{biography}


\biodate




\end{document}
