    \documentstyle[graphicx,lingmacros,multirow,url,arydshln,lscape,jnlpbbl]{jnlp_j_b5_2e}




\def\sec#1{}
\def\eq#1{}
\def\fig#1{}
\def\tab#1{}

\newcommand{\NUM}[1]{}
\newcommand{\NUMS}[2]{}
\newcommand{\EX}[2]{}
\newcommand{\EXS}[2]{}


\setcounter{secnumdepth}{4}
    \let\subsubsubsection 


\setcounter{page}{201}
\setcounter{巻数}{13}
\setcounter{号数}{3}
\setcounter{年}{2006}
\setcounter{月}{7}
\受付{2005}{10}{7}
\再受付{2006}{1}{2}
\採録{2006}{1}{23}


\title{テキストを対象とした評価情報の分析に関する研究動向}
\authorC{乾 孝司\affiref{JSPS} \and 奥村 学\affiref{PRECISION}}
\headauthor{乾，奥村}
\headtitle{テキストを対象とした評価情報の分析に関する研究動向}
\affilabel{JSPS}{日本学術振興会特別研究員}
	{Research Fellow of the Japan Society for the Promotion of Science}
\affilabel{PRECISION}{東京工業大学 精密工学研究所}
	{Precision and Intelligence Laboratory, Tokyo Institute of Technology}
\jabstract{
インターネットが普及し，一般の個人が手軽に情報発信できる環境が整ってきて
いる．この個人の発信する情報には，ある対象に関するその人の評価等，個人の
意見が多く記述される．これらの評価情報を抽出し，整理し, 提示することは，
対象の提供者である企業や，対象を利用する立場の一般の人々双方にとって利点
となる．このため，自然言語処理の分野では，近年急速に評価情報を扱う研究が
活発化している．本論文では，このような現状の中，テキストから評価情報を発
見，抽出および整理，集約する技術について，その基盤となる研究から最近の研
究までを概説する．
}
\jkeywords{評価，評判，意見，感情}

\etitle{A Survey of Sentiment Analysis}
\eauthor{Takashi Inui\affiref{JSPS} \and Manabu Okumura\affiref{PRECISION}}
\eabstract{
In these days, people can easily disseminate the information including
their personal evaluative opinions for some products and services on the
Internet.  The massive amount of their information is beneficial for
both product companies and users who are planning to purchase and use
them.  Because their information is mainly presented as textual form,
in the research field of natural language processing, many
researchers have devoted themselves to developing techniques for
exploring, extracting, mining, and aggregating the opinions and
sentiments.  This sort of techniques are commonly called
\textit{sentiment analysis}.  In this paper, we survey and present the
research efforts of sentiment analysis from its fundamentals to the
state-of-the-art methods.
}
\ekeywords{sentiment, affect, reputation, opinion, emotion}

\begin{document}
\maketitle
\thispagestyle{empty}


\section{はじめに}
\label{sec:hajimeni}

\subsection{背景}

インターネットの普及により，インターネット上に膨大でかつ多種多様なテキス
ト情報が蓄積されるようになって久しい．インターネット上の膨大なテキスト情
報を扱うための技術として，テキスト検索，自動要約，質問応答等さまざまな知
的情報アクセス技術に関する研究が活発化しているが，同様にインターネット上
の多様なテキスト情報のうち，これまであまり研究対象とされてこなかったもの
を扱うための技術も研究が活発化してきている．

これまで研究対象とされてきたテキスト情報は，新聞記事，学術論文に代表さ
れるように，事実を記述するものがほとんどであった．それに対し，チャット，
Web 掲示板，Weblog等の普及，利用者の増大に示されるように，インターネッ
ト上では，一般の個人が手軽に情報発信できる環境が整うとともに，個人の発
信する情報に，ある対象に関するその人の評価等，個人の意見が多数記述され
るようになってきている．

この個人の評価に関する情報（\textbf{評価情報}）をテキスト中から抽出し，
整理し，提示することは，対象の提供者である企業やサイト運営者，また，対象
を利用する立場の一般の人々双方にとって利点となる．このため，自然言語処理
の分野では，近年急速に評価情報を扱う研究が活発化している．2004年春には
AAAI のシンポジウムとして評価情報を扱う最初の会議が開催された
\cite{aaai2004a}．国内でも，2004年度の言語処理学会年次大会では，評価情報
の抽出に関連する研究報告が数多く見られた．

そこで本解説論文では，テキストから評価情報を発見，抽出および整理，集約
する技術について，その基盤となる研究から最近の研究までを概説することを
目的とする．上述したように，この研究領域ではここ数年で爆発的に研究が増
大しているが，それらの研究を体系的に整理，概説する解説論文はいまだなく，
研究の現状，あるいは今後の方向性を見極めるのに研究者が苦労しているのが
現状である．本解説論文がその一助となれば幸いである．

\subsection{テキスト評価分析とは？ --本論文で扱う問題領域--}

個人の記述する「意見」と言われるものにはさまざまなものが存在する．意見を
下位分類するなら，少なくとも以下のようなものがその範疇に含まれることにな
る.
\begin{itemize}
\item 評価を記述するもの，

\item 要望，要求，提案の表明，

\item 不安，懸念，不満，満足等の感情を表すもの，

\item 認識，印象を述べるもの，

\item 賛否の表明．
\end{itemize}

本解説論文では，このうち「評価を記述するもの」を対象とする研究を主に扱
う．この分野でのこれまでの研究の多くは，以下の問題を解いているという風
に要約できる:
\begin{quote}
\tab{example1}のような，ある対象の評価を記述しているテキスト断片に対し
て，その評価が，肯定的な評価(たとえば「良い」)であるか，あるいは，否定
的な評価（例えば「悪い」）であるかを推定する．
\end{quote}
本稿では，このような評価に関する分析を{\bf テキスト評価分析}と呼び，
{\bf テキスト評価分析}を取り巻く諸研究の現状を紹介する．

この問題は，もう少し具体的には，肯定的な評価／否定的な評価の２値分類と
して定式化されることが多い．また，問題は，テキスト断片の粒度によって，
次の３つに大別できる．
\begin{itemize}
 \item 語句レベル
 \item 文レベル
 \item 文書レベル
\end{itemize}
例えば，\tab{example1}は文レベルでの２値分類である．

言うまでもなく，このテキスト断片の粒度ごとに問題の性質は大きく異なる．
それぞれの詳細については，\sec{aa} で述べる．

\begin{table}[t]
 \begin{center}
 \caption{評価を伴うテキスト例} \label{tab:example1}
\cite{morinaga2002a} 中のTable 1 から一部を抜粋して再録．
     \input{tab-example1.tex}
 \end{center}
\end{table}

\subsection{用語の整理}

背景思想の違いの影響などもあり，テキスト評価分析で利用される用語は各研究
者間で統一されているとは言い難い．そのため，しばしば同一概念が論文間にお
いて異なった用語で参照されている．

本稿では，個人の評価に関する情報を\textbf{評価情報}，評価情報の良い／悪
いに関する軸を\textbf{評価極性}と呼ぶ．ある評価情報が良い評価をもつこと
を\textbf{肯定極性}をもつと呼び，逆に悪い評価をもつことを\textbf{否定極
性}をもつと呼ぶ．また，肯定極性か否定極性をもつ評価情報がテキスト内で記
述された表現を\textbf{評価表現}と呼ぶ．

\tab{yougo}に，本稿での用語に対応する，紹介論文において使用される代表的
な用語を示す．\tab{yougo}の\textbf{評価極性値}とは，肯定極性と否定極性の
間を連続的に捉え，各評価極性の強さを数値化したものである．評価極性値は，
[-1,1]の範囲の実数値として与え，正側が肯定極性，負側が否定極性に割り当て
られることが多い．

\begin{table}[b]
 \begin{center}
 \caption{用語の対応} 
 \label{tab:yougo}
 \begin{tabular}{c|l}
 \hline \hline
本稿での用語 & 紹介論文において使用される代表的な表現
  \\ \hline
{\bf 評価情報} & sentiments, ~~affect parts of opinions, ~~reputation, ~~評
  判 \\
{\bf 評価極性} & semantic orientations，~~polarity, ~~sentiment
  polarity  \\
{\bf 肯定極性（肯定）} & positive, ~~thumbs up, ~~favorable, ~~desirable, ~~好評 \\
{\bf 否定極性（否定）} & negative, ~~thumbs down, ~~unfavorable, ~~undesirable, ~~不評
  \\
{\bf 評価極性値}   & semantic orientation score，~~SO-score \\
{\bf 評価表現}   & sentiment expression, ~~word with sentiment polarity 
\\ \hline
 \end{tabular}
 \end{center}
\end{table}


\subsection{本論文の構成}

本論文の構成は以下の通りである．まず，\sec{daizai}では，テキスト評価分析
の題材となるテキストデータについて述べる．\sec{aa}では，テキスト評価分析
を支える各要素技術に関する諸研究を紹介する．続く\sec{appl}では，テキスト
評価分析の応用研究を紹介し，\sec{kanren}で，テキスト評価分析に関連するそ
の他の話題を紹介する．最後に，\sec{kadai}で，テキスト評価分析で今後取り扱
うべき課題を述べ， \sec{owarini}で本論文をまとめる．

\section{テキスト評価分析の題材となるテキストデータ}
\label{sec:daizai}

\sec{hajimeni}で述べたように，この研究領域が活発化することになった1つの
要因は，インターネット上に，対象となるテキスト集合が豊富に蓄積されるよう
になったことが挙げられる．しかし，評価分析の題材となるテキストは，Web上
にしか存在しないわけでもないし，Web上に蓄積される以前には存在しなかった
わけでもない．アンケート調査等における自由回答アンケートのテキストや，企
業等のカスタマーサポートセンターに蓄積されている「お客様の声」等は，まさ
に評価分析の題材として以前から分析の対象となっていた．

評価分析の題材となるテキストは，大きく次の2つに分類することができる．

\begin{itemize}
 \item 意見の収集，集約が目的となっているテキスト

\begin{itemize}
 \item 社会調査等による自由回答アンケート

 \item カスタマーサポートセンターにおける「お客様の声」

 \item レビュー（以下は，テキスト評価分析で利用される代表的なレビューサ
       イト）
 \begin{itemize}
  \item Rotten~Tomatoes（\url{http://www.rottentomatoes.com/}）
  \item Epinions.com （\url{http://www.epinions.com/}）
  \item Amazon.com （\url{http://www.amazon.com/}）
  \item Amazon.co.jp （\url{http://www.amazon.co.jp/}）
 \end{itemize}
\end{itemize}

 \item 潜在的に意見を含むテキスト

\begin{itemize}
 \item チャット
 \item Web掲示板
 \item Weblog
\end{itemize}
\end{itemize}

前者は，まさにユーザ(個人)に意見を述べてもらうことを目的にして収集された
テキストである．そのため，テキスト中に意見が含まれる割合は比較的大きく，
また，テキストの性質としても，ユーザが書いたものを校正したりしている場合
等もあり，比較的良質であることが多い．さらに，意見の対象となっている内容
が特化されており，話題が限定的であることも多い．

一方，潜在的に意見を含むテキストでは，テキスト中の意見部分の割合は前者に
比べると小さくなり，また，Web上のテキストであるチャットや掲示板内の記述
は，言語処理の精度が著しく劣化する可能性があるほど，テキストとしては質が
悪いことが多い．Weblogのテキストは，それらに比べれば，比較的テキストの性
質は良いと言える．また，テキストの内容は，掲示板の一部で話題をスレッドご
とに限定している場合を除けば，テキスト中で雑多なことを記述している可能性
が高いと言える．

本稿では，このような性質をもつ一連のテキストデータを合わせて\textbf{評価
文書}と呼び，評価文書から評価情報を抽出し，整理し，あるいは提示する技術
について紹介していく．

\section{テキスト評価分析の要素技術に関する諸研究}
\label{sec:aa}

テキスト評価分析を支える要素技術に関する研究は，注目するテキスト断片の粒
度によって次のように分けられる．

\begin{itemize}
 \item 評価表現辞書の構築に関する諸研究（\sec{se}）
 \item 評価情報を観点とした文書分類に関する諸研究（\sec{dc}）
 \item 評価情報を含む文の抽出に関する諸研究（\sec{sc}）
 \item 評価情報の要素組の抽出に関する諸研究（\sec{ie}）
\end{itemize}

各要素技術の関係を\fig{zentai}に示す．
また，各要素技術で用いられる手法の概観を\tab{gaikan}にまとめる．

\begin{figure}[b]
  \begin{center} 
        \includegraphics[width=7cm]{fig-zentai.eps}
    \caption{テキスト評価分析の要素技術間の関係}
    \label{fig:zentai}
  \end{center}
\end{figure}

\sec{se}で述べる評価表現辞書とは，評価表現とその表現がもつ評価極性の組
（例：「良い−肯定」）の集合である．この辞書はその他の要素技術において基
礎的な知識として利用される．\sec{dc}から\sec{ie}までの残りの話題では，そ
れぞれ文書，文，要素組という単位で評価情報とその評価極性を求める課題を主
に扱う．\sec{ie}で述べる評価情報の要素組の抽出に関する研究では，文書や文
より細かい語句単位の粒度で評価情報を扱う．

いずれの研究も互いに関連をもっているが，特に，\sec{se}と\sec{ie}で扱う話
題はいずれも語句レベルの話題であるという点で似ている．しかし，\sec{se} 
での話題は文脈情報とは独立な単語単体の評価極性に焦点が当たっているが，
\sec{ie}では実際の文脈情報を含めた評価極性に焦点が当たっている点に注意し
て読み進めてほしい．

\subsection{評価表現辞書の構築に関する諸研究}
\label{sec:se}

評価表現辞書とは，評価表現とその表現がもつ評価極性の組（例：「良い−肯
定」）の集合である．評価表現辞書の構築に関する研究は，構築に主に利用する
情報によって，大きく3つに分けられる．以下，順に紹介する．

\begin{itemize}
 \item 語彙ネットワークを利用した手法（\sec{lex_net}）
 \item 共起情報を利用した手法（\sec{cooc}）
 \item 周辺文脈の情報を利用した手法（\sec{bootstrap}）
\end{itemize}

\subsubsection{語彙ネットワークを利用した手法}
\label{sec:lex_net}

語彙ネットワークを利用した評価表現辞書構築の手法は，既存の語彙知識の情報
を利用して，評価表現の評価極性を求める．もう少し具体的には，まず，シソー
ラスや国語辞書の情報を基にして，語彙をノードとする語彙ネットワークを用意
する．そして，評価極性情報をネットワーク上で伝播させることによって，語彙
ネットワーク中のすべてのノード（語彙）の評価極性を求める．\phantom{\cite{kamps2004a}}

ここではまず，\cite{kamps2004a}と\cite{hu2004a}の研究を紹介する．これら
の研究は，いずれも，「類義関係にある語彙の評価極性は一致しやすい」という
仮定に基づいてアルゴリズムが構成されている．

\vspace{1em}
\underline{\textbf{\cite{kamps2004a}}}
\vspace{1em}

Kamps et al. \cite{kamps2004a}は，WordNet \cite{fellbaum1998a}の情報を利
用して形容詞の評価極性を判定する手法を提案している．WordNet中の形容詞は，
類義関係（synonymy）のリンクで結ばれ，ネットワーク構造を成している．
Kamps らは，このネットワーク内の隣接情報を利用する．

Kampsらの基本的なアイデアは，まず，肯定極性を代表する語と否定極性を代表
する語と選定する．彼らの評価実験では，「good」と「bad」をそれぞれ選んで
いる．そして，評価極性を判定したい形容詞$t$がネットワーク内において
「good」と「bad」のどちらに近いかを考え，「good」に近ければ$t$を肯定極性
とみなし，逆に「bad」に近ければ$t$を否定極性とみなす．

具体的には，形容詞$t$の評価極性値$SO$-$score(t)$は，次の式で求められる；
\begin{equation}
SO\textrm{-}score(t) = \frac{{\sf d}(t,{\rm bad}) - {\sf d}(t,{\rm good})}{{\sf
 d}({\rm good},{\rm bad})} ．
\end{equation}

\begin{landscape}
\begin{table}[p]
 \begin{center}
 \caption{テキスト評価分析を支える要素技術の概観} \label{tab:gaikan}
     \input{tab-gaikan.tex}
 \end{center}
\end{table}
\end{landscape}

ここで，${\sf d}(t_{i},t_{j})$は，２つの形容詞（$t_{i}$と$t_{j}$）間の最
短経路長を示す．この式のもとで，$SO$-$score(t)$の値が正であれば肯定極性
であると判定し，負であれば否定極性であると判定する．

\vspace{1em}
\underline{\textbf{\cite{hu2004a}}}
\vspace{1em}

Hu et al. \cite{hu2004a}もWordNetを使用して形容詞の評価極性を判定する手
法を提案している．Hu らは，Kampsらが注目していた類義関係の情報に加え，反
義関係（antonymy）の情報も利用している．

Huらの手法では，まず，少数の，評価極性が既知である語集合（Huらの評価実験
では30語）を種表現として用意する．そして次に，種表現から出発し，順番に
WordNet内の類義関係と反義関係を辿る．この時，類義関係を辿った場合は類義
関係の辿り元にある形容詞と同じ評価極性を割り当て，反義関係を辿った場合は
反義関係の辿り元にある形容詞と逆の評価極性を割り当てる．この操作を辿り先
がなくなるまで繰り返すことで，WordNet内の形容詞の評価極性を求めた．

\vspace{1em}

以上の２つの研究は，共に形容詞に注目している．WordNet 内に含まれる形容詞
以外の評価表現の分布については，\cite{strapparava2004a}が参考になる．

次に，WordNetではなく，コーパスから語彙ネットワークを作成している
\cite{hatzivassiloglou1997a}の手法を紹介する．

\vspace{1em}
\underline{\textbf{\cite{hatzivassiloglou1997a}}}
\vspace{1em}

Hatzivassiloglou et al. \cite{hatzivassiloglou1997a}は，コーパス中の接続
詞の情報を手がかりにして語彙ネットワークを構築し，そこから形容詞の評価極
性を判定する手法を提案した．これは「順接関係の接続詞で結ばれる形容詞は同
じ評価極性をもつ．逆に，逆接関係の接続詞で結ばれる形容詞は異なる評価極性
をもつ」という考え方に基づいた手法である．

まず，コーパスから「形容詞 - 接続詞 - 形容詞」という品詞の並びをもつ語系
列を抽出する．そして，形容詞をノードとし，語系列内の２つの形容詞の間にリ
ンクを張ることで語彙ネットワークを作成する．この時，リンクには，接続詞の
タイプ情報などを利用して，リンクが結んでいる２つの形容詞の評価極性が一致
するか否かに関する情報が同時に付与される．例えば，接続詞が「and」であれ
ば評価極性が一致，「but」であれば評価極性が不一致という情報をリンクに付
与する．次に，クラスタリング・アルゴリズムを用いてノードをまとめ上げるこ
とによって，語彙ネットワークを２つのグループに分割する．この時，片方のグ
ループには肯定極性となる形容詞，もう片方のグループには否定極性となる形容
詞が入るようにクラスタを構成する．そして，最終的に各グループの評価極性を
定めることで，語彙ネットワーク内の全ての形容詞の評価極性を求める．

\vspace{1em}

ここまでに紹介した３つの辞書獲得手法は，いずれも語彙ネットワーク内の局所
的な情報から新たな評価極性を決定しており，語彙ネットワーク全体の情報を十
分に活用できていない．Takamura et al. \cite{takamura2005a} は，この問題
点に対し，spin glass \cite{chandler1987a,mackay2003a,inoue2001a} の枠組
みを利用することによって，語彙ネットワーク全体の大域的な情報を活用するモ
デルを提案している．また，Takamuraらは，先行研究での知見から，語彙ネット
ワークの作成でも工夫を凝らしており，国語辞書の情報をベースにして，シソー
ラス，コーパスの情報を加えた語彙ネットワークを作成している．国語辞書の情
報を評価極性辞書構築に利用するという着想自体は\cite{kobayashi2001a}が初
めに提案したものである．

\subsubsection{共起情報を利用した手法}
\label{sec:cooc}

共起情報を利用した評価表現辞書構築の手法では，肯定極性をもつ典型的な表現
（「good」や「excellent」）と否定極性をもつ典型的な表現（「bad」や
「poor」）を種表現として始めに用意しておき，種表現と共起する比率に従って
語句の評価極性を判定する．この手法は「肯定極性をもつ語句の周辺文脈には肯
定極性をもつ語句が現れやすく，否定極性をもつ語句の周辺文脈には否定極性を
もつ語句が現れやすい」という考え方に基づく．

先のHatzivassiloglouらの手法でも「形容詞 - 接続詞 - 形容詞」という共起情
報が利用されていたが，そこでは，共起情報は語彙ネットワークを通して，間接
的に形容詞の評価極性の判定に利用された．ここでは，より直接的に共起情報を
単語の評価極性に反映させる\cite{turney2002a}の手法を紹介する．

\vspace{1em}
\underline{\textbf{\cite{turney2002a}}}
\vspace{1em}

Turney \cite{turney2002a}は，コーパスから得られる共起情報を利用して語句
の評価極性値を判定した．この手法は，国語辞書の見出し語や，WordNetのエン
トリ情報を利用しないため，見出し語単位やエントリ単位だけでなく，複数語か
らなる句に対しても評価極性値を判定できる．

ある評価表現$\textit{t}$の評価極性値$SO$-$score(t)$ は\eq{turney1}で算出
される；
\begin{equation}
\label{eq:turney1}
SO\textrm{-}score(\textit{t}) = PMI( \textit{t}, \textrm{``excellent''})
- PMI(\textit{t}, \textrm{``poor''}) ．
\end{equation}
ここで，PMI(pointwise mutual information)\cite{church1989a}は，２つの語
句間の共起を測る尺度であり，任意の語句\textit{a}，\textit{b}の間のPMI は，
\begin{equation}
\label{eq:turney2}
PMI(a, b) = \log _{2}\frac{p(a,b)}{p(a)p(b)}
\end{equation}
で計算される．つまり，評価極性値を判定したい語句\textit{t}が肯定極性を示
す代表的な語「excellent」と共起しやすければ，$SO$-$score({\textit t})$は
正に大きい値をとり，否定極性を示す代表的な語「poor」と共起しやすければ，
逆に負に傾く．

Turneyの手法は，国語辞書やシソーラスなどの言語資源を一切必要としないため
手軽さがあるが，信頼性の高い共起情報を得るには巨大なコーパスを必要とする
ことに注意しなければならない．元論文では，World Wide Web空間の文書全体を
コーパスと見立て，検索エンジンを用いて語句\textit{a}，\textit{b}間の共起
情報$PMI(a, b)$を得ている．
同一著者による \cite{turney2002b,turney2003a}では，\cite{turney2002a}の
考えを推し進め，種表現を複数用いた手法や，PMIの代わりに潜在的意味解析
（semantic latent analysis; LSA）\cite{deerwester1990a,landauer1997a}を
用いた手法も検討している．

\subsubsection{周辺文脈の情報を利用した手法}
\label{sec:bootstrap}

周辺文脈の情報を利用した評価表現辞書構築の手法では，まず，評価極性が既知
である少数の種表現を幾つか用意する．そして，辞書構築アルゴリズムでは，繰
り返し過程の中で，種表現から評価表現を順次増やしていくブートストラップ的
な戦略をとる．

一般に，ブートストラップ法では，注目している対象（ここでは評価表現）とそ
の周辺文脈情報を交互に学習させる．現在までに，注目する周辺文脈情報の違い
によって，幾つかの辞書構築手法が提案されている
\cite{kobayashi2001a,inui2004a,nakayama2004a,kobayashi2005a}．多くの場合，
周辺文脈には特定の言語パタンが想定される．ここでは，「文脈一貫性」という
非常に汎用性の高い概念に基づいて周辺文脈を特定した\cite{nasukawa2004a} 
の手法を紹介する．

\vspace{1em}
\underline{\textbf{\cite{nasukawa2004a}}}
\vspace{1em}

那須川ら\cite{nasukawa2004a}は，評価表現の周辺文脈に関する以下の仮定に基
づき，ブートストラップ的に評価表現を収集した．
\begin{quote}
「文書中に評価表現が存在すると，その周囲に評価表現の連続する文脈が形成され
ることが多く，その中では，明示されない限り，肯定／否定の極性が一致する傾
向にある． 」
\end{quote}
つまり，ある評価表現$t$の周辺文脈に注目した場合，「しかし」や「〜だが」
などの逆接関係を導く表現が存在しなければ，文脈中にある評価表現の評価極性
は$t$の評価極性と等しくなり，逆に，逆接関係を導く表現が存在すれば，それ
以降の極性は$t$の極性から反転すると考える．

まず，評価極性が既知である少数の評価表現を種表現として用意し，上記の仮定
に従って，文書内からブートストラップ的に評価表現候補を収集する．複合的な
評価表現に対応するため，用言と同時に，用言に最も近い格助詞句を加えた複合
表現を評価表現候補として選んでいる．考慮する周辺文脈は，評価表現$t$と同
一文内の節，前文の主節，後文の主節としている．

種表現が「満足する−肯定」である場合に抽出される評価表現候補の例を
\NUM{nasukawa_ex}に示す．

\EXS{nasukawa_ex}{
 \item デジタルカメラなど不要だと思っていました。ところが、画像がきれい
 で、とても\underline{満足し}ました。何も文句を言えません。

 \item 評価表現候補；「奇麗だ−肯定」「奇麗だ＜画像：が＞−肯定」「不要だ−否定」「不要だ＜デジタルカメ
 ラ：が＞−否定」「言える−否定」「言える＜文句：を＞−否定」
}
この例では，「ところが」が逆接を導く表現である．「言える」「言える＜文句：
を＞」が肯定極性ではなく否定極性となっているのは極性反転子（文末の「〜ま
せん」）の効果による（極性反転子の詳細については，\sec{dc_ratio}の
Kennedy et al. \cite{kennedy2005a}の箇所で述べる）．

上記の評価表現候補の作成法では，実際には評価極性をもたない評価表現候補も
多く登録してしまうことになる．そこで，そのような評価表現候補を最終的な評
価表現として登録することを避けるために，ある一定の基準を満たす評価表現の
み評価表現辞書に登録する．基準には，評価表現の出現頻度情報や，各評価表現
に対してアルゴリズムから求められた評価極性の割合の情報などが利用される．

\subsubsection{まとめ}

評価表現辞書の構築に関する研究を，語彙ネットワークを利用した手法
（\sec{lex_net}），共起情報を利用した手法（\sec{cooc}），周辺文脈の情報
を利用した手法（\sec{bootstrap}）の３つに分類し，各手法の代表的な論文を
紹介した．

現在の状況では，各手法はそれぞれに欠点がある．語彙ネットワークを利用した
手法は，語彙ネットワークを作成する際に国語辞書やシソーラスなどの既知の言
語資源を利用することが多いが，この場合，新語など，既知の言語資源にエント
リのない語句への対応は困難である．共起情報を利用した手法は，信頼性の高い
共起情報を得るために必要な巨大なコーパスをどのように用意すればよいかとい
う課題が残る．また，現状の周辺文脈の情報を利用したブートストラップに基づ
く手法では被覆率が低いという問題がある．

評価表現辞書構築の精度評価には，The General Inquirer \cite{stone1966a} 
（URL:~~\url{http://www.wjh.harvard.edu/~inquirer/}）がしばしば利用され
る．これは，元はテキスト内容分析\cite{stone1966a} のために作成された言語
知識データであり，単語毎に幾種類かのラベルが付与されている．その中の
``Positiv''ラベルと``Negativ''ラベルの情報が主に辞書構築の精度評価に利用
される．The General Inquirer を用いた評価表現辞書構築の手法の比較につい
ては，\cite{takamura2005a}や\cite{takamura2005c}に記述がある．

評価表現辞書は，実際の文書中の文脈とは独立した静的な知識である．しかし，
後述する\sec{ie}の内容とも関連するが，ある表現の評価極性は文脈に依存して
変化することがある．評価表現辞書のエントリとして許容される範囲は，個々の
応用ごとに個別に決定しなければならない．

\subsection{評価情報を観点とした文書分類に関する諸研究}
\label{sec:dc}

本節では，評価情報を観点とした文書分類に関する研究を紹介する．評価情報を
観点とした文書分類とは，ある評価文書が肯定極性か否定極性のいずれの極性を
もつかを判定する課題である．この分類課題では，前節で述べた評価表現が主要
な情報として利用される．以下本稿では，既存のトピックに基づく文書分類との
混乱を避けるために，評価情報を観点とした文書分類を特に\textbf{評価文書分
類}と呼ぶ．

評価文書分類を実現することは，次のような状況において有益な情報を提供する．
例えば，デジタルカメラ-Aに関する評価文書に関して，肯定極性をもつ評価文書
のみをまとめることで，そのデジタルカメラの優れている点を把握することがで
きる．この情報をもとにして，デジタルカメラ-Aの潜在的な購入者は，実際に購
入を決断するかも知れない．また，否定極性をもつ評価文書のみをまとめること
で，現時点でのデジタルカメラ-Aの欠点が把握できる．デジタルカメラ-Aの開発
者は，この情報をもとにして改良を施すことができる可能性がある．

評価文書分類の手法は，\cite{turney2002a}を起源とする評価表現の比率に基づ
く手法（\sec{dc_ratio}）と，\cite{pang2002a}を起源とする機械学習に基づく
手法（\sec{dc_ml}）に大きく分かれる．以下，順に紹介する．

\subsubsection{評価表現の比率に基づく手法}
\label{sec:dc_ratio}

評価表現の比率に基づく評価文書分類の手法では，評価文書中に現れる評価表現
に注目し，肯定極性をもつ評価表現と否定極性をもつ評価表現の出現比率に従っ
て，評価文書全体の評価極性を求める．つまり，肯定極性をもつ評価表現が否定
極性をもつ評価表現に比べて多く出現している評価文書を肯定極性をもつ評価文
書であると判定する．逆に，否定極性をもつ評価表現が肯定極性をもつ評価表現
に比べて多く出現している評価文書を否定極性をもつ評価文書であると判定する．

以下ではまず，\cite{turney2002a}の研究を紹介する．

\vspace{1em}
\underline{\textbf{\cite{turney2002a}}}
\vspace{1em}

Turney の分類手続きは３つのステップから構成される．

\vspace{1em}
\begin{quote}
\begin{description}
 \item[ステップ１] 評価文書に含まれる評価表現を評価極性値付きで抽出する．
これには，\sec{cooc}で述べた手法が利用される．
 \item[ステップ２] 抽出された評価表現の極性値の平均値（平均極性値）を求める．
 \item[ステップ３] 平均極性値の符号に応じて，評価文書全体の評価極性
を決定する．平均極性値が正であれば肯定極性とし，そうでなければ
否定極性とする．
\end{description}
\end{quote}
\vspace{1em}

Turneyは評価極性値を求める語句に制限を設けており，「low fees」のような，
形容詞（あるいは副詞でも可）を含む句に対してのみ評価極性値を求めている．
これは，「形容詞は文書内に含まれる意見や評価を特定する際のよい指標となる」
\cite{hatzivassiloglou2000a,wiebe2000a,wiebe2001a} という先行研究の指摘
に基づく．また，句を選択しているのは，指標の文脈や領域依存性へ対応するた
めである．例えば，「unpredictable」という形容詞を考えた場合，自動車の評
価文書内では「unpredictable steering」のように否定極性となるが，映画の評
価文書内では「unpredictable plot」のように，逆に肯定極性となる．このよう
な状況では，形容詞「unpredictable」単体は，肯定的な評価文書と否定的な評
価文書のどちらにも出現し，評価文書の評価極性を判定する際のよい指標とはな
らない．その一方で，「unpredictable steering」や「unpredictable plot」と
いった「unpredictable」の前後文脈を追加した語句は，評価極性が現れる文脈
を適切に捉えており，よい指標になる．特に，複数の評価対象（自動車，映画な
ど）が含まれる評価文書集合を扱う状況では，単語単体ではなく句を利用するこ
とが望ましいと考えられる．

Turney の手法は，\sec{cooc}で述べた評価極性値の計算式が対数オッズに対応
することに注意すると，ナイーブベイズ分類器に基づく文書分類と接点をもつこ
とがわかる．Beineke et al. \cite{beineke2004a} らは，ナイーブベイズ分類
器の観点からTurney の手法を捉え直し，Turney の手法の拡張を行っている．

\vspace{1em}

次に，評価文書分類に有効な素性情報について検討した研究を紹介する．ここで
は，先述の Turney の手法に基づいたアプローチを採用したものを取り上げる．
機械学習に基づく評価文書分類における素性情報に関する検討については
\sec{dc_ml}で紹介する．

\vspace{1em}
\underline{\textbf{\cite{taboada2004a}}}
\vspace{1em}

Taboada et al. \cite{taboada2004a} は，\cite{turney2002a}の手法の拡張版
を用いて\footnote{ \cite{taboada2004a} の基本的な分類手続きは
\cite{turney2002a} と同じであるが，分類手続きの３ステップ目が拡張されて
いる．}，評価表現の出現する位置情報が評価文書分類に与える影響について調
査している．この研究の背景には「評価文書中において，書き手の主要な意見は
評価文書全体に均等に現れるのではなく，特定の部分に集中して現れる」という
仮定がある．

Taboada らは，評価表現が出現する位置に応じて，各評価表現がもつ評価極性値
を修正することで，位置情報の有効性を検討した．具体的には，まず，文書内の
位置ごとに人手で重みを設定する．そして，評価表現が出現する位置に応じて，
人手で定めた重みを評価極性値に乗じることによって評価極性値を修正する．出
現位置に対する重みの設定を変更させながら，重みの設定と分類精度との関係を
調査したところ，評価文書の後半2/3の位置に現れる評価表現への重みを最も高
くした場合に最も良い分類精度が得られたと報告している．

江崎ら \cite{esaki2005a}も日本語のWeblog記事を対象にして，形容詞の出現位
置を考慮した同様の実験を実施している．実験結果によると，Weblog記事の前方
側に現れる評価表現への重みを最も高くした場合に最も良い分類精度が得られた
と報告している\footnote{ \cite{taboada2004a}と\cite{esaki2005a}の実験結
果には大きな相違がある．これには，対象としている評価文書やその評価文書の
使用言語など，幾つかの要因が絡んでいるだろう．}．

\vspace{1em}
次に，極性変化子が評価文書分類に与える影響について調査したKennedy et
al. \cite{kennedy2005a}の研究を紹介する．単語の中には，それ単体は評価極
性を持たないが，評価極性をもつ単語を修飾することでその評価極性を変化させ
るものがある．このような評価極性を変化させる単語のことを\textbf{極性変化
子}（contextual valence shifter）と呼ぶ\cite{polanyi2004a}．極性変化子に
は，評価極性を肯定から否定，あるいは否定から肯定に反転させたり，極性の強
さを変化させるものがある．前者を反転子（negations），後者を強調子
（intensifiers）と呼ぶ．代表的な反転子の例としては「not」や「never」など
がある．
また，強調子の例としては「very」や「deeply」などがある．

\vspace{1em}
\underline{\textbf{\cite{kennedy2005a}}}
\vspace{1em}

Kennedy et al. \cite{kennedy2005a} は極性変化子に注目し，極性変化子が評
価文書分類に与える影響を検証した．トピックに基づく文書分類と比べて，評価
文書分類では極性変化子，特に，極性反転子の処理に注意を払う必要がある．例
えば，形容詞「good」は，肯定極性を示す代表的な単語であるが，これに「not」
が付いた「not good」は，逆の評価極性，すなわち否定極性を示す．評価文書分
類を精度よくおこなうには，この特性をうまく素性情報として取り込むことが重
要になる．

Kennedyらは，評価文書分類の手法として\cite{turney2002a}の手法を用い，次
のようにして極性変化子の情報を取り込んだ．
\begin{itemize}
 \item 評価表現と同一の節内に極性反転子がある場合，評価表現の評価極性を
       反転させる．ある評価表現の評価極性が肯定極性であれば否定極性に，
       否定極性であれば肯定極性にする．

 \item 評価表現と同一の節内に極性強調子がある場合，強調子に応じて評価表
       現の評価極性値を増減させる．強調の変化子であれば評価極性値を増や
       し，抑制の変化子であれば評価極性値を減らす．
\end{itemize}

評価実験を通して，極性変化子を考慮した方が，極性変化子を考慮しない場合よ
りも分類精度が向上することを確認した．

\subsubsection{教師あり機械学習に基づく手法}
\label{sec:dc_ml}

ここでは，教師あり機械学習に基づく評価文書分類を扱った研究を紹介する．こ
れまで，トピックに基づく文書分類では，さまざまな機械学習手法が適用されて
おり，高い分類精度を達成している\cite{sebastiani2002a}．このような背景を
考えれば，評価文書分類に機械学習手法を適用することは自然な流れであると言
える．

まず，評価文書分類に初めて機械学習を適用した Pang et
al. \cite{pang2002a}の研究を紹介する．

\vspace{1em}
\underline{\textbf{\cite{pang2002a}}}
\vspace{1em}

Pang et al. \cite{pang2002a} は，トピックに基づく文書分類で有効であった
教師あり機械学習に基づく分類手法が，評価文書分類にも有効であるかどうかを
実験的に検証した．用いた分類器は，トピックに基づく文書分類でもしばしば適
用される，ナイーブベイズ分類器\cite{mitchell1997a}，最大エントロピー法に
基づく分類器\cite{berger1996a}，サポートベクトルマシン分類器
\cite{vapnik1995a}である．学習に利用する素性情報には，単語uni-gram，単語
bi-gramなど，トピックに基づく文書分類で一般的に利用される情報のみを利用
している．

評価実験から次のような知見を得た．

\begin{itemize}
 \item 評価表現は形容詞となることが多いが，単語uni-gram として，評価文書
       中のすべての単語を利用した場合の結果は，形容詞のみを利用した場合
       の結果よりも高い精度を得た．このことは，形容詞以外の単語が，評価
       文書の評価極性を判定する際のよい指標となっていることを示している．
       これについては，\cite{salvetti2004a}でも同様の報告がされている．

 \item 単語uni-gram 素性を利用して評価文書分類を行った場合の精度は，同一
       の学習手法と同一の素性情報を用いたトピックに基づく文書分類の精度
       よりも低かった．このことは，評価文書分類は，トピックに基づく文書
       分類よりも難しく，単純な単語uni-gramよりも複雑な情報が必要であ
       ることを示している．
\end{itemize}

Pangらが評価実験の際に作成したデータセットは，共通の評価実験用データとし
て多くの研究者に利用されている．このデータセットは以下のURLから入手でき
る．

\vspace{1em}
\begin{quote}
Pang's movie review data； \\
\url{http://www.cs.cornell.edu/people/pabo/movie-review-data/} 
\end{quote}

\vspace{1em}

\cite{pang2002a}の結果を受けて，評価文書分類に有効な素性情報についての検
証がこれまでにされている．Mullen et al. \cite{mullen2004a}は，サポートベ
クトルマシン分類器を用いた評価文書分類において，\cite{turney2002a}や
\cite{kamps2004a} の手法によって得られた評価表現の評価極性値を素性情報に
用いた．また，評価表現の位置情報も利用しており，評価対象を表す語に近い位
置にある評価表現が評価文書分類に有効に働くことを示した．

Pang et al. \cite{pang2004a} は，「事実文に含まれる評価は対象に関する書
き手の評価とは関係がなく，意見文に含まれる評価のみが対象に関する書き手の
評価と関係する」と仮定して，文の主観性（subjectivity）に注目した．Pang 
らは，分類の第１段階として，評価文書中の文を意見文と事実文に分け，意見文
のみを抽出する．その後，抽出された意見文集合のみを対象として，
\cite{pang2002a} の機械学習手法を適用して評価文書を分類した．

Matsumoto et al. \cite{matsumoto2005a} は，サポートベクトルマシン分類器
を用いる場合の素性情報として，単語uni-gram，単語bi-gramに加えて，語の系
列および語間の依存構造木の情報を利用した．また，Bai et
al. \cite{bai2004a} は，ナイーブベイズ分類器で仮定される語間の統計的独立
性の仮定を排除するために，ベイジアンネットワークの一つであるMarkov
Blanket Directed Acyclic Graph \cite{pearl1988a}を用いた．現在のところ，
Pang's movie review data を用いた評価実験の結果の中では，
\cite{matsumoto2005a}や\cite{bai2004a}が，その他の手法と比べて高い精度を
達成している．（実際の数値については各論文を参照されたい．）

\vspace{1em}
ここまでに紹介した評価文書分類の諸研究では，必ず肯定極性か否定極性のどち
らかに分類できる評価文書を扱っている．これは，しばしば利用される Pang's
movie review data がそのように構成されていることに一因がある．

しかしながら，現実には，このようにすべての文書が必ず肯定極性か否定極性の
どちらかに分類できる状況でないことも多い．次に紹介するGamonの研究
\cite{gamon2004a}は，カスタマーサポートセンターに届けられた文書を扱った．
Gamonのデータは，Pang's movie review data などと比べて，断片的で，短いコ
メントが多く，そのため，本質的に評価極性が決定できない文書も含んでいる．

\vspace{1em}
\underline{\textbf{\cite{gamon2004a}}}
\vspace{1em}

Gamon \cite{gamon2004a}は，カスタマーサポートセンターに届けられた顧客レ
ビューを題材にして，評価文書分類を行った．

Gamonは，まず，データの特性を知るための事前調査を行っている．収集された
顧客レビューにはあらかじめレビューを書いたユーザが付与した評点（rating）
が付与されている．200サンプルを人が肯定極性か否定極性かの２クラスに分類
したところ，約半数の117件しか正確に分類できなかった．残りのサンプルは，
評価極性の判定に必要な情報が含まれていなかったり，評価極性をもつような内
容が書かれていなかったり，肯定と否定の評価極性が混在していた．この結果か
ら，Gamonのデータは，全ての文書が必ずしも評価極性の判定に適した文書となっ
ているわけではなく，ノイズを多く含んでいることがわかる．

Gamonは，評価文書分類にサポートベクトルマシン分類器を用いる際，上記のよ
うなノイズを多く含む文書の分類に有効な素性を明らかにするために幾つかの種
類の素性情報を利用した．まず，分類に利用する素性情報を，浅い言語解析のみ
で獲得できる素性（表層素性）と，獲得するために深い言語解析を必要とする素
性（言語素性）に分けた．表層素性には，原形化された単語のuni-gram，
bi-gram，tri-gramが含まれている．また，言語素性は，品詞tri-gram，文や節
の長さ，構文構造，句間の意味関係，他動性，時制などが含まれている．句間の
意味関係には，例えば，``Verb-Subject-Noun （ある名詞Nounはある動詞Verbの
主体Subjectを表す）'' などがある．

上記のそれぞれの素性情報の有効性を検証したところ，表層素性に加えて，言語
素性を用いることで分類精度が向上することを確認した．また，ほぼすべての素
性情報の組合せにおいて，対数尤度比\cite{dunning1993a} の高い上位n 個の素
性のみを選択的に利用する素性削減法を適用することによって，さらに高い精度
を得た．

\vspace{1em}

Gamonは，肯定極性でも否定極性でもない（以降，\textbf{中立}と呼ぶ）文書の
存在について言及しているが，問題設定としては従来と同じく２値の分類問題に
設定した．２値分類ではなく，中立クラスを加えた３値の評価文書分類に初めて
取り組んだのは\cite{koppel2005a}である．Koppelらは，まず，予備調査として，
２値分類器を学習し，それをそのまま，肯定／否定／中立の３値分類に援用する
方法では低い精度しか達成できないことを示した．そして，stacking
\cite{wolpert1992a}に基づく３値の評価文書分類を行う手法を新たに提案して
いる．

\subsubsection{より細かい分類粒度へ}
\label{sec:dc_gra}

これまでは，評価文書分類として，肯定極性か否定極性かの２値の分類問題を扱
うことが多かった．この点から，中立クラスを加えた\cite{koppel2005a}の３値
分類を扱った事例は，これまでになく，かつ，現実のデータに即した視点を評価
文書分類に導入したと言える．

さらに，分類クラスの２値からの自然な拡張として，評価文書をより細かい分類
粒度へ分類する課題を扱った研究がある\cite{pang2005a,okanohara2005a}．こ
れらの研究はいずれも中立クラスを明示的に取り込むことを目的としているわけ
ではないが，細かな粒度を扱うことによって，結果的に中立クラスが反映されて
いると考えられる．

\vspace{1em}
\underline{\textbf{\cite{pang2005a}}}
\vspace{1em}

Pang et al. \cite{pang2005a} は，２値よりも粒度の細かい映画レビューの評
点（rating）に注目し，各映画レビューをそれに付与された評点毎に分類する
（以下，\textbf {評価文書評点分類}）ことを試みている．

多値分類への素直な対応として，分類ではなく回帰の考え方を導入することが考
えられる．しかし，映画レビューの評点が順序尺度であることを考慮すると，単
純な回帰では適切に処理できない可能性がある．この点については，
\cite{koppel2005a}でも議論されている．この問題を扱うために，Pangらは，
metric labeling 法\cite{kleinberg1999a}を適用することによって，既存の分
類器によって得られた評点分類結果を補正することを提案した．

高い類似度をもつ評価文書群は，同じ評点を持つと考えられる．metric
labeling 法は，この考えを自然に明示的に取り込むことができ，評価文書間の
類似度が高い場合に，それらの評価文書がもつ評点間の差を小さくするように学
習が進む．
metric labeling 法では，評価文書間の類似度関数を利用するが，Pangらは，肯
定極性文比率（positive-sentence percentage；PSP）という尺度に基づく類似度
関数を提案している．これは，評価文書中の全（意見）文における肯定極性文の
比率を示す（すなわち，「肯定極性文の数」÷「評価文書中の全（意見）文の数」
で求められた値）．

Pang らの調査から，評価文書の肯定極性文比率は，その評点と高
い相関をもつことがわかっている．

２つの評価文書$r_{1}$と$r_{2}$に対して，以下の類似度関数を提案してい
る；
\begin{equation}
sim(r_{1},r_{2}) = \cos
 (~\overrightarrow{\mathrm{PSP( {\textit r_{1}}
 )}}~,~\overrightarrow{\mathrm{PSP( {\textit r_{2}} )}}~)．
\end{equation}
$\overrightarrow{\mathrm{PSP( {\textit r_{i}} )}}$は，文書$r_{i}$に対す
る$( \mathrm{PSP( {\textit r_{i}} )}, 1-\mathrm{PSP( {\textit r_{i}} )}
)$ という２次元ベクトルを示す．

評価実験では，サポートベクトルマシン分類器とOne-vs-Rest 法
\cite{rifkin2004a}の組合せ，Support Vector Regression \cite{smola1998a} 
，および，それぞれにmetric labeling 法を適用したものを比較し，metric
labeling 法の有効性を示した．

Pangらは，評点の粒度に関する予備調査として，人間が区別できる評点差の違い
を調査し，３値と４値の評点粒度からなるデータセットを作成し，評価実験に用
いた．これは，４人の著者が記述した文書を各著者ごとにまとめた４セットの評
価文書集合からなる．\cite{pang2004a} の知見を基に，あらかじめ事実文を取
り除いている．Pang らの実験は，同一著者のデータにしか適用されていないた
め，複数の著者によって生成された評価文書群に対して評価文書評点分類を行う
には，著者間の評点値がもつ意味を正規化する手法が別に必要になる．

\vspace{1em}
\underline{\textbf{\cite{okanohara2005a}}}
\vspace{1em}

岡野原ら\cite{okanohara2005a}は，日本語の評価文書を対象にして，評価文書
評点分類に取り組んだ．彼らの実験では，サポートベクトルマシン分類器と
pair-wise 法\cite{kresel1999a}の組合せと，Support Vector Regressionが比
較されている．

評価文書評点分類では，分類クラスの粒度が２値分類よりも細かいために，従来
の評価表現に加え，極性強調子の情報をうまく扱うことが重要である．岡野原ら
は，素性として，単語uni-gram，bi-gram，tri-gram の３種類の素性を試した．
結果として，単語uni-gramと比較して，単語bi-gram，tri-gramを用いた方が精
度が高かった．「very good」のような評価表現と極性強調子の並びをうまく捉
えたことが精度向上によい影響を与えていると考えられる．

\subsubsection{まとめ}

評価文書分類を扱った論文を紹介した．評価文書分類の手法は，評価表現の比率
に基づく手法と，教師あり機械学習に基づく手法に分けることができる．また，
肯定か否定かを分類する評価文書分類の拡張として，より細かな分類粒度を扱う
評価文書評点分類に関する研究を紹介した．

評価文書分類は，既存のトピックに基づく文書分類とは分類に有効な情報が必ず
しも同じではない．\cite{pang2002a}による実験結果によると，評価文書分類は，
トピックに基づく文書分類よりも難しい課題であると考えられ，今後の進展が望
まれる．

既に述べたように，これまでは，肯定極性か否定極性かのいずれかのみを扱う２
値分類として扱われることが多かった．しかし，現実には，肯定極性か否定極性
のいずれにも該当しない文書が存在する状況が多く，\cite{koppel2005a}のよ
うに，中立クラスを加えた３値の評価文書分類に対する考察についても今後の成
果が期待される．中立クラスの扱いについては，\sec{neutral}で再び取り上げ
る．

現在の評価文書分類では，多くの場合，ある評価対象についての評価情報が含ま
れている文書群が既に収集されているという前提の基で研究が進められる．これ
は，\sec{daizai}で述べた分類のうち，「意見の収集，集約が目的となっている
テキスト」が主な研究題材となっていることに一因がある．しかし，一般には，
ある文書が与えられた時，その文書に記述されている評価対象が何であるかにつ
いても判定する必要がある．今後は，評価対象の分類を考慮した評価文書分類に
ついても検討していく必要がある．

後の\sec{ie}では，文書内に含まれる評価情報の要素に注目した諸研究を紹介す
る．ここでは，評価情報要素のひとつとして，評価対象の存在が意識される．

\subsection{評価情報を含む文の抽出に関する諸研究}
\label{sec:sc}

前節では，文書レベルで評価極性を判定する手法を紹介した．本節では，文書に
含まれている文の評価極性を判定し，抽出する手法を紹介する．

評価分析を実施する際，前節で紹介した評価文書分類を行うことによって，評価
情報，評価極性に関する文書全体の傾向を把握することができる．しかし，評価
対象がどのように肯定的あるいは否定的な評価を受けているかを知るには，評価
文書の内容に目を通す必要がある．この時，各文書内に含まれている評価極性付
きの文を抽出することができれば，評価対象がどのように評価を受けているかを
知る上で見通しがよくなる．また，ひとつの文書に複数の評価が混じっているよ
うな場合には，文書レベルではなく，文レベルで評価極性を判定した方がよい．

評価文抽出の基本的な考え方は評価文書分類と同様であり，評価表現の比率に基
づく手法や機械学習に基づく手法がそれぞれ提案されている．

Yu et al. \cite{yu2003a}は，評価表現の比率に基づく手法によって評価文分類
を実現した．分類手続きは\sec{dc_ratio}で紹介した\cite{turney2002a}や
\cite{taboada2004a}の手法と基本的に同じであるが，Yu らは，分類クラスとし
て肯定，否定に中立を加えた３クラスを考えるため，分類手続きの３ステップ目
に拡張を施した．
幾つかの精度評価実験の中で評価表現の品詞に関する考察を行っており，実験の
結果，品詞が形容詞，副詞，動詞となる評価表現を合わせて利用した場合が精度
が高かったと報告している．一方，この組合せに品詞が名詞である評価表現を加
えると精度が低下する結果を得たと報告している．

Gamon et al. \cite{gamon2005a}は，評価表現の比率に基づく手法と機械学習に
基づく手法をそれぞれ提案している．評価表現の比率に基づく手法では，
\cite{yu2003a}の手法を拡張した．評価極性値を計算する際に，文内では「同じ
極性の単語が共起しやすい」という仮定に加え，「逆極性の単語は共起しにくい」
という仮定を陽に取り入れたり，一度求めた評価極性値に基づいて種表現を漸次
的に増やす手法を提案している．また，機械学習に基づく手法では，Nigam らが
提案した半教師あり学習の手法\cite{nigam2000a}によって，評価極性情報が付
与されていない大量の生データの情報を評価文分類に利用した．

評価文分類で採用される分類手法は評価文書分類と共通するものが多いが，評価
文分類に利用される素性情報も評価文書分類と重なる部分が多い．評価文書分類
の場合と同様に，評価文分類でも単語，特に評価表現が分類の際の主要な情報と
なる．また，文内の語の系列情報\cite{osajima2005a}や構文情報
\cite{kudo2003a}を利用したアプローチも報告されている．評価文分類では，評
価文書分類のように文書内の位置情報などは利用されない．その一方で，評価文
分類に固有な情報として，例えば，文の文型パターン
\cite{murano2003a,touge2004a}などが利用される．

また，評価文書分類の場合と同様に，評価文分類においても，評価対象が何であ
るかについては考慮されることがほとんどない．数少ない評価対象を考慮した評
価文分類の研究として，\cite{hurst2004a,nigam2004a}がある．Hurst と Nigam 
は，評価対象を含む文を抽出する過程と文の評価極性を判定する過程を独立に並
行して行う．そして，「ある文に，ある対象についての記述と，評価極性を示す
記述が含まれている場合，その評価極性は同一文内の対象に関する極性である」
という仮定に基いて，２つの過程の結果を併合することで対象に関する評価極性
を判定した．

\subsection{評価情報の要素組の抽出に関する諸研究}
\label{sec:ie}

評価情報は「良い」や「悪い」などの評価表現の他に，評価者，評価対象などの
幾つかの要素によって構成される．これらの評価情報の要素組のことを以下，
\textbf{評価組}と呼ぶ．本節では，文書から評価組を抽出し，その評価極性を
判定する研究を紹介する．評価組抽出の研究背景にある動機付けは，評価文抽出
と同様であり，評価文書全体の評価ではなく，評価文書中の個々の評価情報に関
する評価に注目する．

この課題は\sec{se}で紹介した評価表現辞書の構築に似ている．しかし，評価組
の抽出では，評価表現が評価している評価対象や評価をしている評価者などを合
わせて特定，抽出する点が評価表現辞書の構築と異なる．

例えば，下の例文\NUMS{ie_ex}{a}からは，「美味しい」という評価表現と共に，
その評価を受けているのは「りんご」であり，両者を合わせて，「りんごが肯定
的な評価を受けている」ことを特定したい．また，例文\NUMS{ie_ex}{b}であれ
ば，評価を受けているのは「帽子」であり，評価をしているのは「次郎」である
ことを特定したい．

このように実際に評価表現が現れている文脈の情報を考慮することで，注目して
いる評価情報の評価極性が変化する場合もある．例文\NUMS{ie_ex}{c}と
\NUMS{ie_ex}{d}は同じ「眠気をさそう」という表現を含んでいるが，それぞれ
の対象（「ベッド」と「講義」）を考慮し，＜ベッド，眠気をさそう＞は肯定極
性，＜講義，眠気をさそう＞は否定極性であることを判定することが求められる．

さらに，例文\NUMS{ie_ex}{e}は，肯定極性をもつ評価表現「美味しい」を含ん
でいるが，文自体は質問を表しているのであって，りんごを評価しているわけで
はない．そのため，\NUMS{ie_ex}{e}から得られる要素の組に対しては，評価で
はないことを判定することが求められる．

\EXS{ie_ex}{
 \item りんごが美味しい。
 \item 次郎は太郎からもらった帽子を気に入っている。
 \item このベッドは眠気をさそう。
 \item この講義は眠気をさそう。
 \item このりんご、美味しかった？
}

評価組の抽出は，次のような副課題に分解して考えることができる．

\begin{itemize}
 \item 要素抽出：
評価表現，評価対象などを文書から特定する（\sec{elem_ext}）．

 \item 関係抽出：
各要素を結びつける．例えば，ある評価表現がどの評価対象につ
いて評価しているかを特定する（\sec{rel_ext}）．

 \item 動的評価極性：
関係抽出の結果得られた評価組の評価極性を判定する（\sec{dyn_pn}）．

\end{itemize}

それぞれの副課題について順に紹介する．

\subsubsection{要素抽出}
\label{sec:elem_ext}

要素抽出は，評価情報を構成する要素を抽出する課題である．現在のところ，評
価情報の要素としては，評価表現，評価対象，評価対象の属性，評価者などが主
に取り上げられている．

評価表現の抽出には\sec{se}で構築した辞書が利用される．また，多くの研究で
は評価対象はあらかじめ与えられていると想定する．そこで以下では，評価対象
の属性と評価者の抽出に関する研究を紹介する．

\subsubsubsection{評価対象の属性}
\label{sec:attr}

評価対象の属性とは，評価対象の仕様（性質や特徴など）や評価対象の一部分な
どのことを指す．デジタルカメラについての属性の例を\NUM{attr_ex}に示す．
下線部が属性表現である．

\EXS{attr_ex}{
 \item \underline{値段}が少し高い。
 \item 満足のいく\underline{画質}です。
 \item \underline{レンズ}が明るい。
}

実際の属性抽出処理は，あらかじめ属性表現の集合を属性辞書として獲得してお
き，評価情報獲得時には辞書照合によって属性抽出が実現される．そこで，属性
辞書を（半）自動で構築することがここでの課題となる．

属性の中には，値段やサイズなどのように評価対象間で共通の属性も存在するが，
一般には，評価対象ごとに属性は異なる．そのため，属性辞書は評価対象ごとに
用意する．ある対象に関する属性辞書を構築する場合，その対象について記述さ
れた文書群を用意し，そこから属性辞書のエントリを見つけ出し，辞書登録をお
こなう．

以下ではまず，ブートストラップに基づく小林ら\cite{kobayashi2005a}の手法
を紹介する．小林らの手法は，評価対象の属性と同時に評価表現も合わせて抽出
する．


\vspace{1em}
\underline{\textbf{\cite{kobayashi2005a}}}
\vspace{1em}

小林ら\cite{kobayashi2005a}は，文書に含まれる意見は＜対象，属性，評価＞
の３つの要素からなると捉え，この３つ組要素のうち，属性表現と評価表現を効
率よく収集する手法を提案した．次の\NUM{kobayashi2005_ex}は３つ組の例であ
る．\NUMS{kobayashi2005_ex}{a}が意見が含まれるテキストであり，
\NUMS{kobayashi2005_ex}{b}が\NUMS{kobayashi2005_ex}{a}から得られる３つ組
である．
\EXS{kobayashi2005_ex}{

 \item 商品$\_$A は、ボディはコンパクトですが、安定感は抜群ですね！\\
       ただ足回りは固いので、人を乗せる時は気を使います。

 \item $<商品\_$A$，ボディ，コンパクト>$\\
       $<商品\_$A$，安定感，抜群>$\\
       $<商品\_$A$，足回り，固い>$
}

小林らの手法は，ブートストラップに基づいており，対象，属性，評価に関する
共起パタンを介して，評価表現と属性表現を相互に獲得する．共起パタンの例を
\NUMS{kobayashi2005_ex2}{a}に示す．また，\NUMS{kobayashi2005_ex2}{a}の共
起パタンに照合する意見テキストを\NUMS{kobayashi2005_ex2}{b}に示す．
\EXS{kobayashi2005_ex2}{

 \item $<対象>の\underline{<属性>}は<評価>$

 \item 商品\_Aの\underline{インテリア}はきれいですね。
}
共起パタン中の$<対象>$，$<属性>$，$<評価>$のそれぞれのスロットは，新規表
現スロット（下線で示す）と既知表現スロット（下線部以外）に分かれている．
各パタンにはひとつの新規表現スロットが含まれる．上記の例の場合，「商品
\_A」に関して，「きれい」が評価表現であることが既知である状態で，「イン
テリア」が「商品\_A」の新しい属性候補であるとして収集される．

小林らは８タイプの共起パタンを用意しているが，タイプによって，$<属性>$が
新規表現スロットになる場合と$<評価>$が新規表現スロットになる場合を分けて
おり，文書集合に対して，タイプの異なる共起パタンを繰り返し適用することで，
属性表現と評価表現を相互に獲得している．

\NUMS{kobayashi2005_ex2}{a}のように，小林らが作成した共起パタンは汎用的
なパタンである．そこで，パタン照合の後，ノイズとなる属性候補，評価表現候
補を排除するために幾つかのフィルタリングを行う．フィルタリングに利用され
る情報には，スロットに埋まる語句の品詞に関するものや，獲得された属性候補
と評価表現候補の統計量（頻度，対数尤度比）などがある．

なお，小林らの手法は，収集できた評価表現における評価極性は決定しない．

\vspace{1em}

その他にも，統計量に基づく属性抽出手法が幾つか提案されている．これらは，
小林らのパタンによる候補獲得とフィルタリングという一連の処理のうち，パタ
ン照合部に重点を置かず，フィルタリング部のみを行っていることに対応する．
Yi et al. \cite{yi2005a} は，限定名詞句に注目し，評価対象の文書に偏って
出現する限定名詞句を対数尤度比に基づいて抽出した．Hu et
al. \cite{hu2004a,hu_min2004b}は，評価文書に対して，相関ルールマイニング
の手法を用いて，評価文書集合中に頻出し，かつ評価表現から近い位置に出現す
る名詞あるいは名詞句を属性表現として抽出した．Liu et al. \cite{liu2005a} 
は，\cite{hu2004a,hu_min2004b}と同様に相関ルールマイニングの手法を用いて
属性を抽出した．他の研究では属性表現の抽出対象を名詞に制限することが多い
が，Liuらは名詞以外の表現も抽出している．Morinaga et
al. \cite{morinaga2002a} は，本稿でいう属性に近い概念として，対象を特徴
付ける語をマイニングする手法を提案した．

\subsubsubsection{評価者（Holder，Source）}
\label{sec:holder}

評価者（Holder，Source）とは，評価対象を実際に評価している人物や組織のこ
とである．まず，次の文を例に取りながら，評価情報の要素として評価者を考慮
することの必要性について検討する．

\EX{holder_ex}{
りんご１箱あたりの値段が上がった．
}

この文の評価極性を考える．りんごの消費者にとって，りんごの値上がりは好ま
しいとは言えない．つまり，例文\NUM{holder_ex}をりんごの消費者から見た場
合，この例文の評価極性は否定極性であると考えることができる．一方，りんご
の生産者にとっては，りんごの値上がりは好ましい可能性があり，例文
\NUM{holder_ex}をりんごの生産者から見た場合は，この例文の評価極性は肯定
極性となる可能性がある．この例から，まったく同じ表現でも誰の視点から見る
かによって評価極性が異なることが確認できる．つまり，より厳密なテキスト評
価分析を実施するには，評価表現や評価対象に加えて，評価をおこなう者，つま
り，評価者を特定する必要がありそうである．

人物名辞書や組織名辞書があらかじめ用意できる環境であれば，評価者候補の特
定は単純な辞書照合として容易に実現できる．評価者候補の特定には，ほかにも，
既存の固有表現抽出（named entity recognition；NER）\cite{muc6,muc7,irex} 
に関する技術や意味役割同定（semantic role labeling；SRL）
\cite{srl2004,srl2005}に関する技術が利用できるだろう．

いずれの場合において，特定された評価者候補が実際に評価組の要素となるか否
かは続く関係抽出処理に任せることになる．

テキスト評価分析に関する研究全体の中でも，評価者の視点を考慮した研究は現
時点ではそれほど多くはない\cite{kim2004a,bethard2004a,nakayama2005a}．こ
の理由のひとつとしては，対象データが評価文書に偏っているという現状がある．
評価文書の場合は，ほぼ，$$評価者~=~書き手$$の関係が成り立つ．
このことから，現時点では評価者を特定する処理が省かれていると言える．今後，
評価文書ではない，一般のWeb文書や新聞記事などに含まれる意見をテキスト評
価分析で扱う場合，あるいは，評価文書を対象にしてより精緻なテキスト評価分
析を実現する場合には，評価者の視点をより積極的に考慮していく必要がある．

\subsubsection{関係抽出}
\label{sec:rel_ext}

関係抽出は，評価情報の各要素を関係づける課題である．先に述べたように，評
価組抽出は，要素抽出，関係抽出，動的極性判定の３つの副課題に分解できるが，
現在のところ，要素抽出，動的極性判定に比べて，関係抽出に焦点を当てた研究
は乏しい．評価組抽出を扱う研究の多くは，要素間の近接情報や構文情報などに
基づいた素朴な手法によって関係抽出を実現しているが，当然のことながら，十
分な抽出精度が得られているわけではない．

関係抽出に積極的に焦点を当てた研究としては，
\cite{kobayashi2005b,iida2005a}がある．事前調査から，意見を含む日本語文
書では，＜属性，評価＞間に係り受け関係が成立しない事例が少なからず存在す
ることを指摘し，機械学習に基づく＜属性，評価＞関係を特定する手法を提案し
ている．彼らのグループでは，＜属性，評価＞対を特定する課題が照応解析にお
ける＜先行詞，照応詞＞対を特定する課題に類似していることに着目し，照応解
析モデルを関係抽出に応用した．

近年では，固有表現間の関係を抽出する課題\cite{rdc}に対して，機械学習に基
づく手法が盛んに研究されており\cite{zelenko2003a,culotta2004a}，そこで得
られた知見が本課題に利用できる可能性がある．

\subsubsection{動的極性判定}
\label{sec:dyn_pn}

関係抽出の結果得られた評価組の評価極性を判定する研究を紹介する．これまで
に見たように，要素抽出と関係抽出は，評価組抽出の副課題としてその他の副課
題とは独立に研究されるケースが多い．一方，動的極性判定を実施するには，要
素抽出と関係抽出の出力結果が必要である．要素抽出と関係抽出の出力結果を人
手で用意することによって，それらの結果が与えられた状態で動的極性判定のみ
を課題とすることもできるが，現在の動的極性判定に関する研究では，要素抽出
と関係抽出も同時に合わせて扱われることが多い．

以下では，パタンに基づくNasukawa et al. \cite{nasukawa2003a}の手法と，機
械学習に基づく鈴木ら\cite{suzuki2004a}の手法を紹介する．


\vspace{1em}
\underline{\textbf{\cite{nasukawa2003a}}}
\vspace{1em}

Nasukawa et al. \cite{nasukawa2003a}は，評価情報の要素として，＜対象，評
価＞の２つ組を考え，構文，意味関係パタン付きの評価表現辞書を用いて２つ組
に対する動的評価極性を行った．

彼らは，辞書知識として，\sec{se}で紹介した評価極性付きの単語のエントリに
加え，構文・意味関係を考慮したパタン付きのエントリを用意した．単語
「admire」と「provide」のエントリ例を\NUM{nasukawa2003_ex}に示す．

\EXS{nasukawa2003_ex}{
 \item \textsf{good} ~~VB ~admire ~~obj
 \item \textsf{transfer} ~VB ~provide ~~obj~~sub
}

\NUMS{nasukawa2003_ex}{a}は，「admire」の目的語の位置ある要素が肯定極性
になることを表しており，\NUMS{nasukawa2003_ex}{b}は，「provide」の目的語
の位置ある要素の極性が判明していれば，主語の位置にある要素は目的語の位置
ある要素の極性と等しくなる（評価極性がtransferする）ことを表している．

このような，語句間における評価極性の同一（相違）関係が記述された辞書知識
を組み合わせて用いることによって，評価表現と，それと同一文内の主語や目的
語の位置に表れる評価対象の組を同定し，それらの評価極性を判定する．

\NUM{nasukawa2003_ex}に示したような構文・意味関係を考慮したパタン付きの
エントリは，評価表現辞書を素直に文脈情報を取り込むように拡張したものと考
えられる．

Kanayama et al. \cite{kanayama2004a}は，要素抽出から評価極性判定までを，
文書から評価組への翻訳であると捉えた．そして，transfer-based な機械翻訳
の機構を援用し，既存の翻訳パタンを，上記\NUM{nasukawa2003_ex}と類似した
極性判定のための構文・意味関係を考慮したパタンに置き換えることによって，
低コストで評価情報の要素組を抽出する枠組みを提示した．

\vspace{1em}
\underline{\textbf{\cite{suzuki2004a}}}
\vspace{1em}

鈴木ら\cite{suzuki2004a}は，評価情報の要素として，＜対象，属性，評価＞の
３つ組を考え，評価情報とその周辺情報のブートストラップによって，３つ組の
動的極性判定を行った．評価極性としては，肯定／否定／中立の３値を扱ってい
る．

先の\cite{nasukawa2003a}の手法では，要素抽出，関係抽出と動的極性判定が並
行して進行していたが，鈴木らの手法では，＜対象，属性，評価＞の３つ組抽出
と，３つ組の極性判定が逐次的に行われる．まず，評価表現辞書を用いて文書内
の評価表現を同定する．そして，評価表現と係り受け関係にある名詞を評価対象，
属性として，＜対象，属性，評価＞の３つ組を同定する．ただし，経験から評価
対象は具体名詞，属性は抽象名詞という制約を課す．具体名詞，抽象名詞の判定
はNTT日本語語彙大系\cite{goitaikei-e} の情報に基づく．

次に，得られた３つ組を評価極性分類器に入力することで，評価極性を判定する．
彼らの分類器は半教師あり機械学習によって構築される．彼らは，まず，ベース
となる分類器として，ナイーブベイズ分類器を考え，＜対象，属性，評価＞組の
評価極性を分類することを考える．そして，さらに教師なしデータの情報を取り
込むために，ＥＭアルゴリズム\cite{dempster1977a} をナイーブベイズ分類器
と併用する手法\cite{nigam2000a}を用いた．また，教師なしデータを取り入れ
る別の手法として，同一著者による \cite{suzuki2005a}では，先の手法から獲
得された確率モデルからフィッシャーカーネル\cite{jaakkola1998}を作成し，
そのカーネル関数をサポートベクトルマシン分類器で利用する手法を検討してい
る．

\subsubsection{語の組合せと評価極性}
\label{sec:comb}

\sec{se}で述べた評価表現辞書の構築では，「良い−肯定」や「悪い−否定」の
ように，単独で評価極性が特定できる単語を扱うことが多い\footnote{
\cite{nasukawa2004a}のように，複数の単語から構成される評価表現を考慮した
事例もあるが，現状では複数語からなる評価表現を扱う研究は少ない．}．しか
し，単語の中には，それ単独では評価極性をもたないが，幾つかの単語が組み合
わさることによって初めて，その組合せに評価極性が生じる場合がある
\cite{baron2004a}．ここでは，この現象を極性発現と呼ぶ．例えば，英語の
``par for the course''という句は，個々の単語は否定極性を持たないが句全体
としては否定極性をもつ\cite{channell2000a}．

極性発現に着目した研究には，Baron et al. \cite{baron2004a}と高村ら
\cite{takamura2005b}の研究がある．Baronらは，Xtract \cite{smadja1994a}を
用いてコーパスから共起語を抽出し，共起語が出現していた文脈の評価極性に従っ
て共起語の評価極性を決定した．この考え方は，評価表現辞書の構築で用いられ
た単語の評価極性の判定手法（\sec{cooc}）に非常に近い．一方で，高村らは，
極性発現が生じる語句の内部構造を直接モデリングし，「ノートパソコンが軽い
−肯定」のように語句の評価極性が判定できる確率モデルを提案した．高村らの
提案モデルは極性発現と同時に極性変化子にも対応しており，「リスクが低い−
肯定」のような例も適切に扱える．長江らは極性発現を考慮した評価表現辞書を
作成している\cite{nagae2002a}．

\section{テキスト評価分析の応用研究}
\label{sec:appl}

\subsection{評価分析システム}

これまでに，既に幾つかの評価分析システムが構築されている
\cite{li2001a,morinaga2002a,dini2002a,dave2003a,sano2004a,sano2004b,tateishi2004a,blogwatcher,fujimura2004a,yi2005a,liu2005a} 
．評価分析システムの多くは，基本機能として，文書集合から文書，文，あるい
は，語句などの単位について，肯定／否定の評価極性を判定する．この機能を実
現するために，前節で紹介した各要素技術が評価分析システムに組み込まれる．

評価分析システムの利用者は，大きく次の2つに分けられる．
\begin{itemize}
\item 対象の提供者である企業やサイト運営者，
\item 対象を利用する立場の一般の人々．
\end{itemize}
前者は，マーケティング等で，対象の利用者としての個人の評価を，今後の企
業活動に活かすことが典型的な用途となる．後者は，他の個人の評価を，自分
の意志決定(たとえば，何かを購入しようとして，いくつかの候補の中からの
選択が必要な場合)の参考にしようというのが典型的な用途となる．

言うまでもなく，大量の抽出された評価情報は，そのまま提示されるのではなく，
類似するものはまとめられ，また，いくつかの観点で分類され，ユーザにとって
負担のない情報量で，提示されることが望ましい． そのため，評価分析システ
ムでは，評価情報を抽出するという基本機能に加えて，分析データの集約機能や，
分析結果の可視化機能を備えている場合が多い．可視化にはグラフ表示が採用さ
れることが多く，例えば，\cite{yi2005a}では棒グラフ，\cite{tateishi2004a}
ではレーダーチャートが表示できる\footnote{ 対象についての属性が非常に多
い場合，可視化手法によってはすべての属性をまとめて閲覧することが困難とな
る．その場合には，抽出時とは別に表示時において，属性の取捨選択や階層化な
どの処理が要求される．} ．この可視化機能によって，単一の対象，あるいは複
数の対象間で，属性ごとにその対象の評価値を比較するといった作業が容易とな
る．

分析結果の評価情報を可視化するのではなく，テキストとして提示する研究も存
在する．Beineke et al. \cite{beineke2004a}，Roman et
al. \cite{roman2004a}はいずれも，抽出した評価情報集合をテキストの形で集
約して提示する試みを行なっている． 文書要約\cite{oku2005a}の観点からみた
場合，これらの研究は，評価情報が含まれている文の重要度を高く定めて，複数
文書を対象とした重要文抽出を行って要約を作成していることに相当する．この
観点から見れば，評価文抽出は評価文書のテキストを要約する手法の中の特殊
なケースとして捉えることもできる．


複数文書要約では，異なるソース(情報源)(たとえば，新聞社)からのテキストで，
内容が重複する場合，重複する内容は重要であるとして，重複する内容を選択す
る手法が見られるが，評価文書集合の要約でも，同様に，評価情報が重複するこ
とは，共通の評価が複数存在することを意味しており，重要な情報としてその頻
度情報が出力のひとつとして利用される．また，一般の複数文書要約では重複部
分を同定することは困難な課題であるが，評価文書の場合は，基本的には，評価
対象，評価対象の属性，評価極性の３つの要素のみから一致（重複）判定が可能
である．

\subsection{その他の応用領域}

前節で紹介したテキスト評価分析のための各要素技術は，評価分析システムの他
にも，計算機を介したコミュニケーション（computer mediated communication；
CMC）\cite{boucouvalas2002a,liu2003a}，質疑応答システム
（multi-perspective question-answering；MPQA）
\cite{cardie2003a,stoyanov2004a}，株価予測\cite{koppel2004a,das2001a} な
ど，幅広い応用領域でその有効性が示されている．

\section{テキスト評価分析に関連するその他の話題}
\label{sec:kanren}

本節では，テキスト評価分析に関連するその他の話題を紹介する．

\subsection{主観性に関する諸研究}
\label{sec:opi_sent}

多くの文書は，ひとつの文書の中で，客観的な事実と主観的な意見が混じり合っ
て記述される．本稿でとりあげた評価は，意見の中の下位分類に位置すると
考えられ，本稿で述べた評価情報を扱う諸研究と意見情報を扱う諸研究は非常に関
連が深いと考えられる．

これまで，Wiebe らの研究グループが中心となって，主観的な意見，主観性
（subjectivity）に焦点を当てた研究が進められている\cite{wiebe2004a}．主
観性に関する研究では，主に，文書から主観的な意見が記述された文（以下，主
観文）を判定し，抽出する課題が扱われる．具体的な事例研究としては，Wiebe
et al. \cite{wiebe1999a}，Riloff et al. \cite{riloff2003b}， Pang et
al. \cite{pang2004a}などがある．

Hatzivassiloglou et al. \cite{hatzivassiloglou2000a}は，一部の形容詞の情
報が主観文判定に有効であると報告しており，Weibe \cite{wiebe2000a} 
やVegnaduzzo \cite{vegnaduzzo2004a} によって，文の主観性に強い影
響を与える形容詞を獲得する手法が提案されている．また，形容詞以外の情報と
して，文の主観性に強い影響を与える名詞 \cite{riloff2003a}や単語の 
n-gram\cite{wiebe2001a}を自動獲得する手法も提案されている．

主観文抽出の具体的な応用先としては，情報抽出や文書要約などが挙げられる．
情報抽出では，実世界で実際に起きた事実の客観的な記述を抽出することに焦点
が当たっており，主観文抽出を前処理として適用することで，抽出範囲を適切に
絞り込むことができる．また，近年では，個人の意見がWeb掲示板やWeblogなど
を通じて発信されている．そして，この個人の意見を要約することが求められて
いる．この時，意見文抽出を実施することによって，要約対象となる意見を自動
的に抽出することができる．

\subsection{その他の題材}
\label{sec:not_text}

書き言葉で構成された文や文書以外にも，チャットや実対話を題材とした研究も
ある．Maeireizo et al. \cite{maeireizo2004a}，Chambers et
al. \cite{chambers2004a}は，実対話データを扱っている．また，Wu et
al. \cite{wu2002a}，Holzman et al.\cite{holzman2003a}は，チャット対話中
の発話に焦点を当てた．これらの研究では，本稿で取り上げた評価情報だけでな
く，広く感情情報を意識する傾向にあり，実対話やチャット内の発話の感情を推
定することが中心的な課題となる．この際，言語的な特徴だけでなく，音素や韻
律などの音声的な特徴も積極的に利用される．

\section{課題}
\label{sec:kadai}

本節では，テキスト評価分析において，現在までのところあまり議論がされて
おらず，今後，進展が望まれる話題を整理する．

\subsection{「中立」の取り扱い}
\label{sec:neutral}

既に述べたように，これまでの評価分析の要素技術研究では，評価極性として肯
定極性と否定極性のみを考慮し，２値分類問題として定式化されることが多い．
しかし現実には，肯定極性と否定極性のいずれにも該当しない文や文書が存在す
る状況も多くある．そのため，今後は，\cite{koppel2005a}や\cite{yu2003a}，
あるいは\cite{suzuki2004a}のように，中立クラスを加えた３値での評価分析に
対する考察が求められる．

ただし，中立クラスを扱う際には，次の点に注意しなければならない．すなわち，
現在でも中立クラスを考慮した研究は存在するが，研究者間でその意味するとこ
ろは必ずしも一致しているわけではないという点である．ある事例が肯定極性で
も否定極性でもない状況には幾つかの可能性がある．しかし現状では，それらす
べてがまとめて中立と呼ばれている．

ある事例が評価を含むか，また，評価極性があるか，という点から整理した場合，
各事例は\fig{neutral_tree}の木構造のいずれかの葉ノードに割り振られる．本
稿で紹介した各論文が主に扱っていた肯定極性と否定極性は，右隅の四角で囲っ
た部分に位置する．
それ以外の点線で囲まれた３つの葉ノードは，
肯定極性か否定極性のいずれかの極性をもつわけではないという共通の特徴があ
り，現状では，これらのすべてあるいはいずれかのノードに該当する事例が「中
立」と見なされている．しかしながら，図の階層分類からも明らかなように，点
線で囲まれた３つの葉ノードはそれぞれ，評価を含まない，評価を含むが肯定極
性でも否定極性でもない，肯定極性と否定極性の両方を含む，と言ったそれぞれ
に異なった特徴がある．今後，評価分析に関する諸研究を発展させていくには，
「中立」という概念を再整理する必要があるだろう．

\begin{figure}[t]
  \begin{center} 
        \includegraphics[width=7cm]{fig-neutral.eps}
    \caption{「中立」の曖昧性}
    \label{fig:neutral_tree}
  \end{center}
\end{figure}

\subsection{評価の分類軸}
\label{sec:eva_category}

現在，評価分析の分類軸としては，肯定極性と否定極性からなる評価極性という
ひとつの軸を扱うのが主流であるが，今後は，目的に応じて分類軸は細分類化し
ていく必要がある．

評価極性は，感情や情緒\cite{inui2000a,mera2002a}とも関連が深く，今後の展
開として，これらの領域との融合研究も興味深い．近年では，自由記述アンケー
トから書き手の意図を抽出する研究\cite{ootsuka2004a}や，意図の中でも特に
要望\cite{kanayama2005a}や賛否\cite{galley2004a}に注目した研究も行われて
いる．評価分析の一つの方向性として，これらの研究の今後の動向にも注意を向
けたい．

新たな分類軸の方向性について検討することも重要であるが，現状の評価極性自
体にも目を向ける必要がある．現状の評価極性は，研究者によって意味する所が
異なる部分があり，テキスト評価分析に利用される評価の軸を再考察する必要が
ある．例えば，次の例文\NUM{jiku}を考えてみよう．本稿で紹介した諸研究が扱
う評価極性を見る限り，\NUMS{jiku}{a}が肯定極性をもつ評価情報を含んでいる
とすることに異論をもつ研究者は少ないと考えられる．しかし，\NUMS{jiku}{a} 
と同様に肯定極性をもつと考えられる\NUMS{jiku}{b}も同じように評価情報を含
んでいるとするか否かは研究者によって立場を異にする．\NUMS{jiku}{b}はある
人物の嗜好の表出であって評価は表されていないとする立場も存在する．

\EXS{jiku}{
 \item このりんごは味がよい。
 \item りんごが好きです。
}


Martin の提案しているAppraisal system
\cite{martin2000a,martin2003a}は，評価や意見，態度などの主観的な側面に関
する言語能力を解明，説明する枠組みである．Taboada et
al. \cite{taboada2004a} は，実際にAppraisal system での考え方に従って，
複数の異なる評価の分類軸を扱っており，評価極性の再整理という点から見て，
非常に興味深い研究である．

\subsection{明示的に表されない評価}
\label{sec:imp}

\sec{aa}で述べた評価文書分類，評価文抽出，評価組抽出の各技術は，現在のと
ころ，評価表現辞書のエントリとなるような明示的な評価表現に頼っている部分
が多い．このため，現状では，評価表現辞書に登録されている語句がまったく出
現しない，つまり，明示的に評価が表されない文書や文を取り扱うことが困難で
ある．今後は，明示的に表されない評価を取り扱う方法についての技術開発も進
める必要があると考えられる．

評価が明示的か明示的でないかの境界を明確にすることは難しいが，例えば，
\sec{comb} で紹介した極性発現はどちらかと言えば明示的でない評価を扱って
いる一例と言える．

また，評価は意見の中の下位分類として位置付けられることが多いが，明示的に
表されない評価は，意見の記述というよりは事実の記述となっていることがしば
しばある（例えば，\cite{nigam2004a}は，このことを説明するために，
「opinion」の対極として「evaluative factual」という用語を導入している）．
例えば，次の例文\NUM{fact}は，明示的に表されない評価を含む文の例である．
今後の評価分析に関する技術開発が進む方向次第では，評価分析が既存の意見分
析の域には収まらず，独自の新たな研究領域を開拓しつつ進展していく可能性も
ある．

\EXS{fact}{
 \item 買ってすぐに電源が入らなくなった。       
 \item 空港でパスポートがないことに気が付いた。 
 \item おもわず息子の頭を撫でていた。           
}

\subsection{基礎言語解析技術}
\label{sec:parsing}

テキスト評価分析で扱うテキストデータ（評価文書）には，非専門家によって記
述されたWeb 上の掲示板への書き込みやWeblog などが含まれる．これらのテキ
ストデータは，従来から言語処理の対象とされてきた新聞記事ほど形式的に記述
されていないため，従来からある形態素解析等の基礎言語解析器をそのまま利用
するだけでは，高い解析精度が得られない．また，評価文書には，表記の多様性
や，局所的なコミュニティー特有の言い回し，略語などの現象が多く見受けられ
る．今後，これらの諸現象に柔軟に対応できる，より頑健な基礎言語解析技術の
開発が望まれる．

\subsection{評価文書の収集}
\label{sec:collect}

現在のテキスト評価分析に関する要素技術の諸研究では，多くの場合，ある評価
対象についての評価情報が含まれている文書群が既に収集されているという前提
のもとで研究がされている．しかし，明らかに，注目したい評価対象のすべてに
ついて，この前提を置くことは適切ではなく，現実には，評価対象についての評
価情報が含まれている文書群を獲得する方法，評価文書の収集方法を確立しなけ
ればならない．特に，\sec{daizai}で示したテキスト評価分析の題材となるテキ
ストデータの分類のうち，潜在的に意見を含むテキスト（Web 掲示板，Weblog，
チャット）を処理対象とする場合には，この問題が顕在化するだろう．

\section{おわりに}
\label{sec:owarini}

本論文では，近年盛んに研究活動が行われているテキスト評価分析に関する研究
について，基盤となる研究から最近の研究動向までをまとめた．紹介した一連の
研究領域は，いずれも成熟しているわけではなく，現在，急激に進展している状
況にある．その中にあって，本論文がテキスト評価分析に関する現状あるいは今
後の方向性を見極めるのに役立てれば幸いである．


\acknowledgment

本論文は筆者を含む有志による集い「Affect Analysis 勉強会」の活動から生まれ
た．勉強会に参加し，議論に加わって頂いたすべての方に感謝する．

\bibliographystyle{jnlpbbl}
\begin{thebibliography}{}

\bibitem[\protect\BCAY{Bai, Padmanand, \BBA\ Airoldi}{Bai
  et~al.}{2004}]{bai2004a}
Bai, X., Padmanand, R., \BBA\ Airoldi, E. \BBOP 2004\BBCP.
\newblock \BBOQ Sentiment Extraction from Unstructured Text using Tabu
  Search-Enhanced Markov Blanket\BBCQ\
\newblock In {\Bem Proceedings of the International Workshop on Mining for and
  from the Semantic Web (MSW-2004)}.

\bibitem[\protect\BCAY{Baron \BBA\ Hirst}{Baron \BBA\ Hirst}{2004}]{baron2004a}
Baron, F.\BBACOMMA\ \BBA\ Hirst, G. \BBOP 2004\BBCP.
\newblock \BBOQ Collocations as Cues to Semantic Orientation\BBCQ\
\newblock In {\Bem AAAI Spring Symposium on Exploring Attitude and Affect in
  Text: Theories and Applications}.

\bibitem[\protect\BCAY{Beineke, Hastie, \BBA\ Vaithyanathan}{Beineke
  et~al.}{2004}]{beineke2004a}
Beineke, P., Hastie, T., \BBA\ Vaithyanathan, S. \BBOP 2004\BBCP.
\newblock \BBOQ The Sentimental Factor: Improving Review Classification via
  Human-Provided Information\BBCQ\
\newblock In {\Bem Proceedings of the 42nd Annual Meeting of the Association
  for Computational Linguistics (ACL-2004)}.

\bibitem[\protect\BCAY{Berger, Pietra, \BBA\ Pietra}{Berger
  et~al.}{1996}]{berger1996a}
Berger, A.~L., Pietra, V. J.~D., \BBA\ Pietra, S. A.~D. \BBOP 1996\BBCP.
\newblock \BBOQ A maximum entropy approach to natural language processing\BBCQ\
\newblock {\Bem Computational Linguistics}, {\Bbf 22}  (1), \mbox{\BPGS\
  39--71}.

\bibitem[\protect\BCAY{Bethard, Yu, Thornton, Hatzivassiloglou, \BBA\
  Jurafsky}{Bethard et~al.}{2004}]{bethard2004a}
Bethard, S., Yu, H., Thornton, A., Hatzivassiloglou, V., \BBA\ Jurafsky, D.
  \BBOP 2004\BBCP.
\newblock \BBOQ Automatic Extraction of Opinion Propositions and their
  Holders\BBCQ\
\newblock In {\Bem AAAI Spring Symposium on Exploring Attitude and Affect in
  Text: Theories and Applications}.

\bibitem[\protect\BCAY{Boucouvalas}{Boucouvalas}{2002}]{boucouvalas2002a}
Boucouvalas, A.~C. \BBOP 2002\BBCP.
\newblock \BBOQ Real Time Text-to-Emotion Engine for Expressive Internet
  Communications\BBCQ\
\newblock In {\Bem Proceedings of International Symposium on Communication
  Systems, Networks and Digital Signal Processing (CSNDSP-2002)}.

\bibitem[\protect\BCAY{Cardie, Wiebe, Wilson, \BBA\ Litman}{Cardie
  et~al.}{2003}]{cardie2003a}
Cardie, C., Wiebe, J., Wilson, T., \BBA\ Litman, D.~J. \BBOP 2003\BBCP.
\newblock \BBOQ Combining Low-Level and Summary Representations of Opinions for
  Multi-Perspective Question Answering\BBCQ\
\newblock In {\Bem Proceedings of the New Directions in Question Answering},
  \mbox{\BPGS\ 20--27}.

\bibitem[\protect\BCAY{Chambers, Tetreault, \BBA\ Allen}{Chambers
  et~al.}{2004}]{chambers2004a}
Chambers, N., Tetreault, J., \BBA\ Allen, J. \BBOP 2004\BBCP.
\newblock \BBOQ Approaches for Automatically Tagging Affect\BBCQ\
\newblock In {\Bem AAAI Spring Symposium on Exploring Attitude and Affect in
  Text: Theories and Applications}.

\bibitem[\protect\BCAY{Chandler}{Chandler}{1987}]{chandler1987a}
Chandler, D. \BBOP 1987\BBCP.
\newblock {\Bem Introduction to Modern Statistical Mechanics}.
\newblock Oxford University Press.

\bibitem[\protect\BCAY{Channell}{Channell}{2000}]{channell2000a}
Channell, J. \BBOP 2000\BBCP.
\newblock {\Bem Corpus-based Analysis of Evaluative Lexis}, \BCH\ 3 in
  EVALUATION IN TEXT: Authorial Stance and the Construction of Discourse,
  Edited by Susan Hunston, University of Birmingham, and Geoff Thompson,
  \mbox{\BPGS\ 38--55}.
\newblock Oxford University Press.

\bibitem[\protect\BCAY{Church \BBA\ Hanks}{Church \BBA\
  Hanks}{1989}]{church1989a}
Church, K.~W.\BBACOMMA\ \BBA\ Hanks, P. \BBOP 1989\BBCP.
\newblock \BBOQ Word association norms, mutual information, and
  Lexicography\BBCQ\
\newblock In {\Bem Proceedings of the 27th. Annual Meeting of the Association
  for Computational Linguistics}, \mbox{\BPGS\ 76--83}. Association for
  Computational Linguistics.

\bibitem[\protect\BCAY{{CoNLL-ShardTask}}{{CoNLL-ShardTask}}{2004}]{srl2004}
{CoNLL-ShardTask} \BBOP 2004\BBCP.
\newblock \BBOQ The 9th. Conference on Computational Natural Language Learning.
  Shared Task: Semantic Role Labeling\BBCQ.

\bibitem[\protect\BCAY{{CoNLL-ShardTask}}{{CoNLL-ShardTask}}{2005}]{srl2005}
{CoNLL-ShardTask} \BBOP 2005\BBCP.
\newblock \BBOQ The 10th. Conference on Computational Natural Language
  Learning. Shared Task: Semantic Role Labeling\BBCQ.

\bibitem[\protect\BCAY{Culotta \BBA\ Sorensen}{Culotta \BBA\
  Sorensen}{2004}]{culotta2004a}
Culotta, A.\BBACOMMA\ \BBA\ Sorensen, J. \BBOP 2004\BBCP.
\newblock \BBOQ Dependency Tree Kernels for Relation Extraction\BBCQ\
\newblock In {\Bem Proceedings of the 42nd Annual Meeting of the Association
  for Computational Linguistics (ACL2004)}.

\bibitem[\protect\BCAY{Das \BBA\ Chen}{Das \BBA\ Chen}{2001}]{das2001a}
Das, S.~R.\BBACOMMA\ \BBA\ Chen, M.~Y. \BBOP 2001\BBCP.
\newblock \BBOQ Yahoo! for Amazon: Opinion Extraction from Small Talk on the
  Web\BBCQ\
\newblock In {\Bem Proceedings of the 8th Asia Pacific Finance Association
  Annual Conference}.

\bibitem[\protect\BCAY{Dave, Lawrence, \BBA\ Pennock}{Dave
  et~al.}{2003}]{dave2003a}
Dave, K., Lawrence, S., \BBA\ Pennock, D.~M. \BBOP 2003\BBCP.
\newblock \BBOQ Mining the Peanut Gallery: Opinion Extraction and Semantic
  Classification of Product Reviews\BBCQ\
\newblock In {\Bem Proceedings of the 12th International World Wide Web
  Conference (WWW-2003)}.

\bibitem[\protect\BCAY{Dempster, Laird, \BBA\ Rubin}{Dempster
  et~al.}{1977}]{dempster1977a}
Dempster, A.~P., Laird, N.~M., \BBA\ Rubin, D.~B. \BBOP 1977\BBCP.
\newblock \BBOQ Maximum likelihood from incomplete data via the {EM}
  algorithm\BBCQ\
\newblock {\Bem Journal of the Royal Statistical Society Series B}, {\Bbf 39}
  (1), \mbox{\BPGS\ 1--38}.

\bibitem[\protect\BCAY{Dini \BBA\ Mazzini}{Dini \BBA\
  Mazzini}{2002}]{dini2002a}
Dini, L.\BBACOMMA\ \BBA\ Mazzini, G. \BBOP 2002\BBCP.
\newblock {\Bem Opinion classification through information extraction},
  \mbox{\BPGS\ 299--310}.
\newblock in A. Zanasi, C. A. Brebbia, N. F. F. Ebecken and P. Melli (eds),
  Data Mining III, WIT Press.

\bibitem[\protect\BCAY{Dunning}{Dunning}{1993}]{dunning1993a}
Dunning, T. \BBOP 1993\BBCP.
\newblock \BBOQ Accurate methods for the statistics of surprise and
  coincidence\BBCQ\
\newblock {\Bem Computational Linguistics}, {\Bbf 19}, \mbox{\BPGS\ 61--74}.

\bibitem[\protect\BCAY{Fellbaum}{Fellbaum}{1998}]{fellbaum1998a}
Fellbaum, C. \BBOP 1998\BBCP.
\newblock {\Bem WordNet: An Electronic Lexical Database}.
\newblock The MIT Press.

\bibitem[\protect\BCAY{Galley, McKeown, Hirschberg, \BBA\ Shriberg}{Galley
  et~al.}{2004}]{galley2004a}
Galley, M., McKeown, K., Hirschberg, J., \BBA\ Shriberg, E. \BBOP 2004\BBCP.
\newblock \BBOQ Identifying Agreement and Disagreement in Conversational
  Speech: Use of Bayesian Networks to Model Pragmatic Dependencies\BBCQ\
\newblock In {\Bem Proceedings of the 42nd Annual Meeting of the Association
  for Computational Linguistics (ACL-2004)}.

\bibitem[\protect\BCAY{Gamon}{Gamon}{2004}]{gamon2004a}
Gamon, M. \BBOP 2004\BBCP.
\newblock \BBOQ Sentiment classification on customer feedback data: noisy data,
  large feature vectors, and the role of linguistic analysis\BBCQ\
\newblock In {\Bem Proceedings of the 20th International Conference on
  Computational Linguistics (COLING-2004)}.

\bibitem[\protect\BCAY{Gamon \BBA\ Aue}{Gamon \BBA\ Aue}{2005}]{gamon2005a}
Gamon, M.\BBACOMMA\ \BBA\ Aue, A. \BBOP 2005\BBCP.
\newblock \BBOQ Automatic Identification of Sentiment Vocabulary: Exploiting
  Low Association with Known Sentiment Terms\BBCQ\
\newblock In {\Bem Proceedings of the ACL Workshop on Feature Engineering for
  Machine Learning in Natural Language Processing}.

\bibitem[\protect\BCAY{Hatzivassiloglou \BBA\ McKeown}{Hatzivassiloglou \BBA\
  McKeown}{1997}]{hatzivassiloglou1997a}
Hatzivassiloglou, V.\BBACOMMA\ \BBA\ McKeown, K.~R. \BBOP 1997\BBCP.
\newblock \BBOQ Predicting the Semantic Orientation of Adjectives\BBCQ\
\newblock In {\Bem Proceedings of the 35th Annual Meeting of the Association
  for Computational Linguistics (ACL-1997)}.

\bibitem[\protect\BCAY{Hatzivassiloglou \BBA\ Wiebe}{Hatzivassiloglou \BBA\
  Wiebe}{2000}]{hatzivassiloglou2000a}
Hatzivassiloglou, V.\BBACOMMA\ \BBA\ Wiebe, J.~M. \BBOP 2000\BBCP.
\newblock \BBOQ Effect of Adjective Orientation and Gradability on Sentence
  Subjectivity\BBCQ\
\newblock In {\Bem Proceedings of the 18th International Conference on
  Computational Linguistics (COLING-2000)}, \mbox{\BPGS\ 299--305}.

\bibitem[\protect\BCAY{Holzman \BBA\ Pottenger}{Holzman \BBA\
  Pottenger}{2003}]{holzman2003a}
Holzman, L.~E.\BBACOMMA\ \BBA\ Pottenger, W.~M. \BBOP 2003\BBCP.
\newblock \BBOQ Classification of Emotions in Internet Chat: An Application of
  Machine Learning Using Speech Phonemes\BBCQ\
\newblock \BTR, Lehigh univ (LU-CSE-03-002).

\bibitem[\protect\BCAY{Hu \BBA\ Liu}{Hu \BBA\ Liu}{2004a}]{hu2004a}
Hu, M.\BBACOMMA\ \BBA\ Liu, B. \BBOP 2004a\BBCP.
\newblock \BBOQ Mining and Summarizing Customer Reviews\BBCQ\
\newblock In {\Bem Proceedings of the 2004 ACM SIGKDD international conference
  on Knowledge discovery and data mining(KDD-2004)}, \mbox{\BPGS\ 168--177}.

\bibitem[\protect\BCAY{Hu \BBA\ Liu}{Hu \BBA\ Liu}{2004b}]{hu_min2004b}
Hu, M.\BBACOMMA\ \BBA\ Liu, B. \BBOP 2004b\BBCP.
\newblock \BBOQ Mining Opinion Features in Customer Reviews\BBCQ\
\newblock In {\Bem Proceedings of 19th National Conference on Artificial
  Intellgience (AAAI-2004)}.

\bibitem[\protect\BCAY{Hurst \BBA\ Nigam}{Hurst \BBA\ Nigam}{2004}]{hurst2004a}
Hurst, M.\BBACOMMA\ \BBA\ Nigam, K. \BBOP 2004\BBCP.
\newblock \BBOQ Retrieving Topical Sentiments from Online Document
  Collections\BBCQ\
\newblock In {\Bem Proceedings of the 11th Document Recognition and Retrieval}.

\bibitem[\protect\BCAY{Ikehara, Miyazaki, Shirai, Yokoo, Nakaiwa, Ogura,
  Ooyama, \BBA\ Hayashi}{Ikehara et~al.}{1997}]{goitaikei-e}
Ikehara, S., Miyazaki, M., Shirai, S., Yokoo, A., Nakaiwa, H., Ogura, K.,
  Ooyama, Y., \BBA\ Hayashi, Y. \BBOP 1997\BBCP.
\newblock {\Bem Goi-Taikei - A Japanese Lexicon}.
\newblock Iwanami Shoten.

\bibitem[\protect\BCAY{Inoue \BBA\ Carlucci}{Inoue \BBA\
  Carlucci}{2001}]{inoue2001a}
Inoue, J.\BBACOMMA\ \BBA\ Carlucci, D.~M. \BBOP 2001\BBCP.
\newblock \BBOQ Image restoration using the q-ising spin glass\BBCQ\
\newblock {\Bem Physical Review}, {\Bbf 64}  (036121-1-036121-18).

\bibitem[\protect\BCAY{Jaakkola \BBA\ Haussler}{Jaakkola \BBA\
  Haussler}{1998}]{jaakkola1998}
Jaakkola, T.\BBACOMMA\ \BBA\ Haussler, D. \BBOP 1998\BBCP.
\newblock \BBOQ Exploiting generativ models in discriminative classifiers\BBCQ\
\newblock In {\Bem Proc. of the Advances in Neural Information Prcessing System
  2}, \mbox{\BPGS\ 487--493}.

\bibitem[\protect\BCAY{Kamps, Marx, Mokken, \BBA\ de~Rijke}{Kamps
  et~al.}{2004}]{kamps2004a}
Kamps, J., Marx, M., Mokken, R.~J., \BBA\ de~Rijke, M. \BBOP 2004\BBCP.
\newblock \BBOQ Using WordNet to Measure Semantic Orientations of
  Adjectives\BBCQ\
\newblock In {\Bem Proceedings of the 4th International Conference on Language
  Resources and Evaluation(LREC-2004)}.

\bibitem[\protect\BCAY{Kanayama, Nasukawa, \BBA\ Watanabe}{Kanayama
  et~al.}{2004}]{kanayama2004a}
Kanayama, H., Nasukawa, T., \BBA\ Watanabe, H. \BBOP 2004\BBCP.
\newblock \BBOQ Deeper Sentiment Analysis Using Machine Translation
  Technology\BBCQ\
\newblock In {\Bem Proceedings of the 20th International Conference on
  Computational Linguistics (COLING-2004)}.

\bibitem[\protect\BCAY{Kennedy \BBA\ Inkpen}{Kennedy \BBA\
  Inkpen}{2005}]{kennedy2005a}
Kennedy, A.\BBACOMMA\ \BBA\ Inkpen, D. \BBOP 2005\BBCP.
\newblock \BBOQ Sentiment Classification of Movie and Product Reviews using
  Contextual Valence Shifters\BBCQ\
\newblock In {\Bem Workshop on the Analysis of Informal and Formal Information
  Exchange during Negotiations (FINEXIN-2005)}.

\bibitem[\protect\BCAY{Kim \BBA\ Hovy}{Kim \BBA\ Hovy}{2004}]{kim2004a}
Kim, S.-M.\BBACOMMA\ \BBA\ Hovy, E. \BBOP 2004\BBCP.
\newblock \BBOQ Determining the Sentiment of Opinions\BBCQ\
\newblock In {\Bem Proceedings of the 20th International Conference on
  Computational Linguistics (COLING-2004)}.

\bibitem[\protect\BCAY{Kleinberg \BBA\ Tardos}{Kleinberg \BBA\
  Tardos}{1999}]{kleinberg1999a}
Kleinberg, J.\BBACOMMA\ \BBA\ Tardos, E. \BBOP 1999\BBCP.
\newblock \BBOQ Approximation Algorithms for Classification Problems with
  Pairwise Relationships: Metric Labeling and Markov Random Fields\BBCQ\
\newblock In {\Bem Proceedings of the 40th Annual Symposium on Foundations of
  Computer Science}.

\bibitem[\protect\BCAY{Koppel \BBA\ Schler}{Koppel \BBA\
  Schler}{2005}]{koppel2005a}
Koppel, M.\BBACOMMA\ \BBA\ Schler, J. \BBOP 2005\BBCP.
\newblock \BBOQ The Importance of Neutral Examples for Learning Sentiment\BBCQ\
\newblock In {\Bem Workshop on the Analysis of Informal and Formal Information
  Exchange during Negotiations (FINEXIN-2005)}.

\bibitem[\protect\BCAY{Koppel \BBA\ Shtrimberg}{Koppel \BBA\
  Shtrimberg}{2004}]{koppel2004a}
Koppel, M.\BBACOMMA\ \BBA\ Shtrimberg, I. \BBOP 2004\BBCP.
\newblock \BBOQ Good News or Bad News? Let the Market Decide\BBCQ\
\newblock In {\Bem AAAI Spring Symposium on Exploring Attitude and Affect in
  Text: Theories and Applications}.

\bibitem[\protect\BCAY{Kresel}{Kresel}{1999}]{kresel1999a}
Kresel, U. \BBOP 1999\BBCP.
\newblock \BBOQ Pairwise classification and support vector machines\BBCQ\
\newblock {\Bem Advances in kernel methods: support vector learning},
  \mbox{\BPGS\ 255--268}.

\bibitem[\protect\BCAY{Landauer \BBA\ Dumais}{Landauer \BBA\
  Dumais}{1997}]{landauer1997a}
Landauer, T.~K.\BBACOMMA\ \BBA\ Dumais, S.~T. \BBOP 1997\BBCP.
\newblock \BBOQ A solution to Plato's problem: The latent semantic analysis
  theory of the acquisition, induction, and representation of knowledge\BBCQ\
\newblock {\Bem Psychological Review}, {\Bbf 104}, \mbox{\BPGS\ 211--240}.

\bibitem[\protect\BCAY{Li \BBA\ Yamanishi}{Li \BBA\ Yamanishi}{2001}]{li2001a}
Li, H.\BBACOMMA\ \BBA\ Yamanishi, K. \BBOP 2001\BBCP.
\newblock \BBOQ Mining from open answers in questionnaire data\BBCQ\
\newblock In {\Bem Proceedings of the seventh ACM SIGKDD international
  conference on Knowledge discovery and data mining}, \mbox{\BPGS\ 443--449}.

\bibitem[\protect\BCAY{Liu, Hu, \BBA\ Cheng}{Liu et~al.}{2005}]{liu2005a}
Liu, B., Hu, M., \BBA\ Cheng, J. \BBOP 2005\BBCP.
\newblock \BBOQ Opinion Observer: Analyzing and Comparing Opinions on the
  Web\BBCQ\
\newblock In {\Bem Proceedings of the 14th International World Wide Web
  Conference (WWW-2005)}.

\bibitem[\protect\BCAY{Liu, Lieberman, \BBA\ Selker}{Liu
  et~al.}{2003}]{liu2003a}
Liu, H., Lieberman, H., \BBA\ Selker, T. \BBOP 2003\BBCP.
\newblock \BBOQ A Model of Textual Affect Sensing using Real-World
  Knowledge\BBCQ\
\newblock In {\Bem Proceedings of the 2003 International Conference on
  Intelligent User Interfaces (IUI-2003)}.

\bibitem[\protect\BCAY{Mackay}{Mackay}{2003}]{mackay2003a}
Mackay, D. J.~C. \BBOP 2003\BBCP.
\newblock {\Bem Information Theory, Inference and Learning Algorithms}.
\newblock Cambridge University Press.

\bibitem[\protect\BCAY{Maeireizo, Litman, \BBA\ Hwa}{Maeireizo
  et~al.}{2004}]{maeireizo2004a}
Maeireizo, B., Litman, D., \BBA\ Hwa, R. \BBOP 2004\BBCP.
\newblock \BBOQ Co-training for Predicting Emotions with Spoken Dialogue
  Data\BBCQ\
\newblock In {\Bem In ACL-04. Companion Volume to the Proceedings of the
  Conference. Proceedings of the Student Research Workshop, Interactive
  Posters/Demonstrations and Tutorial Abstracts}, \mbox{\BPGS\ 203--206}.

\bibitem[\protect\BCAY{Martin}{Martin}{2000}]{martin2000a}
Martin, J. \BBOP 2000\BBCP.
\newblock {\Bem Beyond Exchange: Appraisal systems in English}, \mbox{\BPGS\
  142--175}.
\newblock In Hunston, S. and Thompson, G. eds., Evaluation in Text (Oxford
  University).

\bibitem[\protect\BCAY{Martin}{Martin}{2003}]{martin2003a}
Martin, J.~R. \BBOP 2003\BBCP.
\newblock \BBOQ Introduction, special issue on Appraisal\BBCQ\
\newblock {\Bem Text}, {\Bbf 23}  (2), \mbox{\BPGS\ 171--181}.

\bibitem[\protect\BCAY{Matsumoto, Takamura, \BBA\ Okumura}{Matsumoto
  et~al.}{2005}]{matsumoto2005a}
Matsumoto, S., Takamura, H., \BBA\ Okumura, M. \BBOP 2005\BBCP.
\newblock \BBOQ Sentiment Classification using Word Sub-Sequences and
  Dependency Sub-Trees\BBCQ\
\newblock In {\Bem Proceedings of the 9th Pacific-Asia International Conference
  on Knowledge Discovery and Data Mining (PAKDD-2005)}.

\bibitem[\protect\BCAY{Mitchell}{Mitchell}{1997}]{mitchell1997a}
Mitchell, T. \BBOP 1997\BBCP.
\newblock {\Bem Machine Learning}.
\newblock McGraw-Hill.

\bibitem[\protect\BCAY{Morinaga, Yamanishi, Tateishi, \BBA\ Fukushima}{Morinaga
  et~al.}{2002}]{morinaga2002a}
Morinaga, S., Yamanishi, K., Tateishi, K., \BBA\ Fukushima, T. \BBOP 2002\BBCP.
\newblock \BBOQ Mining Product Reputations on the Web\BBCQ\
\newblock In {\Bem Proceedings of the 8th ACM SIGKDD International Conference
  on Knowledge Discovery and Data Mining (KDD-2002)}.

\bibitem[\protect\BCAY{{MUC6}}{{MUC6}}{1995}]{muc6}
{MUC6} \BBOP 1995\BBCP.
\newblock \BBOQ The 6th. Message Understanding Conference\BBCQ.

\bibitem[\protect\BCAY{{MUC7}}{{MUC7}}{1997}]{muc7}
{MUC7} \BBOP 1997\BBCP.
\newblock \BBOQ The 7th. Message Understanding Conference\BBCQ.

\bibitem[\protect\BCAY{Mullen \BBA\ Collier}{Mullen \BBA\
  Collier}{2004}]{mullen2004a}
Mullen, T.\BBACOMMA\ \BBA\ Collier, N. \BBOP 2004\BBCP.
\newblock \BBOQ Sentiment analysis using support vector machines with diverse
  information sources\BBCQ\
\newblock In {\Bem Proceedings of the 42nd Annual Meeting of the Association
  for Computational Linguistics (ACL-2004)}.

\bibitem[\protect\BCAY{Nasukawa \BBA\ Yi}{Nasukawa \BBA\
  Yi}{2003}]{nasukawa2003a}
Nasukawa, T.\BBACOMMA\ \BBA\ Yi, J. \BBOP 2003\BBCP.
\newblock \BBOQ Sentiment Analysis: Capturing Favorability Using Natural
  Language Processing\BBCQ\
\newblock In {\Bem Proceedings of the 2nd International Conference on Knowledge
  Capture (K-CAP 2003)}.

\bibitem[\protect\BCAY{{N}ational {I}nstitute~of {S}tandards \BBA\
  {T}echnology}{{N}ational {I}nstitute~of {S}tandards \BBA\
  {T}echnology}{2000}]{rdc}
{N}ational {I}nstitute~of {S}tandards\BBACOMMA\ \BBA\ {T}echnology \BBOP
  2000\BBCP.
\newblock \BBOQ {A}utomatic {C}ontent {E}xtraction\BBCQ.
\newblock http://www.nist.gov/speech/tests/ace/index.htm.

\bibitem[\protect\BCAY{Nigam \BBA\ Hurst}{Nigam \BBA\ Hurst}{2004}]{nigam2004a}
Nigam, K.\BBACOMMA\ \BBA\ Hurst, M. \BBOP 2004\BBCP.
\newblock \BBOQ Towards a Robust Metric of Opinion\BBCQ\
\newblock In {\Bem AAAI Spring Symposium on Exploring Attitude and Affect in
  Text: Theories and Applications}.

\bibitem[\protect\BCAY{Nigam, McCallum, Thrun, \BBA\ Mitchell}{Nigam
  et~al.}{2000}]{nigam2000a}
Nigam, K., McCallum, A., Thrun, S., \BBA\ Mitchell, T. \BBOP 2000\BBCP.
\newblock \BBOQ Text Classification from Labeled and Unlabeled Documents using
  EM\BBCQ\
\newblock {\Bem Machine Learning}, {\Bbf 39}  (2/3), \mbox{\BPGS\ 103--134}.

\bibitem[\protect\BCAY{Pang \BBA\ Lee}{Pang \BBA\ Lee}{2004}]{pang2004a}
Pang, B.\BBACOMMA\ \BBA\ Lee, L. \BBOP 2004\BBCP.
\newblock \BBOQ A Sentimental Education: Sentiment Analysis Using Subjectivity
  Summarization Based on Minimum Cuts\BBCQ\
\newblock In {\Bem Proceedings of the 42nd Annual Meeting of the Association
  for Computational Linguistics (ACL-2004)}.

\bibitem[\protect\BCAY{Pang \BBA\ Lee}{Pang \BBA\ Lee}{2005}]{pang2005a}
Pang, B.\BBACOMMA\ \BBA\ Lee, L. \BBOP 2005\BBCP.
\newblock \BBOQ Seeing Stars: Exploiting Class Relationships for Sentiment
  Categorization with Respect to Rating Scales\BBCQ\
\newblock In {\Bem Proceedings of the 43rd Annual Meeting of the Association
  for Computational Linguistics (ACL-2005)}.

\bibitem[\protect\BCAY{Pang, Lee, \BBA\ Vaithyanathan}{Pang
  et~al.}{2002}]{pang2002a}
Pang, B., Lee, L., \BBA\ Vaithyanathan, S. \BBOP 2002\BBCP.
\newblock \BBOQ Thumbs up? Sentiment Classification using Machine Learning
  Techniques\BBCQ\
\newblock In {\Bem Proceedings of the Conference on Empirical Methods in
  Natural Language Processing (EMNLP-2002)}, \mbox{\BPGS\ 76--86}.

\bibitem[\protect\BCAY{Pearl}{Pearl}{1988}]{pearl1988a}
Pearl, J. \BBOP 1988\BBCP.
\newblock {\Bem Probabilistic Reasoning in Intelligent Systems: Networks of
  Plausible Inference}.
\newblock Morgan Kaufmann.

\bibitem[\protect\BCAY{Polanyi \BBA\ Zaenen}{Polanyi \BBA\
  Zaenen}{2004}]{polanyi2004a}
Polanyi, L.\BBACOMMA\ \BBA\ Zaenen, A. \BBOP 2004\BBCP.
\newblock \BBOQ Contextual Valence Shifters\BBCQ\
\newblock In {\Bem AAAI Spring Symposium on Exploring Attitude and Affect in
  Text: Theories and Applications}.

\bibitem[\protect\BCAY{Qu, Shanahan, \BBA\ Wiebe}{Qu et~al.}{2004}]{aaai2004a}
Qu, Y., Shanahan, J., \BBA\ Wiebe, J. \BBOP 2004\BBCP.
\newblock \BBOQ Exploring Attitude and Affect in Text: Theories and
  Applications\BBCQ\
\newblock \BTR\ SS-04-07, Papers from 2004 AAAI Spring Symposium.

\bibitem[\protect\BCAY{Rifkin \BBA\ Klautau}{Rifkin \BBA\
  Klautau}{2004}]{rifkin2004a}
Rifkin, R.\BBACOMMA\ \BBA\ Klautau, A. \BBOP 2004\BBCP.
\newblock \BBOQ In Defense of One-Vs-All Classification\BBCQ\
\newblock {\Bem Journal of Machine Learning Research}, {\Bbf 5}, \mbox{\BPGS\
  101--141}.

\bibitem[\protect\BCAY{Riloff \BBA\ Wiebe}{Riloff \BBA\
  Wiebe}{2003}]{riloff2003a}
Riloff, E.\BBACOMMA\ \BBA\ Wiebe, J. \BBOP 2003\BBCP.
\newblock \BBOQ Learning Extraction Patterns for Subjective Expressions\BBCQ\
\newblock In {\Bem Proceedings of the Conference on Empirical Methods in
  Natural Language Processing (EMNLP-2003)}.

\bibitem[\protect\BCAY{Riloff, Wiebe, \BBA\ Wilson}{Riloff
  et~al.}{2003}]{riloff2003b}
Riloff, E., Wiebe, J., \BBA\ Wilson, T. \BBOP 2003\BBCP.
\newblock \BBOQ Learning Subjective Nouns using Extraction Pattern
  Bootstrapping\BBCQ\
\newblock In {\Bem Proceedings of the 7th Conference on Computational Natural
  Language Learning (CoNLL-2003)}, \mbox{\BPGS\ 25--32}.

\bibitem[\protect\BCAY{Roman \BBA\ Piwek}{Roman \BBA\ Piwek}{2004}]{roman2004a}
Roman, N.~T.\BBACOMMA\ \BBA\ Piwek, P. \BBOP 2004\BBCP.
\newblock \BBOQ Politeness and Summarization: an Exploratory Study\BBCQ\
\newblock In {\Bem AAAI Spring Symposium on Exploring Attitude and Affect in
  Text: Theories and Applications}.

\bibitem[\protect\BCAY{Salvetti, Lewis, \BBA\ Reichenbach}{Salvetti
  et~al.}{2004}]{salvetti2004a}
Salvetti, F., Lewis, S., \BBA\ Reichenbach, C. \BBOP 2004\BBCP.
\newblock \BBOQ Impact of Lexical Filtering on Overall Opinion Polarity
  Identification\BBCQ\
\newblock In {\Bem AAAI Spring Symposium on Exploring Attitude and Affect in
  Text: Theories and Applications}.

\bibitem[\protect\BCAY{Sano}{Sano}{2004}]{sano2004a}
Sano, M. \BBOP 2004\BBCP.
\newblock \BBOQ An Affect-Based Text Mining System for Qualitative Analysis of
  Japanese Free Text\BBCQ\
\newblock In {\Bem AAAI Spring Symposium on Exploring Attitude and Affect in
  Text: Theories and Applications}.

\bibitem[\protect\BCAY{Sebastiani}{Sebastiani}{2002}]{sebastiani2002a}
Sebastiani, F. \BBOP 2002\BBCP.
\newblock \BBOQ Machine learning in automated text categorization\BBCQ\
\newblock {\Bem ACM Computing Surveys}, {\Bbf 34}  (1), \mbox{\BPGS\ 1--47}.

\bibitem[\protect\BCAY{Seerwester, Dumais, Furnas, Landauer, \BBA\
  Harshman}{Seerwester et~al.}{1990}]{deerwester1990a}
Seerwester, S., Dumais, S.~T., Furnas, G.~W., Landauer, T.~K., \BBA\ Harshman,
  R. \BBOP 1990\BBCP.
\newblock \BBOQ Indexing by latent semantic analysis\BBCQ\
\newblock {\Bem Journal of the American Society for Information Science}, {\Bbf
  41}  (6), \mbox{\BPGS\ 391--407}.

\bibitem[\protect\BCAY{Sekine \BBA\ Isahara}{Sekine \BBA\ Isahara}{1999}]{irex}
Sekine, S.\BBACOMMA\ \BBA\ Isahara, H. \BBOP 1999\BBCP.
\newblock \BBOQ IREX project overview\BBCQ\
\newblock In {\Bem Proceedings of the IREX Workshop}.

\bibitem[\protect\BCAY{Smadja}{Smadja}{1994}]{smadja1994a}
Smadja, F.~Z. \BBOP 1994\BBCP.
\newblock \BBOQ Retrieving Collocations from Text: Xtract\BBCQ\
\newblock {\Bem Computational Linguistics}, {\Bbf 19}  (1), \mbox{\BPGS\
  143--177}.

\bibitem[\protect\BCAY{Smola \BBA\ Scholkopf}{Smola \BBA\
  Scholkopf}{1998}]{smola1998a}
Smola, A.\BBACOMMA\ \BBA\ Scholkopf, B. \BBOP 1998\BBCP.
\newblock \BBOQ A tutorial on support vector regression\BBCQ.

\bibitem[\protect\BCAY{Stone, Dunphy, Smith, \BBA\ Ogilvie}{Stone
  et~al.}{1966}]{stone1966a}
Stone, P.~J., Dunphy, D.~C., Smith, M.~S., \BBA\ Ogilvie, D.~M. \BBOP
  1966\BBCP.
\newblock {\Bem The General Inquirer: A Computer Approach to Content Analysis}.
\newblock MIT Press, Cambridge.

\bibitem[\protect\BCAY{Stoyanov, Cardie, Litman, \BBA\ Wiebe}{Stoyanov
  et~al.}{2004}]{stoyanov2004a}
Stoyanov, V., Cardie, C., Litman, D., \BBA\ Wiebe, J. \BBOP 2004\BBCP.
\newblock \BBOQ Evaluating an Opinion Annotation Scheme Using a New
  Multi-Perspective Question and Answer Corpus\BBCQ\
\newblock In {\Bem AAAI Spring Symposium on Exploring Attitude and Affect in
  Text: Theories and Applications}.

\bibitem[\protect\BCAY{Strapparava \BBA\ Valitutti}{Strapparava \BBA\
  Valitutti}{2004}]{strapparava2004a}
Strapparava, C.\BBACOMMA\ \BBA\ Valitutti, A. \BBOP 2004\BBCP.
\newblock \BBOQ WordNet-Affect: an Affective Extension of Word Net\BBCQ\
\newblock In {\Bem Proceedings of the 4th International Conference on Language
  Resources and Evaluation(LREC-2004)}.

\bibitem[\protect\BCAY{Taboada \BBA\ Grieve}{Taboada \BBA\
  Grieve}{2004}]{taboada2004a}
Taboada, M.\BBACOMMA\ \BBA\ Grieve, J. \BBOP 2004\BBCP.
\newblock \BBOQ Analyzing Appraisal Automatically\BBCQ\
\newblock In {\Bem AAAI Spring Symposium on Exploring Attitude and Affect in
  Text: Theories and Applications}.

\bibitem[\protect\BCAY{Takamura, Inui, \BBA\ Okumura}{Takamura
  et~al.}{2005}]{takamura2005a}
Takamura, H., Inui, T., \BBA\ Okumura, M. \BBOP 2005\BBCP.
\newblock \BBOQ Extracting Semantic Orientation of Words using Spin Model\BBCQ\
\newblock In {\Bem Proceedings of the 43rd Annual Meeting of the Association
  for Computational Linguistics (ACL-2005)}.

\bibitem[\protect\BCAY{Turney \BBA\ Littman}{Turney \BBA\
  Littman}{2003}]{turney2003a}
Turney, P.\BBACOMMA\ \BBA\ Littman, M.~L. \BBOP 2003\BBCP.
\newblock \BBOQ Measuring Praise and Criticism: Inference of Semantic
  Orientation from Association\BBCQ\
\newblock {\Bem ACM Transactions on Information Systems (TOIS)}, {\Bbf 21}
  (4).

\bibitem[\protect\BCAY{Turney}{Turney}{2002}]{turney2002a}
Turney, P.~D. \BBOP 2002\BBCP.
\newblock \BBOQ Thumbs up? thumbs down? Semantic Orientation Applied to
  Unsupervised Classification of Reviews\BBCQ\
\newblock In {\Bem Proceedings of the 40th Annual Meeting of the Association
  for Computational Linguistics (ACL-2002)}, \mbox{\BPGS\ 417--424}.

\bibitem[\protect\BCAY{Turney \BBA\ Littman}{Turney \BBA\
  Littman}{2002}]{turney2002b}
Turney, P.~D.\BBACOMMA\ \BBA\ Littman, M.~L. \BBOP 2002\BBCP.
\newblock \BBOQ Unsupervised Learning of Semantic Orientation from a
  Hundred-Billion-Word Corpus\BBCQ\
\newblock \BTR, Technical Report NRC Technical Report ERB-1094, Institute for
  Information Technology, National Research Council Canada.

\bibitem[\protect\BCAY{Vapnik}{Vapnik}{1995}]{vapnik1995a}
Vapnik, V.~N. \BBOP 1995\BBCP.
\newblock {\Bem The Nature of Statistical Learning Theory}.
\newblock Springer.

\bibitem[\protect\BCAY{Vegnaduzzo}{Vegnaduzzo}{2004}]{vegnaduzzo2004a}
Vegnaduzzo, S. \BBOP 2004\BBCP.
\newblock \BBOQ Acquisition of Subjective Adjectives with Limited
  Resources\BBCQ\
\newblock In {\Bem AAAI Spring Symposium on Exploring Attitude and Affect in
  Text: Theories and Applications}.

\bibitem[\protect\BCAY{Wiebe, Wilson, Bruce, Bell, \BBA\ Martin}{Wiebe
  et~al.}{2004}]{wiebe2004a}
Wiebe, J., Wilson, T., Bruce, R., Bell, M., \BBA\ Martin, M. \BBOP 2004\BBCP.
\newblock \BBOQ Learning subjective language\BBCQ\
\newblock {\Bem Computational Linguistics}, {\Bbf 30}  (3).

\bibitem[\protect\BCAY{Wiebe, Wilson, \BBA\ Bell}{Wiebe
  et~al.}{2001}]{wiebe2001a}
Wiebe, J., Wilson, T., \BBA\ Bell, M. \BBOP 2001\BBCP.
\newblock \BBOQ Identifying Collocations for Recognizing Opinions\BBCQ\
\newblock In {\Bem Proceedings of the ACL/EACL Workshop on Collocation}.

\bibitem[\protect\BCAY{Wiebe}{Wiebe}{2000}]{wiebe2000a}
Wiebe, J.~M. \BBOP 2000\BBCP.
\newblock \BBOQ Learning Subjectives Adjectives from Corpora\BBCQ\
\newblock In {\Bem Proceedings of the 17th National Conference on Artificial
  Intelligence (AAAI-2000)}.

\bibitem[\protect\BCAY{Wiebe, Bruce, \BBA\ O'hara}{Wiebe
  et~al.}{1999}]{wiebe1999a}
Wiebe, J.~M., Bruce, R.~F., \BBA\ O'hara, T.~P. \BBOP 1999\BBCP.
\newblock \BBOQ Development and Use of a Gold-Standard Data Set for
  Subjectivity Classifications\BBCQ\
\newblock In {\Bem Proceedings of the 37th Annual Meeting of the Association
  for Computational Linguistics (ACL-1999)}, \mbox{\BPGS\ 246--253}.

\bibitem[\protect\BCAY{Wolpert}{Wolpert}{1992}]{wolpert1992a}
Wolpert, D.~H. \BBOP 1992\BBCP.
\newblock \BBOQ Stacked Generalization\BBCQ\
\newblock {\Bem Neural Networks}, {\Bbf 5}, \mbox{\BPGS\ 241--259}.

\bibitem[\protect\BCAY{Wu, Khan, Fisher, Shuler, \BBA\ Pottenger}{Wu
  et~al.}{2002}]{wu2002a}
Wu, T., Khan, F.~M., Fisher, T.~A., Shuler, L.~A., \BBA\ Pottenger, W.~M. \BBOP
  2002\BBCP.
\newblock \BBOQ Posting Act Tagging Using Transformation-Based Learning\BBCQ\
\newblock In {\Bem Proceedings of the 2002 IEEE International Conference on
  Data Mining (ICDM-2002)}.

\bibitem[\protect\BCAY{Yi \BBA\ Niblack}{Yi \BBA\ Niblack}{2005}]{yi2005a}
Yi, J.\BBACOMMA\ \BBA\ Niblack, W. \BBOP 2005\BBCP.
\newblock \BBOQ Sentiment Mining in WebFountain\BBCQ\
\newblock In {\Bem Proceedings of the 21st International Conference on Data
  Engineering (ICDE-2005)}.

\bibitem[\protect\BCAY{Yu \BBA\ Hatzivassiloglou}{Yu \BBA\
  Hatzivassiloglou}{2003}]{yu2003a}
Yu, H.\BBACOMMA\ \BBA\ Hatzivassiloglou, V. \BBOP 2003\BBCP.
\newblock \BBOQ Towards Answering Opinion Questions: Separating Facts from
  Opinions and Identifying the Polarity of Opinion Sentences\BBCQ\
\newblock In {\Bem Proceedings of the Conference on Empirical Methods in
  Natural Language Processing (EMNLP-2003)}.

\bibitem[\protect\BCAY{Zelenko, Aone, \BBA\ Richardella}{Zelenko
  et~al.}{2003}]{zelenko2003a}
Zelenko, D., Aone, C., \BBA\ Richardella, A. \BBOP 2003\BBCP.
\newblock \BBOQ Kernel methods for relation extraction\BBCQ\
\newblock {\Bem Journal of Machine Learning Research}, {\Bbf 3}, \mbox{\BPGS\
  1083--1106}.

\bibitem[\protect\BCAY{大塚}{大塚}{2004}]{ootsuka2004a}
大塚（乾）裕子 \BBOP 2004\BBCP.
\newblock \Jem{自由記述アンケート回答の意図抽出および自動分類に関する研究
  -要求意図を中心に-}.
\newblock 博士論文, 神戸大学大学院自然科学研究科.

\bibitem[\protect\BCAY{小林\JBA 乾\JBA 松本\JBA 立石\JBA 福島}{小林\Jetal
  }{2005}]{kobayashi2005a}
小林のぞみ\JBA 乾健太郎\JBA 松本裕治\JBA 立石健二\JBA 福島俊一 \BBOP 2005\BBCP.
\newblock \JBOQ 意見抽出のための評価表現の収集\JBCQ\
\newblock \Jem{自然言語処理}, {\Bbf 12}  (2), \mbox{\BPGS\ 203--222}.

\bibitem[\protect\BCAY{小林\JBA 乾\JBA 乾}{小林\Jetal }{2001}]{kobayashi2001a}
小林のぞみ\JBA 乾孝司\JBA 乾健太郎 \BBOP 2001\BBCP.
\newblock \JBOQ 語釈文を利用した「p/n辞書」の作成\JBCQ\
\newblock \Jem{人工知能学会言語・音声理解と対話研究会 (SLUD-33)}, \mbox{\BPGS\
  45--50}.

\bibitem[\protect\BCAY{小林\JBA 飯田\JBA 乾\JBA 松本}{小林\Jetal
  }{2005}]{kobayashi2005b}
小林のぞみ\JBA 飯田龍\JBA 乾健太郎\JBA 松本裕治 \BBOP 2005\BBCP.
\newblock \JBOQ 照応解析手法を利用した属性-評価値対および意見性情報の抽出\JBCQ\
\newblock \Jem{言語処理学会第11回年次大会}.

\bibitem[\protect\BCAY{筬島\JBA 嶋田\JBA 遠藤}{筬島\Jetal
  }{2005}]{osajima2005a}
筬島郁子\JBA 嶋田和孝\JBA 遠藤勉 \BBOP 2005\BBCP.
\newblock \JBOQ 系列パターンを利用した評価表現の分類\JBCQ\
\newblock \Jem{言語処理学会第11回年次大会}.

\bibitem[\protect\BCAY{奥村\JBA 難波}{奥村\JBA 難波}{2005}]{oku2005a}
奥村学\JBA 難波英嗣 \BBOP 2005\BBCP.
\newblock \Jem{テキスト自動要約}.
\newblock オーム社.

\bibitem[\protect\BCAY{奥村\JBA 南野\JBA 藤木\JBA 鈴木}{奥村\Jetal
  }{2004}]{blogwatcher}
奥村学\JBA 南野朋之\JBA 藤木稔明\JBA 鈴木泰裕 \BBOP 2004\BBCP.
\newblock \JBOQ blogページの自動収集と監視に基づくテキストマイニング\JBCQ\
\newblock
  \Jem{人工知能学会セマンティックウェブとオントロジー研究会(SIG-SWO-A401-01)}.

\bibitem[\protect\BCAY{中山\JBA 江口\JBA 神門}{中山\Jetal
  }{2004}]{nakayama2004a}
中山記男\JBA 江口浩二\JBA 神門典子 \BBOP 2004\BBCP.
\newblock \JBOQ 感情表現の抽出手法に関する提案\JBCQ\
\newblock \Jem{情報処理学会自然言語処理研究会(NL-164-3)}, \mbox{\BPGS\ 13--18}.

\bibitem[\protect\BCAY{中山\JBA 江口\JBA 神門}{中山\Jetal
  }{2005}]{nakayama2005a}
中山記男\JBA 江口浩二\JBA 神門典子 \BBOP 2005\BBCP.
\newblock \JBOQ 感情表現のモデル\JBCQ\
\newblock \Jem{言語処理学会第11回年次大会}.

\bibitem[\protect\BCAY{乾\JBA 徳久\JBA 徳久\JBA 岡田}{乾\Jetal
  }{2000}]{inui2000a}
乾健太郎\JBA 徳久雅人\JBA 徳久良子\JBA 岡田直之 \BBOP 2000\BBCP.
\newblock \JBOQ 感情の生起とその反応\JBCQ\
\newblock \Jem{日本ファジィ学会誌}, {\Bbf 12}  (6), \mbox{\BPGS\ 741--751}.

\bibitem[\protect\BCAY{立石\JBA 福島\JBA 小林\JBA 高橋\JBA 藤田\JBA 乾\JBA
  松本}{立石\Jetal }{2004}]{tateishi2004a}
立石健二\JBA 福島俊一\JBA 小林のぞみ\JBA 高橋哲朗\JBA 藤田篤\JBA 乾健太郎\JBA
  松本裕治 \BBOP 2004\BBCP.
\newblock \JBOQ Web文書集合からの意見情報抽出と着眼点に基づく要約生成\JBCQ\
\newblock \Jem{情報処理学会自然言語処理研究会 (NL-163-1)}, \mbox{\BPGS\ 1--9}.

\bibitem[\protect\BCAY{乾\JBA 乾\JBA 松本}{乾\Jetal }{2004}]{inui2004a}
乾孝司\JBA 乾健太郎\JBA 松本裕治 \BBOP 2004\BBCP.
\newblock \JBOQ 出来事の望ましさ判定を目的とした語彙知識獲得\JBCQ\
\newblock \Jem{言語処理学会第10回年次大会}, \mbox{\BPGS\ 91--94}.

\bibitem[\protect\BCAY{江崎\JBA 松井\JBA 大和田}{江崎\Jetal
  }{2005}]{esaki2005a}
江崎晃司\JBA 松井藤五郎\JBA 大和田勇人 \BBOP 2005\BBCP.
\newblock \JBOQ
  Weblog上の評判情報における形容詞の出現位置を考慮した賛否分類\JBCQ\
\newblock \Jem{情報処理学会第67回全国大会}.

\bibitem[\protect\BCAY{藤村\JBA 豊田\JBA 喜連川}{藤村\Jetal
  }{2004}]{fujimura2004a}
藤村滋\JBA 豊田正史\JBA 喜連川優 \BBOP 2004\BBCP.
\newblock \JBOQ Webからの評判および評価表現抽出に関する一考察\JBCQ\
\newblock \Jem{夏のデータベースワークショップ(DBWS2004)}.

\bibitem[\protect\BCAY{佐野}{佐野}{2004}]{sano2004b}
佐野真 \BBOP 2004\BBCP.
\newblock \JBOQ 感性品質評価語辞書を利用したテキストマイニング\JBCQ\
\newblock \Jem{情報処理学会論文誌：データベース}, {\Bbf 45}  (SIG7(TOD22)).

\bibitem[\protect\BCAY{村野\JBA 佐藤}{村野\JBA 佐藤}{2003}]{murano2003a}
村野誠治\JBA 佐藤理史 \BBOP 2003\BBCP.
\newblock \JBOQ 文型パターンを用いた主観的評価文の自動抽出\JBCQ\
\newblock \Jem{言語処理学会第9回年次大会}, \mbox{\BPGS\ 67--70}.

\bibitem[\protect\BCAY{峠\JBA 山本}{峠\JBA 山本}{2004}]{touge2004a}
峠泰成\JBA 山本和英 \BBOP 2004\BBCP.
\newblock \JBOQ 手がかり語自動取得によるWeb掲示板からの評価文抽出\JBCQ\
\newblock \Jem{言語処理学会第10回年次大会}, \mbox{\BPGS\ 107--110}.

\bibitem[\protect\BCAY{鈴木}{鈴木}{2005}]{suzuki2005a}
鈴木泰裕 \BBOP 2005\BBCP.
\newblock \JBOQ Webデータを利用した評価表現辞書の自動作成\JBCQ\
\newblock Master's thesis, 東京工業大学大学院総合理工学研究科.

\bibitem[\protect\BCAY{鈴木\JBA 高村\JBA 奥村}{鈴木\Jetal }{2004}]{suzuki2004a}
鈴木泰裕\JBA 高村大也\JBA 奥村学 \BBOP 2004\BBCP.
\newblock \JBOQ Weblogを対象とした評価表現抽出\JBCQ\
\newblock
  \Jem{人工知能学会セマンティックウェブとオントロジー研究会(SW-ONT-A401-02)}.

\bibitem[\protect\BCAY{岡野原\JBA 辻井}{岡野原\JBA 辻井}{2005}]{okanohara2005a}
岡野原大輔\JBA 辻井潤一 \BBOP 2005\BBCP.
\newblock \JBOQ 評価文に対する二極指標の自動付与\JBCQ\
\newblock \Jem{言語処理学会第11回年次大会}.

\bibitem[\protect\BCAY{高村\JBA 乾\JBA 奥村}{高村\Jetal
  }{2005a}]{takamura2005c}
高村大也\JBA 乾孝司\JBA 奥村学 \BBOP 2005a\BBCP.
\newblock \JBOQ スピンモデルによる単語の感情極性判定\JBCQ\
\newblock \Jem{情報処理学会自然言語処理研究会(NL-166-11)}.

\bibitem[\protect\BCAY{高村\JBA 乾\JBA 奥村}{高村\Jetal
  }{2005b}]{takamura2005b}
高村大也\JBA 乾孝司\JBA 奥村学 \BBOP 2005b\BBCP.
\newblock \JBOQ 極性反転に対応した評価表現モデル\JBCQ\
\newblock \Jem{情報処理学会自然言語処理研究会(NL-168-22)}, \mbox{\BPGS\
  13--18}.

\bibitem[\protect\BCAY{工藤\JBA 松本}{工藤\JBA 松本}{2003}]{kudo2003a}
工藤拓\JBA 松本裕治 \BBOP 2003\BBCP.
\newblock \JBOQ 部分木を素性とするDecision StumpsとBoosting
  Algorithmの適用\JBCQ\
\newblock \Jem{情報処理学会自然言語処理研究会 (NL-158-9)}, \mbox{\BPGS\
  55--62}.

\bibitem[\protect\BCAY{那須川\JBA 金山}{那須川\JBA 金山}{2004}]{nasukawa2004a}
那須川哲哉\JBA 金山博 \BBOP 2004\BBCP.
\newblock \JBOQ 文脈一貫性を利用した極性付評価表現の語彙獲得\JBCQ\
\newblock \Jem{情報処理学会自然言語処理研究会(NL-162-16)}, \mbox{\BPGS\
  109--116}.

\bibitem[\protect\BCAY{金山\JBA 那須川}{金山\JBA 那須川}{2005}]{kanayama2005a}
金山博\JBA 那須川哲哉 \BBOP 2005\BBCP.
\newblock \JBOQ 要望表現の抽出と整理\JBCQ\
\newblock \Jem{言語処理学会第11回年次大会}.

\bibitem[\protect\BCAY{長江\JBA 望月\JBA 白井\JBA 島津}{長江\Jetal
  }{2002}]{nagae2002a}
長江朋\JBA 望月源\JBA 白井清昭\JBA 島津明 \BBOP 2002\BBCP.
\newblock \JBOQ 製品コンセプトと製品評価文章の関係の分析\JBCQ\
\newblock \Jem{言語処理学会第8回年次大会}, \mbox{\BPGS\ 583--586}.

\bibitem[\protect\BCAY{飯田\JBA 小林\JBA 乾\JBA 松本\JBA 立石\JBA
  福島}{飯田\Jetal }{2005}]{iida2005a}
飯田龍\JBA 小林のぞみ\JBA 乾健太郎\JBA 松本裕治\JBA 立石健二\JBA 福島俊一 \BBOP
  2005\BBCP.
\newblock \JBOQ 意見抽出を目的とした機械学習による属性-評価値対同定\JBCQ\
\newblock \Jem{情報処理学会自然言語処理研究会(NL-165-4)}.

\bibitem[\protect\BCAY{目良\JBA 市村\JBA 相澤\JBA 山下}{目良\Jetal
  }{2002}]{mera2002a}
目良和也\JBA 市村匠\JBA 相澤輝昭\JBA 山下利之 \BBOP 2002\BBCP.
\newblock \JBOQ 語の好感度に基づく自然言語発話からの情緒生起手法\JBCQ\
\newblock \Jem{人工知能学会論文誌}, {\Bbf 17}  (3), \mbox{\BPGS\ 186--195}.

\end{thebibliography}


\begin{biography}
\biotitle{略歴}
\bioauthor{乾 孝司}{
1976年生．1999年九州工業大学情報工学部卒業，2001年九州工業大学大学院情報
工学研究科修士課程修了，2004年奈良先端科学技術大学院大学情報科学研究科博
士課程修了．同年，東京工業大学21世紀COE ポスドク研究員，2005年日本学術振
興会特別研究員，2006年東京工業大学統合研究院助手，現在に至る．博士(工学)，
主に自然言語処理の研究に従事．情報処理学会，言語処理学会，ACL各会員．}

\bioauthor{奥村 学}{
1962年生．1984年東京工業大学工学部情報工学科卒業．1989年同大学院博士課
程修了．同年，東京工業大学工学部情報工学科助手．1992年北陸先端科学技術
大学院大学情報科学研究科助教授，2000年東京工業大学精密工学研究所助教授，
現在に至る．工学博士．自然言語処理，知的情報提示技術，語学学習支援，テ
キストマイニングに関する研究に従事．情報処理学会，人工知能学会, 
AAAI，言語処理学会，ACL, 認知科学会，計量国語学会各会員．\\
oku@pi.titech.ac.jp, \url{http://oku-gw.pi.titech.ac.jp/~oku/}.
}

\bioreceived{受付}
\biorevised{再受付}
\bioaccepted{採録}

\end{biography}

\end{document}
