    \documentclass[japanese,specialissue]{jnlp_2.1}
\usepackage{jnlpbbl_1.3}
\usepackage[dvipdfm]{graphicx}
\usepackage{amsmath}
\usepackage{hangcaption_jnlp}
\usepackage{udline}
\setulminsep{1.2ex}{0.2ex}
\let\underline
\usepackage{array}


\Volume{25}
\Number{1}
\Month{February}
\Year{2018}
\Issuetitle{「言語処理の応用システム」特集号}

\received{2017}{5}{22}
\revised{2017}{8}{8}
\accepted{2017}{9}{20}

\setcounter{page}{57}

\jsubject{論文}
\jtitle{店舗レビューには何が書かれているか?\\—調査及び自動分類システムの開発—}
\jauthor{新里　圭司\affiref{rit} \and 小山田由紀\affiref{rit}}
\jabstract{
本稿では，オンラインショッピングサイト出店者に対して書かれたレビュー（以下，店舗レビュー）内の各文を，言及されているアスペクト（例えば，商品の配送や梱包）とその評価極性（肯定，否定）に応じて分類するシステムについて述べる．店舗レビュー中にどのようなアスペクトが記載されているのかは明らかでないため，まず店舗レビュー100件（487文）を対象に，各文がどのようなアスペクトについて書かれているのか調査した．その結果，14種類のアスペクトについて書かれていることがわかった．そして，この調査結果をもとに1,510件の店舗レビューに含まれる5,277文に対して人手でアスペクトおよびその評価極性のアノテーションを行い，既存の機械学習ライブラリを用いてレビュー内の文を分類するシステムを開発した．本システムを用いることで，任意のアスペクトについて，その記述を含むレビューへ効率良くアクセスしたり，その評判の時系列変化を調べたりすることが可能になる．
}
\jkeywords{オンラインショッピング，レビュー，アスペクト分類，評判分析}

\etitle{What Do People Write in Reviews for Sellers?\\---Investigation and Development of an Automatic Classification System---}
\eauthor{Keiji Shinzato\affiref{rit} \and Yuki Oyamada\affiref{rit}} 
\eabstract{
Herein, we describe a system that classifies each sentence in reviews for the sellers of an online shopping website based on aspects, such as shipping and packaging, and sentiment polarity (positive and negative). First, we investigated 487 sentences that were extracted from randomly selected 100 seller reviews for revealing the aspects mentioned in the reviews. This was done because the aspects in the seller reviews are not obvious. Consequently, we found that 14 aspects were described in the seller reviews. We annotate 14 aspects and their sentiment polarity for 5,277 sentences in 1,510 seller reviews that are newly and randomly chosen. Then, we train the classifica\-tion models using the existing machine learning software. Through the system based on these classification models, users can understand the trend for any aspect in a time series and easily access reviews describing aspects which they are interested in.
}
\ekeywords{Online Shopping, Review, Aspect Classification, Sentiment Analysis}

\headauthor{新里，小山田}
\headtitle{店舗レビューには何が書かれているか?—調査及び自動分類システムの開発—}

\affilabel{rit}{楽天技術研究所}{Rakuten Institute of Technology}




\begin{document}
\maketitle


\section{はじめに}

オンラインショッピングでは出店者（以下，店舗と呼ぶ）と顔を合わせずに商
品を購入することになるため，店舗とのやりとりは顧客満足度を左右する重要
な要因となる．
商品の購入を検討しているユーザにとって，商品を扱っている店舗が「どのよ
うな店舗か」という情報は，商品に関する情報と同じように重要である．例
えば，以下に示す店舗A, Bであれば，多くのユーザが店舗Aから商品を購入したいと思うのではないだろうか．

\begin{figure}[b]
\begin{center}
\includegraphics{25-1ia3f1.eps}
\end{center}
\hangcaption{楽天市場における店舗レビューの例．自由記述以外に6つの観点（品揃え，情報量，決済方法，スタッフの対応，梱包，配送）に対する購入者からの5段階評価（5が最高，1が最低）がメタデータとして付いている．自由記述部分を読むと，発送が遅れているにも関わらず，店舗から何の連絡も来ていないことがわかる．店舗からの連絡に関する評価は，評価対象となっている6つの観点では明確に捉えられていない．}
\label{review}
\end{figure}

\begin{description}
\item [店舗A:] こまめに連絡をとってくれ，迅速に商品を発送してくれる
\item [店舗B:] 何の連絡もなく，発注から1週間後に突然商品が届く
\end{description}
ユーザに対して店舗に関する情報を提供するため，楽天市場では商品レビューに加え，
店舗に対するレビューの投稿・閲覧ができるようになっている．
店舗レビューの例を図\ref{review}に示す．
自由記述以外に6つの観点（品揃え，情報量，決済方法，スタッフの対応，梱包，配送）に対する購入者からの5段階評価（5が最高，1が最低）が閲覧可能であ
る．この5段階評価の結果から店舗について知ることができるが，評価値からでは具体的にどう良かったのか，どう悪かったのかという情報は得られないのに加え，
ここに挙がっている観点以外の情報も自由記述に含まれているため，店舗をより詳細に調べるには自由記述に目を通す必要が
ある．
そのため，レビュー内の各文をその内容および肯定，否定といった評価極性に応じて
分類することができれば，店舗の良い点，悪い点などユーザが知りたい情報へ
効率良くアクセスできるようになり，今まであった負担を軽減するこ
とが期待できる．

このような分類は，オンラインショッピングサイトの運営側にとっても重要
である．例えば楽天では，より安心して商品を購入してもらえるように，ユーザに対する店舗の対応をモニタリングしており，その判断材料の1つとして店舗レビューの自由記述部分を用いている．
そのため，レビューに含まれる各文を自動的に分類することで，問題となる対応について述べられた店舗レビューを効率良く発見できるようになる．

こうした背景から，我々は店舗レビュー中の各文を記述されている内容
（以下，アスペクトと呼ぶ）およびその評価極性（肯定，否定）に応じて分類
するシステムの開発を行った．
店舗レビュー中にどのようなアスペクトが記載されているのかは明らかでない
ため，まず無作為に選び出した店舗レビュー100件（487文）を対象に，各文が
どのようなアスペクトについて書かれているのか調査した．
その結果，14種類のアスペクトについて書かれていることがわかった．次いでこの調査結果に基づき，新しく選び出した1,510件の店舗レビュー（5,277文）に対して人
手でアスペクトおよびその評価極性のアノテーションを行い，既存の機械学習ライ
ブラリを用いてレビュー内の文をアスペクトおよびその評価極性に分類するシ
ステムを開発した．
アスペクト分類の際は，2つの異なる機械学習手法により得られた結果を
考慮することで，再現率を犠牲にはするものの，1つの手法で分類する場合より高い精度を実現している．
このように精度を重視した理由は，システムの結果をサービスや社内ツールとして実用することを考えた
場合，低精度で網羅的な結果が得られるよりも，網羅的ではないが高精度で
確実な結果が得られた方が望ましい場合が多いためである．例えば1つの機能として実サービスに導入することを考えた際，誤った分類結果が目立つと機能に対するユーザの
信頼を失う要因となる．このような事態を回避するため，本手法では精度を重視した．

以降，本稿では店舗レビュー中に記述されているアスペクト，機械学習を使ったアスペクト・評価極性の分類手法について述べた後，構築した店舗レビュー分析システムについて述べる．


\section{店舗レビューには何が書かれているか？}
\label{mentions}

調査にあたり，まず楽天市場の店舗レビューを評価が高いものと低いものに分類した．具体的には，各店舗レビューに含まれる6つの評価観点に対する評価値の平均を求め，値が4.5以上のものを高評価，
2.0以下のものを低評価レビューとした．
続いてレビューを「\textbackslash n」「。」「！」「？」「‥」「…」「．．．」「・・・」を手がかりに文に区切った\footnote{ただし「」内に出現する場合は区切らない．また(1)直前の文が「：」もしくは「、」で終了している場合，または(2)直前の文が「？」又は「！」で終了し，当該文が「が」「とても」「とりあ」「ところ」で始まっている場合は当該文を直前の文に連結した．}．
そして，高評価，低評価に分類されたレビューのうち，3文以上含むも
のを無作為に50件ずつ選びだし，それらに記述されている内容を調
査した．対象となったレビュー100件には487文含まれていた．
3文以上含むレビューを調査対象とした理由は，(1)「大変良かったです。」のように一言だけ書かれたレビューを除くため，および(2)文数が多いレビューほど具体的にアスペクトを記述していると考えたためである．

\begin{table}[p]
\vspace{2\Cvs}
\caption{店舗レビューで言及されるアスペクト}
\label{aspect-list}
\input{03table01.tex}
\end{table}

調査により明らかとなったアスペクトを表\ref{aspect-list}に示す．実際の調査では決済方法
に関する記述は見当たらなかったが，決済方法に関する観点が店舗レビューのメタデータとして
含まれるため追加した．
表よりメール・電話などの店舗とのやりとり，店舗に対する評価，再度購入し
たいと思ったかどうか，キャンセル・返品時の対応など，先述した6つの評価
観点では明確に捉えられていないアスペクトについてレビュー中で言及されてい
ることがわかる．
また店舗レビューではあるが，商品やその価格に関する言及もあることがわか
る．


\section{アスペクトおよび評価極性の自動分類}
\label{methodology}

表\ref{aspect-list}のアスペクトをもとに，新しく無作為に選び出した店舗レビュー1,510件（5,277文）に対して人手でアノテーションを行い，
これに基づいてアスペクトおよびその評価極性（肯定，中立，否定）を分類するモデルを構築した．本節ではこれらについて述べる．


\subsection{学習データの作成}
\label{training-data}

まず\ref{mentions}節で述べた方法で，店舗レビューを高評価および低
評価に分類し，文分割処理を行った．そして表\ref{datastats}に示す割合でレビューを無作為に選びだし，アノテーションの対象とした．

\begin{table}[t]
\caption{アノテーションの対象とした店舗レビューの統計}
\label{datastats}
\input{03table02.tex}
\end{table}

アノテーションは1名のアノテータで行った．まず調査に用いたレビュー100件を使って訓練した後，5,277文に対して該当する全てのアスペクトおよびその評価極性
を付与するよう依頼した．アスペクトに「その他」を設けてあるため各文には必ず1つ以上のアスペクト
およびその評価極性が付与されることに注意されたい．
また文単体ではアスペクト・評価極性の同定が難しい場合は，前後
の文脈を利用するように指示した．そのため，同じ文であっても前後の文脈により付与されるアスペクト・評価極性が異なる場合がある．
以下に，文脈によってアスペクト・評価極性の判定結果が異なる例を示す（「/」は文の境界を表す）．

\begin{description}
\item [レビューA:] 欲しかった商品の在庫がなかったのにすぐ手配してくれてとても助かりました。/注文した翌々日に届きました。/{\bf 驚きました。}
\item [レビューB:] 初めてこの店舗を利用しましたが、梱包が最低。/{\bf 驚きました。}/商品にクッションもされず、コードが箱から出ちゃって、一度使うのに出した物を、また箱に戻してキレイに戻らなくて、セロテープでペタペタ貼ってあるように見えました。/人となりが、解ってしまう様な店舗です。
\end{description}

\noindent
レビューA, Bは文「驚きました。」をそれぞれ含んでいるが，そのアスペクト・
評価極性は異っており，レビューAは（配送，肯定），Bは（梱包，否定）が適切なアノテーションである．

\begin{table}[t]
\caption{店舗レビュー1,510件（5,277文）中に言及されるアスペクトの評価極性の分布}
\label{topic}
\input{03table03.tex}
\end{table}

5,277文における各アスペクトおよびそれらの評価極性の分布を表\ref{topic}に示す．1文に対して複
数のアスペクト，評価極性が付与されることがあるため実際の文数よりもアノテーションの件数は多くなっている．
連絡，店舗，再購入，情報，商品価格など多くのアスペクトで評価極性の分布に偏りが見られる．



\subsection{分類モデルの構築}
\label{models}

\ref{training-data}節で構築したアスペクトおよび評価極性がアノテートされたデータを使いアスペクト分類モデルおよび評価極性分類モデルを構築する．表\ref{topic}からわかるように，評価極性分類モデルの構築に十分な量の
事例数が確保できないアスペクトがあるため，アスペクト分類および評価極性分類のモデル構築は独立に行った．

分類にあたり，文ごとに分類を行う文単体モデル，およびレビュー内の文に対する系列ラベリング問題とみなし，レビュー単位で各文の分類を行う文書モデルの2種類を考えた．
文書モデルを設けた理由は，先述の「驚きました。」の例のように前後の文脈を利用しないとアスペクト・評価極性の
同定が難しい曖昧な文があるためである．


\subsubsection{アスペクトの分類}
\label{topic-classificaiton}

より高い精度(Precision)を得るため，文単体モデルおよび文書モデルの両方を構築し，両モデルにより推定されたアスペクトが同じ場合
のみアスペクトを出力した．
そのため，現状では1文に対して1つのアスペクトしか推定できない．複数のアスペクトを推定する方法については今後検討
する予定である．

文単体モデルおよび文書モデルでは以下に示す共通の素性を用いた．

\begin{table}[b]
\caption{アスペクト分類用辞書の例（全171件）}
\label{feature-topic}
\input{03table04.tex}
\end{table}

\begin{description}
\item [単語素性：] 品詞の大分類が名詞\footnote{\ref{eval}節で述べるように形態素解析をMeCab，NAIST Japanese dictionaryを利用して行っているが，その際に品詞の細分類が非自立のものは除いた．}，形容詞，動詞，感動詞，副詞となる単語の原形を素性とした．ただし接尾辞が後続している場合は，「良心:的」のように当該単語と接尾辞を連結した．また当該単語の直前が接頭辞「未」「不」，もしくは次の単語素性になりえる語（最後方の語の場合は文末）との間に否定を表す語（「ない」「無い」「無し」，助動詞「ぬ」「ん」のいずれか）が存在する場合は，否定を表すフラグを付与し，肯定の場合と区別した．例えば文「余計な梱包もなく、ごみも出なくて助かります。」からは「余計」「梱包【否定】」「ごみ」「出る【否定】」「助かる」が単語素性として抽出される．
\item [辞書素性：] 人手で構築した辞書の要素と一致する形態素（列）が文中に含まれていれば，要素に対応するラベルを素性とする．表\ref{feature-topic}に構築した辞書の例を示す．
\end{description}


\subsubsection{評価極性の分類}
\label{polarity-classificaiton}

アスペクトが推定された文に対してのみ分類を行う．同じ評価極性の文が続けて現れやすい文脈一貫性\cite{nasukawa_2004,kanayama2006}を利用するため，評価極性の
判定には文書モデルを採用した．文単体モデルと併用しなかった理由は，\ref{eval}節で示すように文書モデルだけである程度の精度が達成できたこと，
および全体としてのカバレージがさらに下がることを避けるためである．評価極性の分類には以下の素性を用いた．

\begin{description}
\item [単語素性：] アスペクト分類と同じ．
\item [接続詞素性：] 逆接の関係を表す接続詞「でも」「しかし」「だけど」で文が始まっているかどうか．これらの接続詞は，それ以前の文と評価極性が反転することがあるために素性として扱った．\cite{nasukawa_2004,kanayama2006,inui2013}．
\item [評価極性素性：] 文内に含まれる肯定的な語，否定的な語の数．
\end{description}

\begin{table}[b]
\caption{肯定，否定に分類された表現の例}
\label{positive-negative-dict}
\input{03table05.tex}
\end{table}

\noindent
評価極性素性を抽出するにあたり，次の方法で単語に対してポジティブ，も
しくはネガティブの度合いを計算した．まず2016年に楽天に投稿された店舗レ
ビューの中から，5文以上含む高評価，低評価レビューを無作為に5万件ずつ集めた．文分割方法および高評価，低評価の判定
方法は\ref{mentions}節と同じである．
次に集められたレビューから単語素性と同様の方法で単語を抽出し，各語について高評価レビュー中で
の文書頻度$df_{pos}$，低評価レビュー中での文書頻度$df_{neg}$を算
出した．そして，$df_{pos}> df_{neg}$であれば肯定的，それ以外は否定的として各語の
評価極性を決定した．この時，$df_{pos}$と$df_{neg}$の和が100未満のものは低頻度語として見なし削除した．
この結果，806表現が肯定的，2,102表現が否定的として判定された．
得られた肯定的な語，否定的な語の一部を表\ref{positive-negative-dict}に示す．
表を見ると「ゴム（肯定的）」や「始める（否定的）」のように直感的でない事例も確認でき
るが，評価極性素性としては各単語の出現をそのまま用いるのではなく，各評
価極性に分類される語の頻度を集計してから用いているため，このような直感的で
ない事例による影響は小さいと考えられる．


\section{実験}

本節では，\ref{training-data}節で構築したアノテーションデータの評価，\ref{topic-classificaiton}節，\ref{polarity-classificaiton}節で述べた分類手法の性能について報告する．


\subsection{$\kappa$統計量に基づくアノテーションの評価}

\ref{training-data}節で述べたアノテーション済の1,510件のレビューから高
評価レビュー100件，低評価レビュー100件を無作為に選びだし，別の作業者に
改めてアスペクトおよび評価極性のアノテーションを依頼した．この200件のレ
ビューには752文含まれていた．作業者には\ref{mentions}節の調査に用いたレ
ビュー100件を使って事前に訓練してからアノテーションに取り組んでもらった．
今回の作業者をA，1,510件のレビューに対してアノテーションを実施した作業者をBとすると，作業者Aが752文に対して付与したラベル（アスペクトとその評価極性）の異なり数は169，作業者Bは168であっ
た\footnote{例えば，1文に対して配送\_肯定，梱包\_否定がアノテーションされていた場合，それぞれに分解することはせず，「配送\_肯定，梱包\_否定」を1つのラベルとして計数した．}．またどちらの作業者にも共通するラベルの異なり数は98であった．

$\kappa$統計量\cite{kappa}を計算する際，複数のラベルがアノテートされている文については，作業者間で全てのラベルが一致しているかどうかをチェックした．
その結果，作業者間の$\kappa$統計量は0.562であった．これは{\it moderate agreement}とされる値である．


\subsection{アスペクト分類および極性判定の評価}
\label{eval}

\ref{training-data}節で作成したデータをもとに10分割交差検定を行い分類手法の性
能を評価した．評価の際，アスペクト「システム」および「決済方法」は事例数が少ないため学習が困難と判断
し，「その他」として扱った．
文単体モデルの学習にはopal\footnote{http://www.tkl.iis.u-tokyo.ac.jp/\textasciitilde ynaga/opal/}を，文書モデルの学習には
CRFsuite\footnote{http://www.chokkan.org/software/crfsuite/}を用いた．
opalで学習する際は2次の多項式カーネルを用い，他のパラメータはデフォルトを利用し，
CRFsuiteでの学習は全てデフォルトのパラメータを利用した．
素性を抽出する際は前処理としてMeCab\footnote{http://taku910.github.io/mecab/}およびNAIST Japanese Dictionary\footnote{https://ja.osdn.net/projects/naist-jdic/}を使って文を形態素解析した．

モデルを学習する際，複数のアスペクト，評価極性がアノテートされた文は，その全てのアスペクト・
評価極性の訓練事例とした．例えば，図\ref{lattice}は複数のアスペクトを持つ
文を含むレビューの例である．文単体モデルではs$_3$を配送，梱包の事例として扱った．一方で文書モデルの場合は，系列「その他$\to$商品$\to$配送$\to$再購入」「その他$\to$商品$\to$梱包$\to$再購入」
を学習データとして利用した\footnote{評価極性分類の際も同様に全て系列を利用した．}．

\begin{figure}[b]
\begin{center}
\includegraphics[width=407pt]{25-1ia3f2.eps}
\end{center}
\caption{複数のアスペクトが付与された文の例}
\label{lattice}
\end{figure}

\begin{table}[b]
\caption{アスペクト分類（評価極性判定込み）の評価結果}
\label{performance}
\input{03table06.tex}
\vspace{4pt}\small
斜体はデータセット中での事例数が100件未満のものを意味する．
\end{table}

\begin{table}[t]
\noindent
\begin{minipage}[t]{0.5\columnwidth}
\caption{アスペクト分類のみの評価結果}
\label{performance_aspect}
\input{03table07.tex}
\end{minipage}
\hfill
\begin{minipage}[t]{0.4\columnwidth}
\caption{評価極性判定のみの評価結果}
\label{performance_pn}
\input{03table08.tex}
\end{minipage}
\end{table}

評価極性判定を考慮したアスペクト分類の評価結果を表\ref{performance}，アスペクト分類単体の評価結果を表\ref{performance_aspect}，極性判定単体の評価結果を表\ref{performance_pn}にそれぞれ示す．
複数の正解ラベルを持つ文がある一方で，\ref{topic-classificaiton}節で述べたように提案手法は1つの文に対して1つのアスペクト，評価極性しか出力できない．
そこで部分一致を考慮するために，各表の精度$P$，再現率$R$を以下の方法により求め，${\rm F_1}$値は以下の式において$\beta = 1$として計算した．
{\allowdisplaybreaks
\begin{gather*}
P= \frac{提案手法がラベルlを出力した際，正解ラベルの集合にlが含まれていた文の数}{提案手法がlを出力した文の数}\\[1ex]
R= \frac{提案手法がラベルlを出力した際，正解ラベルの集合にlが含まれていた文の数}{lを正解ラベルの集合に含む文の数}\\[1ex]
F_{\beta}= (1 + \beta^2) \times \frac{P \times R}{(\beta^2 \times P) + R}
\end{gather*}
}
ここでラベル$l$は評価極性付きアスペクト，アスペクト単体，評価極性単体のいずれかである．
表\ref{performance}，表\ref{performance_pn}より，肯定，否定に比べ中立の性
能が低いことがわかる．表\ref{performance}では事例数が100件未満のも
のを斜体で表示しており，これを見ると訓練事例数が少ないアスペクトが多く，これらは性能が低いことがわかる．
このことが他の評価極性に比べて性能が低い理由と考えられる．
また表\ref{performance}，表\ref{performance_aspect}より，アスペクト「商品」
「その他」に関して性能が低いことがわかる．これは(1)そもそも店舗レビューは店舗について記述することが前提となっているため商品に関する記述が少ない，(2)楽天では多種多様な商品が販売されており，それらをカバーするだけの商品に関する十分な量のテキストが学習データに含まれていないためと考えられる．「その他」についても
様々な事柄について言及した文がこのアスペクトに分類されており，その
バリエーションの多さゆえに十分学習できておらず性能が低くなったと考えられる．

\ref{topic-classificaiton}節で述べたように，より高い精度を得るために，
文単体モデルおよび文書モデルの両方の出力が一致した場合のみ，推定された
アスペクトを出力している．これが実際にどの程度の効果があるのかを確認した．
表\ref{sent-doc-models}に各モデル単体での性能および組み合わせた場合の性能を示す．${\rm F_1}$値に加え，精度を重視した尺度である${\rm F_{0.5}}$値もあわせて示した．
全てのアスペクトにおいて，両モデルを組み合わせて用いることで精度を改善できていることが表よりわかる．
より具体的には，組み合わせることで，再現率がマクロ平均で8.6\%，マイ
クロ平均で9.1\%それぞれ下がるが，それと引き換えに精度をマクロ平均で7.4\%，
マイクロ平均で8.2\%改善できている．また${\rm F_{0.5}}$値の値も，マクロ平均，マイクロ平均ともに改善されていることがわかる．

\begin{table}[t]
\caption{文単体モデルおよび文書モデルの評価結果}
\label{sent-doc-models}
\input{03table09.tex}
\end{table}

評価極性判定の精度については表\ref{performance_pn}に示したとおりである
が，実応用を考えた時，肯定的な文を誤って否定的に分類してしまうケース，
もしくはその反対のケースは致命的なエラーとなる．そこでこのような事例数
がどの程度あるか調査した．具体的には，評価極性が1つのみアノテーションさ
れた4,789文を対象に両ケースの事例数を調べた．その結果，肯定を誤って否
定と判定してしまった件数は99件 (2.1\%)，その反対のケースは52件 (1.1\%)
であった．これより評価極性判定を極端に誤るような致命的なエラーはほとんど起きていないことがわかる．
図\ref{senti_error}に判定を極端に誤った文の例を示す．店舗が好意で行った特別な梱包方法に対し，「送れない」などの表現が引き金となって評価極性判定を誤ったと考えられる．

\begin{figure}[t]
\vspace{0.5\Cvs}
\begin{center}
\includegraphics[width=412pt]{25-1ia3f3.eps}
\end{center}
\caption{評価極性判定を極端に誤った文の例}
\label{senti_error}
\end{figure}


\section{考察}

\ref{aspect-design-analysis}節では\ref{training-data}節で設計したアスペクトの妥当性について考察す
る．続いて，アスペクト「商品」「その他」の分類において，そのバリエーションの多さゆえに現状の学習データ量では不十分であることが示唆される結果が評価実験により得られたため，アスペクト分類の性能と学習データの量について調査した．\ref{aspect-learning-curve}節ではこの結果について述べる．
\ref{error-analysis}節では，前節で行った実験によりアスペクト分類の方が評価極性分類に比
べ性能が低いことがわかったため，アスペクト分類の誤り分析について報告
する．


\subsection{設計したアスペクトの分析}
\label{aspect-design-analysis}

表\ref{topic}を見ると，7,113件
のアノテーションのうち，6,416件が「その他」以外の13個のアスペクトでカバー
されていることがわかる．これは全アノテーション数の90.2\%にあたる．この
結果から，店舗レビュー中の大多数の文に対して「その他」以外のアスペクト
が付与されていることがわかり，これは定義したアスペクトが店舗レビューに記載された内容を代表するものになっていることを示唆していると考えられる．

「決済方法」は，\ref{mentions}節の調査では見つからなかったが，決済方法に関する評価観点が店舗レビューのメタデータに含まれているた
め追加したものである．
1,510件の店舗レビューを対象にアノテーションを実施したところ，「決済方法」
が付与された文数は9件であり，楽天のレビューにおいてメタデータとして特別
扱いされているものの，それに関する記述はレビュー内にはほとんどないこと
がわかる．このことから，少なくとも楽天の店舗レビューにおいては，「決済方法」に関しては自由記述部分よりもメタデー
タを用いて分析する方が良いことがわかる．

類似の既存研究と比較すると，レビューではないが，大野ら\cite{ohno_2005}が，ネットオークションサイト
の出品者に対する評価コメントを調査し13種類のアスペクトを定義している．これには「配送」「梱包」「連絡」「商品」「対応」など今回我々が設
計したアスペクトとの重なりも見られる一方で，「お礼」「挨拶」「謝罪」
「入金」「出品者」など評価コメント特有と考えられるアスペクトも含まれている．
反対に，我々が設計した「店舗」「商品の在庫・種類」「キャンセル・返品」「情報」「商品価格」「システム」「決済方法」
は，大野らのアスペクトの定義に類似したものはなく，店舗レビュー
に特有のものであると考えられる．これらのアスペクトが付与された文は全体（5,277文）の34.6\%に相当する1,826文あり，店舗レビューのアスペクトとして重要であることがわかる．


\subsection{アスペクト分類の学習曲線}
\label{aspect-learning-curve}

\ref{eval}節の実験より，アスペクト「商品」「その他」の分類については記述内容のバリエーションが多く，現状の学習データでは量が不足しているため性能が低い可能性が示唆された．
本節では，これを確認するため「商品」「その他」について学習デー
タの量を変えながら，性能がどのように変化するのかを確認する．
具体的には，1,510件の評価データセットから無作為に選び出した510件を評価用データ，
残りの1,000件を学習用データとし，学習データに用いるレビューの数を100件ずつ増やした時の${\rm F_1}$値を調査した．

\begin{figure}[t]
\begin{center}
\includegraphics{25-1ia3f4.eps}
\end{center}
\caption{アスペクト分類の学習曲線}
\label{lc}
\end{figure}

調査の結果得られた学習曲線を図\ref{lc}に示す．図には「商品」「その他」
に加え，これらと事例数が近い「店舗」および「再購入」の結果，さらに参考として全
体（マクロ平均）の${\rm F_1}$値の推移も含めた．
図よりアスペクト「商品」「その他」は，「店舗」「再購入」に比べ，事例数
が近いにも関わらず性能が低いことがわかる．これは「店舗」「再購入」に比べ「商品」「その他」は
事例のバラつきが多く，難しい分類問題になっていることが原因と考えられる．
また「商品」「その他」「全体」を見ると，学習に用いる事例数を増やすことで性能の改善が
見られる．改善の幅は緩やかであるが，分類に用いる素性の工夫や複雑なモデ
ルを用いるなどすることでその幅を大きくすることが期待できる．


\subsection{アスペクト分類の誤り分析}
\label{error-analysis}

無作為に選んだ1,358件のレビュー（4,740文）で学習を行い，残り152件（537文）をアスペクト分類した際の誤りについて分析した．
分析の対象となった事例は63件であり，各事例には1つ以上のエラータイプを付与した．

分析の結果を表\ref{error}に示す．最も数が多かったタイプは「分類に必要な素性が得られていない」で42件あった．
例えば「欲しい色とサイズもあって、良かったです。」は「商品の在庫・種類」に分類されるべきであるが，提案手法は「商品」に分類していた．
抽出された素性と各アスペクトの関連を調べたところ，「商品」と関連の強い素性が多く，「商品の在庫・種類」と関連のある素性はなかった．
また商品に関する記述を含む文はアスペクト「商品」と関連の強い素性が抽出されていない傾
向にあった．これは，楽天で多様な商品を扱っていること，店舗レビューの性
質上，商品に関する記述はメインでないことから十分な量の訓練事例が得られて
いないためと考えられる．
「商品」以外では「親戚宅への訪問土産に購入しました。」のような購入背景，
「重さのあるものも家の玄関に届くのでとっても助かっています。」のような
感想を述べた文もこのタイプのエラーに分類された．
購入背景や感想はユーザによって様々であるため，これらを正しく分類するた
めには，学習データを増やすほか，これらを認識するモデルを別途用意するな
どの対応が考えられる．

\begin{table}[t]
\caption{エラーのタイプおよびその事例数}
\label{error}
\input{03table10.tex}
\end{table}

次に多かったタイプは「文単体では分類が難しい」であり，21件が該当した．
例えば文「あきれます。」は商品にも店舗にも当てはまる表現であり，この文
を正しいアスペクトに分類するためには，この文の前後にどのような記述があるのかを捉える必要がある．
現状では文単体モデル，文書モデルともに明確な素性として前後の文脈の内容を用いていない．
このタイプのエラーを減らすには，何らかの方法で前後の文脈を取り込む素性が必要になる．


また「アノテーションの誤り」も確認された．
例えば文「別に目立つほど悪い点は無かったです。」は「その他」が付与されていたが，提案手法は「商品」に分類していた．レビューを確認すると
これは商品についての記述であり「商品」が付与されることが妥当である．
このようなエラーを減らすには複数人のアノテータにアノテーションを依頼し多数決をとる，または分類基準を精緻にするなどが考えられる．


\section{関連研究}

従来より評判分析は多くの研究がなされてきており
\cite{inui_2006,pang2008}，その対象はレビューのみならず，新聞記事，ブロ
グ，Twitterなどのマイクロブログと様々である\cite{seki_2013}．
レビューを対象とした評判分析研究では，映画\cite{pang_2002}，宿泊施設\cite{wang_2010}，商品\cite{ding_2008}に対して書かれ
たレビューに基づくデータセットが利用されている．
また，意味解析に関する国際的評価型プロジェクトSemEvalにおいて2014年より毎年実施されているAspect Based Sentiment Analysis
においてもデータセットが提供されており，その内容はノートパソコン，マウス，レストラン，デジタルカメラなど7種類の対象について英語，中
国語，ドイツ語など8言語で書かれたレビューである\cite{semeval_2016}．
オンラインショッピングサイトを利用して商品を購入する際，商品レビューに
加えて「どの店舗から購入するのか」も重要な指針の1つであるが，店舗
の評判が記載されたレビューに基づくデータセットはない．


日本語で書かれたレビューを対象にした研究ではAndoら\cite{ando_2012}，
浅野ら\cite{asano2014}，Tsunodaら\cite{tsunoda_2015}が宿泊施設レビュー
を対象に，記述されているアスペクトの調査や，特定のタスクを対象とした宿泊施設に関するアスペクト
の設計を行っている．
安藤ら\cite{ando2013}は商品レビューを対象に，そこに記述されている内
容を調査し，23種類のアスペクトが書かれていると報告している．
また，レビューではないが，Kobayashiら\cite{kobayashi_2007}はレストラン，車，携帯電
話，ゲームについて書かれたブログを対象に，アスペクトを含む7種類の情報を
付与した意見タグ付きコーパスを構築している．
大野ら\cite{ohno_2005}は，ネットオークションサイトの出品者に対する評価コメントの要約を目的に，コメントの記述内容を調査し
13種類のアスペクトを定義している．
いずれの研究もレビューやブログ，オークション出品者に対する評価コメントに記載されているアスペクトの調査や，その（自動）分類という点で本研究と類似
しているが，対象が宿泊施設，商品・製品，レストラン，オークション出品者であり本研究で対象とした店舗ではない．


従来よりアスペクト分類に関する研究は数多く行われている．例えば先述した
SemEvalではアスペクト分類およびその評価極性の判定というタスクが設定され
ており，対象は異なるものの解こうとしている問題は同じである．今回の分類手法はごく単純なものであるため，既存研究の
成果（例えば論文\cite{wang_2016}等）を取り入れることで今よりも高い精度で分類を行える可能性がある．

山下ら\cite{yamashita2016}は商品レビューを商品について記述したものと，店
舗について記述したものに分類する手法を提案している．このような分類を行う背景には，商品レビューにも関わらず店舗について記述したレビューの存在があり，これらは純粋に商品について知りたいユーザや，商品に関する評判を
抽出したいサイト運営者にとってノイズとなるため自動検出したいという要望がある．同様に新里ら
\cite{shinzato_2015}の研究においても，商品の使用感を記述した文を抽出す
る際に，商品レビュー中に存在する店舗に関しての言及が問題となることが報告されている．
そのため，商品レビューに対して事前に今回構築したアスペクト分類モデルを
適用することで，商品に関する記述だけを精度良く集めることが可能になり，
これらの研究の改善が見込める．

評判分析システムに関する研究として富田らの研究がある\cite{tomita_2012}．彼らのシス
テムはブログを対象に評判分析を行い，任意のキーワードに対する評判を整
理してユーザに提示するものである．
評判抽出の際は係り受け解析を行い，アスペクトに相当する単語と，その係り
先になっている単語の組を評判として抽出する．そのため，係り受け解析に失
敗した場合や，文をまたいで評判が記述されている場合は評判を抽出できない．
我々の手法は文を単位にアスペクト分類を行っており，その際は当該文から得られる情報だけでなく，同一レビュー内の他の文から得られるアスペクトの遷移情報も用いている．
このため，当該文内にアスペクトに相当する語が含まれていない場合であって
も正しく分類することが可能である．また，係り受け解析を用いていないため，
係り受け解析に失敗するような長文や構文的に複雑な文であっても正しく分類
できる可能性がある．
しかしながら，富田らのシステムは1文から複数の評判を抽出することができる
のに対し，我々の手法は1つの文を複数のアスペクトに分類することができない
という欠点もある．


\section{店舗レビュー分析システム}
\label{application}

これまでに述べた技術を用いて店舗レビュー分析システムを開発した．本節ではシステムの概要，およびその性能について報告する．


\subsection{システムの概要}

開発した店舗レビュー分析システムの実行例を図\ref{screenshot}に示す．
分析を行いたい店舗名およびアスペクトをクエリとしてユーザより受け取ると，システムは条件に一致するレビューをその評価極性分類結果と共に出力する．
過去2年分の店舗レビューおよびその分類結果をApache Solr\footnote{http://lucene.apache.org/solr/}を用いてインデキシングしており，任意の店舗名およびアスペクト・評価極性（肯定，否定）の組み合わせに対して分類結果を検索できるようになっている．

\begin{figure}[t]
\begin{center}
\includegraphics{25-1ia3f5.eps}
\end{center}
\hangcaption{店舗レビュー分析システムの実行例（クエリとして与えた店舗名およびレビューを投稿したユーザ名は伏せてある）．画面右には，自動分析結果に基づきグラフ化した肯定的レビュー，否定的レビューの割合の時系列変化が表示される．画面左にはクエリとして与えられたアスペクトに分類された肯定的，否定的な文を含むレビューの一覧が表示される．画面では「配送」に関する肯定的な文を含むレビューのリストが表示されている．}
\label{screenshot}
\end{figure}

画面右側には，分類結果に基づく肯定的レビュー，否定的レビューの割合の時系列変化がグラフで表示される．グラフ中の実線は肯定的，破線は否定的なレビュー
の変化をそれぞれ表しており，線の太さは細いものが1週間分の，
太いものが3ヶ月分の変化の単純移動平均を示している．
このグラフを確認することで，ユーザの調べたいアスペクトに関する評判の推
移が簡単に把握できるようになっている．例えば図の場合，一時期配送に関す
る否定的なレビューが増大したが，現在は収束していることが読み取れる．

一方，画面左側にはクエリに一致する店舗レビューのリストが，肯定，否定に
分かれて表示される．肯定，否定の切り替えはリスト上部のタブをクリックす
ることでできる．図では肯定的なレビューが表示され
ており，クエリとして与えられたアスペクトかつ肯定的と自動的に分類された
文がハイライトされている．これにより，ユーザは任意のアスペクトについて
具体的にどう良かったのか（またはどう悪かったのか）を簡単に調べることが
できる．



別の使い方として，ある店舗からの購入をやめた理由の検索が挙げられる．以
下はある店舗に対して書かれたレビューのうち，再購入-否定に分類された文を
含むものである．
\begin{itemize}
\item X月X日に注文しましたが、\underline{まだ届きません}。/\underline{連絡もないし．．．}/こんなに遅い通販て珍しいですね。/どこ頼んでも２〜３日で届きます。/{\bf ２度と注文しません。}
\item {\bf もう二度と購入しません。}/間違えてすぐにショップにメールしたのに、発送してしまったとの事。/私が注文間違えた事に問題はありますが、\underline{キャンセル出来ない}ところでは購入しません。
\end{itemize}
太字は再購入-否定に分類された文，下線の引かれた文・表現は購入をやめた理
由について記述しているものである．このような理由について記述した箇所を
自動的に特定することは今後の課題であるが，現状のシステムを使って「再購入-否定」を含むレビューを検索することで，再購入しない理由を述べたレ
ビューを効率よく集めることができる．
このような再購入をやめた理由は運営サイト側にとって大変貴重なデータで
あり，店舗やサービスの改善など，いろいろな場面で役立てることが可能
である．

以上，ここで挙げた任意のアスペクト・評価極性について記述された文（を含むレビュー）の検索
や，該当する文のハイライト機能，さらには検索結果に基づくレビューの活用は，
図\ref{review}に示したレビューをユーザから得られる5段階評価のみで管理していては実
現できない．本稿で述べた手法を用いてレビュー本文を構造化することで初めてこれらが実現可能
になる点を強調したい．


\subsection{性能評価}

店舗の良い点，悪い点を調べようとする際，従来はレビュー本文を1つ
ずつユーザは読む必要があった．しかしながら，図\ref{screenshot}に挙げたシステム
を用いることで，ユーザは任意のアスペクト・評価極性について記述された
レビューに簡単にアクセスできるようになる．
そこで，どのくらいの精度，再現率で条件に一致するレビューにアクセスできるのかを調査した．
具体的には，\ref{training-data}節で構築した学習データ中のそれぞれのレ
ビューについて，各文に付与されたアスペクト-評価極性のラベルを集約し，そ
れをレビューに対するラベルと見なした．
例えば，図\ref{aggregation}のレビューであれば，「配送-否定」「対応-肯定」をレビューに対するラベルと見なす．

\begin{figure}[b]
\begin{center}
\includegraphics[width=348pt]{25-1ia3f6.eps}
\end{center}
\hangcaption{店舗レビューの例．各文についたラベルを集約し，「配送-否定」，「対応-肯定」をこのレビューに対するラベルと見なす．}
\label{aggregation}
\end{figure}

実験結果を表\ref{system-performance}に示す．表のマイクロ平均を見ると，
否定的なものに比べ，肯定的なアスペクトを含むレビューをより高い精度で収
集できることがわかる．一方で，マクロ平均に関しては，「キャンセル・返品-肯定」
に関して性能が出ていないため，否定的なアスペクトを含むレビューの分類の
方が${\rm F_1}$値で高い結果となった．
また表\ref{performance}の文単位での評価結果と比べると，精度の改善
に比べ，再現率の改善の方が大きい．これはラベルを集約した結果，同一の評
価極性付きアスペクトを複数含むレビューにおいて，そのいずれか1つを分類す
ることができれば良くなったためであると考えられる．

\begin{table}[t]
\caption{レビュー単位で評価した場合の評価結果}
\label{system-performance}
\input{03table11.tex}
\end{table}


\section{おわりに}

本稿では，オンラインショッピングサイト出店者（店舗）に対するレビュー中
の各文を，記述されている内容（アスペクト）およびその評価極性（肯定，否定）
に応じて分類するシステムについて述べた．店舗レビュー中にどのようなアス
ペクトが記載されているのかは明らかでなかったため，まず無作為に選び出し
た店舗レビュー100件（487文）を対象に，各文がどのようなアスペクトについて
書かれているのか調査した．
その結果，配送や梱包など14種類のアスペクトについて書かれていることがわかった．このうち，店舗とのやり取り，店舗に対する評価，再度購入したいと思ったかどうか，キャンセル・返品時の対応などは，店舗レビュー
がもともとメタデータとして持っているアスペクトには含まれていないものであり，自由記述部分には店舗に対するより詳細な評価が含まれていることがわかった．

次いでこの調査結果に基づき，新しく選び出した1,510件の店舗レビュー
（5,277文）に対して人手でアスペクトおよびその評価極性のアノテーションを
行い，既存の機械学習ライブラリを用いてレビュー内の文をアスペクトおよび
その評価極性に分類する店舗レビュー分析システムを開発した．
システムを用いることで肯定的レビュー，否定的レビューの割合の時系列変化を確認できたり，任意のアスペクト，評価極性に分類された文，およびそれ
らを含むレビューへ簡単にアクセスすることが可能となる．
このような利便性の向上はオンラインショッピングサイトのユーザのみならず，
運営側にとっても店舗の対応をモニタリングする上で大変有用であり，社内
ツールとしての運用に向けて関係部署と現在調整中である．

以下，今後の課題について述べる．現在の手法では1文に対して1つのアスペクト，評価極性しか推
定できないが，実際には複数のアスペクトおよび評価極性をもつ文が無視できない数あった．そのため，複数のアスペクト，評価極性を推定できるように分類手法を拡張する必要がある．
またエラー分析の結果，アスペクト分類に必要な素性が抽出できていない場合が多いこともわかっ
た．そのため，素性に関して再検討することも今後の課題である．
さらに分析システムという観点から考えると，分類結果の効果的な表示方法に
ついても検討する必要がある．分類結果をどのように表示す
ればより良いのかはその利用方法と関連が深いため，
今後システムの利用を想定している関係部署のメンバーと表示方法について検討していく必要があるで
あろう．



\bibliographystyle{jnlpbbl_1.5}
\begin{thebibliography}{}

\bibitem[\protect\BCAY{Ando \BBA\ Ishizaki}{Ando \BBA\
  Ishizaki}{2012}]{ando_2012}
Ando, M.\BBACOMMA\ \BBA\ Ishizaki, S. \BBOP 2012\BBCP.
\newblock \BBOQ Analysis of Travel Review Data from Reader's Point of
  View.\BBCQ\
\newblock In {\Bem Proceedings of the 3rd Workshop on Computational Approaches
  to Subjectivity and Sentiment Analysis}, \mbox{\BPGS\ 47--51}.

\bibitem[\protect\BCAY{安藤\JBA 関根}{安藤\JBA 関根}{2013}]{ando2013}
安藤まや\JBA 関根聡 \BBOP 2013\BBCP.
\newblock レビューには何が書かれているのか？\
\newblock \Jem{ALAGIN \& NLP 若手の会合同シンポジウム}.

\bibitem[\protect\BCAY{浅野\JBA 乾\JBA 山本}{浅野 \Jetal }{2014}]{asano2014}
浅野翔太\JBA 乾孝司\JBA 山本幹雄 \BBOP 2014\BBCP.
\newblock 談話役割に基づくクラス制約規則を利用したレビュー文の意見分類.\
\newblock \Jem{言語処理学会第 20 回年次大会発表論文集}, \mbox{\BPGS\ 880--883}.

\bibitem[\protect\BCAY{Ding, Liu, \BBA\ Yu}{Ding et~al.}{2008}]{ding_2008}
Ding, X., Liu, B., \BBA\ Yu, P.~S. \BBOP 2008\BBCP.
\newblock \BBOQ A Holistic Lexicon-based Approach to Opinion Mining.\BBCQ\
\newblock In {\Bem Proceedings of the 2008 International Conference on Web
  Search and Data Mining}, \mbox{\BPGS\ 231--240}.

\bibitem[\protect\BCAY{乾\JBA 奥村}{乾\JBA 奥村}{2006}]{inui_2006}
乾孝司\JBA 奥村学 \BBOP 2006\BBCP.
\newblock テキストを対象とした評価情報の分析に関する研究動向.\
\newblock \Jem{自然言語処理}, {\Bbf 13}  (3), \mbox{\BPGS\ 201--241}.

\bibitem[\protect\BCAY{乾\JBA 梅澤\JBA 山本}{乾 \Jetal }{2013}]{inui2013}
乾孝司\JBA 梅澤佑介\JBA 山本幹雄 \BBOP 2013\BBCP.
\newblock 評価表現と文脈一貫性を利用した教師データ自動生成によるクレーム検出.\
\newblock \Jem{自然言語処理}, {\Bbf 20}  (5), \mbox{\BPGS\ 683--706}.

\bibitem[\protect\BCAY{Kanayama \BBA\ Nasukawa}{Kanayama \BBA\
  Nasukawa}{2006}]{kanayama2006}
Kanayama, H.\BBACOMMA\ \BBA\ Nasukawa, T. \BBOP 2006\BBCP.
\newblock \BBOQ Fully Automatic Lexicon Expansion for Domain-oriented Sentiment
  Analysis.\BBCQ\
\newblock In {\Bem Proceedings of the 2006 Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 355--363}.

\bibitem[\protect\BCAY{Kobayashi, Inui, \BBA\ Matsumoto}{Kobayashi
  et~al.}{2007}]{kobayashi_2007}
Kobayashi, N., Inui, K., \BBA\ Matsumoto, Y. \BBOP 2007\BBCP.
\newblock \BBOQ Extracting Aspect-Evaluation and Aspect-Of Relations in Opinion
  Mining.\BBCQ\
\newblock In {\Bem Proceedings of the 2007 Joint Conference on Empirical
  Methods in Natural Language Processing and Computational Natural Language
  Learning}, \mbox{\BPGS\ 1065--1074}.

\bibitem[\protect\BCAY{Landis \BBA\ Koch}{Landis \BBA\ Koch}{1977}]{kappa}
Landis, R.\BBACOMMA\ \BBA\ Koch, G. \BBOP 1977\BBCP.
\newblock \BBOQ The Measurement of Observer Agreement for Categorical
  Data.\BBCQ\
\newblock {\Bem Biometrics}, {\Bbf 33}  (1), \mbox{\BPGS\ 159--174}.

\bibitem[\protect\BCAY{那須川\JBA 金山}{那須川\JBA 金山}{2004}]{nasukawa_2004}
那須川哲哉\JBA 金山博 \BBOP 2004\BBCP.
\newblock 文脈一貫性を利用した極性付評価表現の語彙獲得.\
\newblock \Jem{情報処理学会研究報告}, \mbox{\BPGS\ 109--116}.

\bibitem[\protect\BCAY{大野\JBA 楠村\JBA 土方\JBA 西田}{大野 \Jetal
  }{2005}]{ohno_2005}
大野華子\JBA 楠村幸貴\JBA 土方嘉徳\JBA 西田正吾 \BBOP 2005\BBCP.
\newblock 社会的関係を用いたネットオークションの評価コメントの自動要約.\
\newblock \Jem{電子情報通信学会論文誌. D, 情報・システム}, {\Bbf 88}  (3),
  \mbox{\BPGS\ 668--683}.

\bibitem[\protect\BCAY{Pang \BBA\ Lee}{Pang \BBA\ Lee}{2008}]{pang2008}
Pang, B.\BBACOMMA\ \BBA\ Lee, L. \BBOP 2008\BBCP.
\newblock {\Bem Opinion Mining and Sentiment Analysis}.
\newblock Foundations and Trends in Information Retrieval.

\bibitem[\protect\BCAY{Pang, Lee, \BBA\ Vaithyanathan}{Pang
  et~al.}{2002}]{pang_2002}
Pang, B., Lee, L., \BBA\ Vaithyanathan, S. \BBOP 2002\BBCP.
\newblock \BBOQ Thumbs Up? Sentiment Classification using Machine Learning
  Techniques.\BBCQ\
\newblock In {\Bem Proceedings of the Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 76--86}.

\bibitem[\protect\BCAY{Pontiki, Galanis, Papageorgiou, Androutsopoulos,
  Manandhar, AL-Smadi, Al-Ayyoub, Zhao, Bing, Clercq, Hoste, Apidianaki,
  Tannier, Loukachevitch, Kotelnikov, Bel, Jimenez-Zafra, \BBA\
  Eryigit}{Pontiki et~al.}{2016}]{semeval_2016}
Pontiki, M., Galanis, D., Papageorgiou, H., Androutsopoulos, I., Manandhar, S.,
  AL-Smadi, M., Al-Ayyoub, M., Zhao, Y., Bing, Q., Clercq, O.~D., Hoste, V.,
  Apidianaki, M., Tannier, X., Loukachevitch, N., Kotelnikov, E., Bel, N.,
  Jimenez-Zafra, S.~M., \BBA\ Eryigit, G. \BBOP 2016\BBCP.
\newblock \BBOQ SemEval-2014 Task 5: Aspect based Sentiment Analysis.\BBCQ\
\newblock In {\Bem Proceedings of the 10th International Workshop on Semantic
  Evaluation}, \mbox{\BPGS\ 19--30}.

\bibitem[\protect\BCAY{関}{関}{2013}]{seki_2013}
関洋平 \BBOP 2013\BBCP.
\newblock 意見分析コーパスの現状と課題.\
\newblock \Jem{情報処理学会論文誌データベース}, {\Bbf 6}  (4), \mbox{\BPGS\
  85--103}.

\bibitem[\protect\BCAY{新里\JBA 益子\JBA 関根}{新里 \Jetal
  }{2015}]{shinzato_2015}
新里圭司\JBA 益子宗\JBA 関根聡 \BBOP 2015\BBCP.
\newblock オノマトペを利用した商品の使用感の自動抽出.\
\newblock \Jem{情報処理学会論文誌}, {\Bbf 56}  (4), \mbox{\BPGS\ 1305--1316}.

\bibitem[\protect\BCAY{富田\JBA 松尾\JBA 福田\JBA 山本}{富田 \Jetal
  }{2012}]{tomita_2012}
富田準二\JBA 松尾義博\JBA 福田浩章\JBA 山本喜一 \BBOP 2012\BBCP.
\newblock
  大規模データを対象とした文書情報集約データベースと評判分析サービスにおける検証.\
\newblock \Jem{電子情報通信学会論文誌. D, 情報・システム}, {\Bbf 95}  (2),
  \mbox{\BPGS\ 250--263}.

\bibitem[\protect\BCAY{Tsunoda, Inui, \BBA\ Sekine}{Tsunoda
  et~al.}{2015}]{tsunoda_2015}
Tsunoda, T., Inui, T., \BBA\ Sekine, S. \BBOP 2015\BBCP.
\newblock \BBOQ Utilizing Review Analysis to Suggest Product Advertisement
  Improvements.\BBCQ\
\newblock In {\Bem Proceedings of the 6th Workshop on Computational Approaches
  to Subjectivity, Sentiment and Social Media Analysis}, \mbox{\BPGS\ 41--50}.

\bibitem[\protect\BCAY{Wang, Lu, \BBA\ Zhai}{Wang et~al.}{2010}]{wang_2010}
Wang, H., Lu, Y., \BBA\ Zhai, C. \BBOP 2010\BBCP.
\newblock \BBOQ Latent Aspect Rating Analysis on Review Text Data: A Rating
  Regression Approach.\BBCQ\
\newblock In {\Bem Proceedings of the 16th ACM SIGKDD International Conference
  on Knowledge Discovery and Data Mining}, \mbox{\BPGS\ 783--792}.

\bibitem[\protect\BCAY{Wang, Huang, Zhu, \BBA\ Zhao}{Wang
  et~al.}{2016}]{wang_2016}
Wang, Y., Huang, M., Zhu, Z., \BBA\ Zhao, L. \BBOP 2016\BBCP.
\newblock \BBOQ Attention-based LSTM for Aspect-level Sentiment
  Classification.\BBCQ\
\newblock In {\Bem Proceedings of the 2016 Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 606--615}.

\bibitem[\protect\BCAY{山下\JBA 東野}{山下\JBA 東野}{2016}]{yamashita2016}
山下達雄\JBA 東野進一 \BBOP 2016\BBCP.
\newblock 商品レビューに含まれるストア言及の抽出.\
\newblock \Jem{情報処理学会第 78 回全国大会講演論文集}.

\end{thebibliography}


\begin{biography}
\bioauthor{新里　圭司}{
2006年北陸先端科学技術大学院大学情報科学研究科博士後期課程修了．博士（情報科学）．京都大学大学院情報学研究科特任助教，特定研究員を経て，2011年から楽天技術研究所．自然言語処理，特に，知識獲得，情報抽出，評判分析の研究に従事．
}

\bioauthor{小山田由紀}{
2017年東京女子大学人間科学研究科人間文化科学専攻現代日本語・日本語教育分野博士前期課程修了．
修士（人間文化科学）．楽天技術研究所で自然言語処理のためのアノテーション業務に従事．
}

\end{biography}


\biodate




\end{document}
