    \documentclass[japanese]{jnlp_1.4}
\usepackage{jnlpbbl_1.3}
\usepackage[dvipdfm]{graphicx}
\usepackage{amsmath}

\usepackage{url}


\Volume{24}
\Number{1}
\Month{February}
\Year{2017}

\received{2016}{5}{20}
\revised{2016}{8}{5}
\accepted{2016}{9}{15}

\setcounter{page}{95}

\jtitle{多様性の導入による推薦システムにおけるユーザ体験向上の試み}
\jauthor{関　　喜史\affiref{gunosy}\affiref{utokyo} \and 福島　良典\affiref{gunosy} \and 吉田　宏司\affiref{gunosy}  \and 松尾　　豊\affiref{utokyo}}
\jabstract{
推薦システムのユーザ体験を高めるために重要な指標の1つが多様性(Diversity)である．
多様性は推薦システムが提示するリスト内には様々なコンテンツが含まれるべきという考え方であり，
過去の研究では多様性が含まれるリストの方がユーザに好まれるとされている．
しかし実際のサービス上で推薦システムを検証したという報告は少なく，
サービス上で多様性がユーザにどのような影響を与えるのかは明らかになっていない．
本研究では実際にサービスとして提供されているウェブページ推薦システムを分析し，
その推薦システムに多様性を導入して比較を行った事例について報告する．
まず多様性が導入されていない推薦システムのユーザ行動を分析し，結果としてリストの中位以降に表示するウェブページに課題があることを明らかにした．
その上で多様性を導入し，多様性のない既存システムとサービス上でのユーザ行動を比較した．
結果として継続率やサービス利用日数が有意に改善していることを示し，
従来研究で示されていた多様性を含む推薦リストの方がユーザに好まれるということを実サービス上で示した．
そして利用日数が増えるに従ってリスト全体のクリック数が改善していくこと，特にリスト下部のクリック率が多様性のない手法では下がっていくのに対して，多様性のある手法では向上していくことを示した．
}
\jkeywords{推薦システム，多様性，キュレーション，ウェブサービス，ユーザ体験}

\etitle{Improving User Experience for Recommender System using Diversity}
\eauthor{Yoshifumi Seki\affiref{gunosy} \and Yoshinori Fukushima\affiref{gunosy} \and Koji Yoshida\affiref{gunosy}  \and Yutaka Matsuo\affiref{utokyo}}
\eabstract{
Diversity is an important indicator for improving user experience in recommender systems. Previous research indicate that people prefer diverse recommended item lists. However, few studies have experimented with online user experience of recommender systems owing to lack of clarity regarding the effects of diversity of recommender systems on user experience. This paper reports the online experience of diversity of web service recommender systems. We analyzed the recommender system without diversity for user activity in web services. As a result, the second half of the recommended list is underwhelming. We have constructed a diverse recommender system by decreasing user features, and have compared our system to the existing system for user activity in web services. Consequently, our system has succeeded in improving the weekly retention and active rates. Therefore, the number of clicks on the recommended list have increased.
}

\ekeywords{Recommender Systems, Diversity, Curation, Web Service, User Experience}

\headauthor{関，福島，吉田，松尾}
\headtitle{多様性の導入による推薦システムにおけるユーザ体験向上の試み}

\affilabel{gunosy}{株式会社Gunosy}{Gunosy Inc.}
\affilabel{utokyo}{東京大学}{University of Tokyo}



\begin{document}
\maketitle


\section{はじめに}

インターネットを通じたサービス利用はスマートフォンの普及を背景に近年ますます増加している\cite{ictbook2014}．
スマートフォンでの各種サービスの利用はこれまでのPCを経由して利用するインターネットサービスに比べて，画面の大きさや操作性という面で大きく制限されており，
サービス提供者はスマートフォンに合わせたユーザ体験を新たに構築する必要に迫られている．

このような背景の中で推薦システムに注目が集まっている．
推薦システムはユーザの興味関心に合わせて商品などを提示することを目的としたシステムであり，
Amazon\footnote{http://www.amazon.com/}での商品推薦や, Facebook\footnote{https://www.facebook.com/}での友人推薦をはじめとして幅広く利用されている．
画面の大きさや操作性が制限されているスマートフォンにおいて，
推薦システムを用いてユーザに合わせて最適な選択肢を提示することでユーザ体験を大きく改善することが期待されており，
今後様々な場面での利用が進んでいくと考えられる．

このような背景から推薦システムのユーザ体験に関する研究が近年注目を集めており，
その中で重要だと言われている指標の1つに多様性(Diversity)がある．
推薦システムが悪いとそのサービスが悪いとみなされると指摘されており\cite{cosley2003}，
推薦システムのユーザ体験を考慮することはそのサービス設計のためにも重要である．
多様性がユーザにもたらす影響についてはZieglerらの研究がよく知られており\cite{ziegler2005}，
多様性を含んだリストをユーザに提示するとユーザは自分に最適化されていないものが含まれていることは認識するが，
多様性が含まれたものを好むという結果が報告されている．

また推薦システムについてはFilterBubbleという問題が指摘されているが，その問題への対応のためにも推薦リストの多様性が重要であると言われている\cite{Pariser2011}．
ジャーナリストであるイーライ・パリサーは検索エンジンやSNS (Social Network Service)が推薦システムの技術を用いてパーソナライズ化されていくことに対して，
情報のタコツボ化が起こることを懸念し，人々が正しい意思決定をすることを阻害していると警鐘を鳴らした．
その動きに対応して推薦システムに関する国際会議であるRecsys\footnote{https://recsys.acm.org/}では，
2011年にFilterBubbleに関するワークショップを開催し，FilterBubble問題に関する見解を示した\cite{filterbubble}．
その中でFilterBubbleとパーソナライズはトレードオフであること，
すべての情報を人が網羅することは不可能なのでフィルタリング技術は必要であることを指摘した上で，
推薦システムを作る過程において，
そのシステムの説明性，透明性を担保すること，
推薦される個々のアイテムだけでなくリスト全体を評価し，多様性も考慮して設計することが必要であるとした．

このような背景から近年推薦システムを構築する上で多様性を考慮することは一般的になったが，推薦結果の多様性がユーザやサービスにどのような影響をあたえるかについては分かっていない点が多い．
多様性に関する研究の多くは多様性がユーザ体験を向上させるという前提に立っているが，
その根拠はユーザへのアンケートによるものであり，
サービスにどのような形で利益をもたらすかについては明らかになっていない．
これは推薦システム研究の多くが過去のデータを用いたオフラインテストで行われており，
実際にサービス上でシステムを提供して比較した例が少ないことが要因である．

本研究の目的は推薦システムを用いて提供されているサービスに対して多様性を導入し，
推薦結果の多様性がユーザに与える影響について明らかにすることである．
本研究ではウェブページ推薦システムを提供しているグノシー\footnote{http://gunosy.com}というサービスにおいて，
推薦システムに多様性を導入しそのユーザ行動への影響について報告する．
まず多様性がない既存システムにおけるユーザの行動を分析し，
どのような特性をもったシステムであるかを示した．
その上で多様性を導入したユーザ減衰モデルを構築した上で実際にサービス上でユーザに対して提供し，既存システムとの比較を行った．
その結果多様性がサービスの継続率の改善や利用日数の増加という形でユーザの満足度を高めていることを示した．
これはユーザは多様性を含むリストの方を好むという従来研究で指摘されていた点がサービス上においても有用に働くことを示したといえる．
また利用日数が浅い段階ではユーザがクリックするウェブページの数は既存システムと同程度であるが，
利用日数が増えるにしたがって多様性をもったユーザ減衰モデルのほうがクリックするウェブページの数が増えていくことを明らかにした．
そして多様性のない既存システムでは，利用日数が増えるに従って推薦リスト下部のクリック率が下がっていくのに対して，
多様性を取り入れたユーザ減衰モデルでは，推薦リスト下部のクリック率が向上していくことを示した．
これは従来研究は確認できなかった多様性の中長期における影響を示したものである．

本研究では実際に事業として開発・運用されているウェブサービスを利用しているため，ビジネス上の制約により用いている手法をすべて公開することはできない．
既存システムのユーザ行動の分析によって推薦システムとして有効に作用していることを示すことによってその代わりとしたい．
本研究の目的は多様性がユーザ体験にどのような影響を与えるかについて論じることであり，
手法が非公開であることが本研究の結果に与える影響は軽微であると考える．

以下に本論文の構成を示す．
\ref{sec:related}章に関連研究と本研究の位置付けを示す．
\ref{sec:gunosy}章において本研究で利用するグノシーというサービスと，
そこで用いられている推薦システムについて紹介し，
そのシステムのユーザ行動とその課題について分析する．
\ref{sec:purpose}章で前章で述べた課題を元に推薦システムに多様性を導入する方法について述べる．
\ref{sec:experience}章で既存システムと比較手法の比較実験を行い，推薦システムの多様性がサービスにもたらす影響について考察し，
\ref{sec:conclusion}章で本研究のまとめを行う．


\section{関連研究}
\label{sec:related}

本章では本研究の関連研究についてまとめる．
推薦システムの初期の研究では検索エンジンと同様に結果の適合度によって推薦システムが評価されていた\cite{Jannach2010}．
しかしHerlockerらの研究によって多様性，意外性，新規性などが推薦システムのユーザ満足度を高める可能性があると指摘され\cite{herlocker2004}，
現在ではKonstanらが推薦システムとユーザ体験に関する研究についてまとめたように様々な試みがなされている\cite{Konstan2012}．
多様性に関する研究としてはZieglerらの研究がよく知られている\cite{ziegler2005}．
Zieglerらはリスト内の多様性を表すintra-list-similarityという多様性に関係する指標を提案し，通常の類似度による推薦との重み付け和によって推薦を行う推薦システムを提案した．
本の推薦システムによって多様性を持つシステムのユーザへのアンケートを行い，ユーザは自分に最適化されていないことは認識するものの，
多様性が含まれている推薦リストのほうが好ましいと答えた．
この結果が多様性が推薦システムにおいて重要だとされる根拠となり，
推薦システムにおいて多様性を考慮する研究が数多く生まれているが，
多様性がユーザに与える影響についてより踏み込んだ分析は我々の知る限りでは行われていない
\cite{murakami2009,zhang2008avoiding,lathia2010temporal}．
本研究は実サービスでの推薦システムの比較を行うことで，多様性がユーザに与える影響について新たな示唆を与えるものである．

推薦システムのユーザ行動に関する知見が少ない理由として実際にサービス上で行われた実験が少ないことが挙げられる．
ここではサービス上で行われた実験をいくつか紹介する．
DavidsonらはYoutubeにおいて推薦システムを導入した際の効果について報告した\cite{davidson2010youtube}．
そのシステムはco-viewを用いた単純なものであるとされており，手法の詳細については公開されていないが，
単純な人気ランキングを表示するのと比べて207\%クリック率が向上したと報告されている．
BellufらはブラジルのECサイトを対象に5\%のユーザに対して推薦システムを適用しユーザ行動の差を分析する研究を行い，結果として8--20\%の売上の向上が見込めることを報告している\cite{belluf2012case}．
なおこちらの研究においても推薦システムの手法の詳細は公開されていない．
サービス上での評価とは少し異なるが，Flederらは推薦システムを経済シミュレーションにより分析し\cite{fleder2007recommender}，
経路依存性が存在すること，推薦システムによってその特性が様々に変わることを指摘している．
このように推薦システムがサービスにどのような影響を与えるかを調べた研究はまだ少ない．
本研究ではウェブページ推薦を行うサービスであるグノシー上において提供する推薦システムを対象に実験を行い，推薦システムがどのように利用されており，多様性がサービスにどのような影響を与えているかを実データを分析することで示す．


\section{グノシーの推薦システム}
\label{sec:gunosy}

本研究は株式会社Gunosyが提供している情報キュレーションサービスであるグノシー内において行われている．
本章ではグノシーがどのようなサービスなのかを述べ，
サービス内で用いられている推薦システムの概要を説明し，
本システムがどのような特性を持っているのかをいくつかの実験の結果を元に説明する．
その上で本システムの課題について分析を行い，多様性がどのような影響を与えるかを考察する．


\subsection{グノシーについて}

グノシーは株式会社Gunosyが運営する情報キュレーションサービスである．
2011年9月にサービスを開始し，翌年11月に法人化された．
スマートフォンアプリケーションを中心にサービスを展開しており，
アプリケーションのダウンロード数は2016年10月で1600万を超えている国内最大級の情報キュレーションサービスである\footnote{https://gunosy.co.jp/news/75}．

情報キュレーションサービスはウェブ上の様々なコンテンツを取捨選択し，
サービス上でユーザに提示するサービスである．
国内ではグノシーの他にSmartnews\footnote{https://www.smartnews.com}, Anntena\footnote{https://antenna.jp}, NewsPicks\footnote{https://newspicks.com/}等がよく知られている．
情報キュレーションサービスで扱うコンテンツはニュースが中心ではあるが，コラムやブログ，まとめサイトなど様々なコンテンツを扱っていることが多い．
2014年に矢野経済研究所が行った調査ではキュレーションサービスの市場規模は2012年は60億円程度であったが，
2014年には178億円，2017年には395億円と急成長していくとしている\cite{yano2014}．

本研究は2011年9月のサービスリリース時から2012年末までの期間を対象に行われたものである．
その期間においてグノシーはTwitter\footnote{https://twitter.com/}, Facebook, はてなブックマーク\footnote{http://b.hatena.ne.jp/}のアカウントを連携することにより，
登録したユーザのそれぞれのサービス内での行動から1日25件のウェブページをユーザに提示するサービスを提供していた．
提示されたコンテンツはウェブブラウザでログインして見ることができる他，
登録したメールアドレスに指定した時間に送ることもできる．
現在のグノシーではこの機能は‘マイニュース’というサービス上の一部の機能として提供されている．


\subsection{グノシーの推薦システムの概要}

本節ではグノシーで利用されている推薦システムがどのようなものかについて述べる．
システムの詳細についてはビジネス上の制約により紹介することはできないが，
本研究の目的は多様性がもたらすユーザ体験の変化を明らかにすることであり，
システムの詳細が明らかでなくても問題はないと考える．

グノシーの推薦システムは内容ベースフィルタリングをベースにしたシンプルなものである\cite{Jannach2010}．
推薦対象となるウェブページ集合$W$とユーザ集合$U$を考える．
ここであるウェブページ$w \in W$がユーザ$u \in U$にどれだけ好まれるかの予測値を$r$として表す．
この予測値は正の値をとり，正規化されておらず値域は$[0, \infty)$となる．
この評価値を元にユーザ$u$に対して$r$が大きい順にウェブページを$w_1,w_2,...,w_{|W|}$と並べると，
$w_1, ..., w_K$のウェブページがユーザに提示するウェブページのリストとなる．$K$はユーザに提示するウェブページの個数で，Gunosyの場合は$K=25$となる．
多くの内容ベースフィルタリングによる推薦システムがそうであるように，
ユーザ$u$の興味関心とウェブページ$w$の特徴量を共通の$N$次元ベクトル空間で表現し，評価値$r$はベクトルの類似度により求められる．

ウェブページ特徴量$\vec{w}$とユーザ特徴量$\vec{u}$は単語によって構築される共通の次元空間を持っており，
評価関数はウェブページの特徴量$\vec{w}$とユーザ特徴量$\vec{u}$との内積をベースに重み付けや正規化にいくつかのヒューリスティクスを用いている．

ウェブページの特徴量$\vec{w}$の構築にはウェブページ内のテキストにおける単語のTF-IDF値を出現位置によって重み付けした値をベースに，
そのウェブページが誰によって書かれたかによって幾つかの単語に値が追加されるルールや，
そのウェブページについてSNS，ソーシャルブックマークサービス，ブログなどの外部のウェブサイトに投稿された内容を解析した結果なども用いている．

ユーザの特徴量$\vec{u}$にはサービス登録時は連携したサービスでのプロフィール文などから構築した特徴量と，連携したサービスに投稿したウェブページとグノシー内でクリックしたウェブページの特徴量$\vec{w}$の重み付け和を組み合わせたものを利用している．

このように手法は様々なルールやヒューリスティクスを含む形で構築されている．
ウェブページの特徴量を生成するための詳細や連携サービスからの特徴量抽出，重み付けの詳細などは事業上の理由により公開することができない．
しかし本研究の目的は多様性を導入した際のユーザ行動の変化を明らかにすることであるため，
多様性を導入した手法と既存システムで非公開にしているウェブページの特徴量$\vec{w}$, ユーザの特徴量$\vec{u}$, 評価値関数$f$は共通であることと，
既存システムにおけるユーザ行動の分析が十分に行われていることで，
本研究の目的と結果の有効性に対する影響は軽微であると我々は考えている．

まず本システムが推薦システムとして有効に作用しているのかを検証する．
本システムはユーザ$u$がウェブページ$w$に興味の持つ度合い$r$を求めている．
$r$が適切に求められているのであれば，$r$が高ければ高いほどユーザ$u$がウェブページ$w$を閲覧する確率は高くなると考えられる．
2012年5月から9月にサービスを利用した全ユーザに対して，
推薦された記事の$r$とその記事のクリック率を比較し相関関係を求めた．
各ウェブページの$r$を0$\sim$9.9まで0.1刻みとそれ以上に分け，
各区分でのクリック率を$\frac{クリックしたユーザ数}{推薦されたユーザ数}$として求める．

\begin{figure}[t]
\begin{center}
\includegraphics{24-1ia5f1.eps}
\end{center}
\caption{$r$とクリック率の関係}
\label{fig:r_vs_ctr}
\end{figure}

クリック率と$r$の関係を図\ref{fig:r_vs_ctr}に示す．
相関係数は0.958となり，この結果からクリック率と$r$には強い正の相関があることが示された．
このことからウェブページのクリック率がユーザの興味関心の度合いを示すと仮定すれば，
$r$はそのウェブページに対するユーザの興味関心の度合いを示すことができていると考えられる．


\subsection{表示位置とクリック率}

本節では記事の表示順位がクリック率にどのような影響を及ぼしているのかについて述べ，
多様性の導入が本システムにどのような影響をもたらすのかについて考察する．
本システムではユーザごとに$r$の大きい順に25件のウェブページを縦に並べて提示している．
これは一般的な検索エンジンが検索結果を表示するのと似ており，
検索エンジンのクリック率は順位によって変動することが知られている\cite{manning2008introduction}．
前節では$r$とクリック率に強い相関があることを示したが，$r$が高ければ本システムでは高い位置に表示されることになる．
本システムにおいてリスト内での表示位置がウェブページのクリック率にどのような影響を与えているのかを調べるために2つの実験を行った．

\begin{figure}[b]
\begin{center}
\includegraphics{24-1ia5f2.eps}
\end{center}
\caption{順表示と逆順表示の際のクリック率の比較}
\label{fig:reversed}
\end{figure}

第1の実験として一部のユーザに対して推薦結果のリストを逆順に表示し比較を行った．
本システムでは通常25件のウェブページを$r$の大きい順に表示しているが，
この実験では$k$番目のウェブページを$26-k$番目に表示するようにした．
つまり元々1番目に表示されていたウェブページが25件目に表示され，25番目に表示されていたウェブページが1番目に表示されることになる．
対象ユーザとしてアクティブなユーザの中から2,000人のユーザをランダムに抽出し，一定期間実施した．
この実験の目的はウェブページのクリック率が表示位置によってどの程度変わるのかを知ることである．
もし前節で示した$r$とクリック率の相関関係が，$r$が高いウェブページが上位に表示されることによるのであれば，
逆表示であっても最上位に表示されたウェブページのクリック率は高くなり，最下位に表示された$r$の高いウェブページのクリック率は低くなる．
図\ref{fig:reversed}に順表示と逆表示での位置ごとのクリック率を比較したグラフを示す．
ここでクリック率は前節とは異なり，そのリスト内のウェブページを1つ以上クリックしたユーザを母数として求めている．
まず順表示のほうのクリック率を見ると，順位が高いほどクリック率が高くなることがわかる．
またリストの最下部で若干の上昇がみられるが，
これはリストの最下部はスクロールが止まるため若干クリック率が上がるためであると考えられる．
次に逆順表示のクリック率をみると，最上部は少し高いものの順表示と比べてると大幅に低く，
その後5番目からゆるやかに上昇しだし，最下部では最上部と同じようなクリック率を計測した．
逆表示において最上部以外は順位が下がるにつれてクリック率が上昇すること，
最上部のクリック率は順表示と逆表示で大きな差があることから，
$r$とクリック率の相関関係が表示位置のみによるものではなく，
$r$がユーザの興味関心度合いをある程度表していることが明らかとなった．

第2の実験として人手で選択したウェブページを25件のランダムな位置に挿入し，システムによって推薦されたウェブページとのクリック率の差分を調べた．
ウェブページの選択に際しては外部のメディア運営者に協力を依頼し，
運営するメディアの記事から日1件選択されたものを利用した．
選択されたウェブページは対象となったユーザのウェブページリストのランダムな位置に挿入される．
本実験は一定期間すべてのユーザを対象に行われた．

\begin{figure}[b]
\begin{center}
\includegraphics{24-1ia5f3.eps}
\end{center}
\caption{人為的に選んだウェブページと推薦結果の比較}
\label{fig:logic_vs_manual}
\end{figure}

この実験の目的は$r$の値にしたがってウェブページのリストを構築することがどれだけユーザのクリック率に寄与しているのかを確認することである．
$r$の値に関係なく人手で選んだウェブページのクリック率が高くなるような表示位置があるのであれば，
推薦システムのウェブページの選び方に課題があると考えられる．
図\ref{fig:logic_vs_manual}に比較結果を示す．
リストの上位の記事は人手で挿入された記事と比較して高いクリック率を有しているが，
リストの中位の記事は手動で挿入された記事と比較し同程度のクリック率をもち，
下位では人手で挿入した記事のほうが高いクリック率を持つようになっている．
この結果は本システムが中位以降については$r$に従って推薦することがユーザのクリック率を高めることに寄与しない可能性があることを示唆している．

2つの実験によって以下の事柄が明らかとなった．

\begin{itemize}
	\item $r$の大きさとウェブページのクリック率の相関は表示順位のみによるものではないため，$r$の値はある程度ユーザの興味関心度合いを反映しているといえる．
	\item $r$の大きさにしたがってリストを構築した場合，上位においては高いクリック率を得ることができるが，中位以降では無作為に挿入した記事と同等のクリック率であり，下位では無作為に挿入した記事のほうが高いクリック率をもつ．
\end{itemize}

つまり本システムは興味関心をある程度表現できてはいるものの，推薦リストの構築として考えた際に中位以降の表示に対して課題があることが明らかになった．
本システムではユーザの特徴量$\vec{u}$とウェブページの特徴量$\vec{w}$の類似度が高いものから順に並べてリストを構築している．
ここでユーザの特徴量$\vec{u}$において$i$番目の次元の$u_i$の値が他の次元の値と比べ非常に大きいとする($u_i \gg u_{\backslash i}$)．
その時$i$次元が高い特徴量を持つウェブページの$r$が高くなるため，
推薦リスト内のウェブページがそのようなウェブページばかりになってしまう．
特徴量の各次元はユーザの興味関心の方向を表しているため，結果として推薦リスト内が同じようなウェブページばかりで構成されてしまうことになる．
上記の例は極端ではあるが，上部で既に提示された記事と同じような内容になるため中位以降では飽きが生じてしまい，
結果として人手で挿入した記事のほうが新鮮さがあるためクリック率が同程度かそれ以上になるのではないかと考える．
このような結果から本システムに多様性を導入することにより，中位以降のクリック率を改善することができ，ユーザ満足度を向上させることに繋がるのではないかと考えた．


\section{推薦システムへの多様性の導入}
\label{sec:purpose}

本章では既存の推薦システムに多様性を導入する方法について述べる．
まず多様性の手法としてよく知られているZieglerらのTopic Diversification Algorithm (TDA)を紹介する\cite{ziegler2005}．
そしてTDAをベースにグノシーの推薦システムに多様性を導入するためのユーザ減衰モデルについて述べ，TDAとの関連について議論する．
そしてユーザ減衰モデルがどのように多様性を向上させているのかを比較実験によって示す．


\subsection{Topic Diversification Algorithm}

本節では推薦リストの多様性に関する手法としてよく知られているZieglerらの手法を紹介する\cite{ziegler2005}．
Zieglerらは多様性を表す指標Intra-List Similarityと，
関連度順に与えられた推薦リストから多様性を持った推薦リストを生成するTopic Diversification Algorithm (TDA)を提案している．

TDAは既に関連度順に並んでいるアイテムリスト$L$があるときに，
そのリストを多様性を持つように並び替えたリスト$L_{diver}$を構築することを目的としている．
ここで多様性リスト$L_{diver}$はもともとのリスト$L$と同じ長さかそれより短いものとする．
ここでアイテムリスト$l$とアイテム$p$の類似度を表す関数を$c(l, p)$と，アイテム$p$のリスト$l$内での位置を表す関数を$rank(p, l)$とする．
またリスト$L$の$i$番目のアイテムを$L(i)$とすることにする．
つまり$rank(L(i), L) = i$と書ける．

TDAではまず$L_{diver}(0)=L(0)$として，その後$L_{diver}$に含まれない$L$内のアイテムリスト$L_{\backslash diver}$から$L_{diver}$にアイテムを1つずつ追加する．
まず$L_{\backslash diver}$内のアイテム$p$とリスト$L_{diver}$との類似度$c(L_{diver}, p)$の昇順になるようにソートしたリスト$L_{similar}$を構築し，
以下の条件を満たす$p$を$L_{diver}$の末尾に加える．
\begin{equation}\label{eq:tda}
	\min_{p} \bigl\{ (1 - \alpha) \times rank(p, L) + \alpha \times rank(p, L_{similar}) \bigr\}
\end{equation}
式\ref{eq:tda}では既に作られているリストとの類似度の少なさの順位と，推薦システムとしての関連度の順位を平均した順位が最も高いアイテムを選ぶ．
このようにして選ばれたアイテムをリストに加えることを繰り返し，多様性のあるリストを作る．
この手法によって構築した推薦リストは$\alpha$を高めるとPresicionやRecallは低下するが多様性は高まっていき，
アンケートによる実験の結果ユーザは$\alpha$が0.3〜0.4のリストを最も好むと報告された．
特に内容ベースフィルタリングを用いた推薦リストにおいて著しいユーザ満足度の向上が見られたことが示されている．


\subsection{多様性の導入}

本節では\ref{sec:gunosy}章で述べた手法に多様性を導入する方法について述べる．
前節で紹介したTDAは既に推薦されたリスト内のアイテムと類似度が高いアイテムが推薦されにくくなることを目的とした手法である．
この考え方を元に既存システムに多様性を組み込むために，
本研究では推薦されたアイテムの特徴量を，ユーザの特徴量から減衰することによって同様の多様性効果を得ることを目指す．
以降本手法をユーザ減衰モデルと呼ぶ．
このユーザ減衰モデルはTDAの考えをグノシーのシステムで実現するための手法であり，
本論文の貢献としてユーザ減衰モデルの提案は含まない．

まず推薦リストをいくつかのブロックに分割する．
$K$個のウェブページを推薦する場合それを$N < K$となる$N$個のリストに分割する．
ここで$i$番目のリスト内のウェブページの個数を$k_i$とすると$K = \sum_{i=0}^N k_i$と書ける．
また$i$番目のブロックまでに推薦されているウェブページの数を$n_i$とすると，
$n_0 = 0$, $i$が1以上のときは$n_i = \sum_{j=0}^{i} k_j$と書ける．

このようにリストを$N$個に分割した上で，各ブロックごとに推薦を行いながらユーザの特徴量を減衰させていく．
$i$番目のリストを生成するためのユーザの特徴量を$\vec{u_i}$とすると，以下のように書ける．
\pagebreak
\begin{gather}
\vec{u_0} = \vec{u} \nonumber \\
\vec{u_{i+1}} = \vec{u_{i}} - \alpha \sum_{j=n_i}^{n_{i+1}} \vec{w_j} (i \geq 0)
\label{eq:descrease}
\end{gather}
ここで$\alpha$は定数である．

このユーザ減衰モデルがTDAと同じような性質を持つことを示す．
ユーザ減衰モデルにおいて$k_0=3$であり，$\vec{u_0}$を用いて$w_0, w_1, w_2$を推薦したとする．
ここで次の推薦のための減衰されたユーザの特徴量$\vec{u_1}$は式\ref{eq:descrease}から以下のように求められる．
\[
\vec{u_1} = \vec{u_0} - \alpha * (\vec{w_0} + \vec{w_1} + \vec{w_2})
\]
ここで次に推薦されるアイテム$w_4$は以下のように書ける．
\[
w_4 = max_{w \in W_{\backslash w_0, w_1, w_2}} f(\vec{u_1}, \vec{w})
\]
ここで$f(\vec{u}, \vec{w})$は同じベクトル空間上のユーザ特徴量とウェブページ特徴量の類似度をベースに表現されることから$f$では以下が成立すると仮定する．
\begin{gather*}
f(\vec{u_1}+\vec{u_2}, w) \propto f(\vec{u_1}, \vec{w}) + f(\vec{u_2}, \vec{w})  \\
f(\alpha \vec{u}, \vec{w}) \propto \alpha f(\vec{u}, \vec{w})
\end{gather*}
これを利用すると$f(u_1, w)$は以下のように展開できる．
\begin{equation}\label{eq:tda_vs_purpose}	
	f(u_1, w) \propto f(u_0, w) + f(- \alpha (w_1+w_2+w_3), w) 
	\propto f(u_0, w) - \alpha f(w_1+w_2+w_3, w)
\end{equation}
ここで第一項の$f(\vec{u_0}, w)$は減衰前のユーザ特徴量と$w$の類似度を返すものであり，
第二項目は既に構築された推薦リストと$w$の類似度を返すものである．
つまりユーザ減衰モデルでは元々のユーザ特徴量の評価値から，既に構築された記事リストとの評価値に一定の値を乗じた値を引いた値が最大になるウェブページを推薦しているといえる．
ここで式\ref{eq:tda}と式\ref{eq:tda_vs_purpose}を比較すると，
TDAにおける順位を返す関数を評価値を返す関数と考えれば，
ユーザ減衰モデルとTDAは一致するといえる．

ユーザ減衰モデルとTDAの違いを以下にまとめる．
\begin{itemize}
	\item TDAではリストとの類似度を順位として重み付け平均で計算しているが，本研究では評価値の重み付け平均とすることでユーザ特徴量の減衰によって実現している．
	\item TDAでは構築したリストにアイテムを1つずつ追加しているが，ユーザ減衰モデルではブロックにわけて複数個ずつ追加している．
\end{itemize}

このように細部の違いはあるもののユーザ減衰モデルの基本的な考え方はTDAと一致している．


\subsection{既存システムとの比較実験}

本節ではユーザ減衰モデルがどれだけ多様性を向上させているのかを既存システムと比較することによって示す．
2012年11月の1週間の記事データを用いて1日ずつ当該期間にアクティブであったユーザから無作為に抽出した1,000人のユーザに対して，
既存システムとユーザ減衰モデルを用いてそれぞれ25件の記事リスト生成し比較を行う．
このとき推薦リストの分割数$N=5$とし，各ブロックの大きさは$k_1=3, k_2=4, k_3=5, k_4=6, k_5=7$とした．
比較のためにZiegerらの研究でも用いられていたIntra-List-Similarity (ILS) とoverlapの2つの指標を用いる\cite{ziegler2005}．
ILSはZieglerらが提案した多様性を評価するための指標であり，多様性を評価する上で代表的な手法である\cite{Konstan2012}．定義を以下に示す．
\[
ILS(P_{w_i}) = \frac{\sum_{b_k \in P_{w_i}} \sum_{b_e \in P_{w_i}, b_k \neq b_e} c_o (b_k, b_e)}{2}
\]
このようにILSはリスト内のすべてのアイテムの組み合わせの類似度の総和である．
本節では各記事の特徴量のコサイン類似度によってILSを求めることとする．
overlapは元の推薦リストと多様性のある記事リストが何件一致しているかによって求められる．
これによって多様性によってどれだけ推薦結果が変化するのかを知ることができる．

まず7日間全体での各指標の平均値を表\ref{tbl:diversity}に示す．

\begin{table}[t]
\caption{多様性指標の比較}
\label{tbl:diversity}
\input{05table01.txt}
\end{table}

ユーザ減衰モデルでは既存システムに比べてILSが下がっていることが分かる．
これはユーザ特徴量を減衰しながら推薦することで，既存システムでは推薦されていたリスト上位で既に推薦された記事と類似している$r$が高い値をもつ記事が推薦されにくくなったためである．
overlapは8.06であり既存システムと提案手法では約8件と約2/3の記事が変化していることが分かる．
最上位ブロックは両方の手法で変化しない．$k_1=3$であるため今回の実験では3件の記事は必ず一致する．そのため残りの22件のうち17件が多様性によって変化したと言える．
このようにユーザ減衰モデルがリスト内の類似度を低下させ，記事リストを変化させていることが明らかになった．


\section{多様性の導入によるユーザ行動の変化}
\label{sec:experience}

本章ではユーザ減衰モデルを実際にサービスに適用することでユーザ行動におこった変化について述べ，
推薦システムの多様性がユーザ体験に与える影響について考察する．


\subsection{実験方法}

本節では実験方法について述べる．
本研究ではグノシーのサービス上で\ref{sec:gunosy}章で述べた既存システムと\ref{sec:purpose}章で述べたユーザ減衰モデルの比較を行った．
実験は2012年の8月から12月において行われた．
既存システムによってサービスを提供する期間と，ユーザ減衰モデルによってサービスを提供する期間に分け，
それぞれの期間における新規登録ユーザのサービス内でのユーザ行動を比較した．
また本サービスでは各種ウェブサービスとの連携によって初期のユーザ特徴量を構築しているが，
連携したウェブサービス上での行動が少ない場合は初期のユーザの特徴量を構築することができない．
本サービスではそのようなユーザに対してランダムな記事リストの生成を初期段階で行い，クリックしたウェブページのみによってユーザ特徴量を生成している．
このようなユーザは継続率やウェブページのクリック率がそうでないユーザに比べて低いことが経験的に知られており，
期間中のそのようなユーザの登録人数の比率が実験結果に影響を及ぼすと予想されることから，
今回登録時にユーザ特徴量が生成できなかったユーザは比較実験の対象外とした．

このようにして実験対象となるユーザ群を定義した．既存システムによるサービスを受けたユーザは3,465人，ユーザ減衰モデルによるサービスを受けたユーザは3,482人であり比較実験として同程度のユーザ数となった，
各手法でユーザの登録期間は異なるが，実験期間において手法の変更以外のサービスのアップデートはデザインなども含めて行われてはいないため，実験として期間の違いは問題にならないと考えている．


\subsection{評価方法}

本節では行った実験の評価方法について述べる．
ユーザ減衰モデルでは多様性の導入により，サービスを利用しているユーザの満足度が向上することが期待されている．
それを測るために，週次でのユーザの継続率を比較する．
登録してから7日目以内にウェブページを1つでもクリックした場合はそのユーザは1週目継続したとする．
そして8日目以降14日目以内にウェブページを1つでもクリックした場合はそのユーザは2週目に継続したとする．
このようにユーザが登録日から7日毎に推薦されたウェブページをクリックしたかを対象期間の登録ユーザ数を母数とした週次の継続率として評価に用いる．
継続率はウェブサービスの改善の指標としてよく用いられる指標であり，
これが高いとユーザがサービスに満足していると評価することができる．
その上で各週に継続しているユーザがその週次内で何日間サービスを利用したかを比較する．
この数値が高いとサービスを利用している日数が多いといえるため，
ユーザがよりサービスに定着していると考えられる．
そして順位ごとのクリック率を\ref{sec:gunosy}章と同様に比較し，
ユーザが推薦リストをどのように利用しているか，それが利用日数が増えるごとにどのように変化していくかを評価する．


\subsection{サービス利用の比較}

本節では既存システムとユーザ減衰モデルの継続率の比較結果について述べる．

既存システムとユーザ減衰モデルのそれぞれの週次継続率を表\ref{tbl:retention}に示す．
ユーザ減衰モデルのほうがすべての週次で良い継続率を記録していることがわかる．
この継続率が同等であるという仮説は1週目から4週目まですべてカイ二乗検定において有意水準1\%で棄却することができるため，
ユーザ減衰モデルがユーザの継続率を有意に改善しているといえる．

\begin{table}[b]
\caption{週次継続率の比較}
\label{tbl:retention}
\input{05table02.txt}
\end{table}

次に各週内でのサービスの利用日数を調べる．
ユーザ減衰モデルがユーザの満足度を向上させているのであれば，利用日数も高くなっていることが期待される．

表\ref{tbl:weekly_active}に既存システム，ユーザ減衰モデルそれぞれの週次での平均利用日数とその分散を示す．
ユーザ減衰モデルのほうが平均利用日数が高いことがわかる．2つの手法の平均利用日数は差がないという仮説は平均利用日数が正規分布に従うとするとt検定によって有意水準1\%で棄却されるため，
この平均利用日数の差は統計的に有意であるといえる．

\begin{table}[b]
\caption{週次の利用日数の比較}
\label{tbl:weekly_active}
\input{05table03.txt}
\end{table}

このようにユーザ減衰モデルによって推薦リストに多様性を導入した結果，
ユーザのサービス利用の満足度が向上したことが示唆された．


\subsection{表示順位ごとのクリック率の変化}

本節では多様性の導入がユーザのリスト内のクリック率に対してどのような変化を与えたのかを分析する．
ユーザ減衰モデルでは上位で推薦したウェブページに関係するユーザの特徴量が減衰され，
既存システムでは推薦されなかったウェブページが推薦されるようになっている．
その結果として順位ごとのクリック率がどのように変化しているのかを調べる．
ユーザ減衰モデルによって新たに推薦されるようになったウェブページは，
既存システムでは$r$が低いためにより低い位置で推薦されるウェブページであるため，
$r$とクリック率の相関関係のみを考えればクリック率が低下する恐れがある．
ユーザ減衰モデルではリスト内の多様性が生まれることによって既存システムと同等かそれ以上のクリック率が生まれることを期待している．

\begin{table}[b]
\vspace{-0.5\Cvs}
\caption{リスト内の一人あたりクリック数}
\label{tbl:weekly_click}
\input{05table04.txt}
\end{table}

表\ref{tbl:weekly_click}に週次のリスト内での平均クリック数と10段目までと11段目以降の平均クリック数を示す．
平均クリック数はユーザ減衰モデルが既存システムをすべての期間で上回っており，
登録から日数が経つごとにその差は拡大していく．
平均クリック数が正規分布に従うと仮定しt検定を行った結果，
3週目と4週目においてリスト全体の平均クリック数と11段目以降の平均クリック数，4週目において10段目までの平均クリック数においてそれらが等しいという仮説が有意水準1\%で棄却された．
以上のことからユーザ減衰モデルによって平均クリック数，特にリスト下部での平均クリック数が3週目以降で改善していることが示される．
特に11段目以降のクリック数は既存システムは低下していくのに対してユーザ減衰モデルでは中位以降のクリック数が上昇していっており，
既存システムの課題が改善していることが分かる．

\begin{figure}[b]
\begin{center}
\includegraphics{24-1ia5f4.eps}
\end{center}
\caption{1週目の表示位置ごとのクリック率}
\label{fig:purposed_rank_1week}
\end{figure}

図\ref{fig:purposed_rank_1week}に登録1週目の表示位置によるクリック率の既存システムとユーザ減衰モデルの比較を示す．
ばらつきはあるものの各表示位置においてクリック率はほぼ同等の傾向を示しており，
多様性を導入することによってクリック率に対して悪影響が出ていないことが確認された．

2週目も1週目と同等に既存システムとユーザ減衰モデルには大きな差は見られなかった．
しかし図\ref{fig:purposed_rank_3week}に示す3週目には，
中位以降でユーザ減衰モデルのほうがわずかではあるがクリック率が高い傾向になる．
そして図\ref{fig:purposed_rank_4week}に示す4週目にはリスト全体でユーザ減衰モデルのほうがクリック率が上回る傾向にある．
このように登録してから日が浅い段階ではユーザ減衰モデルと既存システムは同等であったが，利用日数が伸びるにしたがってユーザ減衰モデルの方がよりクリック数が多くなることが明らかになった．

\begin{figure}[t]
\begin{center}
\includegraphics{24-1ia5f5.eps}
\end{center}
\caption{3週目の表示位置ごとのクリック率}
\label{fig:purposed_rank_3week}
\end{figure}

\begin{figure}[t]
\begin{center}
\includegraphics{24-1ia5f6.eps}
\end{center}
\caption{4週目の表示位置ごとのクリック率}
\label{fig:purposed_rank_4week}
\end{figure}


\subsection{考察}

本章では多様性を持たない既存システムと多様性を導入したユーザ減衰モデルを実際のサービス上で提供し，ユーザに与える影響を比較した．
その結果多様性によってユーザのサービス利用の継続率と利用日数が有意に向上することが示された．
また利用開始から日が浅い段階では記事リストのクリック率に変化はないが，利用日数が増えるにつれて記事リスト全体でクリック率が高くなる．
特にリスト下部のクリック率が既存システムでは低下していくが，ユーザ減衰モデルでは上昇していくことが示された．

既存システムでリスト下部のクリック率が利用日数が増えていく中で低下していく理由を考察する．
本システムでは初期段階ではユーザが連携しているウェブサービスから得られるデータを用いてユーザの特徴量を構築し，
その後システム内でクリックしたウェブページの特徴量を元にユーザ特徴量を更新していく．
リストに多様性がある場合には個々のユーザがクリックしたウェブページ集合にも多様性が生まれると考えられることから，
ユーザ減衰モデルにおけるユーザの特徴量$\vec{u}$は
既存システムでは得られなかった多種多様な興味関心を内包したものとなり，
ユーザ特徴量減衰後のウェブページがより興味に即したものになっていく．
既存システムではリストに多様性がないためユーザのクリックするウェブページが同じような特徴量をもったウェブページに集中するため，
ユーザ特徴量がそのようなウェブページにより更新されることから，
利用日数が増えるほどに一層推薦されるウェブページリストに偏りが生まれる．
その結果リスト下部のクリック数が既存システムではサービスへの飽きから徐々に下がっていくのに対し，
ユーザ減衰モデルではリスト下部のコンテンツのユーザとのマッチング精度が向上していくことにより，
リスト全体のクリック率がユーザ減衰モデルにおいて長期で高い値になっていることが考えられる．

推薦リストの多様性については，評価者にリストを見せてどちらかを選ばせるような実験の結果をもって有効であるとされていたが，
本研究ではその結果が実際にサービスの利用頻度という点で現れることを示した．
その上でリスト全体のクリック率は初期段階では差がないが，利用日数が増えるにしたがって向上していくことが示され，特にリスト下部でのクリック率が多様性がある場合とない場合で大きな差になっていくことが明らかとなった．

サービスにおけるユーザの継続率はユーザの満足度を表す重要な指標であると言われている\cite{RUST1993}．
週次の継続率と利用日数が向上したことにより推薦システムの多様性がサービスのユーザ満足度の向上をもたらすことを示したと我々は考えている．
そして利用日数が増えるに従ってクリック率の差が大きくなっていく点については，
推薦システムのオンラインでの評価を行う上で短期的な評価だけでなく
中長期的な評価も行う必要性があることを示した．

以上のように本実験では推薦システムの多様性によって利用ユーザのクリック率，週次継続率，週次利用日数の向上が確認でき，
多様性が推薦システムのユーザ満足度を改善することを示した．
そしてその影響が継続的な利用によって観測されることを明らかにし，
オンライン評価における中長期的な評価の必要性を示した．


\section{まとめ}
\label{sec:conclusion}

本研究では推薦システムに多様性を導入することによるサービス上のユーザ行動の変化について比較実験を行い，多様性がユーザ体験を改善したことを示した．
まずサービスのユーザ体験を改善することを目的に推薦システムの分析を行い，
多様性がユーザの満足度を高める可能性があることを示した．
その上でユーザ特徴量を減衰していく形で推薦システムに多様性もたらす手法との比較実験によってユーザ行動の変化を分析した．
結果として継続率やサービス利用日数が有意に改善していることを示し，
従来研究で言われていた多様性を含む推薦リストのほうがユーザに好まれるということを実サービス上で示した．
そして利用日数が増えるにしたがってリスト全体のクリック率が改善していくこと，特にリスト下部のクリック率が多様性のない手法では下がっていくのに対して，多様性のある手法では向上していくことを示した．
これは従来研究で示されていなかった多様性の中長期における影響を示したものである．

推薦システムを実サービスに適用した際の効果については不明な点が多い．
本研究ではリストの多様性が中長期的な視点でみたときにユーザ体験の改善に貢献することを示唆しており，
今後推薦システムにおいて多様性を考慮する上で重要な知見を示すことができたと考えている．
また中長期でよりよい影響が生まれていることから推薦システムを評価する上で実サービス上で，なおかつある程度期間を設けて実験を行う重要性を示したものであると言える．

推薦システムのユーザ体験を考慮する上で多様性と並んで説明性や透明性が重要であると言われている\cite{Konstan2012}．
今後はこれらの指標の有効性についても実サービス上で考察をしていきたい．
また推薦システムにかぎらず本稿のように言語処理技術を実サービスに適用する上での課題や改善の手法について，
サービス運営者としての視点から知見の共有や検証を行っていきたい．


\bibliographystyle{jnlpbbl_1.5}
\begin{thebibliography}{}

\bibitem[\protect\BCAY{Belluf, Xavier, \BBA\ Giglio}{Belluf
  et~al.}{2012}]{belluf2012case}
Belluf, T., Xavier, L., \BBA\ Giglio, R. \BBOP 2012\BBCP.
\newblock \BBOQ Case Study on the Business Value Impact of Personalized
  Recommendations on a Large Online Retailer.\BBCQ\
\newblock In {\Bem Proceedings of the 6th ACM Conference on Recommender
  Systems}, \mbox{\BPGS\ 277--280}. ACM.

\bibitem[\protect\BCAY{Cosley, Lam, Albert, Konstan, \BBA\ Riedl}{Cosley
  et~al.}{2003}]{cosley2003}
Cosley, D., Lam, S.~K., Albert, I., Konstan, J.~A., \BBA\ Riedl, J. \BBOP
  2003\BBCP.
\newblock \BBOQ Is Seeing Believing?: How Recommender System Interfaces Affect
  Users' Opinions.\BBCQ\
\newblock In {\Bem Proceedings of the SIGCHI Conference on Human Factors in
  Computing Systems}, \mbox{\BPGS\ 585--592}. ACM.

\bibitem[\protect\BCAY{Davidson, Liebald, Liu, Nandy, Van~Vleet, Gargi, Gupta,
  He, Lambert, Livingston, \BBA\ Sampath}{Davidson
  et~al.}{2010}]{davidson2010youtube}
Davidson, J., Liebald, B., Liu, J., Nandy, P., Van~Vleet, T., Gargi, U., Gupta,
  S., He, Y., Lambert, M., Livingston, B., \BBA\ Sampath, D. \BBOP 2010\BBCP.
\newblock \BBOQ The YouTube Video Recommendation System.\BBCQ\
\newblock In {\Bem Proceedings of the 4th ACM Conference on Recommender
  Systems}, \mbox{\BPGS\ 293--296}. ACM.

\bibitem[\protect\BCAY{Fleder \BBA\ Hosanagar}{Fleder \BBA\
  Hosanagar}{2007}]{fleder2007recommender}
Fleder, D.~M.\BBACOMMA\ \BBA\ Hosanagar, K. \BBOP 2007\BBCP.
\newblock \BBOQ Recommender Systems and Their Impact on Sales Diversity.\BBCQ\
\newblock In {\Bem Proceedings of the 8th ACM Conference on Electronic
  Commerce}, \mbox{\BPGS\ 192--199}. ACM.

\bibitem[\protect\BCAY{Herlocker, Konstan, Terveen, \BBA\ Riedl}{Herlocker
  et~al.}{2004}]{herlocker2004}
Herlocker, J.~L., Konstan, J.~A., Terveen, L.~G., \BBA\ Riedl, J.~T. \BBOP
  2004\BBCP.
\newblock \BBOQ Evaluating Collaborative Filtering Recommender Systems.\BBCQ\
\newblock {\Bem ACM Transactions on Information Systems (TOIS)}, {\Bbf 22}
  (1), \mbox{\BPGS\ 5--53}.

\bibitem[\protect\BCAY{Jannach, Zanker, Felfernig, \BBA\ Friedrich}{Jannach
  et~al.}{2010}]{Jannach2010}
Jannach, D., Zanker, M., Felfernig, A., \BBA\ Friedrich, G. \BBOP 2010\BBCP.
\newblock {\Bem Recommender Systems: An Introduction\/} (1st \BEd).
\newblock Cambridge University Press, New York, NY, USA.

\bibitem[\protect\BCAY{Konstan \BBA\ Riedl}{Konstan \BBA\
  Riedl}{2012}]{Konstan2012}
Konstan, J.~A.\BBACOMMA\ \BBA\ Riedl, J. \BBOP 2012\BBCP.
\newblock \BBOQ Recommender Systems: from Algorithms to User Experience.\BBCQ\
\newblock {\Bem User Modeling and User-Adapted Interaction}, {\Bbf 22}  (1),
  \mbox{\BPGS\ 101--123}.

\bibitem[\protect\BCAY{Lathia, Hailes, Capra, \BBA\ Amatriain}{Lathia
  et~al.}{2010}]{lathia2010temporal}
Lathia, N., Hailes, S., Capra, L., \BBA\ Amatriain, X. \BBOP 2010\BBCP.
\newblock \BBOQ Temporal Diversity in Recommender Systems.\BBCQ\
\newblock In {\Bem Proceedings of the 33rd International ACM SIGIR Conference
  on Research and Development in Information Retrieval}, \mbox{\BPGS\
  210--217}. ACM.

\bibitem[\protect\BCAY{Manning, Raghavan, \BBA\ Sch{\"u}tze}{Manning
  et~al.}{2008}]{manning2008introduction}
Manning, C.~D., Raghavan, P., \BBA\ Sch{\"u}tze, H. \BBOP 2008\BBCP.
\newblock {\Bem Introduction to Information Retrieval}, \lowercase{\BVOL}~1.
\newblock Cambridge University Press, Cambridge.

\bibitem[\protect\BCAY{村上\JBA 森\JBA 折原}{村上 \Jetal }{2009}]{murakami2009}
村上知子\JBA 森紘一郎\JBA 折原良平 \BBOP 2009\BBCP.
\newblock 推薦の意外性向上のための手法とその評価.\
\newblock \Jem{人工知能学会論文誌}, {\Bbf 24}  (5), \mbox{\BPGS\ 428--436}.

\bibitem[\protect\BCAY{Pariser}{Pariser}{2011}]{Pariser2011}
Pariser, E. \BBOP 2011\BBCP.
\newblock {\Bem The Filter Bubble: What the Internet is Hiding from You}.
\newblock The Penguin Group.

\bibitem[\protect\BCAY{Resnick, Konstan, \BBA\ Jameson}{Resnick
  et~al.}{2011}]{filterbubble}
Resnick, P., Konstan, J., \BBA\ Jameson, A. \BBOP 2011\BBCP.
\newblock \BBOQ Panel on The Filter Bubble.\BBCQ\
\newblock In {\Bem Proceedings of the 5th ACM Conference on Recommender
  Systems}.
\newblock
  \url{https://acmrecsys.wordpress.com/2011/10/25/panel-on-the-filter-bubble/}
  2016年5月3日閲覧.

\bibitem[\protect\BCAY{Rust \BBA\ Zahorik}{Rust \BBA\ Zahorik}{1993}]{RUST1993}
Rust, R.~T.\BBACOMMA\ \BBA\ Zahorik, A.~J. \BBOP 1993\BBCP.
\newblock \BBOQ Customer Satisfaction, Customer Retention, and Market
  Share.\BBCQ\
\newblock {\Bem Journal of Retailing}, {\Bbf 69}  (2), \mbox{\BPGS\ 193--215}.

\bibitem[\protect\BCAY{総務省}{総務省}{2014}]{ictbook2014}
総務省 \BBOP 2014\BBCP.
\newblock \Jem{平成 26 年度版情報通信白書}.

\bibitem[\protect\BCAY{矢野経済研究所}{矢野経済研究所}{2014}]{yano2014}
矢野経済研究所 \BBOP 2014\BBCP.
\newblock \Jem{キュレーションサービス市場に関する調査結果}.

\bibitem[\protect\BCAY{Zhang \BBA\ Hurley}{Zhang \BBA\
  Hurley}{2008}]{zhang2008avoiding}
Zhang, M.\BBACOMMA\ \BBA\ Hurley, N. \BBOP 2008\BBCP.
\newblock \BBOQ Avoiding Monotony: Improving the Diversity of Recommendation
  Lists.\BBCQ\
\newblock In {\Bem Proceedings of the 2008 ACM Conference on Recommender
  Systems}, \mbox{\BPGS\ 123--130}. ACM.

\bibitem[\protect\BCAY{Ziegler, McNee, Konstan, \BBA\ Lausen}{Ziegler
  et~al.}{2005}]{ziegler2005}
Ziegler, C.-N., McNee, S.~M., Konstan, J.~A., \BBA\ Lausen, G. \BBOP 2005\BBCP.
\newblock \BBOQ Improving Recommendation Lists through Topic
  Diversification.\BBCQ\
\newblock In {\Bem Proceedings of the 14th International Conference on World
  Wide Web}, \mbox{\BPGS\ 22--32}. ACM.

\end{thebibliography}

\begin{biography}
\bioauthor{関　　喜史}{
2008年富山商船高等専門学校情報工学科卒業．
2011年東京大学工学部システム創成学科卒業．
2013年東京大学大学院工学系研究科技術経営戦略学専攻修士課程修了．
同大学院博士課程後期課程在学中．
2012年に株式会社Gunosyを創業し，研究開発業務に従事．
}
\bioauthor{福島　良典}{
2011年東京大学工学部卒業．2013年同大学院工学系研究科修了．大学院在籍中にGunosyを共同開発し，2012年株式会社Gunosyを創業し代表取締役社長に就任．2012年度未踏スーパークリエイター．
}
\bioauthor{吉田　宏司}{
2011年東京大学工学部卒業．2013年同大学院工学系研究科修了．大学院在籍中にGunosyを共同開発し，2012年株式会社Gunosyを創業し現在データ分析部の部長を勤め，データ分析，アルゴリズム構築．Webの開発等を担当．2012年度未踏スーパークリエイター．
}
\bioauthor{松尾　　豊}{
1997年東京大学工学部卒業．2002年同大学院博士課程修了．博士（工学）．産業技術総合研究所，スタンフォード大学を経て，2007年より，東京大学大学院工学系研究科技術経営戦略学専攻准教授．
2012年より人工知能学会理事・編集委員長，2014年より倫理委員長．人工知能学会論文賞，情報処理学会長尾真記念特別賞，ドコモモバイルサイエンス賞など受賞．
専門は，Web工学，Deep Learning，人工知能．}

\end{biography}

\biodate




\end{document}
