\documentclass[japanese,other]{jnlp_3.5}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
\usepackage{xcolor}
\usepackage{booktabs}
%%%%\usepackage{subcaption}
\newcommand{\orange}[1]{{\color[HTML]{ff7f0e}\textbf{#1}}}
\newcommand{\blue}[1]{{\color[HTML]{1f77b4}\textbf{#1}}}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{29}
\Number{1}
\Month{March}
\Year{2022}
%%%%\Issuetitle{「　　　　」特集号}


\setcounter{page}{264}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{Convex Aggregation for Opinion Summarization}
\jauthor{磯　　　颯\affiref{Hayate_Iso}}
\headauthor{磯}
\headtitle{Convex Aggregation for Opinion Summarization}

\affilabel{Hayate_Iso}{Megagon Labs}{Megagon Labs}

\etitle{Convex Aggregation for Opinion Summarization}
\eauthor{Hayate Iso\affiref{Hayate_Iso}} 


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section*{はじめに}

YelpやGlassdoorなどのオンラインレビュープラットフォームの急速な普及に伴い，人々は食事や就職活動などあらゆることを決める際にレビューを参考するようになっている．しかし，これらのプラットフォームには，毎日大量のレビューが投稿されているため，ユーザが求めている有益な意見を見つけるためには大量のレビュー文書をユーザ自身が時間をかけて読む必要がある．

意見要約システムは，レビューから代表的な意見を抽出し，その意見を簡潔でわかりやすい形で要約するシステムである．これにより，生成された要約を読むことで，ユーザはレビューをもとにした意思決定を容易に行うことができる．
通常，文書要約システムは，人間が参照要約と入力文書のペアを大量に用いてニューラルネットワークモデルを学習させることで構築するが，カスタマーレビューに対して十分な量の参照要約を収集することは，コストの観点から現実的ではない．そのため，人間が書いた参照要約を必要としない，教師なしのアプローチによる意見要約システムの開発が主流となっている．

これまでMegagon Labsでは，出力を制御可能な意見要約システムOpinionDigest \cite{suhara-etal-2020-opiniondigest}，レビュー要約を調整可能な対話型エクスプローラExtremeReader \cite{10.1145/3366424.3383535}，両システムで用いるアスペクトベースの意見抽出器Snippext \cite{10.1145/3366423.3380144}，異なるエンティティのレビューから対照的な意見と共通した意見を生成するCoCoSum \cite{iso2021comparative}などを開発してきた．
本稿では，EMNLP 2021 Findingsに採択された論文``Convex Aggregation for Opinion Summarization'' \cite{iso21emnlpfindings}\footnote{\url{https://aclanthology.org/2021.findings-emnlp.328/}}をもとに，教師なし意見要約システムから，より高品質な意見要約の生成を 行うフレームワークCoopについて解説する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{教師なし意見要約}

教師なし意見要約システムを構築する最も一般的な手法の一つとして，オートエンコーダモデルを用いるものがある \cite{Chu:2019:MeanSum}．
この手法は，要約対象となる複数のレビューを潜在空間上に埋め込み，それらの埋め込みベクトルを単純平均したベクトル（以後，要約ベクトル）から要約を生成するものである．
ここで用いるオートエンコーダモデルは，各レビューを潜在空間上に埋め込み，その埋め込みベクトルから元のレビューを再構成するようにエンコーダとデコーダを学習する．この方法では人間が書いた参照要約を必要としないため，レビューテキストのみから意見要約システムを構築することができる．

このような単純な方法で，流暢かつ高品質な意見要約を生成することができることが知られているが，一方で過度に汎用的な要約を生成してしまうことが，我々の調査で明らかとなった．
図\ref{fig:overview}に示すように，異なるエンティティのレビューから単純平均を取った要約ベクトル$\boldsymbol{z}_{\text{avg}}$は，いずれも潜在空間の中心に近づき，類似したベクトルになっていることがわかる．それらの要約ベクトルからは，いずれのエンティティにも適用できるような一般的な要約が生成されてしまうことがわかった．
より詳細な分析は元論文$\S$3を参照されたい．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[t]
\begin{center}
\includegraphics{29-1ia28f1.pdf}
\end{center}
\hangcaption{潜在空間$\mathcal{Z}$とテキスト空間$\mathcal{X}$の図示．各エンティティの単純平均による要約ベクトル$\boldsymbol{z}_{\text{avg}}$は，いずれも空間の中心付近に位置しているのに対し，Coopにより選択された要約ベクトル$\boldsymbol{z}_{\text{coop}}$は，それぞれ異なる位置にあり，意見要約システムはより具体的な要約を生成している．}
\label{fig:overview}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{Coopによる要約ベクトルの探索}

この問題の解決方法のひとつとして，単純平均により得られた要約ベクトルをスケーリングすることで，ベクトルを中心付近から離す方法が考えられる．実際，この方法を用いることで，より具体的な要約の生成を確認出来たが，同時に入力レビューと矛盾するような要約を生成してしまうことがわかった．

本研究で提案するCoopは，要約を生成する要約ベクトルの探索を最適化問題として定式化することで，より具体的かつ矛盾のない要約の生成を可能とする手法である．Coopは，入力レビューの集合$\mathcal{R}_e$と出力された要約$G(\boldsymbol{z})$間の入出力の単語の重複 \texttt{Overlap}を最大化するような要約ベクトル$\boldsymbol{z}$を探索するように定式化する：
\begin{align*}
& \underset{\boldsymbol{z}}{\text{maximize}} & & \texttt{Overlap}(\mathcal{R}_e, G(\boldsymbol{z})) \\
& \text{subject to} & & \boldsymbol{z} = \sum_{i = 1}^{|\mathcal{R}_e|} w_i \boldsymbol{z}_i \\
& & & \sum_{i = 1}^{|\mathcal{R}_e|} w_i = 1, \forall w_i \in \mathbb{R}^{+}.
\end{align*}
ここで，入出力の単語の重複の計算にROUGE-1 F1スコアを用い，入力セットの各レビューは無視されるか反映されるかのどちらかであるという仮定に基づき，入力レビューの埋め込みベクトルからなる凸包上で要約ベクトルの探索を行う．
本研究ではさらに，探索空間を入力レビューの冪集合$2^{\mathcal{R}_e}\setminus\{\emptyset\}$，すなわち入力レビューを含むか否かに限定し，選択されたベクトルの平均を取ることで要約ベクトル$\boldsymbol{z}$を得る．
実験では，入力レビューの冪集合から全探索した結果を用いているが，貪欲法やビームサーチを用いて探索することで，効率的かつ効果的に要約生成ができることを確認している．詳細は元論文$\S$6.2を参照されたい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験結果}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{自動要約評価}

Coopの有効性を検証するため，Yelp \cite{Chu:2019:MeanSum}とAmazon \cite{brazinskas-etal-2020-unsupervised}データセットを用いた自動要約評価を行った．
本研究では，オートエンコーダモデルとして 2 種類の変分オートエンコーダモデルを用いた．
1 つ目は，双方向LSTMと平均プーリングをエンコーダ，単方向LSTMをデコーダとして用いたBiMeanVAE，2 つ目はBERTをエンコーダ，GPT-2をデコーダとして組み合せたOptimus \cite{li-etal-2020-optimus}である．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[t]
\begin{center}
\begin{tabular}{lccccccc}\toprule
& \multicolumn{3}{c}{Yelp} & \multicolumn{3}{c}{Amazon} & \\
\textbf{Method} & \textbf{R1} & \textbf{R2} & \textbf{RL} & \textbf{R1} & \textbf{R2} & \textbf{RL} \\\midrule
BiMeanVAE\\
\quad Coop &\textbf{35.37} & \textbf{7.35} & \textbf{19.94} & \textbf{36.57} & \textbf{7.23} & \textbf{21.24} \\
\quad SimpleAvg & 32.87 & 6.93 & 19.89 & 33.60 & 6.64 & 20.87\\\midrule
Optimus (BERT+GPT-2)\\
\quad Coop & \textbf{33.68} & \textbf{7.00} & \textbf{18.95} & \textbf{35.32} & \textbf{6.22} & \textbf{19.84}\\
\quad SimpleAvg & 31.23 & 6.48 & 18.27 & 33.54 & 6.18 & 19.34\\\midrule
Baselines\\
\quad MeanSum & 28.46 & 3.66 & 15.57 & 29.20 & 4.70 & 18.15\\
\quad CopyCat & 29.47 & 5.26 & 18.09 & 31.97 & 5.81 & 20.16\\
\quad OpinionDigest & 29.30 & 5.77 & 18.56 & --- & --- & --- \\
\quad PlanSum & 34.79 & 7.01 & 19.74 & 32.87 & 6.12 & 19.05\\
\bottomrule
\end{tabular}
\end{center}
\caption{ベンチマークデータセットにおけるROUGE F1スコア}
\label{tab:main_results}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[t]
\begin{tabular}{p{1.9cm}|p{5.9cm}|p{5.9cm}}
\toprule
 &中華料理店 \includegraphics{29-1ia28t2-1.pdf} & アメリカ料理店 \includegraphics{29-1ia28t2-2.pdf}  \\\midrule
        SimpleAvg $\boldsymbol{z}_{\text{avg}}$ & This is a great place to eat. The food is always fresh and the staff is very friendly. It’s a great place to go if you are in the area. The food is always good and the prices are very reasonable. & This place is great. The food is good and the service is great. The staff is very friendly and attentive. They have a nice selection of drinks and the food is always fresh. The prices are very reasonable.\\\midrule
        Coop $\boldsymbol{z}_{\text{coop}}$ & First time here and it was really good. The service was great, the food was delicious, and the \blue{portions were very large}. This is \blue{a great place to go for Chinese food}. & This is a great place to eat. The food was delicious and the staff was very attentive. The \orange{catfish was tender and tasty}. The \orange{hush puppies were amazing}. The \orange{Mac and cheese was very good}. They have \orange{a great beer selection} as well.\\
\bottomrule
\end{tabular}
\caption{SimpleAvg，Coopによる生成要約の比較}
\label{tab:example}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

表\ref{tab:main_results}に，ROUGE-1/2/L F1スコアを用いた要約品質の自動評価結果を示す．
実験の結果，BiMeanVAE，Optimusともに要約ベクトルの計算にCoopを用いることで，単純平均 (SimpleAvg) を用いた場合に比べて一貫してROUGEスコアの向上が見られた．また，単純平均により得られたベクトルから生成した要約が，ベースラインである既存手法と同等のROUGEスコアを示している．
これにより，Coopを用いることで既に高性能な意見要約システムの要約品質をさらに向上できることがわかった．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{Coopにより生成された要約}

表\ref{tab:example}に，ある中華料理店とアメリカ料理店のレビューから単純平均，Coopそれぞれの方法を用いて生成された要約を示す．
まず，単純平均により得られた要約ベクトル$\boldsymbol{z}_{\text{avg}}$からは，それぞれ類似した要約が生成されてしまっている．
一方，Coopを使用した場合，要約にはより多くのエンティティ固有の情報が含まれている．例えば，中華料理店の要約には，料理の種類や料理の量に関する意見が含まれ，アメリカ料理店の要約には，この店で提供されている料理の種類について言及されている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

本稿では，教師なし意見要約システムにおいて，より良い要約ベクトルを探索する最適化フレームワークであるCoopについて紹介した．
Coopは，任意のオートエンコーダを用いた意見要約システム上に実装できる手法であり，実験の結果，BiMeanVAE，OptimusいずれのモデルにおいてもROUGEスコアの向上が確認できた．
本研究で開発した意見要約システムは，容易に使用できるPythonライブラリとしてリリースしている\footnote{\url{https://github.com/megagonlabs/coop}}．図\ref{fig:snippet}に示すように，数行のコードを書くだけで，最先端の教師なし意見要約システムを実行することができる．本ライブラリが教師なし意見要約のさらなる研究の助けとなれば幸いである．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[t]
\begin{center}
\includegraphics{29-1ia28f2.pdf}
\end{center}
\caption{Coopライブラリを使用して要約を生成するためのサンプルコード}
\label{fig:snippet}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.6}
\bibliography{28refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{磯　　　颯}{%
2021年奈良先端科学技術大学院大学博士後期課程修了．博士（工学）．現在，Megagon Labs Research Associate．
}

\end{biography}



\end{document}




