    \documentclass[japanese]{jnlp_2.1}
\usepackage{jnlpbbl_1.3}
\usepackage[dvipdfm]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{hangcaption_jnlp}
\usepackage{array}

\usepackage{algorithm}
\usepackage{algorithmic}


\Volume{26}
\Number{1}
\Month{March}
\Year{2019}

\received{2018}{7}{26}
\revised{2018}{10}{29}
\accepted{2018}{12}{10}

\setcounter{page}{59}

\jsubject{論文}
\jtitle{\vspace*{-2pt}木構造とグラフ構造を用いた\\ オンライン議論における談話行為の分類}
\jauthor{三浦　康秀\affiref{Author_1}\affiref{Author_2} \and 狩野　竜示\affiref{Author_1} \and 谷口　元樹\affiref{Author_1} \and 谷口　友紀\affiref{Author_1} \and \\ 三沢翔太郎\affiref{Author_1} \and 大熊　智子\affiref{Author_1}}
\jabstract{
本稿ではオンライン議論における談話行為を分類するモデルを提案する．提案モデルでは談話行為を分類するために，ニューラルネットワークを用いて議論のパターンを学習する．談話行為の分類において議論のパターンを取り入れる重要性は既存の研究においても確認されているが，対象としている議論に併せたパターン素性を設計する必要があった．提案モデルではパターン素性を用いずに，木構造およびグラフ構造を学習する層を用いて議論のパターンを学習する．提案モデルを Reddit の談話行為を分類するタスクで評価したところ，従来手法と比較して Accuracy で 1.5\%，$\mathrm{F}_{1}$ 値で 2.2 ポイントの性能向上を確認した．また，提案モデル内の木構造学習層およびグラフ構造学習層間の相互作用を確認するため，提案手法の中間層を注意機構を通じて分析した．
}
\jkeywords{談話行為，木構造，グラフ構造，ニューラルネットワーク，議論分析}

\etitle{Discourse Act Classification Using Discussion Patterns with Neural Networks}
\eauthor{Yasuhide Miura\affiref{Author_1}\affiref{Author_2} \and Ryuji Kano\affiref{Author_1} \and Motoki Taniguchi\affiref{Author_1} \and  \\ Tomoki Taniguchi\affiref{Author_1} \and Shotaro Misawa\affiref{Author_1} \and Tomoko Ohkuma\affiref{Author_1}}
\eabstract{
We proposed a model that classifies discussion discourse acts using discussion patterns with neural networks. Several attempts have been made in earlier works to analyze texts that are used in various discussions. The importance of discussion patterns has been explored in those works but their methods required a sophisticated design to combine pattern features with a classifier. Our model introduces tree learning approaches and a graph learning approach to capture discussion patterns without pattern features. In an evaluation to classify discussion discourse acts in Reddit, the model achieved improvements of 1.5\% in accuracy and 2.2 in $\mathrm{F}_{1}$ score compared to the previous best model. We further analyzed the model using an attention mechanism to inspect interactions among different learning approaches.
}
\ekeywords{Discourse Act, Tree Structure, Graph Structure, Neural Networks, Discussion Analysis}

\headauthor{三浦，狩野，谷口，谷口，三沢，大熊}
\headtitle{木構造とグラフ構造を用いたオンライン議論における談話行為の分類}

\affilabel{Author_1}{富士ゼロックス株式会社}{Fuji Xerox Co., Ltd.}
\affilabel{Author_2}{東京工業大学}{Tokyo Institute of Technology}


\begin{document}
\maketitle


\section{はじめに}

近年，ソーシャルニュースサイトや討論ポータルの発展に伴い，様々な話題がオンライン上で議論されるようになった．
これら議論は世の中の貴重な意見を含んでいるが，分析には関連する複数の投稿・発言の内容を理解する必要がある．
これまでも対話行為の分析\cite{Stolcke2000,Bunt2010}を発展させ，議論を談話行為に基づいて分析するアプローチが提案されてきた．
議論における談話行為の自動的な分類は，情報アクセスや要約の改善に寄与できると考えられている．
このため，電子メール\cite{Cohen2004,Carvalho2005,Carvalho2006,Hu2009,Omuya2013}，ニュースグループ\cite{Wang2007}，技術電子掲示板\cite{Kim2010b,Wang2011,Bhatia2012,Liu2017}，ソーシャルニュース\cite{Zhang2017}等の談話行為・対話行為が既存の研究で対象とされてきた．

議論において談話行為・対話行為を分類する際には，議論のパターンを取り入れることの重要性がたびたび指摘されてきた．
投稿間の関係・リンク\cite{Carvalho2005,Hu2009}，投稿の位置・深さ\cite{Wang2007,Kim2010a,Kim2010b,Wang2011,Bhatia2012,Zhang2017,Liu2017}等のパターン情報は，確率的なグラフィカルモデル，構造学習モデル，系列学習モデル等と組み合わせて利用されてきた．
これらアプローチは談話行為の分類において有効性を示したが，分類モデルにパターン情報を取り入れるためにタスク依存のパターン素性を設計する必要があった．
本稿では議論のパターンをニューラルネットワークを用いて取り入れるモデルを提案する．
近年，ニューラルネットワークを用いて木構造\cite{Socher2011,Socher2014,Tai2015}やグラフ構造\cite{Defferrard2016,Kipf2017}を学習する有効性が示されている．
提案モデルではパターン素性を設計せずに，木構造学習層とグラフ構造学習層を用いて議論のパターンを学習する．

既存の研究では様々な対象の談話行為・対話行為が分類されてきたが，本稿ではReddit\footnote{https://www.reddit.com/}の談話行為の分類に提案モデルを適用する．
Redditは大規模なソーシャルニュースサイトであり，数多くのトピックについて日々議論が行われている．
議論はスレッド単位で行われ，トピックを提供する最初の投稿および投稿に対する返信の連鎖で構成される．
提案モデルの評価では\citeA{Zhang2017}の$9$種類の談話行為を対象にする．
$9$種類の談話行為は{\it Answer}，{\it Elaboration}，{\it Question}，{\it Appreciation}，{\it Agreement}，{\it Disagreement}，{\it Humor}，{\it Announcement}，{\it Negative Reaction}であり，図\ref{fig:example}にこれら談話行為の例を示す．
本稿では次の二つの理由でRedditを対象とした．
第一に，Reddit上での議論は投稿をノード，返信関係をエッジとした木構造およびグラフ構造として表すことができる．
第二に，公開されているRedditの談話行為が付与されたコーパスは大規模であり，ニューラルネットワークを用いて木構造やグラフ構造を学習するのに適している．
本稿の貢献には以下の三点が挙げられる：
\begin{enumerate}
\item 投稿間の構造に対応した，木構造学習層とグラフ構造学習層を含むモデルを提案する．
\item 談話行為の分類性能において，提案モデルが従来のパターン素性と系列学習を組み合わせたモデルを上回ることを示す．
\item 提案モデルの中間層を注意機構を通じて分析し，談話行為の分類に有効な構造を確認する．
\end{enumerate}
本稿の以降の章では次の内容を述べる．
\ref{sec:related}章で提案モデルの関連研究を紹介し，モデルの詳細を\ref{sec:model}章で述べる．
\ref{sec:exp}章で提案モデルを用いた評価実験を報告し，結果を\ref{sec:discuss}章で考察する．
最後に\ref{sec:conc}章では本稿をまとめ，さらに今後の展望を述べる．

\begin{figure}[t]
\begin{center}
\includegraphics{26-1ia3f1.eps}
\end{center}
\hangcaption{Redditを対象とした談話行為の例．各丸はスレッド中の投稿，赤色は最初の投稿，青色は返信の投稿，矢印は返信を表している．最初の質問({\it Question})が答え({\it Answer})とユーモア({\it Humor})の返信を受けており，答えの一つはさらに謝辞({\it Appreciation})と追加情報({\it Elaboration})の返信を受けている．}
\label{fig:example}
\end{figure}


\section{関連研究}
\label{sec:related}

\subsection{談話行為・対話行為の分類}

議論を対象として，談話行為・対話行為を自動的に分類する手法は従来より研究されてきた．
初期の研究としては，特に電子メールおよび技術電子掲示板が対象となることが多かった．
\citeA{Cohen2004}は電子メールに対話行為をアノテーションし，テキスト素性を用いた分類器を構築した．
この研究は\citeA{Carvalho2005}によって関係素性を用いたコレクティブ分類モデル，
\citeA{Carvalho2006}によってN-gram素性の拡張が行われた．
\citeA{Hu2009}も電子メールに対話行為をアノテーションし，構造学習モデルを用いた分類を試みた．
この研究は\citeA{Omuya2013}によってクラス毎の素性の最適化およびカスケード分類器を用いた拡張が行われた．
\citeA{Kim2010b}は技術電子掲示板の投稿に対話行為をタグ付けし，パターン素性と系列学習器を用いた分類実験を実施した．
この研究はのちに，\citeA{Wang2011}によって対話行為の分類とリンク関係の同時学習，\citeA{Liu2017}によって外部記憶を持つ系列学習器の拡張が行われた．
\citeA{Bhatia2012}も技術電子掲示板の投稿に対話行為をタグ付けし，パターン素性を含む様々な素性を用いた分類器を評価した．

議論を対象とした談話行為・対話行為の分類は，電子メール・技術電子掲示板以外を対象としても研究されてきた．
\citeA{Wang2007}はニュースグループの節を対象にパターン素性と系列学習モデルを用いた議論カテゴリの分類を評価した．
\citeA{Kim2010a}はチャットの対話行為を分類するためにパターン素性を用いた系列学習モデルを探索した．
\citeA{Zhang2011}は短文投稿を対話行為でアノテートし，単語素性と文字素性を用いた分類モデルを学習した．
\citeA{Zhang2012}は同じ短文投稿データを用いて，ラベル伝搬に基づく半教師あり学習モデル等を探索した．
\citeA{Ferschke2012}は対話行為が付与されたWikipediaノートページのコーパスを作成し，テキスト素性とパターン素性を用いた分類器を学習した．
\citeA{Zhang2017}はRedditのスレッドを談話行為でアノテートし，パターン素性を含む様々な素性を用いた系列学習モデルを設計した．


\subsection{Redditの自動分析}

大量のテキストおよび画像コンテンツから構成されるRedditを対象に，世の中の意見を分析する研究が数多く行われてきた．
Redditを対象とした自動分析の中でも，人気度を表すkarma score（ポジティブ投票とネガティブ投票の差）の分析は広く研究されてきた．
\citeA{Jaech2015}は人気度のランキングタスクを提案し，ペアワイズ分類器を用いたランキングを行った．
\citeA{Wei2016b}は人気度を用いて投稿を説得力に応じてランキングするシステムを設計した．
\citeA{He2016}は動的に人気度を推定する深層強化学習の構成を提案し，この研究はさらに\citeA{He2017}によって2段階の処理に拡張された．
\citeA{Hessel2017}は人気度の推定タスクにおいてマルチモーダル素性が有効であることを示した．
\citeA{Cheng2017}は関連要素を因子として結び付けるニューラルモデルを用いて人気度を推定し，文書埋め込みに基づくモデルを上回る性能を実現した．
\citeA{Zayats2018}は人気度を推定するのに適したグラフ構造のニューラルモデルを提案し，投稿を独立に扱うモデルを上回る性能を実現した．

Redditを対象とした自動分析では，人気度以外に着目した研究も数多く行われている．
本稿が対象とする談話行為の分析\cite{Zhang2017}もその一つであり，他にも様々なタスクが検討されている．
\citeA{Buntain2014}は回答を投稿する人の社会的な役割に着目し，それらを教師あり学習で分類した．
\citeA{Tan2016}はChangeMyView subredditを対象とし，説得性の高い投稿の明確化および意見の適応性を分類するモデルを構築した．
\citeA{Lim2017}は投稿者の専門性を投稿内容に非依存な手法を用いて探索した．


\subsection{提案モデルとの比較}

提案モデルでは議論のパターンをニューラルネットワークに基づく木構造学習層とグラフ構造学習層を用いて学習する．
これは従来用いられてきたパターン素性を用いずに，テキスト情報と議論のパターンを同時に学習するアプローチである．
また，談話行為・対話行為の分類では従来は系列学習モデルが用いられることが多かった\cite{Wang2007,Kim2010a,Kim2010b,Wang2011,Zhang2017,Liu2017}．
\citeA{Carvalho2005}は確率的なグラフィカルモデルを用いたが，関係素性と事前学習したテキスト素性に基づく分類器を前提としている．
提案モデルをRedditの自動分析を行うモデルと比較すると，類似したアプローチが\citeA{Zayats2018}で用いられている．
\citeA{Zayats2018}ではLong short-term memory (LSTM)\cite{Hochreiter1997}を拡張し，階層および時系列情報をグラフ構造として学習するモデルを提案した．
しかし，このモデルはRedditの人気度を効率的に学習するための設計を含んでいる．
Redditの人気度は投稿時間や投稿者の属性に強く相関することが知られている\cite{Jaech2015}．
人気度の推定モデルを談話行為の推定にそのまま適用しても，\ref{sec:exp}章で詳細を述べる実験で示すように性能は限定的である．


\section{提案モデル}
\label{sec:model}

提案モデルであるTree-LSTM GCN Hybridの概要を図\ref{fig:model2}に示す．
Tree-LSTM GCN Hybridではまずスレッド中の投稿をLSTMと最大プーリングでエンコード(Comment Encoder)し，投稿の特徴量を得る．
次に，投稿間の関係を木構造のLSTM処理(Parent-Branch Tree-LSTM，Child-Sum Tree-LSTM)およびグラフ構造の畳み込み処理(GCN)で取り入れた投稿の特徴量を得る．
投稿の特徴量にはさらに注意機構(Self-Attention)を適用し，最終的には全結合層でラベルに接続(Label Classifier)する．

\begin{figure}[p]
\begin{center}
\includegraphics{26-1ia3f2.eps}
\end{center}
\hangcaption{提案モデルTree-LSTM GCN Hybridの概要．このモデルではスレッドに含まれる投稿をComment Encoderでエンコードし，それらを木構造学習層(Parent-Branch Tree-LSTM，Chid-Sum Tree-LSTM)およびグラフ構造学習層(GCN)で処理する．}
\label{fig:model2}
\end{figure}

Tree-LSTM GCN Hybridでは，既存のLSTM，木構造のLSTM，グラフ構造の畳み込みの処理を一部変更した上で組み合わせて，議論の分析に効果的なモデルを提案している．
返信元から返信先に展開される議論のフローを取り入れるために，LSTMの$1$ステップ前の参照処理を修正したParent-Branch Tree-LSTMを用意した．
返信先から返信元に展開される議論のフローを取り入れるために，\citeA{Tai2015}のChild-Sum Tree-LSTMを用意した．
返信の方向に依存しない周辺で展開される議論のフローを取り入れるために，\citeA{Defferrard2016}のGCNを用意した．
本章の以降では，各構成要素の詳細について述べる．


\subsubsection*{Comment Encoder}

Comment Encoderでは投稿単位の処理を実現するために，投稿中の単語から投稿の特徴量を求める．
タイトルテキスト${\boldsymbol a}_{title}$と投稿テキスト${\boldsymbol a}_{1 \ldots I}$からなる系列データを入力とする．
各テキスト中の単語は，Embedding Layerの埋め込み行列${\boldsymbol E}$によって${\boldsymbol x}_{title}$および${\boldsymbol x}_{1 \ldots I}$に変換する．
変換した入力は，双方向LSTM\footnote{タイトルを持つ最初の投稿と以降の投稿を別途処理できるように，最初の投稿用の$\rm LSTM_s$と返信の投稿用の$\rm LSTM_c$を用意した．}により以下の状態遷移関数に基づき処理する：
{\allowdisplaybreaks
\begin{align}
{\boldsymbol i}_t & = \sigma \left( {\boldsymbol W}_i {\boldsymbol x}_t + {\boldsymbol U}_i {\boldsymbol h}_{t-1}  + {\boldsymbol b}_i \right) \label{eq:lstm1} \\
{\boldsymbol o}_t & = \sigma \left( {\boldsymbol W}_o {\boldsymbol x}_t + {\boldsymbol U}_o {\boldsymbol h}_{t-1}  + {\boldsymbol b}_o \right) \label{eq:lstm2} \\
{\boldsymbol f}_t & = \sigma \left( {\boldsymbol W}_f {\boldsymbol x}_t + {\boldsymbol U}_f {\boldsymbol h}_{t-1}  + {\boldsymbol b}_f \right) \label{eq:lstm3} \\
\tilde{{\boldsymbol c}}_t & = \tanh \left( {\boldsymbol W}_c {\boldsymbol x}_t + {\boldsymbol U}_c {\boldsymbol h}_{t-1}  + {\boldsymbol b}_c \right) \label{eq:lstm4} \\
{\boldsymbol c}_t & = {\boldsymbol i}_t \odot \tilde{{\boldsymbol c}}_t + {\boldsymbol f}_t \odot {\boldsymbol c}_{t-1} \label{eq:lstm5} \\
{\boldsymbol h}_t & = {\boldsymbol o}_t \odot \tanh \left( {\boldsymbol c}_t  \right)
\end{align}
}
ここで${\boldsymbol i}_t$は入力ゲート，${\boldsymbol o}_t$は出力ゲート，${\boldsymbol f}_t$は忘却ゲート，$\tilde{{\boldsymbol c}}_t$はメモリセルゲート，${\boldsymbol c}_t$はメモリセルの状態，${\boldsymbol h}_t$は隠れ状態，${\boldsymbol W}_*$と${\boldsymbol U}_*$は重み行列，${\boldsymbol b}_*$はバイアス項，$\sigma$はロジスティックシグモイド関数，$\odot$は要素積の演算子である．
双方向LSTMの出力は結合し，時間方向の最大プーリング(Max Pooling)により投稿の特徴量${\boldsymbol m} = {\rm max} \left( \overrightarrow{{\boldsymbol h}} \| \overleftarrow{{\boldsymbol h}} \right)$を得る．
ここで，$\overrightarrow{{\boldsymbol h}}$は$\boldsymbol h$の順方向での処理結果，$\overleftarrow{{\boldsymbol h}}$は$\boldsymbol h$の逆方向での処理結果，$\|$はテンソルの結合を意味する．
また，最初の投稿については，タイトルの出力(${\boldsymbol h}_{title}$)と投稿の出力(${\boldsymbol h}_1$)の要素和($\oplus$)を$\overrightarrow{{\boldsymbol h}}_{title} \| \overleftarrow{{\boldsymbol h}}_{title}  \oplus \overrightarrow{{\boldsymbol h}}_1 \| \overleftarrow{{\boldsymbol h}}_1$のようにして，最大プーリングの前に求める．


\subsubsection*{Parent-Branch Tree-LSTM}

Parent-Branch Tree-LSTMでは親ノード（返信元）の情報を用いた談話行為の推定を可能にする．
投稿の特徴量は根ノードから葉ノードへと処理する．
LSTMの$1$時刻前の隠れ状態${\boldsymbol h}_{t-1}$（式\ref{eq:lstm1}--\ref{eq:lstm4}）を親ノードの隠れ状態${\boldsymbol h}_{parent}$に置き換えて，以下の式に基づき処理する：
{\allowdisplaybreaks
\begin{align}
{\boldsymbol i}_t & = \sigma \left( {\boldsymbol W}_i {\boldsymbol x}_t + {\boldsymbol U}_i {\boldsymbol h}_{parent}  + {\boldsymbol b}_i \right) \\
{\boldsymbol o}_t & = \sigma \left( {\boldsymbol W}_o {\boldsymbol x}_t + {\boldsymbol U}_o {\boldsymbol h}_{parent}  + {\boldsymbol b}_o \right) \\
{\boldsymbol f}_t & = \sigma \left( {\boldsymbol W}_f {\boldsymbol x}_t + {\boldsymbol U}_f {\boldsymbol h}_{parent}  + {\boldsymbol b}_f \right) \\
\tilde{{\boldsymbol c}}_t & = \tanh \left( {\boldsymbol W}_c {\boldsymbol x}_t + {\boldsymbol U}_c {\boldsymbol h}_{parent}  + {\boldsymbol b}_c \right)
\end{align}
}
なお，投稿には複数の子ノード（返信）がありえるため，${\boldsymbol h}_{parent}$は複数の投稿で共有されることがある．
また，以降の処理では${\boldsymbol h}$をParent-Branch Tree-LSTMが出力する投稿の特徴量${\boldsymbol r}_P$として用いる．


\subsubsection*{Child-Sum Tree-LSTM}

Child-Sum Tree-LSTMでは子ノード（返信）の情報を用いた談話行為の推定を可能にする．
投稿の特徴量は葉ノードから根ノードへとChild-Sum Tree-LSTM\cite{Tai2015}で処理する．
具体的には，式\ref{eq:lstm1}，\ref{eq:lstm2}，\ref{eq:lstm4}に含まれる$1$時刻前の隠れ状態${\boldsymbol h}_{t-1}$を子ノードの隠れ状態$\tilde{{\boldsymbol h}}_{t}$
に置き換え，忘却ゲート${\boldsymbol f}_t$（式\ref{eq:lstm3}）とメモリセルゲート${\boldsymbol c}_t$（式\ref{eq:lstm5}）を以下の式に置き換え処理する：
\begin{align}
\tilde{{\boldsymbol h}}_t & = \sum_k {\boldsymbol h}_k \\
{\boldsymbol f}_{tk} & = \sigma \left( {\boldsymbol W}_f {\boldsymbol x}_t + {\boldsymbol U}_f {\boldsymbol h}_k  + {\boldsymbol b}_f \right) \\
{\boldsymbol c}_t & = {\boldsymbol i}_t \odot \tilde{{\boldsymbol c}}_t + \sum_k {\boldsymbol f}_{tk} \odot {\boldsymbol c}_{k}
\end{align}
ここで${\boldsymbol h}_k$は子ノードの隠れ状態，${\boldsymbol c}_k$は子ノードのメモリセル状態である．
また，以降の処理では${\boldsymbol h}$をChild-Sum Tree-LSTMが出力する投稿の特徴量${\boldsymbol r}_C$として用いる．


\subsubsection*{GCN}

GCNでは周辺ノード（返信元および返信先）の情報を用いた談話行為の推定を可能にする．
各ノードの周辺ノードを畳み込みフィルタでグラフ上の畳み込みとして取り込む．
具体的には，畳み込みフィルタをチェビシェフ展開で近似する手法\cite{Hammond2011}に基づく，グラフ畳み込み処理\cite{Defferrard2016}を用いる．
投稿の特徴${\boldsymbol h}_l$を入力として，以下の状態遷移関数で処理する：
\begin{align}
{\boldsymbol h}_{l+1} & = {\boldsymbol U} g_\theta \left( {\boldsymbol \Lambda} \right) {\boldsymbol U}^T  {\boldsymbol h}_l \\
g_{\boldsymbol \theta} \left( {\boldsymbol \Lambda} \right) & = \sum_k^{K-1} {\boldsymbol \theta}_k T_k ( \tilde{\boldsymbol \Lambda} )
\end{align}
ここで$l$は層の番号，$\boldsymbol U$は入力グラフにおける正規化されたラプラシアンのフーリエ基底，$\boldsymbol{\theta}_k \in \mathbb{R}^K$はチェビシェフ係数のベクトル，$T_k ( \tilde{\boldsymbol \Lambda} )$は$k$次のチェビシェフ多項式である．
グラフ上の畳み込み処理は連続的に適用することにより多層化でき，提案モデルでは式\ref{eq:gcn}のようにグラフ畳み込み処理$2$層と正規化線形関数(ReLU)を組み合わせた投稿の特徴量${\boldsymbol r}_G$を得る：
\pagebreak
\begin{align}
{\boldsymbol r}_G & = {\boldsymbol U} g_\theta \left( {\boldsymbol \Lambda} \right) {\boldsymbol U}^T {\rm ReLU} \left( {\boldsymbol U} g_\theta \left( {\boldsymbol \Lambda} \right) {\boldsymbol U}^T {\boldsymbol m} \right) \label{eq:gcn}
\end{align}


\subsubsection*{Self-Attention}

Parent-Branch Tree-LSTM (P)，Child-Sum Tree-LSTM (C)，GCN (G)に対応する$j \in \{P, C, G\}$番目の特徴量を，自己注意方法の注意機構\cite{Yang2016,Lin2017}(Self-Attention)で統合する．
注意機構で統合した$i$番目の投稿の特徴量${\boldsymbol s}_i$は，議論のフローを取り入れた特徴量${\boldsymbol r}_{ji}$の重み付き和として以下のように求める：
\begin{align}
{\boldsymbol s}_i & = \sum_{j \in \{P,C,G\}} \alpha_{ji} {\boldsymbol r}_{ji} \\
\alpha_{ji} & = \frac{\exp \left( {\boldsymbol v}_\alpha^T {\boldsymbol u}_{ji} \right)}{\sum_{j' \in \{P,C,G\}} \exp \left( {\boldsymbol v}_\alpha^T {\boldsymbol u}_{j'i} \right)} \label{eq:softmax} \\
{\boldsymbol u}_{ji} & = \tanh \left( {\boldsymbol W}_\alpha {\boldsymbol r}_{ji} + {\boldsymbol b}_\alpha \right)
\end{align}
ここで${\boldsymbol v}_\alpha$は重みベクトル，${\boldsymbol W}_\alpha$は重み行列，${\boldsymbol b}_\alpha$はバイアス項である．


\subsubsection*{Label Classifier}

各投稿の特徴量${\boldsymbol s}_i$を，全ての$i$で共有された全結合層とソフトマックス関数を用いて以下のようなラベル出力$\sigma \left( {\boldsymbol y}_i \right)$を得る：
\begin{align}
{\boldsymbol y}_i & = {\boldsymbol W}_{d} {\boldsymbol s}_i + {\boldsymbol b}_d \\
\sigma \left( {\boldsymbol y}_i \right) & = \frac{\exp \left( {\boldsymbol y}_i \right)}{\sum_{i'} \exp \left( {\boldsymbol y}_{i'} \right)}
\end{align}
ここで${\boldsymbol W}_d$は重み行列，${\boldsymbol b}_d$はバイアス項である．


\section{実験}
\label{sec:exp}

\subsection{ベースライン}

提案手法のベースラインとして，ルールに基づくモデル(Rule 5-ACTS)，従来のパターン素性と系列学習を組み合わせたモデル(CRF Vote)，$2$種類のニューラルモデル(LSTM-CRF Vote，Greaph-LSTM)を用意した．


\subsubsection*{Rule 5-ACTS}

機械学習に基づかないベースラインとして，単純なルールに基づく分類器Rule 5-ACTSを用意した．
スレッド中の投稿$c$はAlgorithm \ref{alg1}に基づいてラベル$l$に分類される．
なお，この分類器では投稿が{\it Agreement}，{\it Disagreement}，{\it Humor}，{\it Negative Reaction}の$4$種類のラベルに分類されることはない．

\begin{algorithm}[b]
\caption{Rule 5-ACTS}
\label{alg1}
\input{03algo01.tex}
\end{algorithm}


\subsubsection*{CRF Vote}

\citeA{Zhang2017}で最も良い性能を示した，条件付き確率場(CRF)に基づくモデルをCRF Voteとして実装した．
このモデルではスレッドを分解して，根ノードから各葉ノードへの系列を独立して処理する．
内容語，句読点，パターン，著者，スレッド，コミュニティの素性をCRFで学習する．
素性の中でもパターン素性の大きな効果がアブレーションテストにより確認されている．
なお，スレッドを系列に分解して処理するため，一つの投稿に対して複数の異なるラベルを分類することがある．
この際には，投稿のラベルは分類したラベルの多数決によって決定する．


\subsubsection*{LSTM-CRF Vote}

Comment Encoder（\ref{sec:model}章）にLSTM層とCRF層を組み合わせて，CRF Voteをニューラルモデルに拡張したLSTM-CRF Voteを実装した．
系列学習タスクにおいて，LSTMとCRFを組み合わせるアプローチが有効であることは知られている\cite{Huang2015,Lample2016,Ma2016}．
また，CRF Voteと同様にスレッドは根ノードから葉ノードへの系列に分解する．
このモデルではまず各系列をComment Encoderで処理し，各投稿の特徴量を得る．
次にLSTM層により投稿間の依存関係を導入し，さらにCRF層でラベル間の相関関係を導入する．
また，複数のラベルが分類された投稿については，CRF Voteと同様に多数決でラベルを決定する．


\subsubsection*{Graph-LSTM}

グラフ構造に対応したLSTM\cite{Zayats2018}をGraph-LSTMとして実装した．
スレッド上の投稿間の親子関係および兄弟関係を処理できるように，LSTMを拡張して親子間の接続を扱う忘却ゲートと兄弟間の接続を扱う忘却ゲートを用意している．
また，投稿中の単語分散表現の平均に加えて，グラフ上の位置や返信数といったパターン素性を組み合わせた入力を用意している．
このモデルは談話行為の分類を目的として設計されてはいないが，Reddit投稿の人気度を推定する際には優れた性能を発揮している．


\subsection{データ・評価手法}
\label{sec:data}

提案モデルとベースラインモデルの評価には\citeA{Zhang2017}のデータ\footnote{https://github.com/google-research-datasets/coarse-discourse}を用いた．
データはRedditの 9,438スレッド，115,827投稿，2,837コミュニティ(subreddit)より構成され，各投稿には表\ref{tab:cdis-exp}に示される$10$種類の談話行為が$3$人のアノテータによりアノテートされている．
\citeA{Zhang2017}の設定を踏襲し，アノテータ間の多数決でラベルを決定できない投稿および多数決で決定したラベルが{\it Other}の投稿を除外した．
結果として，評価には9,131スレッド，98,865投稿のデータを用いた．
各談話行為のラベルの数，それらの最初の投稿の割合，Krippendorf's Alphaによる一致度を表\ref{tab:cdis}に示す．

\begin{table}[t]
\caption{各談話行為とその概要}
\label{tab:cdis-exp}
\input{03table01.tex}
\end{table}
\begin{table}[t]
\caption{談話行為の数，最初の投稿の割合，Krippendorf's Alphaによる一致度}
\label{tab:cdis}
\input{03table02.tex}
\end{table}


すべてのモデルは$10$交差検定で評価し，評価尺度としてはAccuracy，Precision，Recall，${\rm F}_1$値を用いた．
ニューラルモデルについては，開発データを用意するために$10$交差検定ではデータを8:1:1の割合で訓練:開発:テストに分割した．
テスト時の性能を測定する際には，開発データで最良の${\rm F}_1$値が得られた学習結果を利用した．


\subsection{モデルの設定}

\subsubsection*{単語分散表現の事前学習}

ニューラルモデルで用いる単語分散表現は，2006--2016のRedditダンプデータ\footnote{https://bigquery.cloud.google.com/dataset/fh-bigquery:reddit\_posts}$^{,}$\footnote{https://bigquery.cloud.google.com/dataset/fh-bigquery:reddit\_comments}をサンプリングしたデータで事前学習した．
サンプリングでは，実験データ中に表れる2,837コミュニティ（\ref{sec:data}節）に属する，約$2.3$億の投稿を取得した．
事前学習ではword2vec \cite{Mikolov2013}をskip-gramアルゴリズムで$次元=100$，$学習率=0.025$，$ウィンドウ幅=5$，$ネガティブサンプル数=5$，$エポック=5$の設定で用いた．


\subsubsection*{各層のユニット数と最大単語数}

提案モデルやベースラインモデルには，
\pagebreak
ユニット数のパラメータを設定できる層が含まれている．
LSTMのユニット数としては，${\rm LSTM}_S$と${\rm LSTM}_C$については$300$に，LSTM-CRF Voteについては$600$に設定した．
Parent-Branch Tree-LSTM，Child-Sum Tree-LSTM，GCNのユニット数には$600$を設定した．
また，Redditの投稿には数千語にもおよぶ長い投稿が存在する．
効率化のために，スレッドの最初の投稿については最大$400$語，返信の投稿については最大$100$語のみを利用した．


\subsubsection*{最適化手法}

LSTM-CRF Vote，Graph-LSTM，Tree-LSTM GCN Hybridの最適化には確率的勾配降下法を用いた．
目的関数にはLSTM-CRF VoteはCRFのスコアを用い，Graph-LSTMとTree-LSTM GCN Hybridは交差エントロピーを用いた．
確率的勾配降下法のパラメータとしては，学習率は$\{0.01, 0.1\}$から開発データで良い性能を示した値を選択し，$モメンタム=0.9$，$勾配クリッピング=3.0$を用いた．
また，過学習を避けるためにドロップアウト\cite{Srivastava2014}を割合$0.5$でLSTM層とGCNの中間層に導入した．

\begin{table}[b]
\caption{提案モデルとベースラインモデルのAccuracy，Precision，Recall，${\rm F}_1$値}
\label{tab:result}
\input{03table03.tex}
\vspace{4pt}\small
Precision，Recall，${\rm F}_1$値については，$9$つの談話行為をデータ数に応じて重み付けした平均値である．太字は各評価指標で最大の値を示している．
\end{table}


\subsection{実験結果}
\label{sec:result}

表\ref{tab:result}に各モデルの評価結果を示す．
また，提案モデルであるTree-LSTM GCN Hybridについては，一つの構成要素のみを用いたモデルを提案モデル（構成要素名）として用意している．
結果から，Tree-LSTM GCN Hybridが従来のCRF VoteをAccuracyで$1.5\%$，${\rm F}_1$値で$2.2$上回る性能を示している．
LSTM-CRF VoteもCRF Voteを上回る性能を示しており，ニューラルモデルへの単純な拡張およびニューラルモデルにより議論のパターンを学習する有効性が示唆される\footnote{すべての評価指標において，Tree-LSTM GCN HybridとLSTM-CRF Vote間に有意水準$5\%$で統計的な有意差があることをFisher-Pitmann Permutation Testで確認している．また，LSTM-CRF VoteとCRF Vote間においても，Accuracyについては有意水準$10\%$，Precision，Recall，${\rm F}_1$値については有意水準$5\%$で統計的な有意差があることを確認している．}．
Graph-LSTMはCRF Voteに及ばない性能しか得られておらず，Redditを対象としていても人気度の推定モデルを談話行為の分類にそのまま用いるのは難しいことが分かる．
Rule 5-ACTSでは他のモデルを大きく下回る性能になっており，単純なルールではこのタスクに対応しきれないことを示している．
なお，計算時間については，Tree-LSTM GCN Hybridは$10$交差検定の評価を完了するのにNVIDIA Titan X gpuを$1$個用いて約$21$時間掛かった．
ニューラルモデルは一般的に計算負荷が高く，本実験においてもIntel Core i7 cpuを$1$コア用いて約$4$時間掛かったCRF Voteの約$5$倍の時間が掛かっている．

提案モデルの単一構成要素を用いた結果については，構成要素ごとに異なる傾向が得られた．
Parent-Branch Tree-LSTMが最も高い性能，GCNがParent-Branch Tree-LSTMを僅かに下回る性能，Child-Sum Tree-LSTMが他二つより大幅に低い性能を示した．
Redditの議論では根ノードから葉ノードへと返信の連鎖で議論が進む．
このため，親ノードを参照する構成要素が高い性能を示しているこれらの結果は直感に合う．
また，GCNでは$2$層の畳み込み層により，長さ$2$以内のノードを参照している．
GCNでParent-Branch Tree-LSTMに近い性能が得られており，談話行為の分類においては遠いノードの影響は僅かであると考えられる．

\begin{figure}[b]
\begin{center}
\includegraphics{26-1ia3f3.eps}
\end{center}
\caption{注意機構の確率値から求めた確率密度関数}
\label{fig:att-probs}
\end{figure}


\section{考察}
\label{sec:discuss}

\subsection{木構造・グラフ構造の有効な組み合わせ}
\label{sec:strategy}

提案モデルでは三つの構成要素を注意機構を用いて統合している．
Tree-LSTM GCN Hybridがこれら構成要素をどのように組み合わせているかを分析するために，注意機構が出力する確率値を分析した．
図\ref{fig:att-probs}aに，すべての投稿についての確率値から求めた確率密度関数を示す．
最も優先される構成要素はParent-Branch Tree-LSTMであり，\ref{sec:result}節の実験結果で単独で最も高い性能が得られた構成要素でもある，
しかし，$2$番目に優先される構成要素は，単独では低い性能を示したChild-Sum Tree-LSTMとなった．
このため，木構造やグラフ構造の効果は，単独で用いた場合と組み合わせた場合では必ずしも一致しないことが分かる．
図\ref{fig:att-probs}bに最初の投稿に限定した場合の確率密度関数を示す．
最初の投稿には親ノードがなく，全体の場合と比較してChild-Sum Tree-LSTMとGCNが優先されている．

\begin{figure}[b]
\begin{center}
\includegraphics{26-1ia3f4.eps}
\end{center}
\caption{返信の数ごとに分割した確率密度関数}
\label{fig:att-probs2}
\end{figure}

注意機構の確率値をさらに返信の数ごとに場合分けした結果を図\ref{fig:att-probs2}に示す．
返信がないか少ない場合は，求めた確率密度関数は全体と似た傾向を示した（図\ref{fig:att-probs2}a）．
返信が中程度の場合には，Child-Sum Tree-LSTMとGCNのピークの位置がParent-Branch Tree-LSTMに近くなった（図\ref{fig:att-probs2}b）．
返信数が大きい場合には，GCNのピークの位置がChild-Sum Tree-LSTMを上回る結果となった（図\ref{fig:att-probs2}c，\ref{fig:att-probs2}d）．
GCNの結果から，返信数が多ければ周辺の投稿のみで談話行為の分類が十分に行えることが伺える．


\subsection{ニューラルモデルの強み}

提案モデルのより詳細な効果を確認するために，談話行為毎の性能を確認した．
表\ref{tab:result2}にRule 5-ACTS，CRF Vote，LSTM-CRF Vote，Parent-Branch Tree-LSTM，Tree-LSTM GCN Hybridの談話行為毎の${\rm F}_1$値を示す．
結果として，ニューラルモデルがほぼすべての談話行為について，従来モデルと比較して同等以上の性能を達成している．
特に{\it Disagreement}，{\it Humor}，{\it Negative Reaction}については，CRF Voteから大きく性能が向上した．
これらの談話行為は他と比べて発生頻度が小さく（表\ref{tab:cdis}），ニューラルモデルが低頻度の談話行為の特徴をうまく捉えていることを示唆している．

\begin{table}[b]
\caption{提案モデルとベースラインモデルの各談話行為についての${\rm F}_1$値}
\label{tab:result2}
\input{03table04.tex}
\end{table}
\begin{table}[b]
\caption{\textit{Appreciation}についての提案モデルとベースラインモデルのPrecision，Recall，${\rm F}_1$値}
\label{tab:result3}
\input{03table05.tex}
\end{table}

{\it Announcement}においては，複数の構成要素を組み合わせたモデル(Tree-LSTM GCN Hybrid)が$3.2$ポイントの${\rm F}_1$値の向上を示した．
{\it Announcement}は最初の投稿にしか表れない特徴があり（表\ref{tab:cdis}），\ref{sec:strategy}節の分析でもChild-Sum Tree-LSTMとGCNが最初の投稿において優先されていた．
提案モデルが改善を示さなかった唯一の談話行為としては，{\it Appreciation}が挙げられる．
表\ref{tab:result3}に示される{\it Appreciation}のPrecision，Recall，${\rm F}_1$値を確認したところ，PrecisionにおいてはRule 5-ACTSおよびCRF Voteが優れた性能を示していた．
この結果から，強い言語的な手掛かり（例．``thank''）が存在する談話行為については，ルールやタスク依存の素性を含むモデルに強みがあることが伺える．

\begin{figure}[b]
\begin{center}
\includegraphics{26-1ia3f5.eps}
\end{center}
\hangcaption{CRF Voteに対してTree-LSTM GCN Hybridの推定結果が改善した例．例中では，人名を``PERSON''，具体的なURLを``URL''，製品名を``PRODUCT''，数値を``XXXX''に置き換えている．また，例中のCRF Vote，Tree-LSTM GCN Hybridはそれぞれのモデルの推定結果である．}
\label{fig:ea1-2}
\end{figure}

CRF Voteに対して提案モデル(Tree-LSTM GCN Hybrid)の推定結果が改善した例を図\ref{fig:ea1-2}に示す．
aのID2ではスポーツ選手の怪我に対して意見を述べているが，誤ってElaborationと推定されていた談話行為が正しくNegative Reactionと推定されるようになった．
提案モデルにより，ID2の投稿は親投稿(ID1)を補足しているのではなく，親投稿に対しての個人的かつ否定的な見解であることを判定できていることが確認できる．
また，bのID3では国ごとの製品価格の違いについて意見を述べているが，誤ってAnswerと推定されていた談話行為が正しくHumorと推定されるようになった．
提案モデルにより，ID3の投稿は親投稿(ID1)の質問に答えているというより，親投稿の内容に即した冗談であることを判定できていることが確認できる．


\section{おわりに}
\label{sec:conc}

本稿では議論のパターンをニューラルネットワークを用いて学習し，談話行為を分類するモデルを提案した．
提案モデルでは 3 種類の構成要素(Parent-Branch Tree-LSTM，Child-Sum Tree-LSTM，GCN)を用意し，議論のパターンを学習することを試みた．
評価実験により，提案モデルは従来モデルと比較してAccuracyで$1.5\%$，${\rm F}_1$値で$2.2$の性能向上を確認した．
また，3 種類の構成要素間の関係を注意機構の確率値を通じて分析した．
今後の課題としては，提案モデルをReddit以外の議論に対して適用することを検討している．
Redditには大規模な投稿データを容易に入手できるという利点があるが，投稿時間や投稿者の属性等のテキスト以外の要素が投稿に大きな影響を与えている．
議論を分析するための柔軟なアーキテクチャを探索するためにも，今後は提案モデルの拡張をより一層進めたい．


\acknowledgment
東京工業大学奥村・高村研究室の皆様には，ニューラルネットワークを用いて木構造やグラフ構造を学習する手法について，議論を通じて様々なアドバイスを頂きました．
ここに感謝の意を表します．
また，本論文はThe 27th International Conference on Computational Linguistics (COLING 2018)に採択された，Integrating Tree Structures and Graph Structures with Neural Networks to Classify Discussion Discourse Acts \cite{Miura2018}を日本語で書き直し内容を追加したものです．


\bibliographystyle{jnlpbbl_1.5}
\begin{thebibliography}{}

\bibitem[\protect\BCAY{Bhatia, Biyani, \BBA\ Mitra}{Bhatia
  et~al.}{2012}]{Bhatia2012}
Bhatia, S., Biyani, P., \BBA\ Mitra, P. \BBOP 2012\BBCP.
\newblock \BBOQ Classifying User Messages For Managing Web Forum Data.\BBCQ\
\newblock In {\Bem Proceedings of the 15th International workshop on the Web
  and Databases}.

\bibitem[\protect\BCAY{Bunt, Alexandersson, Carletta, Choe, Fang, Hasida, Lee,
  Petukhova, Popescu-Belis, Romary, Soria, \BBA\ Traum}{Bunt
  et~al.}{2010}]{Bunt2010}
Bunt, H., Alexandersson, J., Carletta, J., Choe, J.-W., Fang, A.~C., Hasida,
  K., Lee, K., Petukhova, V., Popescu-Belis, A., Romary, L., Soria, C., \BBA\
  Traum, D. \BBOP 2010\BBCP.
\newblock \BBOQ Towards an ISO Standard for Dialogue Act Annotation.\BBCQ\
\newblock In {\Bem Proceedings of the 7th Conference on International Language
  Resources and Evaluation}, \mbox{\BPGS\ 2548--2555}.

\bibitem[\protect\BCAY{Buntain \BBA\ Golbeck}{Buntain \BBA\
  Golbeck}{2014}]{Buntain2014}
Buntain, C.\BBACOMMA\ \BBA\ Golbeck, J. \BBOP 2014\BBCP.
\newblock \BBOQ Identifying Social Roles in Reddit Using Network
  Structure.\BBCQ\
\newblock In {\Bem Proceedings of the Workshop on Modeling Social Media: Mining
  Big Data in Social Media and the Web}, \mbox{\BPGS\ 615--620}.

\bibitem[\protect\BCAY{Carvalho \BBA\ Cohen}{Carvalho \BBA\
  Cohen}{2006}]{Carvalho2006}
Carvalho, V.\BBACOMMA\ \BBA\ Cohen, W. \BBOP 2006\BBCP.
\newblock \BBOQ Improving ``Email Speech Acts'' Analysis via N-gram
  Selection.\BBCQ\
\newblock In {\Bem Proceedings of the Analyzing Conversations in Text and
  Speech}, \mbox{\BPGS\ 35--41}.

\bibitem[\protect\BCAY{Carvalho \BBA\ Cohen}{Carvalho \BBA\
  Cohen}{2005}]{Carvalho2005}
Carvalho, V.~R.\BBACOMMA\ \BBA\ Cohen, W.~W. \BBOP 2005\BBCP.
\newblock \BBOQ On the Collective Classification of Email ``Speech Act''.\BBCQ\
\newblock In {\Bem Proceedings of the 28th Annual International ACM SIGIR
  Conference on Research and Development in Information Retrieval},
  \mbox{\BPGS\ 345--352}.

\bibitem[\protect\BCAY{Cheng, Fang, \BBA\ Ostendorf}{Cheng
  et~al.}{2017}]{Cheng2017}
Cheng, H., Fang, H., \BBA\ Ostendorf, M. \BBOP 2017\BBCP.
\newblock \BBOQ A Factored Neural Network Model for Characterizing Online
  Discussions in Vector Space.\BBCQ\
\newblock In {\Bem Proceedings of the 2017 Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 2296--2306}.

\bibitem[\protect\BCAY{Cohen, Carvalho, \BBA\ Mitchell}{Cohen
  et~al.}{2004}]{Cohen2004}
Cohen, W.~W., Carvalho, V.~R., \BBA\ Mitchell, T.~M. \BBOP 2004\BBCP.
\newblock \BBOQ Learning to Classify Email into ``Speech Acts''.\BBCQ\
\newblock In {\Bem Proceedings of the 2004 Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 309--316}.

\bibitem[\protect\BCAY{Defferrard, Bresson, \BBA\ Vandergheynst}{Defferrard
  et~al.}{2016}]{Defferrard2016}
Defferrard, M., Bresson, X., \BBA\ Vandergheynst, P. \BBOP 2016\BBCP.
\newblock \BBOQ Convolutional Neural Networks on Graphs with Fast Localized
  Spectral Filtering.\BBCQ\
\newblock In {\Bem Advances in Neural Information Processing Systems 29},
  \mbox{\BPGS\ 3844--3852}. Curran Associates, Inc.

\bibitem[\protect\BCAY{Ferschke, Gurevych, \BBA\ Chebotar}{Ferschke
  et~al.}{2012}]{Ferschke2012}
Ferschke, O., Gurevych, I., \BBA\ Chebotar, Y. \BBOP 2012\BBCP.
\newblock \BBOQ Behind the Article: Recognizing Dialog Acts in Wikipedia Talk
  Pages.\BBCQ\
\newblock In {\Bem Proceedings of the 13th Conference of the European Chapter
  of the Association for Computational Linguistics}, \mbox{\BPGS\ 777--786}.

\bibitem[\protect\BCAY{Hammond, Vandergheynst, \BBA\ Gribonval}{Hammond
  et~al.}{2011}]{Hammond2011}
Hammond, D.~K., Vandergheynst, P., \BBA\ Gribonval, R. \BBOP 2011\BBCP.
\newblock \BBOQ Wavelets on Graphs via Spectral Graph Theory.\BBCQ\
\newblock {\Bem Applied and Computational Harmonic Analysis}, {\Bbf 30}  (2),
  \mbox{\BPGS\ 129--150}.

\bibitem[\protect\BCAY{He, Ostendorf, \BBA\ He}{He et~al.}{2017}]{He2017}
He, J., Ostendorf, M., \BBA\ He, X. \BBOP 2017\BBCP.
\newblock \BBOQ Reinforcement Learning with External Knowledge and Two-Stage
  Q-functions for Predicting Popular Reddit Threads.\BBCQ\
\newblock {\Bem arXiv preprint arXiv:1704.06217}.

\bibitem[\protect\BCAY{He, Ostendorf, He, Chen, Gao, Li, \BBA\ Deng}{He
  et~al.}{2016}]{He2016}
He, J., Ostendorf, M., He, X., Chen, J., Gao, J., Li, L., \BBA\ Deng, L. \BBOP
  2016\BBCP.
\newblock \BBOQ Deep Reinforcement Learning with a Combinatorial Action Space
  for Predicting Popular Reddit Threads.\BBCQ\
\newblock In {\Bem Proceedings of the 2016 Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 1838--1848}.

\bibitem[\protect\BCAY{Hessel, Lee, \BBA\ Mimno}{Hessel
  et~al.}{2017}]{Hessel2017}
Hessel, J., Lee, L., \BBA\ Mimno, D. \BBOP 2017\BBCP.
\newblock \BBOQ Cats and Captions vs. Creators and the Clock: Comparing
  Multimodal Content to Context in Predicting Relative Popularity.\BBCQ\
\newblock In {\Bem Proceedings of the 26th International Conference on World
  Wide Web}, \mbox{\BPGS\ 927--936}.

\bibitem[\protect\BCAY{Hochreiter \BBA\ Schmidhuber}{Hochreiter \BBA\
  Schmidhuber}{1997}]{Hochreiter1997}
Hochreiter, S.\BBACOMMA\ \BBA\ Schmidhuber, J. \BBOP 1997\BBCP.
\newblock \BBOQ Long Short-Term Memory.\BBCQ\
\newblock {\Bem Neural Computation}, {\Bbf 9}  (8), \mbox{\BPGS\ 1735--1780}.

\bibitem[\protect\BCAY{Hu, Passonneau, \BBA\ Rambow}{Hu et~al.}{2009}]{Hu2009}
Hu, J., Passonneau, R., \BBA\ Rambow, O. \BBOP 2009\BBCP.
\newblock \BBOQ Contrasting the Interaction Structure of an Email and a
  Telephone Corpus: A Machine Learning Approach to Annotation of Dialogue
  Function Units.\BBCQ\
\newblock In {\Bem Proceedings of the SIGDIAL 2009 Conference}, \mbox{\BPGS\
  357--366}.

\bibitem[\protect\BCAY{Huang, Xu, \BBA\ Yu}{Huang et~al.}{2015}]{Huang2015}
Huang, Z., Xu, W., \BBA\ Yu, K. \BBOP 2015\BBCP.
\newblock \BBOQ Bidirectional LSTM-CRF Models for Sequence Tagging.\BBCQ\
\newblock {\Bem arXiv preprint arXiv:1508.01991}.

\bibitem[\protect\BCAY{Jaech, Zayats, Fang, Ostendorf, \BBA\ Hajishirzi}{Jaech
  et~al.}{2015}]{Jaech2015}
Jaech, A., Zayats, V., Fang, H., Ostendorf, M., \BBA\ Hajishirzi, H. \BBOP
  2015\BBCP.
\newblock \BBOQ Talking to the Crowd: What Do People React to in Online
  Discussions?\BBCQ\
\newblock In {\Bem Proceedings of the 2015 Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 2026--2031}.

\bibitem[\protect\BCAY{Kim, Cavedon, \BBA\ Baldwin}{Kim
  et~al.}{2010a}]{Kim2010a}
Kim, S.~N., Cavedon, L., \BBA\ Baldwin, T. \BBOP 2010a\BBCP.
\newblock \BBOQ Classifying Dialogue Acts in One-on-One Live Chats.\BBCQ\
\newblock In {\Bem Proceedings of the 2010 Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 862--871}.

\bibitem[\protect\BCAY{Kim, Wang, \BBA\ Baldwin}{Kim et~al.}{2010b}]{Kim2010b}
Kim, S.~N., Wang, L., \BBA\ Baldwin, T. \BBOP 2010b\BBCP.
\newblock \BBOQ Tagging and Linking Web Forum Posts.\BBCQ\
\newblock In {\Bem Proceedings of the 14th Conference on Computational Natural
  Language Learning}, \mbox{\BPGS\ 192--202}.

\bibitem[\protect\BCAY{Kipf \BBA\ Welling}{Kipf \BBA\ Welling}{2017}]{Kipf2017}
Kipf, T.~N.\BBACOMMA\ \BBA\ Welling, M. \BBOP 2017\BBCP.
\newblock \BBOQ Semi-Supervised Classification with Graph Convolutional
  Networks.\BBCQ\
\newblock In {\Bem Proceedings of the 5th International Conference on Learning
  Representations}.

\bibitem[\protect\BCAY{Lample, Ballesteros, Subramanian, Kawakami, \BBA\
  Dyer}{Lample et~al.}{2016}]{Lample2016}
Lample, G., Ballesteros, M., Subramanian, S., Kawakami, K., \BBA\ Dyer, C.
  \BBOP 2016\BBCP.
\newblock \BBOQ Neural Architectures for Named Entity Recognition.\BBCQ\
\newblock In {\Bem Proceedings of the 2016 Conference of the North American
  Chapter of the Association for Computational Linguistics: Human Language
  Technologies}, \mbox{\BPGS\ 260--270}.

\bibitem[\protect\BCAY{Lim, Carman, \BBA\ Wong}{Lim et~al.}{2017}]{Lim2017}
Lim, W.~H., Carman, M.~J., \BBA\ Wong, S.-M.~J. \BBOP 2017\BBCP.
\newblock \BBOQ Estimating Relative User Expertise for Content Quality
  Prediction on Reddit.\BBCQ\
\newblock In {\Bem Proceedings of the 28th ACM Conference on Hypertext and
  Social Media}, \mbox{\BPGS\ 55--64}.

\bibitem[\protect\BCAY{Lin, Feng, dos Santos, Yu, Xiang, Zhou, \BBA\
  Bengio}{Lin et~al.}{2017}]{Lin2017}
Lin, Z., Feng, M., dos Santos, C.~N., Yu, M., Xiang, B., Zhou, B., \BBA\
  Bengio, Y. \BBOP 2017\BBCP.
\newblock \BBOQ A Structured Self-attentive Sentence Embedding.\BBCQ\
\newblock In {\Bem Proceedings of the 5th International Conference on Learning
  Representations}.

\bibitem[\protect\BCAY{Liu, Baldwin, \BBA\ Cohn}{Liu et~al.}{2017}]{Liu2017}
Liu, F., Baldwin, T., \BBA\ Cohn, T. \BBOP 2017\BBCP.
\newblock \BBOQ Capturing Long-range Contextual Dependencies with
  Memory-enhanced Conditional Random Fields.\BBCQ\
\newblock In {\Bem Proceedings of the 8th International Joint Conference on
  Natural Language Processing}, \mbox{\BPGS\ 555--565}.

\bibitem[\protect\BCAY{Ma \BBA\ Hovy}{Ma \BBA\ Hovy}{2016}]{Ma2016}
Ma, X.\BBACOMMA\ \BBA\ Hovy, E. \BBOP 2016\BBCP.
\newblock \BBOQ End-to-end Sequence Labeling via Bi-directional
  LSTM-CNNs-CRF.\BBCQ\
\newblock In {\Bem Proceedings of the 54th Annual Meeting of the Association
  for Computational Linguistics}, \mbox{\BPGS\ 1064--1074}.

\bibitem[\protect\BCAY{Mikolov, Sutskever, Chen, Corrado, \BBA\ Dean}{Mikolov
  et~al.}{2013}]{Mikolov2013}
Mikolov, T., Sutskever, I., Chen, K., Corrado, G.~S., \BBA\ Dean, J. \BBOP
  2013\BBCP.
\newblock \BBOQ Distributed Representations of Words and Phrases and their
  Compositionality.\BBCQ\
\newblock In {\Bem Advances in Neural Information Processing Systems 26},
  \mbox{\BPGS\ 3111--3119}.

\bibitem[\protect\BCAY{Miura, Kano, Taniguchi, Taniguchi, Misawa, \BBA\
  Ohkuma}{Miura et~al.}{2018}]{Miura2018}
Miura, Y., Kano, R., Taniguchi, M., Taniguchi, T., Misawa, S., \BBA\ Ohkuma, T.
  \BBOP 2018\BBCP.
\newblock \BBOQ Integrating Tree Structures and Graph Structures with Neural
  Networks to Classify Discussion Discourse Acts.\BBCQ\
\newblock In {\Bem Proceedings of the 27th International Conference on
  Computational Linguistics}, \mbox{\BPGS\ 3806--3818}.

\bibitem[\protect\BCAY{Omuya, Prabhakaran, \BBA\ Rambow}{Omuya
  et~al.}{2013}]{Omuya2013}
Omuya, A., Prabhakaran, V., \BBA\ Rambow, O. \BBOP 2013\BBCP.
\newblock \BBOQ Improving the Quality of Minority Class Identification in
  Dialog Act Tagging.\BBCQ\
\newblock In {\Bem Proceedings of the 2013 Conference of the North American
  Chapter of the Association for Computational Linguistics: Human Language
  Technologies}, \mbox{\BPGS\ 802--807}.

\bibitem[\protect\BCAY{Socher, Karpathy, Le, Manning, \BBA\ Ng}{Socher
  et~al.}{2014}]{Socher2014}
Socher, R., Karpathy, A., Le, Q.~V., Manning, C.~D., \BBA\ Ng, A.~Y. \BBOP
  2014\BBCP.
\newblock \BBOQ Grounded Compositional Semantics for Finding and Describing
  Images with Sentences.\BBCQ\
\newblock {\Bem Transactions of the Association for Computational Linguistics},
  {\Bbf 2}, \mbox{\BPGS\ 207--218}.

\bibitem[\protect\BCAY{Socher, Lin, Ng, \BBA\ Manning}{Socher
  et~al.}{2011}]{Socher2011}
Socher, R., Lin, C. C.-Y., Ng, A.~Y., \BBA\ Manning, C.~D. \BBOP 2011\BBCP.
\newblock \BBOQ Parsing Natural Scenes and Natural Language with Recursive
  Neural Networks.\BBCQ\
\newblock In {\Bem Proceedings of the 28th International Conference on
  International Conference on Machine Learning}, \mbox{\BPGS\ 129--136}.

\bibitem[\protect\BCAY{Srivastava, Hinton, Krizhevsky, Sutskever, \BBA\
  Salakhutdinov}{Srivastava et~al.}{2014}]{Srivastava2014}
Srivastava, N., Hinton, G., Krizhevsky, A., Sutskever, I., \BBA\ Salakhutdinov,
  R. \BBOP 2014\BBCP.
\newblock \BBOQ Dropout: A Simple Way to Prevent Neural Networks from
  Overfitting.\BBCQ\
\newblock {\Bem Journal of Machine Learning Research}, {\Bbf 15}, \mbox{\BPGS\
  1929--1958}.

\bibitem[\protect\BCAY{Stolcke, Ries, Coccaro, Shriberg, Bates, Jurafsky,
  Taylor, Martin, Van Ess-Dykema, \BBA\ Meteer}{Stolcke
  et~al.}{2000}]{Stolcke2000}
Stolcke, A., Ries, K., Coccaro, N., Shriberg, E., Bates, R.~A., Jurafsky, D.,
  Taylor, P., Martin, R., Van Ess-Dykema, C., \BBA\ Meteer, M. \BBOP 2000\BBCP.
\newblock \BBOQ Dialogue Act Modeling for Automatic Tagging and Recognition of
  Conversational Speech.\BBCQ\
\newblock {\Bem Computational Linguistics}, {\Bbf 26}  (3), \mbox{\BPGS\
  339--373}.

\bibitem[\protect\BCAY{Tai, Socher, \BBA\ Manning}{Tai et~al.}{2015}]{Tai2015}
Tai, K.~S., Socher, R., \BBA\ Manning, C.~D. \BBOP 2015\BBCP.
\newblock \BBOQ Improved Semantic Representations From Tree-Structured Long
  Short-Term Memory Networks.\BBCQ\
\newblock In {\Bem Proceedings of the 53rd Annual Meeting of the Association
  for Computational Linguistics and the 7th International Joint Conference on
  Natural Language Processing}, \mbox{\BPGS\ 1556--1566}.

\bibitem[\protect\BCAY{Tan, Niculae, Danescu-Niculescu-Mizil, \BBA\ Lee}{Tan
  et~al.}{2016}]{Tan2016}
Tan, C., Niculae, V., Danescu-Niculescu-Mizil, C., \BBA\ Lee, L. \BBOP
  2016\BBCP.
\newblock \BBOQ Winning Arguments: Interaction Dynamics and Persuasion
  Strategies in Good-faith Online Discussions.\BBCQ\
\newblock In {\Bem Proceedings of the 25th International Conference on World
  Wide Web}, \mbox{\BPGS\ 613--624}.

\bibitem[\protect\BCAY{Wang, Lui, Kim, Nivre, \BBA\ Baldwin}{Wang
  et~al.}{2011}]{Wang2011}
Wang, L., Lui, M., Kim, S.~N., Nivre, J., \BBA\ Baldwin, T. \BBOP 2011\BBCP.
\newblock \BBOQ Predicting Thread Discourse Structure over Technical Web
  Forums.\BBCQ\
\newblock In {\Bem Proceedings of the 2011 Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 13--25}.

\bibitem[\protect\BCAY{Wang, Joshi, \BBA\ Rose}{Wang et~al.}{2007}]{Wang2007}
Wang, Y.-C., Joshi, M., \BBA\ Rose, C. \BBOP 2007\BBCP.
\newblock \BBOQ A Feature Based Approach to Leveraging Context for Classifying
  Newsgroup Style Discussion Segments.\BBCQ\
\newblock In {\Bem Proceedings of the 45th Annual Meeting of the Association
  for Computational Linguistics}, \mbox{\BPGS\ 73--76}.

\bibitem[\protect\BCAY{Wei, Liu, \BBA\ Li}{Wei et~al.}{2016}]{Wei2016b}
Wei, Z., Liu, Y., \BBA\ Li, Y. \BBOP 2016\BBCP.
\newblock \BBOQ Is This Post Persuasive? Ranking Argumentative Comments in
  Online Forum.\BBCQ\
\newblock In {\Bem Proceedings of the 54th Annual Meeting of the Association
  for Computational Linguistics}, \mbox{\BPGS\ 195--200}.

\bibitem[\protect\BCAY{Yang, Yang, Dyer, He, Smola, \BBA\ Hovy}{Yang
  et~al.}{2016}]{Yang2016}
Yang, Z., Yang, D., Dyer, C., He, X., Smola, A., \BBA\ Hovy, E. \BBOP
  2016\BBCP.
\newblock \BBOQ Hierarchical Attention Networks for Document
  Classification.\BBCQ\
\newblock In {\Bem Proceedings of the 2016 Conference of the North American
  Chapter of the Association for Computational Linguistics: Human Language
  Technologies}, \mbox{\BPGS\ 1480--1489}.

\bibitem[\protect\BCAY{Zayats \BBA\ Ostendorf}{Zayats \BBA\
  Ostendorf}{2018}]{Zayats2018}
Zayats, V.\BBACOMMA\ \BBA\ Ostendorf, M. \BBOP 2018\BBCP.
\newblock \BBOQ Conversation Modeling on Reddit Using a Graph-Structured
  LSTM.\BBCQ\
\newblock {\Bem Transactions of the Association for Computational Linguistics},
  {\Bbf 6}, \mbox{\BPGS\ 121--132}.

\bibitem[\protect\BCAY{Zhang, Culbertson, \BBA\ Paritosh}{Zhang
  et~al.}{2017}]{Zhang2017}
Zhang, A., Culbertson, B., \BBA\ Paritosh, P. \BBOP 2017\BBCP.
\newblock \BBOQ Characterizing Online Discussion Using Coarse Discourse
  Sequences.\BBCQ\
\newblock In {\Bem Proceedings of the 11th AAAI International Conference on Web
  and Social Media}, \mbox{\BPGS\ 357--366}.

\bibitem[\protect\BCAY{Zhang, Gao, \BBA\ Li}{Zhang et~al.}{2011}]{Zhang2011}
Zhang, R., Gao, D., \BBA\ Li, W. \BBOP 2011\BBCP.
\newblock \BBOQ What Are Tweeters Doing: Recognizing Speech Acts in
  Twitter.\BBCQ\
\newblock In {\Bem Proceedings of the AAAI-11 Workshop on Analyzing Microtext},
  \mbox{\BPGS\ 86--91}.

\bibitem[\protect\BCAY{Zhang, Gao, \BBA\ Li}{Zhang et~al.}{2012}]{Zhang2012}
Zhang, R., Gao, D., \BBA\ Li, W. \BBOP 2012\BBCP.
\newblock \BBOQ Towards Scalable Speech Act Recognition in Twitter: Tackling
  Insufficient Training Data.\BBCQ\
\newblock In {\Bem Proceedings of the Workshop on Semantic Analysis in Social
  Media}, \mbox{\BPGS\ 18--27}.

\end{thebibliography}

\begin{biography}
\bioauthor{三浦　康秀}{
2004年電気通信大学大学院電気通信学研究科修士課程修了．
同年，富士ゼロックス株式会社入社．
現在，コミュニケーション技術研究所において，自然言語処理の研究開発に従事．
また併せて，2016年より東京工業大学工学院情報通信系博士後期課程に在学中．
言語処理学会会員．}
\bioauthor{狩野　竜示}{
2013年東京大学情報理工学系研究科修士課程修了．
同年，富士ゼロックス株式会社入社．
現在，コミュニケーション技術研究所において，自然言語処理の研究開発に従事．
}
\bioauthor{谷口　元樹}{
2009年北海道大学大学院情報科学研究科修士課程修了．
同年，富士ゼロックス株式会社入社．
現在，コミュニケーション技術研究所において，自然言語処理の研究開発に従事．
}
\bioauthor{谷口　友紀}{
2004年神戸大学大学院自然科学研究科修士課程修了．
同年，富士ゼロックス株式会社入社．
現在，コミュニケーション技術研究所において，自然言語処理の研究開発に従事．
}
\bioauthor{三沢翔太郎}{
2016年早稲田大学大学院創造理工学研究科修士課程修了．
同年，富士ゼロックス株式会社入社．
現在，コミュニケーション技術研究所において，自然言語処理の研究開発に従事．
}
\bioauthor{大熊　智子}{
1994年東京女子大学文理学部卒業．
1996年慶應義塾大学政策・メディア研究科修士課程修了．
同年，富士ゼロックス株式会社入社．
現在，コミュニケーション技術研究所において，自然言語処理と情報推薦の研究に従事．
言語処理学会編集委員．博士（学術）．
}
\end{biography}


\biodate





\end{document}
