    \documentclass[japanese]{jnlp_2.2}
\usepackage{jnlpbbl_1.3}
\usepackage[dvipdfm]{graphicx}
\usepackage{amsmath}
\usepackage{hangcaption_jnlp}
\usepackage{udline}
\usepackage{array}

\usepackage{ascmac}
\usepackage{bm}
\usepackage{mathtools}
\usepackage{multirow}
\DeclareMathOperator*{\argmin}{arg\,min}
\DeclareMathOperator*{\argmax}{arg\,max}


\Volume{26}
\Number{1}
\Month{March}
\Year{2019}

\received{2018}{8}{1}
\revised{2018}{11}{15}
\accepted{2018}{12}{10}

\setcounter{page}{121}

\jsubject{論文}
\jtitle{\vspace*{-4pt}タスク指向対話におけるユーザ要求の理解とその根拠の抽出}
\jauthor{福永　隼也\affiref{Author_1} \and 西川　　仁\affiref{Author_1} \and 徳永　健伸\affiref{Author_1} \and 横野　　光\affiref{Author_2} \and 高橋　哲朗\affiref{Author_2}}
\jabstract{
本論文は，データベース検索対話においてデータベースフィールドに直接言及しないが，データベースへのクエリを構成する上で有益な情報をユーザ発話から取り出す課題を提案する．このような情報を本論文では非明示的条件と呼ぶ．非明示的条件を解釈し，利用することによって，対話システムはより自然で効率的な対話を行うことができる．本論文では，非明示的条件の解釈を，ユーザ発話をデータベースフィールドに関連付け，同時にその根拠となる発話の断片を抽出する課題として定式化する．この課題を解くために，本論文では，サポートベクタマシン (SVM)，回帰型畳込みニューラルネットワーク (RCNN)，注意機構を用いた系列変換による3つの手法を実装した．不動産業者と顧客との対話を収集したコーパスを用いた評価の結果，注意機構を用いた系列変換による手法の性能が優れていた．
}

\jkeywords{タスク指向対話システム，根拠抽出，サポートベクタマシン，回帰型ニューラルネットワーク，注意機構，系列変換モデル}

\etitle{Interpretation of Implicit Conditions in Database \\ Search Dialogues}
\eauthor{Shun-ya Fukunaga\affiref{Author_1} \and Hitoshi Nishikawa\affiref{Author_1} \and Takenobu Tokunaga\affiref{Author_1} \and Hikaru Yokono\affiref{Author_2} \and Tetsuro Takahashi\affiref{Author_2}} 
\eabstract{
This study focuses on database (DB) search dialogue and proposes to employ user utterance information that does not directly mention the DB field of the back-end system but is useful for constructing DB queries. We name this type of information \textit{implicit conditions}, the interpretation of which enables the dialogue system to be more natural and efficient in communication with humans. We formalise the interpretation of implicit conditions as the classification of user utterances into the related DB field while simultaneously identifying the evidence for such classification. Introducing this new task is one of the contributions of this paper. We implemented three models for this task: an SVM-based model, an RCNN-based model and a sequence-to-sequence model with an attention mechanism. In an evaluation via a corpus of simulated dialogues between a real estate agent and a customer, the sequence-to-sequence model outperformed than the other models.
}
\ekeywords{Task-oriented Dialogue System, Evidence Extraction, Support Vector Machine, Recurrent Neural Network, Attention Mechanism, Sequence-to-Sequence Model}

\headauthor{福永，西川，徳永，横野，高橋}
\headtitle{タスク指向対話におけるユーザ要求の理解とその根拠の抽出}

\affilabel{Author_1}{東京工業大学情報理工学院}{School of Computing, Tokyo Institute of Technology}
\affilabel{Author_2}{株式会社富士通研究所}{Fujitsu Laboratories Ltd.}



\begin{document}
\maketitle


\section{はじめに}
\label{sec:introduction}

対話システムがユーザ発話から抽出するべき情報は，背後にあるアプリケーションに依存する．
対話システムをデータベース検索のための自然言語インタフェースとして用いる場合，対話システムはデータベースへのクエリを作成するために，ユーザ発話中で検索条件として指定されるデータベースフィールドとその値を抽出する必要がある．
データベース検索対話において，ユーザ発話中からこのような情報を抽出する研究はこれまで多くなされてきた．
例えば，\citeA{raymond2007generative,Mesnil2015,Liu2016a}は，ATIS (The Air Travel Information System) コーパス~\cite{Hemphill:1990:ASL:116580.116613,Dahl:1994:ESA:1075812.1075823}を用いて，ユーザ発話からデータベースフィールドの値を抽出する研究を行っている．
ATISコーパスはWizard-of-Ozによって収集されたユーザと航空交通情報システムとの対話コーパスであり，各ユーザ発話中の表現には，出発地や到着日などのデータベースフィールドに対応するタグが付与されている．
ATISコーパスを用いた研究の課題はタグの付与された情報を発話から精度よく抽出することである．
これらの研究の抽出対象である出発地や到着日などの情報はユーザ発話中に明示的に出現し，直接データベースフィールドに対応するため，データベース検索のための明示的な条件となる．

一方，実際の対話には，データベースフィールドには直接対応しないものの，クエリを作成するために有用な情報を含む発話が出現し，対話システムがそのような情報を利用することで，より自然で効率的なデータベース検索を行うことが可能になる．
例として，不動産業者と不動産を探す客の対話を考える．
不動産業者は対話を通じて客が求める不動産の要件を確認し，手元の不動産データベースから客の要件を満たす不動産を絞り込む．
このとき，客の家族構成は，物件の広さを絞り込む上で有用な情報であろう．
しかし，家族構成は物件の属性ではなく客の属性であるため，通常，不動産データベースには含まれない．
客の家族構成のように，データベースフィールドには直接対応しないが，データベース検索を行う上で有用な情報を{\bf 非明示的条件}と呼ぶ\cite{Fukunaga2018}．
我々は，非明示的条件を「データベースフィールドに明示的に言及しておらず，『xならば一般的にyである』という常識や経験的な知識によってデータベースフィールドと値の組（検索条件）へ変換することができる言語表現」と定義する．例えば，「一人暮らしをします」という言語表現は，物件の属性について明示的に言及していない．しかし，『一人暮らしならば一般的に物件の間取りは1LDK以下である』という常識により，〈間取り$\leq$1LDK〉という検索条件に変換できるため，これは非明示的条件となる．一方，「賃料は9万円を希望します」や「築年数は20年未満が良いです」のような言語表現は，データベースフィールドに明示的に言及しているため，非明示的条件ではない．また，「渋谷で探しています」のようにデータベースフィールドが省略されている場合でも，省略の補完によって【エリア】というデータベースフィールドに明示的に言及する表現に言い換えることが可能である場合は非明示的条件とはみなさない．\citeA{Taylor1968}による情報要求の分類に照らすと，明示的な検索条件は，ユーザ要求をデータベースフィールドとその値という形式に具体化しているため，調整済みの要求(compromised need)に対応する．一方，非明示的条件は，ユーザ自身の問題を言語化しているが検索条件の形式に具体化できていないため，形式化された要求(formalised need)に対応する．

非明示的条件を利用する対話システムを実現するためには，以下の2つの課題が考えられる．

\begin{itemize}
\item[(1)]非明示的条件を含むユーザ発話を，データベースフィールドとその値の組（検索条件）へ変換する．
\item[(2)]ユーザ発話中から，(1)で行った検索条件への変換の根拠となる部分を抽出する．
\end{itemize}

課題(1)は，非明示的条件を含む発話からデータベースへのクエリを作成するために必要な処理である．
図\ref{fig:dial_ex}に示す対話では，客の発話に含まれる「一人暮らし」という文言から，〈間取り$\leq$1LDK〉という検索条件へ変換できる．本論文では，課題(1)を，発話が関連するデータベースフィールドを特定し，そのフィールドの値を抽出するという2段階に分けて考え，第一段階のデータベースフィールドの特定に取り組む．1つのユーザ発話が複数のデータベースフィールドに関連することもあるので，我々はこれを発話のマルチラベル分類問題として定式化する．発話からフィールドの値を抽出する第二段階の処理は，具体的なデータベースの構造や内容が前提となるため，この論文では扱わず，今後の課題とする．

\begin{figure}[b]
\begin{center}
\includegraphics{26-1ia5f1.eps}
\end{center}
\caption{対話と非明示的条件から検索条件への変換の例}
\label{fig:dial_ex}
\end{figure}

課題(2)によって抽出された根拠はデータベースへのクエリに必須ではないが，システムがユーザへの確認発話を生成する際に役立つ．
非明示的条件を検索条件へ変換する際に用いるのは常識や経験的な知識であり例外も存在するため，変換結果が常に正しいとは限らない．例えば，不動産検索対話において一人暮らしを考えている客が2LDKの物件を希望することもありうる．
したがって，システムの解釈が正しいかどうかをユーザに確認する場合がある．
この際，システムが行った解釈の根拠を提示することで，より自然な確認発話を生成することができる．
図~\ref{fig:dial_ex}のやり取りにおいて，「一人暮らしをしたいのですが．」というユーザ発話をシステムが〈間取り$\leq$1LDK〉という検索条件へ変換したとする．
このとき，単に「間取りは1LDK以下でよろしいですか？」と確認するよりも，「一人暮らしということですので，間取りは1LDK以下でよろしいですか？」とシステムが判断した理由を追加することでより自然な対話となる．
また，対話として自然なだけではなく，ユーザがシステムの判断に納得するためにも根拠を提示することは重要である\cite{XAI-Gunning,XAI-Monroe}．
このような確認発話を生成する際に，ユーザ発話中の「一人暮らし」という表現を〈間取り$\leq$1LDK〉の根拠として抽出することは有用である．

また，非明示的条件を含むユーザ発話が与えられたとき，その非明示的条件に関連するデータベースフィールドについての質問を生成するためにも抽出した根拠を利用できる．例えば，図~\ref{fig:dial_ex}中のユーザ発話を【間取り】というデータベースフィールドへ分類し，その根拠として「一人暮らし」を抽出した場合，「一人暮らしということですが，間取りはいかがなさいますか？」という質問を生成できる．非明示的条件に対応できない対話システムでは，このようなユーザ発話に対して，ユーザ発話を理解できなかったという返答を行うか，まだ埋まっていない検索条件について質問を行うことしかできない．

また，根拠を抽出し，蓄積することにより，対話中でどのような非明示的条件が出現しやすいかということを，システムの開発者が知ることができる．仮に，「一人暮らし」や「家族4人」のような客の家族構成の情報が頻繁に出現することがわかれば，システムの開発者は，家族構成に関係する情報をデータベースに新規に追加するという改良を施すことができる．

本論文では，データベースフィールドへのマルチラベル分類と同時に，根拠抽出を行う．非明示的条件から検索条件への変換の根拠を各発話に対してアノテーションすることはコストが高いため，教師なし学習によって根拠抽出を行う．

本論文の貢献は，データベース検索を行うタスク指向対話において，非明示的条件を含むユーザ発話をデータベースフィールドと値の組（検索条件）へ変換し，同時にその根拠をユーザ発話中から抽出する課題を提案することである．本稿では，この課題の一部であるデータベースフィールドへの分類と根拠抽出を行うために，(1) サポートベクタマシン (SVM)，(2) 回帰型畳込みニューラルネットワーク (RCNN)，(3) 注意機構を用いた系列変換による3種類の手法を実装し，その結果を報告する．

本論文の構成は以下の通りである．
2節では関連研究について述べ，本論文の位置付けを明らかにする．
3節では本論文で利用するデータと問題設定について詳述する．
4節ではデータベースフィールドへの分類とその根拠抽出手法について述べる．
5節では評価実験の結果について述べ，6節で本論文をまとめる．


\section{関連研究}

伝統的なタスク指向対話システムは自然言語理解，対話状態推定，方策学習，自然言語生成の4つのモジュールのパイプラインによって構成される\cite{Chen:2017:SDS:3166054.3166058}．
自然言語理解はさらに，ユーザ意図推定とスロットフィリングの2つの処理に分けることができる．
ユーザ意図推定はユーザ発話を意図のカテゴリに分類する処理である．
一方，スロットフィリングはユーザ発話の意味的な内容をスロットと値の組として出力する処理であり，例えば「ニューヨークからシカゴまで行きます」というユーザ発話に対し，〈出発地=ニューヨーク〉，〈目的地=シカゴ〉を出力する．
この一般的な枠組みから言えば，我々の取り組む課題はスロットフィリングに相当する．

自然言語理解におけるスロットフィリングは，発話中の各単語に対して，意味的なスロットのIOBタグ\cite{ramshaw1995text}を付与する系列ラベリング問題として定式化されることが多い．
近年では，多くの文献で，この問題を解くための手法として回帰型ニューラルネットワーク (RNN) \cite{Mesnil2013,Yao2013,Mesnil2015,Vu2016,Jaech2016,Liu2016a,Liu2016b,Bapna2017}やLong Short-Term Memory (LSTM) \cite{Yao2014,Hakkani-t2016}が用いられている．
しかし，これらの文献で捉えようとしているのは発話中で明示的に言及された意味的なスロットのみであり，我々が対象としている非明示的条件はスロットフィリングの対象としていない．

また，対話状態推定のシェアドタスクとしてDialog State Tracking Challenge 5 (DSTC5) \cite{Kim2016_5th}がある．DSTC5は，対話中の各時点での対話状態を推定する課題であり，1つの発話のみではなく，文脈を用いてスロットフィリングを行う必要がある．そのため，各時点の発話中に明示的に現れていない値をスロットに埋めることが必要となる．例えば，\citeA{Hori2016}は，指示形容詞や指示代名詞によって参照される，発話中には明示的に現れない値を抽出することを目指している．しかし，本研究で対象とする非明示的条件は，\ref{sec:introduction}~節で述べたように推論を必要とする表現であり，DSTC5ではそのような表現からのスロットフィリングを対象としていない．

タスク指向対話システムにおいて，非明示的条件からのスロットフィリングを対象とした研究はほとんど存在しない．
\citeA{Celikyilmaz2012}は，映画検索を行うタスク指向対話システムにおいて，ユーザ発話から，ユーザの求めている映画のジャンルを推定する課題に取り組んでいる．
彼らの目的は，ジャンルについて明示的に言及していないユーザ発話からもジャンルの推定を行うことである．
例えば，彼らは``I wanna watch a movie that will make me laugh.''というユーザ発話から，ユーザが求める映画のジャンルが{\it comedy}であるということを推定する．
彼らの研究の動機は我々とほとんど同じであるが，彼らはジャンルの推定結果だけを出力し，そのユーザ発話からそのジャンルが推定できる理由を提示していない点で，我々の目的とは異なる．
また，彼らは映画のジャンルという1つの属性についてのみ推定を行っているが，我々は複数のデータベースフィールドに対する推定を行う．

近年では，パイプライン処理による伝統的なタスク指向対話システムとは異なり，ひとつひとつのモジュールを明示的に作成せず，ユーザ発話から直接システム発話を生成するEnd-to-Endのタスク指向対話システムも提案されている．
\citeA{Eric2017}は，知識ベースを検索するユーザ発話に対して，その検索結果を提示することが可能なEnd-to-Endの対話システムを提案している．
しかし，このシステムは，与えられたユーザ発話に対して，その検索結果が得られた理由については説明しない．
我々の課題では，非明示的条件が与えられた際，データベースへのクエリを作成するために変換が必要となるが，システムが必ず正しい変換を行う保証は無い．近年，「説明のできるAI」の重要性が指摘されているように\cite{XAI-Gunning,XAI-Monroe}，自然で効率的な対話を実現するためには，システムによる変換理由の説明やユーザへの確認を行う発話を用意することが必要である．
しかし，現在のEnd-to-Endの枠組みでは，これを実現することは難しい．


\section{データと問題設定}
\label{sec:data-tasksetting}

本論文では，対話コーパスとして不動産検索対話コーパス~\cite{Yokono2017}を用いる．
このコーパスは物件を探す客と不動産業者を演じる2名の作業者間で行われる日本語テキストチャット対話を収集したものである．
対話の目的は客の物件に対する希望を不動産業者が聞き出すことである．
不動産業者は実際にデータベースの検索を行うことはしないが，検索に必要な情報が十分得られたと判断した場合に対話を終了する．
それぞれの対話において，客は10種類のプロファイルのうち1つが割り当てられ，そのプロファイルに合致する条件の物件を希望するよう指示されている．
客のプロファイルは不動産業者には開示されない．
実際のプロファイルの例として以下のようなものがある．「30代共働き夫婦、保育園児の子ども1人。新婚時代から通勤利便性重視で都心寄りの1LDKマンションに住んでいたが、2人目を考えるにあたって、少し郊外でも治安の良い地域で広めの家に引っ越したい。」

コーパス中の対話数は986対話，総発話数は29,058発話であり，そのうち不動産業者の発話が14,571発話，客の発話が14,487発話である．
また，1対話あたりの平均発話数は29.5発話である．

我々は，このコーパス中の各発話に対し，表\ref{tab:field-tags}に示すデータベースフィールドタグをアノテーションした~\cite{Fukunaga2018}\footnote{以下，データベースフィールドタグは【】で囲んで表記する．}．
これらのデータベースフィールドタグは，日本の不動産情報サイトSUUMO\footnote{http://suumo.jp}で不動産検索を行う際に指定可能な検索条件をもとに設計した．
また，どのデータベースフィールドにも該当しない発話に付与する【その他】タグを定義した．
これらのタグを，2名のアノテータによって986対話全てにアノテーションし，そのうち50対話については，アノテーションの一致率を調べるために両者によるアノテーションを行った．
アノテータには，対象の発話とそれ以前の文脈を見て，その発話で言及されているデータベースフィールドをタグ付けするよう指示した．
また，どのデータベースフィールドにも該当しない発話に非明示的条件が含まれることを期待し，【その他】タグを付与する際には，その意味内容を自由記述するよう指示した．
両者がアノテーションした50対話におけるアノテータ間のCohen's $\kappa$\cite{cohen1960coefficient}は0.79であり，アノテーションは十分に一致している．
ここで，【その他】タグの意味内容は自由記述でありアノテータによって表記が異なるため，意味内容の記述の一致は考慮していない．

\begin{table}[t]
\caption{データベースフィールドタグ}
\label{tab:field-tags}
\input{05table01.tex}
\end{table}

表~\ref{tab:annotation_example}に実際の対話とアノテーション例を示す．
表中の「店」が不動産業者の発話，「客」が客の発話を表す．
タグが`` --- ''となっている発話は，対話を開始したり，客に発話を促すような，対話管理レベルの発話であるため，アノテーションの対象外とした．
【その他】タグが付与された発話については，自由記述された意味内容を括弧内に示している．

\begin{table}[t]
\caption{対話とアノテーション例}
\label{tab:annotation_example}
\input{05table02.tex}
\end{table}

本論文では，【その他】が付与された客の発話に非明示的条件が含まれると仮定し，それらを38種類のデータベースフィールドタグに分類することと，その分類の根拠となる発話の断片を抽出することを課題とする．
客の発話は，その直前の不動産業者側の発話と合わせて，ひとつのテキストとして扱う\footnote{客の発話の直前の発話が客の発話であった場合にも，それらをひとつの塊とする．}．
本論文では，これを発話チャンクと呼ぶ．
客の発話とその直前の不動産業者側の発話をひとつのテキストとして扱うのは，客が直前の不動産業者の問いに対する単なる肯定／否定の発話をすることがあるためである．
例えば，表~\ref{tab:annotation_example}中の6発話目は「はい、そうです。」という客による単なる肯定の発話であり，この発話単体では実質的な情報は得られない．
しかし，直前の不動産業者の「現在はご夫婦とお子様お一人ということですね？」という問いと組み合わせることによって家族構成の情報が得られ，【間取りタイプ】のようなデータベースフィールドへの分類が可能になる．
対話コーパス中から，非明示的条件を含む（【その他】タグが付与された客の発話を含む）発話チャンクは全部で2,642個収集できた．

1つの非明示的条件から複数のデータベースフィールドへ変換される場合もあるため，データベースフィールドへの分類問題は，通常のマルチラベル分類問題として定式化できる．
すなわち，入力の発話チャンク$\bm{x}$に対し，データベースフィールドタグの部分集合$Y \subseteq \{【沿線】,【駅徒歩】,\cdots\}$を出力することが本研究の課題である．
また，分類根拠の抽出は，入力の発話チャンク$\bm{x}$に対する分類結果中のそれぞれのデータベースフィールドタグ$y \in Y$について，その根拠となる断片の集合$E_y \subseteq \mathrm{Substr}(\bm{x})$を出力する問題として定式化する．
ここで，$\mathrm{Substr}(\bm{x})$は発話チャンク$\bm{x}$中に含まれるすべての部分文字列の集合を表す．


\section{データベースフィールドへの分類および根拠抽出手法}
\label{sec:methods}

本論文では，サポートベクタマシン (SVM) ，回帰型畳み込みニューラルネットワーク (RCNN)，注意機構を用いた系列変換による3つの手法を実装する．

\subsection{SVMによる手法}

それぞれのデータベースフィールドタグについて，入力の発話チャンクをそのデータベースフィールドへ変換できるか否かを分類する二値分類器を線形SVMによって作成する．
すなわち，全部で38個の二値分類器を作成する．
入力の発話チャンクが与えられたとき，システムの最終的な出力は分類器が正と判断したデータベースフィールドの集合となる．
SVMの素性として，発話チャンクのbag-of-wordsを用いる．
素性に使用する単語はコーパス中で2回以上出現する名詞，動詞，形容詞，副詞の原形である．
発話チャンクの形態素解析には，MeCab\footnote{http://taku910.github.io/mecab/}を使用する．
また，数と固有名詞については，抽象化のためにそれぞれ\textsc{NUM}と\textsc{PROP}という記号に置き換える．

分類の根拠抽出には，各データベースフィールドタグの分類器で学習された素性の重みを用いる．
入力の発話チャンク中で，あらかじめ決めた閾値以上の重みを持つ単語を全て抽出し，それらを分類の根拠とする．
素性の重みは，{式~(\ref{eq:weight-normalisatoin})}によって0から1に正規化する．ここで，$w$は正規化前の重み，$w_{\min}$と$w_{\max}$はそれぞれ，学習データに含まれる単語の重みの最小値と最大値である．
\begin{equation}
\hat{w} = \frac{w - w_{\min}}{w_{\max} - w_{\min}}
\label{eq:weight-normalisatoin}
\end{equation}


\subsection{RCNNによる手法}

我々は，\citeA{Lei2016}が提案した手法を拡張し，我々の課題に利用する．
Leiらの手法は，商品レビューのテキストが入力として与えられたとき，それぞれの評価項目についてのユーザ評価を回帰によって推定し，その結果の根拠となる部分を入力テキストから抽出するものである．
彼らのシステムは，回帰問題を解くニューラルネットワーク（エンコーダ）と根拠の抽出を行うニューラルネットワーク（ジェネレータ）の2つの要素からなる．
エンコーダの学習はレビューテキストに対する真のユーザ評価を用いた教師あり学習によって行われる．
一方，ジェネレータの学習は教師なし学習で行われる．
彼らは，より短く，より連続した単語列が根拠として好ましいと仮定し，ジェネレータがそのような根拠抽出を行うよう損失関数を設計している．
また，エンコーダは，ジェネレータが正しく根拠を抽出していると仮定し，ジェネレータによって抽出された単語のみをユーザ評価の推定に用いる．
彼らは，教師あり学習でエンコーダの性能を向上させることで，間接的にジェネレータの性能を向上させることを狙っている．

我々の課題は，入力の発話チャンクからデータベースフィールドへのマルチラベル分類である．
RCNNによる手法も，SVMによる手法と同様に，マルチラベル分類を各データベースフィールドへの二値分類として扱う．
それぞれの二値分類とその根拠抽出を行うためにLeiらの手法を利用する．
本論文で用いる，1つのデータベースフィールドに対するエンコーダとジェネレータのネットワークをそれぞれ図\ref{fig:encoder}，図\ref{fig:generator}に示す．

\begin{figure}[b]
\begin{center}
\includegraphics{26-1ia5f2.eps}
\end{center}
\caption{エンコーダ}
\label{fig:encoder}
\end{figure}

\begin{figure}[t]
\begin{center}
\includegraphics{26-1ia5f3.eps}
\end{center}
\caption{ジェネレータ}
\label{fig:generator}
\end{figure}

$\bm{x}_t$を入力発話チャンクの$t$番目の単語の埋め込みベクトルとすると，エンコーダは，入力発話チャンクに対するそのデータベースフィールドへの二値分類の推定結果$\tilde{y} \in [0, 1]$を，
\begin{align}
\bm{h}_t &=
\begin{dcases}
f_e(\bm{x}_t, \bm{h}_{t-1}) & (\tilde{z}_t = 1) \label{eq:encoder_hidden}\\
\bm{h}_{t-1} & (\tilde{z}_t = 0)
\end{dcases} \\
\tilde{y} &= \sigma_e(W^e\bm{h}_m + \bm{b}^e)
\end{align}
によって計算する．
ここで，$\bm{h}_t$は$t$番目の単語までの隠れ状態ベクトルを表し，$\tilde{z}_t \in \{0, 1\}$は後述するジェネレータによって$t$番目の単語が根拠として抽出されるかどうかを表す．
$f_e$は各時点の入力と直前の隠れ状態ベクトルを受け取り，次の隠れ状態ベクトルを計算する関数であり，詳細は後述する．
式(\ref{eq:encoder_hidden})では，$\tilde{z}_t = 1$である場合にのみ隠れ状態ベクトルを更新する．
これは根拠として選択された単語のみを二値分類に使用することを意味する．
最終的な出力は，最後の隠れ状態ベクトル$\bm{h}_m$をさらに，重み行列が$W^e$，バイアスが$\bm{b}^e$，活性化関数がシグモイド関数$\sigma_e$である順伝播型ニューラルネットワーク (FFNN) に入力した結果である．
Leiらの手法では回帰問題を解くために損失関数として二乗損失を用いているが，我々は二値分類を解くため，代わりに以下の交差エントロピーをエンコーダの損失関数$\mathcal{L}(\tilde{y}, y)$として使用する．
\begin{equation}
\mathcal{L}(\tilde{y}, y) = -(y \log(\tilde{y}) + (1-y) \log(1-\tilde{y}))
\end{equation}
ここで$y \in \{0, 1\}$は二値分類の正解である．

ジェネレータは以下の式によって，$t$番目の単語を根拠として抽出するかどうかを表す$\tilde{z}_t \in \{0, 1\}$を計算する．
{\allowdisplaybreaks
\begin{align}
\overrightarrow{\bm{h}}_t &= \overrightarrow{f}(\bm{x}_t, \overrightarrow{\bm{h}}_{t-1}) \\
\overleftarrow{\bm{h}}_t &= \overleftarrow{f}(\bm{x}_t, \overleftarrow{\bm{h}}_{t+1}) \\
p(\tilde{z}_t|\bm{x}_{1, {t-1}}, \tilde{z}_{1,t-1}) &= \sigma_z(W^z[\overrightarrow{\bm{h}}_t;\overleftarrow{\bm{h}}_t;\bm{s}_{t-1}] + \bm{b}^z) \\
\tilde{z}_t &\sim p(\tilde{z}_t|\bm{x}_{1, {t-1}}, \tilde{z}_{1,t-1}) \label{eq:sampling}\\
\bm{s}_t &= f_z([\overrightarrow{\bm{h}}_t;\overleftarrow{\bm{h}}_t;\tilde{z}_t], \bm{s}_{t-1})
\end{align}
}
ここで，$\overrightarrow{\bm{h}}_t, \overleftarrow{\bm{h}}_t$はそれぞれ単語列を右向き，左向きに入力したときの隠れ状態ベクトルを表し，$\overrightarrow{f}, \overleftarrow{f}$はそれぞれの隠れ状態ベクトルを更新する関数である．
また，隠れ状態ベクトル$\bm{s}_t$は，$t$単語目までに，どのような単語を根拠として抽出したかを保存するためのベクトルである．
これらの3つの隠れ状態ベクトルを連結して，重み行列が$W^z$，バイアスが$\bm{b}^z$，活性化関数がシグモイド関数$\sigma_z$であるFFNNに入力し，$\tilde{z}_t$の確率分布$p(\tilde{z}_t|\bm{x}_{1, {t-1}}, \tilde{z}_{1,t-1})$を推定する．
$\bm{x}_{1, {t-1}}$は1単語目から$t$単語目までの埋め込みベクトルの列を表し，$\tilde{z}_{1,t-1}$は1単語目から$t-1$単語目までの根拠抽出の推定結果を表す．
式(\ref{eq:sampling})は，推定した確率分布$p(\tilde{z}_t|\bm{x}_{1, {t-1}}, \tilde{z}_{1,t-1})$からサンプリングを行い，$\tilde{z}_t$の値を決定する操作を表す．
$\tilde{z}_t$は前述の通りエンコーダに入力する．
また，$\tilde{z}_t$を$\overrightarrow{\bm{h}}_t, \overleftarrow{\bm{h}}_t$と連結し，関数$f_z$によって隠れ状態ベクトル$\bm{s}_t$を更新する．
ジェネレータには，根拠抽出の正解を与えないが，代わりに根拠として望ましい性質を満たすよう損失関数を設計する．
Leiらの手法と同様に，短く，連続した単語列が根拠として望ましいという仮定に基づき，式(\ref{eq:gen-loss})のように損失関数を定義する．
\begin{equation}
\Omega(\tilde{z}_{1,m}) = \lambda_1 \sum_{t=1}^{m}\tilde{z}_t + \lambda_2\sum_{t=1}^m|\tilde{z}_t - \tilde{z}_{t-1}|.
\label{eq:gen-loss}
\end{equation}
ここで，$\tilde{z}_0 = 0$とする．式(\ref{eq:gen-loss})の第1項は根拠が短くなることを，第2項は根拠が連続することを，それぞれ促す罰則項である．
これら2つの罰則項のバランスを調整するために2つのハイパーパラメータ$\lambda_1$と$\lambda_2$がある．
エンコーダとジェネレータを合わせた全体の損失関数を，
\begin{equation}
\mathrm{cost}(\tilde{z}_{1,m}, \bm{x}_{1, {m}}, y) = \mathcal{L}(\tilde{y}, y) + \Omega(\tilde{z}_{1,m})
\label{eq:cost}
\end{equation}
とする．

エンコーダとジェネレータにおいて，隠れ状態ベクトルの更新に用いる関数$f_e, \overrightarrow{f}, \overleftarrow{f}, f_z$はすべて，以下のように，入力ベクトル列のbi-gramまでの畳み込みを用いて次の時刻の状態を計算する．
\begin{align}
\lambda_t &= \sigma(W^\lambda\bm{x}_t + U^\lambda\bm{h}_{t-1} + \bm{b}^\lambda) \\
\bm{c}_t^{(1)} &= \lambda_t\bm{c}_{t-1}^{(1)} + (1-\lambda_t)(W_1\bm{x}_t) \\
\bm{c}_t^{(2)} &= \lambda_t\bm{c}_{t-1}^{(2)} + (1-\lambda_t)(\lambda_t\bm{c}_{t-1}^{(1)} + W_2\bm{x}_t) \\
\bm{h}_t &= \tanh(\bm{c}_t^{(2)} + \bm{b})
\end{align}
$\bm{x}_t$は時刻$t$の入力ベクトル，$\bm{h}_{t-1}$は時刻$t-1$の隠れ状態ベクトルである．
$\lambda_t$は忘却係数であり，$\bm{x}_t$と$\bm{h}_{t-1}$によって計算する．
$\bm{c}_t^{(n)}$は$n$-gramまでの畳み込みベクトルであり，ここではbi-gramまでを使用し，次の時刻の状態$\bm{h}_{t}$を計算する．


\subsection{注意機構を用いた系列変換による手法}

対話データからスロットフィリングを行う手法として\citeA{Hori2016}が提案する注意機構を用いた系列変換による手法を我々の課題に適用する．この手法は，Dialog State Tracking Challenge 5 \cite{Kim2016_5th}のために提案された手法であり，入力として対話中の単語列を受け取ってスロットと値の組の系列を出力する．我々の課題では，出力をデータベースフィールドタグの系列とする．この手法では，SVMやRCNNによる手法とは異なり，1つのネットワークによりマルチラベル分類を行う．

系列変換のネットワークは，エンコーダとデコーダの2つの部分からなる．$\bm{x}_t (1\leq t \leq m)$を入力発話チャンクの$t$番目の単語の埋め込みベクトルとすると，エンコーダでは以下の双方向LSTMを用いて，各単語に対応する隠れ状態ベクトル$\bm{h}_t$を計算する．
\begin{align}
\bm{h}_t &= [\bm{h}^{(f)}_t; \bm{h}^{(b)}_t], \\
\bm{h}^{(f)}_t &= LSTM(\bm{x}_t, \bm{h}^{(f)}_{t-1}), \\
\bm{h}^{(b)}_t &= LSTM(\bm{x}_t, \bm{h}^{(f)}_{t+1}).
\end{align}
また，デコーダでは，注意機構によって重み付けした各単語の隠れ状態ベクトルを用いて，データベースフィールドタグの系列を出力する．$i$番目の出力における$t$番目の単語の隠れ状態ベクトルに対する重み$\alpha_{i, t}$を，
\begin{align}
\alpha_{i, t} &= \frac{\exp(e_{i, t})}{\sum_{t=1}^m\exp(e_{i, t})}, \\
e_{i, t} &= \bm{w}^T \tanh(W\bm{s}_{i-1} + V\bm{h}_{t} + \bm{b}).
\end{align}
によって計算する．ここで，$\bm{w}, \bm{b}$はベクトルであり，$W,V$は行列である．デコーダでは$\alpha_{i, t}$によって重み付けしたエンコーダの隠れ状態ベクトルの和$\bm{g}_i = \sum_{t=1}^m \alpha_{i, t}\bm{h}_t$をLSTMに入力し，各データベースフィールドの確率を表すベクトル$\bm{p}_i$を出力する．
\begin{align}
\bm{s}_{i} &= LSTM(\bm{s}_{i-1}, \bm{y}_i, \bm{g}_i), \\
\bm{p}_i &= \mathrm{softmax}(W_{SO}\bm{s}_{i-1} + W_{GO}\bm{g}_i + \bm{b}_{SO}).
\end{align}
ここで，$\bm{y}_i$は，$i$番目の出力を表すベクトルであり，学習時には正解のベクトルを与え，テスト時には以下のように$\bm{p}_i$から最も確率の高いデータベースフィールドを推定したベクトル$\tilde{\bm{y}}_i$を与える．
\begin{equation}
(\tilde{\bm{y}}_i)_j = \begin{dcases}
1 & (j = \argmax_{k}(\bm{p}_i)_k) \\
0 & (otherwise)
\end{dcases}
\end{equation}
$\bm{y}_i$は出力するデータベースフィールドに対応する要素のみが1で，残りが0であるようなベクトルである．本来，各発話チャンクに付与されるデータベースフィールドタグは系列では無いが，本手法で学習データとして与える際には，対応する添字の小さい順に正解のベクトルを作成し系列として与える．学習時の損失関数には交差エントロピー損失を用いる．

\citeA{Hori2016}の手法では根拠抽出を行っていないが，我々は注意機構により計算される重み$\alpha_{i,t}$が閾値よりも大きい単語を，$i$番目に出力されるデータベースフィールドの根拠として抽出する．閾値には，定数か，各発話チャンクに含まれる単語数の逆数を用いる．単語数の逆数を閾値に用いる理由は，発話チャンク中の単語数の違いを考慮するためである．注意機構による重みは各発話チャンクの単語全体で1となるため，仮に全単語に均等な重みを割り当てた場合，単語数が多いほど各単語に割り当てられる重みは小さくなる．したがって，定数の閾値を用いた場合，発話チャンク中の単語数によって閾値の価値が変わってしまう．このため，単語数の逆数を閾値とする場合の実験も行う．


\section{評価実験}

\subsection{データ}
\label{sec:experiments-data}

我々は，コーパス中の986対話を，客のプロファイルの分布を保ちながら10分割し，そのうち9つを学習データ，残り1つをテストデータとして用いた．そして，\ref{sec:data-tasksetting}節で説明したように非明示的条件を含む発話チャンクを抽出した．その際，発話チャンク内のユーザ発話が，挨拶や対話の開始，終了のような対話管理レベルの発話であるような発話チャンクは除いた．学習データは2,379個，テストデータは263個の発話チャンクからなる．

それぞれの発話チャンク内のユーザ発話には，\ref{sec:data-tasksetting}節で説明したように，【その他】タグとその意味内容の記述が付与されている．我々は，意味内容の記述をデータベースフィールドタグに写像することで，分類の正解を発話チャンクに付与した．例えば，「一人暮らしをしたいのですが」という発話に付与された「住む人数」という意味内容の記述は，【間取りタイプ】と【専有面積】の2つのタグに写像される．また，分類の正解として付与されたそれぞれのデータベースフィールドに対して，発話チャンク中の各単語がそのフィールドへの分類の根拠に含まれるか否かを付与し，これを根拠抽出の正解とした．これらのアノテーションは著者のうち1人が行った．


\subsection{実験設定}
\label{sec:settings}

データ数の制約から，本論文では【周辺環境】，【間取りタイプ】，【専有面積】，【一部屋の広さ】，【エリア】の5つのデータベースフィールドタグについてのみ評価を行う．これらは，最も多くの発話チャンクに付与された5つのタグである．学習データ中でそれぞれのタグが付与された発話チャンク数は，【周辺環境】について1,033，【間取りタイプ】について974，【専有面積】について964，【一部屋の広さ】について927，【エリア】について778である．学習データにおける38種類のデータベースフィールドタグの分布を図~\ref{fig:tag_distribution}に示す．

\begin{figure}[b]
\begin{center}
\includegraphics{26-1ia5f4.eps}
\end{center}
\caption{学習データにおける各データベースフィールドタグの分布}
\label{fig:tag_distribution}
\end{figure}

SVMによる手法には，単語を根拠として抽出するかを決定するための，素性の重みの閾値がハイパーパラメータとして存在する．
このハイパーパラメータを決定するために，学習データ中から【周辺環境】が付与された発話チャンクをランダムに200個抽出し，開発データとした．そして，残りの学習データでSVMによる手法の学習を行い，開発データによって評価を行った．その結果，閾値を0.58とした場合に開発データにおいて最も良い性能を示したため，このハイパーパラメータを5つのタグについての評価実験で使用した．
1つの発話チャンクに対する素性ベクトルの次元数は1,730である．また，不均衡データに対応するためにSVMの正例（負例）に対する正則化パラメータ$C$を$全事例数/(2 \times 正例（負例）の数)$とすることにより重み付けを行った．

RCNNによる手法には，抽出する根拠の単語長と根拠の連続性のバランスを調整する2つのハイパーラパメータ$\lambda_1$，$\lambda_2$がある．SVMによる手法で使用したものと同じ開発データを用い，同様の方法で最適なパラメータを求めた結果，$\lambda_1=0.021$，$\lambda_2=0.003$であった．
また，学習時の初期パラメータを，ランダムな値とする場合と，開発データで学習したネットワークのパラメータとする場合の 2 種類の設定で実験を行う．開発データで学習したパラメータを初期値として用いる理由は，【周辺環境】についての学習を通して，他のデータベースフィールドタグに共通の表現を学習していることを期待するためである．
単語埋め込みベクトルとして，学習済みの日本語Wikipediaエンティティベクトル\footnote{http://www.cl.ecei.tohoku.ac.jp/{\textasciitilde}m-suzuki/jawiki\_vector/}を用いた．各単語ベクトルの次元数は200である．
エンコーダおよびジェネレータの隠れ状態ベクトルは$\bm{s}_t$を除き200次元とし，$\bm{s}_t$は30次元とした．これらの設定は，\citeA{Lei2016}と同一である．その他の学習の設定は表~\ref{tab:settings}の通りである．ドロップアウトは，\citeA{Lei2016}による実装と同様に$\bm{s}_t$以外の全ての結合に適用した．ネットワークの総パラメータ数は694,319である．

注意機構を用いた系列変換による手法においても，各単語を根拠として抽出するかどうかを決定するための，注意機構の重みの閾値がハイパーパラメータとして存在する．RCNNによる手法，SVMによる手法と同様の開発データを用い，同様の方法で最適な閾値を求めた結果，その値は0.0525であった．\citeA{Hori2016}の手法では入力の単語埋め込みの学習も行っているが，ここでは，分類・根拠抽出部分の比較を行うために，RCNNによる手法と同様の学習済みの単語埋め込みベクトルを用いる．
エンコーダおよびデコーダの隠れ状態ベクトルは\citeA{Hori2016}に倣い50次元とした．その他の学習の設定は表~\ref{tab:settings}の通りである．ドロップアウトは全ての結合に適用した．ネットワークの総パラメータ数は151,889である．

\begin{table}[t]
\caption{ニューラルネットワーク手法の学習設定}
\label{tab:settings}
\input{05table03.tex}
\end{table}


\subsection{評価尺度}

各データベースフィールドの二値分類の評価尺度として精度，再現率，F値を使用する．
根拠抽出の評価は，分類に正解した事例のみに対して行い，評価尺度としてBLEU~\cite{BLEU}とROUGE~\cite{ROUGE}を用いる．
また，これらの尺度の類推として，$N$-gramまでのF値の幾何平均も評価に用いる．
$N$-gramまでのBLEU，ROUGE，F値の幾何平均を，それぞれBLEU-$N$，ROUGE-$N$，F-$N$とすると，これらは次のように計算できる．
まず，$\tilde{\bm{z}}=(\tilde{z}_1, \tilde{z}_2,\cdots, \tilde{z}_m)$と$\bm{z}=(z_1, z_2, \cdots, z_m)$を，それぞれ推定された根拠と正解の根拠を表す二値ベクトルとする．
ここで，$\tilde{z}_j, z_j \in \{0, 1\}\ (1\leq j \leq m)$であり，これらのベクトルの要素が1となることは，対応する位置の単語が根拠として選択されることを意味する．
推定された根拠と正解の根拠に含まれる$n$-gramの集合をそれぞれ$\tilde{G}_n$，$G_n$とし，式~(\ref{eq:Gn'})，(\ref{eq:Gn})によって定義する．
\begin{align}
\tilde{G}_n & = \left\{ \{j\}_{j=t}^{t+n-1} \middle| 1 \leq t \leq m-n+1 \land \left(\prod_{j=t}^{t+n-1}\tilde{z}_j\right) =1\right\}, \label{eq:Gn'}\\
G_n & = \left\{ \{j\}_{j=t}^{t+n-1} \middle| 1 \leq t \leq m-n+1 \land \left(\prod_{j=t}^{t+n-1}z_j\right) =1\right\} \label{eq:Gn}.
\end{align}
ここで$\{j\}_{j=t}^{t+n-1}$は$t$から$t+n-1$までのインデックスの系列を表す．
これらの集合を用いて，BLEU-$N$，ROUGE-$N$，F-$N$をそれぞれ式(\ref{eq:BLEU})，(\ref{eq:ROUGE})，(\ref{eq:F})によって計算する．
\begin{align}
\mathrm{BLEU\mathchar`-}N &= \left( \prod_{n=1}^N P_n \right)^{1/N}, \ P_n = \begin{dcases}
1 & (|\tilde{G}_n| = 0) \\
\frac{|\tilde{G}_n \cap G_n|}{|\tilde{G}_n|} & (\mathrm{otherwise}) 
\end{dcases} \label{eq:BLEU}, \\
\mathrm{ROUGE\mathchar`-}N &= \left( \prod_{n=1}^N R_n \right)^{1/N}, \ R_n = \begin{dcases}
1 & (|G_n| = 0) \\
\frac{|\tilde{G}_n \cap G_n|}{|G_n|} & (\mathrm{otherwise})
\end{dcases} \label{eq:ROUGE}, \\
\mathrm{F\mathchar`-}N &= \left( \prod_{n=1}^N F_n \right)^{1/N}, \ F_n = \begin{dcases}
0 & (P_n + R_n = 0) \\
\frac{2P_nR_n}{P_n + R_n} & (\mathrm{otherwise})
\end{dcases} \label{eq:F}.
\end{align}

ROUGE-$N$は一般的に$N$-gramのみの再現率を表すが，本稿では全ての$n$-gram $(n \leq N)$の再現率の幾何平均を表す．また，BLEUには短すぎる出力に対する罰則を導入することが一般的であるが，本稿の評価では，短すぎる出力に対してはROUGEの値が小さくなるため，BLEUに対する罰則は導入していない．

根拠抽出の評価における$N$の範囲を定めるために，テストデータに対して各手法によって抽出された根拠，およびテストデータに付与された根拠抽出の正解に含まれる$n$-gramの数を調査した．その結果を表~\ref{tab:distribution}に示す．表中の「ランダム」と「事前学習」の行はそれぞれ，RCNNの初期パラメータをランダムな値とした場合と，\ref{sec:settings}~項で述べた開発データによって学習したパラメータとした場合の結果である．また，「Seq2Seq」は注意機構を用いた系列変換による手法の結果を表し，「定数」と「逆数」の行はそれぞれ，根拠抽出の閾値を定数とした場合と，発話チャンク中の単語数の逆数とした場合の結果である．閾値を定数とした系列変換による手法を除いて，5-gram以上は根拠抽出結果にほとんど含まれないことから，根拠抽出の評価は4-gramまで行えば十分である．したがって，根拠抽出の評価にはBLEU-1からBLEU-4，ROUGE-1からROUGE-4，F-1からF-4を用いる．

\begin{table}[t]
\caption{根拠抽出結果と正解の根拠に含まれる $n$-gramの数}
\label{tab:distribution}
\input{05table04.tex}
\end{table}

また，各事例ごとに式(\ref{eq:BLEU})，(\ref{eq:ROUGE})，(\ref{eq:F})にしたがってBLEU-$N$，ROUGE-$N$，F-$N$を計算すると，各事例中のn-gramの少なさから分母が0となることが多いため，全事例での評価にはマイクロ平均を用いる．

\begin{table}[b]
\caption{データベースフィールドへの分類結果}
\label{tab:classification}
\input{05table05.tex}
\end{table}
\begin{table}[b]
\caption{【周辺環境】に対する根拠抽出結果}
\label{tab:rationale-surrounding}
\input{05table06.tex}
\end{table}


\subsection{実験結果}

データベースフィールドへの分類結果を表~\ref{tab:classification}に示す．また，【周辺環境】，【間取りタイプ】，【専有面積】，【一部屋の広さ】，【エリア】に対する根拠抽出結果をそれぞれ表~\ref{tab:rationale-surrounding}から表~\ref{tab:rationale-zone}に示す．
データベースフィールドへの分類については全体的に系列変換による手法が良好な結果を示した．なお，系列変換による手法では，根拠抽出の閾値の設定によらず分類結果は同じであるため，表~\ref{tab:classification}ではまとめて記載している．
根拠抽出については全体的に，BLEU-$N$においてはSVMによる手法が，ROUGE-$N$においては，定数を閾値に用いた系列変換による手法がより高い評価値を示した．また，F-$N$は，$N=1$の場合はSVMによる手法の評価が高く，それ以上では系列変換による手法の評価が高かった．
また，RCNNによる手法の2通りのパラメータの初期値による結果を比較すると，分類については【周辺環境】以外ではランダムな初期値としたほうが良好な結果であり，根拠抽出についてはあまり差がないことがわかる．

\begin{table}[t]
\caption{【間取りタイプ】に対する根拠抽出結果}
\label{tab:rationale-plan}
\input{05table07.tex}
\end{table}
\begin{table}[t]
\caption{【専有面積】に対する根拠抽出結果}
\label{tab:rationale-area}
\input{05table08.tex}
\end{table}
\begin{table}[t]
\caption{【一部屋の広さ】に対する根拠抽出結果}
\label{tab:rationale-size}
\input{05table09.tex}
\end{table}

【周辺環境】タグの根拠抽出について，各手法が正しく抽出できた例と抽出を誤った例を図~\ref{fig:evidence-examples}に示す．図中の網掛けされた単語または単語列は正解の根拠を，枠で囲まれた単語または単語列は各手法で抽出した根拠を表す．図中の発話チャンクa, d, gがそれぞれの手法で正しく根拠を抽出できた例である．ここで抽出できた根拠は，ユーザ発話に関係するデータベースフィールドについて質問するシステム発話を生成することに利用できる．例えば，発話チャンクdでは「治安」という根拠を抽出できているため，「治安のいいところがいいです。」というユーザ発話に対して，「『治安』を気にされているようですが，周辺環境のご希望はございますか？」という発話が可能である．

\begin{table}[t]
\caption{【エリア】に対する根拠抽出結果}
\label{tab:rationale-zone}
\input{05table10.tex}
\end{table}

\begin{figure}[t]
\begin{center}
\includegraphics{26-1ia5f5.eps}
\end{center}
\caption{【周辺環境】タグに対する根拠の抽出例（網掛け部：正解，枠囲み部：システムの出力）}
\label{fig:evidence-examples}
\end{figure}


\subsection{考察}

\subsubsection{SVMによる手法}

【周辺環境】への分類において，正解は負例であるにも関わらず正例だと判断した例（偽陽性の誤り）は24例存在した．
これらの事例を個々に分析した結果，正例によく出現する単語，すなわち大きな重みを持つ単語が発話チャンクに含まれるために正例だと判断された誤りが，24例中12例で最も多いことがわかった．
これには，分類の手がかりとなる単語と頻繁に共起するものの単独では手がかりにならない単語が含まれる場合と，発話チャンクの分割方法に問題がある場合の2種類がある．
前者の場合では，例えば「面」という単語は「治安」という【周辺環境】への強力な手がかりとなる単語と共起しやすいため，大きな重みを持つ．
これは，「治安面」という名詞句としてや，「立地面」への希望を尋ねる不動産業者の質問に対してユーザが「治安の良い地域」と答える形で出現するためである．
しかし，「面」という単語が含まれているだけでは【周辺環境】への手がかりとはならない．例えば，以下の発話チャンクには「面」という単語が含まれているものの，【周辺環境】を推論することができないため負例である．
\begin{screen}
\begin{itemize}
\item[店：] お部屋の階数にご希望はございますか？
\item[客：] セキュリティーの\ul{面}から2階以上がいいなと思ってます
\end{itemize}
\end{screen}

発話チャンクの分割方法に問題がある例として，以下の発話チャンクにおける「治安面ですね。」のような，不動産業者が直前のユーザ発話への確認を行う部分に分類の手がかりとなる単語が含まれる場合がある．
\begin{screen}
\begin{itemize}
\item[店：] \ul{治安面ですね。}子供が多いエリアがいいなどのご希望はございますか？
\item[客：] そうですね。子どもが多いエリアを強く希望します。
\end{itemize}
\end{screen}
これは本来直前の発話チャンクに含まれるべき部分であるが，今回は対話コーパス中の話者交替で機械的に発話チャンクを分割したため，このような例が発生した．

一方，正解は正例であるにも関わらず負例だと判断した例（偽陰性の誤り）は23例存在した．
そのうち7例については，式(\ref{eq:weight-normalisatoin})による正規化前の重みが負であり，その絶対値が大きい単語を含む例であった．
これらの中には，1つの発話チャンク内で，【周辺環境】に加えてそれ以外のデータベースフィールドに関する言及のある場合があった．
例えば，以下の発話チャンクには，「落ち着いた地域」という【周辺環境】を推論可能な表現に加え，「練馬区周辺」という具体的なエリアに対する言及も含まれている．
\begin{screen}
\begin{itemize}
\item[店：] 最寄り駅など、場所はどのあたりでお探しでしょうか？
\item[客：] \ul{練馬区周辺}で\ul{落ち着いた地域}を希望します。
\end{itemize}
\end{screen}
このうちの「区」という単語が，絶対値の大きな負の重みを持つために，この発話チャンクは負例だと判断された．
これはこの手法がデータベースフィールドへのマルチラベル分類を，各データベースフィールドへの二値分類として扱い，他のデータベースフィールドについて考慮していないために発生した誤りである．
また，偽陽性の誤りの場合と同様に，直前のユーザ発話に対する確認の部分が発話チャンクに含まれてしまい，そこに絶対値の大きな負の重みを持つ単語が存在することにより分類を誤った例もあった．

根拠抽出を発話チャンク中の各単語が根拠に含まれるか否かの二値分類として考え，その混同行列を作成することで，どのような単語を根拠として誤って抽出したか，あるいはどのような単語を根拠として抽出できなかったかを分析する．
表~\ref{tab:confusion}は【周辺環境】タグにおけるそれぞれの手法の混同行列であり，表中の数は単語数を表す．
SVMによる手法の混同行列を見ると，正解の根拠に含まれるにも関わらず根拠として抽出できなかった単語が193語と多い．
これらの単語の多くは，助詞であった．
例えば，図~\ref{fig:evidence-examples}の発話チャンクbでは「が」や「に」などの助詞を抽出できていない．
これは，SVMによる手法が素性として用いる単語に助詞が含まれていないためである．
また，SVMによる手法で用いられる発話チャンクの素性はbag-of-wordsであり，単語の隣接を無視した素性となっていることも原因である．
しかし，対話システムが，後続の処理において確認発話を生成する際には，これらの助詞も分類の根拠に含まれることが望ましく，SVMによる手法が助詞を含めて根拠を抽出できるよう素性を改良することが必要である．

\begin{table}[p]
\caption{【周辺環境】における根拠抽出の混同行列}
\label{tab:confusion}
\input{05table11.tex}
\end{table}
\begin{table}[p]
\caption{根拠として抽出される平均単語数と平均区間数，および1区間あたりの平均単語数の比較}
\label{tab:span-size}
\input{05table12.tex}
\end{table}

表~\ref{tab:span-size}にそれぞれの手法で抽出された根拠と正解の根拠における1発話チャンクあたりの平均単語数と平均区間数および区間内単語数（1区間あたりの平均単語数）の比較を示す．
ここで，区間とは，連続して根拠となる単語列のことを指す．
表を見ると，SVMによる手法が抽出した根拠の単語数は，正解の根拠の単語数よりも特に少ない．
また，1区間あたりの平均単語数（区間内単語数）はほぼ1であり，連続した単語列を根拠として抽出できていないことを示す．
これは先述のとおり，助詞を根拠として抽出できなかったためである．

\begin{figure}[p]
\begin{center}
\includegraphics{26-1ia5f6.eps}
\end{center}
\caption{SVMの素性の重みの大きさと正解の根拠に含まれる割合との関係}
\label{fig:correlation}
\end{figure}

素性の重みの大きさと分類根拠としての正しさとの関係を調べるために，各単語の素性の重みの大きさとその単語がテストデータにおいて正解の根拠に含まれる割合を分析した．
5つのデータベースフィールドタグについての分析結果を図~\ref{fig:correlation}に示す．
図中の横軸は式(\ref{eq:weight-normalisatoin})によって0から1に正規化した素性の重みであり，縦軸は正解の根拠に含まれる割合である．
5つのタグにおける，素性の重みの大きさと正解の根拠に含まれる割合との間のピアソンの積率相関係数はそれぞれ0.39，0.36，0.36，0.39，0.32であった．
いずれも弱い正の相関であり，必ずしも重みの大きい単語が正解の根拠に含まれるわけではないことを示す．
これは上述のように，単独では分類の手がかりとは考えられないにも関わらず，分類の手がかりとなる単語と共起しやすいために大きな重みを持ってしまう単語が存在するためである．
例えば，図~\ref{fig:evidence-examples}の発話チャンクcでは，分類の誤り分析でも述べたように「面」という単語が大きな重みを持つために根拠として抽出されているが，正解の根拠には含まれていない．


\subsubsection{RCNNによる手法}

初期パラメータをランダムな値にした場合と開発データによって事前学習を行った場合では，【周辺環境】タグを除いて，ランダムな値とした場合が分類においてより良好な結果であった．これは，【周辺環境】の正例のみから作成した開発データで学習されたパラメータは，他のタグへの分類には有効ではないことを示す．一方，【周辺環境】においては性能が向上していることから，他のタグについても，タグごとの開発データを用いて事前学習を行うことで性能が向上する可能性がある．

RCNNによる手法は，データベースフィールドへの分類を学習する際，発話チャンク中のすべての単語ではなく，分類の根拠として抽出された単語のみを使用する．
したがって，データベースフィールドへの分類の性能が根拠抽出の性能に大きく依存することが予想できる．
パラメータを事前学習したRCNNによる手法において分類の性能と根拠抽出の結果との関係を分析するために，テストデータ中の事例を分類が正解したか否かと，根拠抽出結果と正解の根拠との単語の重なりの有無に基づき4種類に分類する．
ここで，根拠抽出結果$\tilde{\bm{z}}=(\tilde{z}_1, \tilde{z}_2,\cdots, \tilde{z}_m)$と正解の根拠$\bm{z}=(z_1, z_2, \cdots, z_m)$との単語の重なりがあるというのは，$\tilde{z}_t = z_t = 1$なる$t$が少なくとも1つ存在することである．
正解の根拠がアノテーションされているのは分類の正例のみであるため，この分析は分類の正例のみについて行う．
【周辺環境】，【間取りタイプ】，【専有面積】，【一部屋の広さ】，【エリア】の5つのデータベースフィールドについて，テストデータ中の分類の正例を4種類に分類し，それぞれの事例数を数えた結果を表~\ref{tab:FN_TP_rationale}に示す．
【周辺環境】において，重なりがある90例のうち73例 (81\%) は分類結果が正解であるのに対し，重なりが無い23例中の正解は14例 (60\%) にとどまっている．
この傾向は他の4つのデータベースフィールドタグについても同様である．
このことから，根拠抽出の性能とデータベースフィールドへの分類性能との間には相関があることがわかる．
したがって，根拠抽出の性能を向上させることで分類の性能も向上する可能性がある．

\begin{table}[b]
\hangcaption{各データベースフィールドタグの正例を，分類が正解したか否かと，根拠抽出結果と正解の根拠との単語の重なりの有無に基づいて分類した結果}
\label{tab:FN_TP_rationale}
\input{05table13.tex}
\end{table}
\begin{table}[b]
\hangcaption{RCNNによる手法のエンコーダに，ジェネレータの出力を入力した場合と正解の根拠を入力した場合の再現率}
\label{tab:upperbound}
\input{05table14.tex}
\end{table}

しかし，表~\ref{tab:FN_TP_rationale}は，RCNNによる手法の根拠抽出が完全に誤っているにも関わらず，分類に正解している例が存在することも示している．
我々は【周辺環境】タグについて，推定の根拠と正解の根拠の重なりがないものの，分類に正解している14例（表~\ref{tab:FN_TP_rationale}中の，重なりが「無し」で分類が正解である例）について分析を行った．
その結果，分類の手がかりとなっているものの，根拠の正解には含まれない単語があることがわかった．
例えば，図~\ref{fig:evidence-examples}中の発話チャンクeでは，「近く」という単語が抽出されているが，この単語は，【周辺環境】タグへ変換する根拠とは言えず，正解としてアノテーションされていない．しかし，RCNNによる手法はこの例を正しく【周辺環境】タグへ分類することができていた．これは，「近く」という単語が学習データ中の正例において負例よりも2倍多く出現し，【周辺環境】タグへの分類の手がかりとなったためだと考えられる．
これは，発話中で人間が分類の根拠だと考える部分と，RCNNによる分類器が手がかりとして使用する部分が異なるということを意味する．
この解釈を裏付ける結果として，同じパラメータのエンコーダに対し，ジェネレータで抽出した単語を入力した場合と，根拠としてアノテーションされた単語，すなわち正解の根拠を入力した場合との分類結果の比較を表~\ref{tab:upperbound}に示す．ここで，根拠がアノテーションされているのは分類の正例のみであるため，再現率のみを示している．【専有面積】，【部屋の広さ】，【エリア】については，正解の根拠を分類に使用しているにも関わらず，再現率はジェネレータの出力を入力した場合よりも低いことがわかる．このことから，エンコーダが正しい分類を行うためには，人間が根拠であると考える部分だけでは不十分であると言える．
データベースフィールドへの分類性能を向上させるためには，このような，根拠としてアノテーションされていないものの，分類に役立つ情報を利用できるよう手法を拡張する必要がある．

表~\ref{tab:span-size}において，RCNNによる手法で抽出された根拠と正解の根拠とを比較すると，RCNNによる手法は正解よりも少ない単語を根拠として抽出している一方，抽出された区間数は正解よりも多い．
その結果1区間あたりの平均単語数は正解の半分未満となったものの，SVMによる手法のそれよりは若干多く，より長い根拠を抽出していることがわかる．
これが，RCNNによる手法がSVMによる手法よりも高いROUGEを達成した要因である．
また，このことは，より連続した根拠を選ぶように設計したジェネレータの損失関数が期待通りのはたらきをしていることを示している．

表~\ref{tab:confusion}を見ると，正解の根拠に含まれるにも関わらずRCNNによる手法が根拠として抽出できなかった単語は165単語と多い．
これらの単語には「が」や「に」のような助詞が多く含まれていた．
例えば，図~\ref{fig:evidence-examples}中の発話チャンクfでは，正解の根拠が「お買い物が便利」という単語列であるのに対し，推定した根拠では助詞である「が」を抽出できなかった．
助詞はどのようなデータベースフィールドにおいても出現するため分類に重要な素性ではない．
そのため，根拠として抽出することが出来なかったと考えられる．

また，RCNNによる手法によって出力された【周辺環境】タグに対する根拠について個々に分析を行ったところ，テストデータ中のすべての事例において疑問符「？」の直後の単語を根拠として抽出することがわかった．
疑問符はほとんどの場合において不動産業者による質問の最後の単語であり，その直後の単語というのはユーザ発話の一番最初の単語である．
実際に，図~\ref{fig:evidence-examples}中の発話チャンクd, e, fのいずれにおいても，ユーザ発話の一番最初の単語が根拠として抽出されている．
【周辺環境】タグへの分類の強力な手がかりとなる語として「治安」という単語があるが，学習データにおける「治安」の出現のうち41.3\%が疑問符の直後であるため，RCNNによる手法のジェネレータはこの共起を学習したと考えられる．
しかし，実際のテストデータにおいて，疑問符の直後の単語が根拠の正解に含まれる例は全体の40.4\%であり，これによって根拠抽出の精度が低下した．

RCNNによる手法がデータベースフィールドタグへの分類とその根拠抽出の両方において性能が低かった原因として，データの不足が考えられる．
本論文では，学習データに2,379個の発話チャンクのみを使用したが，RCNNによる手法の元となる論文~\cite{Lei2016}では，約8万から9万のレビューテキストを用いている．
我々の課題でもデータを増やすことによってRCNNによる手法の性能を改善できる可能性がある．


\subsubsection{注意機構を用いた系列変換による手法}

表~\ref{tab:span-size}を見ると，定数を根拠抽出の閾値として用いた場合は，正解と比較してより多くの単語を根拠として抽出している．閾値として単語数の逆数を用いた場合も，SVMやRCNNによる手法と比較するとより多くの単語を抽出しており，正解の単語数や区間内単語数により近い．これが，注意機構を用いた系列変換による手法が根拠抽出においてSVMによる手法やRCNNによる手法よりも良好な結果となった理由だと考えられる．
図~\ref{fig:evidence-examples}の発話チャンクgは閾値として単語数の逆数を用いた場合の例であるが，SVMやRCNNによる手法で正しく抽出できた例 (a, d) と比較すると，より長い根拠を抽出することができている．実際，SVMやRCNNによる手法で完全に正しい根拠を抽出できた例はいずれも1単語のみの根拠であるため，この手法は他の手法と比べてより長い根拠を正しく抽出できたと言える．
一方，表~\ref{tab:confusion}を見ると，注意機構を用いた系列変換による手法の根拠抽出では，偽陽性の誤りが多く，余分な単語を抽出しすぎていることがわかる．特に，定数を閾値とした場合は，この誤りが非常に多い．
図~\ref{fig:evidence-examples}の発話チャンクhは，定数を閾値とした場合の例であるが，正解が「治安」のみであるのに対し，推定結果では発話チャンクのほとんどの単語を根拠として抽出してしまっていることがわかる．これは，今回閾値として用いた値が0.0525と非常に小さかったためである．
また，発話チャンクiも同様に定数を閾値とした場合の例であるが，「共働きで息子が保育園」という根拠を正しく抽出することができているが，「、」や「。」という，根拠にも分類の手がかりにもならない単語が抽出されてしまっている．これは，注意機構で計算されるこれらの単語の重みが比較的大きいことを示す．したがって，このような単語を抽出しないように，閾値の設定などの抽出方法を工夫する必要がある．


\subsubsection{非明示的条件を含むか否かの分類}

本論文では，あらかじめ非明示的条件を含むとわかっている発話チャンクのみに焦点を当て，データベースフィールドへの分類および根拠抽出の対象とした．
しかし，実際の対話では，非明示的条件を含まない発話も対話システムに入力されるため，事前に各発話チャンクが非明示的条件を含むか否かの二値分類を行う必要がある．
そこで，双方向RNN (Bi-RNN) と双方向LSTM (Bi-LSTM) による2つの二値分類手法を実装し，その性能を評価する．
これらの手法では入力発話チャンク中の単語列を，順方向と逆方向のRNNまたはLSTMに入力し，それぞれの最終状態を連結したベクトルをFFNNへ入力することで，正負の二値を出力する．二値分類手法の学習およびテストには，非明示的条件を含まない発話チャンクも合わせた全ての発話チャンクを用いる．学習に用いる発話チャンクは13,034個であり，そのうち2,379個 (18.3\%) が非明示的条件を含む．テストに用いる発話チャンクは1,430個であり，そのうち263個 (18.4\%) が非明示的条件を含む．
用いる単語埋め込みベクトルは\ref{sec:settings}項で述べたものと同様である．また，双方向RNNと双方向LSTMの隠れ状態ベクトルの次元数は200とし，その他の学習の設定は表~\ref{tab:settings}と同様である．
二値分類の結果を表~\ref{tab:binary}に示す．これらのナイーブな手法で77.4\%のF値を達成できているため，さらに洗練された手法を用いることでより高い性能を達成できる可能性がある．

\begin{table}[t]
\caption{非明示的条件を含むか否かの二値分類結果}
\label{tab:binary}
\input{05table15.tex}
\end{table}


\section{結論}

本論文は，データベース検索を行うタスク指向対話を対象として，ユーザ発話中で明示的に述べられていないユーザ要求の解釈を行う課題を提案した．
我々はこのように明示的に述べられないユーザ要求を非明示的条件と呼び，その解釈を，ユーザ発話を関連するデータベースフィールドに分類し，また同時にその根拠となるユーザ発話中の文字列を抽出する課題として定式化した．この課題に対する3つの手法として，サポートベクタマシン，回帰型畳込みニューラルネットワーク，注意機構を用いた系列変換による手法を実装した．
不動産に関する対話のコーパスを利用した評価実験の結果，注意機構を用いた系列変換による手法がより良好な結果を示すことがわかった．

本論文では，ユーザ発話をデータベースフィールドに分類することと，発話からその根拠を抽出することにのみ焦点を当てたが，実際にユーザ発話からデータベースクエリを生成するためには，データベースフィールドの値も抽出することが必要である．
また，データベースフィールドの値を抽出することができれば，「一人暮らしということですので，間取りは1LDK以下でよろしいですか？」のようなユーザへの確認発話を生成することができる．
そのためには実際の値を含むデータベースが必要となるため，この問題に取り組むことは今後の課題である．
また，本論文で取り組んだのは，非明示的条件を含むユーザ発話を，発話ごとに解釈する自然言語理解の課題である．
発話ごとに解釈した結果は文脈を考慮していないため，それまでの対話で既に言及されたデータベースフィールドを再び抽出してしまう可能性があり，そのまま対話システムに使用することは不適切である．
Dialogue State Tracking Challenge 5~\cite{Kim2016_5th}で行っているように，それまでにユーザが検索条件として指定したデータベースフィールドを内部状態として記憶しておき，ユーザ発話を解釈するたびにそれを更新する対話状態推定の課題に取り組む必要がある．
本論文で提案した手法による分類結果を用いて，対話状態推定を行う手法を考案し，評価することは今後の課題である．



\bibliographystyle{jnlpbbl_1.5}
\begin{thebibliography}{}

\bibitem[\protect\BCAY{Bapna, Tur, Hakkani-T{\"{u}}r, \BBA\ Heck}{Bapna
  et~al.}{2017}]{Bapna2017}
Bapna, A., Tur, G., Hakkani-T{\"{u}}r, D., \BBA\ Heck, L. \BBOP 2017\BBCP.
\newblock \BBOQ Sequential Dialogue Context Modeling for Spoken Language
  Understanding.\BBCQ\
\newblock In {\Bem Proceedings of the 18th Annual SIGdial Meeting on Discourse
  and Dialogue (SIGDIAL 2017)}, \mbox{\BPGS\ 103--114}.

\bibitem[\protect\BCAY{Celikyilmaz, Hakkani-t{\"{u}}r, \BBA\ Tur}{Celikyilmaz
  et~al.}{2012}]{Celikyilmaz2012}
Celikyilmaz, A., Hakkani-t{\"{u}}r, D., \BBA\ Tur, G. \BBOP 2012\BBCP.
\newblock \BBOQ Statistical Semantic Interpretation Modeling for Spoken
  Language Understanding with Enriched Semantic Features.\BBCQ\
\newblock In {\Bem Spoken Language Technology Workshop (SLT), 2012 IEEE},
  \mbox{\BPGS\ 216--221}.

\bibitem[\protect\BCAY{Chen, Liu, Yin, \BBA\ Tang}{Chen
  et~al.}{2017}]{Chen:2017:SDS:3166054.3166058}
Chen, H., Liu, X., Yin, D., \BBA\ Tang, J. \BBOP 2017\BBCP.
\newblock \BBOQ A Survey on Dialogue Systems: Recent Advances and New
  Frontiers.\BBCQ\
\newblock {\Bem SIGKDD Explorations Newsletter}, {\Bbf 19}  (2), \mbox{\BPGS\
  25--35}.

\bibitem[\protect\BCAY{Cohen}{Cohen}{1960}]{cohen1960coefficient}
Cohen, J. \BBOP 1960\BBCP.
\newblock \BBOQ A Coefficient of Agreement for Nominal Scales.\BBCQ\
\newblock {\Bem Educational and Psychological Measurement}, {\Bbf 20}  (1),
  \mbox{\BPGS\ 37--46}.

\bibitem[\protect\BCAY{Dahl, Bates, Brown, Fisher, Hunicke-Smith, Pallett, Pao,
  Rudnicky, \BBA\ Shriberg}{Dahl et~al.}{1994}]{Dahl:1994:ESA:1075812.1075823}
Dahl, D.~A., Bates, M., Brown, M., Fisher, W., Hunicke-Smith, K., Pallett, D.,
  Pao, C., Rudnicky, A., \BBA\ Shriberg, E. \BBOP 1994\BBCP.
\newblock \BBOQ Expanding the Scope of the ATIS Task: The ATIS-3 Corpus.\BBCQ\
\newblock In {\Bem Proceedings of the Workshop on Human Language Technology},
  HLT '94, \mbox{\BPGS\ 43--48}.

\bibitem[\protect\BCAY{Eric, Krishnan, Charette, \BBA\ Manning}{Eric
  et~al.}{2017}]{Eric2017}
Eric, M., Krishnan, L., Charette, F., \BBA\ Manning, C.~D. \BBOP 2017\BBCP.
\newblock \BBOQ Key-Value Retrieval Networks for Task-Oriented Dialogue.\BBCQ\
\newblock In {\Bem Proceedings of the 18th Annual SIGdial Meeting on Discourse
  and Dialogue (SIGDIAL 2017)}, \mbox{\BPGS\ 37--49}.

\bibitem[\protect\BCAY{Fukunaga, Nishikawa, Tokunaga, Yokono, \BBA\
  Takahashi}{Fukunaga et~al.}{2018}]{Fukunaga2018}
Fukunaga, S., Nishikawa, H., Tokunaga, T., Yokono, H., \BBA\ Takahashi, T.
  \BBOP 2018\BBCP.
\newblock \BBOQ Analysis of Implicit Conditions in Database Search
  Dialogues.\BBCQ\
\newblock In {\Bem Proceedings of the 11th International Conference on Language
  Resources and Evaluation (LREC 2018)}, \mbox{\BPGS\ 2741--2745}.

\bibitem[\protect\BCAY{Gunning}{Gunning}{2018}]{XAI-Gunning}
Gunning, D. \BBOP 2018\BBCP.
\newblock \BBOQ Explainable Artificial Intelligence (XAI).\BBCQ\
\newblock {\hfill\hfill\linebreak\ttfamily
  https://www.darpa.mil/program/explainable-artificial-intelligence}\ 2018 年
  11 月 7 日閲覧.

\bibitem[\protect\BCAY{Hakkani-T{\"{u}}r, Tur, Celikyilmaz, Chen, Gao, Deng,
  \BBA\ Wang}{Hakkani-T{\"{u}}r et~al.}{2016}]{Hakkani-t2016}
Hakkani-T{\"{u}}r, D., Tur, G., Celikyilmaz, A., Chen, Y.-n., Gao, J., Deng,
  L., \BBA\ Wang, Y.-y. \BBOP 2016\BBCP.
\newblock \BBOQ Multi-Domain Joint Semantic Frame Parsing Using Bi-Directional
  RNN-LSTM.\BBCQ\
\newblock In {\Bem INTERSPEECH-2016}, \mbox{\BPGS\ 715--719}.

\bibitem[\protect\BCAY{Hemphill, Godfrey, \BBA\ Doddington}{Hemphill
  et~al.}{1990}]{Hemphill:1990:ASL:116580.116613}
Hemphill, C.~T., Godfrey, J.~J., \BBA\ Doddington, G.~R. \BBOP 1990\BBCP.
\newblock \BBOQ The ATIS Spoken Language Systems Pilot Corpus.\BBCQ\
\newblock In {\Bem Proceedings of the Workshop on Speech and Natural Language},
  HLT '90, \mbox{\BPGS\ 96--101}.

\bibitem[\protect\BCAY{Hori, Wang, Hori, Watanabe, Harsham, Roux, Hershey,
  Koji, Jing, Zhu, \BBA\ Aikawa}{Hori et~al.}{2016}]{Hori2016}
Hori, T., Wang, H., Hori, C., Watanabe, S., Harsham, B., Roux, J.~L., Hershey,
  J.~R., Koji, Y., Jing, Y., Zhu, Z., \BBA\ Aikawa, T. \BBOP 2016\BBCP.
\newblock \BBOQ Dialog State Tracking with Attention-based Sequence-to-sequence
  Learning.\BBCQ\
\newblock In {\Bem 2016 IEEE Spoken Language Technology Workshop (SLT)},
  \mbox{\BPGS\ 552--558}.

\bibitem[\protect\BCAY{Jaech, Heck, \BBA\ Ostendorf}{Jaech
  et~al.}{2016}]{Jaech2016}
Jaech, A., Heck, L., \BBA\ Ostendorf, M. \BBOP 2016\BBCP.
\newblock \BBOQ Domain Adaptation of Recurrent Neural Networks for Natural
  Language Understanding.\BBCQ\
\newblock In {\Bem INTERSPEECH-2016}, \mbox{\BPGS\ 690--694}.

\bibitem[\protect\BCAY{Kim, D'Haro, Banchs, Williams, Henderson, \BBA\
  Yoshino}{Kim et~al.}{2016}]{Kim2016_5th}
Kim, S., D'Haro, L.~F., Banchs, R.~E., Williams, J.~D., Henderson, M., \BBA\
  Yoshino, K. \BBOP 2016\BBCP.
\newblock \BBOQ The Fifth Dialog State Tracking Challenge.\BBCQ\
\newblock In {\Bem Proceedings of the 2016 IEEE Workshop on Spoken Language
  Technology (SLT)}, \mbox{\BPGS\ 511--517}.

\bibitem[\protect\BCAY{Kingma \BBA\ Ba}{Kingma \BBA\ Ba}{2014}]{adam}
Kingma, D.~P.\BBACOMMA\ \BBA\ Ba, J. \BBOP 2014\BBCP.
\newblock \BBOQ Adam: A Method for Stochastic Optimization.\BBCQ\
\newblock {\Bem arXiv preprint arXiv:1412.6980}.

\bibitem[\protect\BCAY{Lei, Barzilay, \BBA\ Jaakkola}{Lei
  et~al.}{2016}]{Lei2016}
Lei, T., Barzilay, R., \BBA\ Jaakkola, T. \BBOP 2016\BBCP.
\newblock \BBOQ Rationalizing Neural Predictions.\BBCQ\
\newblock In {\Bem Proceedings of the 2016 Conference on Empirical Methods in
  Natural Language Processing (EMNLP 2016)}, \mbox{\BPGS\ 107--117}.

\bibitem[\protect\BCAY{Lin \BBA\ Hovy}{Lin \BBA\ Hovy}{2003}]{ROUGE}
Lin, C.-Y.\BBACOMMA\ \BBA\ Hovy, E. \BBOP 2003\BBCP.
\newblock \BBOQ Automatic Evaluation of Summaries using N-gram Co-occurrence
  Statistics.\BBCQ\
\newblock In {\Bem Proceedings of the 2003 Conference of the North American
  Chapter of the Association for Computational Linguistics on Human Language
  Technology-Volume 1}, \mbox{\BPGS\ 71--78}.

\bibitem[\protect\BCAY{Liu \BBA\ Lane}{Liu \BBA\ Lane}{2016a}]{Liu2016b}
Liu, B.\BBACOMMA\ \BBA\ Lane, I. \BBOP 2016a\BBCP.
\newblock \BBOQ Attention-Based Recurrent Neural Network Models for Joint
  Intent Detection and Slot Filling.\BBCQ\
\newblock In {\Bem INTERSPEECH-2016}, \mbox{\BPGS\ 685--689}.

\bibitem[\protect\BCAY{Liu \BBA\ Lane}{Liu \BBA\ Lane}{2016b}]{Liu2016a}
Liu, B.\BBACOMMA\ \BBA\ Lane, I. \BBOP 2016b\BBCP.
\newblock \BBOQ Joint Online Spoken Language Understanding and Language
  Modeling with Recurrent Neural Networks.\BBCQ\
\newblock In {\Bem Proceedings of the 17th Annual Meeting of the Special
  Interest Group on Discourse and Dialogue (SIGDIAL 2016)}, \mbox{\BPGS\
  22--30}.

\bibitem[\protect\BCAY{Mesnil, Dauphin, Yao, Bengio, Deng, Hakkani-T{\"{u}}r,
  He, Heck, Tur, Yu, \BBA\ Zweig}{Mesnil et~al.}{2015}]{Mesnil2015}
Mesnil, G., Dauphin, Y., Yao, K., Bengio, Y., Deng, L., Hakkani-T{\"{u}}r, D.,
  He, X., Heck, L., Tur, G., Yu, D., \BBA\ Zweig, G. \BBOP 2015\BBCP.
\newblock \BBOQ Using Recurrent Neural Networks for Slot Filling in Spoken
  Language Understanding.\BBCQ\
\newblock {\Bem IEEE/ACM Transactions on Audio, Speech, and Language
  Processing}, {\Bbf 23}  (3), \mbox{\BPGS\ 530--539}.

\bibitem[\protect\BCAY{Mesnil, He, Deng, \BBA\ Bengio}{Mesnil
  et~al.}{2013}]{Mesnil2013}
Mesnil, G., He, X., Deng, L., \BBA\ Bengio, Y. \BBOP 2013\BBCP.
\newblock \BBOQ Investigation of Recurrent-Neural-Network Architectures and
  Learning Methods for Spoken Language Understanding.\BBCQ\
\newblock In {\Bem INTERSPEECH-2013}, \mbox{\BPGS\ 3771--3775}.

\bibitem[\protect\BCAY{Monroe}{Monroe}{2018}]{XAI-Monroe}
Monroe, D. \BBOP 2018\BBCP.
\newblock \BBOQ AI, Explain Yourself.\BBCQ\
\newblock {\Bem Communications of the ACM}, {\Bbf 61}  (11), \mbox{\BPGS\
  11--13}.

\bibitem[\protect\BCAY{Papineni, Roukos, Ward, \BBA\ Zhu}{Papineni
  et~al.}{2002}]{BLEU}
Papineni, K., Roukos, S., Ward, T., \BBA\ Zhu, W.-J. \BBOP 2002\BBCP.
\newblock \BBOQ BLEU: A Method for Automatic Evaluation of Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 40th Annual Meeting on Association for
  Computational Linguistics}, \mbox{\BPGS\ 311--318}.

\bibitem[\protect\BCAY{Ramshaw \BBA\ Marcus}{Ramshaw \BBA\
  Marcus}{1995}]{ramshaw1995text}
Ramshaw, L.\BBACOMMA\ \BBA\ Marcus, M. \BBOP 1995\BBCP.
\newblock \BBOQ Text Chunking using Transformation-Based Learning.\BBCQ\
\newblock In {\Bem 3rd Workshop on Very Large Corpora}, \mbox{\BPGS\ 82--94}.

\bibitem[\protect\BCAY{Raymond \BBA\ Riccardi}{Raymond \BBA\
  Riccardi}{2007}]{raymond2007generative}
Raymond, C.\BBACOMMA\ \BBA\ Riccardi, G. \BBOP 2007\BBCP.
\newblock \BBOQ Generative and Discriminative Algorithms for Spoken Language
  Understanding.\BBCQ\
\newblock In {\Bem 8th Annual Conference of the International Speech
  Communication Association}, \mbox{\BPGS\ 1605--1608}.

\bibitem[\protect\BCAY{Takahashi \BBA\ Yokono}{Takahashi \BBA\
  Yokono}{2017}]{Yokono2017}
Takahashi, T.\BBACOMMA\ \BBA\ Yokono, H. \BBOP 2017\BBCP.
\newblock \BBOQ Two Persons Dialogue Corpus Made by Multiple
  Crowd-workers.\BBCQ\
\newblock In {\Bem Proceedings of the 8th International Workshop on Spoken
  Dialogue Systems (IWSDS 2017)}.
\newblock 6 pages.

\bibitem[\protect\BCAY{Taylor}{Taylor}{1968}]{Taylor1968}
Taylor, R.~S. \BBOP 1968\BBCP.
\newblock \BBOQ Question-Negotiation and Information Seeking in
  Libraries.\BBCQ\
\newblock {\Bem College \& Research Libraries}, {\Bbf 29}  (3), \mbox{\BPGS\
  178--194}.

\bibitem[\protect\BCAY{Vu, Gupta, Adel, \BBA\ Schutze}{Vu
  et~al.}{2016}]{Vu2016}
Vu, N.~T., Gupta, P., Adel, H., \BBA\ Schutze, H. \BBOP 2016\BBCP.
\newblock \BBOQ Bi-Directional Recurrent Neural Network with Ranking Loss for
  Spoken Language Understanding.\BBCQ\
\newblock In {\Bem 2016 IEEE International Conference on Acoustics, Speech and
  Signal Processing (ICASSP)}, \mbox{\BPGS\ 6060--6064}.

\bibitem[\protect\BCAY{Yao, Peng, Zhang, Yu, Zweig, \BBA\ Shi}{Yao
  et~al.}{2014}]{Yao2014}
Yao, K., Peng, B., Zhang, Y., Yu, D., Zweig, G., \BBA\ Shi, Y. \BBOP 2014\BBCP.
\newblock \BBOQ Spoken Language Understanding Using Long Short-Term Memory
  Neural Networks.\BBCQ\
\newblock In {\Bem Spoken Language Technology Workshop (SLT)}, \mbox{\BPGS\
  189--194}.

\bibitem[\protect\BCAY{Yao, Zweig, Hwang, Shi, \BBA\ Yu}{Yao
  et~al.}{2013}]{Yao2013}
Yao, K., Zweig, G., Hwang, M.-y., Shi, Y., \BBA\ Yu, D. \BBOP 2013\BBCP.
\newblock \BBOQ Recurrent Neural Networks for Language Understanding.\BBCQ\
\newblock In {\Bem INTERSPEECH-2013}, \mbox{\BPGS\ 2524--2528}.

\end{thebibliography}


\begin{biography}
\bioauthor{福永　隼也}{
2017年東京工業大学工学部情報工学科卒業．同年より東京工業大学情報理工学院修士課程在学中．学士（工学）．言語処理学会会員．
}
\bioauthor{西川　　仁}{
2006年慶應義塾大学総合政策学部卒業．2008年同大学大学院政策・メディア研究科修士課程修了．同年，日本電信電話株式会社入社．2013年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了．NTTメディアインテリジェンス研究所研究員を経て，2015年より東京工業大学情報理工学院助教．2017年IE経営大学院修士課程修了．博士（工学）．自然言語処理，特に自動要約，自然言語生成の研究に従事．The Association for Computational Linguistics，言語処理学会，人工知能学会，情報処理学会各会員．
}
\bioauthor{徳永　健伸}{
1983年東京工業大学工学部情報工学科卒業．1985年同大学院理工学研究科修士課程修了．同年（株）三菱総合研究所入社．1986年東京工業大学大学院博士課程入学．現在，東京工業大学情報理工学院教授．博士（工学）．専門は自然言語処理，計算言語学．情報処理学会，人工知能学会，言語処理学会，計量国語学会，Association for Computational Linguistics，ACM SIGIR，Cognitive Science Society, International Cognitive Linguistics Association各会員．
}
\bioauthor{横野　　光}{
2003年岡山大学工学部情報工学科卒業．2008年同大大学院自然科学研究科産業創成工学専攻単位取得退学．東京工業大学精密工学研究所研究員，国立情報学研究所特任研究員，同研究所特任助教を経て，2016年より株式会社富士通研究所研究員．博士（工学）．意味解析の研究に従事．情報処理学会，人工知能学会，言語処理学会各会員．
}
\bioauthor{高橋　哲朗}{
2005年奈良先端科学技術大学院大学博士後期課程修了．博士（工学）．
同年株式会社富士通研究所入社．2008年〜2010年ニフティ株式会社にてWeb
サービス開発，2011年〜2012年マサチューセッツ工科大学にて客員研究員を
経て，現在富士通研究所にて自然言語処理およびデータ分析の研究に従事．
}

\end{biography}


\biodate




\end{document}
