    \documentclass[japanese]{jnlp_1.4}
\usepackage{jnlpbbl_1.3}
\usepackage[dvipdfm]{graphicx}
\usepackage{amsmath}
\usepackage{hangcaption_jnlp}

\usepackage{amsmath,amssymb}
\usepackage{url}
\newcommand{\maru}{}
\newcommand{\batsu}{}
\newcommand{\sankaku}{}
\newcommand{\note}[1]{}
\renewcommand{\mod}[1]{}

\Volume{23}
\Number{1}
\Month{January}
\Year{2016}

\received{2015}{5}{21}
\revised{2015}{8}{6}
\accepted{2015}{11}{3}

\setcounter{page}{59}


\jtitle{テキストチャットを用いた雑談対話コーパスの構築と\\
	対話破綻の分析}
\jauthor{東中竜一郎\affiref{NTT} \and  船越孝太郎\affiref{HRI} \and 荒木　雅弘\affiref{KIT} \and \\
	塚原　裕史\affiref{DNS} \and 小林　優佳\affiref{TSB} \and 水上　雅博\affiref{NST}
}
\jabstract{
対話システムが扱う対話は大きく課題指向対話と非課題指向対話（雑談対話）に分けられるが，近年Webからの自動知識獲得が可能になったことなどから，雑談対話への関心が高まってきている．課題指向対話におけるエラーに関しては一定量の先行研究が存在するが，雑談対話に関するエラーの研究はまだ少ない．対話システムがエラーを起こせば対話の破綻が起こり，ユーザが円滑に対話を継続することができなくなる．しかし複雑かつ多様な内部構造を持つ対話システムの内部で起きているエラーを直接分析することは容易ではない．そこで我々はまず，音声誤認識の影響を受けないテキストチャットにおける雑談対話の表層に注目し，破綻の類型化に取り組んだ．本論文では，雑談対話における破綻の類型化のために必要な人・機械間の雑談対話コーパスの構築について報告し，コーパスに含まれる破綻について分析・議論する．
}
\jkeywords{対話システム，非課題指向対話，雑談，破綻，エラー分析}

\etitle{Text Chat Dialogue Corpus Construction \\
	and Analysis of Dialogue Breakdown}
\eauthor{Ryuichiro Higashinaka\affiref{NTT} \and Kotaro Funakoshi\affiref{HRI} \and Masahiro Araki\affiref{KIT} \and \\
	Hiroshi Tsukahara\affiref{DNS} \and Yuka Kobayashi\affiref{TSB} \and Masahiro Mizukami\affiref{NST}
}

\eabstract{
In general, there are two types of dialogue systems: the task-oriented dialogue system and the non-task-oriented or chat dialogue system. In recent years, chat dialogue systems have received much attention mainly because of the advances in automatic knowledge acquisition from the web. Nevertheless, few studies are dedicated to the error analysis of chat dialogue systems. This is in contrast with the many error-analysis-related studies on task-oriented dialogue systems. An error in a chat dialogue system can lead to the dialogue breakdown, where users are no longer willing to continue the conversation. Therefore, error analysis is crucial in such systems. However, it is difficult to analyze errors in chat dialogue systems because of the complex internal structures of the systems. In the present study, we analyze and categorize the errors in a text chat dialogue system on the basis of the surface form of the conversations. We construct a chat dialogue corpus between a chat system and users and analyze the dialogue breakdowns included in the corpus.
}
\ekeywords{Dialogue System, Non-Task-Oriented Dialogue, Chat, Breakdown, Error \linebreak 
	Analysis}

\headauthor{東中，船越，荒木，塚原，小林，水上}
\headtitle{テキストチャットを用いた雑談対話コーパスの構築と対話破綻の分析}

\affilabel{NTT}{NTT メディアインテリジェンス研究所}{NTT Media Intelligence Laboratories}
\affilabel{HRI}{（株）ホンダ・リサーチ・インスティチュート・ジャパン}{Honda Research Institute Japan Co., Ltd.}
\affilabel{KIT}{京都工芸繊維大学}{Kyoto Institute of Technology}
\affilabel{DNS}{（株）デンソーアイティーラボラトリ}{Denso IT Laboratory, Inc.}
\affilabel{TSB}{（株）東芝}{Toshiba Corporation}
\affilabel{NST}{奈良先端科学技術大学院大学}{Nara Institute of Science and Technology}



\begin{document}
\maketitle

\section{はじめに}

近年Twitterによる人間同士の短文のやりとりを始めとしたインターネット上の大量の会話データから
自動知識獲得\cite{Inaba2014}が可能になったことや，
高性能な音声認識機能が利用可能なスマートフォン端末を多くの利用者が所有するようになったことで，
雑談対話システムへの関心が，研究者・開発者側からも利用者側からも高まっている．

対話システムが扱う対話は大きく課題指向対話と非課題指向対話に分けられるが，雑談は非課題指向対話に分類される．
課題指向対話との違いについていえば，課題指向対話では対話によって達成する（比較的）明確な達成目標がユーザ側にあり，
一般に食事・天気など特定の閉じたドメインの中で対話が完結するのに対し，
雑談では，対話をすること自体が目的となり，明確な達成目標がないなかで多様な話題を扱う必要がある．
また，課題指向対話では基本的に対話時間（目標達成までの時間）が短い方が望ましいのに対し，
雑談ではユーザが望む限り対話を長く楽しめることが望まれる．
そのため，適切な応答を返すという点において，雑談対話システムは，課題指向対話とは異なる側面で，
様々な技術的困難さを抱える．

これまで，雑談対話システムの構築における最も大きな技術的障壁の1つは，多様な話題に対応する
知識（応答パターン）を揃えるコストであった．上記のように，この問題はインターネットからの
自動獲得によって解消されつつある．また，ユーザを楽しませる目的\cite{Wallace2004,Banchs2012,Wilcock2013}だけであれば，
システムがおかしな発言をしてしまうことを逆手にとって，適切な応答を返しつづける技術的な
困難さを（ある程度）回避してしまうことも可能である．

その一方で，雑談対話には，ユーザを楽しませるという娯楽的な価値だけでなく，
ユーザとシステムの間の信頼関係の構築\cite{Bickmore2001}や，
ユーザに関する情報（ユーザの好みやユーザの知識の範囲）をシステムが取得することで
ユーザによりよいサービスを提供することを可能にする\cite{bang2015}，
遠隔地にいる老齢ユーザの認知・健康状態を測定したり認知症の進行を予防する\cite{Kobayashi2011}，
グループ内のコミュニケーションを活性化し人間関係を良好にする\cite{Matsuyama2013}，
といった工学的・社会的価値が存在する．
このため，情報爆発，少子高齢化，生活様式の多様化と急激な変化による人間関係の複雑化といった
諸問題を抱える現代社会において，雑談対話技術の更なる高精度化，すなわち適切な応答を返しつづける
能力の向上が今まで以上に求められている．

雑談対話の高精度化のためには，現状の技術の課題をエラー分析によって特定することが必要である．
しかしながら，課題指向対話，特に音声対話システムにおける，主に音声誤認識に起因するエラーに
関しては一定量の先行研究が存在するが，テキストのレベルでの雑談対話に関するエラーの研究はまだ少なく，
エラー分析の根本となる人・機械間の雑談対話データの蓄積もなければ，
そのデータに含まれるエラーを分析するための方法論・分類体系も十分でない．

雑談対話システムがその内部でエラーを起こせば対話の破綻が起こり，ユーザが円滑に対話を継続することできなくなる．
しかし，対話システムは，形態素解析，構文解析，意味解析，談話解析，表現生成など多くの自然言語処理技術の組み合わせ
によって実現され，かつシステム毎に採用している方式・構成も異なるため，システム内部のエラーを直接分析すること
は困難であるし，システム間で比較したり，知見を共有することも容易ではない．
そこで我々はまず雑談対話の表層に注目し，破綻の類型化に取り組んだ．
本論文では，対話破綻研究を目的とした雑談対話コーパスの構築，
すなわち人・機械間の雑談対話データの収集と対話破綻のアノテーションについて報告する．
そして，構築したコーパスを用いた分析によって得た破綻の分類体系の草案を示し，
草案に認められる課題について議論する．

以降，
\ref{sec:data}節で対話データの収集について説明する．
今回，新たに対話データ収集用の雑談対話システムを1つ用意し，1,146対話の雑談対話データを収集した．
\ref{sec:annotation1}節及び\ref{sec:annotation2}節では，上記の雑談対話データに対するアノテーションについて述べる．
24名のアノテータによる100対話への初期アノテーションについて\ref{sec:annotation1}節で説明し，
その結果を踏まえて，残りの1,046対話について，異なりで計22名，各対話約2名のアノテータが行ったアノテーションについて
\ref{sec:annotation2}節で説明する．
\ref{sec:categorization}節では，\ref{sec:annotation2}節で説明した1,046対話に対するアノテーション結果の分析に基づく，
雑談対話における破綻の類型について議論する．
\ref{sec:relatedwork}節で関連研究について述べ，\ref{sec:summary}節でまとめ，今後の課題と展開を述べる．


\section{雑談対話データの収集}\label{sec:data}

本研究は，Project Next NLPの対話タスク\cite{NextNLPWS}の活動の一部として行われた．
そのため，データ収集も対話タスクの参加者を中心に行った．
本タスクに参加したのは，表\ref{members}に示す大学・企業を含む15の拠点からの総勢32名である．
これは，対話システムに関する国内のプロジェクトとして最大級の規模である．

雑談対話の収集は，本研究のために新たに設けた専用のWebサイト
\footnote{http://beta.cm.info.hiroshima-cu.ac.jp/{\textasciitilde}inaba/projectnext/}
で行った．
このWebサイトでは，NTTドコモが一般公開している雑談対話API\cite{oonishi}
\footnote{https://www.nttdocomo.co.jp/service/developer/smart{\_}phone/analysis/chat/}
を用いた
雑談対話システムが稼動しており，Webブラウザでアクセスすることで，テキストでの雑談を行える．
このサイトでは，ユーザが10発話を入力すると対話が終了し，対話ログが出力されるようになっている．
サイト側ではユーザ管理を行っておらず，ユーザが自己の対話を纏めて後日提出することによって，
ユーザと対話ログの対応が取れるようになっている．
図\ref{screen}に雑談対話収集サイトのスクリーンショットを示す．

\begin{table}[b]
\caption{対話タスクの参加状況}
\label{members}
\input{03table01.txt}
\end{table}
\begin{figure}[b]
\begin{center}
\includegraphics{23-1ia3f1.eps}
\end{center}
\caption{雑談対話収集サイトの画面}
\label{screen}
\end{figure}

各拠点の参加者および参加者の知人にこの雑談対話システムと対話をしてもらい，全部で1,146対話を収集した．\mod{収集は2014年8月2日から31日の間に行った．}
対話をする際には，図\ref{10commandments}に示す「対話ガイドライン（10箇条）」に沿うように教示をした．
これは，現状の雑談対話システム技術が成熟していないこともあって，破綻だらけの対話ばかり収集されてしまわないためである．

\begin{figure}[t]
\begin{center}
\includegraphics{23-1ia3f2.eps}
\end{center}
\caption{対話ガイドライン（10箇条）}
\label{10commandments}
\end{figure}
\begin{table}[t]
\caption{収集された雑談対話データの統計情報}
\label{stats}
\input{03table02.txt}
\vspace{4pt}
\small
形態素解析にはMeCabのversion 0.996\mod{（辞書はipadic-2.7.0-20070801）}を使用した．
システム発話数は12,606となっているが，これは最初のプロンプト発話の1,146とユーザへの返答の11,460を合わせた値である．
\end{table}

ユーザ毎の対話数は1から40までばらつきがあるが，全体のユーザ数は100名を超えて\mbox{いる．}
表\ref{stats}は収集された雑談対話データの統計情報である．
収集した雑談対話の一例を以下に示す．
\linebreak
Sはシステム発話，Uはユーザ発話を表す．

\vspace{\baselineskip}
\begin{itemize}
\itemsep=-1mm
\item[S:]       こんにちは！声かけてくれるのを待ってたんだ。
\item[U:]       今日は最高気温36度だって。暑いねえ
\item[S:]       最高気温は１７度が予想されます？？
\item[U:]       いやいや猛暑ですよ
\item[S:]       猛暑に備えてますか？
\item[U:]       うん、日傘さしたり、水飲んだり、クーラー入れたりしてる
\item[S:]       クーラーは快適ですね
\item[U:]       うん、会社だと朝はつけられないから死にそう
\item[S:]       会社は冷房が効きますよねえ
\item[U:]       昼間は効くね。ここはパソコンがいっぱいあるからないと大変
\item[S:]       動きが悪いです
\item[U:]       そうなの？こっちは快適だよ
\item[S:]       パソコンは使い勝手が悪いです
\end{itemize}


\section{初期アノテーション}\label{sec:annotation1}

収集した雑談対話データ全体に対して対話破綻をアノテーションする前に，その一部について初期アノテーションを行った．
具体的には，1,146対話からランダムに100対話を抽出し，タスク参加者の中で全100対話のアノテーションを行える24人によってアノテーションを行った．
\mod{作業期間は2014年10月7日から17日の間である．}
このアノテーションの目的は，残りの1,046対話に対して，1対話あたり何人のアノテータを割り当てるのが妥当かを検討することである．
ここで作成したデータセットのことを以後{\bf init100}と呼ぶ．

アノテーションについては，どのようなエラーがあるのかを網羅的に分析したいという目的に鑑み，
トップダウンな破綻の分類は示さず，
直感に従って\maru・\sankaku・\batsu の3分類でアノテーションするように指示した．
それぞれの意味は以下の通りである．

\vspace{\baselineskip}
\begin{description}
\setlength{\labelsep}{0.25zw}
\item[\maru\ 破綻ではない：]当該システム発話のあと対話を問題無く継続できる．\samepage
\item[\sankaku\ 破綻と言い切れないが，違和感を感じる発話：]当該システム発話のあと対話をスムーズに継続することが困難．\samepage
\item[\textmd{\batsu}\ 明らかにおかしいと思う発話（破綻）：]当該システム発話のあと対話を継続することが困難．\samepage
\end{description}
\vspace{\baselineskip}

多人数でアノテーションする場合には，\maru \batsu の判断の分布によりそれらの中間状態を表現できるため，
必ずしも\sankaku のような中間レベルを表すカテゴリを用意する必要はないが，
アノテータが\maru か\batsu かを迷うケースで判断に時間がかからないようにする目的で\sankaku を導入した．

アノテーションには，図\ref{tool}に示す専用のツールを使用した．
ツールでは，非文のチェックの他に，各発話に対してコメントを記入できるようになっている．
また，先行する文脈のみに基づいて対話破綻のアノテーションが出来るように，1発話アノテーションする毎に，
次のユーザ発話とシステム発話が表示されるようになっている．
なお，破綻（\sankaku あるいは\batsu ）とタグをつけた後の発話をどうアノテーションするかについては，
対話の先頭から，破綻とタグ付けされた発話を含むこれまでの文脈を「ありき（与えられたもの）」として，
アノテーションするように教示した．
すなわちアノテータは，破綻があったところで対話がリセットされたとはせず，破綻も含めて先行文脈として作業を行った．

\begin{figure}[b]
\begin{center}
\includegraphics{23-1ia3f3.eps}
\end{center}
\caption{雑談データ用破綻アノテーションツール}\label{tool}
\end{figure}

非文の定義は，「文法エラーなどにより日本語としての意味をなさない文」とし，会話体で許容される程度の
「助詞落ち」や「ら抜き」は非文に該当しないとした．
また，全く意味が通らない発話であれば当然\batsu を付けることになるが，
非文であっても発話意図が汲み取れるのであれば，\maru や\sankaku を付けてもよいとした．


\subsection{非文の割合}

使用した対話システム\cite{oonishi}の応答生成は，人がすべて確認したテンプレートによるものではないので，非文の発生を完全に無くすことはできない．
そこで，アノテーション時の非文のチェックの結果に基づき，文法レベルでの対話コーパスの品質を確認しておく．

\begin{table}[b]
\caption{init100における非文の分布}
\label{nonsentence}
\input{03table03.txt}
\end{table}

最初のプロンプトを除くシステム発話全1,000発話において非文のチェックが付けられた発話の分布を表\ref{nonsentence}に示す．
表\ref{nonsentence}の1行目は，ある発話に対して非文と判断したアノテータの数を表す．
2行目は各人数のアノテータに非文と判断された発話の数を表す．
1人でも非文と付けた発話は1,000発話中127あったが，過半数（13人以上）が非文と付けたものはわずか7発話しかなかった．
実際のデータを見ると，非文と判定したのが数名である発話はどれもアノテーション指示者からみて非文と判断するようなものではなかった．
（「ルールは多いです」「価値観は欲しいです」「話し相手に飢えます」など，不自然ではあるが『日本語としての意味をなさない文』とまでいえない発話であった）．
仮に過半数以上が非文としたものを真の非文とし，それ以外をアノテーションの誤りとすれば，init100での非文の発生率は1\%未満である．

今回の初期アノテーションでは，24人全員が100対話を同じ順序でアノテーションしている．
その中で最も非文であると判定したアノテータが多いシステム発話は「熱中症に気をつけか？？」というものであった．
この発話は100対話中で4回発生しており，4発話に対して非文とチェックした人数は，出現順で19人，17人，13人，9人であった．
つまり過半数が破綻と付与した7発話のうち3発話は同一の発話であった．

同一内容の発話に対して「非文」とアノテーションした人数が大きくばらついているのは，既に非文と付けた発話
に対する非文のチェックをアノテータが省略したことが原因と思われる．
非文のチェックは，任意とも指示していないが，厳守するようにも指示しなかった．
また，非文のチェックボックスは任意入力のフィールドであったコメント欄の直前に置かれていた（図\ref{tool}参照）．
このため，非文のチェックがアノテーションの主たる目的ではなく補助的な作業であったことから，
後の方になるほどチェックを省略されてしまった可能性が高い．
その事を考慮して，仮に四半（7人）以上が非文と判定したものを「真の非文」と考えても，非文の発生率はおよそ2\%である．
このことから，今回のデータ中のシステム発話の品質は，個々の発話の日本語文法のレベルでは，
当面の研究に必要なレベルが担保されていると考える．


\subsection{アノテータ間の一致度の分析}

init100に対して，24人のアノテータが付与したラベル\maru，\sankaku ，\batsu の割合を表\ref{distribution}に示す．
24人のアノテータ間の一致の程度を測るためにFleissの$\kappa$を算出すると，$0.276$であった．
\cite{Landis77}も参考にすると，この値の解釈は「ランダムではないが，よく一致しているともいえない」とするのが妥当である．
\sankaku を\batsu に含めて，2値のアノテーションとして計算すると，$0.396$とやや一致の具合が高まる．
\sankaku を\maru に含めると$\kappa$は0.277にしか改善されないため，\sankaku は\batsu により近いことが分かる．

\begin{table}[b]
\caption{init100中の\maru \sankaku \batsu の発生割合（発生数）}
\label{distribution}
\input{03table04.txt}
\end{table}

24人のアノテータをCohenの$\kappa$値をもとにWard法で階層クラスタリングを行うと，図\ref{cluster}のよう
になった．距離の定義やクラスタリングの手法を変えると，2つのクラスタの中でのまとまり方は細かく変わるも
のの，大きな2つのクラスタ間での移動はほとんど見られなかった．図~\ref{wariai_distribution2}に示す24人のアノテー
タの分布を見ると，\maru をつける傾向の大小で，前述の2クラスタが分かれていることが見て取れる．
2つのクラスタの中でのFleissの$\kappa$を求めると，
それぞれ$0.414$（11人）と$0.474$（13人）であり，これらの値は「適度に一致している」と解釈できる．
前者，図\ref{cluster}の左側のクラスタ，をC1と呼ぶ．このクラスタは\maru を多く付けるアノテータのクラスタである．
後者，同右側のクラスタ，をC2と呼ぶ．このクラスタは\maru を少なく付ける破綻に厳しいアノテータのクラスタである．

\begin{figure}[b]
\begin{center}
\includegraphics{23-1ia3f4.eps}
\end{center}
\caption{アノテータのクラスタリング結果（番号はアノテータID）}\label{cluster}
\end{figure}
\begin{figure}[b]
\begin{center}
\includegraphics{23-1ia3f5.eps}
\end{center}
\caption{アノテータ毎の\maru \sankaku \batsu を付与した割合（横軸はアノテータID）}
\label{wariai_distribution2}
\end{figure}

表\ref{annotators_attributes}に，24人のアノテータの属性（性別，年齢層，職業，関係性）の分布を示す．
職業の「学生」は大学生および大学院生，教員は大学教員を指す．
関係性の「当事者」は，対話タスクに参加している研究者（会社員，教員，学生）のことで，
関係者は，対話タスクには直接参加していないが，前述の当事者と同じグループで対話システムに普段から関わりのある仕事をしていることを意味する．
無関係は，当事者と知己であるが，対話システムの研究開発とは普段関わりがないことを指す．
性別・年齢層には，C1とC2の間に目立った違いは見て取れない．
職業・関係性をみると，教員・当事者がC1側にやや多い印象を受けるが，
Fisherの正確確率検定ではC1, C2間に統計的に優位な差はない（いずれも$p>.2$）．
従って，表\ref{annotators_attributes}に示した属性だけでは，新規のアノテータがどちらのグループに属するかを予測することは難しく，
実際にアノテーションを行ってもらって傾向を把握するしかない．

\begin{table}[b]
\caption{アノテータの属性分布}
\label{annotators_attributes}
\input{03table05.txt}
\end{table}

24人のアノテータからランダムに$N$人を選び出したとき，ラベルの分布がどれだけ全体の分布から
離れているのかを表したグラフを図\ref{plot}に示す．横軸は$N$の数で，縦軸は Kullback-Leibler
divergenceの対称平均の値である．黒丸が1,000回サンプリングした際の平均値を示す．下向き三角は1,000回
中の最大値，上向き三角は1,000回中の最小値を表す．アノテータが1人から2人になる段階で，平均値からの乖離
は半分近く縮まり，あとは，なだらかに24人の分布に近寄っていくことが分かる．

\begin{figure}[b]
\begin{center}
\includegraphics{23-1ia3f6.eps}
\end{center}
\caption{24人のラベル分布とランダムサンプリングした$N$人のラベル分布の異なり}
\label{plot}
\end{figure}

図\ref{hist}に，\maru \sankaku \batsu の各ラベルを付与された数毎の発話数のグラフを示す．
左側のグラフは集計結果をそのまま示したもので，
横軸が，ある発話について付与された特定のラベルの数（0から24）を表し，縦軸が，そのような発話の度数を表す．
右側のグラフは，解り易さのため，左側のグラフを加工したものである．
0から24までのラベルの数を5区間に区切り，各区間の積算値をプロットしてある．
このグラフから，破綻ラベル\batsu が過半数以上に付与されてる発話の数は少なく，人により揺れが大きいことが読み取れる．
また過半数以上が\sankaku を付与している発話はほとんどないことも分かる．
\maru については一致し易いが，\sankaku \batsu について一致しにくいということを表している．
\sankaku と\batsu を併せて計数した場合のグラフは，図中の\maru のグラフを左右反転させたものに等しくなる．

\begin{figure}[t]
\begin{center}
\includegraphics{23-1ia3f7.eps}
\end{center}
\caption{各ラベルを付与された数毎の発話数（横軸：付与されたラベルの数，縦軸：発話の度数）}
\begin{center}
\small 左図：元データ，右図：5区間に集約した結果
\end{center}
\label{hist}
\end{figure}

\maru の数と，\sankaku と\batsu を併せた数とが12対12で半分に割れた発話の分析も行った．すると，表面的
には間違ってるとは言えないけれども，違和感がありそうな応答が多かった．「こういうことは普通ここでは言
わない」という印象は持つものの，なぜそれを言わないかの説明が難しいものが多い．また，発言の意図が読み
にくそうな発話，ユーザの話を聞いていないと感じられる発話，社会的に問題がある発話，ふざけているように
も見える発話なども判断が割れていた．これらの判定を分析することは，対話における認知の研究として学術的
に面白い課題となり得る．
以下は，評価が半分に割れた発話（下線部）を含む対話の例である．

\begin{itemize}
\itemsep=-1mm
\item[U:]	他に好きな楽器はありますか？
\item[S:]	サックスがいいですね
\item[U:]	サックスは木管楽器なんですよね
\item[S:]	相性がいいですね
\item[U:]	台風は大丈夫でしたか
\item[S:]	台風は必要です
\item[U:]	雨は必要ですよね
\item[S:]	\underline{朝から雨が降るのです}
\end{itemize}

\noindent これは発話の意図が読みにくいため，「それがどうしたのか」という印象を受ける発話である．

\vspace{\lineskip}

\begin{itemize}
\itemsep=-1mm
\item[U:]	夏って感じがします\samepage
\item[S:]	海は騒がしいですよねえ\samepage
\item[U:]	海に行くと盛り上がりますもんね\samepage
\item[S:]	海は静かなんですよねー\samepage
\item[U:]	騒がしいのか静かなのかどっちですか\samepage
\item[S:]	\underline{海はサイコーですよねえ}\samepage
\item[U:]	サイコーですねえ\samepage
\end{itemize}

\noindent これは人によっては，質問に答えずにごまかしているように感じられるだろう発話である．


\subsection{コメントに基づく破綻の分類}
\label{commentcats}
 
init100中の一部の対話について，アノテータによって対話破綻箇所に付与されたコメントを人手で分類し
たところ，大きく「同じ内容の繰り返し」「矛盾した内容」「発話として唐突」「ユーザ発言内容の無視」「質
問に答えていない」に分類できることが分かった．

\begin{description}
\item[同じ内容の繰り返し]{表層としては少し異なっていたとしても内容として同じものを繰り返す場合，破綻
    とアノテーションされることが多かった．たとえば，「美味しいですね」「いいですね」などと同じような
    発話を繰り返す場合である．}
\item[矛盾した内容]{システム発話間で矛盾が見られる場合は破綻とされることが多かった．たとえば，「イチ
    ゴが好き」という発言の直後に「リンゴが好き」と発言するなど，一貫性を欠く発話は問題視された．}
\item[発話として唐突]{「おはようございます」に対して「明けましておめでとうございます」のように，
    文脈とは関係のない発言を突然行うことがあり，このような発話は破綻とされていた．}
\item[ユーザ発言内容の無視]{対話はお互いが協調して進めていくものであるので，ユーザ発話を全く受けずに
    システムが発話を行った場合には対話の破綻とみなされることが多かった．たとえば，旅行の話をしていて
    「車で行きましょう」とユーザが話しかけたのに「車はかっこいいですね」と車そのものについて言及した
    りする場合である．}
\item[質問に答えていない]{ユーザ発言内容の無視に近いが，特に質問に答えていないものが破綻とされていた．
    たとえば，「チワワは欲しいですね」とシステムが話し，それに応じてユーザが「飼う予定はあるの？」と
    質問したが，システムは「チワワはいいらしいですよ」と答えたような場合である．}
\end{description}
 
\noindent 上記以外にも口調の唐突な変化などが，問題のある現象として観察された．さらに詳しい分類に
ついては\ref{sec:categorization}節で述べる．


\section{残りの対話へのアノテーション}
\label{sec:annotation2}

init100に対するアノテーション結果について，タスク参加者で議論を行った結果，残りの1,046対話
（以後，\textbf{rest1046}と呼ぶ）のアノテーションについては，1対話につき2人で実施するという結論に至った．
2名とした理由は以下の通りである．

\begin{itemize}
\item 人的・経済的コストの面から，アノテーションにかかる作業量は最小限が望ましい．
\item アノテーションのコストを最小化できるのは1名でアノテーションを行う場合であるが，この場合，アノテー
  タ間の揺れのために，破綻とされるべき発話が見逃されてしまう可能性がある．よって，複数名が望ましい．
\item 前述の分析でアノテータは大きく2つのクラスタに分かれることが分かっている．これらの2つのクラスタ
  から1名ずつ割り当てることで，見逃しを最も効率的に減らせる可能性がある．
\end{itemize}

実際に，init100にアノテーションをした24人からランダムに$N$人をランダムに選んだ場合と，C1とC2の両クラスタから
$N/2$人ずつ選び出した場合とで，図\ref{plot}と同じ方法でラベル分布の距離を比較すると，
図\ref{cluster_vs_random}に示す結果になる．
C1，C2のクラスタから1人ずつ，計2名選んだ場合の結果は，
全体からランダムに3人選んだ場合と4人選んだ場合の中間程度になっており，
より少ない人数で全体での分布に近い結果を得られることが分かる．

\begin{figure}[b]
\begin{center}
\includegraphics{23-1ia3f8.eps}
\end{center}
\hangcaption{24人のラベル分布とランダムサンプリングした$N$人のラベル分布の異なりの比較：完全にランダムな場合 (random) と，クラスタC1・C2を考慮した場合 (cluster) }
\label{cluster_vs_random}
\end{figure}

1,046対話をランダムに11個のサブセット(a--k)に分割した．a--jの10個のサブセットはそれぞれ100対話を含み，
最後のサブセットkだけが46対話を含む．

アノテーションには，22名のアノテータの協力が得られることになった．22名のうち19名が，init100に対するアノテーションに参加していたアノテータである．
まずこの19名について，図\ref{cluster}のクラスタに基づき，2つの大クラスタC1およびC2からなるべく1名ずつのアノテータが割り当てられるように，サブセットkを除く10サブセットに割り当てた．
その後残りの3名を同10サブセットに割り当てた．
1名当りの分担量を2サブセットと固定して22名を10サブセットに割り当てたので，i, jの2つのサブセットだけ3名のアノテータを割り当てた．
サブセットkについては，余力のある2名に割り当てた．

アノテータが各対話にアノテーションを行う方法は，init100の場合（\ref{sec:annotation1}節）と同じである．
アノテーションの結果の分布を表\ref{distribution2}に示す．init100よりも，\sankaku の割合が増えているが，
\sankaku と\batsu を併せて見た場合には，init100のときとほぼ同じ分布と考えられる．
また，各サブセット毎のFleissの$\kappa$値を表\ref{11kappa}に示す．
\mod{2名のアノテータが同じ判断傾向を持つかどうかによって，サブセット間で$\kappa$値にばらつきが生じているが，全体平均としてはinit100とほぼ同じ値になっている．}

\begin{table}[b]
\caption{rest1046中の\maru \sankaku \batsu  の発生割合（発生数）}
\label{distribution2}
\input{03table06.txt}
\end{table}
\begin{table}[b]
\caption{サブセットa--k毎のFleissの$\kappa$値（i, jのみ3名でのアノテーション，その他は2名ずつ）}
\label{11kappa}
\input{03table07.txt}
\vspace{4pt}\small
\hfill   （*マクロ平均）
\end{table}

rest1046全体について，2名のアノテータが付けたラベルの組み合わせ毎の頻度と割合を
\mod{図\ref{confusion}に示す}
（計算にあたりサブセットi, jの3人目のアノテーションは利用していない）．
先に述べたように，アノテータは\maru を多く付ける傾向のクラスタC1と，そうでないクラスタC2とに大きく分かれており，
各サブセットに割り当てるアノテータは，なるべく2つのクラスタから1名ずつ選ぶようにした．
\mod{図\ref{confusion}}
では，整合した判定である(\batsu,\batsu)の組よりも，矛盾した判定である(\maru,\batsu)の方が数が多くなってしまっているが，
これは上記の割当の結果を反映しているもので想定内の結果であると同時に，
破綻の捉え方が人によって異なることを改めて示している．

rest1046のアノテーションに際しては，
担当する対話の最初の5対話と最後の5対話，計10対話だけ，\sankaku，\batsu をつけた箇所には，必ずその判断理由をコメントとして書くことを求めた．
\pagebreak
これにより，総数で3,748個，異なりで2,468個のコメントを得た．
\mod{アノテーション作業は2014年12月2日から20日の間に行った．}

\begin{figure}[t]
\begin{center}
\includegraphics{23-1ia3f9.eps}
\end{center}
\caption{2名のアノテータによるラベルの組み合わせの頻度と割合}
\label{confusion}
\end{figure}


\section{対話破綻の類型化}\label{sec:categorization}

本節では，収集したデータを基に策定を進めている対話破綻の分類体系の，現時点での案と課題について議論する．
\ref{sec:annotation1}節ではinit100に対して付与された \sankaku，\batsu の破綻アノテーションに付随するコメントを大まかに分類した結果を示したが，
ここではそれを土台としつつ，rest1046に対して付与されたコメントを分析し，雑談対話における対話破綻の類型化を行った結果を示す．

対話が，ある発話によって破綻するとき，原因はその発話だけにあるとは限らない．
もちろん，その発話が文法的におかしなものであったり，意味がわからなかったりする場合もある．
しかし，その発話が文として正しいものであったとしても，
「相手の発話に対して，このように応答するのはおかしい」場合や，「前に言ったことと矛盾している」という場合においても，対話の継続が困難となる．
このように，対話の破綻を分析するに当たっては，
当該発話そのものに原因があるのか，または広い意味での文脈（直前の発話，対話履歴，状況なども含む）
に原因があるのかを特定する必要がある．

また，破綻が生じた原因が存在する範囲が同じであっても，その内容は様々である．
必要な情報の欠落や曖昧性のために意味が特定出来ない場合や，意味が特定できても
文脈と矛盾する場合，矛盾はしなくても冗長な場合などがある．

そこで
まず，破綻の根拠となっている情報に基づき大分類を決定し，その後，破綻の種類を表す小分類を決定した．
大分類は，破綻を認定する際にどの範囲に関連した破綻であるかという基準で，以下の4つに決定した（図\ref{wg2}参照）．

\clearpage

\begin{figure}[t]
\begin{center}
\includegraphics{23-1ia3f10.eps}
\end{center}
\hangcaption{大分類を決める基準（範囲の違いを模式化した図であり，図中の発話は必ずしも各ケースに実際に該当する発話ではない）．太字は破綻と認定された発話．}
\label{wg2}
\end{figure}

\begin{itemize}
\item 発話\\
　当該システム発話のみから破綻が認定できるケース．典型的には非文が該当する．「意味不明」というコメントの場合でも，この発話単独で意味がわからないのではなく，前の発話や文脈との関係で意味が取れない，というケースがあるので注意した．

\item 応答\\
　直前のユーザ発話と当該システム発話から破綻が認定できるケース．典型的には，発話対制約違反や，前発話の話題を無視した応答などが該当する．あくまでもそれまでの対話の流れは無視して，1つ前の発話との関係だけで判断した．

\item 文脈\\
　対話開始時点から当該システム発話までの情報から破綻が認定できるケース．典型的には，対話の流れから判断できる不適切な発話・矛盾する情報の提供・不要な繰り返しなどが該当する．

\item 環境\\
　破綻原因が，「環境」すなわち「外部要因」にあり，上記の3分類には当てはまらないケース．典型的には，一般常識に反するシステム発話が該当する．
\end{itemize}


\subsection{対話破綻の分類体系案}

表\ref{wg4}に示す対話破綻の分類体系案を考案した．
「発話」・「環境」の大分類については，
検討の段階で多数を占めた「誤り」と分類される発話に対して，より分解能が高まるようにそれぞれ小分類を設定した．

\begin{table}[t]
\caption{分類体系草案}
\label{wg4}
\input{03table08.txt}
\end{table}

一方，「応答」・「文脈」の大分類においては，\cite{bernsen1996principles,dybkjaer1996grice}に倣い，
対話における協調の原則であるGriceの公準\cite{gri:log}に基づき小分類を設定した．
\mod{Grice の公準は，量・質・関係・様態の各公準からなるもので，対話において参
与者が遵守するように期待されている原則である．つまり，ユーザの直前の発話
あるいはこれまでの対話履歴を受けてなされるシステム発話が守ると期待されて
いる原則であるので，一般的にはこの原則が守られていないと，ユーザはシステ
ムの発話意図を推測することができずに，対話が破綻すると考えられる．}
\cite{bernsen1996principles,dybkjaer1996grice}は，課題指向対話のエラー分析にGriceの公準を用いて，一定の成果を得ている．
アノテータのコメントに「答えていない」「無視しすぎ」「唐突すぎる」といった「違反」を示唆するものが多かったことも，
対話の「規範」であるGriceの公準を用いた理由の1つである．
破綻を分類することの一義的な目的は，ユーザが破綻であると考えた箇所で，システム内部のどこに問題（エラー）
があったのかを探ることであり，それを知ることによって，システムの改善が可能になる．
しかしながら，一般にシステム内部でおきたエラーを対話の表面から直接特定することは難しい．
\mod{そこで，
システムが何をしてしまったのか（どういう問題行動をしたか）を
Grice の公準に基づいて分類することを基本とし
た．ただし，問題行動の原因が比較的解り易いエラーについては，
「応答」大分類中の「誤解」および「文脈」大分類中の「不追随」として追加した．}

以下で，大分類毎に，小分類について事例を基に説明する．


\subsubsection{「発話」の小分類}

基本的に，システム発話の生成過程に問題がある場合が該当する．「非文」の概念に近い．

\begin{itemize}
\item 構文制約違反（構文制約違反）\\
　必須格の欠如や助詞の誤りなどが原因で，発話内容が理解できないもの．\\
例）「S: 熱中症に気をつけか？？」
\item 意味制約違反（意味制約違反）\\
　意味素性の異なる語の組合せなどが原因で，発話内容が理解できないもの．\\
例）「S: 便乗に重ねますよねえ」
\item 不適切発話（不適切発話）\\
　発話として機能を果たさないもの．\\
例） 「S: ちゅっちゅ」
\end{itemize}


\subsubsection{「応答」の小分類}

前発話との関係において協調の原則が守られていない破綻を，Griceの公準に基づいて分類する．
誤解は内部的なエラーであり，対話行動自体の問題ではないが，比較的解り易いので小分類として加えた．

\begin{itemize}
\item 量の公準違反（情報過不足）\\
　前発話に対して，応答に含むべき内容が欠落している，あるいは，不要な内容が含まれており，
これが会話の進行を阻害する場合．\\
例）「U: ラーメンが好きです」→「S: 豚骨で有名ですね」

\item 質の公準違反（不理解）\\
　前発話と矛盾する内容の発話．前発話の話題に追随しながらも，
前発話で示された命題内容と矛盾する命題内容を含む場合．
なお，意味理解の失敗などによって生じる「ずれ」を含む発話は，関係の公準違反とする．\\
例）「U: 最近，山登りを始めました」→「S: 山登りが出来ないのですか？」

\item 関係の公準違反（無関係）\\
　発話対として不自然な発話で，これによって会話の継続ができなくなっている状況．あるいは，
前発話の意味内容と関係しない内容の発話を行った場合．相手の発話を無視している状況を含む．\\
例）「U: それでは，趣味はなんですか？」→「S: 最後に旅行されたのはいつですか？」

\item 様態の公準違反（意図不明）\\
　発話意図の曖昧性のため，会話の継続ができなくなっている状況．\\
例）「U: 退屈は嫌いですか？」→「S: 退屈は心ですね」

\item 誤解（誤解）\\
 　内容の解釈エラーによって，不適当な発話になっている状況．多義語の意味の取り違いなどが該当する．\\
 例）「U: スイカを食べたらお腹を壊します」→「S: スイカで買い物できてるのですか？」

\end{itemize}


\subsubsection{「文脈」の小分類}

基本的には，「応答」の小分類と同様の考え方で，協調の原則に対する違反
で分類する．

\begin{itemize}
\item 量の公準違反（不要情報）\\
　与える情報が何もない無情報発話，あるいは，これまでの文脈に出現した発話の不要な繰り返し．\\
例）海に行っていないという文脈において：「S: 海に行かないなあ」

\item 質の公準違反（矛盾）\\
　これまでの文脈と矛盾する内容の発話．また，これまでの話題に対する態度（Positive/Negativeの極性）が急に転換する発話．\\
例）人間関係が薄いという文脈において：「S: 人間関係は深いです」

\item 関係の公準違反（無関係話題）\\
　これまでの文脈における話題から逸脱する発話．話の主たる話題ではなく，直前のユーザ発話中の話題語でない単語から話を展開させてしまうような場合が典型例．\\
例）定期券を無くすという文脈において：「U: 首からかけておくとか？」→「S: 左右に振りますよねえ」

\item 様態の公準違反（関連性不明）\\
　話題は継続しており，直前発話との関係だけで見ると意味が通るように見えるが，それ以前の文脈を踏まえると，その発話の意図が理解できない状況．\\
例）薬の話題において：「S: 薬は大丈夫ですね」

\item 話題展開への不追随（不追随）\\
 　ユーザからの話題の展開が起こっているにも関わらず，それに追随できていない状況．\\
例）ドイツの話題の後：「U: あなたは海外経験ありますか？」→「S: ドイツは小売価格が高いです」

\end{itemize}


\subsubsection{「環境」の小分類}

会話の文脈以外の原因で生じた破綻を分類する．

\begin{itemize}
\item 無根拠（共通基盤欠如）\\
　根拠のない，一方的な主張．\\
例）「S: マグロは鮮度が悪いですよねえ」

\item 矛盾（一般常識欠如）\\
　一般的に正しいと信じられている常識と矛盾する発話．\\
例）「S: 熱中症はいいですね」

\item 非常識（社会性欠如）\\
　罵詈雑言など，対話相手との社会的関係を破壊する発話．あるいは口調（人格や社会的属性）が突然変化する発話．\\
例）「S: プールはいいですね」→「U: 探しとくね」→「S: 知らんのかい」

\end{itemize}


\subsection{分類体系草案の課題}

考案した分類体系は一見よく纏まっており，それなりの一致度で分類を行えることが期待できた．
そこで，破綻アノテータが付けたコメントを参考にしながら，タスク参加者で予備的に破綻の分類を行ってみた．
しかしながら，予想以上にアノテータ間で一致しないことがわかった（$\kappa$値で0.1から0.3程度の範囲）．
個々人の主観に任せた破綻アノテーションでは低めの一致度でもよいが，
破綻の分類についてはなるべく客観性の高い分類ができることが望ましい．

破綻の分類においてアノテータ間の不一致が大きい原因が，
主にアノテーションの手順や教示，アノテータの訓練不足などにあるのか，
それとも分類体系自体にあるのか，まだはっきりしていないが，少なくとも以下のような課題が分かっている．

\begin{itemize}
\item 検討に際しての分類作業は排他的に一発話・一分類で行ったが，複数の大分類に渡ると思われる破綻がいくつか見られた．
例えば，非文・発話対制約違反・話題からの逸脱のように，複数の大分類に渡る破綻が同時に起こることがあり得る．

\item 発話の意味制約違反については，典型的な例は「発話」レベルのものと判断しやすいが，解釈次第であることも多い．
例えば，「仕事は真面目ですね」という発話は，「仕事」を一般的な概念として捉えれば意味制約違反と判断できるが，
ある個人の「業績・仕事ぶり」を意味すると解釈すれば，発話のレベルでは問題がないことになる．
「文脈という概念を持ち込むと，文の意味と発話（話し手）の意味を区別することはもはやできない\cite{Levinson00}」
という見方に立てば，そもそも意味制約違反の小分類を「発話」のレベルに設けることが不適切かもしれない．

\item 誤解は，直前の発話に対するものという定義から「応答」の大分類に含めていたが，実際には文脈まで見ないと
誤解とは言えない場合も見つかった．
これも「応答」でなく「文脈」に含めるか，あるいは「応答」「文脈」の両方に設ける必要があると思われる．

\item 分類の問題というよりは，多分に破綻の認定自体の問題であるが，
読み手側の知識不足や，表現に対する不慣れによって解釈できなかったため，破綻とされていることもある．
例えば，「みんっ」という発話は，意味のある表現に解釈できない人と，「見ない」という意味に解釈できる人がいる．
この場合，結果的に，破綻の分類も人により異なってくる．

\item 「応答」「文脈」のレベルに導入したGriceの公準に基づく分類は，特に一致率が低かった．
これは現状のシステムが出力する発話が，
自分のことなのに伝聞で話すなどの不自然な様態や，対話相手のキャラクタが突然変わるなど，
通常の人同士の対話で見られないようなものであるために，解釈が難しいことも一因であると考えている．
Griceの公準に基づく類型化は，典型例の整理・説明には有用であっても，
あまり典型的ではない破綻の分類には適していない可能性がある．
そうだとすれば，小分類のレベルで，各公準違反を事例別にさらに細分化するか，
あるいは別の視点での分類を用意する必要がある．
\end{itemize}


\section{関連研究}
\label{sec:relatedwork}

本研究では，非課題指向型対話（雑談対話）に焦点を絞っているが，課題指向型対話システムの文脈では対
話システムのエラー分析は活発に行われてきており，いくつものエラーの分類体系が提案されている．

まず，Clarkの提案するコミュニケーション階層モデルに基づくエラーの分類体系\cite{clark1996using}
が挙げられる．Clarkによれば，
コミュニケーションのエラーは4つのレベルからなっている．チャネルレベル，信号レベル，意図レベル，会話レ
ベルである．チャネルレベルとはやり取りが開始されているかどうかに関わる．信号レベルとはシンボルのやり
取りに関わり，意図レベルは対話相手の意図の認識に関わる．会話レベルは，共同行為に関わるものである．下
位レベルのエラーが起きていれば，上位レベルでもエラーとなり (upward causality)，上位レベルにエラーが
なければ，下位レベルにエラーがないとされる (downward evidence)．このような階層に基づいて，会議室予約
システムの不理解によるエラーを分析するという研究がなされている\cite{bohus2005sorry}．
また，スマートホームとレストラン情報案内というドメインにおいて，同様の分析もなされている\cite{moller2007analysis}．
PaekはClarkの4つの階層が対話システムのエラー分析に一般性を持っているということを，
教育や医療といった複数分野での対話分析の事例から議論している\cite{paek2003toward}．

本論文ではGriceの公準\cite{gri:log} をエラーの類型化に用いているが，課題指向型対話システムのエラー
分析においてもGrice の公準は利用されてきた．Dybkj{\ae}r et al. \shortcite{dybkjaer1996grice} およ
び Bernsen et al. \shortcite{bernsen1996principles} はフライト情報案内システムのエラー分析をGrice 
の公準および独自の対話分析から得られた知見をもとにエラーの類型化を行っている．たとえば，Grice の公
準以外の要素として，対話の非対称性，背景知識，メタ対話能力に関わるエラーが挙げられている．電話応答シ
ステムにおける対話評価の観点として，Griceの公準に基づく要素を導入することも提案されてい
る\cite{moller2005parameters}．

特定のモデルや理論をベースにするのではなく，特定のシステムや対話ドメインの対話を綿密に分析することに
よりエラーを類型化した例も多い．Aberdeen and Ferro はフライト情報案内システムの分析により，命令に応答
しない，何度も同じプロンプトを表示するなどのエラーに類型化している\cite{aberdeen2003}．また，
Greenらによって対話機能を持つサービスロボットについてもエラー分析がされており，ロボットに特有のエラーとして，動作と発話の
タイミングがずれるというエラーや，指さしなどのポインティング動作のエラーなどが独自のカテゴリとして分
類されている\cite{green2006integrating}．
Dzikovskaらは，教育対話システム (tutoring system) のエラーの類型化を行っている\cite{dzikovska2009dealing}．

対話システムはいくつかのモジュールから構成される．このため，エラーの類型化の一つの方法として，エラー
を起こしたモジュールがどれかによって分類する研究もある\cite{ward2005root}．たとえば，音声認識，音声
理解，発話生成，音声合成といった単位でエラーを類型化する．音声認識によるエラーが多ければ，音声認識モ
ジュールを改善すればよいという方針に繋がる．モジュール構成が明確で，各モジュールのエラーが比較的独立
と考えられるのであれば，このような類型化の手法は有効である．

本研究の類型化の手順は\cite{dybkjaer1996grice}のものに近い．Grice の公準を用いながら，対話コーパ
スについて独自の分析を行いエラーを類型化しているからである．本研究とDybkj{\ae}rらのものとの違いは，本
研究が雑談対話システムを扱っていることである．課題指向型対話システムに比べタスクやドメインの制約が
少ない雑談対話において，エラーの定義，どのようなエラーが起こりうるかは把握されてこなかった．本研究は，
そのような背景に基づき，雑談対話コーパスの作成およびその類型化を行ったものである．なお，本研究で
はClarkの階層モデルは用いていない．これは，主にテキスト対話を扱っていることによる．テキストのやり取り
であれば，チャネルレベルと信号レベルのやり取りは基本的に担保されており，残りの二つの階層のみに基づい
て分類をすることになる．雑談対話の内容の複雑さを鑑みればこの粒度は粗い．また，モジュールごとにエラー
を分析する方法論についてであるが，雑談対話システムの構成は複雑であり，単体のモジュールにエラーの分析
を起因させることは難しい．また，エラー分析として対話システムの内部構造に立ち入らない方が，システムに
依らないエラー分析が可能であり，特定のシステムに依存しない，汎用性の高いエラーの類型化が期待できる．

なお，雑談対話システムのエラー分析は，対話破綻の自動検出につながるものとして期待されている．自動検出
ができれば，対話システムが自身の発話を行う前に，その発話に問題があれば，別の発話候補に切り替えるといっ
たことが可能になる．また，何らかのエラーを伴う発話をしてしまった後に，自身の誤りに気づいて，それを訂正
するといったことも可能となる．

課題指向型の音声対話対話システムの文脈では，音声認識，発話理解，対話管理などの各モジュールから得ら
れる特徴量から対話に破綻が起きているかどうかを判定する手法がいくつか提案されている．たとえば，Walker
ら\cite{walker2000}やHermら\cite{herm2008calls}は，
コールセンタにおける通話について，問題が起こっているかどうかを数ターンで判定する判定器を機械学習の手
法で構築している．対話中のユーザの満足度の遷移を推定する研究もされている\cite{schmitt2011modeling}．
これらは雑談対話を扱ってはいないが，目的意識は本論文での取り組みと近い．

雑談対話においては，Chaiらがユーザの対話行為の系列の情報を用いて，問題のある質問応答ペアかどうかの判
別を行っている\cite{chai2006towards}．Xiangらは，対話行為に加え，感情の系列を用いることで，
雑談対話における問題発話の検出を行っている\cite{xiang2014problematic}．
Higashinakaらも，
雑談対話システムの発話の結束性をさまざまな素性から推定する手法を提案している\cite{higashinaka2014evaluating}．
しかしながら，これらの研究は精度がいまだ高いとは言えず，
また，対話破綻の類型化なども行われていない．今後エラー分析を詳細に行うことで，対話破綻の原因を明らかにし，高精度な破綻検出を実現したいと考えている．


\section{おわりに}\label{sec:summary}

本論文では，雑談対話におけるエラー分析にむけた人・機械間の雑談対話コーパスの構築\mod{と対話破綻のアノテーションについて}報告した．
そして，構築したコーパスに含まれる破綻を分析し，考案した破綻の分類体系について議論した．

\mod{アノテーション方法の開発にあたっては，破綻の認定における主観性の高さを認めつつ，許容可能な範囲のコストで，客観的な分析の対象となりうる有用なデータを得られるように，著者らを含む15拠点からの研究者で議論・試行し，工夫を施した．今回報告した方法と結果は，破綻に関する今後のコーパス構築に限らず，同じように主観性の高い別種の言語現象についてのコーパス構築においても手法開発の参考として寄与するものと考える．}

構築したコーパスでは，対話を破綻させているシステムの発話に対して，複数の作業者によって
ラベルとコメントが付与されている．
破綻の判断については，事細かなガイドライン・判定方法は示さず，各個の主観に基づいたアノテーションを行った．
このためアノテーションの一致率はそれほど高くないが，システムとの対話に対して人間が不満を持つ点，持たない点，その個人差について，興味深いデータを収集できた．
\mod{また，アノテータ間の一致についての分析からは，破綻でない発話よりも破綻発話のほうが判定が揺らぎがちであること，アノテータが大きな傾向の違いを持つグループに分かれる可能性があること，などが明らかになった．}

\mod{一方で，今回のコーパス構築手法には，改善の余地があることも確かである．}
破綻の判定が揺らぐ要因の1つとして，ユーザが想定した対話相手のイメージの違いが存在する．
今回は「待合室や飛行機などで隣り合った見知らぬ人」とだけ指定したが，性別・年齢・性格など，ユーザができる想定には依然大きな自由度があった．
例えば，子供染みた発言や冗談は，想定する相手によって許容できる範囲が変わってくる．
今後のデータ収集においては，対話相手のイメージをもっと細かくユーザに指定する，
あるいは対話前にユーザが想定した相手のイメージ，対話後に残った相手のイメージを，
対話データと同時に収集すると，より踏み込んだ分析が可能になるだろう．

\mod{
アノテーションにおける，破綻を含む先行文脈の扱いについても，さらなる検討が望まれる．
例えば，今回は破綻があったところで対話がリセットされたとはせず，破綻も含めて先行文脈として作業を行うように指示をした．
これにより，会話が進んでいけばいくほど破綻が認定されやすくなった可能性があるが，
一度破綻したことで文脈上の制約が減り破綻が認定されにくくなっていた可能性もある．}

これまで人・機械の雑談対話を体系的に収集し，整備したコーパスは存在せず，
今回の収集は初の試みである．今回構築したコーパス中の雑談対話は，1つの雑談システム
だけを用いて収集したものであるので，破綻の種類の網羅性やその分布の普遍性について
言えることには限りがあるが，システム構築に使用した雑談APIは\cite{higashinaka-EtAl:2014:Coling}
に基づく，現時点で最も複雑な雑談システムの1つであり，少なくとも網羅性については
他のシステムを利用した場合と同等かそれ以上，確保できていると考えている．
今後，他の雑談システムを使い，本論文で示した方法でデータの収集とアノテーション・分析
を行っていくことで，破綻の分布の普遍性を高め，現在の雑談技術・自然言語処理技術
が抱える課題により深くアプローチできると期待している．

本稿で示した破綻の分類体系の草案にはまだ改善しなければならない点があるが，
破綻の種類を事例的に整理したことで，雑談対話で起こりうる問題について一定の
見通しを示すことができた．雑談対話において破綻の種類を分類しようする際に
何が問題となるのかを明らかにしたことも，今回の取り組みで得た成果の1つである．

今回構築したコーパスは，破綻検出技術の開発・評価データとして利用することができる\footnote{本論文掲載時点で，コーパスは次のURLで公開されている：\\ https://sites.google.com/site/dialoguebreakdowndetection/chat-dialogue-corpus\\
また，本コーパスの公開にあわせて開催された破綻検出チャレンジの結果が，\cite{higashinaka-EtAl:2015:DBD}にまとめられている．}．
雑談システム自体はそれぞれの目的や利用状況，対象ユーザの想定などが異なるため，
直接に比較することが難しく，システム内部の技術的課題について研究者間で議論することが難しい．
しかし，雑談システムの入出力であるテキストだけを対象とし，複数の機関が並行して
共通のデータで破綻検出技術について開発とエラー分析を進めれば，
より一般性の高い議論ができるし，
そこから各々の雑談システム自体の技術課題に対しても知見を得られるだろう．
また開発された破綻検出技術は，
それ自体，多くの研究者・開発者にとって有用なツールを提供できるだろう．

今後は，別システムでのデータの収集や破綻の分類体系の改良を行いながら，
破綻検出技術の研究を進めていきたい．


    \acknowledgment

対話データの収集，および，対話破綻アノテーションにご協力頂いた
Project Next NLP 対話タスクの拠点参加者とその関係者の皆さま，
対話データ収集のためのシステム構築とサーバ運営にご協力いただいた広島市立大の稲葉通将氏に感謝いたします．
\mod{システム構築には株式会社NTTドコモの雑談対話APIを使わせていただきました．}

本稿の著者は，タスク共同リーダ2名と，\ref{sec:categorization}節の類型化に直接的に貢献したワーキンググループのメンバに限っていますが，その他の拠点参加者の方々におかれても，電話会議やメーリングリストでの議論を通じて本稿の執筆に様々に貢献していただきました．一人一人お名前を挙げるのは控えさせていただきますが，改めて拠点参加者の皆さまのご協力にお礼申し上げます．

最後になりますが，有益なコメントをいただいた\mod{編集委員・査読者}の皆さまにお礼申し上げます．

\bibliographystyle{jnlpbbl_1.5}
\begin{thebibliography}{}

\bibitem[\protect\BCAY{Aberdeen \BBA\ Ferro}{Aberdeen \BBA\
  Ferro}{2003}]{aberdeen2003}
Aberdeen, J.\BBACOMMA\ \BBA\ Ferro, L. \BBOP 2003\BBCP.
\newblock \BBOQ Dialogue Patterns and Misunderstandings.\BBCQ\
\newblock In {\Bem Proceedings of ISCA Workshop on Error Handling in Spoken
  Dialogue Systems}, \mbox{\BPGS\ 17--21}.

\bibitem[\protect\BCAY{Banchs \BBA\ Li}{Banchs \BBA\ Li}{2012}]{Banchs2012}
Banchs, R.~E.\BBACOMMA\ \BBA\ Li, H. \BBOP 2012\BBCP.
\newblock \BBOQ IRIS: A Chat-oriented Dialogue System Based on the Vector Space
  Model.\BBCQ\
\newblock In {\Bem Proceedings of the ACL 2012 System Demonstrations},
  \mbox{\BPGS\ 37--42}.

\bibitem[\protect\BCAY{Bang, Noh, Kim, \BBA\ Lee}{Bang et~al.}{2015}]{bang2015}
Bang, J., Noh, H., Kim, Y., \BBA\ Lee, G.~G. \BBOP 2015\BBCP.
\newblock \BBOQ Example-based Chat-oriented Dialogue System with Personalized
  Long-term Memory.\BBCQ\
\newblock In {\Bem Proceedings of BigComp}, \mbox{\BPGS\ 238--243}.

\bibitem[\protect\BCAY{Bernsen, Dybkj{\ae}r, \BBA\ Dybkj{\ae}r}{Bernsen
  et~al.}{1996}]{bernsen1996principles}
Bernsen, N.~O., Dybkj{\ae}r, H., \BBA\ Dybkj{\ae}r, L. \BBOP 1996\BBCP.
\newblock \BBOQ Principles for the design of cooperative spoken human-machine
  dialogue.\BBCQ\
\newblock In {\Bem Proceedings of ICSLP}, \lowercase{\BVOL}~2, \mbox{\BPGS\
  729--732}.

\bibitem[\protect\BCAY{Bickmore \BBA\ Cassell}{Bickmore \BBA\
  Cassell}{2001}]{Bickmore2001}
Bickmore, T.~W.\BBACOMMA\ \BBA\ Cassell, J. \BBOP 2001\BBCP.
\newblock \BBOQ Relational Agents: A Model and Implementation of Buliding User
  Trust.\BBCQ\
\newblock In {\Bem Proceedings of CHI}, \mbox{\BPGS\ 396--403}.

\bibitem[\protect\BCAY{Bohus \BBA\ Rudnicky}{Bohus \BBA\
  Rudnicky}{2005}]{bohus2005sorry}
Bohus, D.\BBACOMMA\ \BBA\ Rudnicky, A.~I. \BBOP 2005\BBCP.
\newblock \BBOQ Sorry, I Didn't Catch That!---An Investigation of
  Non-understanding Errors and Recovery Strategies.\BBCQ\
\newblock In {\Bem Proceedings of SIGDIAL}, \mbox{\BPGS\ 128--143}.

\bibitem[\protect\BCAY{Chai, Zhang, \BBA\ Baldwin}{Chai
  et~al.}{2006}]{chai2006towards}
Chai, J.~Y., Zhang, C., \BBA\ Baldwin, T. \BBOP 2006\BBCP.
\newblock \BBOQ Towards Conversational QA: Automatic Identification of
  Problematic Situations and User Intent.\BBCQ\
\newblock In {\Bem Proceedings of COLING/ACL}, \mbox{\BPGS\ 57--64}.

\bibitem[\protect\BCAY{Clark}{Clark}{1996}]{clark1996using}
Clark, H.~H. \BBOP 1996\BBCP.
\newblock {\Bem Using Language}.
\newblock Cambridge University Press.

\bibitem[\protect\BCAY{Dybkj{\ae}r, Bernsen, \BBA\ Dybkj{\ae}r}{Dybkj{\ae}r
  et~al.}{1996}]{dybkjaer1996grice}
Dybkj{\ae}r, L., Bernsen, N.~O., \BBA\ Dybkj{\ae}r, H. \BBOP 1996\BBCP.
\newblock \BBOQ Grice Incorporated: Cooperativity in Spoken Dialogue.\BBCQ\
\newblock In {\Bem Proceedings of COLING}, \lowercase{\BVOL}~1, \mbox{\BPGS\
  328--333}.

\bibitem[\protect\BCAY{Dzikovska, Callaway, Farrow, Moore, Steinhauser, \BBA\
  Campbell}{Dzikovska et~al.}{2009}]{dzikovska2009dealing}
Dzikovska, M.~O., Callaway, C.~B., Farrow, E., Moore, J.~D., Steinhauser, N.,
  \BBA\ Campbell, G. \BBOP 2009\BBCP.
\newblock \BBOQ Dealing with Interpretation Errors in Tutorial Dialogue.\BBCQ\
\newblock In {\Bem Proceedings of SIGDIAL}, \mbox{\BPGS\ 38--45}.

\bibitem[\protect\BCAY{Green, Eklundh, Wrede, \BBA\ Li}{Green
  et~al.}{2006}]{green2006integrating}
Green, A., Eklundh, K.~S., Wrede, B., \BBA\ Li, S. \BBOP 2006\BBCP.
\newblock \BBOQ Integrating Miscommunication Analysis in Natural Language
  Interface Design for a Service Robot.\BBCQ\
\newblock In {\Bem Proceedings of IEEE/RSJ}, \mbox{\BPGS\ 4678--4683}.

\bibitem[\protect\BCAY{Grice}{Grice}{1975}]{gri:log}
Grice, H.~P. \BBOP 1975\BBCP.
\newblock \BBOQ Logic and Conversation.\BBCQ\
\newblock In Cole, P.\BBACOMMA\ \BBA\ Morgan, J.\BEDS, {\Bem Syntax and
  Semantics 3: Speech Acts}, \mbox{\BPGS\ 41--58}. New York: Academic Press.

\bibitem[\protect\BCAY{Herm, Schmitt, \BBA\ Liscombe}{Herm
  et~al.}{2008}]{herm2008calls}
Herm, O., Schmitt, A., \BBA\ Liscombe, J. \BBOP 2008\BBCP.
\newblock \BBOQ When Calls Go Wrong: How to Detect Problematic Calls Based on
  Log-files and Emotions?\BBCQ\
\newblock In {\Bem Proceedings of INTERSPEECH}, \mbox{\BPGS\ 463--466}.

\bibitem[\protect\BCAY{東中\JBA 船越\JBA 小林\JBA 稲葉}{東中 \Jetal
  }{2015}]{higashinaka-EtAl:2015:DBD}
東中竜一郎\JBA 船越孝太郎\JBA 小林優佳\JBA 稲葉通将 \BBOP 2015\BBCP.
\newblock 対話破綻検出チャレンジ.\
\newblock \Jem{言語・音声理解と対話処理研究会 第 75 回研究会（第 6
  回対話システムシンポジウム)}, 人工知能学会研究会資料 SIG-SLUD-75-B502\JVOL,
  \mbox{\BPGS\ 27--32}.

\bibitem[\protect\BCAY{Higashinaka, Imamura, Meguro, Miyazaki, Kobayashi,
  Sugiyama, Hirano, Makino, \BBA\ Matsuo}{Higashinaka
  et~al.}{2014a}]{higashinaka-EtAl:2014:Coling}
Higashinaka, R., Imamura, K., Meguro, T., Miyazaki, C., Kobayashi, N.,
  Sugiyama, H., Hirano, T., Makino, T., \BBA\ Matsuo, Y. \BBOP 2014a\BBCP.
\newblock \BBOQ Towards an Open-domain Conversational System Fully Based on
  Natural Language Processing.\BBCQ\
\newblock In {\Bem Proceedings of COLING}, \mbox{\BPGS\ 928--939}.

\bibitem[\protect\BCAY{Higashinaka, Meguro, Imamura, Sugiyama, Makino, \BBA\
  Matsuo}{Higashinaka et~al.}{2014b}]{higashinaka2014evaluating}
Higashinaka, R., Meguro, T., Imamura, K., Sugiyama, H., Makino, T., \BBA\
  Matsuo, Y. \BBOP 2014b\BBCP.
\newblock \BBOQ Evaluating Coherence in Open Domain Conversational
  Systems.\BBCQ\
\newblock In {\Bem Proceedings of \mbox{INTERSPEECH}}, \mbox{\BPGS\ 130--133}.

\bibitem[\protect\BCAY{稲葉\JBA 神園\JBA 高橋}{稲葉 \Jetal }{2014}]{Inaba2014}
稲葉通将\JBA 神園彩香\JBA 高橋健一 \BBOP 2014\BBCP.
\newblock Twitterを用いた非タスク指向型対話システムのための発話候補文獲得.\
\newblock \Jem{人工知能学会論文誌}, {\Bbf 29}  (1), \mbox{\BPGS\ 21--31}.

\bibitem[\protect\BCAY{小林\JBA 山本\JBA 大内\JBA 長\JBA 瀬戸口\JBA 土井}{小林
  \Jetal }{2011}]{Kobayashi2011}
小林優佳\JBA 山本大介\JBA 大内一成\JBA 長健太\JBA 瀬戸口久雄\JBA 土井美和子
  \BBOP 2011\BBCP.
\newblock
  安心でワクワクさせるロボット対話インタフェースを目指して：対話とセンサによる高齢者の健康情報収集.\
\newblock \Jem{電子情報通信学会技術研究報告 クラウドネットワークロボット},
  111\JVOL, \mbox{\BPGS\ 11--16}.

\bibitem[\protect\BCAY{Landis \BBA\ Koch}{Landis \BBA\ Koch}{1977}]{Landis77}
Landis, J.~R.\BBACOMMA\ \BBA\ Koch, G.~G. \BBOP 1977\BBCP.
\newblock \BBOQ The Measurement of Observer Agreement for Categorical
  Data.\BBCQ\
\newblock {\Bem Biometrics}, {\Bbf 33}, \mbox{\BPGS\ 159--174}.

\bibitem[\protect\BCAY{Levinson}{Levinson}{2000}]{Levinson00}
Levinson, S.~C. \BBOP 2000\BBCP.
\newblock {\Bem Presumptive Meaning: The Theory of Generalzied Conversational
  Implicature}.
\newblock MIT.
\newblock （邦訳：「意味の推定：新グライス学派の語用論」，研究社，2007）.

\bibitem[\protect\BCAY{Matsuyama, Akiba, Saito, \BBA\ Kobayashi}{Matsuyama
  et~al.}{2013}]{Matsuyama2013}
Matsuyama, Y., Akiba, I., Saito, A., \BBA\ Kobayashi, T. \BBOP 2013\BBCP.
\newblock \BBOQ A Four-Participant Group Facilitation Framework for
  Conversational Robots.\BBCQ\
\newblock In {\Bem Proceedings of SIGDIAL}, \mbox{\BPGS\ 284--293}.

\bibitem[\protect\BCAY{M{\"o}ller}{M{\"o}ller}{2005}]{moller2005parameters}
M{\"o}ller, S. \BBOP 2005\BBCP.
\newblock \BBOQ Parameters for Quantifying the Interaction with Spoken Dialogue
  Telephone Services.\BBCQ\
\newblock In {\Bem Proceedings of SIGDIAL}, \mbox{\BPGS\ 166--177}.

\bibitem[\protect\BCAY{M{\"o}ller, Engelbrecht, \BBA\ Oulasvirta}{M{\"o}ller
  et~al.}{2007}]{moller2007analysis}
M{\"o}ller, S., Engelbrecht, K.-P., \BBA\ Oulasvirta, A. \BBOP 2007\BBCP.
\newblock \BBOQ Analysis of Communication Failures for Spoken Dialogue
  Systems.\BBCQ\
\newblock In {\Bem Proceedings of INTERSPEECH}, \mbox{\BPGS\ 134--137}.

\bibitem[\protect\BCAY{大西\JBA 吉村}{大西\JBA 吉村}{2014}]{oonishi}
大西可奈子\JBA 吉村健 \BBOP 2014\BBCP.
\newblock コンピュータとの自然な会話を実現する雑談対話技術.\
\newblock \Jem{NTT DoCoMo テクニカル・ジャーナル}, {\Bbf 21}  (4), \mbox{\BPGS\
  17--21}.

\bibitem[\protect\BCAY{Paek}{Paek}{2003}]{paek2003toward}
Paek, T. \BBOP 2003\BBCP.
\newblock \BBOQ Toward a Taxonomy of Communication Errors.\BBCQ\
\newblock In {\Bem Proceedings of ISCA Workshop on Error Handling in Spoken
  Dialogue Systems}, \mbox{\BPGS\ 53--58}.

\bibitem[\protect\BCAY{Schmitt, Schatz, \BBA\ Minker}{Schmitt
  et~al.}{2011}]{schmitt2011modeling}
Schmitt, A., Schatz, B., \BBA\ Minker, W. \BBOP 2011\BBCP.
\newblock \BBOQ Modeling and Predicting Quality in Spoken Human-computer
  Interaction.\BBCQ\
\newblock In {\Bem Proceedings of SIGDIAL}, \mbox{\BPGS\ 173--184}.

\bibitem[\protect\BCAY{関根}{関根}{2015}]{NextNLPWS}
関根聡 \BBOP 2015\BBCP.
\newblock Project Next NLP 概要 (2014/3-2015/2).\
\newblock \Jem{言語処理学会第 21
  回年次大会ワークショップ：自然言語処理におけるエラー分析}.

\bibitem[\protect\BCAY{Walker, Langkilde, Wright, Gorin, \BBA\ Litman}{Walker
  et~al.}{2000}]{walker2000}
Walker, M., Langkilde, I., Wright, J., Gorin, A., \BBA\ Litman, D. \BBOP
  2000\BBCP.
\newblock \BBOQ Learning to Predict Problematic Situations in a Spoken Dialogue
  System: Experiments with How May I Help You?\BBCQ\
\newblock In {\Bem Proceedings of NAACL}, \mbox{\BPGS\ 210--217}.

\bibitem[\protect\BCAY{Wallace}{Wallace}{2004}]{Wallace2004}
Wallace, R.~S. \BBOP 2004\BBCP.
\newblock \BBOQ The Anatomy of A.L.I.C.E.\BBCQ\
\newblock \BTR, A.L.I.C.E Artificial Intelligence Foundation, Inc.

\bibitem[\protect\BCAY{Ward, Rivera, Ward, \BBA\ Novick}{Ward
  et~al.}{2005}]{ward2005root}
Ward, N.~G., Rivera, A.~G., Ward, K., \BBA\ Novick, D.~G. \BBOP 2005\BBCP.
\newblock \BBOQ Root Causes of Lost Time and User Stress in a Simple Dialog
  System.\BBCQ\
\newblock In {\Bem Proceedings of INTERSPEECH}, \mbox{\BPGS\ 1565--1568}.

\bibitem[\protect\BCAY{Wilcock \BBA\ Jokinen}{Wilcock \BBA\
  Jokinen}{2013}]{Wilcock2013}
Wilcock, G.\BBACOMMA\ \BBA\ Jokinen, K. \BBOP 2013\BBCP.
\newblock \BBOQ Wikitalk Human-robot Interacitons.\BBCQ\
\newblock In {\Bem Proceedings of ICMI}, \mbox{\BPGS\ 73--74}.

\bibitem[\protect\BCAY{Xiang, Zhang, Zhou, Wang, \BBA\ Qin}{Xiang
  et~al.}{2014}]{xiang2014problematic}
Xiang, Y., Zhang, Y., Zhou, X., Wang, X., \BBA\ Qin, Y. \BBOP 2014\BBCP.
\newblock \BBOQ Problematic Situation Analysis and Automatic Recognition for
  Chinese Online Conversational System.\BBCQ\
\newblock In {\Bem Proceedings of CLP}, \mbox{\BPGS\ 43--51}.

\end{thebibliography}

 
\begin{biography}
\bioauthor{東中竜一郎}{
1999年慶應義塾大学環境情報学部卒業，2001年同大学大
学院政策・メディア研究科修士課程，2008年博士課程修了．
2001年日本電信電話株式会社入社．現在，NTTメディア
インテリジェンス研究所に所属．質問応答システム・音声
対話システムの研究開発に従事．博士（学術）．
言語処理学会，人工知能学会，情報処理学会，電子情報通信学会各会員．
}
\bioauthor{船越孝太郎}{
2000年東京工業大学工学部情報工学科卒業．
2002年同大学大学院情報理工学研究科計算工学専攻修士課程修了．
2005年同博士課程修了．
同年同大学院特別研究員．
2006年より株式会社ホンダ・リサーチ・インスティチュート・ ジャパン入社．
2013年より同シニア・リサーチャ．
博士（工学）．自然言語理解，マルチモーダル対話に関する研究に従事．
情報処理学会，人工知能学会，言語処理学会，ヒューマンインタフェース学会，ACM SIGCHI各会員．
}
\bioauthor{荒木　雅弘}{
1988年京都大学工学部卒業．1993年京都大学大学院
工学研究科博士課程研究指導認定退学．
京都大学工学部助手，同総合情報メディアセンター
講師を経て，現在京都工芸繊維大学大学院工芸科学
研究科准教授．音声対話システムおよびマルチモーダル対話記述
言語の研究に従事．ACL，ISCA，情報処理学会等各会員．
博士（工学）．
}
\bioauthor{小林　優佳}{
2004年東京工業大学大学院理工学研究科修士課程終了（機械制御システム専攻）．
同年東芝家電製造株式会社（現東芝ライフスタイル株式会社）入社．
2008年株式会社東芝研究開発センター入社．
音声対話システムの研究開発に従事．
電子情報通信学会，情報処理学会，人工知能学会各会員．
}
\bioauthor{塚原　裕史}{
1994年中央大学理工学部物理学科卒業．
1996年同大学大学院博士課程前期修了．
1999年同大学院博士課程後期修了．
博士（理学）．
2000年日立ソフトウェアエンジニアリング株式会社入社．
分散オブジェクト地理情報システムの研究・開発に従事．
2005年株式会社デンソーアイティーラボラトリ入社．
現在同社研究開発グループ勤務．
自動車向け人工知能応用システムに関する研究・開発に従事．
日本物理学会，情報処理学会各会員．
}
\bioauthor{水上　雅博}{
2012年同志社大学理工学部卒業．
2014年奈良先端科学技術大学院大学情報科学研究科修士課程修了．
同年より同大学院博士後期課程在学．
自然言語処理および音声対話システムに関する研究に従事．
人工知能学会，音響学会，言語処理学会各会員．
}

\end{biography}


\biodate



\end{document}
