




\documentstyle[epsf,jnlpbbl]{jnlp_j_b5}

\setcounter{page}{117}
\setcounter{巻数}{6}
\setcounter{号数}{4}
\setcounter{年}{1999}
\setcounter{月}{7}
\受付{1997}{10}{8}
\採録{1998}{12}{24}

\setcounter{secnumdepth}{2}

\title{創発的な対話に関するコーパスの構築}
\author{矢野 博之\affiref{KARC} \and 伊藤 昭\affiref{Yamagata}}

\headauthor{矢野，伊藤}
\headtitle{創発的な対話に関するコーパスの構築}

\affilabel{KARC}{郵政省 通信総合研究所 関西支所}
{Kansai Advanced Research Center, Communications Research Laboratory}
\affilabel{Yamagata}{山形大学 工学部}
{Faculty of Engineering, Yamagata University}

\jabstract{
我々が日常行っているおしゃべりのように明確な目標の定まっていない
対話では，話者は事前に対話戦略を立てることができない．
そのような対話では話者は，その場で断片的に
思い付いたことを発話し（即興性），相互に触発されて
新しい考えが浮き上がり（創造性），全体で一つの対話を作っていく．
我々は，即興性と創造性を備えた対話を創発的な対話と呼び，
このような対話を収録し，対話コーパスとして整備することを考えた．
対話の収録には，解き方や正解かどうかの判定が明確になっていない課題を
二人で協調して解く課題を用い，「画像と音声を用いた対話環境」と
「音声だけの対話環境」の２つの条件で実験を行った．
収録した対話には，相手の立場を尊重し互いに良い関係を作っていく
ことを目的とした共話現象や，さまざまな同意表現の使われ方が
観察され，これまでのような目的指向対話には見られない特徴のある
対話コーパスが得られた．}

\jkeywords{対話コーパス，創発的対話，協調作業，共話，合意形成}

\etitle{Construction of Corpus for Emergent Dialogue}
\eauthor{Hiroyuki Yano \affiref{KARC} \and Akira Ito \affiref{Yamagata}} 

\eabstract{
In this paper, we show our corpus for emergent dialogues. 
Emergent dialogues have two features, improvisation and creativity. 
Improvisation means we have to achieve our aim while we are looking for 
an action required on the spot each other during a dialogue. 
Although we try to have a dialogue based on a prior plan about 
the content of the dialogue, we would fail the dialogue. 
Creativity means we sometimes conceive a new idea after we hear 
our partner's utterance. To convey the idea to our partner have 
influence on our partner's thought. 
These two features are important in human spontaneous dialogues. 
Our aim is to construct a dialogue management model for emergent 
dialogue, and to implement it on a computer. 
We conducted an experiment using tasks in order to collect emergent 
dialogues. The solutions of the tasks and their correct answers are not 
clear. We used two experimental settings, ``visual and audio'' and 
``audio only''. We report features in relation to how turn-taking 
were operated and how agreement expressions were used to come 
to mutual agreement in the dialogue.}

\ekeywords{Dialogue Corpus, Emergenct Dialogue, Cooperative Tasks, Joint Utterance, Mutual Agreement}

\begin{document}
\maketitle


\section{はじめに}

我々が日常行っているような自由な対話では，人はどのようにして対話を
進めているのだろうか．
人に物を尋ねる，仕事を依頼するなどの明確な目標がある場合には，
対話の方針（対話戦略）は比較的たてやすいと思われる．
しかしながら，職場や学校での食事やお茶の時間，家庭での団らんの時などの
おしゃべり，また様々な相談（合意形成，説得から悩みごと相談まで）では，
どのようなが対話戦略が可能なのだろうか．
そもそも，そのような対話に「対話戦略」と呼べるようなものは
存在し得るのだろうか．

このような対話では，個々の参加者が対話の流れを意図的に制御しようとしても，
なかなかうまく行かないことが多い．
むしろ我々は，対話の流れの中で次々と心に浮かんでくる言葉の断片を
発話により共有化して，参加者全員で対話を作り上げているように見える．
一見，成り行きに任せてしまっているようにみえるこの特徴こそが，
実は対話の本質ではないだろうか．

我々は，以下の二つの特徴を対話の見逃してはならない重要な側面と考える．

\begin{description}

\item[対話の即興性]
対話は，相手とのインタラクションの場の中で生まれる営みであり，
それぞれの場で要求される行動を採りつつ，自己の目的を実現するという
高度の戦略が必要とされる．
単純に予め立てておいたプランに従って進行させようとしても，
対話は決してうまくいかない．

\item[対話の創造性]
お互いの持っている情報を交換するだけでは，対話の本来の価値は発揮できない．
対話をすることで，１＋１から２以上のものを生み出すこと，
相手の発話に触発されて新しい考えが浮かび上がり，またそれを相手に
伝えることで，今度は相手の思考を触発すること，このような
正のフィードバックが重要である．

\end{description}

\hspace*{-0.5cm}我々は，対話のこの二つの側面，「即興性」と「創造性」を
あわせて，{\bf 対話の創発性}と呼ぶことにする．

一見効率がよいように思えるパック旅行では新しい経験は生まれない．
きちっとした計画のない自由な旅行でこそ，新しい経験が生まれ，
新しい世界が見えてくるといわれる．
対話においても，明確な対話戦略のあるようなタスクでは，なかなか対話の
創発性は現れてこないものである．
そこで，我々は対話の創発性が観測されるような対話を収集することを狙いとして，
単純な対話戦略ではうまく機能しない状況を設定して，そこで行われる
対話を調べてみることとした．

以下２章では，これまでに作られてきた対話コーパスとの比較で，
我々の目的としている対話の特徴を述べる．
３章では，我々が行った協調作業実験の詳細を述べる．
４章では収録対話のデータ構造と基礎的統計データについて述べる．
５章では収録されたデータの予備的な分析として，
共話と同意表現の使われ方について述べる．
最後に，６章で考察を行う．

\vspace{-10mm}
\newpage

\section{従来研究との比較}

発話音声を記録し分析することは，音声情報処理や自然言語処理の分野では
以前から様々な機関で行われている\cite{TakezawaAndSuematsu1995}．
課題遂行を目的として教示した状況での対話データの収集に関しては，地図課題
\cite[など]{Anderson.etal.1991,Koiso.etal.1996a}，ポンプ組み立て課題
\cite{Grosz1977,Chapanis.etal.1977,Cohen1984}，分割クロスワード問題
\cite{Nakazato.etal.1995}など様々な研究が行われており，それぞれの
課題の分類が\cite{Ishizaki.etal.1995}らによって試みられている．

\cite{Ishizaki.etal.1995}にも記述されているように，
従来の対話収集に用いられた課題では，
\begin{itemize}
\item 環境Ｃ
\item 環境を認識する能力Ｒ
\item 環境を評価する能力Ｅ
\item 実行可能な行為Ａ
\end{itemize}
の４点のうち，少なくとも１点以上の差が生じるよう実験の設定がなされている．
また，それぞれの差が課題を遂行する上での発話の動機を与え，
自然な役割分担を規定している．

地図課題では，二人の話者がそれぞれ異なる地図を持ち，それぞれに
情報提供者と情報追随者の役割が与えられる．ここでの課題は，
情報提供者は自分の地図に記入されたルートを情報追随者に伝達し，
相手の地図上のルートとして再現することである．
この課題では，与えられた地図が異なっているという環境の違いから，
両者に認識の差が生じている．
また，情報追随者は再現したルートの正しさを評価できず，
情報提供者は相手の地図に直接ルートを再現することができない．
両者はこれらの差を，対話により解消しようと努力する．

一方，「専門家」「初心者」二人の対面で行われるポンプ組み立て課題では，
話者に与える作業環境，話者の認識能力は等しく，両者の間に差はない．
しかしながら，この課題では，組み立てが適切に行われているかどうかという
作業目標に対する評価は「専門家」の方のみが，
また実際の組み立て作業は「初心者」の方のみが行い，
対話はこの不均衡により誘発されることになる．

また，分割クロスワード問題では，作業目標に対する評価，作業目標を
達成するための行為は両者とも行うことができる．しかし，この課題
では，クロスワード表は共通であるが，それを解くための
キー情報が分割されている．
そこで，与えられた環境の差から，それぞれのキー情報の交換のための
会話が行われる．

以上のように従来の対話収集用課題では，対話を引き出すためにそれぞれの
話者間に何らかの非対称的な制約を意図的に埋め込むことで，話者間に
知識の差を生じさせている．このような状況では，被験者は実験者によって
予め期待されている知識の差異に起因する対話を行うことになる．
したがって，被験者には対話の戦略を
選択するという余地はあまりなく，多くの発話は必然的に
質疑応答形式や教示助言形式になってしまう．

もちろん，このことが対話コーパスの均質性を保証し，
制限された条件での対話モデルの構築を容易にする．
しかしながら，１．で述べたような
もう少し自由な対話，我々が日常行っている対話の創発的側面を
調べてみようとすると，これまでのような対話ではうまく行かない．
そこで，単純な対話戦略ではうまく解決できないような課題を用いて，
そこで行われる対話を収集する対話収録実験を行った
\cite{YanoAndIto1996a,YanoAndIto1996b,YanoAndIto1996c}．

これまでの検討から明らかなように，環境や，能力が非対称な場合，
知識の差異が生じ，それを元にして自然な役割分担が決まり，
また対話戦略もそれに応じて決まってしまうことが予想される．
従って，我々は二人の参加者に知識の差異を生じさせる要素を
持ち込まずに，対等な立場で対話を行えるような状況を設定した．
また，解くべき課題についても，もし単純な解法が容易に見い出されるような
課題であれば，それに従った対話となってしまうことが予想される
(例えば\cite{Sato1996})．
そこで我々が採用した課題は，単純な解法が存在せず，ある意味では
いくら考えても正解が出るとは思えないような心理的な問題を，
参加者二人が相談して解き，一つの回答を行うというものであった．

このような状況では，参加者は与えられた問題を解くことと並行して，
うまく相手の意見を聞出し，相手と合意形成をしていく必要がある．
そのためには，相手の立場を尊重した発話を行い，相手発話を直接否定したり，
一方的に自分の意見を表明したりするような表現は避けること，
一方では適切な表現を用いて自分の意見を表明し，相手の反応をもとに
その評価を知ることなど，高度な戦略が観測されるのではないかと
予想される．

以下では，このような予想のもとに行った協調作業対話の収集実験と，
そこで取得された対話コーパスの特徴を報告する．

\section{協調作業対話実験の方法}

対話コーパス構築のための協調作業対話実験の方法について述べる．
我々の目的は，協調的，創発的な対話の特徴は何か，また人は
そのような対話を実現するためにどのような対話戦略をとっているのか，
を調べることである．したがって，様々な実験条件の選択は，その目的に
沿うように選択された．

\subsection{被験者}

\begin{itemize}
\item 被験者としては，お互いに初対面の女子大学生と，30歳〜50歳の主婦とを一組として行う
\end{itemize}

我々は，良く知っている相手との意思疏通に比べて，あまり良く知らない
相手との意思疏通に困難を感じることが多い．
よく知っている者同士では，互いに事前に持っている相手のモデルを利用することで，
相手の発話や非言語情報から，それなりに相手の意図を推測することができる．
これに対して，あまりよく知らない相手の場合には，
相手の言動から相手のモデルを作ることと，それを用いて相手の意図を
推測することを並行して行わなければならない．
しかしながら，これでは相手の意図を推測するためには相手モデルが必要であり，
相手モデルを推測するためには相手の発話の意図を正しく理解する必要があるという，
鶏と卵のジレンマに陥ってしまう．

例えば，良く知っている対話相手が「そうですねえ」という発話をした場合，
それが単なる相槌なのか，またそれが同意の表現だとしてどのくらいの強さの
同意なのかを知るためには，自分の持っている相手のモデルが極めて有用である．
しかしながら，適切なモデルが欠如している良く知らない相手の場合には，
そのような相手モデルは利用できず，相手の意図を正しく推測するためにも，
また自分の言動が誤解されないようにする為にも，
様々な対話戦略が必要であると思われる．

我々は，良く知っている相手同士の組よりもそうでない組の方が，
相手のモデル作りのために行う様々な対話戦略を明示的に実行する
はずだと考えた．というのも，非明示的な対話戦略は，
良く知らない相手に対しては，それ自体が誤解を引き起す
恐れがあるからである．
従って，初対面の組合わせを採用することにより，様々な対話戦略が
観察されると考えた．

以上のことから，我々の実験では，まったくの初対面同士を被験者の組と
することにした．
また，たとえ被験者が初対面であっても，同世代の相手に対してはある程度のモデル
をもっていることが予想される．ペアを構成する被験者を
女子大学生と30歳〜50歳の主婦とすることで，モデル作りに努力がいる環境を
設定した．
被験者は38組76人（2人で1組）で重複はなく，
実験後にお互いに知り合いでないことを確認した．

\subsection{協調作業課題}

協調作業課題は，二人で相談して一つの問題を解くことである．
我々は，以下の性質に留意して問題を選択した．

\begin{itemize}
\item 正解に導く手順，正解かどうかを判定する手順が存在しない問題であること
\end{itemize}

地図課題のように正解に導く手順が比較的容易に見い出せる問題では，
どちらか一方が主導権を取り，その手順を実行するのが効率の良い戦略となる．
またそうでなくてもパズルのように一旦正解が見つかれば
容易にその正しさが合意できる問題では，
正解を発見した被験者が相手の被験者に説明を行えばよい．
このときの対話は，正解を発見した側が対話の主導権を取る教示形式となりやすく，
情報も主として一方向に流れていくことが多い．

このような一方向の情報の流れでは，それほど複雑な相手モデルを必要とする
対話は生じないと思われる．
なぜなら，発話者の目的が自分の方からの情報伝達だけであれば，
相手が誤解しないような十分な情報を提供することで，
自分だけで問題を解決できるからである．

\begin{itemize}
\item 協調の効果が現れやすい問題とすること
\end{itemize}

二人で問題を解くという課題では，
それぞれが個別に考えて見つけ出した回答から，
どちらか１つの正解を選ぶという戦略と，
最初から協調して正解を考えていくという戦略との二つが考えられる．
もし，協調の効果が現れにくい問題を採用すると，
発話に際して心的障壁の大きい初対面の相手に対しては，
なるべく発話量の少なくなるような戦略，すなわち個別に見つけ出した正解から
その１つを選ぶ戦略をとる可能性が高くなる．
そこで本実験では，被験者間で協調的対話を奨励するために，
協調の効果が表れやすい問題を選んだ．

以上の２つの性質を考慮して，本実験では，「ボディーランゲージ解読法
\cite{Archer1980}」の中から適当に選んだ問題10問を
二人で協力して解くことを課題とした．
これらは，写真中の人物の表情や仕草から正解を推測する問題である．問題に対する
着眼点は写真中にいくつか存在し，被験者はこれらの着眼点を議論する形で対話を
進めていくと考えられる．
図１に我々の実験で用いた問題の一つ（第８問）の写真と問題文，回答選択肢を示す．

\begin{figure}
\epsfile{file=Q27h.eps,width=140mm}
\begin{quote}
\hspace{2.5cm}二枚の写真の右側の男性は，誰の父親だろうか\\
\hspace*{3.5cm}a.少女の父親である．\\
\hspace*{3.5cm}b.少年の父親である．
\end{quote}
\caption{第８問の写真と問題文\cite{Archer1980}}
\end{figure}

実際に図１の写真からも，「子供の抱き方」，
「子供の表情」，「子供と顔が似ているか」などの着眼点を注意深い
読者は発見できるであろう．
正解は２択または３択の回答群から選ぶが，
図１の回答選択肢からも解るように，
いくら考えても回答を一意に絞り込むことは不可能である．
しかし，着眼点の発見とその情報を交換することで，お互いに不明確・
不確実だった状況が少しづつ明確になり，多様な視点から問題をとらえる
ことができるようになる．
このように，本問題は協力してじっくり考えれば正解率があがる
問題であると考えられる．

\subsection{実験環境}

一般に，人と人との対面対話では様々なチャネルを通して膨大な量の
言語，非言語情報が相互に一度に流れている．したがって，対面対話環境で
収録された対話データの分析には相当の困難が伴う．
そこで我々は，計算機を通した対話環境で実験を行うことで，
情報の流れを制限することとした．

実験では，被験者はお互いに相手に会わないようにして別々の部屋に入り，
それぞれの部屋の計算機(Sun SS5)を通して相手の被験者と対話を行う．
協調作業時の対話環境を図2に示す．
計算機のディスプレイには相手の顔画像，自分の顔画像，
問題の写真，問題文，回答選択肢が表示される．
被験者の顔画像は計算機の上に置いたビデオカメラにより撮影され，
LANを介して相手の計算機ディスプレイ上に表示される．
それぞれの顔画像の表示サイズは，横約6.5cm×縦約4.5cm(240dots×180dots)，
表示速度は約6フレーム/秒である．
対話中の計算機画面の例を図3に示す．
なお本実験では，ビデオカメラの位置と相手の顔画像表示の位置がずれて
いるため，被験者同士で視線の一致をとることは出来ない．

図３から分るように，ディスプレイ上には相手の顔画像だけでなく，
被験者自身の顔画像も表示することとした．これは，自分自身の顔画像をみることで，
\begin{itemize}
\item 自分が相手にどのように見えているかがわかり，安心して自然に発話できる
\item 自分の画像が常に見られていることを意識させることで，「対面」感を
生み出す
\end{itemize}
ことができると考えたからである．また，被験者同士の顔画像表示場所と，
問題の写真，問題文の表示場所がディスプレイ上で対角側に位置し，かなり
離されている．これは，この２つを離すことで，被験者の顔画像，問題間の
視線の移動を検知し易くするためである．

顔画像はデータ圧縮の後，FDDI-LANを介して相手側計算機に伝送される．
一方音声は，マイクロフォンで収集され直接（計算機を経由しない形で）
相手側のイヤフォンに伝送される．

\begin{figure}
\vspace{-4.5mm}
\begin{center}
\epsfile{file=Fig2.eps,width=120mm}
\end{center}
\vspace{-5mm}
\caption{協調作業時の対話環境}
\end{figure}

なお，対話環境の違いによる対話の比較を行うために，与えられた環境
すべてを使う「画像と音声を用いた対話」条件と，自分と相手の顔画像が
表示されない「音声だけの対話」条件の２つの条件で実験は行われた．
実験は38組中29組が「画像と音声を用いた対話」条件，9組が「音声だけ
の対話」条件である．
この環境で被験者達の発話および動作をビデオ
(Hi8)に収録した．また，実験を行っている二人の被験者を同時にＴＶモ
ニターに表示し，その画面と音声をS-VHSビデオテープに記録した．

\subsection{実験手順}

実験は1995年の２ヶ月間にわたって，郵政省通信総合研究所関西支所
内の実験室で行われた．被験者二人の実験室は隔離されており，
お互いの声はマイクロフォンを通してしか聞こえない構造になっている．
同じ組の二人の被験者はそれぞれ別々の場所に集合し，
オペレータに引率されてそれぞれの実験室に入る．
被験者は互いに顔を合わせることが無いように配慮されている．

被験者は，それぞれの実験室内で実験説明用ビデオにより実験内容を知らされる．
ビデオは「画像と音声を用いた対話」用(約7分)，
「音声だけの対話」用(約5分)の２種類あり，「音声だけの対話」用は
「画像と音声を用いた対話」用から互いの顔画像を見て対話できるという部分の
説明を削除したものである．
説明ビデオにおいて，この実験の目的は「計算機に相手の
顔画像を表示した対話システムの有効性を調べるもの」であること，
課題遂行にあたって「二人で十分に議論し協力して正解を見つけ，
一致した回答を返すこと」と教示している．
実験説明用ビデオによる説明終了後，
実験オペレータが「二人で十分に議論し協力して正解を見つけ，一致した回答を
返すこと」を再度確認した．
最後に，被験者に互いにイヤフォンを着けてもらい，
互いの音声が聞こえることを確認した後で，実験を開始した．

各被験者は，10問の問題を１問づつ相談しながら解いていく．
１問を解き終わり，各自が回答用紙に回答を記述する度に，
回答への各自の自信度(0〜100\%)を，各自が独立に（相手に
相談することなく）回答用紙に記入する．
被験者の対話はオペレータにより常にモニタリングされており，
被験者間で一致した回答が得られた段階で，
次の問題が画面上に表示される．
被験者はやり直したくても，問題を後戻りさせることはできない．

被験者は協力して10問すべて解き終わった後に，
本実験の本当の目的を告げられ，収録データの書き起しと，その学術目的での
利用の許可の確認がとられた．
その後，同じ文献から選ばれた別の10問の問題を，それぞれ別々の実験室で単独に
回答した．
このときも協調作業時と同様に，各自の回答への自信度を記述した．
以下単独で解いた10問を問題群１，協調で解いた10
問を問題群２と呼ぶ．

なお，38組すべての対話実験終了後，単独で解いた問題群１と協調して解いた
問題群２の成績の相関と問題の難易度を調べるために，上記対話収録実験を
行っていない30〜50歳の主婦14人に対して，単独で２つの問題群を回答する
実験を行った．以後これを比較実験と呼ぶ．




\begin{figure}
\begin{center}
\epsfile{file=Fig3.eps,width=120mm}
\end{center}
\caption{対話中の計算機画面}
\end{figure}

\section{収録データ}
\subsection{収録データの形式}

対話データの書き起しは，実験終了後に被験者ペアの一方である女子大学生により，
自分達の行った対話を書き起こすという形で行なわれた．
その後，被験者となった女子大学生のうち３人により，
すべての書き起こし文のチェックが行われた．
さらにその後，実験に参加していない主婦により
再度のチェックが行われた．
書き起された対話データは，漢字仮名混じり文である．
S-VHSテープに収録された音声データは16kHzでサンプリングされて，
Unix上のraw形式の音声データファイルとして保存されている．

また，収録対話について発話音声波形と書き起こしテキストを
対応付ける作業を行い，得られたテキスト付き音声波形データを用いて
対話を解析するツールとして，音声対話解析用ブラウザが整備された．
図４に音声対話解析用ブラウザの表示画面と，
割り付けられた書き起こしテキストの書式を示す．
この音声対話解析用ブラウザでは，被験者A，Bの音声波形が別々のウィンドウに
表示され，視覚的インターフェースで書き起こしテキストを
音声波形に対応づけていくことができる．
その結果は，時間情報付きの書き起こしテキストとして保存され，
対話コーパスの一部を構成する．
時間情報付きの書き起こしテキストのフォーマットは以下のようである．\\
\hspace*{1.0cm}（発話開始時間\hspace{0.75cm}発話終了時間\hspace{0.75cm}発話片）\\
\hspace*{1.0cm}（pause開始時間\hspace{0.5cm}pause終了時間\hspace{0.5cm}pause）\\
一つの発話片が文以上の長さになった場合には，
発話の弱くなっているところで10msecのpause区間を入れて文を強制的に分割
する．また，二人の発話片が同じ意味を持ち，かつ時間的に重複している
場合には，先行発話者の発話重複部分の先頭に強制的に5msecのpause区間を挿入して，
重複部分の重なりを調べやすくしている．

現段階では，うなずきや笑いなどの非言語情報，
韻律情報を表示するためのタグ付けは行っていない．しかし，
現在\cite{Araki.1997}にならってこれらのタグ付けを行うことを検討している．
また，将来音声対話解析用ブラウザを含めて本対話デーベースの書き起し文，
音声データを公開する予定である．



\vspace{-3mm}
\subsection{基礎的統計データ}

本実験により，38組，約11時間の対話データが収集された．そのうち，
「画像と音声を用いた対話」（以下「画像音声対話」）は29組約9時間，
「音声だけの対話」（以下「音声対話」）は9組約2時間である．

収録された対話コーパスの課題達成時間と総発話文字数を表１に示す．
各組が協力して解いた問題群2の平均課題達成時間は，
「画像音声対話」1144.3秒，「音声対話」739.7秒であり，画像音声対話の
方が1.5倍長い．
標準偏差は，「画像音声対話」は601.6秒とかなり
ばらつきが大きいのに対して，「音声対話」は154.7秒と小さい．
同様に，被験者ペア毎の平均総発話文字数は「画像音声対話」が
3989.3文字，「音声対話」2426.8文字と，「画像音声対話」のほうが
「音声対話」に比べて1.6倍大きい．標準偏差もやはり
「画像音声対話」の方が大きい．
また，本実験では主婦の方が学生よりも
発話量が多いことがわかる．なお，この総発話文字数は，書き起した漢字
仮名混じり文をすべて仮名書きに直したものをカウントしている．

\begin{figure}
\begin{center}
\epsfile{file=Fig5.eps,width=120mm}
\end{center}
\vspace{-1mm}
\caption{収録対話のデータ構造}
\end{figure}
\begin{table}
\vspace{3mm}
\epsfile{file=Table1.eps}
\caption{収録対話での課題達成時間と総発話文字数}
\end{table}

「画像音声対話」，「音声対話」の二つの協調作業実験と，
比較実験での成績（正解数）と自信度を表２に示す．
問題群２の成績に関しては，「音声対話」(平均5.5点)，
単独で解いた比較実験(平均5.5点)と比べて，
「画像音声対話」(平均6.2点)の方が少し上昇している．
標準偏差は「画像音声対話」の方が，「音声対話」，比較実験と比べて小さくなっている．
また，問題群１
\begin{minipage}{\textwidth}
と２の成績に弱い相関がみられる．自信度については，単独で
解いた比較実験(51.7\%)と比べて，協調した場合は「画像音声対話」(主婦76.2\%，
学生76.4\%)，「音声対話」(主婦75.7\%，学生76.8\%)と，共にかなり高く
なっている．「画像音声対話」，「音声対話」の間，また学生と主婦の間での
自信度の平均の差はほとんど無いが，標準偏差は成績と同様に，
「画像音声対話」の方が，他と比べて学生，主婦共に小さくなっている．
\end{minipage}
\clearpage

\section{収録対話の特徴}
\vspace{-1mm}
\subsection{共話}
\vspace{-2mm}

水谷によれば\cite{Mizutani1984,Mizutani1988}，
日本人の対話には，対話参加者が共同で一つの文，
一つの話を作っていく{\bf 共話}という現象が
よく観測されるという．
共話では，対話者は明確な発話権の交替の手続きにしたがって整然と
対話を進めていくのとは違って，
相手の発話に自分の発話を重ねる，合いの手として頻繁に相槌を挿入する，
一つの文の途中で発話権を譲り渡すなど，これまでの対話管理モデルでは
捉えきれないものを含んでいる．
水谷も「話し手の自己主張よりも話し手と聞き手の良き人間関係を
重んじるという立場に立てば，相槌は重要かつ不可欠のものとなる」
\cite{Mizutani1988}と述べているように，共話は
話し手と聞き手の良き関係を維持する機能を持っているようである．

\begin{table}
\epsfile{file=Table2.eps}
\caption{収録対話での成績と自信度}
\end{table}

これまでの対話研究でこのような共話が見逃されてきたのは，
「目的指向対話」では「相手との良き人間関係」などに配慮しなくとも，
それなりの対話の目的が達成できると考えられてきたからであった．
しかしながら，我々が対象としている創発的対話では，
参加者皆が積極的に対話に参加するという雰囲気が重要であり，
そのためには「相手との良き人間関係」への配慮は不可欠である．

そこで，我々の実験ではこのような共話現象が多く観測されると期待されるが，
実験の結果はそのような予測を裏付けるものであった．
対話１では，発話者Ｂの発話「おとこのこ」に見られるように，相手の発話を
単語レベルで反復することで，相手発話の確認をおこなっている発話を
観察することができる．

\hspace*{-0.5cm}{\bf 対話１}\hspace{0.33cm}単語の反復(音声対話38-8)
\footnote[1]{各対話には対話１の(音声対話33-8)のように
番号がつけられている，ハイフンの前の数字は組番号（画像音声対話では1〜29，
音声対話では31〜39）ハイフンの後の数字は問題番号(1〜10)を表す．},
\footnote[2]{各対話はA，Bの２行１組で各行左から右へ時間が経過しており，
空白部分（対話１ではAが「うーん おとこのこ」と言っている間のB）は
発話していないことを表す．}\\
A:うーん　\underline{おとこのこ}\\
B:\hspace{2.9cm}\underline{おとこのこ}\\

\hspace*{-0.5cm}しかし，対話２，３のように，重複する部分が単なる単語ではなく，
句になる場合がある．

\hspace*{-0.5cm}{\bf 対話２}\hspace{0.33cm}同一句の反復（画像音声対話23-8)\\
A:なんか しょうねんとのほうが\underline{しぜんなかんじが}おちついているっていうか\\
B:\hspace{4.6cm}\underline{しぜんなかんじが}しますね\\

\hspace*{-0.5cm}{\bf 対話３}\hspace{0.33cm}同意味句の反復(画像音声対話22-1)\\
A:かなりなんか\hspace{0.18cm}\underline{としくって\hspace{0.18cm}そーーーーーーですよねー}\\
B:\hspace{3.6cm}\underline{ねんぱいみたいですよねーーー}\\

\vspace{-3mm}
これらの２つの対話では，後発の発話者BはAの発話権を奪って発話しようと
する意図をもっていない．BはAの発話を聞いて，創発してきたものを
発話した結果として，相手発話に自分の発話が重なってしまったのである．
この発話の重複で，後発発話者は相手への確認と同時に，相手への同意を
表しており，先発発話者は，これにより相手が自分に同意していることを
確認することができる．

対話２，３のように同じ内容を表す二人の発話が重なる共話現象を
{\bf 合話}\cite{Ito1996}と呼ぶ．
対話２では自然に二人の発話が重なっているのに対して，対話３では
互いに長音を入れて調整することで発話の終了を合わせようとしている
ことがわかる．合話では，この様に「同じことを同期して発話する」
ことが意図されているようである．

対話４のように，Ａの発話「なれてないかんじが」が，100msec程でＢの発話
「しますね」に滑らかにつながっていく共話現象である
{\bf 連話}\cite{Ito1996}も観察された．

\hspace*{-0.5cm}{\bf 対話４}\hspace{0.33cm}連話(画像音声対話23-8)\\
A:なんてゆうか\hspace{2.7cm}\underline{なれてないかんじが}\hspace{1.3cm}するんでうーん\\
B:\hspace{1.0cm}ひとのこやからだいじに\hspace{3.0cm}\underline{しますね}\\

この対話では，Aが「なれてないかんじが」を発話した後に，Bに発話権を委譲し，Bが
「しますね」と発話をつないで文を完結させており，これは共話の１つである．
このように，連話では一方の話者が発話を完結せず，相手に発話権を委譲し，
相手側が発話を完結する形で対話が進行する．

本実験での課題のように，正解が明確でなく解き方も良くわからない問題では，
発話者は自分の発話内容に自信がもてない場合がある．この時には，
発話者は自分の意見を明言することを避け，相手に発話を委ねることができる．
そして，相手の発話内容によって，相手の意見が自分の意見に合致しているかを
判断できる．
また，相手側は発話権をもらってその後を続けることで，単に自分だけで
完全な文を発話するよりも，自分の意見の主張という色彩が弱まる．

対話５のように連話をつくって相手と同意見を主張しようとしていたのに，
結果的に相手の意見が自分と違っていて，連話が失敗した発話も観察された．

\hspace*{-0.5cm}{\bf 対話５}\hspace{0.33cm}連話の失敗例(画像音声対話21-5)\\
A:おたがいをよくりしあっているという\hspace{0.17cm}\underline{そういうーーーーー}ふ\hspace{0.17cm}ふんいきは\hspace{0.17cm}うん\\
B:\hspace{3.7cm}は\hspace{0.17cm}い\hspace{1.33cm}はい\hspace{0.83cm}\underline{ふんいきはしますよー}\hspace{0.17cm}ねぇー\\
\vspace{-0.3cm}\\
A:あっ\hspace{0.17cm}そうですか\hspace{0.33cm}\underline{あんまりしないなぁとおもって}\hspace{0.33cm}ははは\\
B:\hspace{4.0cm}はぁ\hspace{1.33cm}あっ\hspace{0.75cm}そやちょっと\hspace{0.17cm}うーんなんか\\

Aが「おたがいをよくしりあっているという」と発話した後で，
Bは問題の中の人物が良く知り合っていると思い，また
Aも同じ意見を持っているだろうと思い，
「ふんいきはしますよー」と連話の形で発話した．
しかしながら，AはBと反対の意見を
持っており「あんまりしないなー」とBの意見に同意をしておらず，
ここで，AとBの同期が一時的に崩れている．
このように，発話のタイミングとしては二人で一つの対話を
作っているにもかかわらず，BがAの心を読み誤ることによって
連話は失敗している．
しかしながら，この一連の対話により，AはBの考えを
引き出していることは重要である．
Aが完全な文を発話することでBの反対意見を
封じる可能性と比べて，この「失敗した連話」により
良い関係が維持できたのではないかと思われる．

このように共話は微妙な同期を必要とする．しかしながら，音声対話では
このような同期が「画像音声対話」に比べて難しいようであった．
たとえば，対話６の「でこの...」，「おとこ」に見られるように，
二人の発話の開始が同時になり一方が中断することも観察された．
これは，相手の顔画像が見えないために発話の同期がとりにくいことが
原因であると思われる．

\hspace*{-0.5cm}{\bf 対話６}\hspace{0.33cm}発話の衝突(音声対話38-8)\\
A:あにてるかもしれない\hspace{1.9cm}\underline{でこの}おとこのこはひだりのひとのこども\\
B:\hspace{3.4cm}うんうん\hspace{0.6cm}\underline{おとこ}\\

また，対話７のAの発話「どう　どうですか」に見られるように，
相手に発話権を陽に委譲して，直前の自分の発話（この例では
「なんとなくおんなのこいやがってそうでしょ」）
に対しての相手意見の確認をするための発話が観察された．

\hspace*{-0.5cm}{\bf 対話７}\hspace{0.33cm}相手への確認要求(音声対話38-8)\\
A:おとこのこ\hspace{1.9cm}なんとなくおんなのこいやがってそうでしょ\\
B:\hspace{1.6cm}おとこのこ\hspace{6.8cm}ふふ\\
\vspace{-0.3cm}\\
A:\underline{どう\hspace{0.3cm}どうですか}\\
B:\hspace{2.9cm}おとこのこ\\

これは，相手の顔画像を見ることができる画像音声対話では，自分の発話に
対する相手の反応を見ることができるのに対し，音声対話ではそれができない
ためであろう．この対話についても，BがAの「いやがってそうでしょ」の
部分に対して合話，連話などを用いて適切に対話を継続していれば，
次のAの「どう どうですか」は出てこなかったと思われる．

\subsection{同意表現}

本実験では，相手と合意形成をしながら課題を遂行しなければならないために，
対話中には相手への同意・不同意を表す様々な表現が観測される．
そのなかで，主に使われているのは，相槌を用いるもの（対話８），
相手発話を反復して合話の形で同意を表す同意共話\cite{YanoAndIto1997}
（対話９）である．

\hspace*{-0.5cm}{\bf 対話８}\hspace{0.33cm}相槌での同意(画像音声対話22-8)\\
A:ひだりがわのおとこのひとのようにみえますねえ\\
B:\hspace{7.4cm}\underline{はい}\\

\hspace*{-0.5cm}{\bf 対話９}\hspace{0.33cm}同意共話(画像音声対話12-8)\\
A:\hspace{1.65cm}\underline{おんなのこのほうがにてる}\\
B:\underline{おんなのこのほうがにてるわねー}\\

相槌や同意共話には，同意以外にも確認などの意味を持たせることができる．
また，これらは韻律を変えることでその意図の強さだけでなく，複数の意図を含ませる
ことができる．本実験では，初対面の相手との関係を課題遂行中にうまく保って
いくために，相槌や同意共話が使われたと考えられる．

一方，通常は同意に解釈される言葉でも，暗に不同意を表している
と思われる例も観察された．
「なんとなく」（対話１０），「そうか」（対話１１），
「そうですねえ」（対話１２）などは，
同意と解釈することも可能であるが，表層データだけでは
本当に同意しているのかどうか分らない．
発話者はこれを逆に利用して，表層では同意を表すが，韻律を
操作することで，自分の意図が不同意であることを暗に伝えることができる．

\hspace*{-0.5cm}{\bf 対話１０}\hspace{0.33cm}同意にも不同意にも解釈できる「なんとなく」(画像音声対話10-8)\\
A:\\
B:かおもおんなのこだっこしてるときのほうが\\
\vspace{-0.3cm}\\
A:ああ\hspace{0.17cm}\underline{なんとなく}\hspace{0.83cm}うーーーん\\
B:\hspace{1.66cm}なんとなくやわらかいかんじがするんですけどー\\

\hspace*{-0.5cm}{\bf 対話１１}\hspace{0.33cm}曖昧な同意を表す「そうか」(画像音声対話2-3)\\
A:\hspace{2.7cm}はは\hspace{4.05cm}ははっ\\
B:こんどはぜんぜんたにんどうしかなとおもうんですけど\\
\vspace{-0.3cm}\\
A:あぁそっ\hspace{0.66cm}\underline{そうか}\hspace{0.17cm}でもすっ\hspace{0.17cm}\underline{そうか}\hspace{0.17cm}たにん\\
B:\hspace{1.82cm}はーあ\\
\vspace{-0.3cm}\\
A:\hspace{1.83cm}ともだちっぽいかなとおもったんですけど\\
B:っとうーん\hspace{4.53cm}うーんうんうん\\

\hspace*{-0.5cm}{\bf 対話１２}\hspace{0.33cm}「そうですねえ」での検討中(画像音声対話1-8)\\
A:なんか\hspace{0.33cm}だかれてりらっくすしてるかんじもせん\hspace{0.17cm}でもないかなっ\hspace{0.17cm}ていう\\
B:\hspace{7.23cm}うーん\hspace{1.0cm}うんうんうん\\
\vspace{-0.3cm}\\
A:きも\hspace{4.66cm}どうだろう\\
B:\hspace{0.66cm}\underline{そうですねえ}\hspace{1.0cm}うーん\hspace{1.33cm}どうかなあむずかしいなあ\\

相手の発話に同意できない，またはしたくない場合に，
この方法で発話すれば，「私はそうは思いません」や
「それはちがうと思います」の様な明確に不同意を表す発話よりも，
相手との関係を上手く保つことができる．
また，「そうですねえ」，「そうだなあ」を用いた場合は，
同意だけでなく自分の意見がまとまってなく，
検討中であることを表すこともできる．


\section{考察}

\subsection{顔画像の有効性}

協調作業実験では「画像音声対話」，「音声対話」の二つの条件で実験を
行ったが，図３に示されているように表示される互いの顔画像が小さいため，
当初は「画像音声対話」と「音声対話」では成績，自信度ともに
ほとんど差がでないのではないかと心配していた．
しかしながら，被験者の自主申告した自信度はそれほど変わらないものの，
成績は「画像音声対話」の方が，「音声対話」条件や単独回答条件よりも
高いという結果になった．
このことから，本タスクではうまく協調すれば成績は上がり得ること，
また協調のために顔画像が一定の役割を果たしていることが分かった．

一方，課題達成時間と発話文字数は共に「画像音声対話」の方がかなり大きくなり，
著者の予想に反した．これは，被験者が実験終了後のアンケートで
「画面が小さく相手の表情がわからない」，「相手と目線を合わせられない」
と述べている程度の顔画像でも，
被験者の対話行動にそれなりの影響を与えていることが分かる．
対話時間，発話量が顔画像があると大きくなることは一見不思議に見えるが，
これについては他の対話実験でも観測されており，
普遍的な現象のようである\cite{Young1994}．
これは，おそらく顔画像の存在により対話に対する精神的プレッシャーが
少なくなり，対話が長続きするのではないかと思われる．

また，顔画像表示画面が小さかったことも「画像音声対話」の発話の促進に
良い影響を与えたと思われる．
我々が対面対話をするときには相手を見ながら話すが，必ずしも
常に相手の顔や目を見ながら話しているわけではない．
自分の意見や重要な事を話すときには相手を見ながら話すが，それ以外の時には
それほど相手のことを直接見ることはない．実際に互いに相手をずっと見ながら
対話をすることは，心理的に非常に疲れる行為である．
これは，相手からの視線をずっと意識することでうっとうしくなり，
対話を継続しようとする意識が希薄になるからだと考えられる．

我々の実験では，顔画像が小さかったことと，問題表示部分と顔画像表示部分が
離れていることで，対話参加者が必要なときには相手を見ることができ，そうで
ないときには視線をはずして問題を見ることで，対面対話に近い対話が
実現されたと思う．
これは，今後のテレビ電話の利用方法に一つのヒントを与えてくれるものと思われる．

\subsection{共話}

従来の対話収録実験では，話者の目的は与えられた課題を協力して遂行する
ことであり，その時に話者に必要なことは「自分に必要な情報を適切に
相手から得て，相手に必要な情報を適切に与える」ことであると考えられてきた．
したがって，この課題遂行中の話者の間には，話題展開のための情報の提供が
互いに行われている．喜多はこれを
「{\bf 本質的に非対称的な行動の流れ}\cite{Kita1996}」と呼んだ．

これに対して，喜多は日本人の対面コミュニケーション中には，
話者間に良い関係を作っていくための{\bf 本質的に対称的な行動の流れ}
が存在し，それは言語のチャンネルにおいて主に交代のリズムとして
現れるとも述べている．
解き方が良く分からず，互いに意見を出し合いながら課題を遂行する
場合には，情報の提供，取得という本質的に非対称的な行動だけでは，
心を持たない機械同士の対話のようになってしまう恐れがあり，
互いに協調しようとする気持を殺いでしまうことにもなりかねない．
うまく作業を進めるためには，本質的に対称な行動である
交代のリズム作りをうまく行い，相手との良い協調関係を
作っていくことが不可欠である．創発的対話における共話は，
この様な交代のリズムを作るための道具であり，
良い関係を作っていくために有効である．

実際に，対話４では話者は意図的に細切れに発話することで，
発話途中にポーズが入り交代のリズムを作っている．
また，対話３，５では発話の最後を長音化することで
相手に発話のタイミングを与え，交代のリズムを作り
やすくしている．
これらの方法を用いて対話のリズムを話者が互いにうまく作ることで，
互いの良い関係を維持していると思われる．
また，このような形で，同期の取れた対話ができた時には，
互いにうまく合意できたという一体感も得られるものと思われる．

\subsection{同意表現にあらわれる相手への配慮}
地図課題対話では小磯等が重複発話の中で日本語の対話に特有に現れるものを
２つに分類して，相手の発話に同調しているかのように発話を重ねる
{\bf 同調型}と，相手の発話を繰り返す{\bf 反復型}があることを
述べている\cite{Koiso.etal.1996b}．そこでは，これらの発話を
{\bf 確認行為}として位置づけている．本実験でも，
対話１の話者Ｂの発話「おとこのこ」に見られるように，相手の発話を
単語レベルで反復することで，相手発話の確認をおこなっている発話を
観察することができる．
しかし，「画像音声対話」では対話２〜４，９のように合話や連話を使って，
相手発話への同意を行っており，重複発話も単なる確認行為以上の
役割を果たしている．

目的指向の対話では，課題遂行のために明確な同意表現が使われ，
発話相手にもそれが要求される．
しかし，本実験のように相手と良い関係を作って合意形成を
行わなければならない課題では，明確かつ断定的な同意表現の多用は，
独断的で協調して問題を一緒に解いていこうとする意思が弱いと
判断される．

例えば，対話２でBがAの発話後に「私もそう思います」と
言い切ってしまった場合には，その時点で「少年との方が自然である」
ことに関する話題は終わってしまう．
このとき，Aがそのことを確信して発話したのであれば，
ここで話題が終わってしまってもAにとっては何の問題も生じない．
しかし，Aは「少年との方が自然」かもしれないが自信はなく，
Bと相談をしようとして発話した場合には，Aはその目的を達成できず，
AB間の良い関係を維持することができない．
そこで，Bは合話の形でAへの同意を表したと考えられる．
また，対話４ではBが連話の形で同意を表すことで，共話の持つ
交代のリズムをうまく作り，相手との良い関係を作ろうとしている．

一方，対話８では相槌を使って同意を表している．
このときの相槌「はい」は，相手への同意を表す以外にも，
交代のリズムを作ることで相手への発話の継続を促している
とも考えられる．相槌も同意共話と同様に，同意を表すことに
加えて，交代のリズムを作り出すことで相手との良い関係を
作り出すことができると考えることができる．
したがって，収録対話中に被験者たちは相手との良い関係を
崩すこと無く同意を表すために，相槌と同意共話を使った
と考えられる．

\section{おわりに}
我々は，対話における重要な２つの側面「即興性」「創造性」に注目し，
その２つが満たされている，創発的な対話の収録を行った．
対話の創発性が観測されるように，事前に正解を導く手順が存在しない
問題を初対面同士で解くという，対話戦略を立てるのが困難な状況を
設定し，そこでの協調作業実験対話を収録した．
また，収録対話を収録音声波形と対応付け，対話分析用のコーパスと
して整備した．得られた対話コーパスでは，発話権を上手く操作することで
二人で一つの発話文を完成させる共話，合話・連話，
相手への同意を表すための相槌，同意共話など，
相手との良い関係を維持するための行為が観察された．
これらの行為の特徴をさらに分析し，対話システムに実装することで，
合意形成のように話者間の良い関係を必要とする対話が，システムと
人との間で可能になるだろう．

今回の対話収録実験では被験者を年齢層の異なる初対面の
女性同士に限定した．合意形成においては互いの年齢層の違い，
親密度等により発話形態がかなり変わってくると考えられ，
異った条件での対話の収録とその分析も興味ある課題である．


\bibliographystyle{jnlpbbl}
\bibliography{v06n4_06}

\begin{biography}
\biotitle{略歴}
\bioauthor{矢野 博之}{
1986年東北大学工学部通信工学科卒業．
1992年同大学院工学研究科博士課程単位取得退学．
同年，郵政省通信総合研究所入所，現在，同所関西支所
知識処理研究室主任研究官．博士（工学）．
発話の認知モデル，自然言語処理の研究に興味を持つ．
日本認知科学会，人工知能学会等の各会員．}
\bioauthor{伊藤 昭}{
1972年京都大学理学部物理学科卒業．
1979年同大学院理学研究科博士課程終了．理学博士．
同年，郵政省電波研究所(現通信総合研究所)入所，
同関西支所知識処理研究室長，研究調整官をへて，
現在山形大学工学部電子情報工学科教授．
知識処理，対話システム，ヒューマン・インターフェース，
エージェントモデル，コミュニケーションの認知機構などの研究に従事．
人工知能学会，電子情報通信学会，情報処理学会，日本ソフトウェア科学会，
ACM，AAAI各会員．}

\bioreceived{受付}
\bioaccepted{採録}

\end{biography}

\end{document}

