    \documentclass[japanese]{jnlp_1.3c}
\usepackage{jnlpbbl_1.1}
\usepackage[dvips]{graphicx}

\Volume{14}
\Number{3}
\Month{Apr.}
\Year{2007}

\received{2006}{4}{19}
\revised{2006}{8}{21}
\accepted{2006}{9}{28}

\setcounter{page}{193}

\jtitle{漫画における表情に着目した情緒タグ付き\\テキスト対話コーパスの構築}
\jauthor{徳久　雅人\affiref{IKE} \and 村上　仁一\affiref{IKE} \and 池原　　悟\affiref{IKE}}
\jabstract{
信頼性の高い情緒タグ付きテキスト対話コーパスを実現することを狙い，漫画の対話文を対象に，登場人物の表情を参照する方法によって情緒タグを付与した．また，得られた対話コーパスの信頼性を評価した．通常，言語表現と話者の情緒とは，必ずしも直接的な対応関係を持つとは限らず，多義の存在する場合が多いため，対話文に内包された情緒を言語表現のみによって正しく判定することは難しい．この問題を解決するため，既に，音声の持つ言語外情報を活用する方法が試みられているが，大量の音声データを収集することは容易ではない．そこで，本稿では，漫画に登場する人物の表情が持つ情報に着目し，タグ付与の信頼性向上を図った．具体的には，漫画「ちびまる子ちゃん」10冊の対話文（29,538文）を対象に，1話につき2人のタグ付与作業者が一時的な「表情タグ」と「情緒タグ」を付与した後に，正解とする表情タグと情緒タグを両者が協議して決定するという手順で，コーパスを構築した．決定された正解の情緒タグは16,635個となった．評価結果によれば，付与された一時的な情緒タグの作業者間での「一致率」は78\%で，音声情報を使用した場合（81.75\%）と比べて遜色のない値を示していること，また，最終的に決定した情緒タグに対する作業者以外の者による「同意率」は97\%であることから，タグ付与の安定性が確認された．また，得られたコーパスを「情緒表現性のある文末表現の抽出」に使用したところ，3,164件の文末表現が情緒の共起割合とともに抽出され，自然で情緒的な文末表現が得られたことから，本コーパスに対しての「言語表現と情緒の関係を分析する上での1つの有効性」が示された．以上から，情緒判定において，漫画に登場する人物の表情は，音声に匹敵する言語外情報を持つことが分かり，それを利用したタグ付与方法の信頼性が確認された．
}
\jkeywords{コーパス，表情，情緒，感情，信頼性，漫画}

\etitle{Construction of Text-dialog Corpus with Emotion Tags Focusing 
	on Facial Expression in Comics}
\eauthor{Masato Tokuhisa\affiref{IKE} \and Jin'ichi Murakami\affiref{IKE} 
	\and Satoru Ikehara\affiref{IKE}} 
\eabstract{
We annotated emotion tags to text-dialogs in comics with focusing facial expressions in order to construct reliable dialog corpus with emotion tags, and evaluated the reliability of the constructed corpus. Generally, the relationship between language expression and emotion of the speaker is ambiguous, so it is difficult to distinguish correct emotion existing inside of the speaker with referring only the language expression in dialog. To solve this problem, there exist many investigations using non-lingual information of acoustic data though it costs to collect much speech data. Therefore, in this paper, we focuse on the facial expression appearing in comics to gain the reliability of the emotional annotating. For instance, we used 10 comic books on ``Chibimaruko-chan'' containing 29,538 sentences and constructed emotional corpus annotated by the scheme, where two annotators annotate facial tags and emotion tags temporally and then decide correct tags by their discussion together. The correct emotion tags were 16,635. The evaluation results proved that the agreement ratio of the temporary emotion tags between the two annotators was 78\% which was as good as the related work in speech (83\%) and the correctness of the decided emotion tags was 97\%. Next, since in our trial experiment to extract emotional suffix expression from the corpus we successed to extract 3,164 ones, the usability for dialog analysis on emotion was clarified. Thus, we confirmed that the facial expression in comics is as effective for distinction of emotions as speech and the schema of corpus construction using facial expression in comics is reliable.
}
\ekeywords{Corpus, Facial expression, Emotion, Stability, Usability, Comics}

\headauthor{徳久，村上，池原}
\headtitle{漫画における表情に着目した情緒タグ付きテキスト対話コーパスの構築}

\affilabel{IKE}{鳥取大学工学部知能情報工学科}{
	Department of Information and Knowledge Engineering, Faculty of Engineering, Tottori University}



\begin{document}
\maketitle





\section{はじめに}

テキスト対話における対話者の情緒\footnote{心理学ではemotionの訳語に「情緒」や「情動」を用いる．emotionは，feeling（訳語は「感情」）より狭い意味である．本稿では，機械処理の立場から\cite{徳久&岡田98}にならい，「情緒」という用語を用いる．}を分析する上で，情緒タグ付きテキスト対話コーパスが必要とされている．通常，言語表現と話者の情緒との間には，必ずしも直接的な対応関係が存在するとは限らず，多義が存在する場合が多いため，対話文に内包された情緒を言語表現のみによって正しく判定することは難しい．したがって，音声や表情などの言語外情報が欠けているテキスト対話に対して，情緒のタグを付与しようとすると，付与するタグの種類やタイミングが付与作業者によって異なってしまうという「タグ付与の不安定さ」が問題となる．そのため，情緒タグの付与には可能な限り言語外情報の付随する対話を対象とすることが望まれる．

音声の持つ言語外情報を活用する方法は，既に多くの研究で試みられており，音声対話においては安定性の高いタグ付与が可能であることが示されている．たとえばLitmanらは，チュータリングの対話における感情予測を実現する際に，音声対話コーパスにPositive, Neutral, Negativeの3分類の感情タグを付与したところ，2人の付与者間の感情タグの一致率は81.75\%($\kappa=0.624$)であったと報告している\cite{Litman03}．

音声以外の言語外情報として表情に注目すると，漫画における対話シーンの利用可能性が考えられる．漫画は漫画家により創作された対話であるので，人間同士の対話を直接記録した対話データではない．しかし，研究目的に依っては漫画の対話が研究対象として受け入れられる場合がある．漫画家は人間同士の対話，表情，心境などについての観察能力に秀でており，読者に自然に受け入れられるように漫画に描き込むことができるので，漫画内での出来事は空想ではあるがそれ以外の部分，すなわち，登場人物の口調，人物間の交渉などの談話展開は常識的であるし，その間の人物の喜怒哀楽といった心境は読者にとって納得のいくように描かれている．口調や談話展開，心境については，現実の対話を日記として記述した場合と同じような現実味があるといえるだろう\footnote{ただし，漫画の表情は読者に登場人物の心境を伝えるために誇張して描かれている可能性があるので，表情そのものを研究の対象とする場合は注意が必要である．なお，口調も特殊な表現が使われるが，登場人物の個性を表すものの場合，その人物について区別すれば，分析全体への影響は大きくならない．}．ゆえに，漫画は，情緒と言語表現の関係を分析する上で有効な言語資源となりうる可能性がある．

漫画の表現や理解に関する研究として，中澤は，幼児から中学生までが漫画における「人物絵」，「表情」，「形喩」，「吹き出し表現」，「音喩」，「コマの感情」についてを読み取る能力を調査したところ，表情理解とコマの感情理解に関して，相対的に複雑な「心配，不安」については正答率は低いが，相対的に明確な「嬉しさ，怒り，悲しさ，悔しさ，楽しさ，寂しさ」については正答率が70\%を超えていたと報告している\cite{中澤05}．また，遠藤らは，漫画の修辞的技法について認知科学的な立場からの分析の枠組みを示すために，「時間」，「叙法」，「態」，「描写の焦点」，「コマの言説」に着目し，ハイパーコミックを構築した\cite{遠藤&小方03}．

中澤により漫画から安定して感情を読み取ることの可能性は示された．しかし，資源の構築という面からは，遠藤らのような全般的な資源としての蓄積例はあるものの，感情に特化した言語資源として構築した例はなく，漫画を対象に構築した言語資源にどれだけの信頼性があるのかは明確ではない．

そこで，本稿では，漫画を対象とした情緒タグ付きテキスト対話コーパスを構築し，その信頼性を評価することを目的とする．コーパスの信頼性として，本稿で注目する点は次の通りである．
\begin{itemize}
\item {\bf 安定性：} 主観的な判断で付与されるタグであるが，作業者に依存する揺らぎが抑えられているか．
  \begin{description}

  \item {\bf (1) 一致率：} コーパス構築の途中段階で一時的に付与される情緒タグにおける作業者間の一致の割合

  \item {\bf (2) 同意率：} コーパス構築の最終段階で決定される情緒タグについて，作業者以外の者から得られる同意の割合

  \end{description}

\item {\bf 有効性：} 構築したコーパスは言語分析に使用する価値があるか．
\end{itemize}

これらを評価することを念頭に，本稿は次のことを行う．1) 漫画の表情を参照しながら，1話につき2人の作業者が一時的な情緒タグを付与する．その結果より一致率を評価する．その結果は関連研究と比較し，そして，表情を参照しない場合と比較する．2) 一時的な情緒タグを作業者の協議により選別・修正し，正解とする情緒タグを決定する．その結果を別の者が検査して，同意率を評価する．3) 台詞と情緒タグの共起に基づき「情緒表現性のある文末表現」をコーパスから抽出するという試行的な実験を行う．漫画を対象としたコーパスであっても，自然で情緒的な文末表現が得られるかどうかによって，有効性を判断する．

これらの評価を通じて，漫画に登場する人物の表情を情緒の判定に用いることの可能性と，それを利用した情緒タグ付与方法の信頼性を確認する．


\section{情緒の位置づけ}

漫画の読者は，漫画から登場人物の情緒を読み取ることができる．漫画を読む過程で，幾つかの観点から情緒を捉えることができる（図\ref{fig1}）．それぞれを以下で説明し，本稿で扱う情緒の位置づけを明確にする．

\begin{figure}[b]
\begin{center}
    \includegraphics{14-3ia11f1.eps}
\caption{漫画から情緒を読み取る過程} \label{fig1}
\end{center}
\end{figure}

\subsection{内在する情緒}

情緒は，情緒主の内部に存在し，情緒主しか知り得ない．本稿では，この情緒を「真の内在する情緒」と呼ぶことにする．一方，第三者は，情緒主に関する様々な情報を元に，真の内在する情緒に向かって情緒を推定することができる．本稿ではこの推定される情緒を「推定上の内在する情緒」と呼ぶことにする．

漫画においては，登場人物の「真の内在する情緒」は，基本的には漫画の作者しか知り得ないが，時折ナレーションや登場人物の独り言に表現されることがある．読者は，漫画のシリーズ全体からそうした表現を捉えて登場人物の性格を理解し，さらに，漫画に含まれる総合的な描写（絵，表情，台詞，独り言，効果音，ナレーション），および，その前後の振る舞いを把握することができるので，「真の内在する情緒」に近いものとして「推定上の内在する情緒」を読み取ることができる．

\subsection{表出する情緒}

音声，表情，言語表現は，音素，顔の形状，文字の並びなどの物理的特徴により識別される．それらの識別に対して，人々の間で共通した解釈があるとき，音声，表情，言語表現は情報を伝達する役割を果たすことができる．言語表現は，国語辞典に見られるように文字列の解釈の仕方が約束されている．言語表現から話し手の考えが理解できるのは，第一に言語表現に対する約束を用いて聞き手が話し手の考えを聞き手の中に再構築できるからである．一方，表情の解釈は，社会的な約束付けが先に与えられるものではないが，生得的な情緒の反応として，あるいは，経験的なものとして，人々の間で共通点がある．

このように，言語表現や表情には解釈の共通性があるので，話し手が言語表現や表情を用いて他者に情緒を伝えることができる．本稿では，言語表現の解釈として得られる情緒のことを「言語表現に表出する情緒」，そして，表情の解釈として得られる情緒のことを「表情に表出する情緒」と呼ぶことにする．

「表情に表出する情緒」について，表情は，意識下では情緒的な反応が直結しているが，他者による解釈を見越して表情を作ることもできる．従って，情緒主の表情は，その者の「真の内在する情緒」と必ずしも一致するとは限らない．現実の表情では情緒を正確に把握することは容易ではないが，漫画の表情では漫画家が区別のつきやすいように表情を描くので，「表情に表出する情緒」は「推定上の内在する情緒」よりも区別が容易である．

一方，「言語表現に表出する情緒」とは，繰り返しになるが，言語表現の規範としての意味的約束に対応している情緒である．たとえば，「雨に降ら\underline{れてしまった}」の下線部には，「雨が降る」という事態に対する「話者のネガティブな気持ち」が対応している．典型例については情緒的な判断が容易にみえるが，直感的ではなしにその判断を説明しようとすると，実際には深い分析が伴う（たとえば，\cite{金子06}）ため，「推定上の内在する情緒」や「表情に表出する情緒」と比較すると判断が容易ではない．

\subsection{本稿のタグ付与のねらい}

「真の内在する情緒」を求めることは，心理学的・認知科学的な要求として存在する．しかし，本稿は，言語処理の立場から，言語理解として人々が共通に推定する情緒を，計算機処理により推定することを狙うため，「推定上の内在する情緒」を情緒タグとして付与する．

ここで，試行的に漫画を読みながら情緒のタグを付与してみると，「表情に表出する情緒」に強く影響を受けることに気がつく．たとえば，「顔で笑って心で泣いて」という状況のとき，笑顔に対する情緒のタグを付与してしまう．ところが，「表情に表出する情緒」をタグとして付与してみると，「推定上の内在する情緒」を素直に付与しやすいことが分かる．そこで，本稿では補助として「表情に表出する情緒」を表情タグとして付与することにする．

「言語表現に表出する情緒」を厳密にとらえることは，上述のとおり容易ではないので，「言語表現に表出する情緒」をタグとして付与することは，本稿では直接的には狙わない．情緒を表出することが約束されている言語表現ならば，ある程度の大きさのコーパスにおいて対応する情緒とともに繰り返し出現することが予想される．したがって，「言語表現に表出する情緒」は，本コーパスの「推定上の内在する情緒」のタグから分析的に求めることにする．


\section{コーパスの構築}

\subsection{コーパスに収録するタグ}

\subsubsection{タグの種類}

本稿のコーパスには，「推定上の内在する情緒」と「表情に表出する情緒」に対応するタグを付与する．前者に対応するタグを「情緒タグ」，後者に対応するタグを「表情タグ」と呼ぶ．詳細を以下で説明する．

\noindent
{\bf (1) 情緒タグ}

情緒タグは，以下に示すような9分類系と3分類系の2系統とする．

\noindent
{\bf （9分類系）}

9分類系の情緒タグは，次の9種類とする：
\begin{quote}
《喜び》，《悲しみ》，《好ましい》，《嫌だ》，《驚き》，《期待》，《恐れ》，《怒り》，《なし》
\end{quote}

プルチックの基本情緒\cite{Plutchik60}を参考にした8種類と，情緒の無い状態《なし》である．プルチックの分類を用いる理由は，複雑な情緒を，複数の基本情緒の組み合わせで表現できるためである．ただし，本稿のコーパスに複雑な情緒に対するタグとして複数のタグを付与する際，プルチックの示す組み合わせ方に必ずしも従う必要はなく，作業者の直感に任せることとする．それは日本語と英語での感情表現語の概念に差があるためである．また，9分類系の情緒の日本語名は\cite{徳久&岡田98}に従った．情緒タグの付与において，判断に悩む場合，情緒の生起する原因を参考にすることを意図している．

\noindent
{\bf （3分類系）}

3分類系の情緒タグは，次の3種類とする：
\begin{quote}
《Positive》，《Negative》，《なし》
\end{quote}

《Positive》は，《喜び》，《好ましい》，《期待》に対応し，《Negative》は，《悲しみ》，《嫌だ》，《恐れ》，《怒り》に対応する．9分類系の《驚き》は3分類系の《なし》に含める．このように，作業者は，9分類系でタグを付与することとし，3分類系は9分類系からの自動変換で得るものとする．

3分類系は，情緒の分解能としては荒い．しかし，\cite{Litman03}や\cite{Craggs&Wood04}などに示されるように，感情に関するタギングではよく使用される分類である．3分類系は，関連研究とコーパスの精度を比較するために用いる．

\noindent
{\bf (2) 表情タグ}

表情タグは，次の7種類とする：
\begin{quote}
〈幸福〉，〈嫌悪〉，〈悲しみ〉，〈驚き〉，〈恐れ〉，〈怒り〉，〈背後〉
\end{quote}

はじめの6種類はエクマンらの分類\cite{エクマン&フリーセン90}に基づく表情である．残りの1種類の〈背後〉は，本稿が漫画の特徴を加味して定めた「みなしの表情」である．つまり，「青ざめ」，「冷や汗」，「震え」などの描写が伴うと人物の情緒的な様子が読者に伝わることに配慮して定めたタグである．

表情タグと9分類系の情緒タグでは，ラベル名に不一致の箇所があるが，次のように対応する：〈幸福〉は《喜び》，《好ましい》，《期待》と対応する．〈嫌悪〉は《嫌だ》と対応する．〈悲しみ〉，〈驚き〉，〈恐れ〉，〈怒り〉は，文字通りに9分類系の情緒タグと対応する．

エクマンらが表情を大別したときに区別されていないことから分かるとおり，顔の形状の違いにより，《喜び》，《好ましい》，《期待》を見分けることは困難であるため，本稿でも無理に細分類することを避けた．また，〈嫌悪〉と《嫌だ》は，背景研究で使われていたラベルに従うため統一したラベル名にはしなかった．


\subsubsection{付与手順}

本稿で行うタグ付与の手順は次の通りである：

\begin{description}

\item {\bf 手順1：} 1つの話に対して2人の作業者が独立に漫画を読みながら，漫画の登場人物に対して表情タグを一時的に付与する．表情タグは，コマ内の人物に対して付与する．

\item {\bf 手順2：} 同じく2人の作業者が独立に，表情タグの付与されたところに，前後の文脈などを考慮しながら，情緒タグを一時的に付与する．情緒タグも表情タグと同じくコマ内の人物に対して付与する．

\item {\bf 手順3：} 手順1・2で一時的なタグを付与した2人の作業者が，互いにその一時的なタグを見比べて，協議により，「正解」といえる表情タグと情緒タグを決定する．

\end{description}

手順1・2に2名しか作業者を割り当てていないため，単純に両者の一致するタグを「正解のタグ」と決定するのでは，信頼性が得られないと考えて，手順3を設けている．以降の説明で，付与手順に関してタグを区別するために，手順1・2で付与したタグを「一時タグ」，手順3で決定したタグを「正解タグ」と呼ぶ．

一時タグ，正解タグともに，複数の情緒が推定される際，複数の情緒タグを付与する．情緒主が葛藤している状況では，相反する情緒が交互に生じていると考えられるが，タグの対応する漫画のコマの時間幅においては同時に生じると見なして，両方の情緒タグを付与する．ただし，タグ付与者が単に決めかねていることと，情緒主が葛藤していることは区別し，前者の場合はいずれかのタグに決定する．

なお，表情タグの付与されたところに，情緒タグを付与するのは，本稿の着眼点として表情という言語外情報を利用することを掲げているためである．実践的に情緒タグ付きコーパスを構築する際，表情タグのない部分に情緒タグを付与することを制限するものではない．また，台詞のないところでも表情タグがあれば情緒タグを付与するのは，対話の聞き手の情緒を分析する上で必要になると考えたからである．

\subsection{コーパスに収録する言語表現}

本稿では，言語表現の分析用のコーパスの構築を目指しているので，漫画の絵はコーパスに収録せず，言語表現をコーパスに収録する．コーパスに収録する言語表現は，ナレーション，登場人物の台詞（吹き出しの内と外），および，登場人物の発するオノマトペである．

コーパスには，それらの言語表現に話者名を添えて収録する．その際，吹き出しの外の台詞は，登場人物の内心の気持ちを言語表現したものである可能性があるので，話者名に括弧を付け，吹き出し内の台詞と区別をする．

コーパス中の言語表現の形態素・構文解析において，句読点が無かったり平仮名書きが多いと支障をきたすため，言語表現をコーパスに収録する際，句読点の追加と仮名漢字変換を行った．判断基準はタイピストに示したものの，判断に揺れが生じるので，後に表現の統一をとる\footnote{漫画のありのままの表現を分析することが目的ならば，こうした加工は必要でない．本稿では，平仮名表記のレベルで表現を区別して分析することが目的ではないので，加工を行った．}．


\subsection{実施}

本稿では，漫画「ちびまる子ちゃん」の第1巻から第10巻までの10冊\cite{さくら87-93}を対象とした．採用の理由は，小学生の女の子の出来事を描いており，比較的常識的な場面設定と日常的な会話が多くみられるためである．

作業者の体制について，漫画本の言語表現をコーパスとして収録する作業を2人のタイピストが行い，タグの付与作業を本研究室の学生6名が行った（以後，この6名の作業者をA者〜F者と呼ぶ）．作業時間について，タイピストによる全文の収録には約2ヶ月，タグの付与全般には約1ヶ月をそれぞれ要した．タグ付与の実働時間について，手順1から3までを実施するには1話あたり約2時間であった．一時タグの決定と両者の協議ともに時間を費やした．

コーパスの一部を表\ref{tab1}に示す．台詞を構成する文が基本単位であり，通番が与えられる．ここには表示していないが，巻番号，話番号などの整理番号を備えている．一時タグは，2人の作業者が別々に付与作業を行った後，ここに示すように1つのファイルに統合する．各者に見落としがあるのだが，正解タグにおいては，それらが修正されていることがわかる．

\begin{table}[b]
\begin{center}
\caption{コーパスの一部（\protect\cite{さくら87-93}第5巻より）} \label{tab1}
    \footnotesize \setlength{\tabcolsep}{1.5pt}
\begin{tabular}{|c|c|c|p{3zw}|p{4cm}||c|c|c|c|c|c|}
\hline \hline
\# & 頁 & コ & \multicolumn{1}{|c|}{話者} & \multicolumn{1}{|c||}{台詞} & \multicolumn{2}{|c|}{正解タグ} & \multicolumn{4}{|c|}{一時タグ} \\
\cline{8-11}
  &    & マ &      &      & \multicolumn{2}{c}{} & \multicolumn{2}{|c|}{X者} & \multicolumn{2}{|c|}{Y者} \\
\cline{6-11}
  &    &    &      &      & 表情 & 情緒 & 表情 & 情緒 & 表情 & 情緒 \\
\hline \hline
1 & 22 & 3 & まる子 & うちのもみの木は小さいね． &〈悲しみ〉&《悲しみ》&〈嫌悪〉&《嫌だ》&〈悲しみ〉&《悲しみ》\\
\cline{1-1} \cline{4-11}
2 & & & お姉 & 仕方ないじゃん． &〈幸福〉&《悲しみ》&〈幸福〉&《悲しみ》&〈幸福〉&《悲しみ》\\
  & & & ちゃん & & & & & & & \\
\cline{1-1} \cline{3-11}
3 & & 4 & お姉 & ぎゃあっ！ &〈驚き〉&《驚き》&〈驚き〉&《驚き》&〈驚き〉&《驚き》\\
  & &   & ちゃん & &〈恐れ〉&《恐れ》&（青）& &〈恐れ〉&《恐れ》\\
  & &   & & &（青）& & & &（青）& \\
\cline{1-1} \cline{4-11}
4 & &   & まる子 & &〈驚き〉&《驚き》&〈驚き〉&《驚き》& & \\
\hline
5 & 23 & 1 & お姉　ちゃん & まる子，あんたもみの木の鉢に金魚の死骸埋めたでしょ．& & & & & & \\
\cline{1-1} \cline{3-11}
6 & & 2 & まる子 & そうだよ． & & & & & & \\
\cline{1-1} \cline{5-5}
7 & & & & だって肥料になると思って． & & & & & & \\
\cline{1-1} \cline{4-11}
8 & & & お姉   & やめてよ．  &〈嫌悪〉&《嫌だ》&〈嫌悪〉&《嫌だ》&〈嫌悪〉&《嫌だ》\\
\cline{1-1} \cline{5-5}
9 & & & ちゃん & 気持ち悪い．&（汗）& &（汗）& &（汗）& \\
\hline
\end{tabular}
    \vspace{\baselineskip}
\caption{コーパスの規模} \label{tab2}
\begin{tabular}{llrr}
\hline \hline
\multicolumn{2}{c}{項目} & \multicolumn{2}{c}{規模} \\
\hline
\multicolumn{2}{l}{冊子，話} & \multicolumn{2}{l}{第1巻〜第10巻，104話} \\
\multicolumn{2}{l}{コマ} & \multicolumn{2}{l}{10,213（コマ）} \\
\multicolumn{2}{l}{文，文字} & \multicolumn{2}{l}{29,538（文），388,809（文字）} \\
\multicolumn{2}{l}{タグ付与箇所} & \multicolumn{2}{l}{12,345（のべ人）} \\
\hline
\multicolumn{2}{l}{表情タグ} & 14,040（個） & 100.0\%~~~ \\
（内訳）&〈幸福〉  & 6,018（個） & 42.9\%~~~ \\
        &〈嫌悪〉  & 2,608（個） & 18.6\%~~~ \\
        &〈驚き〉  & 1,787（個） & 12.7\%~~~ \\
        &〈悲しみ〉& 1,360（個） &  9.7\%~~~ \\
        &〈怒り〉  & 1,200（個） &  8.5\%~~~ \\
        &〈恐れ〉  &   870（個） &  6.2\%~~~ \\
        &〈背後〉  &   197（個） &  1.4\%~~~ \\
\hline
\multicolumn{2}{l}{情緒タグ} & 16,635（個） & 100.0\%~~~ \\
（内訳）& 《喜び》   & 4,469（個） & 26.9\%~~~ \\
        & 《嫌だ》   & 2,990（個） & 18.0\%~~~ \\
        & 《期待》   & 2,237（個） & 13.4\%~~~ \\
        & 《驚き》   & 2,010（個） & 12.1\%~~~ \\
        & 《恐れ》   & 1,757（個） & 10.6\%~~~ \\
        & 《悲しみ》 & 1,428（個） &  8.6\%~~~ \\
        & 《怒り》   & 1,347（個） &  8.1\%~~~ \\
        & 《なし》   &   207（個） &  1.2\%~~~ \\
        & 《好ましい》&  190（個） &  1.1\%~~~ \\
\hline
\end{tabular}
\end{center}
\end{table}

台詞と正解タグの関係は次の特徴がある：
\begin{itemize}
\item 表情タグと情緒タグは，同一コマ内の同一話者の台詞全てに対応するものであり，台詞中の特定の文に対応するものではない（たとえば，\#8, \#9）．
\item 複数のタグは同時に生じていることを表すために付与された場合もあれば，複雑な情緒を表すために付与された場合もある（たとえば\#3）．
\item 台詞が無くてもタグは付与されることがある（たとえば\#4）．
\item \#5のように叱責と思われる台詞であっても，漫画において表情の描かれていないコマには情緒タグを付与しない．
\end{itemize}

\subsection{結果}

構築したコーパスの規模を表\ref{tab2}にまとめる．10冊の漫画に104話が収録されていた．言語表現の規模としてコマ数，文数，文字数を示し，タグの規模として，正解タグの付与箇所数，表情タグ数，情緒タグ数を示す．「タグ付与箇所数」とは，コマ毎の登場人物のうち表情が平静でなかった者の数である．本コーパスではそのような者にタグが付与される．たとえば，表\ref{tab1}でタグが付与された話者数はのべ5人である．

\section{安定性の評価}

既に述べたとおり，本コーパスはタグ付与の安定性に関して次の配慮を行った：
\begin{description}
\item {\bf (1)} 表情を参照しながら情緒タグを付与した．
\item {\bf (2)} 2者による協議により正解の情緒タグを決定した．
\end{description}

(1) に関して，第\ref{sec4.2}節では，まず，2者間の一時タグの一致率を求め，コーパス全体の安定性を評価する．関連研究と比較して，本コーパスの安定性の水準を考察する．次に，一部の話について表情参照のない場合の一致率を求め，表情参照のある場合と比較することで，表情が安定性を高める効果を調べる．

(2) に関して，第\ref{sec4.3}節では，作業者以外の者が正解タグに同意した数を調べて，コーパス全体の正解タグの正確さ（同意率）を評価する．次に，一時タグと正解タグの比較により作業者の精度を調べ，精度の悪かった部分の正解タグについての同意率を評価する．2者による協議が，最終的に決定されるタグの「正確さ」の確保に有効であることを確認する．

\subsection{評価方法}

主観的なタグ付与の安定性を評価するために，2人の付与作業者間での一致するタグの割合をカッパ値（$\kappa$値）で評価する方法が，用いられている\cite{Narayanan02}：

\[ \kappa = (P(A) - P(E)) / (1 - P(E)) \]

$P(A)$は2人の付与者によるタグの一致数の割合である．$P(E)$は偶然の一致の期待値の割合である．

タグ付与の1つの対象に，複数のタグの付与を認めるタスクにおいて，単純に$\kappa$値を用いた評価ができないことから\footnote{複数の注釈の組が1つの複雑な意味を表す注釈とみなして求めた$\kappa$値を，本稿では$\kappa_{\mbox{複合}}$と呼ぶ．$P(E)$を求める際に独立性が保証できないことから，正確な方法とは言えないが，参考値として求める．また，単一の注釈の付与されたところのみを対象に求めた$\kappa$値を，本稿では$\kappa_{\mbox{単独}}$と呼び，参考値として求める．}，2人の作業者の付与タグ総数を基準とした一致率が評価値として用いられることがある\cite{徳久R&寺嶌06}：

\[\mbox{〈一致率〉}= \frac{\mbox{〈2者間の一致タグ数〉} * 2}{\mbox{〈2者の総付与タグ数〉}} * 100 (\%) \]

次に，正解の存在する場合の評価方法を示す．2人の作業者間の協議で正解タグを付与したが，協議とは無関係な人物が正解タグを見たときに同意できるタグの数の割合（本稿では〈同意率〉と呼ぶ）によって，正解タグの「正確さ」を評価する：

\[\mbox{〈同意率〉} = \frac{\mbox{〈同意を得た正解タグの数〉}}{\mbox{〈検査された正解タグの数〉}} * 100 (\%) \]

正解タグが決まっているならば，正解タグに対する一時タグの再現率と適合率から評価することができる：

\[ \mbox{〈再現率〉} = \frac{\mbox{〈正解タグと一致した一時タグ数〉}}{\mbox{〈正解タグ数〉}} \]

\[ \mbox{〈適合率〉} = \frac{\mbox{〈正解タグと一致した一時タグ数〉}}{\mbox{〈一時タグ数〉}} \]


\subsection{情緒の一時タグの評価} \label{sec4.2}

\begin{table}[b]
\begin{center}
\caption{表情参照時の9分類系情緒の一時タグの一致率} \label{tab3}
\begin{tabular}{cccccc}
\hline \hline
巻     & 作業者   & 一致率 &（一致数）&$\kappa_{\mbox{複合}}$ &$\kappa_{\mbox{単独}}$ \\
\hline
1〜2   & A者-B者  & 74.0\% & (3,667) & 0.532  & 0.607 \\
3〜4   & C者-B者  & 71.9\% & (3,148) & 0.513  & 0.600 \\
5〜6   & C者-D者  & 68.6\% & (2,904) & 0.497  & 0.597 \\
7〜8   & E者-D者  & 52.7\% & (2,625) & 0.313  & 0.408 \\
9〜10  & E者-F者  & 60.1\% & (2,808) & 0.363  & 0.496 \\
\hline
1〜10  & 総合     & 65.2\% &(15,152) & 0.444  & 0.546 \\
\hline
\end{tabular}
\end{center}
\end{table}

\subsubsection{表情参照時の情緒タグの一致率}

2人の作業者間で情緒の一時タグの一致率および$\kappa$値（参考値）を求めた．表\ref{tab3}にその結果をまとめる．表\ref{tab3}より以下のことが分かる．

\begin{itemize}
\item 総合の一致率は 65.2\% であった\footnote{総合とは，A, C, E者側とB, D, F者側をそれぞれ束ねて比較することである．}．
\item 作業者対ごとに一致率をみると，52.7\%〜74.0\%であった．
\item E-D者間とE-F者間の一致率が相対的に低い．
\end{itemize}

漫画「ちびまる子ちゃん」は易しく理解できる漫画であることから，7巻から10巻の話の内容が難しいというよりは，E者による情緒の判断に問題があった可能性がある．

関連研究において，9分類系情緒のタグを付与して一致率を示した例がないため，ここに示した一致率は，今後のタグ付与における参考値となる．


\subsubsection{関連研究との比較}

感情タグに関する研究では，感情の種類として，Positive, Neutral, Negative を用いることが多い．\cite{Litman03}や\cite{Narayanan02}に見られるように，音声対話においては，Positive/Negativeの2種類の感情の識別の$\kappa$値は0.465〜0.624であり，一致率は最高で81.75\%というレベルである．それらと比較のできるように，本コーパスの3分類系の情緒タグの一致率を求めた．表\ref{tab4}に結果をまとめる．表\ref{tab4}より以下のことが分かる．

\begin{itemize}
\item 一致率は総合で 78.0\% であり，作業者対ごとにみると 72.5\% から82.9\% までの範囲にある．
\item $\kappa$値について$\kappa_{\mbox{複合}}$は総合で0.640であり，作業者対ごとにみると0.589から0.668までの範囲にある．
\end{itemize}

関連研究と比較すると，本稿の結果は最高値についていえば関連研究の結果を上回っている．そして，総合の評価値をみると，最高値よりやや劣る程度である．ゆえに，本稿で提案したタグ付与の方法は安定性が高いといえる．

\begin{table}[b]
\begin{center}
\caption{表情参照時の3分類系情緒の一時タグの一致率} \label{tab4}
\begin{tabular}{cccccc}
\hline \hline
巻     & 作業者対   & 一致率 & （一致数） & $\kappa_{\mbox{複合}}$ & $\kappa_{\mbox{単独}}$ \\
\hline
1〜2   & A者-B者  & 82.9 \% & (3,849)  & 0.668  & 0.682 \\
3〜4   & C者-B者  & 81.5 \% & (3,286)  & 0.657  & 0.671 \\
5〜6   & C者-D者  & 81.8 \% & (3,155)  & 0.702  & 0.717 \\
7〜8   & E者-D者  & 72.5 \% & (3,117)  & 0.572  & 0.594 \\
9〜10  & E者-F者  & 74.3 \% & (2,818)  & 0.589  & 0.612 \\
\hline
全て   & 総合     & 78.0 \% & (19,043) & 0.640  & 0.658 \\
\hline
\end{tabular}
\end{center}
\end{table}


\subsubsection{表情参照しない時の一致率}

表情を参照することの効果を調査するために，表情参照をせずにタグを付与し，一致率を求めた．対象は，第2巻，第6巻の各第1話，第2話の合計4話（1,217文）とした．表\ref{tab5}に，表情参照のある場合の一致率と表情参照のない場合の一致率を比較して示す．表情参照のある場合は，前述の結果から該当話を抽出した値である．表\ref{tab5}より以下のことが分かる．
\begin{itemize}
\item 一致率は，表情参照のない場合が60.5\%であり，表情参照のある場合は67.7\% であることから，表情参照のある方が安定している．
\end{itemize}

\begin{table}[t]
\begin{center}
\caption{表情参照の有無による情緒タグの一致率の違い} \label{tab5}
\begin{tabular}{cccc}
\hline \hline
表情参照 & 一致率  & $\kappa_{\mbox{複合}}$ & $\kappa_{\mbox{単独}}$ \\
\hline
あり     & 67.7 \% & 0.485 & 0.575 \\
なし     & 60.5 \% & 0.382 & 0.472 \\
\hline
\end{tabular}
\end{center}
\end{table}

表情タグの付与されていない箇所に，情緒タグを付与しなかったが，実践的なコーパス構築においては，その部分にも情緒タグを付与することがあるだろう．その際の一致率は，表情参照のありとなしの各場合の間になると思われる．表情タグの無い部分でも前後の表情タグから補間的に様子がとらえられるためである．


\subsection{情緒の正解タグの評価} \label{sec4.3}

\subsubsection{正解タグのサンプル検査} \label{sec4.3.1}

本コーパスからランダムに対話部分を抽出し，計414個の正解情緒タグを対象に検査した〈同意率〉は97\% (414/425)であった．したがって，正解タグの正確さは高い．

\begin{table}[b]
\begin{center}
\caption{正解タグと一時タグの間の一致の割合} \label{tab6}
\begin{tabular}{ccccc}
\hline \hline
作業者 & 再現率 & 適合率 & 一致率 & （一致数）\\
\hline
A者    & 0.876  & 0.931  & 90.3\% & (4,578) \\
B者    & 0.848  & 0.889  & 86.8\% & (8,432) \\
C者    & 0.766  & 0.832  & 79.8\% & (7,068) \\
D者    & 0.822  & 0.901  & 86.0\% & (8,049) \\
E者    & 0.670  & 0.690  & 68.0\% & (6,862) \\
F者    & 0.798  & 0.843  & 82.0\% & (3,958) \\
\hline
総合   & 0.788  & 0.838  & 81.3\% & (38,947) \\
\hline
\end{tabular}
\end{center}
\end{table}

\subsubsection{一時タグと正解タグの比較}

一時タグと正解タグの〈適合率〉と〈再現率〉を求めると，表\ref{tab6}のようになった．表\ref{tab6}から以下のことが分かる．
\begin{itemize}
\item 総合では，再現率と適合率が，0.788と0.838である．
\item 作業者ごとにみると，再現率と適合率は，C者とE者が総合よりも低い．
\end{itemize}

そこで，最も評価の悪かったE者が関わった部分の正解タグの正確さを評価した．第7巻から第10巻までがE者の担当であったので，その範囲について正解タグの同意率を求めたところ，97\% (158/163) であった．全体の同意率と同等であったことから，手順3による協議は，作業者の判断誤りを補うことができていたといえる．



\section{有効性の評価}

本コーパスは漫画を題材として作成した．漫画における発話文であっても言語分析の目的によっては有効であることを，試行的な実験を通じて示す．本稿はコーパスの構築が目的であるので，コーパスに分析する価値があるかどうかの目途がたてば有効性の評価は十分である．

\subsection{情緒の共起する文末表現の抽出}

日本語の文末には，助詞・助動詞のみならず形式的な語の組み合わせを加えると，多くの表現形式が存在し，その中には話者の後悔や非難などの主観を表すものがある．そこで，本コーパスにおいて，情緒タグとの共起から，情緒的なニュアンスのある文末表現を抽出することを試みる．

文末表現を抽出する方法について述べる．形式的な語も加えると文末表現と判断する根拠が曖昧であるため，繰り返し情緒と共起する文末文字列を機械的に抽出する方法を本稿では用いる．その手順は次のとおりである：(1) 10分割したコーパスの1つをテストデータ，残りをトレーニングデータとする．(2) 10通りのテストデータとトレーニングデータの組において，テストデータ中の各文について，トレーニングデータから最長一致となる文末の文字列を抽出する．(3) コーパス全体から文末表現の一致する文を検索し，その文に付与されている情緒タグの数を集計することで，抽出した文末表現と情緒タグの共起する頻度を求める．

\subsection{抽出結果}

台詞のあるタグ付与箇所11,027から3,164種類の文末表現を得た．その中より，情緒を表現すると思われる文末表現を図\ref{fig2}に幾つか紹介する．「かも，のに，うよ，もん，てしまう」を含む文末表現の一部である．情緒の共起割合とは，その文末表現に共起した情緒タグの総数を100\%としたときの各情緒タグの割合である．

\begin{figure}[t]
\begin{center}
    \includegraphics{14-3ia11f2.eps}
\caption{情緒表現性のある文末表現の例} \label{fig2}
\end{center}
\end{figure}

ここに挙げた例は，わかりやすい例である．しかし，他の文末表現をみると確率的には情緒との関連性があるものの，人の目でみたときには関連性が感じられないものもある\footnote{参考として，得られた文末表現をそのまま用いて本コーパスの台詞から情緒を推定する実験（文末表現に対応し割合の最も高い情緒を台詞から推定される情緒とし，その台詞に対応する情緒タグを少なくとも1つを求める）を行ったところ，43.8\%（4,832/11,027）の正解率であった．}．文末表現を見て感じられる情緒は「言語表現に表出する情緒」であるが，確率的に関連付けられている情緒が「推定上の内在する情緒」であるため，こうした差異が生じたものと思われる．

さらに，情緒的な文末表現についての知識ベースを構築する場合を考えてみると，文末表現に対応する「言語表現に表出する情緒」の妥当性の問題の他に，文末表現の知識ベースとしての表記の問題が生じる．たとえば，言語表現の意味をとらえる知識の記述形式として，機械翻訳の分野では文型パターンが提案されている\cite{池原04}ので，その表記法を参考にして，図\ref{fig2}の文末表現は次のようにパターン化できる：
\begin{description}
\item P0100: $CL1.te$みようよ． 期待 50\%，喜び 50\%
\item P0101: $CL1$ましょうよ．  期待 40\%，喜び 60\%
\end{description}
P0100について，図\ref{fig2}では「てみようよ．」だが，助詞「て」は先行する動詞に依存して「で」であってもよいため，洗練の際にその揺れを吸収する関数である``$.te$''に書き換える．P0101について，同図では「りましょうよ．」となっており，活用語尾の「り」が余分であるため洗練の際に修正が必要である．

以上のように，本実験は，単純なものであるが，漫画を題材としていても分析価値のあるコーパスであることが確認できた．


\section{考察}

第\ref{sec6.1}節では，今後の情緒タグ付与に備え，情緒タグ付与の誤り例を示す．第\ref{sec6.2}節では，複数の情緒タグの付与される場面と複雑な情緒の関係を分析し，複雑な情緒を扱う上での未解決の問題を示す．

\subsection{情緒タグ付与の誤り分析} \label{sec6.1}

    第\ref{sec4.3}項での同意率の調査において，同意の得られなかった箇所について分析する．

    \subsubsection{類似の情緒を区別する問題}

タグ付与者によると，「《喜び》，《期待》，および，《好ましい》の3つの区別に戸惑った」という意見があった．同意率の検査では，下記の例の2コマ目のお姉ちゃんの情緒が《喜び》であることに対して同意が得られなかった．検査者によると，《喜び》は，まだノートを所有していないので不適切であり，「ノートに対する《好ましい》」と，「ノートがもらえるという《期待》」の2つの情緒タグが適切であるという．このように，区別の決め手になるのは，情緒の生じる原因および情緒の反応を前後の文脈から読み取ることである．

\vspace{\baselineskip}
\begin{center}
\begin{tabular}{|c|c|c|l|c|c|}
\hline
\# & コマ & 話者 & \multicolumn{1}{|c|}{台詞} & 表情 & 情緒 \\
\hline
1 & 1 & お姉ちゃん & あーっ，このノートいいなー． & & \\
\hline
2 & 2 & お姉ちゃん & どうしたの？                 &〈幸福〉& \underline{《喜び》} \\
\cline{1-1} \cline{4-4}
3 &   &            & コレ．                       &        & \\
\hline
4 &   & お母さん   & シーチキンを買ったら，       &〈幸福〉&《喜び》\\
  &   &            & もらったのよ．               &        & \\
\hline
5 & 3 & お姉ちゃん & 私に頂戴．                   &〈幸福〉& 《期待》\\
\cline{1-1} \cline{4-4}
6 &   &            & 算数のノートにするの．       &        & \\
\hline
\multicolumn{6}{r}{※ 3巻24ページより引用}
\end{tabular}
\end{center}

    \subsubsection{対人的な情緒のタグを選択する問題}

9分類系の情緒は，基本行動との対応関係を考察する上でわかりやすいが，対人感情への対応関係が不明確である．下記の例では，\#3のナレーションのとおり，たまちゃんの真の内在する情緒は「心配」である．タグ付与者は「心配」に対して《嫌だ》を選択したが，同意率の検査者は《恐れ》の方がよいという意見であった．対話では対人感情に敏感であるので，典型的な対人感情と9分類系のタグとの対応関係をタグ付与作業者にあらかじめ示しておくことが必要であった．

\vspace{\baselineskip}
\begin{center}
\begin{tabular}{|c|c|c|l|c|c|}
\hline
\# & コマ & 話者 & \multicolumn{1}{|c|}{台詞} & 表情 & 情緒 \\
\hline
1 & 7 & まる子     & 今日もお父さんとお風呂に入る約  & 〈幸福〉 & 《喜び》\\
  &   &            & 束してるんだ．                  &          & 《期待》\\
\cline{1-1} \cline{3-6}
2 &   & たまちゃん & またのぼせないようにね．        & 〈幸福〉 & \underline{《嫌だ》} \\
\cline{1-1} \cline{3-6}
3 &   & ナレータ   & 色々と心配なたまちゃんであった．&          & \\
\hline
\multicolumn{6}{r}{※10巻62ページより引用}
\end{tabular}
\end{center}

    \subsubsection{表情に依存する問題}

本稿で対象としている漫画「ちびまる子ちゃん」では，タグ付与過程での印象として，登場人物に内在する情緒と表情がよく対応しているように思われ，また，愛想笑いのように内在する情緒と表情が対応しないときは，「汗」が描かれるようである．

下記の例では，検査者は\#14〜\#16で「ももこ」が愛想笑いをしているとして，《喜び》の情緒タグは不適切であると判断したため，相違が生じた．

\vspace{\baselineskip}
\begin{center}
\begin{tabular}{|c|c|c|l|c|c|}
\hline
\# & コマ & 話者 & \multicolumn{1}{|c|}{台詞} & 表情 & 情緒 \\
\hline
1  & 2 &お母さん&…てな具合にさあ，私も若いころには&〈喜び〉      &《喜び》\\
   &   &        &色々あった訳よ．                  &              & \\
\cline{1-1} \cline{3-6}
2  &   &ももこ  &ふうん…失恋…ねェ…．            &              & \\
\hline
3  & 3 &お母さん&アンタ失恋ってのは悲しいもんよォ．&〈嫌悪〉      &《喜び》\\
\cline{1-1} \cline{4-4}
4  &   &        &も〜〜お母さんはネェ．            &              &《悲しみ》\\
\cline{1-1} \cline{3-6}
5  &   &ももこ  &分かったよ．                      &〈幸福〉      &《嫌だ》\\
\cline{1-1} \cline{4-4}
6  &   &        &辛いんでしょ．                    &〈嫌悪（汗）〉& \\
\cline{1-1} \cline{4-4}
7  &   &        &ハイハイ．                        &              & \\
\cline{1-1} \cline{4-4}
8  &   &        &もういい？                        &              & \\
\cline{1-1} \cline{4-4}
9  &   &        &私眠いから．                      &              & \\
\hline
10 & 4 &お母さん&ダメッ，ももこっ！                &〈幸福〉      &《喜び》\\
\cline{1-1} \cline{4-4}
11 &   &        &ここから先が面白いのよ．          &              & \\
\cline{1-1} \cline{4-4}
12 &   &        &いよいよお父さんが登場するのよ．  &              & \\
\cline{1-1} \cline{4-4}
13 &   &        &寝ちゃダメッ．                    &              & \\
\cline{1-1} \cline{3-6}
14 &   &ももこ  &ふーん…．                        &〈幸福（汗）〉&\underline{《喜び》}\\
\cline{1-1} \cline{4-4}
15 &   &        &あー，ワクワクするなあ．          &              &《嫌だ》\\
\cline{1-1} \cline{4-4}
16 &   &        &楽しみだなあ．                    &              & \\
\hline
\multicolumn{6}{r}{※ 4巻155ページより引用}
\end{tabular}
\end{center}

    \subsubsection{ナレーションを見落とす問題}

ナレーションや非直接的な吹き出し（吹き出しと人物の間を複数の丸で結ぶもの）は，人物の心境を表し，真の内在する情緒が記述されているといえる．下記の例では，ナレータのいうとおり，まる子が〈幸福〉の表情でお母さんに話しかけているのはお母さんの心境に探りをいれているのであって，《喜び》をもって話をしているのではない．\#2の台詞は非直接的な吹き出しの部分であるが，その台詞は「不安」な気持ちを直接的に述べており，情緒タグとしては《恐れ》が適当である．

\vspace{\baselineskip}
\begin{center}
\setlength{\tabcolsep}{3pt}
\begin{tabular}{|c|c|c|l|c|c|}
\hline
\# & コマ & 話者 & \multicolumn{1}{|c|}{台詞} & 表情 & 情緒 \\
\hline
1 & 3 &まる子  &はっ，お父さんとお母さん，                  &〈幸福〉      &《恐れ》\\
  &   &        &ケンカしてるらしいね．                      &〈恐れ（青）〉&\\
\cline{1-1} \cline{4-4}
2 &   &        &たいしたことなきゃいいけど．                &              &\\
\cline{1-1} \cline{3-6}
3 &   &お父さん&                                            &〈怒り〉      &《怒り》\\
\cline{1-1} \cline{3-6}
4 &   &お母さん&                                            &〈怒り〉      &《怒り》\\
\hline
5 & 4 &まる子  &ねえお母さん，今日の夕食お寿司にしてえ．    &〈幸福〉      &\underline{《喜び》}\\
\cline{1-1} \cline{4-4}
6 &   &        &お願いー．                                  &              &《期待》\\
\cline{1-1} \cline{3-6}
7 &   &ナレータ&このように子供は自らリトマス紙となり，  &              &\\
  &   &        &親のケンカの深刻さを調べるのだ．        &              &\\
\hline
\multicolumn{6}{r}{※ 7巻127ページより引用}
\end{tabular}
\end{center}



\subsection{複雑な情緒の扱い} \label{sec6.2}

複雑な情緒に対するタグの付与について考察する．

\subsubsection{複雑な情緒の例}

本稿は，プルチックの8つの基本的な情緒を参考に情緒タグを定めた．その利点として，複雑な情緒を基本的な情緒の組み合わせで扱うことが挙げられる．その利点を活かすために，本コーパスでは，1つのコマ・1人の人物において，複数の情緒が同時に推定できるとき，それらの付与を認めている．たとえば，下記の例では，\#5, 6, 7 のたまちゃんの台詞には，たまちゃんの情緒として，《喜び》と《好ましい》を同時に付与する．ここで，プルチックの分類に従うと，《喜び》と《好ましい》に対しては，《愛》という複雑な情緒が対応する．

\vspace{\baselineskip}
\begin{center}
\begin{tabular}{|c|c|c|l|c|c|}
\hline
\# & コマ & 話者 & \multicolumn{1}{|c|}{台詞} & 表情 & 情緒 \\
\hline
1&1&たまちゃん& ねえ，まるちゃん．                  &〈幸福〉&《期待》\\
\cline{1-1} \cline{4-4}
2& &          & 母の日には，何あげる？              &        &\\
\cline{1-1} \cline{3-6}
3& &まる子    & え？                                &〈驚き〉&《驚き》\\
\cline{1-1} \cline{4-4}
4& &          & 何かあげるの？                      &        &\\
\hline
5&2&たまちゃん& そりゃそうよ．                      &〈幸福〉&《喜び》\\
\cline{1-1} \cline{4-4}
6& &          & いつも，お世話になっているお母さんだ&        &《好ましい》\\
 & &          & もん．                              &        &→ 《愛》\\
\cline{1-1} \cline{4-4}
7& &          & 母の日くらいお礼しなきゃ．          &        &\\
\cline{1-1} \cline{3-6}
8& &まる子    & あんた子供の癖に義理がたいわねェ．  &        &\\
\hline
\multicolumn{6}{r}{※ 6巻4ページより引用}
\end{tabular}
\end{center}

\subsubsection{複雑な情緒へのタグ付与}

プルチックは，2つの基本的な情緒の組により複雑な情緒として23種類を示した．そこで，その組に従い，本コーパスの基本的な情緒の2つ組に対して，複雑な情緒を表すタグを付与し，そのタグに対する同意率を求めた．同意率は，各情緒について最大30件のランダムサンプリングにより検査した．同意の判定には，複雑な情緒の英語側の語義を考慮に入れた．表\ref{tab7}にその結果を示す．

全体で，同意率は63\%となったが，複雑な情緒ごとに見ると同意率の開きが大きい．

\begin{table}[t]
\begin{center}
\caption{複雑な情緒のタグ付与と同意率} \label{tab7}
\begin{tabular}{rccrrc}
\hline \hline
\#&複雑な情緒&情緒の組み合わせ&件数 &同意率&（同意数／サンプル数）\\
\hline
1&楽観     &喜び + 期待    &1,231 &100\%  &(30/30)\\
2&好戦的   &期待 + 怒り    &11   &100\%  &(11/11)\\
3&懸念     &期待 + 恐れ    &70   &97\%   &(29/30)\\
4&歓喜     &喜び + 驚き    &110  &93\%   &(28/30)\\
5&みじめ   &嫌だ + 悲しみ  &234  &87\%   &(26/30)\\
6&憂鬱     &喜び + 嫌だ    &71   &83\%   &(25/30)\\
7&嫉妬     &怒り + 悲しみ  &27   &81\%   &(22/27)\\
8&憤慨     &驚き + 怒り    &22   &77\%   &(17/22)\\
9&警戒     &恐れ + 驚き    &252  &77\%   &(23/30)\\
10&絶望     &恐れ + 悲しみ  &81   &73\%   &(22/30)\\
11&失望     &驚き + 悲しみ  &38   &73\%   &(22/30)\\
12&軽蔑     &嫌だ + 怒り    &239  &63\%   &(19/30)\\
13&運命     &期待 + 好ましい&19   &53\%   &(10/19)\\
14&愛       &喜び + 好ましい&62   &47\%   &(14/30)\\
15&自慢     &喜び + 怒り    &10   &30\%   &(3/10)\\
16&恥       &恐れ + 嫌だ    &452  &27\%   &(8/30)\\
17&悲観     &期待 + 悲しみ  &37   &17\%   &(5/30)\\
18&罪悪感   &喜び + 恐れ    &25   &16\%   &(4/25)\\
19&皮肉     &期待 + 嫌だ    &35   &7\%    &(2/30)\\
20&服従     &恐れ + 好ましい&4    &0\%    &(0/4)\\
21&好奇心   &驚き + 好ましい&3    &0\%    &(0/3)\\
22&-        &驚き + 嫌だ    &178  &      &\\
23&-        &喜び + 悲しみ  &51   &      &\\
24&-        &期待 + 驚き    &42   &      &\\
25&-        &恐れ + 怒り    &18   &      &\\
26&-        &嫌だ + 好ましい&2    &      &\\
27&支配     &好ましい + 怒り&0    &      &\\
28&感傷的   &好ましい + 悲しみ&0    &      &\\
\hline
  &         &               &3,324 &63\%   &(320/511)\\
\hline
\end{tabular}
\end{center}
\end{table}


\subsubsection{複雑な情緒の対応関係の誤り分析}

同意のできなかった理由について考察する．

\begin{itemize}
\item 「cynicism （皮肉・冷笑）」について，「期待＋嫌だ」の対象が人間である必要がある．下記の正例では，まる子は，丸尾の態度に《嫌だ》と思いつつ丸尾がツチノコ探しを続けることに《期待》をしているので，冷笑の様子と言える．しかし，下記の負例では，まる子が今の洋服が気に入らないこととして《嫌だ》が付与されているが，同時にお母さんが要求に応えてくれることの《期待》が付与されている．

  \begin{description}
  \item （正例）
    \begin{description}
    \item [丸尾：] スタモツチノコ株式会社さえ成功すれば世界は我々のものなのです．
    \item [まる子：] そうかなァ…．《期待》，《嫌だ》
    \item [ナレータ：] 世界がツチノコごときに従うとは思えない．
    \end{description}
    \begin{flushright}
    （4巻，48ページより引用）
    \end{flushright}

  \item （負例）
    \begin{description}
    \item [まる子：] お母さん，お母さん．
    \item もっと夜会服って感じのないかね．
    \item ロングスカートでさあ． 《嫌だ》，《期待》
    \item [お母さん：] ないわよ．
    \end{description}
    \begin{flushright}
    （7巻，117ページより引用）
    \end{flushright}
  \end{description}

\item 「罪悪感」について，「喜び＋恐れ」は《喜び》の対象や原因と，《恐れ》の原因とが一致しなければならない．たとえば，下記の正例では，お母さんは，お父さんの発言を原因として，《喜び》を感じつつ，《恐れ》も感じているので，「罪悪感」がある．しかし，下記の負例では，おじいちゃんは，《恐れ》の余韻が残っているだけで，「罪悪感」はない．

  \begin{description}
  \item （正例）
    \begin{description}
    \item [お父さん：] どれどれまる子と噂になってるはまじってどれだ？
    \item [お姉ちゃん：] この子よ，この子．
    \item [お父さん：] おー，おもしれー顔してるなァ．
    \item まる子と結婚したら夫婦で漫才やらせよう．
    \item [お母さん：] お父さん，まる子が聞いたら怒るわよ．《喜び》，《恐れ》
    \end{description}
    \begin{flushright}
    （8巻，26ページより引用）
    \end{flushright}

  \item （負例）
    \begin{description}
    \item [まる子：] おじいちゃん，火事だよ．
    \item [おじいちゃん：] たっ，大変じゃ．早く逃げろっ．
    \item まる子っ，こっちに来るんじゃ．
    \item [まる子：] 違う，違う，うちじゃないよ．よその火事！！
    \item [おじいちゃん：] …そうかい…．よそかい…… 《喜び》，《恐れ》
    \end{description}
    \begin{flushright}
    （10巻，27ページより引用）
    \end{flushright}
  \end{description}

\item 「悲観」を構成する「期待＋悲しみ」のうち《期待》について，本稿は「予期」とせずポジティブな解釈を認めているため「悲観」の語感にそぐわなくなった．《悲しみ》の中で何かに《期待》を持ちつつ行動する様子は「悲観」というより「辛抱強い」あるいは「意地」といえる．
  \begin{description}
  \item （負例）
    \begin{description}
    \item [お父さん：] こりゃ祭も中止だな．
    \item [まる子：] 嫌だっ．
    \item 夕方までに止むもん…．
    \item お祭に行けるもん…．《悲しみ》，《期待》
    \end{description}
    \begin{flushright}
    （6巻，61ページより引用）
    \end{flushright}
  \end{description}

\item 「恥」は「恐れ＋嫌だ」であるが，情緒主の評価を下げることに関連しなければならない．しかし，下記の例では，まる子が酷く恐れているのであって「恥」にはならない．
  \begin{description}
  \item （負例）
    \begin{description}
    \item [まる子：] あー神様神様，大地震なんて絶対絶対来ませんように…．
    \item 《恐れ》，《嫌だ》
    \end{description}
    \begin{flushright}
    （2巻，97ページより引用）
    \end{flushright}
  \end{description}
\end{itemize}

上述の分析によると，9分類系の情緒タグだけでは，複雑な情緒をそのまま扱うことは難しい．複雑な情緒を扱う上で，コーパスにはさらなる情報の付与が必要である．

\subsubsection{複雑な情緒への対処に向けて}

複雑な情緒を扱うために必要な情報とは，情緒の原因・対象についての情報である．特に次の点が重要である：
\begin{itemize}
\item 対人性：情緒の生じる原因・対象として関わる人物を明確にすること．
\item 他の情緒との関連性：注目している情緒の原因・対象が，組となるもう一方の情緒の原因・対象と同一であるかどうか．
\item 情緒主への評判：情緒の原因・対象，および，その影響が，情緒主の評判に関わるかどうか．
\end{itemize}

たとえば，次のように情緒タグに情報を付加することが考えられる．
\begin{description}
\item （例）
  \begin{description}
  \item [u1：] お父さん：おー，おもしれー顔してるなァ．
  \item [u2：] お父さん：まる子と結婚したら夫婦で漫才やらせよう．
  \item [u3：] お母さん：おとうさん，まる子が聞いたら怒るわよ．
  \end{description}
  \begin{description}
  \item 《喜び，原因：u2，対人性：0，評判：0》，
  \item 《恐れ，原因：u2，対人性：＋，評判：0》
  \end{description}
\end{description}

ここまでタグが付与されているならば，「罪悪感」のタグの付与は，同一の原因である《喜び》と《恐れ，対人性：＋》の存在を基に自動で行うことができる．

さらに，より厳密に情緒をタグで表そうとすると，上記の情報の他に，OCCモデルでEvent, Agent, Objectで体系的に示されるような情報やゴール・プランや選好等に関する情報も必要になる\cite{Ortony88}．また，心的状態を表すタグを付与する方法がある\cite{徳久&中野&山下&岡田01}．しかし，こうした豊富な情報をコーパスに付与しようとすると，言語表現されていない背景事情を表すためのタグが非常に多くなる．たとえば，上述の{\bf u2}という原因の表示は，ここでは幸いにも適当なラベルとして使用できたが，常にこの程度の粒度のラベルで原因がカバーできるとは限らない．そのような目に見えない情報に対するタグは，表記が複雑になり分析者の負担が非常に重い\cite{古塩&徳久04}．

\section{おわりに}

本稿は，信頼性の高い情緒タグ付き対話コーパスを実現することを狙い，漫画の対話文を対象に，登場人物の表情を参照する方法によって情緒タグを付与した．また，得られた対話コーパスの信頼性を評価した．

具体的には，漫画「ちびまる子ちゃん」（10冊）を対象に，1話につき2人のタグ付与作業者が「表情タグ（7種類）」と「情緒タグ（9種類）」を一時的に付与した後に，正解とする表情タグと情緒タグを両者が協議により決定した．その結果，コーパスの規模は，29,538文（388,809文字），表情タグ14,040個，情緒タグ16,635個となった．また，漫画本の言語表現の電子化とタグの付与は約3ヶ月で完了した．

次に，コーパスの信頼性を次の3点から評価した：
\begin{description}
\item (1) 一致率：コーパス構築の途中段階で一時的に付与される情緒タグにおける作業者間の一致の割合

\item (2) 同意率：コーパス構築の最終段階で決定される情緒タグについて，作業者以外の者から得られる同意の割合

\item (3) 有効性：構築したコーパスは言語分析に使用する価値があるか．

\end{description}

(1)について，2者の一時的な情緒タグの一致率は，9分類系の情緒タグにおいて65.2\%($\kappa$=0.444)，3分類系の情緒タグにおいて78.0\%($\kappa$=0.640)であった．関連研究\cite{Litman03}における3分類系の情緒の一致率が81.75\%($\kappa$=0.465〜0.624)であったことに対し，本稿は近い結果を得たことから，本稿のタグの安定性は良好な部類に属することがわかった．また，表情を参照しない場合の9分類系情緒タグの一致率が60.5\%($\kappa$=0.382)であったことより，表情を参照することにより安定性が向上することが確認できた．

(2)について，サンプリング検査によると，同意率は97\%(414/425)となった．コーパスにおいて一時的なタグの一致率の低かった部分において，最終的に正解として決定した情緒タグの同意率を求めたところ97\%(158/163)となったことより，正確さが確保できていることが確認できた．

(3)について，得られたコーパスを「情緒表現性のある文末表現の抽出」に使用したところ，11,027件の情緒タグ付きの台詞から3,164件の文末表現が情緒の共起割合とともに抽出された．漫画から作成したコーパスであるが，自然で情緒的な文末表現が見られたことから，本コーパスは言語表現と情緒の関係を分析する上で有効であることの一例が示された．

以上から，情緒判定において，漫画に登場する人物の表情は，音声に匹敵する言語外情報を持つことが分かり，それを利用したタグ付与方法の信頼性が確認された．

今後の課題として，異なる漫画を対象にコーパスを構築すること，漫画以外の言語表現（たとえば，blogなど）との共通性を調査することが挙げられる．

\acknowledgment

本研究は科学技術研究費補助金（若手研究(B)：課題番号17700151）の下で行いました．コーパスへの言語表現の収録作業にご協力頂きました田中勝弘氏・東弘之氏（鳥取シルバー人材センター），そして，タグ付与にご協力頂きました研究室メンバーに深く感謝します．漫画「ちびまる子ちゃん」の著者さくらももこ氏に敬意を表します．


\begin{thebibliography}{}

\bibitem[\protect\BCAY{Craggs \BBA\ Wood}{Craggs \BBA\
  Wood}{2004}]{Craggs&Wood04}
Craggs, R.\BBACOMMA\  \BBA\ Wood, M.~M. \BBOP 2004\BBCP.
\newblock \BBOQ A two dimensional annotation scheme for emotion in
  dialogue\BBCQ\
\newblock In {\Bem Exploring Attitude and Affect in Text: Theories and
  Applications}, \BPGS\ 44--49. AAAI Press.

\bibitem[\protect\BCAY{Ekman \BBA\ Friesen}{Ekman \BBA\
  Friesen}{1990}]{エクマン&フリーセン90}
Ekman, P.\BBACOMMA\  \BBA\ Friesen, W.~V. \BBOP 1990\BBCP.
\newblock 工藤力\hspace*{-0.5zw}（訳編）\hspace*{-0.5zw}, \Jem{表情分析入門}.
\newblock 誠心書房.

\bibitem[\protect\BCAY{Litman \BBA\ Forbes}{Litman \BBA\ Forbes}{2003}]{Litman03}
Litman, D.\BBACOMMA\  \BBA\ Forbes, K. \BBOP 2003\BBCP.
\newblock \BBOQ Recognizing emotions from student speech in tutoring dialogues\BBCQ\
\newblock In {\Bem Automatic Speech Recognition and Understanding Workshop}.

\bibitem[\protect\BCAY{Narayanan}{Narayanan}{2002}]{Narayanan02}
Narayanan, S. \BBOP 2002\BBCP.
\newblock \BBOQ Towards modeling user behavior in human-machine interactions:
  Effect of Errors and Emotions\BBCQ\
\newblock In {\Bem ISLE Workshop on Tagging for multimodal dialogs Workshop}.

\bibitem[\protect\BCAY{Ortony, Clore, \BBA\ Collins}{Ortony et~al.}{1988}]{Ortony88}
Ortony, A., Clore, G.~L., \BBA\ Collins, A. \BBOP 1988\BBCP.
\newblock {\Bem The Cognitive Structure of Emotions}.
\newblock Cambridge University Press.

\bibitem[\protect\BCAY{Plutchik}{Plutchik}{1960}]{Plutchik60}
Plutchik, R. \BBOP 1960\BBCP.
\newblock \BBOQ The Multifactor-Analytic Theory of Emotion\BBCQ\
\newblock {\Bem The Journal of Psychology}, {\Bbf 50}, pp.~153--171.

\bibitem[\protect\BCAY{池原, 阿部, 徳久, 村上}{池原\Jetal }{2004}]{池原04}
池原悟, 阿部さつき, 徳久雅人, 村上仁一 \BBOP 2004\BBCP.
\newblock \JBOQ 非線形な表現構造に着目した重文と複文の日英文型パターン化\JBCQ\
\newblock \Jem{自然言語処理}, {\Bbf 11} (3), pp.~69--95.

\bibitem[\protect\BCAY{遠藤, 小方}{遠藤\JBA 小方}{2003}]{遠藤&小方03}
遠藤泰弘, 小方孝 \BBOP 2003\BBCP.
\newblock \JBOQ マンガの言説技法を統合する枠組みとしてのハイパーコミック\JBCQ\
\newblock \Jem{マンガ研究}, {\Bbf 4}, pp.~113--132.

\bibitem[\protect\BCAY{金子}{金子}{2006}]{金子06}
金子真 \BBOP 2006\BBCP.
\newblock \JBOQ 焦点化副詞「ナンカ」が表わす否定的評価の派生について\JBCQ\
\newblock
  \Jem{言語処理学会第12回年次大会ワークショップ「感情・評価・態度と言語」論文集}, pp.~33--36.

\bibitem[\protect\BCAY{古塩, 徳久, 村上, 池原}{古塩\Jetal }{2004}]{古塩&徳久04}
古塩貴行, 徳久雅人, 村上仁一, 池原悟 \BBOP 2004\BBCP.
\newblock \JBOQ 情緒注釈付きコーパスの誤り分析\JBCQ\
\newblock \Jem{人工知能学会全国大会}, 2G3--02.

\bibitem[\protect\BCAY{さくらももこ}{さくらももこ}{1987--1993}]{さくら87-93}
さくらももこ \BBOP 1987--1993\BBCP.
\newblock \Jem{ちびまる子ちゃん}, 1〜10\JVOL.
\newblock 集英社.

\bibitem[\protect\BCAY{徳久, 中野, 山下, 岡田}{徳久\Jetal
  }{2001}]{徳久&中野&山下&岡田01}
徳久雅人, 中野育恵, 山下智之, 岡田直之 \BBOP 2001\BBCP.
\newblock \JBOQ
  情緒を加味した深いタスク指向の対話理解のためのルールベースの構築\JBCQ\
\newblock \Jem{信学技報}, {\Bbf TL2001-25}, pp.~21--28.

\bibitem[\protect\BCAY{徳久, 岡田}{徳久, 岡田}{1998}]{徳久&岡田98}
徳久雅人, 岡田直之 \BBOP 1998\BBCP.
\newblock \JBOQ パターン理解的手法に基づく知能エージェントの情緒生起\JBCQ\
\newblock \Jem{情報処理学会論文誌}, {\Bbf 39}  (8), pp.~2440--2451.

\bibitem[\protect\BCAY{徳久, 寺嶌}{徳久, 寺嶌}{2006}]{徳久R&寺嶌06}
徳久良子, 寺嶌立太 \BBOP 2006\BBCP.
\newblock \JBOQ 雑談における発話のやりとりと盛り上がりの関連\JBCQ\
\newblock \Jem{人工知能学会論文誌}, {\Bbf 21}  (2), pp.~133--142.

\bibitem[\protect\BCAY{中澤}{中澤}{2005}]{中澤05}
中澤潤 \BBOP 2005\BBCP.
\newblock \JBOQ マンガのコマの読みリテラシーの発達\JBCQ\
\newblock \Jem{マンガ研究}, {\Bbf 7}, pp.~6--21.

\end{thebibliography}

\begin{biography}

\bioauthor{徳久　雅人}{1995年九州工業大学大学院情報工学研究科博士前期課程修了．同年同大学情報工学部助手．統合的知能エージェントの開発に従事．2002年より鳥取大学工学部助手．自然言語処理の研究に従事．情報処理学会，電子情報通信学会，人工知能学会，言語処理学会各会員．}

\bioauthor{村上　仁一}{1984年筑波大学第3学群基礎工学類卒業．1986年同大学修士課程理工学研究科理工学専攻修了．同年NTT情報通信処理研究所に勤務．1991年国際通信基礎研究所(ATR)自動翻訳電話研究所に出向．1998年より鳥取大学工学部助教授．主に音声認識のための言語処理の研究に従事．電子情報通信学会，日本音響学会，言語処理学会各会員．}

\bioauthor{池原　　悟}{1967年大阪大学基礎工学部電気工学科卒業．1969年同大学大学院修士課程修了．同年日本電信電話公社に入社．数式処理，トラフィック理論，自然言語処理の研究に従事．1996年スタンフォード大学客員教授．1996年より鳥取大学工学部教授．工学博士．1982年情報処理学会論文賞，1993年同学会研究賞，1995年日本科学技術情報センター賞（学術賞），同年人工知能学会論文賞，2002年電気通信普及財団賞（テレコム・システム技術賞），2006年人工知能学会業績賞受賞．電子情報通信学会，人工知能学会，言語処理学会，機械翻訳協会各会員．}

\end{biography}






\biodate

\end{document}

