    \documentclass[japanese]{jnlp_1.4}
\usepackage{jnlpbbl_1.3}
\usepackage[dvips]{graphicx}
\usepackage{amsmath}
\usepackage{hangcaption_jnlp}
\usepackage{udline}
\setulminsep{1.2ex}{0.2ex}
\let\underline

\usepackage{amssymb}
\usepackage{url}
\usepackage{ascmac}
\usepackage{alltt}
\let\TT
\let\RM
\let\IT
\newenvironment{query}{}{}


\Volume{21}
\Number{2}
\Month{April}
\Year{2014}

\received{2013}{9}{22}
\revised{2013}{12}{9}
\accepted{2014}{1}{16}

\setcounter{page}{99}

\jtitle{
既存のツールと結合した話し言葉コーパス利用環境}
\jauthor{伝　　康晴\affiref{Den}\affiref{Koiso} \and 小磯　花絵\affiref{Koiso}}
\jabstract{
近年，コーパスアノテーションは多様化し，多層アノテーションを統合利用す
る仕組みが欠かせない．とくに話し言葉コーパスでは，言語・非言語に関する
10種類以上もの単位とそれらの相互関係を統合し，複数の単位を組み合わせ
た複雑な検索を可能にする必要がある．本研究では，このような要請に応える
ため，(1) マルチモーダル・マルチチャネルの話し言葉コーパスを表現でき
る，汎用的なデータベーススキーマを設計し，(2) 既存のアノテーションツ
ールで作成された，種々の書式を持つアノテーションを入力とし，汎用的なデ
ータベーススキーマから具現化されたデータベースを構築するツールを開発す
る．話し言葉の分野では，広く使われている既存のアノテーションツールを有
効に利用することが不可欠であり，本研究は，既存のアノテーションツールや
コーパス検索ツールを用いたコーパス利用環境を構築する手法を提案する．提
案手法は，開発主体の異なる複数の話し言葉コーパスに適用され，運用に供さ
れている．
}
\jkeywords{話し言葉コーパス，多層アノテーション，既存のツールの利用}

\etitle{
An Environment for the Usage of Spoken Discourse Corpora
that Effectively Utilizes Existing Tools}
\eauthor{Yasuharu Den\affiref{Den}\affiref{Koiso} \and Hanae Koiso\affiref{Koiso}} 
\eabstract{
In this paper, we (i) propose a general-purpose database schema that can
represent multichannel and multimodal spoken discourse corpora, and (ii)
develop tools to construct a database, instantiating this schema with
reference to configuration files, from annotations in various formats
that have been created with existing annotation tools. Spoken discourse
corpora involve more than 10 different annotations including both verbal
and nonverbal information. They require the integration of a large
number of linguistic/nonlinguistic units and relations among them and
the function to search them with complex queries referring to multiple
units. In spoken discourse corpora, it is essential to utilize existing
annotation tools, which are widely used in the community. We propose a
method to construct an environment for the usage of spoken discourse
corpora that effectively utilizes existing annotation and search
tools. The method has been applied to spoken discourse corpora developed
by different organizations, and has been used effectively for
corpus-linguistic research.
}
\ekeywords{spoken discourse corpora, multi-level annotation, utilization of existing tools}

\headauthor{伝，小磯}
\headtitle{既存のツールと結合した話し言葉コーパス利用環境}

\affilabel{Den}{千葉大学文学部}{Faculty of Letters, Chiba University}
\affilabel{Koiso}{国立国語研究所}{National Institute for Japanese Language and Linguistics}



\begin{document}
\maketitle


\section{はじめに}
\label{sec:Introduction}

近年，コーパスアノテーションはますます多様化し，
多層アノテーションを統合的に利用する仕組みが欠かせない．
たとえば，話し言葉の言語学的・工学的研究で広く用いられている
『日本語話し言葉コーパス』\cite{前川_2004_日本語}のコアデータでは，
音韻・単語・韻律単位・文節・節を含む10種類あまりの単位に関して
さまざまなアノテーションがなされている．
また，最近では視線・頷きやジェスチャーなどの非言語情報を含む
マルチモーダルコーパスの開発が進んでおり
    \cite<たとえば>{Carletta_2007_UTK,Chen_2006_VMM,Den_2007_SAT,角_2011_マルチ,Waibel_2009_CIT}，
これらのコーパスでは
複数のモダリティに関して多種のアノテーションがなされている．
コーパスアノテーションに基づく研究では，
このような多層的なアノテーションを統合し，
「文末形式を持つ節の先頭の文節の末尾の語が
係助詞「は」であるものを抽出し，その語の継続長を算出する」といった，
複数の単位を組み合わせた複雑な検索を可能にする必要がある．

これまで，多層アノテーションを表現するさまざまなスキーマが提案され，
それらに基づくアノテーションツールやコーパス検索ツールが開発されている
    \cite{Bird_2000_FFF,Bird_2001_FFF,Calhoun_2010_NSC,Carletta_2005_NXT,Kaplan_2012_STF,Kaplan_2010_APM,Matsumoto_2006_ACM,Muller_2001_MTF,Muller_2006_MAO,Noguchi_2008_MPA}．
しかし，これらのツールは開発主体内部での利用にとどまっている
場合がほとんどであり，外部にはあまり普及していない．

これらの統合開発環境では提案スキーマに基づいて
種々のツール群を提供することを目指しているが，
実際に提供されているのは一部のツールのみであり，
個別のアノテーションツールのほうが広く使われている場合が多い．
とくに話し言葉においては，Praat \cite{Boersma_2013_PDP}や
ELAN \cite{Brugman_2004_AMM}といった音声や映像を扱う
高機能なアノテーションツールが広く普及しており，
これらのツールと同等の機能を持つツールを自前で開発するのは
コストが高くつくうえ，
コーパス開発者の側でも使い慣れたツールにとどまって
新たなツールに乗り換えたくないという者が多い．

本研究の目的は，
話し言葉で広く使われている既存のアノテーションツールを有効に利用しつつ，
種々のアノテーションを統合利用できる環境を構築することである
（図\ref{fig:overview}）．
具体的には以下のことを行なう．

\begin{enumerate}
 \item
マルチチャネル・マルチモーダルの話し言葉コーパスを表現できる
汎用的なデータベーススキーマを設計する．
 \item
以下の入出力を持つデータベース構築ツールを開発する．

\begin{description}
 \item[入力]
既存のアノテーションツールで作成された，種々の書式を持つアノテーション
 \item[出力]
設定ファイルを基にして，
汎用的なデータベーススキーマから具現化されたデータベース
\end{description}

 \item
サーバを必要としないスタンドアロンのデータベースソフトとして
広く用いられているSQLiteによって実装し，
既存のコーパス検索ツールと接続可能にする．
\end{enumerate}

本研究は，既存のアノテーションツールやコーパス検索ツールと結合した
コーパス利用環境を構築することに主眼があり，
アノテーションツールやコーパス検索ツールの開発そのものを
目的とするものではない．

\begin{figure}[t]
\begin{center}
\includegraphics{21-2iaCA1f1.eps}
\end{center}
\caption{本研究の枠組み}
\label{fig:overview}
\end{figure}

以下，\ref{sec:DB}節では話し言葉を表現できる汎用的な
データベーススキーマの設計について述べ，
\ref{sec:Tools}節では
データベース構築ツールの開発について述べる．
\ref{sec:CaseStudies}節では
提案するコーパス利用環境を用いて実際に運用している
2つの事例について述べる．
\ref{sec:Discussion}節では
関連研究やアノテーション管理・実用性に関する議論を行ない，
\ref{sec:Conclusion}節ではまとめと今後の課題について述べる．


\section{話し言葉を表現できる汎用的なデータベーススキーマの設計}
\label{sec:DB}

本節では，
マルチチャネル・マルチモーダルの話し言葉コーパスを表現できる
汎用的なデータベーススキーマを提案する．
本スキーマは，基本的には，
    \citeA{Noguchi_2008_MPA}と\citeA{Kaplan_2010_APM}が提案した
セグメントとリンクに基づくスキーマに依拠している．
しかし，彼らのスキーマは書き言葉を想定しており，
話し言葉に適用するためにはいくつかの拡張が必要である．
以下，拡張・改良点について順に述べ，我々のスキーマを提案する．

\begin{figure}[t]
\begin{center}
\includegraphics{21-2iaCA1f2.eps}
\end{center}
\caption{セグメントとリンクに基づくスキーマ
（\protect\cite{Kaplan_2010_APM}のFigure 3を改変）}
\label{fig:SLAT}
\end{figure}


\subsection{セグメントとリンクに基づくスキーマ}

セグメントとリンクに基づくスキーマでは以下の2種類のオブジェクトを用いる．

\begin{description}
 \item[セグメント (Segment)]
文書中の特定の開始位置 (start)
と終了位置 (end)
で指定される区間に存在する，特定の型 (type)
の要素．
単語・句・節など．
 \item[リンク (Link)]
参照元セグメント (source)
と参照先セグメント (destination)
の間に設定される，特定の型 (type)
の依存関係．
係り受け関係・照応関係など．
\end{description}

いずれのオブジェクトも型ごとに定まった属性 (name) 
と値 (value) 
の対の集合を持つ．
たとえば，単語型セグメントは品詞・活用型・活用形などの属性を持ちうるし，
係り受け関係型リンクは係り受けの種類（従属と並列の区別）などの属性を
持ちうる．
これらの属性値が付随したセグメントとリンクの集合によって文書を表現する．
セグメントとリンクに基づくスキーマのクラス図を
図\ref{fig:SLAT}に示す\footnote{
 DocumentとTagをつなぐ線は
1つの文書が0個以上のタグの集合からなることを示し，
SegmentやLinkとTagをつなぐ線は
セグメントやリンクがタグの一種であることを示す．
また，矢印は，
リンクが2つのセグメント（sourceとdestination）に依存することや，
各属性・値対がrefで示されたセグメントやリンクに付随することを表す．
}．


\subsection{話し言葉への拡張}
\label{sec:DB:spoken}

セグメントとリンクに基づくスキーマは
もともと書き言葉を想定して作られており，
話し言葉に適用するためにはいくつかの拡張が必要である．


\paragraph{開始・終了位置：}
開始・終了位置としては文書中での文字位置
（文書の先頭から数えて何文字目か）が想定されている．
しかし，話し言葉で対象となる要素（アクセント・音調や視線・頷きなど）は
必ずしもテキスト情報に基づいていない．
そこで，開始・終了位置として文書（音声・映像ファイル）中での
時刻（文書の先頭からの経過時間）を用いる．

\paragraph{単位の融合：}
話し言葉ではしばしば隣接する単位間での融合が生じる．
たとえば，「私は」が融合して「ワタシャ」のように発音されたりする．
\pagebreak
この場合，「私」と「は」の境界は実際の音声中には存在しないので，
個々の単語を時刻に依拠したセグメントとしては表せない．
そこで，セグメントとしては融合した「わたしゃ」全体を一つの単位とし，
個々の形態論情報を担う単位を「時間的に整列されない
セグメント」（非整列セグメント）として別途表現する
（図\ref{fig:subseg}）{\kern-0.5zw}\footnote{
 別の表現方法として，融合された境界に対して
（隣接時刻間に存在する）架空の時刻（たとえば
図\ref{fig:subseg}では1.2など）を設定し，
何らかのフラグによってそれが架空の時刻であることを表現する
という方法が考えられる．
この方法を取れば，非整列セグメントを導入する必要はない．
しかし，話し言葉コーパスの分析では，
単位の継続長や発話速度を算出する機会が多く，その都度，
架空の時刻をスキップするといった処理を行なうのはかえって非効率的である．
}．
これらのセグメントと非整列セグメントの間の依存関係は
後述する階層関係を用いて表現し，
各非整列セグメントが「何個の非整列セグメントからなる
（長さlenの）セグメント中の何番目の要素であるか (nth)」
という情報を与える（図\ref{fig:subseg}ではnth/lenで表記）．

\begin{figure}[t]
\begin{center}
\includegraphics{21-2iaCA1f3.eps}
\end{center}
\caption{非整列セグメントの例}
\label{fig:subseg}
\end{figure}

\paragraph{マルチチャネルへの対応：}

書き言葉の文書は通常，単一のストリームからなる．
しかし，話し言葉の対話データでは，
複数話者によるマルチチャネルのストリームに対応しなければならない．
これはチャネルごとに時刻を相対化することで解決できる．
そのために，
セグメントの表現にチャネル識別子（話者ラベルなど）を追加する．


\paragraph{マルチモーダルへの対応：}

書き言葉の文書にはテキストという単一のモダリティしかない．
しかし，話し言葉のマルチモーダルデータでは，
音声言語に加えて，視線・頷きやジェスチャーなどのモダリティに
対応しなければならない．
セグメントとリンクに基づくスキーマはスタンドオフ形式\footnote{
 文書中の要素間の入れ子構造によって階層関係を表すのではなく，
外部文書中で各要素が占める区間を開始・終了位置で示すことにより，
さまざまな要素間の関係を表す形式．}のため，
このような単一の根ノードにまとまらない単位階層にも自然に対応できる．

一方で，区間の包含関係で階層関係を表すスタンドオフ形式では，
不適切な階層関係が認定されることがある．
たとえば，「うん，そうだね」という発話が頷きを伴ってなされた場合，
「うん」という単語はこの発話の適切な下位単位であるが，
頷きは発話の適切な下位単位とは言えない．
どの型のセグメント間に階層関係が設定されるかは，
各セグメント型の認識論的な位置づけによって
アプリオリに定まっているべきである．
そこで，本スキーマでは，セグメント間の階層関係を明示的に表現する．
これは，下位セグメントを参照元，上位セグメントを参照先とした
特別な型のリンクととらえることができる．


\subsection{スキーマの具体化}
\label{sec:DB:practical}

セグメントとリンクに基づくスキーマは，
さまざまな属性集合を持ちうるさまざまな型のセグメントやリンクを扱うために，
極めて抽象度の高いスキーマになっている
（セグメントとリンクという2種類のオブジェクトしかない）．
\citeA{Noguchi_2008_MPA}や\citeA{Kaplan_2010_APM}は，
「述語」や「項」といったより具体性の高いオブジェクトを操作できる
アノテーションツールやコーパス検索ツールをインターフェースとして
提供することで，ユーザの利便性を図っている．
しかし，既存のアノテーションツールやコーパス検索ツールを用いて
コーパス利用環境を実現しようという本研究においては，
このような利便を図ることはできず，
スキーマ中のオブジェクトがそのままユーザが操作する対象となる．
そこでは，語やアクセント句や節といったオブジェクトが
そのまま操作できたほうがユーザの了解度は高いと思われる．

そこで，（非整列）セグメントや（階層関係を含む）リンクを
型ごとに別々のオブジェクトとして表現し，
属性は各オブジェクトに直接表現する．
属性集合は型ごとに定まるため，型ごとにオブジェクトを別にすれば，
このような表現が可能となる．

また，階層関係については，
「何個の下位セグメントからなる
（長さlenの）上位セグメント中の何番目の要素であるか (nth)」
という情報を付与する．
この情報は時刻の情報から導出できるため，表現としては冗長である．
しかし，話し言葉では，隣接するセグメント間で
先行要素の終了位置と後続要素の開始位置が一致するという
制約が必ずしも成り立たない（間に休止が介在しうる）ため，
SQL言語を用いると，たとえば隣接語対を抽出するのに
煩雑な検索を行なわなければならない．
上述の情報があれば，この検索は簡単に行なえる
（付録\ref{sec:bigram}参照）．


\subsection{提案するデータベーススキーマ}

\begin{figure}[b]
\begin{center}
\includegraphics{21-2iaCA1f4.eps}
\end{center}
\caption{本研究で提案するスキーマ}
\label{fig:model}
\end{figure}

\ref{sec:DB:spoken}と\ref{sec:DB:practical}の議論を踏まえ，
図\ref{fig:model}のスキーマを設計した．
\pagebreak
本スキーマでは以下の4種類のオブジェクトを用いる\footnote{
 実際には，これら以外に，
(1) トーン情報など，区間幅を持たない要素に対するオブジェクト
($\RM{point}\IT{Type}_i$)，
(2) あいづち表現など，あるセグメントの一部のインスタンスに対して
追加的に与えられた属性を表現するオブジェクト
($\RM{add}\IT{Type}_i$)，
(3) 話者情報などのメタ情報を記述するオブジェクト
($\RM{info}\IT{Type}_i$)
の3種類のオブジェクトがある．
}．

\begin{description}
 \item[セグメント ($\RM{seg}\IT{Type}_i$)]
文書中の特定のチャネル (channel) 上の
特定の開始位置 (start) と終了位置 (end) で指定される区間に存在する要素．
型 ($\IT{Type}_i$) ごとに別のオブジェクトとして表現され，それぞれ
特定の属性集合
 ($\RM{attr}_1$, \ldots, $\RM{attr}_{n_i}$) を持つ．
 \item[非整列セグメント ($\RM{useg}\IT{Type}_i$)]
時間的に分節化されない，セグメントの下位要素．
型 ($\IT{Type}_i$)ごとに別のオブジェクトとして表現され，
特定の属性集合
 ($\RM{attr}_1$, \ldots, $\RM{attr}_{n_i}$) を持つ．
 \item[リンク ($\RM{link}\IT{Type}_i$)]
参照元セグメント (source) と参照先セグメント (destination) の間に
設定される依存関係．
型 ($\IT{Type}_i$) ごとに別のオブジェクトとして表現され，それぞれ
特定の属性集合
 ($\RM{attr}_1$, \ldots, $\RM{attr}_{n_i}$) を持つ．
 \item[階層関係
 ($\RM{rel}\IT{Type}_i\RM{2}\IT{Type}_j$)]
下位セグメント (descendant) と
上位セグメント (ancestor) の間に設定される階層関係．
上位・下位セグメントの型の組み合わせ
 ($\IT{Type}_j$と$\IT{Type}_i$) ごとに
別のオブジェクトとして表現され，
同一の上位セグメントに帰属する下位セグメントの総数 (len) と
それらのうち何番目の要素であるか (nth) を属性として持つ．
\end{description}

オブジェクトの種類としては限られているが，
型ごとに別々のオブジェクトとして表現されるため，
実際のオブジェクトの数はしばしば十数個にもなる．

元のセグメントとリンクに基づくスキーマ（図\ref{fig:SLAT}）と比べると，
以下の違いがある．
\begin{enumerate}
 \item 非整列セグメントが導入された．
 \item 階層関係が陽に表現された．
 \item （非整列）セグメントやリンクが
型ごとに別々のオブジェクトとして表現され，属性を内包するようになった．
\end{enumerate}


\section{データベース構築ツールの開発}
\label{sec:Tools}

本節では，既存のアノテーションツールで作成された
種々の書式を持つアノテーションから，
\ref{sec:DB}節で提案したスキーマに基づくデータベースを
自動的に構築するツールについて述べる．


\subsection{ツールの概要}

本ツールは現在のところ，
CSVベースのツール，
Praat \cite{Boersma_2013_PDP}，
ELAN \cite{Brugman_2004_AMM}，
Anvil \cite{Kipp_2001_AGA}の4種類のアノテーションツールに対応している．
これらのアノテーションファイルから提案スキーマに基づくデータベースを
生成することが本ツールの目的である．
構築するデータベースは可搬性に優れたSQLiteを採用した．
SQLiteは，すべてのテーブルやインデックスを単一のファイルで実装する
スタンドアローンの関係データベースであり，
『茶器』\cite{Matsumoto_2006_ACM}などのコーパス管理環境でも
利用されている．

4種類のアノテーションの書式は大きく異なるが，
ある一定の規約を設けることにより，
データベースに直接インポートできる表形式ファイルに容易に変換できる．
この規約に従ったアノテーションを「正規形」と呼ぶ．
ELANやAnvilは本研究と類似のスキーマを用いており，
はじめからこの規約に従っている．
一方，CSVやPraatでは前もって正規形に変換する必要がある．
したがって，データベースの構築過程は以下のようになる．

\begin{center}
（アノテーションファイル$\Rightarrow$）
正規形ファイル$\Rightarrow$
表形式ファイル$\Rightarrow$
データベース
\end{center}


\subsection{利用できるアノテーションツール}

本ツールでは以下の4種類のアノテーションツールを利用できる．

\paragraph{CSVベースのツール：}
形態論情報や談話行為など，テキスト情報に基づくアノテーションには，
コンマで区切られたCSV形式の入出力を持つツールを用いることが多い．
たとえば，Microsoft Excelは人文系・理工系を問わず，
広く用いられているCSVベースのツールであり，
形態素解析システムなどの言語処理ツールの出力もCSV形式にできるものが多い．

\paragraph{Praat：}
Praatは高機能な音声アノテーションツールであり，
話し言葉の音声学的アノテーションで標準的なツールとなっている．
分節音・単語境界や韻律情報のアノテーションで広く利用されている．
出力書式は独自のものであるが，基本的にスタンドオフ形式である．


\paragraph{ELAN：}
ELANは高機能な映像アノテーションツールであり，
ジェスチャー研究などで広く利用されている．
本研究と類似のスキーマを用いており，
出力書式はスタンドオフ形式のXMLである．

\paragraph{Anvil：}
Anvilも映像アノテーションツールである．
ELANにはないリンクアノテーションの機能があり，
発話間の関係づけやあいづち表現の反応先などのアノテーションで利用できる．
Anvilの出力書式もスタンドオフ形式のXMLである．



\subsection{正規形ファイル}
\label{sec:Tools:normal}

以上のアノテーションからデータベースを構築するためには，
スキーマを具現化する上で必須の情報が
アノテーションファイルから取得できないといけない．
これらは，セグメントでは開始・終了位置であり，
リンクでは参照元・参照先セグメント（を一意に同定する情報）である．
これらの情報の取得を保証するアノテーションを「正規形」と呼ぶ．
以下，アノテーションファイルの書式ごとに順に述べる．

\paragraph{CSV：}

CSV形式の正規形ファイルの例として，
形態論情報アノテーションの例を図\ref{fig:CSV}に示す．
CSV形式の正規形では，各行に開始・終了時刻が記されているものとする．
たとえば，形態論情報アノテーションでは，
Praatなどを用いて別途ラベリングした単語境界の情報から
単語ごとの開始・終了時刻が転写されているものとする．
ただし，\ref{sec:DB:spoken}で述べた単位の融合などにより
時刻を定められない箇所は「不定」（``NA''で示す）としてよい\footnote{
 したがって，発話ごとにしか時間情報が与えられていないコーパスの場合は，
発話の先頭の単語の開始時刻と末尾の単語の終了時刻以外は
すべて「不定」となる．}．
「不定」でない開始・終了時刻を持つ最小の範囲
（図\ref{fig:CSV}の冒頭の例では「第一」）がセグメントとして認定され，
各行はその下位に位置する非整列セグメントとして認定される．

\begin{figure}[t]
\begin{center}
\includegraphics{21-2iaCA1f5.eps}
\end{center}
\caption{CSV形式の正規形ファイルの例}
\label{fig:CSV}
\end{figure}

1つのCSVファイルで複数の単位をアノテーションする場合がしばしばある．
たとえば，図\ref{fig:CSV}では，
短単位 (SUW) と長単位 (LUW) という複数の粒度で語が認定されている
（「第一母音」は長単位では1つの語であり，短単位では「第」「一」「母音」
という3つの語である）．
このような場合には，IOB2ラベル\cite{TjongKimSang_1999_RTC}によって上位単位の区間を示す
（図\ref{fig:CSV}のluwLabel列）{\kern-0.5zw}\footnote{
 `B'は上位単位の開始位置を示し，
`I'は開始された上位単位の内部（末尾を含む）にあることを示す．
また，`O'は「笑い」など上位単位に含まれない要素であることを示す．
}．

CSV形式でリンクを表すには，ローカルに定義されたid
（文内での文節の通し番号など）を用いて参照元と参照先を示す．
たとえば，係り受け解析器CaboCha \cite{Kudo_2002_JDA}の出力は
このような情報を含んでいる．
データベース構築ツールは
これらのidをデータベース内で利用するグローバルなidに自動的に変換する．

\paragraph{Praat：}

Praatの正規形ファイルの例として，
韻律情報アノテーションの例を図\ref{fig:Praat}に示す．
Praatは多層アノテーションツールであり，
複数階層のセグメントを同時に表すことができる．
図\ref{fig:Praat}では上段の3層，
単語 (Word)・アクセント句 (AP)・イントネーション句 (IP) が
それらに対応する．
韻律情報のアノテーションスキーマとして広く用いられている
    X--JToBI \cite{五十嵐_2006_韻律情}では，
アクセント句やイントネーション句など単語より上位のセグメントを
直接認定することはなく，
これらは単語に対するBreak Indexの情報を用いて派生される．
しかし，X--JToBI自体はこれらの上位セグメントの定義を与えておらず，
上位セグメントをどのように派生するかは
コーパス開発機関ごとに微妙に異なりうる．
データベース構築ツールがこれらの上位セグメントを取得するためには，
上位セグメントが陽に表現されている必要があり，
そのため，Praatの正規形ファイルでは，
すべての上位セグメントが陽に表現されていることを規約とした．

\begin{figure}[t]
\begin{center}
\includegraphics{21-2iaCA1f6.eps}
\end{center}
\caption{Praatの正規形ファイルの例（層は上から順に，Word, AP, IP, break, fbt, tone, pronLabel）}
\label{fig:Praat}
\end{figure}


\paragraph{ELAN/Anvil：}
ELANやAnvilを用いたアノテーションでは，
複数階層のセグメントを陽に表すのが通常である．
たとえば，ジェスチャーのアノテーションでは，
ジェスチャー句とジェスチャーフェーズという複数の階層が用いられるが
\cite{細馬_2009_ジェス}，
それらは異なる層に明示的に表される．
よって，これらのアノテーションははじめから正規形と考えてよい．
なお，Anvilのリンクアノテーションは
ツール内部で生成されたidを用いて表現されているが，
データベース構築ツールは
これらのidをデータベース内で利用するグローバルなidに自動的に変換する．



\subsection{正規形ファイルから表形式ファイルへの変換}
\label{sec:Tools:table}

\ref{sec:Tools:normal}のように正規形ファイルを規約化することにより，
データベースに直接インポートできる表形式ファイルへの変換を
汎用のツールによって実行できる．
このツールは，変換時に用いる諸設定を記述した設定ファイルを読み込み，
各書式の正規形ファイルから表形式ファイルに変換する．
ツールは，シェルスクリプトとPerl，Praatスクリプト，XSLTによって実装した．

設定ファイルでは，どの正規形ファイルからどの属性を抽出し，
どのオブジェクト（セグメントやリンク）の表形式ファイルに
変換するかを記述する．
おもな設定項目を表\ref{tab:config1}に示す．
たとえば，図\ref{fig:CSV}のような形態論情報のCSV形式正規形ファイルから
長単位型セグメントの表形式ファイルを生成するための設定は
図\ref{fig:config1}（左）のようになる．
ここでは，入出力ファイル名がワイルドカードを用いて記述され，
文書id (\TT{doc-id}) がそこからどのように作られるかが指定される\footnote{
 ``\TT{\%$n$@input-file}''は\TT{input-file}変数中の
$n$番目の`\TT{\%}'にマッチする文字列を示す．}．
オブジェクトに含める属性集合は
\TT{label-names}にコンマ区切りで指定する．
長単位のように正規形ファイル中で上位階層に相当するセグメントの場合は，
セグメント区間を示すIOB2ラベルが記された列名を
\TT{unit-tag-column}で指定する．
さらに，属性集合の値が正規形ファイル中のセグメント区間の
先頭行 (\TT{first}) に記述されているか，
最終行 (\TT{last}) に記述されているかを\TT{label-position}で指定する．

\begin{table}[t]
\caption{正規形ファイルから表形式ファイルへの変換で用いる設定項目（抜粋）}
\label{tab:config1}
\input{ca01table01.txt}
\end{table}

\begin{figure}[t]
\begin{center}
\includegraphics{21-2iaCA1f7.eps}
\end{center}
\caption{正規形ファイルから表形式ファイルに変換するための設定の例}
\label{fig:config1}
\end{figure}

図\ref{fig:Praat}のような韻律情報のPraat形式正規形ファイルから
アクセント句型セグメントの表形式ファイルを生成するための設定を
図\ref{fig:config1}（中央）に示す．
CSV形式の場合とほぼ同様であるが，
セグメント区間は特定の層に陽に表現されているため，
その層の名前を\TT{primary-tier}で指定する．
また，Praatではセグメント外の要素（休止区間）も含めて
ラベルが付与されているため，
セグメント外要素であることを示すラベル値を\TT{skip-label}で指定する．

最後に，Anvilファイルからあいづち反応先型リンクの表形式ファイルを
生成するための設定を図\ref{fig:config1}（右）に示す．
Anvilのリンクアノテーションは，
あるトラックの要素（たとえばあいづち表現）から
あるトラックの要素（たとえば単語）への参照を，
参照先要素の内部idを用いて属性値として表現している．
そこで，参照元・参照先トラックの名前をそれぞれ
\TT{source-track}, \TT{destination-track}に指定し，
参照先を記述した属性の名前を\TT{link-attribute}で指定する\footnote{
 対話ではトラックは話者ごとに別個に記述されるため，
実際のトラック名は\TT{A.rt}のようにチャネル名が
前置（または後置）したものになる．
このトラック名の形式は
\TT{channel-name-type}と\TT{channel-name-delimiter}で指定する．
}．


\subsection{表形式ファイルからデータベースへの変換}
\label{sec:Tools:DB}

\ref{sec:Tools:table}で得られた表形式ファイルから
データベースを構築するには，
まずオブジェクトごとにテーブルスキーマ（\TT{CREATE TABLE}文）を
定義しなければならない．
これには，各テーブルの名前や，持っている属性の一覧およびそれらの型などが
含まれる．
この過程には，テーブルスキーマを簡易表現で定義した設定ファイルを利用する．
汎用のツールによって，設定ファイルからテーブルスキーマを定義し，
表形式ファイルからデータをインポートする．

設定ファイル中では，
(1) テーブルの名前，
(2) インポートする表形式ファイルの名前（ワイルドカードで複数指定可能），
(3) 主キーの名前と型，
(4) 属性の名前と型（のリスト）
などを指定する．
属性の型としては，
テキスト型 (\TT{t})・整数型 (\TT{i})・実数型 (\TT{r}) が利用できる．

テーブルスキーマの定義は一般に以下の形式である．

\begin{screen}
\begin{verbatim}
テーブル名=表形式ファイル一覧/主キーの名前:型/属性1の名前:型,属性2の名前:型,...
\end{verbatim}
\end{screen}

たとえば，図\ref{fig:config1}（中央）の設定を用いて生成した
アクセント句型セグメント用の表形式ファイルから
データベースのテーブルを生成するための設定は
図\ref{fig:config2}の\TT{segAP}のようになる．
同様に，図\ref{fig:config1}（右）の設定を用いて生成した
あいづち反応先型リンク用の表形式ファイルから
データベースのテーブルを生成するための設定は
図\ref{fig:config2}の\TT{linkRTTarget}のようになる．

セグメント間の階層関係は，
階層をなしうるセグメント型の名前を下位のものから順に並べて指定する．
たとえば，図\ref{fig:Praat}の
単語・アクセント句・イントネーション句間の階層関係を表現するには，
図\ref{fig:config2}の\TT{groupProsodic}のように指定する．
データベース構築ツールは，
階層関係にあるセグメント対を自動的に導出し，テーブルを作成する．
階層関係は隣接する型の間（relWord2APやrelAP2IP）だけでなく，
離れた型の間 (relWord2IP) でも導出される．

\begin{figure}[t]
\begin{center}
\includegraphics{21-2iaCA1f8.eps}
\end{center}
\caption{表形式ファイルからデータベースを生成するための設定の例}
\label{fig:config2}
\end{figure}


\section{適用事例}
\label{sec:CaseStudies}

『日本語話し言葉コーパス』と『千葉大学3人会話コーパス』を対象に，
本稿で提案した手法によりデータベースを構築し運用している．
本節ではその概要について紹介する．


\subsection{『日本語話し言葉コーパス』}

『日本語話し言葉コーパス』(CSJ) は，
2004年に一般公開された661時間の日本語自発音声からなる
データベースである\cite{前川_2004_日本語}．
このうち「コア」と呼ばれるデータ範囲（44時間）には，
おもに表\ref{tab:csjAnno}に示す研究用付加情報が付与されており
\cite{国語研_2006_日本語}，
これらを対象に本手法によりデータベースを構築した（以下CSJ-RDB）
    \cite{小磯_2012_日本語}\footnote{
 CSJでは，各種情報を統合して階層的に表現した
XML文書が提供されている．
しかし，
この階層から逸脱する情報を無理やり特定の単位に埋め込んだり，
別の階層で記述したXML文書が別途提供され，
両者にまたがった検索が困難であったりして使いづらかった．
本手法ではスタンドオフ形式でデータを表現するため，
これらの問題は解消される．
}．

各研究用付加情報はそれぞれ，表\ref{tab:csjAnno}の
「ツール」欄に示す書式
（CSJ構築時（1999〜2003年）とは異なる）で記述されており，
ここから各種中間ファイルを経てデータベースに変換した．

CSJ-RDBの（非整列）セグメントとリンクを図\ref{fig:csjRdb}に示す．
談話中の要素を記述したセグメントは，
次の3種類の階層関係からなる系列に分類される．
\begin{itemize}
 \item 形態統語論系列：短単位$<$長単位$<$文節$<$節単位
 \item 音声系列：分節音$<$音素$<$モーラ$<$短単位$<$間休止単位
 \item 韻律系列：短単位$<$アクセント句$<$イントネーション句
\end{itemize}

このうち短単位と長単位については，
時間的に分節化できる部分をセグメントで表し，
時間的に分節化できない部分は非整列セグメントとして表している．
韻律情報のうちアクセント核や句末音調などのトーン情報は，
どのアクセント句に帰属するかがリンク (linkTone2AP) によって表される．
また文節係り受け関係は，係り元と係り先の依存関係が
リンク (linkDepBunsetsu) によって表される．

\begin{table}[t]
\caption{CSJの研究用付加情報}
\label{tab:csjAnno}
\input{ca01table02.txt}
\end{table}

\begin{figure}[t]
\begin{center}
\includegraphics{21-2iaCA1f9.eps}
\end{center}
\caption{CSJ-RDBの（非整列）セグメントとリンク}
\label{fig:csjRdb}
\end{figure}


\subsection{『千葉大学3人会話コーパス』}

『千葉大学3人会話コーパス』は，
大学キャンパスにおける3人の友達同士の会話を集めた
約6時間からなる対話コーパスである\cite{Den_2007_SAT}．
このうち12会話約2時間のデータには，
表\ref{tab:chibaAnno}に示す研究用付加情報が付与されており
    \cite{Den_2007_SAT,Den_2010_TAO,Den_2011_AOJ,Den_2012_AOR}，
これらを対象にデータベースを構築した（以下Chiba-RDB）．

各研究用付加情報はそれぞれ表\ref{tab:chibaAnno}の「ツール」欄に示す
書式のアノテーションファイルで記述されており，
ここから各種中間ファイルを経てデータベースに変換した．

\begin{table}[b]
\caption{『千葉大学3人会話コーパス』の研究用付加情報}
\label{tab:chibaAnno}
\input{ca01table03.txt}
\end{table}

\begin{figure}[b]
\begin{center}
\includegraphics{21-2iaCA1f10.eps}
\end{center}
\caption{Chiba-RDBの（非整列）セグメントとリンク}
\label{fig:chibaRdb}
\end{figure}

Chiba-RDBの（非整列）セグメントとリンクを図\ref{fig:chibaRdb}に示す．
セグメントは，次の4種類の階層関係からなる系列に分類される．

\begin{itemize}
 \item 形態統語語用論系列：短単位$<$文節$<$節$<$長い発話単位
 \item 韻律系列：短単位$<$アクセント句$<$イントネーション句
 \item 視線系列：視線フェーズ$<$視線句
 \item 頭部動作系列：頭部動作フェーズ$<$頭部動作句
\end{itemize}

CSJ-RDBと異なる部分を中心に見る．
まず，長い発話単位間の連接関係（話者交替）を表す話者移行関係が
リンク (linkLUUTrans) によって表される．
また長い発話単位のうち，あいづち表現については，
あいづちが打たれるきっかけとなった表現（反応先）との関係が
リンク (linkRTTarget) によって表される．
頷きについても同様に，そのきっかけとなった表現（反応先）との関係が
リンク (linkNodTarget) によって表される．


\section{議論}
\label{sec:Discussion}


\subsection{関連研究}
\label{sec:Discussion:RelatedResearch}

本節では関連研究との違いについて述べる．
\ref{sec:Introduction}節で述べたように，
本研究は，既存のアノテーションツールやコーパス検索ツールを用いて
コーパス利用環境を実現することに主眼があり，
アノテーションツールやコーパス検索ツールの開発そのものを
目的とするものではない．
\citeA{Noguchi_2008_MPA}や\citeA{Kaplan_2010_APM}をはじめとする
関連研究とは，この点がまず大きく異なる．
さまざまなアノテーションを統合開発環境で行なうアプローチは魅力的ではあるが，
マルチモーダルデータを含む話し言葉コーパスではその実現に多くの困難が伴い，
本研究のアプローチのほうがより現実的な解を提示している．

他のツールで作成されたアノテーションを統合し利用するという点では，
\citeA{Matsumoto_2006_ACM}や\citeA{Calhoun_2010_NSC}がむしろ本研究に近い．
\citeA{Matsumoto_2006_ACM}は，
形態素解析・係り受け解析済みのテキストを読み込んで，
コーパス検索・修正などをGUIで行なうための汎用的なツール
『茶器』を開発している．
もともと書き言葉を想定していたが，最近，
話し言葉も扱えるよう拡張がなされている\cite{浅原_2013_コーパ}．
しかし，『茶器』にインポートできるデータは
決められた書式のものに限られており，
\ref{sec:Tools}節で示したような柔軟性はない．
また，扱える単位も単語・文節あたりに限られており，
\ref{sec:CaseStudies}節で見た事例のような
多岐にわたる単位を扱うことはできない．

\citeA{Calhoun_2010_NSC}は，
長年にわたってさまざまな研究機関でなされてきた，
    Switchboardコーパス\cite{Godfrey_1992_STS}に対する
さまざまな種類のアノテーションを統合し，多層にわたる検索を可能にした．
電話会話のためマルチモーダル情報は含まないが，
音素から統語構造・韻律情報，さらには非流暢性・情報構造・共参照に至るまで，
15種類以上ものアノテーションを含み，
\ref{sec:CaseStudies}節で見た本研究の事例に十分匹敵する．
彼らはさまざまな書式を持つ既存のアノテーションを変換して
この統合をなしているが，
本研究のようにそのための汎用的なツールを開発したわけではない．


\subsection{アノテーション管理について}

本研究では，話し言葉コーパスの統合利用に焦点を当てて述べてきたが，
アノテーション過程の管理もまたコーパスアノテーションの重要な課題である．
\citeA{Kaplan_2010_APM}は，
作業者管理，並行・分散アノテーション，バージョン管理，バージョンの併合
といったマクロレベルの要件を考慮した統合開発環境を提案している．
これに対して，本研究では，話し言葉で広く使われている
既存のアノテーションツールを有効に利用することを最大の要件としてきた．
そのため，統合開発環境に基づいて種々のツール群を開発するという
方向性とは異なる立場に立ってきた．
このことのデメリットについて検討する必要があろう．

統合開発環境に基づくアノテーションツールを使わないことの最大のデメリットは，
異なるツール間で共有される部分
（たとえば『日本語話し言葉コーパス』の短単位）を
あるアノテーションで修正したときに，
その影響を他のアノテーションに簡単に波及できないという点である．
統合開発環境に基づくツール群では，アノテーションデータ自身を共有しているため，
このような波及は作業者が意識しなくても暗黙的になされる．
しかし，個別のアノテーションツールを用いる本手法では，
波及的な修正は自動的には行なえない．

本手法においても，構築したデータベースから
各種アノテーションを再生成することは可能であり，
\ref{sec:CaseStudies}節で紹介した事例では，
実際にそのようなツールを作成し運用している．
このようなツールによって，あるアノテーションで生じた修正を
別のアノテーションに波及すること自体は可能である．
しかし，現状では，この種の波及的修正は，
作業者が能動的に実行しない限り，行なえない．
今後，アノテーションファイルへのアクセス方法などを工夫する
（たとえば常にデータベースから再生成するなど）ことで，
より効果的にアノテーション過程を管理する方策を考える必要がある．

また，バージョン管理の問題についても，本研究では，
汎用のバージョン管理システムSubversionを用いて
アノテーションファイルを管理しているが，これで十分というわけではない．
アノテーション過程の管理については，
既存のアノテーションツールやバージョン管理システムを含む
システム全体の中で，よりよい手段を模索する必要があろう．


\subsection{実用性について}

\ref{sec:DB}節で述べたように，提案スキーマでは，
語やアクセント句や節といった言語学的な概念とスキーマ内のオブジェクトとが
直接対応しており，ユーザの了解度は高いと思われる．
しかし，検索速度の面ではどうであろうか．

この点を調べるために，コーパス言語学でよく用いられる，
以下のような標準的なクエリに対する検索速度を計測した
（付録\ref{sec:ex}参照）．

\begin{description}
 \item[クエリ1] イントネーション句の末尾のアクセント句の先頭のモーラの継
続長を算出
 \item[クエリ2] イントネーション句の次末（末尾から2番目）のアクセント句
の末尾のモーラの継続長を算出
 \item[クエリ3] 文末形式を持つ節単位の先頭の文節の末尾の短単位が
係助詞「は」であるものを抽出し，その短単位の継続長を算出
\end{description}

(1) セグメントとリンクに基づくスキーマのように
抽象度の高い単一のセグメントを用いる場合と
(2) 本手法のように型ごとに個別化されたセグメントを用いる場合
とで比較を行なった．
なお，これ以外の条件を対等にするため，いずれも階層関係を陽に表現した．
実験は，人文系研究者がよく用いている，SQLiteのGUIである
Navicat for SQLite (ver.~11.0.10) を用いて
ノートPC (Sony VPCZ22AJ, Core i7-2640M 2.80~GHz) 上で行ない，
CSJ-RDBを検索対象とした．

\begin{table}[t]
\caption{検索速度の比較（5回の平均．単位は秒）}
\label{tab:speed}
\input{ca01table04.txt}
\end{table}

結果を表\ref{tab:speed}に示す．
「個別」は総じて「単一」の倍程度の速さであり，
個別化されたセグメントを用いることで検索速度も若干改善されることがわかる．
この程度の違いがどれだけの意味を持つかはわからないが，
少なくとも提案スキーマが実用性で劣るということはない．


\section{おわりに}
\label{sec:Conclusion}

本研究では，
(1) マルチチャネル・マルチモーダルの話し言葉コーパスを表現できる，
汎用的なデータベーススキーマを設計し，
(2) 既存のアノテーションツールで作成された，
種々の書式を持つアノテーションを入力とし，
汎用的なデータベーススキーマから具現化されたデータベースを構築する
ツールを開発した．
また，『日本語話し言葉コーパス』と『千葉大学3人会話コーパス』を対象に，
本手法によりデータベースを構築した事例を紹介した．
構築したデータベースは，コーパス言語学的な研究に有効に利用されている．

今後の課題としてまず，使いやすいユーザインターフェースを備えた，
本研究のスキーマに対応したコーパス検索ツールの開発が挙げられる．
本研究では，
SQL言語やそのGUIのような既存のツールを用いた検索を想定していた．
実際，人文系研究者をおもな対象として，CSJ-RDBをSQL言語やGUIで
検索する技法に関する講習会を何度か開いている．
しかし，本スキーマに特化したより使いやすい検索ツールがあれば，
利用者はますます広がると期待できる．

さらに，本研究のデータベース構築ツールはLinux環境で実装されており，
この点も人文系研究者が利用するうえで障害となるであろう．
PraatやELANなどの既存のアノテーションツールを用いたコーパス開発は，
むしろ人文系研究者の間で広く行なわれており，
それらのアノテーションを統合利用する必要性もまた
人文系研究者において高いかもしれない．
今後，より身近な環境で使えるようなツールに変更していきたい．

\acknowledgment

CSJ-RDBの構築に際し西川賢哉氏（理化学研究所）の協力を得た．
記して感謝する．
本研究は，
科研費補助金基盤研究 (B) 
「発話単位アノテーションに基づく対話の認知・伝達融合モデルの構築」
（課題番号：23320081，研究代表者：伝康晴），
国立国語研究所独創・発展型共同研究
「多様な様式を網羅した会話コーパスの共有化」
（リーダー：伝康晴），
萌芽・発掘型共同研究
「会話の韻律機能に関する実証的研究」
（リーダー：小磯花絵）による成果である．

\bibliographystyle{jnlpbbl_1.5}

\begin{thebibliography}{}

\bibitem[\protect\BCAY{浅原\JBA 森田}{浅原\JBA 森田}{2013}]{浅原_2013_コーパ}
浅原正幸\JBA 森田敏生 \BBOP 2013\BBCP.
\newblock コーパスコンコーダンサ『{ChaKi.NET}』の連続値データ型. 
\newblock \Jem{第4回コーパス日本語学ワークショップ}, pp.~249--256.

\bibitem[\protect\BCAY{Bird, Day, Garofolo, Henderson, Laprun, \BBA\
  Liberman}{Bird et~al.}{2000}]{Bird_2000_FFF}
Bird, S., Day, D., Garofolo, J., Henderson, J., Laprun, C., \BBA\ Liberman, M.
  \BBOP 2000\BBCP.
\newblock \BBOQ \mbox{ATLAS:} A Flexible and Extensible Architecture for Linguistic
  Annotation.\BBCQ\
\newblock In {\Bem Proceedings of the 2nd International Conference on Language
  Resources and Evaluation ({LREC} 2000)}, \mbox{\BPGS\ 1699--1706}. Athens,
  Greece.

\bibitem[\protect\BCAY{Bird \BBA\ Liberman}{Bird \BBA\
  Liberman}{2001}]{Bird_2001_FFF}
Bird, S.\BBACOMMA\ \BBA\ Liberman, M. \BBOP 2001\BBCP.
\newblock \BBOQ A Formal Framework for Linguistic Annotation.\BBCQ\
\newblock {\Bem Speech Communication}, {\Bbf 33}, \mbox{\BPGS\ 23--60}.

\bibitem[\protect\BCAY{Boersma \BBA\ Weenink}{Boersma \BBA\
  Weenink}{2013}]{Boersma_2013_PDP}
Boersma, P.\BBACOMMA\ \BBA\ Weenink, D. \BBOP 2013\BBCP.
\newblock \BBOQ Praat: Doing Phonetics by Computer.\BBCQ\
\newblock Computer Program, Version 5.3.56, retrieved 15 September 2013 from
  \url{http://www.praat.org/}.

\bibitem[\protect\BCAY{Brugman \BBA\ Russel}{Brugman \BBA\
  Russel}{2004}]{Brugman_2004_AMM}
Brugman, H.\BBACOMMA\ \BBA\ Russel, A. \BBOP 2004\BBCP.
\newblock \BBOQ Annotating Multi-media/Multi-modal Resources with {ELAN}.\BBCQ\
\newblock In {\Bem Proceedings of the 4th International Conference on Language
  Resources and Evaluation ({LREC} 2004)}, \mbox{\BPGS\ 2065--2068}. Lisbon,
  Portugal.
\newblock \url{http://tla.mpi.nl/tools/tla-tools/elan/}.

\bibitem[\protect\BCAY{Calhoun, Carletta, Brenier, Mayo, Jurafsky, Steedman,
  \BBA\ Beaver}{Calhoun et~al.}{2010}]{Calhoun_2010_NSC}
Calhoun, S., Carletta, J., Brenier, J., Mayo, N., Jurafsky, D., Steedman, M.,
  \BBA\ Beaver, D. \BBOP 2010\BBCP.
\newblock \BBOQ The {NXT}-format {Switchboard} Corpus: A Rich Resource for
  Investigating the Syntax, Semantics, Pragmatics and Prosody of Dialogue.\BBCQ\
\newblock {\Bem Language Resources and Evaluation Journal}, {\Bbf 44},
  \mbox{\BPGS\ 387--419}.

\bibitem[\protect\BCAY{Carletta}{Carletta}{2007}]{Carletta_2007_UTK}
Carletta, J. \BBOP 2007\BBCP.
\newblock \BBOQ Unleashing the Killer Corpus: Experiences in Creating the
  Multi-everything {AMI} Meeting Corpus.\BBCQ\
\newblock {\Bem Language Resources and Evaluation Journal}, {\Bbf 41},
  \mbox{\BPGS\ 181--190}.

\bibitem[\protect\BCAY{Carletta, Evert, Heid, \BBA\ Kilgour}{Carletta
  et~al.}{2005}]{Carletta_2005_NXT}
Carletta, J., Evert, S., Heid, U., \BBA\ Kilgour, J. \BBOP 2005\BBCP.
\newblock \BBOQ The {NITE} {XML} Toolkit: Data Model and Query.\BBCQ\
\newblock {\Bem Language Resources and Evaluation Journal}, {\Bbf 39},
  \mbox{\BPGS\ 313--334}.

\bibitem[\protect\BCAY{Chen, Rose, Qiao, Kimbara, Parrill, Welji, Han, Tu,
  Huang, Harper, Quek, Xiong, McNeill, Tuttle, \BBA\ Huang}{Chen
  et~al.}{2006}]{Chen_2006_VMM}
Chen, L., Rose, R.~T., Qiao, Y., Kimbara, I., Parrill, F., Welji, H., Han,
  T.~X., Tu, J., Huang, Z., Harper, M., Quek, F., Xiong, Y., McNeill, D.,
  Tuttle, R., \BBA\ Huang, T. \BBOP 2006\BBCP.
\newblock \BBOQ {VACE} Multimodal Meeting Corpus.\BBCQ\
\newblock In Renals, S.\BBACOMMA\ \BBA\ Bengio, S.\BEDS, {\Bem Machine Learning
  for Multimodal Interaction}, \lowercase{\BVOL}\ 3869 of {\Bem Lecture Notes
  in Computer Science}, \mbox{\BPGS\ 40--51}. Springer, Berlin/Heidelberg.

\bibitem[\protect\BCAY{Den \BBA\ Enomoto}{Den \BBA\
  Enomoto}{2007}]{Den_2007_SAT}
Den, Y.\BBACOMMA\ \BBA\ Enomoto, M. \BBOP 2007\BBCP.
\newblock \BBOQ A Scientific Approach to Conversational Informatics:
  Description, Analysis, and Modeling of Human Conversation.\BBCQ\
\newblock In Nishida, T.\BED, {\Bem Conversational Informatics: An Engineering
  Approach}, \mbox{\BPGS\ 307--330}. John Wiley \& Sons, Hoboken, NJ.

\bibitem[\protect\BCAY{Den, Koiso, Maruyama, Maekawa, Takanashi, Enomoto, \BBA\
  Yoshida}{Den et~al.}{2010}]{Den_2010_TAO}
Den, Y., Koiso, H., Maruyama, T., Maekawa, K., Takanashi, K., Enomoto, M.,
  \BBA\ Yoshida, N. \BBOP 2010\BBCP.
\newblock \BBOQ Two-level Annotation of Utterance-units in {Japanese} Dialogs:
  An Empirically Emerged Scheme.\BBCQ\
\newblock In {\Bem Proceedings of the 7th International Conference on Language
  Resources and Evaluation ({LREC} 2010)}, \mbox{\BPGS\ 1483--1486}. Valletta,
  Malta.

\bibitem[\protect\BCAY{Den, Koiso, Takanashi, \BBA\ Yoshida}{Den
  et~al.}{2012}]{Den_2012_AOR}
Den, Y., Koiso, H., Takanashi, K., \BBA\ Yoshida, N. \BBOP 2012\BBCP.
\newblock \BBOQ Annotation of Response Tokens and their Triggering Expressions
  in {Japanese} Multi-party Conversations.\BBCQ\
\newblock In {\Bem Proceedings of the 8th International Conference on Language
  Resources and Evaluation ({LREC} 2012)}, pp.~1332--1337. Istanbul, Turkey.

\bibitem[\protect\BCAY{Den, Yoshida, Takanashi, \BBA\ Koiso}{Den
  et~al.}{2011}]{Den_2011_AOJ}
Den, Y., Yoshida, N., Takanashi, K., \BBA\ Koiso, H. \BBOP 2011\BBCP.
\newblock \BBOQ Annotation of {Japanese} Response Tokens and Preliminary
  Analysis on their Distribution in Three-party Conversations.\BBCQ\
\newblock In {\Bem Proceedings of the 14th Oriental {COCOSDA} ({O--COCOSDA}
  2011)}, \mbox{\BPGS\ 168--173}. Hsinchu, Taiwan.

\bibitem[\protect\BCAY{Godfrey, Holliman, \BBA\ McDaniel}{Godfrey
  et~al.}{1992}]{Godfrey_1992_STS}
Godfrey, J.~J., Holliman, E.~C., \BBA\ McDaniel, J. \BBOP 1992\BBCP.
\newblock \BBOQ {SWITCHBOARD}: Telephone Speech Corpus for Research and
  Development.\BBCQ\
\newblock In {\Bem Proceedings of the 17th International Conference on
  Acoustics, Speech, and Signal Processing (ICASSP-92)}, \mbox{\BPGS\
  517--520}. San Francisco, CA.

\bibitem[\protect\BCAY{細馬}{細馬}{2009}]{細馬_2009_ジェス}
細馬宏通 \BBOP 2009\BBCP.
\newblock ジェスチャー単位. 
\newblock 坊農真弓\JBA 高梨克也\JEDS, \Jem{多人数インタラクションの分析手法},
  \mbox{\BPGS\ 119--137}. オーム社.

\bibitem[\protect\BCAY{五十嵐\JBA 菊池\JBA 前川}{五十嵐\Jetal
  }{2006}]{五十嵐_2006_韻律情}
五十嵐陽介\JBA 菊池英明\JBA 前川喜久雄 \BBOP 2006\BBCP.
\newblock 韻律情報. 
\newblock \Jem{国立国語研究所報告124：日本語話し言葉コーパスの構築法},
  \mbox{\BPGS\ 347--453}.

\bibitem[\protect\BCAY{Kaplan, Iida, Nishina, \BBA\ Tokunaga}{Kaplan
  et~al.}{2012}]{Kaplan_2012_STF}
Kaplan, D., Iida, R., Nishina, K., \BBA\ Tokunaga, T. \BBOP 2012\BBCP.
\newblock \BBOQ Slate---A Tool for Creating and Maintaining Annotated
  Corpora.\BBCQ\
\newblock {\Bem Journal for Lanuage Technology and Computational Linguistics},
  {\Bbf 26}  (2), \mbox{\BPGS\ 91--103}.

\bibitem[\protect\BCAY{Kaplan, Iida, \BBA\ Tokunaga}{Kaplan
  et~al.}{2010}]{Kaplan_2010_APM}
Kaplan, D., Iida, R., \BBA\ Tokunaga, T. \BBOP 2010\BBCP.
\newblock \BBOQ Annotation Process Management Revisited.\BBCQ\
\newblock In {\Bem Proceedings of the 7th International Language Resources and
  Evaluation Conference ({LREC} 2010)}, \mbox{\BPGS\ 3654--3661}. Valletta,
  Malta.

\bibitem[\protect\BCAY{Kipp}{Kipp}{2001}]{Kipp_2001_AGA}
Kipp, M. \BBOP 2001\BBCP.
\newblock \BBOQ Anvil---A Generic Annotation Tool for Multimodal Dialogue.\BBCQ\
\newblock In {\Bem Proceedings of the 7th European Conference on Speech
  Communication and Technology (Eurospeech 2001)}, \mbox{\BPGS\ 1367--1370}.
  Aalborg, Denmark.
\newblock \url{http://www.anvil-software.org/}.

\bibitem[\protect\BCAY{小磯\JBA 伝\JBA 前川}{小磯\Jetal
  }{2012}]{小磯_2012_日本語}
小磯花絵\JBA 伝康晴\JBA 前川喜久雄 \BBOP 2012\BBCP.
\newblock 『日本語話し言葉コーパス』RDBの構築.
\newblock \Jem{第1回コーパス日本語学ワークショップ}, \mbox{\BPGS\ 393--400}.

\bibitem[\protect\BCAY{国立国語研究所}{国立国語研究所}{2006}]{国語研_2006_日本語}
国立国語研究所 \BBOP 2006\BBCP.
\newblock \Jem{国立国語研究所報告124：日本語話し言葉コーパスの構築法}.

\bibitem[\protect\BCAY{Kudo \BBA\ Matsumoto}{Kudo \BBA\
  Matsumoto}{2002}]{Kudo_2002_JDA}
Kudo, T.\BBACOMMA\ \BBA\ Matsumoto, Y. \BBOP 2002\BBCP.
\newblock \BBOQ {Japanese} Dependency Analysis using Cascaded Chunking.\BBCQ\
\newblock In {\Bem Proceedings of the 6th Conference on Computational Natural
  Language Learning ({CoNLL-2002})}, \mbox{\BPGS\ 63--69}. Taipei, Taiwan.
\newblock \url{https://code.google.com/p/cabocha/}.

\bibitem[\protect\BCAY{前川}{前川}{2004}]{前川_2004_日本語}
前川喜久雄 \BBOP 2004\BBCP.
\newblock 『日本語話し言葉コーパス』の概要.
\newblock \Jem{日本語科学}, {\Bbf 15}, \mbox{\BPGS\ 111--133}.

\bibitem[\protect\BCAY{Matsumoto, Asahara, Hashimoto, Tono, Ohtani, \BBA\
  Morita}{Matsumoto et~al.}{2006}]{Matsumoto_2006_ACM}
Matsumoto, Y., Asahara, M., Hashimoto, K., Tono, Y., Ohtani, A., \BBA\ Morita,
  T. \BBOP 2006\BBCP.
\newblock \BBOQ An Annotated Corpus Management Tool: {ChaKi}.\BBCQ\
\newblock In {\Bem Proceedings of the 5th International Conference on Language
  Resources and Evaluation ({LREC} 2006)}, \mbox{\BPGS\ 1418--1421}. Genoa,
  Italy.

\bibitem[\protect\BCAY{M\"uller \BBA\ Strube}{M\"uller \BBA\
  Strube}{2001}]{Muller_2001_MTF}
M\"uller, C.\BBACOMMA\ \BBA\ Strube, M. \BBOP 2001\BBCP.
\newblock \BBOQ {MMAX}: A Tool for the Annotation of Multi-modal Corpora.\BBCQ\
\newblock In {\Bem Proceedings of the 2nd IJCAI Workshop on Knowledge and
  Reasoning in Practical Dialogue Systems}, \mbox{\BPGS\ 45--50}. Seattle, WA.

\bibitem[\protect\BCAY{M\"uller \BBA\ Strube}{M\"uller \BBA\
  Strube}{2006}]{Muller_2006_MAO}
M\"uller, C.\BBACOMMA\ \BBA\ Strube, M. \BBOP 2006\BBCP.
\newblock \BBOQ Multi-level Annotation of Linguistic Data with {MMAX2}.\BBCQ\
\newblock In Braun, S., Kohn, K., \BBA\ Mukherjee, J.\BEDS, {\Bem Corpus
  Technology and Language Pedagogy: New Resources, New Tools, New Methods},
  \mbox{\BPGS\ 197--214}. Peter Lang, Frankfurt am Main, Germany.

\bibitem[\protect\BCAY{Noguchi, Miyoshi, Tokunaga, Iida, Komachi, \BBA\
  Inui}{Noguchi et~al.}{2008}]{Noguchi_2008_MPA}
Noguchi, M., Miyoshi, K., Tokunaga, T., Iida, R., Komachi, M., \BBA\ Inui, K.
  \BBOP 2008\BBCP.
\newblock ``Multiple Purpose Annotation using {SLAT}---Segment and
  Link-based Annotation Tool---.'' 
\newblock In {\Bem Proceedings of the 2nd Linguistic Annotation Workshop},
  \mbox{\BPGS\ 61--64}. Marrakech, Morocco.

\bibitem[\protect\BCAY{角\JBA 矢野\JBA 西田}{角\Jetal }{2011}]{角_2011_マルチ}
角康之\JBA 矢野正治\JBA 西田豊明 \BBOP 2011\BBCP.
\newblock マルチモーダルデータに基づいた多人数会話の構造理解. 
\newblock \Jem{社会言語科学}, {\Bbf 14}  (1), \mbox{\BPGS\ 82--96}.

\bibitem[\protect\BCAY{{Tjong Kim Sang} \BBA\ Veenstra}{{Tjong Kim Sang} \BBA\
  Veenstra}{1999}]{TjongKimSang_1999_RTC}
{Tjong Kim Sang}, E.~F.\BBACOMMA\ \BBA\ Veenstra, J. \BBOP 1999\BBCP.
\newblock \BBOQ Representing Text Chunks.\BBCQ\
\newblock In {\Bem Proceedings of the 9th Conference of the European Chapter of
  the Association for Computational Linguistics (EACL'99)}, \mbox{\BPGS\
  173--179}. Bergen, Norway.

\bibitem[\protect\BCAY{Waibel \BBA\ Stiefelhagen}{Waibel \BBA\
  Stiefelhagen}{2009}]{Waibel_2009_CIT}
Waibel, A.\BBACOMMA\ \BBA\ Stiefelhagen, R. \BBOP 2009\BBCP.
\newblock {\Bem Computers in the Human Interaction Loop}.
\newblock Springer, Berlin/Heidelberg.

\end{thebibliography}



\appendix
\section{隣接語対を抽出するクエリ}
\label{sec:bigram}

同一節 (segClause) 内で隣接する単語 (segWord) の対を抽出するクエリ．
階層関係テーブル (relWord2Clause) を用いない場合は，
サブクエリを用いた煩雑なクエリとなる．

\begin{query}
-- 階層関係を用いない場合
SELECT W1.id AS current, W2.id AS next
  FROM segClause AS C
 INNER JOIN segWord AS W1 ON W1.docID = C.docID AND W1.channel = C.channel
                         AND W1.start >= C.start AND W1.start < C.end
 INNER JOIN segWord AS W2 ON W2.docID = W1.docID AND W2.channel = W1.channel
 WHERE W2.start = (SELECT MIN(W3.start)
                     FROM segWord AS W3
                    WHERE W3.docID = W1.docID AND W3.channel = W1.channel
                      AND W3.start > W1.start AND W3.start < C.end);
\end{query}

\begin{query}
-- 階層関係を用いた場合
SELECT W1.id AS current, W2.id AS next
  FROM segWord AS W1
 INNER JOIN relWord2Clause AS R1 ON R1.descendant = W1.id
 INNER JOIN relWord2Clause AS R2 ON R2.ancestor = R1.ancestor
 INNER JOIN segWord AS W2 ON W2.id = R2.descendant
 WHERE R2.nth = R1.nth + 1;
\end{query}

\section{実用性評価で用いたクエリ}
\label{sec:ex}

\paragraph{クエリ1：}

イントネーション句の末尾のアクセント句の先頭のモーラの継続長を算出

\begin{screen}\small
\renewcommand\baselinestretch{0.8}
\begin{verbatim}
-- 抽象度の高い単一のセグメントを用いた場合
SELECT I.id, MATTR.value AS MoraEntity, M.end - M.start AS Duration
  FROM seg AS I
 INNER JOIN rel AS AI ON AI.ancestor = I.id
 INNER JOIN seg AS A ON A.id = AI.descendant
 INNER JOIN rel AS MA ON MA.ancestor = A.id
 INNER JOIN seg AS M ON M.id = MA.descendant
 INNER JOIN attr AS MATTR ON MATTR.ref = M.id
 WHERE AI.nth = AI.len AND MA.nth = 1
   AND I.type = "IP" AND AI.type = "AP2IP"
   AND A.type = "AP" AND MA.type = "Mora2AP"
   AND M.type = "Mora" AND MATTR.name = "MoraEntity";
\end{verbatim}
\end{screen}

\begin{screen}\small
\renewcommand\baselinestretch{0.8}
\begin{verbatim}
-- 型ごとに個別化されたセグメントを用いた場合
SELECT I.id, M.MoraEntity, M.end - M.start AS Duration
  FROM segIP AS I
 INNER JOIN relAP2IP AS AI ON AI.ancestor = I.id
 INNER JOIN segAP AS A ON A.id = AI.descendant
 INNER JOIN relMora2AP AS MA ON MA.ancestor = A.id
 INNER JOIN segMora AS M ON M.id = MA.descendant
 WHERE AI.nth = AI.len AND MA.nth = 1;
\end{verbatim}
\end{screen}

\vspace{.5\baselineskip}
\paragraph{クエリ2：}

イントネーション句の次末のアクセント句の末尾のモーラの継続長を算出

\begin{screen}\small
\renewcommand\baselinestretch{0.8}
\begin{verbatim}
-- 抽象度の高い単一のセグメントを用いた場合
SELECT I.id, MATTR.value AS MoraEntity, M.end - M.start AS Duration
  FROM seg AS I
 INNER JOIN rel AS AI ON AI.ancestor = I.id
 INNER JOIN seg AS A ON A.id = AI.descendant
 INNER JOIN rel AS MA ON MA.ancestor = A.id
 INNER JOIN seg AS M ON M.id = MA.descendant
 INNER JOIN attr AS MATTR ON MATTR.ref = M.id
 WHERE AI.nth = AI.len - 1 AND MA.nth = MA.len
   AND I.type = "IP" AND AI.type = "AP2IP"
   AND A.type = "AP" AND MA.type = "Mora2AP"
   AND M.type = "Mora" AND MATTR.name = "MoraEntity";
\end{verbatim}
\end{screen}

\begin{screen}\small
\renewcommand\baselinestretch{0.8}
\begin{verbatim}
-- 型ごとに個別化されたセグメントを用いた場合
SELECT I.id, M.MoraEntity, M.end - M.start AS Duration
  FROM segIP AS I
 INNER JOIN relAP2IP AS AI ON AI.ancestor = I.id
 INNER JOIN segAP AS A ON A.id = AI.descendant
 INNER JOIN relMora2AP AS MA ON MA.ancestor = A.id
 INNER JOIN segMora AS M ON M.id = MA.descendant
 WHERE AI.nth = AI.len - 1 AND MA.nth = MA.len;
\end{verbatim}
\end{screen}

\vspace{.5\baselineskip}
\clearpage
\paragraph{クエリ3：}

文末形式を持つ節単位の先頭の文節の末尾の短単位が
係助詞「は」であるものを抽出し，その短単位の継続長を算出

\begin{screen}\small
\renewcommand\baselinestretch{0.8}
\begin{verbatim}
-- 抽象度の高い単一のセグメントを用いた場合
SELECT C.id, S.end - S.start AS Duration
  FROM seg AS C
 INNER JOIN rel AS BC ON BC.ancestor = C.id
 INNER JOIN seg AS B ON B.id = BC.descendant
 INNER JOIN rel AS SB ON SB.ancestor = B.id
 INNER JOIN seg AS S ON S.id = SB.descendant
 INNER JOIN rel AS SMS ON SMS.ancestor = S.id
 INNER JOIN useg AS SM ON SM.id = SMS.descendant
 INNER JOIN attr AS CATTR ON CATTR.ref = C.id
 INNER JOIN attr AS SMATTR1 ON SMATTR1.ref = SM.id
 INNER JOIN attr AS SMATTR2 ON SMATTR2.ref = SM.id
 WHERE BC.nth = 1 AND SB.nth = SB.len AND SMS.nth = SMS.len
   AND C.type = "Clause" AND BC.type = "Bunsetsu2Clause"
   AND B.type = "Bunsetsu" AND SB.type = "SUW2Bunsetsu"
   AND S.type = "SUW" AND SMS.type = "SUWMorph2SUW"
   AND SM.type = "SUWMorph"
   AND CATTR.name = "ClauseBoundaryLabel" AND CATTR.value LIKE "[
   AND SMATTR1.name = "SUWLemma" AND SMATTR1.value = "は"
   AND SMATTR2.name = "SUWMiscPOSInfo1" AND SMATTR2.value = "係助詞";
\end{verbatim}
\end{screen}

\begin{screen}\small
\renewcommand\baselinestretch{0.8}
\begin{verbatim}
-- 型ごとに個別化されたセグメントを用いた場合
SELECT C.id, S.end - S.start AS Duration
  FROM segClause AS C
 INNER JOIN relBunsetsu2Clause AS BC ON BC.ancestor = C.id
 INNER JOIN segBunsetsu AS B ON B.id = BC.descendant
 INNER JOIN relSUW2Bunsetsu AS SB ON SB.ancestor = B.id
 INNER JOIN segSUW AS S ON S.id = SB.descendant
 INNER JOIN relSUWMorph2SUW AS SMS ON SMS.ancestor = S.id
 INNER JOIN usegSUWMorph AS SM ON SM.id = SMS.descendant
 WHERE BC.nth = 1 AND SB.nth = SB.len AND SMS.nth = SMS.len
   AND C.ClauseBoundaryLabel LIKE "[
   AND SM.SUWLemma = "は"
   AND SM.SUWMiscPOSInfo1= "係助詞";
\end{verbatim}
\end{screen}

\begin{biography}
\bioauthor{伝　　康晴}{
1993年京都大学大学院工学研究科博士後期課程研究指導認定退学．
博士（工学）．
ATR音声翻訳通信研究所研究員，
奈良先端科学技術大学院大学情報科学研究科助教授，
千葉大学文学部助教授・准教授を経て，現在，千葉大学文学部教授．
国立国語研究所客員教授．
専門はコーパス言語学・心理言語学・計算言語学．
とくに日常的な会話の分析・モデル化．
社会言語科学会・日本認知科学会・人工知能学会・日本心理学会・
日本認知心理学会各会員．
}
\bioauthor{小磯　花絵}{
1998年10月奈良先端科学技術大学院大学情報科学研究科博士後期課程修了．
博士（理学）．
ATR知能映像通信研究所研修研究員，
国立国語研究所研究員を経て，
現在，人間文化研究機構国立国語研究所准教授．
専門は談話分析・コーパス言語学・音声科学．
言語処理学会・社会言語科学会・日本認知科学会・日本音声学会・
人工知能学会各会員．
}
\end{biography}

\biodate


\end{document}

