    \documentclass[japanese]{jnlp_1.4}
\usepackage{jnlpbbl_1.3}
\usepackage[dvips]{graphicx}
\usepackage{amsmath}
\usepackage{hangcaption_jnlp}
\usepackage{udline}
\setulminsep{1.2ex}{0.2ex}
\let\underline
\usepackage{array}
\usepackage{textcomp}

\usepackage{ascmac}
\newcommand{\modified}[1]{}
    \def\timex{}
    \def\timexii{}
    \def\timexiii{}
    \def\value{}
    \def\tlink{}
    \def\tlinks{}
    \def\event{}
    \def\events{}
    \def\makeinstance{}
    \def\eventc{}
    \def\klass{}


\Volume{20}
\Number{5}
\Month{December}
\Year{2013}

\received{2013}{4}{24}
\revised{2013}{7}{5}
\accepted{2013}{8}{29}

\setcounter{page}{657}

\jtitle{『現代日本語書き言葉均衡コーパス』に対する時間情報表現・\\
	事象表現間の時間的順序関係アノテーション}
\jauthor{保田　　祥\affiref{Author_1} \and 小西　　光\affiref{Author_1} \and 浅原　正幸\affiref{Author_1}\and 今田　水穂\affiref{Author_1} \and 前川喜久雄\affiref{Author_1}}
\jabstract{
時間情報抽出は大きく分けて時間情報表現抽出，時間情報正規化，時間的順序関係解析の三つのタスクに分類される．
一つ目の時間情報表現抽出は，固有表現・数値表現抽出の部分問題として解かれてきた．
二つ目の時間情報正規化は書き換え系により解かれることが多い．
三つ目のタスクである時間的順序関係解析は，事象の時間軸上への対応付けと言い換える
ことができる．
\modified{日本語においては時間的順序関係解析のための言語資源が整備されているとは言い難く，
アノテーション基準についても研究者で共有されているものはない．
本論文では国際標準である ISO-TimeML を日本語に適応させた時間的順序関係アノテーション基準を示す．
我々は『現代日本語書き言葉均衡コーパス』(BCCWJ) の新聞記事の部分集合に対して，動詞・形容詞事象表現に TimeML
の \event\ 相当タグを付与し，その事象の性質に基づき分類を行った．
また，この事象表現と先行研究 \cite{小西-2013} により付与されている時間情報表現との間の関係として，
TimeML の \tlink\ 相当タグを付与した．}
\modified{事実に基づき統制可能な時間情報正規化と異なり，事象構造の時間的順序関係
の認識は言語受容者間で異なる傾向がある．}
このようなレベルのアノテーションにおいては唯一無二の正解データを作ることは無意味である．
むしろ，言語受容者がいかに多様な判断を行うかを評価する被験者実験的なアノテーションが求められている．
そこで，本研究では三人の作業者によるアノテーションにおける時間的順序関
係認識の齟齬の傾向を分析した．アノテーション結果から，時間軸上の相対的な順序関係
については一致率が高い一方，時区間の境界については一致率が低いことがわかった．}
\jkeywords{時間情報処理，事象意味論，コーパスアノテーション}

\etitle{Temporal Ordering Annotation on `the Balanced Corpus of Contemporary Written Japanese'}
\eauthor{Sachi Yasuda\affiref{Author_1} \and Hikari Konishi\affiref{Author_1} \and Masayuki Asahara\affiref{Author_1} \and \\
	Mizuho Imada\affiref{Author_1} \and Kikuo Maekawa\affiref{Author_1}} 
\eabstract{
Temporal information extraction can be divided into the following tasks:
temporal expression extraction, time normalization and temporal ordering
relation resolution.
The first task is a subtask of a named entity and
numeral expression extraction.
The second task is often performed by rewriting systems.
The third task consists of event anchoring.
This paper proposed a Japanese temporal ordering annotation scheme
and performed annotations by referring to `{\it the 
Balanced Corpus of Contemporary Written Japanese}' (BCCWJ).
We extracted verbal and adjective event expressions as \events\ in a subset of
BCCWJ and annotated a temporal ordering relation \tlinks\ on the pairs of the above event
    expressions and time expressions obtained from a previous study (Konishi et al. 2013).
The recognition of temporal ordering by language recipients
tends to disagree compared to the normalization of time expressions.
We should not regard making unique gold annotation data as an objective in such a
situation.
If anything, we should evaluate the degree of inter-annotator discrepancy by
subjects of experiments.
Then, we analysed inter-annotator discrepancies by three
annotators in temporal ordering annotation.
The result showed that boundaries of time segments barely exhibit any agreement,
whereas the annotation of temporal relative ordering tendency exhibits good
agreement by the annotators.
}
\ekeywords{Temporal Information Processing, Event Semantics, Corpus Annotation}

\headauthor{保田，小西，浅原，今田，前川}
\headtitle{BCCWJ に対する時間的順序関係アノテーション}

\affilabel{Author_1}{人間文化研究機構国立国語研究所}{National Institutes for the Humanities, National Institute for Japanese Language and Linguistics}



\begin{document}
\maketitle


\section{はじめに}
\label{sec:intro}

情報抽出や文書要約の分野において情報の可視化を目的として，
テキスト中に出現する事象表現の表す事象が発生した時区間\modified{(Time Interval)}を時間軸\modified{(Timeline)}上に写像することが行われている．
このため\modified{には}，テキスト中に出現する時間情報表現の正規化
（時間軸への写像）のみならず，対象となる
「文書作成日時と事象表現」や「時間情報表現と事象表現」，
「二つの事象表現」間の時間的順序関係を付与することが必要になる．

\modified{英語においては哲学者・言語学者・人工知能研究者・言語処理研究者が協力し
て時間情報を含む言語資源の整備を進めている\cite{TimeBank}．哲学者・言語学者は言語科学として
(a)テキスト中の事象表現とその時間構造を形式的にどのように記述するかを探究するこ
とを研究目的とする．
人工知能研究者・言語処理研究者は工学研究として(b)テキスト中の事象表現や時間的順
序表現を同定し抽出する機械的なモデルの開発や評価を研究目的とする．
前者にとって (b) は手段でしかなく，逆に後者にとって (a) は手段でしかない．
しかしながら，共通の目標として時間情報の可視化\footnote{ここで
「情報の可視化」とは，工学的な自動処理によるもののみならず，言語科学における形式
意味論研究も含む．}を掲げ，前段落にあげたリサーチクエ
スチョンに対して，「アノテーション」と呼ばれる研究手法により共有言語資源を構築す
る試みが行われている．}

\modified{一方，日本語においては時間情報を含む言語資源の整備は，人工知能研究者・言
語処理研究者によるものが多く，研究目的も (b) の手段としてのものが多い．
機械的なモデルの開発や評価を目的とすることが多く，計算機上に実現しやすい時間情報
表現の切り出しや正規化レベルのアノテーションにとどまっている\cite{IREX,小西-2013}．
時間的順序関係のアノテーションを行うためには，アノテーション対象となる事象構造の
意味論的な形式的な記述の作業が必要となる．人工知能研究者・言
語処理研究者にとっての手段とされる研究目的 (a)が重要になる．
}

\modified{時間情報のアノテーションについては，英語のアノテーション基準
TimeML \cite{TimeML}を元に国際標準化作業が行われてきた．
成果物の ISO-TimeML は策定時に多言語に対してアノテーションすることを想定し，
各言語の研究者がそれぞれ適応\footnote{ここで
「適応」とは生物学における ``種の環境に対応する形質の有無''の意味ではなく，工学に
おける ``対象の特性に対応する仕様やパラメータなどの変更''の意味である．}作業を実施してきた．
}

\modified{本研究では，研究目的として哲学者・言語学者の(a)の立場を取り，}
『現代日本語書き言葉均衡コーパス』（Balanced Corpus of Contemporary Written
Japanese; 以下 ``BCCWJ''）\cite{BCCWJ} の一部に対し時間情報表現と事象表現の時間的順序関係を付与するために，事象表
現の切り出しと分類を行った．
\modified{時間情報表現アノテーションの形式的な基準である国際標準 ISO-TimeML の日
本語適応作業を MAMAサイクル\cite{Pustejovsky-2012}（Model-Annotate-Model-Annotate サイクル．詳しく
は \ref{subsec:anno}節で説明）を通して実施し，
時間的順序関係付与に適した事象表現分類を行った．}
さらに，\modified{複数人の時区間の時間的順序関係の認識の差異を評価することを目的として，}
Allen の時区間論理\cite{allen-1983}（詳しくは \ref{subsec:timerel}節で説明）に基づ\modified{いた}テキストに出現する時間情報表現と事象表現
の時間的順序関係\modified{のアノテーション}を\modified{複数人で実施した．
MAMAサイクルを最小にし被験者実験的な設定でアノテーションを行い，
得られたデータの傾向を分析し，複数人の作業者間の心的空間における時間構造の差異を
評価した．}

\modified{意味論レベルのアノテーションにおいて，多くの研究が形式意味論的な記述を目標とする．
生成された言語を直接何らかの記号的な意味表現に写像するための方法論を確立するため
にアノテーションの MAMA サイクルを実施するが，唯一無二の意味表現に写像することを
目的とするためにアノテーション一致率という指標を良くする方向に最適化するきらいが
ある．一方，認知意味論の考え方においては，生成された言語表現を受容する人間の認知
活動という要素を考慮し，人間の空間認知能力やカテゴリー化などの認知能力を評価する
目的で，被験者実験などの研究手法が用いられている．テキストを刺激として与え，意味表
現を記述させる被験者実験も広義のアノテーションと呼ぶことができる．}

\modified{本研究では人間の時間的順序関係の認知能力の差異の評価を目的として，教示である
MAMA サイクルを必要十分レベルに極小化した，被験者実験としてのアノテーションを行
う．
結果，時区間の境界の一致が困難である一方，時区間の前後関係については69.5\% の一
致率でアノテーションできることがわかった．}

\modified{
以下本論文の構成について述べる．\ref{sec:related}節では関連研究について述べる．
\ref{sec:standard}節では策定した基準について述べる．
\ref{sec:analysis}節で BCCWJ にアノテーションした順序関係ラベルの分析を行い，結
果を報告する．
\ref{sec:conclusion}節で本論文のまとめを行う．}


\section{関連研究}
\label{sec:related}

\subsection{コーパスアノテーション}
\label{subsec:anno}

\modified{一般に言語の生産過程の産物であるアノテーションなしのテキストコーパスか
らは，言語の受容過程について直接的に調査することは困難である．
言語の受容過程の調査には，生産されたテキストを受容する過程を記号化する必要がある．
テキストコーパスに対し作業者が内容を理解して記号を付与するアノテーションは，
工学研究者のベンチマークデータ作成だけでなく，人の言語の受容過程を記録する一研究
手法としても利用可能である．}

\modified{コーパスアノテーション作業には二つの基準を決める必要がある．
一つはアノテーションをどのような形式で表現するかという形式的な基準である．
アノテーション対象が文字間なのか文字列範囲なのか，対象に対しシングルラベルを付与
するのかマルチラベルを付与するのか，対象間の関係が推移的なのか対称的なのか，大局
的な構造として木をなすのか有向非循環グラフをなすのかなどを決定し，抽象化する必要
がある．
抽象化された形式は，インラインで記述するのかスタンドオフで記述するのかなどを基準
として定める．
この形式的な基準は，研究者間の相互利用性を高めたり，構造学習器を実現するための必
要な抽象表現の仕様を決定するために利用される．関係する研究者があらかじめ議論をし
て標準仕様をコミュニティ駆動で策定したり，最初に策定された類似のアノテーショ
ンの形式をそのまま事実上の標準にしたりなど，標準化機関以外による何らかの標準化が行われることが多い．}

\modified{もう一つはコーパスに出現する言語表現をどのような記号に割り当てるかとい
う値割り当てについての基準である．アノテーションにおいては，個々の事例についてど
の形式に割り当てるのかという基準が必要であり，一般に言語テストなどを作業者に行っ
てもらいその判断に基づき記号に写像する基準が策定される．しかし，アノテーション作
業の当初から完全で健全な基準を作成することは困難であり，基準の策定と
アノテーション作業を何度も繰り返しながら基準を更新する．}

\modified{Pustejovsky \cite{Pustejovsky-2012}は，基準の策定方法を含めたアノテー
ション作業に二種類のサイクルがあることを示している．一つは MAMA サイク
ルで図\ref{fig:cycle}の左のような
サイクル\footnote{図は ``Model and
Guideline''-``Annotate''-``Evaluate''-``Revise'' からなり ``MAERサイクル''と呼ぶ
べきであるが，引用元の表現 ``MAMA サイクル'' をそのまま本稿でも採用する．}である．もう一つはMATTERサイクル（Model-Annotate-Train-Test-Evaluate-Revise サイクル）で
図\ref{fig:cycle}の右のようなサイクルである．工学研究のように構造学習器を作成す
ることを目的とする場合には MATTER サイクルを用いることが多いが，MATTER サイクル
で構造学習器が構成できないアノテーション初期においては MAMAサイクルを用いること
が多い．言語研究で現象そのものを観察する場合においては MAMAサイクルのみで閉じて
アノテーションを行う傾向がある． }

\begin{figure}[t]
\begin{center}
\includegraphics{20-5ia2f1.eps}
\end{center}
\caption{MAMAサイクルと MATTER サイクル}
\label{fig:cycle}
\vspace{-0.5\Cvs}
\end{figure}

\modified{このようなアノテーションの基準とサイクルを考えた場合に，アノテーション
基準の妥当性はどのように評価されるべきだろうか．形式的な基準においては利用者系に
より評価されるべきであり，当該基準を利用するコミュニティの規模などにより定
量的に評価され，相互利用における障害の有無などにより定性的に評価されるだろう．
後者の値割り当てとしての基準においては，構造学習器の構成を目的として研究を実施す
るのであれば，未知事例を含めた構造学習器の性能により評価されるだろう．
一方，言語研究を目的とする場合には，アノテーション作業を行う指針である基準の妥当
性は，成果物のアノテーションそのものによって評価されるべきである．
アノテーション単体としての評価は一致率などの定量的な指標を提示することが可能であ
るが，言語研究のためのアノテーションにおいては，必ずしも一致率などを目的関数とし
て最適化を行っているわけではない．このようなアノテーション基準の妥当性を評価する
ためには，MAMAサイクルの外側の言語研究者によって評論として行われるべきである．
近年，均衡コーパスが整備され，コミュニティ駆動によりアノテーション対象の標準化が
行われてきた．各機関で様々なレベルの言語情報のアノテーションが進められている．
このような状況を鑑みると，MAMA サイクルの外側の言語研究者による評論の代わりに，他のアノテーションとの重ね合わせによる齟齬検出結果から，アノテーションそのものの妥当性評価が検証される可能性がある．
}


\subsection{\modified{コーパスアノテーション基準の標準化}}
\label{subsec:standard}

\modified{コーパスアノテーションの基準について，形式的な基準については標準化機関
などが共有すべき規格を提案している．
例えば，国際標準化機構(International Organization for Standardization: ISO) の標準化技術委員会(Technical Committee) TC 37 は ``Terminology and other language and content
resources'' と題し，言語資源に関するさまざまな標準化を提案している．
そのなかに分科会(Subcommittee) が五つ設定されているが，
TC 37/SC 4 が言語資源管理(Language resource management; LRM)に関する国際規格の規定を行っている．
TC 37/SC 4 は作業部会を六つ（表 \ref{table:tc37sc4}）設定
しており，さまざまな形式・出自の一次言語
データに対するアノテーションや XML に代表される汎用マークアップ言語に基づくアノ
テーションの表現形式についての仕様記述言語を設計している．
例えば，公開されている規格として，語彙表の規格 Lexical Markup Framework (LMF: ISO-24613:2008)，
素性構造表現 Feature Structure Representation (FSR: ISO-24610-1:2006)，単語分かち書き（ISO-24615-1:2010が一般，
ISO-24615-2:2011が日中韓言語），統語論アノテーション Syntactic
Annotation Framework (SynAF: ISO-24615:2010) があ
る．
意味論的アノテーション規格は作業部会 TC 37/SC 4/WG 2 を中心にさまざまな
Semantic Annotation Framework (SemAF) が提案されている．
時間情報表現関連については，英語で策定された TimeML \cite{TimeML} をもとに
TimeML 開発者と作業部会 TC 37/SC 4/WG 2が連携をとりながら SemAF-Time
(ISO-24617-1:2012) TimeML を提案した．次の\ref{subsec:time}節では，時間情報表現関連のアノテーションの研究動向を示す．}

\begin{table}[t]
\caption{TC 37/SC 4 の作業部会}
\label{table:tc37sc4}
\input{02table01.txt}
\end{table}


\subsection{時間情報表現に関する研究動向}
\label{subsec:time}

\modified{時間情報表現は哲学・言語学・人工知能研究・言語処理など複数分野の研
究者により研究されてきた．}

\modified{以下では言語処理関連の代表的な研究を俯瞰する．
テキスト中の時間情報表現を分析する研究は大きく分けて時間情報表現抽出，時間情報正規化，時間的順序関係解析の三つのタスクに分類される．
一つ目の時間情報表現抽出は，固有表現・数値表現抽出の部分問題として解かれてきた．
二つ目の時間情報正規化は書き換え系により解かれることが多い．
三つ目のタスクである時間的順序関係解析は，事象の時間軸上への対応付けと言い換える
ことができる．}

表 \ref{tbl:previous_work} に英語\modified{と}日本語を対象とした時間情報表現に関連する研究を示す．

\begin{table}[b]
\caption{関連研究}
\label{tbl:previous_work}
\input{02table02.txt}
\end{table}

英語においては，評価型国際会議 MUC-6 \cite{MUC6} の一タスク固有表現抽出の中に時
間情報表現の抽出が含まれている．MUC-6 で定義されている時間情報表現タグ \timex\ は
日付表現({\tt @type="DATE"}) と 時刻表現 ({\tt @type="TIME"}) からなる．アノテー
ション対象は絶対的な日付・時刻を表す表現にのみ限定され，``last year'' などといった相対的な日付・時刻表現は含まれていない．
この MUC-6 のアノテーション基準 \timex\ に対し，Setzer は時間情報表現の正規化に関するアノテーション基準を提案している\cite{Setzer-2001}．
評価型国際会議 TERN \cite{TERN} では，時間情報表現検出に特化したタスクを設定して
いる．TERN で定義された時間情報表現情報タグ \timexii\ は，相対的な日付・時刻表現，
時間表現や頻度集合表現が検出対象として追加されている．
時間情報表現の正規化情報を記述する ISO-8601 形式を拡張した \value\ 属性などが設
計され，こちらも自動解析対象となっている．

その後，Pustejovsky らによりアノテーション基準 TimeML \cite{TimeML}が提案されている．
その中では，TERN で用いられている \timexii\ を拡張した \timexiii\ が提案され，さら
に時間情報表現と事象表現の時間的順序関係を関連づけるための情報 \tlink\ が付加される．これらの情報は人手でアノテーションすることを目的に設計され，
TimeBank \cite{TimeBank}や Aquaint TimeML Corpusなどの人手によるタグつきコーパスの整備が行われた．

これらのコーパスに基づく時間情報表現の自動解析\cite{Boguraev-2005,Mani-2006}が試みられたが，タグの情報に不整合があったり，付与されている時間的順序関係ラベルに偏りがあったりなど扱いにくいものであった\cite{Boguraev-2006}．
2007 年に開かれた SemEval 2007 の一タスク TempEval \cite{TempEval} では，時間的順序関係のラベルを簡略化し，人手で見直したデータによる時間的順序関係同定のタスクが行われた．
このタスクでは，時間情報表現に対する正規化情報 \value\ 属性などが\modified{データにあらかじ
め}付与されており，事象表現の時間的順序関係同定に利用できる\modified{設定になっ
ている}．

\modified{時間情報表現の自動解析に関する研究は英語中心に行われていたが，やが
て言語横断的な研究が進められ，前の\ref{subsec:standard}節に示し
たような国際標準化がすすめられた．その成果物として，アノテーション形式の共有可能な基準としてISO-TimeML が策定された．その作業と並行して，評価型会議}
TempEval-2 \cite{TempEval2} \modified{が実施され}，英語だけでなく，イタリア語，スペイン語，中国語，
韓国語に関しても同様なデータを利用したタスクが設定された．
2013年に開かれる SemEval-2013 のサブタスク TempEval-3 \cite{TempEval3}では，デー
タの規模を大きくした英語，スペイン語が対象となっている．

\modified{海外においては，哲学者・言語学者・人工知能
研究者・言語処理研究者が共有可能な言語資源を作成するという大義のもと，分野横
断的に研究が進められている．さらに多言語に拡張すべく言語横断的に研究が進められて
いる．このような状況のもと個々の研究について境界を明確に示すことは難しい．}

次に日本語の時間情報表現に関する研究を示す．
\modified{日本語において，時間情報表現抽出はアノテーションのみならず，評価型会議による解析
手法の検討が行われている．}
IREX \cite{IREX}の 一タスクとして，固有表現抽出タスクが設定さ
れた．IREX の時間情報では，日付・時刻表現を対象にし，相対的な表現が定義に含まれている．
関根らは拡張固有表現体系\cite{Sekine-2002}を提案し，辞書／オントロジやコー
パスの作成などを行っており，BCCWJ にも同じ体系の拡張固有表現タグが付与されている
\cite{Hashimoto-2010}．
\modified{時間情報表現正規化については，}
小西らが  TimeML に基づく \timexiii\ 相当のタ
グを BCCWJ の一部に付与し，時間情報表現の正規化を行っている\cite{小西-2013}． 
\modified{しかしながら，日本語の時間情報表現と事象表現をひもづける時間的順序関係に関する研究は，著者らが知る限りない．}

\modified{最後に，時間的順序関係アノテーションの目的について言及する．
工学研究者は(1)時間情報を解析する構造学習器の構成やベンチマークデータの
整備を目的としている．
一方，言語研究者は，(2)事象表現の時間構造を表現する形式意味論としての記述
体系の精緻化を目的としている．
これらに対し，本研究は(3)受容者としてのアノテーション作業者という要素を考慮し，
認知意味論的な分析を目的とする．(3) の目的のために，被験者実験的な設定のアノテーションを実施する．}


\subsection{アノテーション対象としての BCCWJ}
\label{subsec:bccwj}

\modified{本節ではアノテーション対象である BCCWJ について述べる．}

\modified{約1億語規模の書き言葉均衡コーパスである BCCWJ は2006--2010年に整備され，
2011年に国立国語研究所（以下「国語研」と略す）から一般公開された．
サンプリングの手法から生産サブコーパス・図書館サブコーパス・特定目的サブコーパス
の三つに大きく分かれる．生産サブコーパスは 2001--2005年に出版された書籍(PB)・雑誌
(PM)・新聞(PN)により構成され，生産実態に基づいてランダムサンプリングされている．
図書館サブコーパスは1986--2005年に出版された書籍(LB)により構成され，流通実態に基
づいてランダムサンプリングされている．特定目的サブコーパスは図書館サブコーパスで
十分に集まりにくい，白書(OW)・Yahoo!知恵袋(OC)・Yahoo!ブログ(OY)・国会会議録(OM) など様々なレジスタのテキストが収録されている．}

\modified{BCCWJ にはコアデータと呼ばれる約110万語からなる部分集合が設定さ
れている．コアデータには人手により国語研規程の短単位・長単位単語境界，UniDic 品詞体系
に基づく形態論情報，文節境界などが付与されている．コアデータは生産サブコーパスか
ら書籍(PB)・雑誌(PM)・新聞(PN)が，特定目的サブコーパスから白書(OW)・Yahoo!知恵袋
(OC)・Yahoo!ブログ(OY)が収録されている．表\ref{table:priority}に各レジスタのサン
プルについての統計を示す．}
\modified{このコアデータに対し，国内の様々な研究機関により，係り受け情報・述語項構造・節境界・モダリティ情報・フレームネット知識など重畳的にアノテーションが行われている．
しかしながら，100万語規模のコアデータ全てに対してアノテーションを実施することは
困難である．そこで，コアデータの各サンプルに対してアノテーションの優先
順位をつけ，約5--6万短単位ごとの部分集合（表\ref{table:priority}・2列目）を規定している．
アノテーションに従事する研究者は，それぞれの目的や能力に応じ，この優先順位に従っ
てアノテーションを実施する．これにより，優先順位の高いサンプルについてはより多種
の言語情報アノテーションが行われることになる．}

\begin{table}[b]
\caption{BCCWJ コアデータと部分集合}
\label{table:priority}
\input{02table03.txt}
\end{table}

\modified{各サンプルには書誌情報として様々なメタデータが付与されているが，本研究に重要なメ
タデータとして文書作成日時相当の情報がある．コアデータに収録されている 6 種類のレジスタのうち，新聞(PN)デー
タのみが日単位の文書作成日時の情報が収録されており，他のレジスタは年単位の文書作成日時の情報にとどまっている．}

\modified{本研究では新聞(PN)データの部分集合 A （54ファイル\footnote{BCCWJ において1ファイ
ル中に複数の記事が収録されているために記事数ではない．}，2,541文，56,518短単位）を対象にアノテー
ションを行う．アノテーション作業対象を上記範囲に限定した理由は，BCCWJ のコアデー
タにおいて新聞データのみが文書作成日時を日単位まで保持していること，生産実態に基づいて適切にサンプリングされてお
り通常の報道記事のみならずレシピやコラムが含まれていること，作業者が一人月でアノテーションを終えることが可能な分量であることなどがある．}



\section{アノテーション基準}
\label{sec:standard}

\subsection{アノテーション作業の概要}

アノテーション作業対象は BCCWJ コアデータ新聞データ 54ファイル（部分集合 A）とする．
小西らの時間情報表現の正規化作業により，時間情報表現は \timexiii\ タグに
より切り出され，時間情報の正規化情報が与えられている\cite{小西-2013}．

アノテーション作業は，最初に事象表現の境界を認定し \event\ タグを付与し，\event\ 
の属性として事象表現の分類を表す \klass\ 属性を付与する．
\klass\ 属性付与の際には時間軸上に事象のインスタンスが認定できるか否かを判断し，
判断できる場合には \event\ に対して \makeinstance\ タグをスタンドオフ形式で新たに付与する．
次に限定された事象のインスタンス間（「文書作成日時と事象表現」，「時間情報表現と事象
表現」，「二つの事象表現」）に対して，時間的順序関係を付与する．
以下では，それぞれの作業の基準について示す．


\subsection{事象表現の認定とクラス分類}

時間的順序関係のアノテーションを行うために，\modified{アノテーション対象である動
詞・形容詞・形状詞が}事象表現か否か，事象表現が時間軸上の特定の範囲で生起したものか否かの判断が必要となる．
また事象構造が動作なのか状態なのかといった識別が必要になる．
\modified{また，事象表現間の時間的順序関係を規定するにあたっては，ある事象が他の
事象の項になりうるのか，その場合にどのような事象構造を持つのかを分類する必要があ
る．}

国語研\modified{規程による長単位の動詞・形容詞・形状詞 4,953表現}に対して \event\ タグを付与する．
事象表現として切り出す際に国語研長単位が適さない場合には切り出し範囲を大きくする
方向で修正を行う．
本研究は時間情報表現と事象のインスタンス間の時間的順序関係を付与するため，TimeML のアノテーション\modified{の形式的な基準に基づいて}，
実世界もしくは架空世界の時間軸上の具体的な特定の範囲で生起したインスタンスが認め
られるか否かの判別を行い，インスタンスが認められたものについては，\event\ タグ
の \klass\ 属性にその事象表現の特性を付与し，\makeinstance\ タグを付与する．
インスタンスが認められないものについては，\makeinstance\ タグを付与しない．

時間的順序関係が確認できる事象構造には \makeinstance\ タグを付与したうえで，
\klass\ 属性を付与する．\klass\ 属性は，{\tt OCCURRENCE}，{\tt REPORTING}，{\tt PERCEPTION}，{\tt ASPECTUAL}，
{\tt I\_ACTION}，{\tt I\_STATE}，{\tt STATE}の7種類と作業者がインスタンスが認められないと判断した事象表現・静態表現に付与する {\tt NULL}，{\tt NONE} の2種類に分類される．

\begin{list}{}{}
\item[\tt OCCURRENCE] 項に事象を取らない事象表現一般
\item[\tt REPORTING] 項に事象を取る表現活動動詞に相当する事象表現
\item[\tt PERCEPTION] 項に事象を取る認識・知覚動詞に相当する事象表現
\item[\tt ASPECTUAL] 項に事象を取るアスペクトを表出する事象表現
\item[\tt I\_ACTION] 項に事象を取る遂行動詞に相当する事象表現
\item[\tt I\_STATE] 項に事象を取る思考・感情動詞に相当する事象表現
\item[\tt STATE] 静態動詞，形容詞
\item[{\tt NULL}，{\tt NONE}] 時間軸上インスタンスが認められない事象表現
\end{list}

一般の事象表現は{\tt OCCURRENCE}にあたる．静態動詞は{\tt STATE}に分類されるため，
{\tt STATE}にしないもので事物(Thing)を項とする事象表現はすべて{\tt OCCURRENCE}
とする．残りの5種類は，事物ではなく事象(Event)を項として導入する事象にのみ用いる．
なお，アノテーション対象としての事象は動詞・形容詞・形状詞に限定するが，項として事物か事象
かを判断する際には事象名詞も考慮する．

この事象表現のインスタンスの認定とクラス分類は，作業者二人と監督者一人と助言者一人で議論しながら作業を行った．
クラス分類を含めて 75--80\% の一致率がコンスタントに得られるまで
作業者二人が同一ファイルを作業し，基準が固まった時点で分担して作業を行った．
\modified{基準の策定にあたっては日本語学・言語学の文献\cite{工藤1995,工藤2004,中村2001}に
ある事象表現の分類を参考にした．}

以下にそれぞれの例を挙げる．

\begin{description}
\item[{\tt OCCURRENCE}：事象表現一般]\mbox{}\\
何かが起こった，変化した，発生したなどの一般的な事象構造は，{\tt OCCURRENCE}とす
る．すなわち，事象ではなく事物を項とし，静態動詞ではない場合は，すべて{\tt OCCURRENCE}
とする．無意志的（状態・位置）変化動詞や非意志的（現象一般）動詞もこれに含まれる．
また，過程(Process)を示す動詞（例：「住む」）も，{\tt OCCURRENCE}とみなすこととする．

\begin{itembox}[l]{\event\texttt{@OCCURRENCE} の例}
\small
湿地や干潟，河原などが埋め立てで \event\ 減った \eventc\ 東京湾．\\
裸地を好むコアジサシに\event\ 嫌われた \eventc\ か，巣は一つだけ．\\
ニュース写真として\event\ 掲載させていただく \eventc\ ことがあります．\\
経常利益は数億円単位の黒字に \event\ なる \eventc．\\
メニューに\event\ 挑戦した \eventc．
\end{itembox}

\item[{\tt REPORTING}：表現活動動詞]\mbox{}\\
表現活動動詞が，事象に関する発言や告知などをはじめ，概ね「〜と」を用いた引用を行う場合などで，{\tt REPORTING}に分類する．なお，「〜を」が用いられている場合は項が事物であるため，{\tt OCCURRENCE}となる．
表現活動動詞には，言う・報告する・告げる・説明する・陳述する・指摘する・伝えるな
どが含まれる．

\begin{itembox}[l]{\event\texttt{@REPORTING} の例（{\bf 太字}が注目している項）}
\small
大学院でのこうした取り組みは{\bf 初めてと} \event\ いう \eventc．\\
{\bf 〜どうかと}\event\ 提言する \eventc．
\end{itembox}

\item[{\tt PERCEPTION}：認識・知覚動詞]\mbox{}\\
認識動詞や知覚動詞で，主に事象に関する物理的な知覚が，\modified{節や句の}「〜の」などによる体言化に
 よって導入される場合などは，{\tt PERCEPTION}に分類する．但し，項が事物であると
 きは，{\tt OCCURRENCE}とする（例「ホスピスという言葉を初めて聞いた」）．
 見る・観察する・見かける・眺める・聞く・聴く・耳にする・睨む・探る・感じるなどが含まれる．

\begin{itembox}[l]{\event\texttt{@PERCEPTION} の例（{\bf 太字}が注目している項）}
\small 
母親が炊飯器でおでんを{\bf 作ったのを} \event\ 見て\eventc，
\end{itembox}

なお，新聞データにおいては，文脈により物理的な知覚を導入しない場合が多く，出現が少ない．

\begin{itembox}[l]{\event\texttt{@PERCEPTION} としない例 （{\bf 太字}が注目している項）} 
\small 
［個人名］に{\bf ［内容］について}\event\ 聞いた \eventc．（インタビューであるため，{\tt OCCURRENCE}）\\
{\bf AをBと}\event\ 見る \eventc．（判断であるため，{\tt OCCURRENCE}や{\tt I\_STATE}）
\end{itembox}

\item[{\tt ASPECTUAL}：アスペクト動詞]\mbox{}\\
事象のアスペクト（相）を示す動詞が，事象を導入している場合はこれにあたる．明示的
に記述されている場合に限定する．そのため，接頭辞などの造語成分（例：「再」＋動詞による「再団結する」「再開発する」など，「終」「開」による「終演する・開幕する」など）を含む動詞については，{\tt ASPECTUAL}に含めない．

\newpage
アスペクトを明示的に表す動詞は，以下のようなものがある．
\begin{enumerate}
\item Initiation：始める・始まる
\item Reinitiation：再開する
\item Termination：終える・止める・終わる・中止する・停止する・あきらめる
\item Culmination：やり終える・完成させる
\item Continuation：続ける・続行する・持続する・維持する・やり通す・保つ
\end{enumerate}

\begin{itembox}[l]{\event\texttt{@ASPECTUAL} の例 （{\bf 太字}が注目している項）} 
\small 
{\bf トーナメントは}，日本時間10日夜に第1日が\event\ 始まる \eventc．\\
［個人名］が勝てば{\bf 3連覇に}\event\ 続く \eventc\ 偉業達成．\\
二年目も引き続き{\bf 好調を}\event\ 維持したい\eventc．\\
{\bf とろ火状態を}\event\ 保つ \eventc．
\end{itembox}


\item[{\tt I\_ACTION} (Intensional Action): 内包的な動作]\mbox{}\\
明示された事象の導入を行う（項とする）遂行動詞は{\tt I\_ACTION}と分類する．遂行しない場合は後述する{\tt I\_STATE}として区別を行う．また，イベントが助詞によって分割されている場合の後半部（例：「連絡をとる」「明らかにする」など）は{\tt I\_ACTION}と考える．
次の{\tt I\_STATE}との差別として，挑む・予防する・遅らせる・依頼する・要求する・説得する・約束する・決定する・提案するなど，遂行性のある動詞がこれにあたる．また，同様に，{\tt REPORTING}との差別として，宣言する・主張する・申し出る・断定するなど，{\tt PERCEPTION}との差別として，調査する・精査するなどが{\tt I\_ACTION}にあたる．

なお，Intentional（意図的）とは異なることに注意されたい．

\begin{itembox}[l]{\event\texttt{@I\_ACTION} の例（{\bf 太字}が注目している項）}  
\small
女性が{\bf 受け入れられるべきかと}\event\ 問われれ \eventc\ ば，イエスだ．\\
{\bf 再建を}国際社会全体で\event\ 取り組む \eventc\ 契機．\\
{\bf 支払えないケースが} \event\ 出ている\eventc．\\
［個人名］は速い{\bf 転がりを}\event\ 確かめていた\eventc．
\end{itembox}


\item[{\tt I\_STATE} (Intensional States): 内包的な静態動詞]\mbox{}\\
事象を導入する（項とする）が，事象を遂行しない動詞は{\tt I\_STATE}とする．代替・候補が言及されるなどの状態の導入が主となる．
 主に思考動詞や感情動詞がこれにあたり，信じる・思う・望む・欲する・期待する・計画するなどの思考動詞のほか，恐れる・心配する・悩むなどの感情動詞，また，遂行のない動詞として，求める・〜しようとする・〜したがるなど，〜できる・〜できないなども含まれる．

\begin{itembox}[l]{\event\texttt{@I\_STATE} の例（{\bf 太字}が注目している項）}  
\small 
{\bf 連覇を}\event\ 狙う\eventc．{\bf 生活が}\event\ できる \eventc．\\
{\bf 未現像でも}\event\ 構いません\eventc．\\
{\bf よく見ていてくれたと} \event\ 感謝する \eventc．（遂行性がないため，{\tt I\_ACTION}ではない）
\end{itembox}


\item[{\tt STATE} ：静態動詞，形容詞\modified{，形状詞}]\mbox{}\\
時間的順序関係と直接かかわらない場合，文書作成時間に従属しない場合には，\event\ 
タグをつけないが，以下の種類の静態動詞\cite{工藤1995}と形容詞について，時間と関わ
る場合に限り，\event\texttt{@STATE} とする．

\begin{enumerate}
\item 存在動詞：ある・いる・存在する・点在する
\item 空間的配置動詞：そびえている・面している・隣接している
\item 関係動詞：値する・あたる・あてはまる・相当する・意味する・示す・適する
\item 特性動詞：甘すぎる・大きすぎる・泳げる・話せる・似合う
\end{enumerate}

\begin{itembox}[l]{\event\texttt{@STATE} の例}
\small
マネジャーに就任する意向が\event\ ない\eventc\ ことを明らかにした．（存在）\\
東京湾岸でも生活\event\ できる \eventc\ 環境さえあれば．（特性動詞．この場合，「生
活ができる」であれば{\tt I\_STATE}とする）\\
彼女のようにモノをはっきり\event\ 言える\eventc\ ことがこれからは大切だ．（特性動詞）\\
おいしく\event\ 食べられます\eventc．（特性動詞）
\end{itembox}


\item[{\tt NULL} ，{\tt NONE} ：時間軸上インスタンスが認定できない事象表現・静態表現]\mbox{}\\
\makeinstance\ を付与しない事象表現・静態表現．
\makeinstance\ タグを付与するか否かの判断基準として，文書作成日時もしくは他の事象表現との時間的順序関係が定義できるかどうかを重要視する．
何らかの変化を含む事象表現ではなく，恒常的あるいは一般的なことをいっていると考え
られうる事象表現においては，時間的順序関係のアノテーションは不可能であるため，
\makeinstance\ タグは付与しない．

\begin{itembox}[l]{\makeinstance\ タグを付与しない例（{\bf 太字}が付与しない表現）}
\small 
クラブの運営について1票を{\bf 持っている}わけではない．\\
国際会議57件を{\bf 含め}2,111件．火を{\bf 使わない}調理法．
\end{itembox}

連体修飾節中の動詞が，一般的と判断される場合 \makeinstance\ タ
グを付与しない．

\begin{itembox}[l]{\makeinstance\ タグを付与しない例：連体修飾（{\bf 太字}が付与
しない表現）}
\small
旅の安全を{\bf 守る}道祖神．オリーブ畑に{\bf 囲まれた}レストラン．
\end{itembox}

副詞的用法や慣用的な場合も時間的順序関係が付けがたいため，\makeinstance\ タ
グを付与しない．
\begin{itembox}[l]{\makeinstance\ タグを付与しない例：慣用表現（\textbf{太字}が付与しない表現）}
\small
やむを{\bf 得ない}． {\bf 相次いで}出している．\\
なりふり{\bf 構わぬ}販売攻勢．
\end{itembox}

文脈によっては，「ある」「なる」「する」などの動詞も，一般的なことを述べているた
め時間的順序関係が付けがたい場合がある．この場合 \event\ タグを付与しない．

\begin{itembox}[l]{\makeinstance\ タグを付与しない例：「ある」など（{\bf 太字}が付与しない表現）}
\small
〜のためこの名が{\bf ある}．〜が基本と{\bf なる}．\\
〜を原則と{\bf する}．
\end{itembox}

\end{description}

\modified{以下，}{\tt NULL} と {\tt NONE} のラベルの違いについて述べる．
{\tt NULL}のラベルは本節の作業を行った作業者二人により付与したものである．
{\tt NONE}のラベルは次節の時間的順序関係認定時に，
三人の作業者が時間軸上にインスタンスを認定することができなかったものについて修正付与する．

\modified{事象構造そのもののアノテーションは意味論レベルの情報付与に相当し，言語
学的な知見から様々な記号化手法が考えられる．本研究は時間情報表現・事象表現間の時
間的順序関係の可視化を目的としており，そのアノテーション形式の標準化である
ISO-TimeML の枠組の範囲内で，値割り当てとしてのアノテーション基準を定めた．
本節のアノテーション作業にあたっては次の\ref{subsec:timerel}節で行う被験者実験的な時間的順序関係アノテーションの基底となる情報のために MAMA サイクルに基づき厳密な統制を行った．}


\subsection{時間的順序関係の認定}
\label{subsec:timerel}

\modified{本研究は時間構造に対する複数人の認識の差異を評価するために，被験者実験
的に時間的順序関係アノテーションを実施する．時間的順序関係について，事象が表現す
る時間構造が長さ0以上の時区間である（時点は長さ0の時区間として扱う）と
仮定をおく．このことにより個々人が認識する事象表現の時間構造を，人工知能分野でよ
く研究されている Allen の時区間論理\cite{allen-1983}として表現することができる．アノテーション作
業者は，時間軸上に二つの時区間をプロットすることで描画的に事象の時区間を表現す
ることができる．直感的であるために短時間の教示でアノテーションが可能になる．}

\modified{具体的には，先行研究で付与されている \timexiii\ タグ範囲の時間情報表現
と \makeinstance\ タグにより認定した事象表現のインスタンスに対して，\tlink\ 相当の}時
間的順序関係を認定する．表\ref{table:allen} に示す Allen の\modified{二次の}範囲
代数に基づくラベル（13種類）を付与する．\modified{採用するラベ
ル集合は，標準化されているアノテーション形式であるため，他の研究者が多言語で言語横断的に分析する際にも有効だと考える．}

\begin{table}[t]
\caption{Allen の範囲代数に基づく時間的順序関係ラベル}
\label{table:allen}
\input{02table04.txt}
\end{table}

なお，二つの事象表現がduring/equal/contains の三つの時間的順序関係にある場合，部分
事象の関係か全く同一の事象の関係でありうる．そのような場合には
表\ref{table:subevent}の三つのラベルを付与する\footnote{厳密には
finishes/started-by/starts/finished-byの四つの時間的順序関係の場合も事象-部
分事象関係になることがあるが，これらの関係の頻度が少なく相当する事例が見つからな
かったこととTimeMLには規定されていないことから，我々も相当するタグを新たに規定し
ない．}．
計13+3種類のラベルをまとめると図\ref{fig:allen}のようになる．
このほかにテキストの情報だけでは全く時間的順序関係がわからない場合に付与するラベ
ルとして `vague' を利用する．この作業は TimeML の \tlink\ 付与の作業に相当し，
我々もタグ名として \tlink\ を用いる．

\begin{table}[t]
\caption{事象-部分事象間関係を表現するラベル}
\label{table:subevent}
\input{02table05.txt}
\end{table}

\modified{これらの計13+3+1種類のラベルを\timexiii\ タグと \makeinstance\ タグの間，もしくは，
二つの \makeinstance\ タグ間に付与する．}
本作業で用いる \makeinstance\ タグは前節の作業を精査した 3,839件を固定して用いる．
前節の作業を行った二人とは異なる，三人の作業者が時間的順序関係を行う．
文書中の \makeinstance\ タグの対の数は文書中の \makeinstance\ タグの数の組み合わせ
に相当し，人手で全ての対を検証することは困難である．

\begin{figure}[t]
\begin{center}
\includegraphics{20-5ia2f2.eps}
\end{center}
\caption{\tlink\ 時間的順序関係ラベル一覧}
\label{fig:allen}
\end{figure}

英語の TimeBank では\modified{，}全ての対で作業者が認定できるものという曖昧な基準で一致率が55\% と報告されている．
本研究では，TempEval などの評価型ワークショップで採用され
ている「文書作成日時と事象表現の順序関係（``DCT''と呼ぶ）」 
「同一文内の時間情報表現と事象表現間順序関係（``T2E''と呼ぶ）」「隣接事象表現間順序関
  係（``E2E''と呼ぶ）」
「隣接文の末尾の事象表現間順序関係（``MATRIX''と呼ぶ）」の4種類の表現
対についてのみ付与する．

\modified{英語の TimeBank は，どの表現対に関係を付与するかというのは作業者にゆだねられて
いる．
一方，本研究では4種類の表現対について必ず何らかの関係を付与することとし，
現実世界の事象と仮想世界の事象間，もしくは，二仮想世界の事象間などの場合で時間的
順序関係が規定できない場合に `vague' を付与することとしている．
本作業の基準では4種類の表現対のうち ``DCT'', ``E2E'', ``MATRIX'' の3種類につい
て複数の連結可能な単純道をグラフ上確保しており，基本的にアノテーションは連結グラ
フを構成する．このグラフ中 `vague'の関係が切断辺となる場合，分離された部分グラフ
は二つの異なる可能世界（実世界-架空世界，異なる二架空世界）を明示的に表現する．}

なお，アノテーション作業に際し，以下の点に注意した．
\begin{itemize}
\item 時間は基本的に区間としてアノテーションを行う．1秒でも区間とする．
\item \modified{事象は瞬間動詞については点（長さ0の区間）とし，それ以外の表現は区間とする．}
\item 状態動詞などで開始点・終了点がわかりにくいものは，前工程の \event\ タグの認定時で排除されているべきだが，わかりにくい場合には作業者の理解にゆだねる．
\end{itemize}

\section{アノテーション情報の分析}
\label{sec:analysis}

\subsection{事象表現の認定とクラス分類}

\begin{table}[b]
\begin{minipage}[t]{192pt}
\caption{時間情報表現の分布}
\label{table:timex}
\input{02table06.txt}
\end{minipage}  
\hfill
\begin{minipage}[t]{220pt}
\caption{事象表現の分布}
\label{table:event}
\input{02table07.txt}
\end{minipage}
\end{table}

時間的順序関係を行う前に時間情報表現と事象表現の範囲を切り出す必要がある．
時間情報表現の切り出しについては先行研究\cite{小西-2013}によりなされており，
今回対象のBCCWJコアデータ新聞データ 54 ファイル上の分布は表\ref{table:timex}のようになってい
る．
事象表現の認定とクラス分類の分布は表\ref{table:event}に示す．



\subsection{時間的順序関係の認定}

作業者三人により時間的順序関係認定作業を開始した．
計13+3+1種類のラベルを「文書作成日時と事象表現の順序関係(``DCT'')」 
「同一文内の時間情報表現と事象表現間順序関係(``T2E'')」「隣接事象表現間順序関
  係(``E2E'')」
「隣接文の末尾の事象表現間順序関係(``MATRIX'')」の4種類の表現対に対して付与した．

以下，作業者三人分の作業結果を示し，考察する．
表\ref{result:order} が13+3+1種類のラベルと4種類の表現対ごとに集計したものである．
$\cap$で結ばれた三つの数字は，三人の作業者が何件その関係を認定したかを示す．
右 ``=''以下の数字はその中で三人\modified{が}一致した件数を示す．
まず，\modified{一致した}ラベルの件数として，始点・終点の一致を必要としない `after',
`during', `contains', `before'の頻度が多かった．
始点・終点のいずれかの一致を必要とするラベルのうち，もっとも\modified{一致件数が}多いものは時間軸上の
完全の一致を示す `equal' であった．
また `vague' についても複数の作業者が認定し，314件一致しているところから，文脈を用いても時間的順序関係が推定できないものが少なからずあることがわかる．


\begin{table}[b]
\caption{\tlink\ 時間的順序関係ラベルの評価：作業者間の認定傾向の比較}
\label{result:order}
\input{02table08.txt}
\end{table}

表\ref{result:agreement}に4種類の\modified{表現対}ごとの一致率を集計したものを示す．
一致率の評価基準として，「ラベル13+3+1種類を区別するもの（ラベル13+3+1）」
「部分集合であるか否かを区別せず，ラベル13+1種類を区別するもの（ラベル13+1）」
「TempEval で用いられているラベル5+1種類（`BEFORE', `BEFORE-OR-OVERLAP',
  `OVERLAP', `OVERLAP-OR-AFTER', `AFTER', `VAGUE' \footnote{``ラベル
  13+3+1'' および ``ラベル13+1'' のラベルと区別するために大文字表記を用いる．}）に縮退するもの（ラベル5+1）」
の3種類を用いる．
まず，もっとも厳しい一致率評価基準（ラベル13+3+1）でも65.3\% の三人の一致率
(Cohen's kappa 0.733)であっ
た．我々の手法では事象構造の認定については複数人で合議的に行い，その
後限られた関係について時間的順序関係アノテーションを行っているが，事象構造の認定と関係対に対する関係タグ付与作業を同時に行っている英語のデータ TimeBank 1.2 における \tlink\ の一致度（関係対の認定の一致率 55\% と一致した関係対に対する関係タグの一致率 77\%）と比較しても遜色ないレベルだと考える．
4種類の関係については， ``DCT'' が最も一致率が高く，次に ``T2E'' が高かった．
これは片方が時間情報表現である場合に，時間情報表現側の時間軸上の絶対位置が推定し
やすいことによるからだと考える．

\begin{table}[t]
\caption{\tlink\ 時間的順序関係ラベルの評価：4種類の関係対ごとの一致率}
\label{result:agreement}
\input{02table09.txt}
\end{table}

一致率評価基準について始点・終点の境界値一致の認定を緩和することで， ``E2E'',
``MATRIX''の関係は若干一致率があがることから，作業者間で事象構造の時間的な境界値
にずれが生じていることがわかる．

表\ref{result:classagreement}に \event\ の \klass\ ごとの一致率を集計したものを
示す．まず，\modified{どちらかに静態表現である {\tt STATE}を含む表現対}
の\modified{作業者間ラベル}一致率が低い傾向にある．
これは静態表現の始点・終点の認識が作業者間で一致することが困難であることによると
考える．左項が時間情報表現 ({\tt DCT}，{\tt TIMEX}) であり，右項が {\tt STATE} である表現をみても，他の時間情報表現-事象表現との関係と比して\modified{作業者間ラベル一致率}が低い．
事象表現を項にとるかどうかの観点でみると，右項が {\tt REPORTING}，{\tt
I\_ACTION} の関係が平均よりも高い傾向にある．しかしながら，時間的順序関係が定義
されている事象表現対が係り受け構造上の係り受け関係にあるか，また述語項関係になっ
ているかを判断するためには他のアノテーションとの重ね合わせが必要である．
今後他機関が作成しているアノテーションを重ね合わせたうえで
検討していきたいと考えている．

\begin{table}[t]
\caption{\tlink\ 時間的順序関係ラベルの評価： \event\klass\ \modified{ごと}の作業者三人の一致率 }
\label{result:classagreement}
\input{02table10.txt}
\end{table}

\modified{最後に意味論アノテーションにおける正解のあり方について言及する．
テキストが表出する意味レベルの情報の正解は，言語受容者によって完全に復元
することは困難であり，100\% 正しいものを作成するためには言語生産者によるアノテー
ション作業が不可欠である．
言語生産者によるアノテーション作業を BCCWJ に対して行うことは困難であるため，
本研究では作業者三人の結果を統合した形での正解は作成しない．
言語受容者の個人の心的空間における時間的順序関係の認識は
それぞれ異なっていてしかるべきであり，受容者\modified{ごと}に正解があると考える．}

\modified{個々の言語受容者の作業結果の正誤判定として，それぞれのアノテーション内
での無矛盾性の認定が考えられる．
Allen の二次の範囲代数を，三次以上に拡張すると人の処理能力を超え，機械的に処理す
るにも適切な演算が必要になるため，今後の課題とする
\footnote{Allen の範囲代数を拡張すると，三次で409クラス，四次で23,917クラス，五次で2,244,361クラスになることが知られている．}．}

\modified{このアノテーションに基づき解析器の構成を行う場合には何らかの正解を決め
る必要がある．正解の設定として，一人の作業者のアノテーションを正解とする方法，三
人の作業者が一致している部分を正解とする方法，三人の作業者それぞれの学習モデルを
作成し多数決を取る方法などの様々な方法が考えられる．高性能な構造学習器を構成する
ためにどのように正解を認めるかについては，工学研究者に委ねたい．}


\section{おわりに}
\label{sec:conclusion}

本研究では『現代日本語書き言葉均衡コーパス』のコアデータ中の新聞データに対して，時間
的順序関係のアノテーションを行い，アノテーションの一致傾向について報告した．
時間的順序関係を付与する事象表現の認定にあたり，時間軸上のインスタンスの認定可能
性や，取りうる項が事象である場合に他の事象表現にどのような影響を与えるのかに基づいて，事象表現を7+2種類に分類した．

\modified{次に，}三人の作業者による時間的順序関係の一致率などを検討した結果，事象構造の時間軸上の
始点・終点の認識は揺れるものの，\modified{時間軸上の前後関係は時間情報表現にまつわるもので 73\% 以上（ラベル5+1評価で DCT 74.8\%，T2E 73.4\%），事象表現にまつわるもので 62\% 以上（ラベル5+1評価で E2E 62.7\%，MATRIX 62.3\%）の一致率}で付与できることがわかった．

\modified{本研究におけるアノテーションの評価は，今回策定した基準や作業者で閉じて
いるために限定的である．今後，データを公開\footnote{http://github.com/masayu-a/BCCWJ-Timebank}し，他機関で同じ部分に付与されているさ
まざまなアノテーションを重ね合わせ，齟齬や矛盾を分析することでより深い分析が可能
になると考えられる．}

\modified{また，\ref{sec:intro}節で述べた(b)の意味での目的に応えるために，本データを学習データとして用いた日本語時間的順序関係推定器の開発を今後行っていきたい．}
英語の時間的順序関係推定器においては，\makeinstance\ タグに付与された テン
ス・アスペクトの情報が有効な特徴量となる．一方，日本語においては，テンス・アスペ
クトは，準アスペクト表現を除くと「ル」-「タ」×「テイル」-「テイタ」の二軸の対立
しかない．そのうえ「ル」-「タ」の対立は非過去-過去の対立でしかなく，「ル」は定動
詞・不定動詞の両方を表現する．このため，形態素解析結果から直接得られるこれらの情
報は時間的順序関係推定器の決定的な特徴量とはならない．一方，BCCWJ の当該箇所には，
他機関によりモダリティ情報・係り受け構造・述語項構造などが付与されている．これら
を重ね合わせることで実用的な時間的順序関係推定器が作成できると考えている．


\acknowledgment

本研究を行うにあたり，助言いただきました日本 IBM の吉川克正氏，アノテー
ションに従事していただいた方々に感謝いたします．本研究は文科省科研費特定領域研究
「代表性を有する大規模日本語書き言葉コーパスの構築：21 世紀の日本語研究の基盤整
備」，国語研基幹型共同研究プロジェクト「コーパスアノテーションの基礎研究」および
国語研「超大規模コーパス構築プロジェクト」によるものです．本論文の一部は
The 27th Pacific Asia Conference on Language, Information, and Computation
(PACLIC 27)で発表したものです \cite{asahara-2013}．


\bibliographystyle{jnlpbbl_1.5}
\begin{thebibliography}{}

\bibitem[\protect\BCAY{Allen}{Allen}{1983}]{allen-1983}
Allen, J. \BBOP 1983\BBCP.
\newblock \BBOQ Maintaining knowledge about temporal intervals.\BBCQ\
\newblock {\Bem Communications of the ACM}, {\Bbf 26}, \mbox{\BPGS\ 832--843}.

\bibitem[\protect\BCAY{Asahara, Yasuda, Konishi, Imada, \BBA\ Maekawa}{Asahara
  et~al.}{2013}]{asahara-2013}
Asahara, M., Yasuda, S., Konishi, H., Imada, M., \BBA\ Maekawa, K. \BBOP
  2013\BBCP.
\newblock \BBOQ {BCCWJ-TimeBank: Temporal and Event Information Annotation on
  Japanese Text}.\BBCQ\
\newblock In {\Bem {Proceedings of the 27th Pacific Asia Conference on
  Language, Information, and Computation (PACLIC 27)}}.

\bibitem[\protect\BCAY{Boguraev \BBA\ Ando}{Boguraev \BBA\
  Ando}{2005}]{Boguraev-2005}
Boguraev, B.\BBACOMMA\ \BBA\ Ando, R.~K. \BBOP 2005\BBCP.
\newblock \BBOQ {TimeML-Compliant Text Analysis for Temporal Reasoning}.\BBCQ\
\newblock In {\Bem {Proceedings of the 19th International Joint Conference on
  Artificial Intelligence (IJCAI-05)}}, \mbox{\BPGS\ 997--1003}.

\bibitem[\protect\BCAY{Boguraev \BBA\ Ando}{Boguraev \BBA\
  Ando}{2006}]{Boguraev-2006}
Boguraev, B.\BBACOMMA\ \BBA\ Ando, R.~K. \BBOP 2006\BBCP.
\newblock \BBOQ {Analysis of TimeBank as a Resource for TimeML parsing}.\BBCQ\
\newblock In {\Bem {Proceedings of the 5th International Conference on Language
  Resources and Evaluation (LREC-06)}}, \mbox{\BPGS\ 71--76}.

\bibitem[\protect\BCAY{{DARPA TIDES}}{{DARPA TIDES}}{2004}]{TERN}
{DARPA TIDES} \BBOP 2004\BBCP.
\newblock {\Bem {The TERN evaluation plan; time expression recognition and
  normalization}}.
\newblock {Working papers, TERN Evaluation Workshop}.

\bibitem[\protect\BCAY{Grishman \BBA\ Sundheim}{Grishman \BBA\
  Sundheim}{1996}]{MUC6}
Grishman, R.\BBACOMMA\ \BBA\ Sundheim, B. \BBOP 1996\BBCP.
\newblock \BBOQ {Message Understanding Conference-6: a brief history}.\BBCQ\
\newblock In {\Bem {Proceedings of the 16th International Conference on
  Computational Linguistics (COLING-96)}}, \mbox{\BPGS\ 466--471}.

\bibitem[\protect\BCAY{橋本\JBA 中村}{橋本\JBA 中村}{2010}]{Hashimoto-2010}
橋本泰一\JBA 中村俊一 \BBOP 2010\BBCP.
\newblock {拡張固有表現タグ付きコーパスの構築—白書，書籍，Yahoo!
  知恵袋コアデータ—}.\
\newblock \Jem{{言語処理学会第16回年次大会発表論文集}}, \mbox{\BPGS\ 916--919}.

\bibitem[\protect\BCAY{{IREX 実行委員会}}{{IREX 実行委員会}}{1999}]{IREX}
{IREX 実行委員会} \BBOP 1999\BBCP.
\newblock \Jem{{IREX ワークショップ予稿集}}.

\bibitem[\protect\BCAY{国立国語研究所}{国立国語研究所}{2011}]{BCCWJ}
国立国語研究所 \BBOP 2011\BBCP.
\newblock \Jem{『現代日本語書き言葉均衡コーパス』利用の手引き} (第1.0 \JEd).

\bibitem[\protect\BCAY{小西\JBA 浅原\JBA 前川}{小西 \Jetal }{2013}]{小西-2013}
小西光\JBA 浅原正幸\JBA 前川喜久雄 \BBOP 2013\BBCP.
\newblock 『現代日本語書き言葉均衡コーパス』に対する時間情報アノテーション.\
\newblock \Jem{自然言語処理}, {\Bbf 20}  (2), \mbox{\BPGS\ 201--222}.

\bibitem[\protect\BCAY{工藤}{工藤}{1995}]{工藤1995}
工藤真由美 \BBOP 1995\BBCP.
\newblock \Jem{アスペクト・テンス体系とテクスト—現代日本語の時間の表現—}.
\newblock ひつじ書房.

\bibitem[\protect\BCAY{工藤}{工藤}{2004}]{工藤2004}
工藤真由美 \BBOP 2004\BBCP.
\newblock \Jem{日本語のアスペクト・テンス・ムード体系—標準語研究を超えて—}.
\newblock ひつじ書房.

\bibitem[\protect\BCAY{Mani}{Mani}{2006}]{Mani-2006}
Mani, I. \BBOP 2006\BBCP.
\newblock \BBOQ {Machine Learning of Temporal Relations}.\BBCQ\
\newblock In {\Bem {Proceedings of the 44th Annual Meeting of the Association
  for Computational Linguistics (ACL-2006)}}, \mbox{\BPGS\ 753--760}.

\bibitem[\protect\BCAY{中村}{中村}{2001}]{中村2001}
中村ちどり \BBOP 2001\BBCP.
\newblock \Jem{日本語の時間表現}.
\newblock くろしお出版.

\bibitem[\protect\BCAY{Pustejovsky, Casta{\~n}o, Ingria, Saur\'{i}, Gaizauskas,
  Setzer, \BBA\ Katz}{Pustejovsky et~al.}{2003a}]{TimeML}
Pustejovsky, J., Casta{\~n}o, J., Ingria, R., Saur\'{i}, R., Gaizauskas, R.,
  Setzer, A., \BBA\ Katz, G. \BBOP 2003a\BBCP.
\newblock \BBOQ {TimeML: Robust Specification of Event and Temporal Expressions
  in Text}.\BBCQ\
\newblock In {\Bem {Proceedings of the 5th International Workshop on
  Computational Semantics (IWCS-5)}}, \mbox{\BPGS\ 337--353}.

\bibitem[\protect\BCAY{Pustejovsky, Hanks, Saur\'{i}, See, Gaizauskas, Setzer,
  Sundheim, Ferro, Lazo, Mani, \BBA\ Radev}{Pustejovsky
  et~al.}{2003b}]{TimeBank}
Pustejovsky, J., Hanks, P., Saur\'{i}, R., See, A., Gaizauskas, R., Setzer, A.,
  Sundheim, B., Ferro, L., Lazo, M., Mani, I., \BBA\ Radev, D. \BBOP
  2003b\BBCP.
\newblock \BBOQ {The TIMEBANK Corpus}.\BBCQ\
\newblock In {\Bem {Proceedings of Corpus Linguistics 2003}}, \mbox{\BPGS\
  647--656}.

\bibitem[\protect\BCAY{Pustejovsky \BBA\ Stubbs}{Pustejovsky \BBA\
  Stubbs}{2012}]{Pustejovsky-2012}
Pustejovsky, J.\BBACOMMA\ \BBA\ Stubbs, A. \BBOP 2012\BBCP.
\newblock {\Bem Natural Language Annotation}.
\newblock O'Reilly.

\bibitem[\protect\BCAY{Sekine, Sudo, \BBA\ Nobata}{Sekine
  et~al.}{2002}]{Sekine-2002}
Sekine, S., Sudo, K., \BBA\ Nobata, C. \BBOP 2002\BBCP.
\newblock \BBOQ {Extended Named Entity Hierarchy}.\BBCQ\
\newblock In {\Bem {Proceeding of the third International Conference on
  Language Resources Evaluation (LREC-02)}}, \mbox{\BPGS\ 1818--1824}.

\bibitem[\protect\BCAY{Setzer}{Setzer}{2001}]{Setzer-2001}
Setzer, A. \BBOP {2001}\BBCP.
\newblock {\Bem {Temporal Information in Newswire Articles: An Annotation
  Scheme and Corpus Study}}.
\newblock Ph.D.\ thesis, {University of Sheffield}.

\bibitem[\protect\BCAY{UzZaman, Llorens, Derczynski, Allen, Verhagen, \BBA\
  Pustejovsky}{UzZaman et~al.}{2013}]{TempEval3}
UzZaman, N., Llorens, H., Derczynski, L., Allen, J., Verhagen, M., \BBA\
  Pustejovsky, J. \BBOP 2013\BBCP.
\newblock \BBOQ SemEval-2013 Task 1: TempEval-3: Evaluating Time Expressions,
  Events, and Temporal Relations.\BBCQ\
\newblock In {\Bem 2nd Joint Conference on Lexical and Computational Semantics
  (*SEM), Volume 2: Proceedings of the 7th International Workshop on Semantic
  Evaluation (SemEval 2013)}, \mbox{\BPGS\ 1--9}, Atlanta, Georgia, USA.
  Association for Computational Linguistics.

\bibitem[\protect\BCAY{Verhagen, Gaizauskas, Schilder, Hepple, Kats, \BBA\
  Pustejovsky}{Verhagen et~al.}{2007}]{TempEval}
Verhagen, M., Gaizauskas, R., Schilder, F., Hepple, M., Kats, G., \BBA\
  Pustejovsky, J. \BBOP 2007\BBCP.
\newblock \BBOQ {SemEval-2007 Task 15: TempEval Temporal Relation
  Identification}.\BBCQ\
\newblock In {\Bem {Proceedings of the 4th International Workshop on Semantic
  Evaluations (SemEval-2007)}}, \mbox{\BPGS\ 75--80}.

\bibitem[\protect\BCAY{Verhagen, Saur\'{i}, Caselli, \BBA\
  Pustejovsky}{Verhagen et~al.}{2010}]{TempEval2}
Verhagen, M., Saur\'{i}, R., Caselli, T., \BBA\ Pustejovsky, J. \BBOP
  2010\BBCP.
\newblock \BBOQ {SemEval-2010 Task 13: TempEval-2}.\BBCQ\
\newblock In {\Bem {Proceedings of the 5th International Workshop on Semantic
  Evaluations (SemEval-2010)}}, \mbox{\BPGS\ 57--62}.

\end{thebibliography}


\begin{biography}
\bioauthor{保田　　祥}{
2011年神戸大学人文学研究科博士後期課程修了．2013年より国立国語研究所コーパス開発
センタープロジェクトPDフェロー．現在に至る．博士（文学）．
認知意味論の研究に従事．
}

\bioauthor{小西　　光}{
2005年上智大学文学部卒業．2007年上智大学文学研究科博士前期課程修了．
2008年より国立国語研究所コーパス開発センタープロジェクト奨励研究員．現在に至る．
『日本語書き言葉均衡コーパス』『日本語話し言葉コーパス』『日本語大規模コーパス』の整備に携わる．
}

\bioauthor{浅原　正幸}{
2003年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了．
2004年より同大学助教．
2012年より国立国語研究所コーパス開発センター特任准教授．
現在に至る．博士（工学）．形式意味論の研究に従事．
}

\bioauthor{今田　水穂}{
2010年筑波大学人文社会科学研究科博士課程修了．筑波大学特任研究員を経て，
2013年より国立国語研究所コーパス開発
センタープロジェクトPDフェロー．現在に至る．博士（言語学）．
概念意味論の研究に従事．
}

\bioauthor{前川喜久雄}{
1956年生．1984年上智大学大学院外国語学研究科博士後期課程（言語学）
中途退学．国立国語研究所教授．言語資源系長．コーパス開発センター
長．副所長．博士（学術）．専門は音声学ならびに言語資源学．}

\end{biography}

\biodate


\end{document}
