    \documentclass[japanese]{jnlp_1.4}
\usepackage{jnlpbbl_1.3}
\usepackage[dvips]{graphicx}
\usepackage{amsmath}
\usepackage{hangcaption_jnlp}
\usepackage{udline}
\setulminsep{1.2ex}{0.2ex}
\let\underline


\def\modified#1{}
\def\mmodified#1{}
\usepackage{algorithm}
\usepackage{algorithmic}




\Volume{18}
\Number{4}
\Month{September}
\Year{2011}

\received{2011}{1}{17}
\revised{2011}{3}{10}
\accepted{2011}{4}{12}

\setcounter{page}{351}

\jtitle{shWiiFit Reduce Dependency Parsing}
\jauthor{浅原　正幸\affiref{Author_1}}
\jabstract{
本稿では係り受け構造情報のタグ付けの一貫性について考える．係り受け構造には，統語的制約により一意に決まる構造と選択選好性によるタグ付け作業者に委ねる構造がある．多くの場合，統語的制約を優先してタグ付けられるが，選択選好性に影響され誤ってタグ付ける例が多々ある．このような事例について誤り傾向の差分を評価するために，ゲームを用いた新しい心理言語実験手法を提案する．
埋め込み構造によるガーデンパス文を用いて\mmodified{13}人の被験者で実験を行ったほか，6種類の係り受け解析器を用いて解析誤り傾向の比較を行った．さらに最も誤った種類の文に対し，選択選好性がどのように影響したかについて報告する．
}
\jkeywords{係り受け解析，コーパス，統語的制約，選択選好性}

\etitle{shWiiFit Reduce Dependency Parsing}
\eauthor{Masayuki Asahara\affiref{Author_1}} 
\eabstract{
This paper argues about consistency of syntactic dependency corpus annotation.
Dependency structure involves unambiguous substructures specified by syntactic constraints and underspecified substructures evaluated by selectional preferences of annotators.
In most cases, the syntactic constraints have a priority over the selectional preferences.  In some cases, however, the selectional preferences are given priority over the syntactic constraints. 
We propose a new psycholinguistic experimental environment to use 
a fitness game application, in which a user stands
on Nintendo Wii Balance Board and plays a parsing game competing on
the accuracy and the speed.
Tha game-based experiments investigate how correctly a human can parse written sentences.
We evaluate syntactically confusing sentences with \mmodified{13} experimental subjects and 6 dependency parsers.
Moreover, we investigate effects of selectional preferences in the incorrectly annotated sentences.
}
\ekeywords{Dependency Parsing, Corpus, Syntactic Constraint, Selectional Preference}

\headauthor{浅原}
\headtitle{shWiiFit Reduce Dependency Parsing}

\affilabel{Author_1}{奈良先端科学技術大学院大学}{Nara Institute of Science and Technology, Japan}



\begin{document}
\maketitle


\section{はじめに} \label{sec:1}

\modified{言語解析器の作成時，タグ付きコーパスを用いて構造推定のための機械学習器を訓練する．しかし，そのコーパスはどのくらい一貫性をもってタグ付けられるものだろうか．一貫性のないコーパスを用いて評価を行うとその評価は信頼できないものとなる．また，一貫性のないコーパスから訓練すると，頑健な学習モデルを利用していたとしても解析器の性能は悪くなる．}

本稿では，人間による日本語係り受け関係タグ付け作業に関して，\modified{どのくらい一貫性をもって正しくタグ付け可能かを評価する}新しいゲームアプリケーション ``shWiiFit Reduce Dependency Parsing'' （図\ref{fig:swfrdp}）を提案する．ゲームのプレーヤーは Wii バランスボードの上に立ち，係り受け解析対象の文を読み，画面中央の文節対に対して\mmodified{2}種類の判断「係らない(SHIFT)」もしくは「係る(REDUCE)」の判断を選択し，体重を左右のどちらかに加重する．

\modified{係り受け構造のタグ付けにおける非一貫性は次の3つに由来すると考える．1つ目は，係り受け構造が一意に決まるが，作業者が誤るもの．2つ目は，複数の可能な正しい構造に対して，基準により一意に決めているが，作業者が基準を踏襲できなかったもの．3つめは，複数の可能な正しい構造に対して，基準などが決められていないもの．}

\begin{figure}[b]
\begin{minipage}[t]{205pt}
\includegraphics{18-4ia920f1.eps}
\caption{shWiiFit Reduce Dependency Parsing}
 \label{fig:swfrdp}
\end{minipage}
\hfill
\raisebox{26pt}[0pt][0pt]{
\begin{minipage}[t]{205pt}
\includegraphics{18-4ia920f2.eps}
\caption{Example Sentences}
 \label{fig:examplesentences}
\end{minipage}
}
\end{figure}

\modified{ここでは，1つめの非一貫性つまりタグ付けの正確性について検討する．}
このゲームアプリケーションを用いて，埋め込み構造に基づくガーデンパス文（図\ref{fig:examplesentences}）のタグ付け困難性を評価する心理言語実験を行う．対象となる文は統語的制約のみによりその係り受け構造が一意に決定できる．しかしながら，被験者は動詞の選択選好性によるバイアスにより係り受け構造付与を誤ってしまう傾向があり，本稿ではその傾向を定量的に調査する．また，同じガーデンパス文を，各種係り受け解析器で解析し，現在の係り受け解析モデルの弱点について分析する．

人間の統語解析処理については，自己ペースリーディング法・質問法・視線検出法などの手法により心理言語学の分野で調査されてきた\cite{Mazuka1997a,Tokimoto04}．しかしながら，これらの心理言語学で用いられてきた手法は，読む速度を計測したり，文の意味を質問により事後確認したりする手法であり，コーパスに対する係り受けのタグ付けに直接寄与しない．一方，提案する手法では人間の係り受け判断をより直接的に評価し，また\modified{体重加重分布}に基づいて解析速度を追跡することができる．

以下，\ref{sec:2}節では日本語係り受け解析手法について概説する．\ref{sec:3}節では用いたガーデンパス文について説明する．\ref{sec:4}節では人間による係り受け解析の調査に用いたゲームについて紹介する．\ref{sec:5}節では実験結果と考察を示し，\ref{sec:6}節にまとめと今後の展開について示す．



\section{日本語係り受け解析} \label{sec:2}

日本語の係り受け解析器は京大コーパス由来のものが多い．コーパスの基準により，係り受け関係は文節単位に付与され，係り受け関係は交差することがほとんどなく(projective)，常に主辞が右にくる性質を持つ(strictly head-final)．また文節を単位とした場合，動詞は格フレームを持つがその格要素は頻繁に省略される(productive usage of empty category)，主辞に対する従属要素間の語順は比較的自由である(presence of scrambling)といった特性がある．このような特性により，他言語と比して係り受け解析手法を単純化することができる．

オープンソースの日本語係り受け解析器が2つある．1つは京都大学で開発された KNP であり，入力として規則に基づく形態素解析器 JUMAN の出力を用いる．KNP は同表記異義語の曖昧性解消・文節まとめあげ・並列構造解析・係り受け解析・格解析を行うことができ，文節まとめあげは規則に基づき，以降の処理は規則と生成モデルの混合手法に基づく．
もう1つは工藤拓氏による CaboCha で，条件付確率場に基づく形態素解析器 MeCab の出力を用いる．CaboCha は文節まとめあげ・係り受け解析を行うことができ，それぞれ条件付確率場・サポートベクトルマシンといった識別モデルに基づく．

日本語の係り受け解析手法は決定的な状態遷移アルゴリズムに基づくものが多く提案されている．長さ $N$ の文に対し，時間計算量 $O(N^2)$の Cascaded Chunking 法~\cite{Kudo02}・$O(N)$の Shift Reduce 法~\cite{Sassano04}・$O(N^2)$の Tournament 法~\cite{Iwatate08}などが提案されている．

他言語では様々な係り受け解析手法が提案されており\cite{CoNLL06,CoNLL07}，グラフに基づく方法\cite{Eisner00,McDonald05,Carreras07,Koo10}が決定的な状態遷移アルゴリズム\cite{Nivre03,Nivre04}とともに高精度を達成している．2手法が得意とする言語現象が異なるため，両者の組み合わせ手法\cite{Nivre08}が提案されている．
しかしながら，日本語の係り受け解析において，グラフに基づく手法が高精度を達成されたという報告はない．


\section{日本語ガーデンパス文} \label{sec:3}


ガーデンパス文とは，途中まで文字列を読んで一旦理解されやすい解釈が誤っており，最後まで読んで初めて正しい解釈ができるような構造を持つ文のことをいう．

本稿では係り受け構造同定を誤りやすい文として，Tokimoto \cite{Tokimoto04}の実験で用いられた埋め込み構造に基づく日本語ガーデンパス文を用いる．利用する例文は以下の形式の6文節からなる：

\begin{center}
\begin{tabular}{p{2cm}p{2cm}p{2cm}p{2cm}p{2cm}p{2cm}} 
$NP_{1}^{NOM}$ & $NP_{2}^{ACC}$ & $V_{3}^{PAST}$ & $NP_{4}^{DAT}$ & $X_{5}$ & $V_{6}^{PAST}$ \\
\end{tabular}
\end{center}

下添え字は文節の順番を表す便宜上の数字である．
$NP$は格助詞を持つ名詞句を表し，$NP^{NOM}$ はガ格を持つ名詞句・ $NP^{ACC}$ はヲ格を持つ名詞句・$NP^{DAT}$ はニ格を持つ名詞句を表す．$V^{PAST}$ はタ形の動詞を表す．

5番目の文節$X$に何が割り当てられるかによって異なる3種類の係り受け構造を持つ．
1つ目はガ格を持つ名詞句 $NP_{5}^{NOM}$ を割り当てたもので Control (CTRL)文と呼ぶ．
2つ目はヲ格を持つ名詞句 $NP_{5}^{ACC}$ を割り当てたもので Early Boundary (EB)文と呼ぶ．
3つ目はそれ以外の句を割り当てたもので Late Boundary (LB)文と呼ぶ．
3種類の係り受け構造を図\ref{fig:examplesentences}に示す．

CTRL文の場合，並列構造などの例外を除いて1つの動詞が2つ以上のガ格を持たないため，最初の $NP_{1}^{NOM}$が$V_{3}^{PAST}$のガ格，$NP_{5}^{NOM}$が$V_{6}^{PAST}$のガ格となる．非交差条件と常に主辞が右に来る制約により $NP_{2}^{ACC}$が$V_{3}^{PAST}$ に，$NP_{4}^{DAT}$が$V_{6}^{PAST}$ に係る．尚，$V_{3}^{PAST}$が$NP_{4}^{DAT}$に連体節外の関係\cite{Teramura1981}で係る．

EB文の場合，並列構造などの例外を除いて1つの動詞が2つ以上のヲ格を持たないため，最初の $NP_{2}^{ACC}$が$V_{3}^{PAST}$ のヲ格，$NP_{5}^{ACC}$が$V_{6}^{PAST}$のヲ格となる．準備した文は全て $NP_{4}^{DAT}$が$V_{3}^{PAST} $を連体節内の関係で受け，意味的には $V_{3}^{PAST}$ のガ格に相当する．このため $NP_{1}^{NOM}$が$V_{6}^{PAST}$ のガ格になる．

LB文の場合，準備した文は全て $NP_{4}^{DAT}$が $V_{3}^{PAST}$ を連体節内の関係で受け，意味的には$V_{3}^{PAST}$のヲ格に相当する．このため$NP_{2}^{ACC}$が$V_{6}^{PAST}$のヲ格になる．非交差条件と常に主辞が右に来る制約により $NP_{1}^{NOM}$が$V_{6}^{PAST}$に係る．



\section{ゲーム： shWiiFit Reduce Dependency Parsing} \label{sec:4}

本節では人間の係り受け解析判定を調査するために開発したゲーム ``shWiiFit Reduce Dependency Parsing'' について説明する．図\ref{fig:swfrdp}にゲーム画面を示す．

ゲームはNivre らの shift reduce 法\cite{Nivre03,Nivre04}の日本語対応版である Sassano のアルゴリズムを元にしている(Algorithm \ref{alg:sr})．4種類のアクション ``default reduce''・``default shift''・``REDUCE''・``SHIFT''のうち ``REDUCE''・``SHIFT'' を人間が判断する．文節数$N$の1文を，高々$2N$回のアクションを決定することにより係り受け解析ができる．以下アルゴリズムについて詳しく説明する：

\begin{algorithm}[tb]
\caption{Shift reduce法に基づく日本語係り受け解析 \label{alg:sr}} \small
\begin{algorithmic}
\STATE $\langle S, Q, A \rangle = \langle nil, W, \phi \rangle$ \% Initialization
\REPEAT
\IF{$S != nil$ and $|Q| == 1$} 
\STATE $\langle s|S, q, A \rangle \Rightarrow \langle S, q, A \cup \langle s,q \rangle \rangle$   \% ``default reduce''
\ELSIF{$S == nil$ and $|Q| > 1$}
\STATE $\langle nil, q|Q, A \rangle \Rightarrow \langle q, Q, A \rangle$ \% ``default shift''
\ELSE
\IF{$s$ and $q$ has a dependency relation} 
\STATE $\langle s|S, q|Q, A \rangle \Rightarrow \langle S, q|Q, A \cup \langle s,q \rangle \rangle$  \% ``REDUCE''
\ELSE
\STATE $\langle s|S, q|Q, A \rangle \Rightarrow \langle q|s|S, Q, A \rangle$  \% ``SHIFT''
\ENDIF
\ENDIF
\UNTIL{$S == nil$ \AND $|Q| == 1$}
\RETURN $A$
\end{algorithmic}
\end{algorithm}

スタック $S$・キュー $Q$・解析済み係り受け関係を格納する $A$ の 3 つ組を定義する．それぞれ，空スタック$nil$・入力文節列$W$・空集合$\phi$で初期化する．
係り受け解析はこの3つ組の状態遷移により進められる．状態遷移は以下の条件分岐により行う：
\begin{itemize}
\item ``default reduce''： スタック$S$ が空ではなくかつキュー$Q$が単一文節 $q$ のみの場合，システムが自動的に$S$ の先頭要素 $s$が $q$ に係る関係を解析済み係り受け関係集合 $A$ に追加し $S$ から $s$ を pop する．
\item ``default shift''： $S$ が空でありかつ$Q$が複数文節からなる場合，システムが自動的に$Q$ の先頭要素 $q$をpopし，$S$に $q$ を push する．
\item ``REDUCE''： 人間が$S$ の先頭要素 $s$ と$Q$の先頭要素$q$の間の係り受け関係を判断し係り受け関係がある場合，$S$ の先頭要素 $s$が $q$ に係る関係を$A$に追加し $S$ から $s$ を pop する．
\item ``SHIFT''： 人間が$S$ の先頭要素 $s$ と$Q$の先頭要素$q$の間の係り受け関係を判断し係り受け関係がない場合，$Q$ の先頭要素 $q$をpopし，$S$に $q$ を push する．
\end{itemize}
以下，アクションをどのようにプレーヤーが入力するかを説明する．
ゲームのプレーヤーには 図\ref{fig:swfrdp}のようなスクリーンが提示される．
解析すべき文がスクリーンの上部に示される．
ゲーム開始時には顔アイコンがスクリーン下部中央に示される．
その左上にあるトレイがスタック$S$に相当し，右上にあるトレイがキュー$Q$に相当する．左トレイ$S$には何も載っていない状態で，右トレイ$Q$には文の先頭3文節が載っている状態で初期化される．ゲームの間左トレイ$S$・右トレイ$Q$ともに画面中央を先頭として高々3文節がプレーヤーに提示される．
プレーヤーは Nintendo バランス Wii ボード上に乗り，体重移動により顔アイコンを移動させ左右の壁に移動させることにより注目する2文節間の係り受け関係の有無を入力する．もし左トレイ$S$の先頭要素$s$と右トレイ$Q$の先頭要素$q$が係り受け関係にある場合，プレーヤーは右方向に体重移動することにより顔アイコンを画面下部右の ``REDUCE''という壁に移動させる．係り受け関係にない場合，左方向に体重移動することにより顔アイコンを画面下部左の ``SHIFT''という壁に移動させる．壁に顔アイコンが触れた時点で入力と見なされ，ゲームは 820--860~msec. のアニメーションとともに，対応するアクションを実行する．この間プレーヤーが体重を左右に加重していない状態であれば，自動的にアイコンは中央に戻る．アクションが一意に決まる場合，つまり ``default reduce''・``default shift''相当の場合，同様に 820--860~msec. のアニメーションが提示する．1文解析後プレーヤーには解析結果が正しかったかどうかが提示される．プレーヤーはジャンプすることにより次の文の解析に進むことができる．

ゲームの間ソフトウェアは各アクションの反応時間を計測する．今回の実験では，入力デバイスとして，バランス Wii ボードを用いたが，ソフトウェアはキーボード上のカーソルキー・ジョイスティック・ゲームパッド（Nintendo Wii リモコンの各種センサを含む）でも動かすことができる．入力デバイスとしてバランスWiiボードを用いた理由は，判断に迷った際にある程度プレーヤーに対して負荷を与えることができる点がある．プレーヤーが判断に迷った場合，キーボード上のカーソルキー・ゲームパッドを用いた場合にはプレーヤーは何もしなくてもよいが，バランス Wii ボードを用いた場合にはプレーヤーは体重を中心に保つ努力をしなければならない．この負荷の有無については，4人に対する小規模の対照実験においてバランスWiiボードの方が反応時間差が出やすいことを確認している．



\section{実験 \label{sec:5}}

\subsection{人間の係り受け解析判断 \label{subsec:5.1}}

\subsubsection{実験設定}

\ref{sec:4}節に示したゲームを用いて，心理言語実験を行う．
ここでは\ref{sec:3}節に示した埋め込み構造に基づくガーデンパス文に対する係り受け解析の精度と反応時間について評価する．
21--27歳の日本語を母語とする\mmodified{大学生・大学院生13}人を対象とし，被験者には謝金を支払う．ゲームの利用方法を教示するため，被験者は6ページのマニュアルを5分間読む．その後，係り受け関係の教示のために，文の構造を解説している小学校4年生の国語の教科書2ページを読む．\modified{教示時には速度と正解率の両方を計測していることを被験者に伝え，速く・正確に解析を行うことを依頼する．ゲーム中は各文が正解しているか否かのみを提示する．}

練習として被験者は3--6文節により構成される10文1セットを対象に実験を行う．被験者の希望により，同じ文を3セットまで練習することができる．練習に利用した平均文数は \mmodified{16.9}文で 5--12分要する．練習に用いた文の正しい係り受け構造は図入りのマニュアルに全て示されている．尚，\mmodified{13}人の被験者のうち Nintendo WiiFit および関連ゲームを高頻度で遊んだことのあるものは1人のみ．

本実験において60文を解析用データとして準備した．\ref{sec:3}節に示した\modified{判定対象となる3種類の例文(CTRL・EB・LB) 10文ずつ計30文}とフィラー30文からなる．判定対象となる文は全て6文節だが，フィラー文は6--7文節．判定対象となる文はTokimotoの実験で利用されたものと同一であり，フィラー文はTokimotoが行ったように文中に出現する語彙は10年分の新聞記事頻度と NTT語彙特性\cite{Goitokusei}の語彙親密度により統制する．

各被験者は1回の本実験で40文を解析する．文は以下の順で提示する：最初の5文はフィラー文・次の30文はフィラー15文＋CTRL文5文＋EB文5文＋LB文5文をランダム順処理したもの・最後5文はフィラー文．被験者毎に異なるデータセットを作成する．1人の被験者に対して同じ文を2度提示しない．

図\ref{fig:room}に実験環境を示す．42インチのディスプレイ上には1024$\times$768解像度で表示したうちの 800$\times$600ピクセルの部分がゲーム画面である．実験に利用した部屋は防音室ではないが，可能な限り静音化した．バランスボードと画面の距離は230~cm．\modified{図中ホワイトボードの後ろに教示者がおり，練習時には操作方法の指示を行う．}

\begin{figure}[t]
\begin{center}
\includegraphics{18-4ia920f3.eps}
\end{center}
\caption{実験環境}
 \label{fig:room}
\end{figure}



\subsubsection{実験結果}

表\ref{table:result:pacc}に文型毎の文正解率と文単位の反応時間の標準残差（内的にスチューデント化した残差）の平均と標準偏差を示す．
標準残差の計算時は正しく解析した際の時間を以下のパラメータで線形回帰する\footnote{\modified{線形回帰は文の処理時間を正規化するために行う．回帰による予測値と実測値の乖離を検討し，所要時間の文型間の差異を評価する．}}：(a)モーラ数・(b)文字数・(c)文節数・(d)文の提示順・(e) ``default reduce''の数・(f) ``default shift''の数・(g) ``REDUCE''の数・(h) ``SHIFT''の数・(i)隣接する2アクションで``SHIFT''/``REDUCE''が交替した回数（逆順も含む）．

文正解率より，ガ格は文末の動詞に係け，ヲ格は近い動詞に係ける EB文の構造をより正解できる傾向が見られる．京大コーパスのマニュアルには，格要素が両方に係る場合，ガ格は最右要素，ヲ格は最左要素に係けるとある．その点について被験者については教示していない．ゲームがshift reduce 法に基づくために全ての要素をより近い要素に係ける傾向があると予測したが，CTRL文が EB文に比べてより誤ることから必ずしも近い要素に係ける傾向があるとはいえない．

\begin{table}[b]
\caption{文正解率と文単位の反応時間（人間の係り受け解析判断）}
\label{table:result:pacc}
\input{02table01.txt}
\end{table}
\begin{table}[b]
\caption{アクション単位の反応時間（人間の係り受け解析判断）}
\label{table:result:ptime}
\input{02table02.txt}
\end{table}

文単位の反応時間より，LB文は他の文に比べて解析に時間がかかることがわかった（調整化残差の分析より5\%水準で有意差あり）．CTRL文とEB文については統計的な有意差は見られなかった．
表 \ref{table:result:ptime} にアクション毎の反応時間を示す．表の先頭行にアクションのインデックスを示す．
対象となる文は全て6文節からなり，解析に必要なアクションの数は10であり，表中の列はこれに対応する．このうちほぼ半分のアクションは ``default reduce''・``default shift''である．
表中には，各3文型(CTRL・EB・LB)毎の結果を4行で示し，1行目は正しく解析するのに必要なアクション・2行目は反応時間（アクション間の実時間差からアニメーション提示時間を引いたもの）標準残差の平均・3行目は反応時間標準残差の標準偏差・4行目はアクション間の実時間差の平均を示す．
1行目のアクションの略号はそれぞれ：``r'' は``default reduce''・``s''は``default shift''・``R''は``REDUCE''・``S''は``SHIFT''を表す．
2行目と3行目の標準残差は正しく解析できた文についてアクション毎の反応時間を(a)モーラ数・(b)文字数・(d)文の提示順で線形回帰をしたものである．尚，文の反応時間のときに考慮した(c)および(e)--(i)は，各文型集合毎で全く一致するので考慮しない．

全ての文型について人間が反応可能な最初もしくは2番目のアクションで時間を要している．
このことから，被験者は正しく解析するために，逐次的に解析するわけではなく，最初に全文を読んでから解析（の入力）をしていると考える．



\subsubsection{関連研究}


Mazukaらは様々な心理言語実験手法について紹介している\cite{Mazuka1997a}．
ここでは各実験手法との対比を行う．

視線検出法では，被験者が文を読む際にどのくらい早く読むかを計測する．1回目の走査の時間・読み直しを行うかどうか・2回目の走査にかかる時間を計測する．この方法は文を読む速度を自然な方法で計測可能だが，視線検出システムは大変高価である．

自己ペースリーディング法は被験者の意思に基づいて文節（もしくは句）を逐次的に提示しながら，文を読む速度を計測する．文節を逐次的に提示するために，被験者は近い文節に係けるバイアスを持ち，ガーデンパス文を読む際には再解析(reanalysis steps)を強いることになる．実験では，再解析コストを\modified{誤り率と}文を読む速度により評価を行うことを目的とする．

質問法は被験者に対して文を理解しているか否かを直接聞く方法である．
目的に応じて質問は統制される．
{\it Who-did-what} 質問文では被験者が各文の意味を理解しているかどうかを評価する．
{\it Difficulty rating} 質問文では被験者が各文を理解するのにどのくらい簡単もしくは困難だったかを評価する．
{\it Misleadingness rating} 質問文では被験者が各文に対してどのくらい誤解しやすいかを評価する．

\modified{質問法は読む速度が得られる手法との組み合わせて行われることが多い．}
Tokimoto は図\ref{fig:examplesentences}に示す文を自己ペースリーディング法による読む速度の残差および{\it Who-did-what}質問法による誤り率で評価した．
彼の実験では，各文型の再解析コストは CTRL $<$ EB $<$ LBの順であった．
我々の結果を誤り率に変換すると EB $<$ （フィラー $<$）CTRL $<$ LB となり結果が異なる．ガーデンパス効果は LB 文にのみ認められた．{\modified この違いは手法と目的の違いに由来する．
Tokimotoは文節を逐次的に提示し，人間が文の意味を正しく理解しているか否かを調査することを目的とする．
対照的に我々の実験では被験者は実験中常に文全体を見ることができ，係り受け解析が正しく行えるかを調査することを目的とする．}

最後に，我々の実験設定において係り受け解析を shift reduce 法に基づいて解析することが適切かどうか考察する．ゲームで提示されるトレイ（スタックおよびキュー）は文脈情報として，それぞれ3文節ずつの窓幅の情報を与える．1文節目と3文節目($\langle$ $NP^{NOM}_1$, $V^{PAST}_3 \rangle$)および2文節目と3文節目($\langle$ $NP^{ACC}_2$, $V^{PAST}_3 \rangle$)の係り受け関係を判断する際に6文節目の動詞$V^{PAST}_6$の情報はトレイには表示されない．しかしながら画面の上部には常に文の全体を表示しており，この shift reduce 法に由来するバイアスを低減している．尚，文全体を表示しない（つまり文末の文節を見せない）設定で実験を行った場合，全て CTRL 文の構造に割り当て Tokimotoらの方法と同じく再解析に陥ることが，被験者5人による事前実験によりわかっている．



\subsection{人間と係り受け解析器の比較}

\subsubsection{実験設定}

\modified{\ref{subsec:5.1}節の心理言語実験で用いた 60文を各種係り受け解析器で解析することにより，人間による結果と6種類の係り受け解析器の結果とを比較する．}
KNP-3.01 は形態素解析器 JUMAN-6.0 の出力を元とし，CaboCha-0.60pre4 は形態素解析器 MeCab-0.98+IPADIC-2.7.0の出力を元とする．この2つの解析器についてはデフォールトのパラメータ設定を用いる．さらに，
Shift Reduce 法\cite{Sassano04} に基づく実装を京大コーパス約8,000文で訓練したもの (Shift Reduce 8K) と約34,000文で訓練したもの (Shift Reduce 34K)の2つと，
Tournament 法\cite{Iwatate08}に基づく実装を 約8,000文で訓練したもの (Tournament 8K) と約34,000文で訓練したもの(Tournament 34K)の2つを用いる．この4つの解析器では形態素解析器の出力として JUMAN-6.0を，さらに正しい文節区切りを与え，機械学習器としてサポートベクトルマシンを用いる．学習器に与える素性については元の論文に可能な限り合わせた．


\subsubsection{実験結果}

表\ref{table:result:vsnlp} に人間の判断と6種類の解析器の判断に基づく文正解率を示す．表中[J]はJuman-6.0の出力を，[M]はMeCab-0.98+IPADIC-2.7.0の出力を用いていることを意味し，[GB]は正しい文節区切りを与えていることを意味する．フィラー列は一般的な文に対する性能を表す．

全ての解析器は CTRL 文において性能が良く LB 文においては性能が悪かった．
この結果より，解析器はCTRL 文中の文節$NP^{NOM}_1$・$NP^{ACC}_2$・$NP^{DAT}_4$に対して正しい最も近い右要素$V^{PAST}_*$に係けることができているといえる． KNP-3.01のCTRL文に対する誤りは文節区切りの誤りであった．

CaboCha-0.60pre4 を含む shift reduce 法は近い係り受け関係を選好する傾向がある．
実際，$\langle$ $NP^{NOM}_1$, $V^{PAST}_3 \rangle$ もしくは $\langle$ $NP^{ACC}_2$, $V^{PAST}_3 \rangle$の係り受け関係を判断する際に，6番目の文節$V^{PAST}_6$は機械学習器の素性の窓幅の外側にあり評価されない．ゆえにこれらの解析器は EB文とLB文を全く解析できない．

\begin{table}[t]
\caption{文正解率 (\%) （人間と解析器の係り受け解析判断）}
 \label{table:result:vsnlp}
\input{02table03.txt}
\end{table}

Tournament 法は長い距離で係る係り受け関係をステップラダートーナメントにより考慮することができるため，いくつかの EB 文を解析できている．訓練データ量8,000文と34,000文との結果の差異は，係り受け関係$\langle$ $NP^{NOM}_1$, $V^{PAST}_3 \rangle$が 8,000文データには出現しないが 34,000文データには出現することによると考える．LB 文については，京都大学テキストコーパスのタグ付け基準「格要素が両方に係る場合，主格以外は近い方に係ける」が影響していると考える．

KNP-3.01 が EB・LB文に関して最良の結果を達成している．
KNP-3.01は格解析モデル\cite{Kawahara06}を含んでおり，EB・LB文の統語的意味的曖昧性をある程度解消できたのではないかと考える．

EB・LB文を正しく解析するためには，共起の情報\cite{Abekawa06}・格フレーム情報
\cite{Kawahara06}・格フレーム間遷移情報\cite{Kawahara09}を用いる手法が考えられる．特に LB文には次節で示すように生成モデルによる選択選好性のみでは解決できない文が含まれており，正しい解析のためには選択選好性と格要素の重複性排除の両方を同時推論する方策が必要であろう．


\subsubsection{関連研究}


Abekawaらは今回対象とした現象に似た関係節内の関係・外の関係の識別を行った\cite{Abekawa05}．
本研究で扱った CTRL文は外の関係に対応し，EB・LB文は内の関係に対応する．
彼らは決定木モデルを用いて，共起情報・格フレーム情報・外の関係になる度合いを用いて，この2種類を識別する手法を提案した．


\subsection{Late Boundary 各文の分析}


ここでは人間にも解析器にも解析が困難であった Late Boundary (LB) 文について，統語的制約と選択選好性の観点から分析する．
LB 文は主節の動詞 \modified{$V_{6}$} がガ格ヲ格ニ格の三項を取り，関係節内の動詞 \modified{$V_{3}$} がガ格ヲ格の\modified{二項}を取る．関係節内の動詞 \modified{$V_{3}$} が後置する係り先の \modified{$NP_{4}$} をヲ格として取るために二重ヲ格違反と常に左に係る統語的制約により一意に構造が決まる．
これに対し「より近い要素に係ける」という選好性と，主節の動詞 \modified{$V_{6}$}・関係節内の動詞 \modified{$V_{3}$}間の選択選好性の強弱関係により，制約を無視してしまい誤るという傾向がある．
より詳細に分析するために LB 文 10文について，人の文正解率・KNPの結果・京都大学格フレームの頻度の大小関係・Google のヒット件数に基づく正規化頻度の大小関係を表\ref{table:result:LB}に示す．\modified{京都大学格フレームの頻度について，$NP_{2}$vs$NP_{4}$ は $NP_{2}^{ACC}V_{3}$ と$NP_{4}^{ACC}V_{3}$で，$V_{3}$vs$V_{6}$ は $NP_{2}^{ACC}V_{3}$ と$NP_{2}^{ACC}V_{6}$ で，それぞれどちらの頻度が高いかを表す．}尚，0 は両方の組み合わせが京都大学格フレームに登録されていなかったことを表す．Google の正規化頻度は，前者を $NP_{2}^{ACC}$ と $NP_{4}^{ACC}$ の件数で，後者を $V_{3}$ と $V_{6}$ の件数で正規化を行う．\modified{例文は人の文正解率の良い順に並べられ，下線は選択選好性が例文を正しく解析するために良い影響を与えるものを表す．}

\begin{table}[b]
\caption{LB文の実験結果と選択選好性} 
\label{table:result:LB} 
\input{02table04.txt}
\end{table}


KNP が正解している文は人間にとっても解析が容易で，LB 文の人正解率が高い傾向にある．
京都大学格フレームが例文の係り受け全てを被覆していないが，人と誤り傾向の相関があることがわかる．Google の正規化頻度は全例文を被覆しているが，係り受け関係ではなく\modified{連続文字列}によるものなので，\modified{人間の誤り傾向と Google のヒット件数による選択選好性の間に矛盾があるところがいくつかある．}実際，3つの項をとる述語に対してガ格・ヲ格・ニ格の順に述語から遠く置かれる傾向にあることを考えると直接比較できるものではない．
しかしながら，$NP_{2}$ と $NP_{4}$ のどちらが $V_{3}$ に係るかを評価した際に京都大学格フレームだけでなく，Google ヒット件数でも $NP_{2}$ の方が強い場合には，人も間違える傾向にあることがわかる．このことから選択選好性の強弱関係が統語的に制約に反している場合には人は係り受け構造同定を誤りやすいことがわかる．


\section{おわりに} \label{sec:6}

本稿では係り受けタグ付けにおける人間の誤り傾向を調査する新しい方法を提案した．作成したゲームでは Nintendo バランス Wiiボードを入力デバイスとして，Shift Reduce 法に基づき，被験者がどのように係り受け解析を行うかを記録することができる．
実験対象として埋め込み文に基づくガーデンバス文を用いて格要素の係り先の誤り傾向を観察した．また，同じ文を，6種類の係り受け解析器で解析を行い，誤り傾向を比較した．さらに京都大学格フレームおよび Google のヒット件数に基づく選択選好性と誤り傾向の相関について調査した．調査結果より統語的制約のみで一意に文の係り受け構造が決まる場合においても，格構造の選択選好性の強弱関係により誤った係り受け構造を認識することがわかった．またその誤り傾向は従来の心理言語実験で行われている文の内容認識結果とは異なり，ヲ格を文末の述語に係ける文だけでなく，ガ格を関係節内の述語に係ける文でも係り受け構造同定をよく誤ることがわかった．
本研究の今後の展開として真に統語的制約によって決まらない曖昧な構造の選択選好性の定量化がある．例えば図\ref{fig:juudouka}のような本質的に係り受け構造が曖昧な文を考える：
関係節内の動詞「勝った」はガ格とニ格を，主節の動詞「紹介した」はガ格とヲ格とニ格を取りうる項構造を持つ．「「紹介した」が3つの項全てを埋める選好性」（図\ref{fig:juudouka}左）と「「勝った」のニ格が省略されない選好性」（図\ref{fig:juudouka}右）とで，どちらを優先するかにより本質的に曖昧である．
統語的制約によって決まらない構造を，選好性に基づき決定する過程は人によって揺れる．この本質的に曖昧な構造に対して，複数人の判定がどのように揺れるかを定量的に評価することにより，係り受けアノテーション情報の重層化を目指したい．
\modified{アノテーションスキーマとして一致率を上げる展開とは別に，}複数人のタグ付けが一致しない場合のその情報の保存という展開が考えられるのではないだろうか．


\begin{figure}[t]
\begin{center}
\includegraphics{18-4ia920f4.eps} 
\end{center}
\caption{本質的に係り受け構造が曖昧な文}
 \label{fig:juudouka}
\end{figure}



\acknowledgment

本研究の遂行にあたり千葉大学伝康晴氏と奈良先端科学技術大学院大学情報科学研究科自然言語処理学講座の諸氏より助言をいただきました．ここに謝意を表します．




\bibliographystyle{jnlpbbl_1.5}
\begin{thebibliography}{}

\bibitem[\protect\BCAY{Abekawa \BBA\ Okumura}{Abekawa \BBA\
  Okumura}{2005}]{Abekawa05}
Abekawa, T.\BBACOMMA\ \BBA\ Okumura, M. \BBOP 2005\BBCP.
\newblock \BBOQ {Corpus-based Analysis of Japanese Relative Clause
  Constructions}.\BBCQ\
\newblock In {\Bem Proc. of the 2nd International Joint Conference on Natural
  Language Processing (IJCNLP-05)}, \mbox{\BPGS\ 46--57}.

\bibitem[\protect\BCAY{Abekawa \BBA\ Okumura}{Abekawa \BBA\
  Okumura}{2006}]{Abekawa06}
Abekawa, T.\BBACOMMA\ \BBA\ Okumura, M. \BBOP 2006\BBCP.
\newblock \BBOQ {Japanese Dependency Parsing Using Co-Occurence Information a
  Combination of Case Elements}.\BBCQ\
\newblock In {\Bem Proc. of the 21st International Conference on Computational
  Linguistics and the 44th Annual Meeting of the Association for Computational
  Linguistics (COLING-ACL-2006)}, \mbox{\BPGS\ 833--840}.

\bibitem[\protect\BCAY{Buchholz \BBA\ Marsi}{Buchholz \BBA\
  Marsi}{2006}]{CoNLL06}
Buchholz, S.\BBACOMMA\ \BBA\ Marsi, E. \BBOP 2006\BBCP.
\newblock \BBOQ {CoNLL-X Shared Task on Multilingual Dependency Parsing}.\BBCQ\
\newblock In {\Bem Proc. of the 10th Conference on Computational Natural
  Language Learning (CoNLL-X)}, \mbox{\BPGS\ 149--165}.

\bibitem[\protect\BCAY{Carreras}{Carreras}{2007}]{Carreras07}
Carreras, X. \BBOP 2007\BBCP.
\newblock \BBOQ {Experiments with a Higher-order Projective Dependency
  Parser}.\BBCQ\
\newblock In {\Bem Proc. of the 2007 Joint Conference on Empirical Methods in
  Natural Language Processing and Computational Natural Language Learning
  (EMNLP-CoNLL-2007)}, \mbox{\BPGS\ 957--961}.

\bibitem[\protect\BCAY{Eisner}{Eisner}{2000}]{Eisner00}
Eisner, J.~M. \BBOP 2000\BBCP.
\newblock {\Bem {Advances in Probabilistic and Other Parsing Technologies}},
  \BCH\ {1. Bilexical grammars and their cubic-time parsing algorithms}.
\newblock Kluwer Academic Publishers.

\bibitem[\protect\BCAY{Iwatate, Asahara, \BBA\ Matsumoto}{Iwatate
  et~al.}{2008}]{Iwatate08}
Iwatate, M., Asahara, M., \BBA\ Matsumoto, Y. \BBOP 2008\BBCP.
\newblock \BBOQ {Japanese Dependency Parsing Using a Tournament Model}.\BBCQ\
\newblock In {\Bem Proc. of the 22nd International Conference on Computational
  Linguistics (COLING-2008)}, \mbox{\BPGS\ 361--368}.

\bibitem[\protect\BCAY{Kawahara \BBA\ Kurohashi}{Kawahara \BBA\
  Kurohashi}{2006}]{Kawahara06}
Kawahara, D.\BBACOMMA\ \BBA\ Kurohashi, S. \BBOP 2006\BBCP.
\newblock \BBOQ {A Fully-Lexicalized Probabilistic Model for Japanese Syntactic
  and Case Structure Analysis}.\BBCQ\
\newblock In {\Bem Proc. of the Human Language Technology Conference of the
  North Amarican Chapter of the Association for Computational Linguistics
  (HLT-NAACL-2006)}, \mbox{\BPGS\ 176--183}.

\bibitem[\protect\BCAY{Kawahara \BBA\ Kurohashi}{Kawahara \BBA\
  Kurohashi}{2009}]{Kawahara09}
Kawahara, D.\BBACOMMA\ \BBA\ Kurohashi, S. \BBOP 2009\BBCP.
\newblock \BBOQ {Capturing Consistency between Intra-clause and Inter-clause
  Relations in Knowledge-rich Dependency and Case Structure Analysis}.\BBCQ\
\newblock In {\Bem Proc. of the 11th International Conference on Parsing
  Technology (IWPT-2009)}, \mbox{\BPGS\ 108--116}.

\bibitem[\protect\BCAY{Koo \BBA\ Collins}{Koo \BBA\ Collins}{2010}]{Koo10}
Koo, T.\BBACOMMA\ \BBA\ Collins, M. \BBOP 2010\BBCP.
\newblock \BBOQ Efficient Third-Order Dependency Parsers.\BBCQ\
\newblock In {\Bem Proc. of the 48th Annual Meeting of the Association for
  Computational Linguistics}, \mbox{\BPGS\ 1--11}, Uppsala, Sweden. Association
  for Computational Linguistics.

\bibitem[\protect\BCAY{Kudo \BBA\ Matsumoto}{Kudo \BBA\
  Matsumoto}{2002}]{Kudo02}
Kudo, T.\BBACOMMA\ \BBA\ Matsumoto, Y. \BBOP 2002\BBCP.
\newblock \BBOQ Japanese Dependency Analyisis using Cascaded Chunking.\BBCQ\
\newblock In {\Bem Proc. of the 6th Conference on Natural Language Learning
  (CoNLL-2002)}, \mbox{\BPGS\ 1--7}.

\bibitem[\protect\BCAY{Mazuka, Itoh, \BBA\ Kondo}{Mazuka
  et~al.}{1997}]{Mazuka1997a}
Mazuka, R., Itoh, K., \BBA\ Kondo, T. \BBOP 1997\BBCP.
\newblock \BBOQ {Processing down the garden path in Japanese: processing of
  sentences with lexical homonyms}.\BBCQ\
\newblock {\Bem Journal of Psycholinguistic Research}, {\Bbf 26}  (2),
  \mbox{\BPGS\ 207--228}.

\bibitem[\protect\BCAY{McDonald, Pereira, Ribarov, \BBA\ Haji\v{c}}{McDonald
  et~al.}{2005}]{McDonald05}
McDonald, R., Pereira, F., Ribarov, K., \BBA\ Haji\v{c}, J. \BBOP 2005\BBCP.
\newblock \BBOQ {Non-Projective Dependency Parsing using Spanning Tree
  Algorithms}.\BBCQ\
\newblock In {\Bem Proc. of the Conference on Human Language Technology and
  Empirical Methods in Natural Langauge Processing (HLT-EMNLP-2005)},
  \mbox{\BPGS\ 523--530}.

\bibitem[\protect\BCAY{Nivre}{Nivre}{2003}]{Nivre03}
Nivre, J. \BBOP 2003\BBCP.
\newblock \BBOQ {An Efficient Algorithm for Projective Dependency
  Parsing}.\BBCQ\
\newblock In {\Bem Proc. of the 8th International Workshop on Parsing
  Technologies (IWPT 03)}, \mbox{\BPGS\ 149--160}.

\bibitem[\protect\BCAY{Nivre, Hall, McDonald, Nilsson, Riedel, \BBA\
  Yuret}{Nivre et~al.}{2007}]{CoNLL07}
Nivre, J., Hall, J., McDonald, S. K.~R., Nilsson, J., Riedel, S., \BBA\ Yuret,
  D. \BBOP 2007\BBCP.
\newblock \BBOQ {The CoNLL 2007 Shared Task on Dependency Parsing}.\BBCQ\
\newblock In {\Bem Proc. of the 2007 Joint Conference on Empirical Methods in
  Natural Language Processing and Computational Natural Language Learning
  (EMNLP-CoNLL-2007)}, \mbox{\BPGS\ 915--932}.

\bibitem[\protect\BCAY{Nivre \BBA\ McDonald}{Nivre \BBA\
  McDonald}{2008}]{Nivre08}
Nivre, J.\BBACOMMA\ \BBA\ McDonald, R. \BBOP 2008\BBCP.
\newblock \BBOQ {Integrating Graph-Based and Transition-Based Dependency
  Parsers}.\BBCQ\
\newblock In {\Bem Proc. of the 46th Annual Meeting of the Association for
  Computational Linguistics: Human Language Technologies (HLT-ACL-2008)},
  \mbox{\BPGS\ 950--958}.

\bibitem[\protect\BCAY{Nivre \BBA\ Scholz}{Nivre \BBA\ Scholz}{2004}]{Nivre04}
Nivre, J.\BBACOMMA\ \BBA\ Scholz, M. \BBOP 2004\BBCP.
\newblock \BBOQ {Deterministic Dependency Parsing of English Text}.\BBCQ\
\newblock In {\Bem Proc. of the 20th International Conference on Computational
  Linguistics (COLING-2004)}, \mbox{\BPGS\ 64--70}.

\bibitem[\protect\BCAY{Sassano}{Sassano}{2004}]{Sassano04}
Sassano, M. \BBOP 2004\BBCP.
\newblock \BBOQ {Linear-Time Dependency Analysis for Japanese}.\BBCQ\
\newblock In {\Bem Proc. of the 20th International Conference on Computational
  Linguistics (COLING-2004)}, \mbox{\BPGS\ 8--14}.

\bibitem[\protect\BCAY{Tokimoto}{Tokimoto}{2004}]{Tokimoto04}
Tokimoto, S. \BBOP 2004\BBCP.
\newblock \BBOQ {Reanalysis Costs in Processing Japanese Sentences with Complex
  NP Structures and Homonyms: Individual Differences and Verbal Working Memory
  Constraints}.\BBCQ\
\newblock \BTR\ JCSS-TR-53, Japanese Cognitive Science Society.

\bibitem[\protect\BCAY{天野\JBA 近藤}{天野\JBA 近藤}{1999}]{Goitokusei}
天野成昭\JBA 近藤公久 \BBOP 1999\BBCP.
\newblock \Jem{{日本語の語彙特性　第１期}}.
\newblock 三省堂.

\bibitem[\protect\BCAY{寺村}{寺村}{1981}]{Teramura1981}
寺村秀夫 \BBOP 1981\BBCP.
\newblock \Jem{日本語の文法 （下）{\kern-0.5zw}}.
\newblock 国立国語研究所.

\end{thebibliography}


\begin{biography}
\bioauthor{浅原　正幸}{
2003年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了．2004年同大学助手，現在に至る．博士（工学）．
}
\end{biography}




\biodate


\end{document}
