
\documentstyle[epsf,jnlpbbl]{jnlp_j_b5}

\setcounter{page}{29}
\setcounter{巻数}{6}
\setcounter{号数}{7}
\setcounter{年}{1999}
\setcounter{月}{10}
\受付{1999}{2}{24}
\再受付{1999}{4}{21}
\再々受付{1999}{5}{19}
\採録{1999}{5}{26}

\setcounter{secnumdepth}{2}
\setlength{\parindent}{\jspaceskip}

\title{コーパスからの日本語従属節係り受け選好情報の抽出\\およびその評価}
\author{宇津呂 武仁\affiref{NAIST} \and 西岡山 滋之\affiref{OSAKA-U} \and 
	藤尾 正和\affiref{NAIST} \and 松本 裕治\affiref{NAIST}}

\headauthor{宇津呂,西岡山,藤尾,松本}
\headtitle{コーパスからの日本語従属節係り受け選好情報の抽出およびその評価}

\affilabel{NAIST}{奈良先端科学技術大学院大学 情報科学研究科}
{Graduate School of Information Science, \\
Nara Institute of Science and Technology}
\affilabel{OSAKA-U}{大阪大学 言語文化研究科}
{Graduate School of Language and Culture, Osaka University}

\jabstract{
日本語の長文で一文中に従属節が複数個存在する場合，それらの節の間の係り
受け関係を一意に認定することは非常に困難である．また，このことは，
日本語の長文を構文解析する際の最大のボトルネックの一つとなっている．
本論文では，大量の構文解析済コーパスから，統計的手法により，
従属節節末表現の間の係り受け関係を判定する規則を自動抽出する手法を提案する．
統計的手法として，決定リストの学習の手法を用いることにより，
係り側・受け側の従属節の形態素上の特徴と，
二つの従属節のスコープが包含関係にあるか否かの間の因果関係を分析し，
この因果関係を考慮して，従属節節末表現の間の係り受け関係判定規則を学習する．
また，EDR日本語コーパスから抽出した係り受け情報を用いて，
本論文の手法の有効性を実験的に検証した結果について述べる．
さらに，推定された従属節間の係り受け関係を，
統計的文係り受け解析において利用することにより，
統計的文係り受け解析の精度が向上することを示す．
}
\jkeywords{統計的係り受け解析，日本語従属節，決定リスト学習，素性選択}

\etitle{Extraction of Preference of Dependency\\
	 between Japanese Subordinate Clauses\\ from Corpus and its Evaluation}
\eauthor{Takehito Utsuro\affiref{NAIST} \and Shigeyuki Nishiokayama\affiref{OSAKA-U} 
	\and Masakazu Fujio\affiref{NAIST} \and Yuji Matsumoto\affiref{NAIST}}

\eabstract{
Dependeny analysis of Japanese subordinate clauses is one of the most difficult
phases in the syntactic analysis of Japanese long sentences.
This paper proposes a\break
 corpus-based method of learning preference rules of 
deciding dependency relation of Japanese subordinate clauses.
We utilize morphological cues included in the subordinate clauses and
statistically estimate the co-relation of those cues and dependency relation
of Japanese subordinate clauses.
Especially, we exploit scope embedding preference of subordinate clauses
as a useful information source for disambiguating
dependencies between subordinate clauses.
In the experimental evalution on EDR Japanese parsed corpus,
we discover that there exist several morphological cues that are quite
effective in deciding dependency relation of Japanese subordinate clauses.
We also show that the estimated dependencies of subordinate clauses 
successfully increase the accuracy of 
an existing statistical dependency analyzer.
}
\ekeywords{statistical dependency analysis, Japanese subordinate clause, 
	decision list learning, feature selection}
\def\argmax{}

\setcounter{topnumber}{2}
\def\topfraction{}
\setcounter{bottomnumber}{1}
\def\bottomfraction{}
\setcounter{totalnumber}{3}
\def\textfraction{}
\def\floatpagefraction{}

\begin{document}
\maketitle


\section{はじめに}

日本語の長文で一文中に従属節が複数個存在する場合，それらの節の間の係り
受け関係を一意に認定することは非常に困難である．また，このことは，
日本語の長文を構文解析する際の最大のボトルネックの一つとなっている．
一方，これまで，日本語の従属節の間の依存関係に関する研究としては，
\cite{Minami73aj,Minami93aj}による従属節の三階層の分類がよく知られている．
\cite{Minami73aj,Minami93aj}は，スコープの包含関係の狭い順に従属節を
三階層に分類し，スコープの広い従属節は，よりスコープの狭い従属節を
その中に含むことができるが，逆に，スコープの狭い従属節が，
よりスコープの広い従属節をその中に含むことはできないという傾向について述べている．
さらに，\cite{FFukumoto92aj,SShirai95bj}は，
計算機による係り受け解析において\cite{Minami73aj,Minami93aj}の従属節の分類が
有用であるとし，その利用法について提案している．
特に，\cite{SShirai95bj}は，計算機による係り受け解析における有効性の観点から，
\cite{Minami73aj,Minami93aj}の従属節の三階層の分類を再構成・詳細化し，
また，この詳細な従属節の分類を用いた従属節係り受け判定規則を提案している．

これらの研究においては，人手で例文を分析することにより従属節の節末表現を抽出し，
例文における従属節の係り受け関係の傾向から，従属節の節末表現を階層的に分類している．
しかし，人手で分析できる例文の量には限りがあるため，このようにして抽出された
従属節節末表現は網羅性に欠けるおそれがある．
また，人手で従属節節末表現の階層的分類を行う際にも，分類そのものの網羅性に欠ける，
あるいは分類が恣意性の影響を受けるおそれが多分にある
\footnote{
  実際に，EDR日本語コーパス\cite{EDR95aj-nlp}(約21万文)に対して，
  \cite{SShirai95bj}の従属節係り受け判定規則のうち，表層的形態素情報の部分を用いて
  従属節の係り受け関係の判定を行った結果，約30\%のカバレージ，約80\%の適合率
  という結果を得ている\cite{Nishiokayama98aj}．
}．

そこで，本論文では，大量の構文解析済コーパスから，統計的手法により，
従属節節末表現の間の係り受け関係を判定する規則を自動抽出する手法を提案する．
まず，大量の構文解析済コーパスを分析し，そこに含まれる従属節節末表現を網羅するように，
従属節の素性を設定する．この段階で，
人手による例文の分析では洩れがあった従属節節末表現についても，
これを網羅的に収集することができる．
また，統計的手法として，決定リストの学習の手法~\cite{Yarowsky94a}を用いることにより，
係り側・受け側の従属節の形態素上の特徴と，二つの従属節のスコープが
包含関係にあるか否かの間の因果関係を分析し，
この因果関係を考慮して，従属節節末表現の間の係り受け関係判定規則を学習する．
そこでは，従属節のスコープの包含関係の傾向に応じて従属節節末表現を階層的に分類するのではなく，
個々の従属節節末表現の間に，スコープの包含関係，言い換えれば，
係り受け関係の傾向が強く見られるか否かを統計的に判定している．
また，人手によって係り受け関係の傾向を規則化するのではなく，
大量の係り受けデータから自動的に学習を行っているので，
抽出された係り受け判定規則に恣意性が含まれることはない．

本論文では，実際に，
EDR日本語コーパス\cite{EDR95aj-nlp}(構文解析済，約21万文)から従属節係り受け判定規則を抽出し，
これを用いて従属節の係り受け関係を判定する評価実験を行った結果について示す．
また，関連手法との実験的比較として，
従来の統計的係り受け解析モデル
\cite{Collins96a,Fujio97aj,Ehara98aj,Haruno98cj,Uchimoto98aj}と本論文のモデルとの違いに
ついて説明し，従属節間の係り受け解析においては，
従来の統計的係り受け解析モデルに比べて本論文のモデルの方が優れていることを示す．
同様に，従属節間の係り受けの判定に有効な属性を選択する方法として，
決定木学習\cite{Quinlan93a}により属性選択を行う手法\cite{Haruno98cj}と，
本論文で採用した決定リスト学習の手法\cite{Yarowsky94a}を比較し，
本論文の手法の優位性を示す．
さらに，推定された従属節間の係り受け関係を，
\cite{Fujio97aj,Fujio99aj}の統計的文係り受け解析において利用することにより，
統計的文係り受け解析の精度が向上することを示す．


\section{従属節の階層的分類を用いた係り受け解析}
\label{sec:sbrd_hd}

本節では，\cite{SShirai95bj}における従属節の階層的分類，およびそれを用いた
従属節係り受け判定規則について述べる．

\subsection{従属節の三階層の分類}
\label{subsec:clsb}

まず，\cite{SShirai95bj}では，\cite{Minami73aj,Minami93aj}の従属節の三階層の分類に
基づいて，計算機による係り受け解析における有効性の観点から，
統語構造におけるスコープの包含関係の狭い順に，以下の三階層の従属節分類を提案している．
ただし，ここで設定された全54種類の従属節の節末表現は，新聞記事の要約文972文を
人手で分析することにより得たものである．
\begin{description}
  \item[A類] 「同時」の表現．
        「$\sim$とともに」，「$\sim$ながら」，「$\sim$つつ」など7種類．
  \item[B類] 「原因」，「中止」の表現．
        連用形単独，「$\sim$て」，「名詞+で」，
        「$\sim$ため」など46種類．
  \item[C類] 「独立」の表現．「$\sim$が」1種類．
\end{description}

\subsection{従属節間のスコープの包含関係}

そして，上記の三種類の従属節間のスコープの包含関係に，以下の傾向があるとしている．
\begin{enumerate}
  \item A類は，他のA類，B類，C類の一部となることができる．
  \item B類は，他のB類，C類の一部となることができるが，
        A類の一部とはなれない．
  \item C類は，他のC類の一部となることができるが，
        A類，B類の一部とはなれない．
\end{enumerate}


また，その他に，従属節に対して以下の四つの詳細な分類を行い，
従属節のスコープの間に詳細な包含関係を設定している．


\paragraph{読点の有無}

同類同士の従属節の間では，読点の付与された従属節の方が，読点の付与されていない
従属節を含む関係にある．すなわち，従属節のスコープの包含関係は，
包含関係の狭い順に，
A類 $<$ A類+読点 $<$ B類 $<$ B類+読点 $<$ C類 $<$ C類+読点
となる．


\paragraph{連用節の中止性}

B類同士，「B類+読点」同士の従属節は，表現の意味的な流れの中止性の強弱により，
以下の二種類に分類でき，中止性の強い従属節は中止性の弱い従属節を包含する．
\begin{itemize}
  \item 中止性の弱いもの: 用言連用形，「$\sim$て」，「$\sim$ため」など7種類．
  \item 中止性の強いもの: 「名詞+で」，「$\sim$ており」など4種類．
\end{itemize}

\paragraph{述語の状態性と動作性}

B類同士，「B類+読点」同士の従属節は，動作性の強い順に，他動詞性，自動詞性，
形容詞性，名詞性の四種類に分類でき，動作性が強い従属節は，
動作性の弱い従属節を包含する．

\paragraph{引用節と連体節}

引用節が連用節を包含する際の包含関係においては，
「$\sim$すると(発表する)」などの引用節の包含関係の広さは「C類+読点」に準じ，
「$\sim$するよう(依頼する)」などの引用相当節述語の包含関係の広さは「B類+読点」に準ずる．
一方，連体節が連用節を包含する際の包含関係においては，
形式名詞に係る連体節述語の包含関係の広さは「B類+読点」に準じ，
その他の通常の連体節述語の包含関係の広さはB類に準ずる．

\subsection{従属節係り受け判定規則}
\label{subsec:deprule}

さらに，\cite{SShirai95bj}では，
上記の従属節間のスコープの包含関係を，従属節間の係り受け関係と対応させ，
従属節間の係り受け関係の決定においては，
スコープの包含関係においてより広い関係にあるほど係り受けの優先度が高いとし，
\begin{enumerate}
  \item 優先度の低い従属節は優先度の高い従属節に係る．
  \item 優先度の高い従属節は優先度の低い従属節に係らない．
\end{enumerate}
という優先規則を提案している．

\section{コーパスからの従属節係り受け選好情報の抽出}
\label{sec:learn}

本論文では，前節のような従属節の階層的分類による係り受け判定規則を人手で抽出するのではなく，
構文解析済コーパスから，従属節の間の係り受け選好情報を自動的に抽出する．

\subsection{日本語従属節の定義}
\label{subsec:dataex}

本節では，本論文で対象とする日本語従属節の定義について述べる．
従属節を定義するにあたっては，
まず，文を形態素解析システム茶筌\cite{Matsumoto97aj}により形態素解析し，
次に正規表現により記述された文節定義にしたがって，
形態素列を文節単位にまとめる
(文節処理までを施したデータについては，
\cite{Fujio97aj,Fujio99aj}の係り受け解析で用いられているものを利用している．)．
一般に，文節は自立語部分と付属語部分からなるが，
文節区切り済データ上で，自立語部分と付属語部分が
以下の条件を満たす文節を従属節の主辞となる述語的文節とする
\footnote{
        本論文中では，品詞および活用形などの文法用語はいずれも
        形態素解析システム茶筌\cite{Matsumoto97aj}の用語にしたがっている．
}．
\begin{enumerate}
  \item 自立語部分は，以下のいずれかを満たす(いわゆる述語)．
        \begin{enumerate}
          \item[(a)] 動詞または形容詞．
          \item[(b)] 「名詞句$+$判定詞(である)」
        \end{enumerate}
  \item 付属語部分は，以下のいずれかを満たす．
        \begin{enumerate}
          \item[(a)] なし．
          \item[(b)] 副詞タイプ(例: 「$\sim$(して)以来」
                --- 「以来」が副詞)．
          \item[(c)] 副詞的名詞タイプ(例: 「$\sim$(する)ため」
                --- 「ため」が副詞的名詞)
          \item[(d)] 形式名詞タイプ(例: 「$\sim$(する)こと」
                --- 「こと」が形式名詞)
          \item[(e)] 時相名詞タイプ(例: 「$\sim$(する)まえ」
                --- 「まえ」が時相名詞)
          \item[(f)] 述語接続助詞タイプ(例: 「$\sim$(する)が」
                --- 「が」が述語接続助詞)
          \item[(g)] 引用助詞タイプ(例: 「$\sim$(する)と」
                --- 「と」が引用助詞)
          \item[(h)] (a)$\sim$(g)の後に，
                副助詞(「は」「など」など)，終助詞(「か」「よ」など)が
                付加されたもの．
        \end{enumerate}
\end{enumerate}
この定義は，狭義の従属節を含む任意の述語節(引用節，連体修飾節などを含む)
に対応しており，本論文ではその全てをまとめて広義の「従属節」として扱う．
ただし，連体修飾節については，係り受け関係において受け側となる場合にのみ，
係り受け関係決定の評価の対象としている．

\begin{table*}
\begin{center}
\caption{従属節の素性}
\label{tab:ftr}
\begin{tabular}[c]{|c|c|c|} \hline
\multicolumn{1}{|c|}{素性タイプ} & 種類数 & \multicolumn{1}{|c|}{素性(語彙素性については抜粋)} \\ \hline\hline
読点素性  & 2 & 読点有，読点無 \\ \hline
文法・品詞素性 &  & 副詞，副詞的名詞，形式名詞，時相名詞，\\
(節末か否かの & 17 & 述語接続助詞，引用助詞，副助詞，\\
区別あり) & & に(格助詞)+副助詞，判定詞，終助詞 \\ \hline
節末活用語 & 12 & 語幹，基本，未然，連用，連体，条件，
                \\ 
活用形素性 &  & 命令，タ，タリ，テ，推量，意志 
                \\ \hline
        & & 副詞(ともに，一方で，以来)\\
        & & 副詞的名詞(あと，とき，ため，場合，よう，方が) \\
語彙素性    & & 形式名詞(のは，もの，ものは，こと，ことが)\\
(頻度10以上)	      & 235 & 時相名詞(今，瞬間，前に，以上) \\
(文法・品詞素性を         & & 述語接続助詞(が，から，ものの，ながら，つつ，し)，\\
語彙化したもの)         & & 引用助詞(と)，副助詞(は，など，も，だけ，でも，なら)，\\
        & & に(格助詞)+副助詞(には，にも)，\\
	& & 判定詞(では，でも)，終助詞(か，かを，よ) \\ \hline
\end{tabular}
\end{center}
\end{table*}
\vspace{-2mm}
\subsection{従属節の素性表現}
\label{subsec:ftr}

次に，従属節の係り受け選好情報を記述するための準備として，
従属節の様々な属性を記述するために，前節で定義した従属節の主辞となる述語的文節に対して，
表\ref{tab:ftr}の素性を設定する．
これは，人手により抽出された\cite{SShirai95bj}の従属節の節末表現の設定(\ref{subsec:clsb}節)を
より一般的・網羅的にするためのものである．
特に，本論文では，EDR日本語コーパス\cite{EDR95aj-nlp}(約21万文)の
構文解析済コーパス(のうち，文の表層文字列および構文構造の括弧付け情報のみ)を
用いて，従属節の係り受け選好情報の抽出を行うので，
EDRコーパスから抽出された従属節を網羅するように設定されている．
また，これらの素性は，従属節の主辞となる述語的文節の特徴を記述したもので，
いずれも文節処理までで利用可能な形態素・品詞上の特徴のみを用いている．
表\ref{tab:ftr}の素性は，大きく，i)読点素性，ii)文法・品詞素性，iii)節末活用語活用形素性，
iv)語彙素性の四タイプに分けられる．
ii)の文法・品詞素性は，従属節の主辞となる述語的文節の
付属語列部分に現れ得る形態素の品詞を記述したもので，
その形態素が文節末に現れるか文節の中程に現れるかの区別がある．
iii)の節末活用語活用形素性は，従属節の主辞となる述語的文節の文節末が
活用語の場合にその活用形を記述したものである．
iv)の語彙素性は，ii)の文法・品詞素性の各素性を語彙化したものである．

\subsection{決定リストの学習}

従属節の間の係り受け関係の選好情報を記述する方法として，
決定リスト~\cite{Rivest87a,Yarowsky94a}を用いる．
本論文では，特に，\cite{Yarowsky94a}の決定リスト学習の方法を用いて，
従属節の係り受け関係が記述されたデータから従属節係り受け選好情報を抽出する．

決定リストは，ある証拠$E$のもとでクラス$D$を決定するという規則を優先度の高い順にリスト形式で
並べたもので，適用時には優先度の高い規則から順に適用を試みていく．
\cite{Yarowsky94a}の決定リスト学習の方法においては，クラス$D$の正解付データから，
証拠$E$が存在する($E\!=\!1$)という条件のもとでクラス$D$が$D\!=\!x$となる
条件付確率$P(D\!=\!x\mid E\!=\!1)$を計算し，この条件付確率を用いて以下の手順で決定リストを
構成する．
\begin{enumerate}
  \item ある証拠$E$が存在する($E\!=\!1$)という条件のもとでの条件付確率$P(D\!=\!x\mid E\!=\!1)$
        \mbox{の値の大きさが一位のクラス}$x_1$と二位のクラス$x_2$の間で，以下の対数尤度比を計算する．
        \[
        \log_2 \frac{P(D\!=\!x_1\mid E\!=\!1)}{P(D\!=\!x_2\mid E\!=\!1)}
        \]
        その結果，対数尤度比が大きい順に証拠$E$とクラス$D$の組を並べる
        \footnote{
           実際には，ある証拠$E$が存在するという条件のもとでクラス$D$が$D\!=\!x$となる
           事象の頻度に，微小値$\alpha(0.1\leq\alpha\leq 0.25)$を加えることにより，
           観測された頻度が0の場合にも対処できる\cite{Yarowsky94a}．
           この補正は，クラス$D$を一意に\mbox{決定する}
           (すなわち，二位のクラス$x_2$について，$P(D\!=\!x_2\mid E\!=\!1)\!=\!0$となる)
           証拠$E$が複数ある場合，
           \mbox{それらを，証}拠$E$のもとでクラス$D\!=\!x_1$となる事象の頻度順に
           優先付けするという効果がある．
        }．
        ただし，このときの対数尤度比は，
        クラス$D\!=\!x$の確率$P(D\!=\!x)$の値の大きさが一位のクラス$x_1$と二位のクラス$x_2$の間で
        以下の対数尤度比を計算して得られる値
        \[
        \log_2 \frac{P(D\!=\!x_1)}{P(D\!=\!x_2)}
        \]
        を下限値とする．
  \item 決定リストの最終行は``default''を表し，
        クラス$D\!=\!x$の確率$P(D\!=\!x)$の値の大きさが一位のクラス$x_1$を与える．
\end{enumerate}


\subsection{決定リストの学習による従属節係り受け選好情報の抽出}
\label{subsec:dlist_sb}

前節の決定リストの学習の手法を用いて，二つの従属節の間の係り受け関係の選好情報を抽出する．
基本的には，ある二つの従属節の主辞となる述語的文節の素性の情報の組を証拠として，
その二つの述語節の間の係り受け関係を決定する．

いま，一文中で従属節の主辞となる述語的文節(および文末述語文節)の並びを$Seg_1,\ldots,Seg_n$とすると，
一つの述語的文節は，\ref{subsec:ftr}節で述べた素性の組で記述されるので，
各述語的文節$Seg_i$は，複数の素性を要素としうる素性集合${\cal F}_i$を持つことになる．
このとき，決定リストの証拠$E$としては，二つの述語的文節$Seg_i$，$Seg_j (i<j)$の持つ
素性集合${\cal F}_i$，${\cal F}_j$に対して，
そのあらゆる可能な部分集合
\footnote{
  ただし，互いに包含関係にある素性については，どちらか一方のみを含める．
}
の組$(F_i,F_j)$を証拠$E$の候補とする
\footnote{
  従来の統計的係り受け解析モデルでは，これらの素性の他に，二つの文節間の距離を
  利用している．本論文では，従属節の階層的分類の考え方に即して素性の設定を
  行っており，二つの文節間の距離の情報はあえて利用せず，
  現在設定している素性の範囲でどの程度の性能が達成できるかを示す．
}．

また，決定リストのクラス$D$としては，基本的には，
述語的文節$Seg_i$と$Seg_j$が係り受け関係にある場合と，
係り受け関係にない場合の二つを設定することになるが，
第\ref{sec:sbrd_hd}節で述べた従属節の階層的分類の考え方を利用することにより，
特に，二つの述語的文節が係り受け関係にない場合について，
少し異なったクラスの設定をする．
そのために，まず，従属節間の係り受け関係が，従属節のスコープの包含関係にどのように
対応しているのかについて調べる．


以下では，従属節の主辞となる述語的文節$Seg_1$が，文中の他の従属節の主辞となる
述語的文節$Seg_2$に先行しているとして，
従属節間の係り受け関係と従属節のスコープの包含関係との対応を
以下のように分類して考える．



\begin{figure}
   \hspace*{-1.5cm}  
\begin{center}
\framebox{
\epsfile{file=fig/rel_mod_j.ps,scale=0.65}
}
\caption{従属節間の係り受けとスコープの包含関係:\\ (1) 先行する述語的文節$Seg_1$が後続の述語的文節$Seg_2$に係る場合．}
\label{fig:rel1}
\end{center}
\end{figure}

\begin{figure}
\vspace{-8mm}
   \hspace*{-1cm}  
\begin{center}
\framebox{
\epsfile{file=fig/rel_out_over_j.ps,scale=0.58} 
}
  \caption{従属節間の係り受けとスコープの包含関係:\\ 
	(2a) 先行する述語的文節$Seg_1$が後続の述語的文節$Seg_2$を越えて，\\
		より遠くの述語的文節に係る場合． }
  \label{fig:rel2a}
\end{center}
\vspace{-2mm}
\end{figure}




\begin{enumerate}
  \item[(1)] 先行する述語的文節$Seg_1$が後続の述語的文節$Seg_2$に係る場合
	(図\ref{fig:rel1})． 
  \item[(2)] 先行する述語的文節$Seg_1$が後続の述語的文節$Seg_2$に係らない場合．
	\begin{enumerate}
	  \item[(2a)] 先行する述語的文節$Seg_1$が後続の述語的文節$Seg_2$を越えて，
		より遠くの述語的文節に係る場合(図\ref{fig:rel2a})．
	  \item[(2b)] 先行する述語的文節$Seg_1$が後続の述語的文節$Seg_2$よりも 
		前の述語的文節に係る場合． 
		\begin{enumerate}
		  \item[(2b-i)] 
		$Seg_1$\hspace{-0.5pt}が\hspace{-0.5pt}$Seg_2$\hspace{-0.5pt}を主辞とする従属節のスコープに\mbox{含まれる場合
				(図\ref{fig:rel2bi})}．
		  \item[(2b-ii)] 
		$Seg_1$が$Seg_2$を主辞とする従属節のスコープに含まれない場合
				(図~\ref{fig:rel2bii})．
		\end{enumerate}
	\end{enumerate}
\end{enumerate}


\medskip
\noindent
\begin{minipage}{\textwidth}
最初に，従属節(の主辞文節$Seg_1$)が，後続する従属節(の主辞文節$Seg_2$)に
係る場合は，図~\ref{fig:rel1}に示すように，$Seg_1$を主辞とする従属節は，
$Seg_2$を主辞とする従属節のスコープに包含されることになる
(図中の矢印は係り受け関係を，また，木構造は統語解析木の略記を表す．)．
一方，従属節(の主辞文節$Seg_1$)が，後続する従属節(の主辞文節$Seg_2$)に係らない場合は，
図~\ref{fig:rel2a}$\sim$\ref{fig:rel2bii}に
\end{minipage}

\begin{figure}
   \hspace*{-1.5cm} 
\vspace{-3mm}
\begin{center}
\framebox{
\epsfile{file=fig/rel_in_notmod_j.ps,height=49mm,width=132mm}  
}
  \caption{従属節間の係り受けとスコープの包含関係:\\ 
	(2b-i) 先行する述語的文節$Seg_1$が後続の述語的文節$Seg_2$よりも前の\\
	述語的文節に係る場合で，
	$Seg_1$が$Seg_2$を主辞とする従属節のスコープに含まれる場合．}
  \label{fig:rel2bi}
\end{center}
\end{figure}
\begin{figure}
   \hspace*{-1.5cm} 
\vspace{-12mm}
\begin{center}
\framebox{
\epsfile{file=fig/rel_out_short_j.ps,height=39mm,width=137mm}  
}
  \caption{従属節間の係り受けとスコープの包含関係:\\ 
	(2b-ii) 先行する述語的文節$Seg_1$が後続の述語的文節$Seg_2$よりも前の\\
	述語的文節に係る場合で，
	$Seg_1$が$Seg_2$を主辞とする従属節のスコープに含まれない場合．}
  \label{fig:rel2bii}
\end{center}
\vspace{-6mm}
\end{figure}


 \noindent 示すように，
上記の(2a)，(2b)
の二通りに分けられる．
ここで，\ref{subsec:deprule}節の従属節係り受け判定規則を言い換えると，
従属節の包含関係においてより広いスコープを持つ
従属節(の主辞文節)は，後続する従属節のうち，
より狭いスコープを持つ従属節(の主辞文節)には係らないということができる．
したがって，(2a)の場合には，
主辞文節$Seg_1$は，包含関係において$Seg_2$より\mbox{も
より広い}スコープを持つ必要がある．
一方，(2b)の場合は，$Seg_1$が$Seg_2$\mbox{を主辞とする従属節}のスコープに含まれる場合
((2b-i)，図\ref{fig:rel2bi})と，含まれない場合((2b-ii)，図\ref{fig:rel2bii})の
両方の可能性がある．したがって，一般に，(2b)の場合には，
$Seg_1$を主辞とする従属節のスコープの広さと，
$Seg_2$を主辞とする従属節のスコープの広さの間には依存関係がなく，
互いに独立な関係にあると言える．


以上のことから，本論文では，二つの述語的文節が係り受け関係にない場合のうち，
特に(2a)の場合のみに注目して，
決定リストのクラス$D$としては，
\medskip
\begin{enumerate}
  \noindent\begin{minipage}{\textwidth}\item 述語的文節$Seg_i$と$Seg_j$が係り受け関係にある場合，
  \item 述語的文節$Seg_i$の係り先が，$Seg_j$を越えたより後ろの
        述語的文節または文末述語文
\end{minipage}節となる場合，
\end{enumerate}
の二つを設定することとし，
このいずれの場合になるかを判定することとする
\footnote{
   従来の統計的係り受け解析モデル
   \cite{Collins96a,Fujio97aj,Ehara98aj,Haruno98cj,Uchimoto98aj}\mbox{においては，}
   クラスとして二つの文節が係り受け関係にある場合と係り受け関係にない場合の二つを
   設定しており，従属節の階層的分類の考え方を利用した本論文の設定とは
   異なっている．
   本論文の設定法と，従来の統計的係り受け解析モデルにおけるクラスの設定法の
   実験的比較については，\ref{subsubsec:prev_dep}節で詳しく述べる．
}．

以上をまとめると，決定リストの証拠$E$とクラス$D$は以下のようになる．
\begin{itemize}
  \item {\bf 証拠}$E$: 二つの従属節の主辞となる述語的文節$Seg_i$，$Seg_j (i\!<\!j)$の持つ素性集合の
        あらゆる部分集合の組$(F_{i},F_{j})$．
  \item {\bf クラス}$D$: $Seg_i$が$Seg_j$に係る場合($D\!=\!係る$)と，
        $Seg_i$が$Seg_j$を越えてより\mbox{後ろの述語}的文節もしくは文末述語文節に係る場合($D\!=\!越える$)の二値．
\end{itemize}
このような証拠$E$とクラス$D$の設定のもとで，前節の決定リストの学習法にしたがって，
従属節間の係り受けを決定する選好情報を抽出する．


\subsubsection*{例}

例として，図~\ref{fig:ex}の従属節間の係り受け解析済の文から，
従属節の係り受け関係のデータを抽出する手順を以下に示す．
図~\ref{fig:ex}の文には，文末の他に二つの述語的文節$Seg_1$，$Seg_2$があり，
そ\break
れぞれ，${\cal F}_1$，${\cal F}_2$の素性集合を持つ
\footnote{
  $Seg_2$の``なので''は，茶筌では，
  「判定詞``だ''の連体形+助動詞``のだ''のテ形」として
   形態素解析される．
}．
また，係り受け関係としては，$Seg_1$が文末に係るために，
$Seg_1$は$Seg_2$を「越える」という関係にある．
この$Seg_1$と$Seg_2$の係り受け\mbox{関係から，決定リス}トを構成するための
証拠$E$・クラス$D$のデータを抽出すると，表~\ref{tab:EDex}の結果が得られる．
ここで，${\cal F}_1$中の二つの素性
\begin{quote}
述語接続助詞(節末)， ``が''
\end{quote}
については，包含関係にあるので，どちらか一方のみを含めることして，
${\cal F}_1$と${\cal F}_2$のあらゆる可能な部分集合の組が証拠$E$となる．
また，これらの証拠に対して，そのクラス$D$はいずれも$D\!=\!「越える」$となる．

\begin{figure*}
  \begin{center}
\framebox{
\epsfile{file=fig/depex.ps,vscale=0.9,hscale=0.75}
}\\

\vspace*{.3cm}
    \begin{tabular}[c]{|l|l|} \hline
	\multicolumn{1}{|c|}{述語的文節} & \multicolumn{1}{|c|}{素性集合} \\ \hline
      $Seg_1$: ``値上げするが，''  &	   ${\cal F}_1\!=\!\Bigl\{ 読点有，述語接続助詞(節末)，``が'' \Bigr\}$ \\
	$Seg_2$: ``3\%なので，''  & ${\cal F}_2\!=\!\Bigl\{ 読点有，テ形 \Bigr\}$ \\
	 $Seg_3$(文末): ``でてくるだろう．'' & \multicolumn{1}{|c|}{---} \\ \hline
    \end{tabular}
    \caption{複数の従属節を含む文の例}
    \label{fig:ex}
  \end{center}
\end{figure*}

\begin{table}
  \begin{center}
	\caption{係り受け解析済の文から抽出される証拠$E$・クラス$D$の組の例}
	\label{tab:EDex}
    \begin{tabular}[c]{|c|c|c|}	 \hline
	\multicolumn{2}{|c|}{証拠$E$} &	 クラス \\ \cline{1-2}
	$F_1$ & $F_2$ & $D$ \\ \hline\hline
	読点有 & 読点有 & 越える \\
	読点有 & テ形  & 越える \\
	読点有 & 読点有,テ形  & 越える \\
	述語接続助詞(節末) & 読点有 & 越える \\
	述語接続助詞(節末) & テ形 & 越える \\
	述語接続助詞(節末) & 読点有,テ形 & 越える \\
	読点有,述語接続助詞(節末) & 読点有 & 越える \\
	読点有,述語接続助詞(節末) & テ形 & 越える \\
	読点有,述語接続助詞(節末) & 読点有,テ形 & 越える \\
	``が'' & 読点有 & 越える \\
	``が'' & テ形 & 越える \\
	``が'' & 読点有,テ形 & 越える \\
	読点有,``が'' & 読点有 & 越える \\
	読点有,``が'' & テ形 & 越える \\
	読点有,``が'' & 読点有,テ形 & 越える \\ \hline
    \end{tabular}
  \end{center}
\end{table}


\subsection{EDRコーパスから学習した決定リスト}

EDR日本語コーパスの約21万文を訓練用データ(95\%)と評価用データ(5\%)に分割し，
訓練用データ199,500文から，
係り受け関係が「係る」または「越える」になる述語的文節を抽\mbox{出した結果}，
162,443組の述語的文節のペアが得られた．
これらの従属節係り受けデータから，
従属節係り受け選好のための決定リストを学習した．
結果のうち，
証拠$E$の頻度が10以上の規則を
いくつか抜粋したものを表~\ref{tab:dlist}に示す．
規則数は，確率値が$P(D\mid E)\!=\!1$となる規則が923，
$0.5378\!<\!P(D\mid E)\!<\!1$となる規則が6,889で，その総数は7,812である．
表~\ref{tab:dlist}の
\mbox{決定リストのデ}フォールト規則としては，
\begin{eqnarray*}
  P(D\!=\!越える) & = & 0.5378 \\
  P(D\!=\!係る) & = & 0.4622 \\
  P(D\!=\!越える) & > & P(D\!=\!係る)
\end{eqnarray*}
となることから，$D\!=\!「越える」$をデフォールト規則とし，
これを決定リストの最終行とする．


\begin{table*}
  \begin{center}
	\caption{EDRコーパスから学習した決定リスト中の規則\\(証拠$E$の頻度10以上)の抜粋}
	\label{tab:dlist}
	\vspace*{.1cm}
\hspace*{-1cm}
    \begin{tabular}[c]{|c|c|c|c|c|}   \hline
	\multicolumn{2}{|c|}{証拠$E$} &	 クラス & 確率値 & 証拠$E$ \\ \cline{1-2}
	$F_1$ & $F_2$ & $D$ & $P(D\mid E)$ & の頻度 \\ \hline\hline
	連用形 & 判定詞($\neg$節末) & 越える & 1 & 548 \\
	連用形 & ``では'' & 越える & 1 & 536 \\
	$\vdots$ & $\vdots$ & $\vdots$ & $\vdots$ & $\vdots$ \\
	読点無 & 読点有, ``のが'' & 係る & 1 & 123 \\	
	$\vdots$ & $\vdots$ & $\vdots$ & $\vdots$ & $\vdots$ \\
	読点無, 副詞($\neg$節末) & 読点有, ``が'' & 係る & 1 & 10 \\
	読点有 & 読点無, 判定詞($\neg$節末) & 越える & 0.997 & 1541 \\
	$\vdots$ & $\vdots$ & $\vdots$ & $\vdots$ & $\vdots$ \\
	副詞的名詞 & 連用形 & 越える & 0.538 & 1280 \\
	(デフォールト)	& (デフォールト) & 越える & 0.5378 & 87366 \\ \hline
    \end{tabular}
  \end{center}
\end{table*}


\section{決定リストを用いた従属節係り受け解析}
\label{sec:ana}

\subsection{二つの従属節の間の係り受け関係の推定}


\begin{table}
  \begin{center}
	\caption{決定リストの適用例}
	\label{tab:dlap}
    \begin{tabular}[c]{|c|c|c|c|c|}  \hline
	\multicolumn{2}{|c|}{証拠$E$} &	 クラス & 確率値 & \\ \cline{1-2}
	$F_1$ & $F_2$ & $D$ & $P(D\mid E)$ & 頻度 \\ \hline\hline
	{\bf 読点有, ``が''} & {\bf テ形} & {\bf 越える} & {\bf 0.917} & {\bf 1354} \\
	``が'' & テ形 & 越える & 0.912 & 1391 \\
	読点有,	述語接続助詞(節末) & テ形 & 越える & 0.907 & 570 \\
	述語接続助詞(節末) & テ形 & 越える & 0.858 & 620 \\
	読点有 & テ形  & 越える & 0.835 & 11923 \\
	読点有, ``が'' & 読点有 & 越える & 0.827 & 2936 \\
	読点有, ``が'' & 読点有, テ形 & 越える & 0.826 & 533 \\ 
	読点有, 述語接続助詞(節末) & 読点有 & 越える & 0.818 & 1212 \\
	``が'' & 読点有 & 越える & 0.815 & 3027 \\
	``が'' & 読点有, テ形 & 越える & 0.814 & 547 \\
	読点有, 述語接続助詞(節末) & 読点有, テ形 & 越える & 0.804 & 225 \\
	述語接続助詞(節末) & 読点有 & 越える & 0.746 & 1352 \\
	述語接続助詞(節末) & 読点有, テ形 & 越える & 0.722 & 252 \\
	読点有 & 読点有, テ形 & 越える & 0.674 & 4071 \\
	読点有 & 読点有 & 越える & 0.612 & 24511 \\ \hline
    \end{tabular}
  \end{center}
\end{table}

いま，一文中の二つの従属節の主辞文節$Seg_i$，$Seg_j (i<j)$が与えられていて，
決定リストを用いてこの二つの文節間の係り受け関係を推定することを考える．
$Seg_i$，$Seg_j$それぞれの持つ素性集合を${\cal F}_i$，${\cal F}_j$とすると，
${\cal F}_i$，${\cal F}_j$に対してあらゆる可能な部分集合の組$(F_i,F_j)$を考え，
これを証拠$E$の候補として決定リストを検索し，決定リスト中でもっとも優先順位の
高い規則の与えるクラス$\hat{D}$を$Seg_i$，$Seg_j$の係り受け関係の推定結果とする．
決定リストを用いたこの係り受け関係の推定法は，あらゆる可能な証拠$(F_i,F_j)$について，
条件付確率$P(D\!=\!x(F_i,F_j)\mid (F_i,F_j))$の最大値を与える証拠
$(\hat{F}_i,\hat{F}_j)$を求め，その証拠を用いた時のクラス$D\!=\!x(\hat{F}_i,\hat{F}_j)$
をクラス$D$の推定結果$\hat{D}$とすることと等価である
\footnote{
  ただし，ある証拠$E$が存在するという条件のもとでクラス$D$が$D\!=\!x$となる
  事象の頻度に，微小値$\alpha(0.1\leq\alpha\leq 0.25)$を加えるという補正が
  なされているとする．
}．
\begin{eqnarray*}
  (\hat{F}_i,\hat{F}_j) & = & \argmax_{(F_i,F_j)}P(D\!=\!x(F_i,F_j)\mid (F_i,F_j)) \\
  \hat{D} & = & x(\hat{F}_i,\hat{F}_j)
\end{eqnarray*}

\subsubsection*{例}

例として，図~\ref{fig:ex}の文の述語的文節$Seg_1$と$Seg_2$の間の係り受け関係を，
表~\ref{tab:dlist}の\mbox{決定リストを用}いて推定する様子を以下に示す．
述語的文節$Seg_1$と$Seg_2$の組に対する可能な証拠のパターン$(F_1,F_2)$は，
表~\ref{tab:EDex}のようになり，これらの証拠について表~\ref{tab:dlist}の
決定リストを検索すると，\mbox{それぞ}れ表~\ref{tab:dlap}に示すクラス$D$および
条件付確率$P(D|E)$が得られる．
この結果，最も優先順位の高い規則として，表~\ref{tab:dlap}の先頭にゴシック体で示した
規則が選ばれ，係り受け関係の推定に用いる証拠$(\hat{F}_1,\hat{F}_2)$および
係り受け関係の推定結果$\hat{D}$はそれぞれ，
\begin{eqnarray*}
  (\hat{F}_1,\hat{F}_2) & = & \Bigl(\ \{ 読点有， ``が'' \}，\ \{ テ形 \}\ \Bigr) \\
  \hat{D} & = & 越える
\end{eqnarray*}
となる．

\subsection{一文中の従属節の係り受け解析}
\label{subsubsec:sent}

次に，前節で求めた二つの従属節の間の係り受け関係の推定結果を用いて，
一文中の従属節の係り受け解析を行う．
その際には，先行する従属節の主辞となる述語的文節が，後続する述語的文節に
「係る」確率だけでなく，後続する述語的文節を「越える」確率も考慮して，
従属節の係り受け解析の優先度を計算する
\footnote{
   従来の統計的係り受け解析モデル
   \cite{Collins96a,Fujio97aj,Ehara98aj,Haruno98cj,Uchimoto98aj}では，
   「係る」確率のみを考慮して一文全体の係り受け解析の優先度を計算している．
   本論文の計算法と，従来の統計的係り受け解析モデルにおける計算法との
   実験的比較については，\ref{subsubsec:prev_dep}節で詳しく述べる．
}．


まず，文$S$をその文中の述語的文節の列$S_{sb}$として以下のように記述する．
\begin{eqnarray*}
  S_{sb} & = & Seg_1,\ldots,Seg_{n-1},Seg_n(文末) 
\end{eqnarray*}
ここで，各$Seg_i$は述語的文節を表し，$Seg_n$は文末の述語文節である．
また，述語的文節$Seg_i$の係り先の文節を$mod(Seg_i)$で表す．
そして，文$S$中の述語的文節の列$S_{sb}$の間の係り受け関係のパターンを，
述語的文節$Seg_i$の係り先の文節$mod(Seg_i)$の列で表し，
これを$Dep(S_{sb})$と記述する．
ただし，ここでは，文中の係り受け関係としては，
互いに非交差のもののみを対象とする
(実際の解析は，CKY法によっている．)．
\begin{eqnarray*}
  Dep(S_{sb}) & = & mod(Seg_1),\ldots,mod(Seg_{n-1}) \\
	& & (ただし，互いに非交差の係り受け関係のみ)
\end{eqnarray*}
そして，以下の手順により，決定リスト中の係り受け関係の確率値を用いて，
それぞれの係り受けパターン$Dep(S_{sb})$の優先度を計算する．

まず，従属節$Seg_i$から$mod(Seg_i)$への係り受け関係の優先度を計算する．
前節と同様，二つ\break
の述語的文節$Seg_i$と$Seg_j$の間に係り受け関係$D\!=\!x$が成り立つ
確率の推定においては，あらゆる証拠$(F_i,F_j)$について，決定リストを用いて条件付確率
$P(D\!=\!x\mid (F_i,F_j))$の最大値を求め，この最大条件付確率を
求めるべき推定値$\hat{P}(D\!=\!x\mid (Seg_i,Seg_j))$とする．
\begin{eqnarray*}
  \hat{P}(D\!=\!x\mid (Seg_i,Seg_j)) & = & \max_{(F_i,F_j)}P(D\!=\!x\mid (F_i,F_j)) 
\end{eqnarray*}
そして，述語的文節$Seg_k$を$Seg_i$の係り先
\begin{eqnarray*}
  Seg_k & = & mod(Seg_i) 
\end{eqnarray*}
として，以下の式により，述語的文節$Seg_i$が$Seg_k$に係る係り受け関係の優先度
$Q(D\!=\!係る\mid (Seg_i,Seg_k))$を計算する．
\begin{enumerate}
  \item $k\!<\!n$の場合．
	$Seg_i$が$Seg_k$に「係る」確率と$Seg_i$が$Seg_j (j\!=\!i+1,\ldots,k-1)$を「越える」
	確率の相乗平均
	\footnote{
	  ここで，相乗平均ではなく単に積をとると，
	  係り先$Seg_k$が$Seg_i$からどれだけ離れているかによって
	  \mbox{積をとる項の数が}異なり，項の数が少ない方が有利になってしまう傾向がある．
	  これはすなわち，より近くに係る係り受け関係が有利になるようにバイアスを
	  かけることに相当する．
	  数学的意味付けとしては，積をとることにより確率としての性質が保たれる
	  という利点はあるが，各係り受け関係の確率を公平に評価するという目的からは
	  外れるため，本論文では積ではなく相乗平均を用いるという立場をとる．
	  なお，両者の実験的比較としては，
	  \ref{subsubsec:subsent}節において
	  \mbox{相乗平均を用いた場合と積を}用いた場合の実験結果を比較し，
	  その違いについて考察する．
	}
	を$Q(D\!=\!係る\mid (Seg_i,Seg_k))$とする．
	\begin{eqnarray*}
	\lefteqn{Q(D\!=\!係る\mid (Seg_i,Seg_k))  = } \\
	& &	\Bigl(\ \ \hat{P}(D\!=\!係る\mid (Seg_i,Seg_k))\times 
	\prod_{j=i+1}^{k-1}\hat{P}(D\!=\!越える\mid (Seg_i,Seg_j))\ \ \Bigr)^{\frac{1}{k-i}}
	\end{eqnarray*}
  \item $k\!=\!n$の場合．
	$Seg_i$が$Seg_n(文末)$に「係る」確率は
	(文末を「越える」確率は0なので)1とみなして考慮せず，
	$Seg_i$が$Seg_j (j\!=\!i+1,\ldots,n-1)$を「越える」
	確率の相乗平均を$Q(D\!=\!係る\mid (Seg_i,Seg_k))$とする．
	(ただし，$i\!<\!n-1$とする．$i\!=\!n-1$のときは，$Seg_{n-1}$は必ず$Seg_n$(文末)に係る．)
	\begin{eqnarray*}
	Q(D\!=\!係る\mid (Seg_i,Seg_k)) & = &
	\Bigl(\ \prod_{j=i+1}^{n-1}\hat{P}(D\!=\!越える\mid (Seg_i,Seg_j))\ \Bigr)^{\frac{1}{n-i-1}}
	\end{eqnarray*}
\end{enumerate}
最後に，述語的文節$Seg_i$から$mod(Seg_i)$への係り受け関係の優先度$Q(D\!=\!係る\mid (Seg_i,mod(Seg_i)))$の
積によって，文$S$中の述語的文節の列$S_{sb}$が\mbox{係り受け関係$Dep(S_{sb})$を持}つ優先度$Q(S_{sb},Dep(S_{sb}))$を計算する．
\begin{eqnarray*}
 Q(S_{sb},Dep(S_{sb}))	&  = &
	  \prod_{i=1}^{n-2}Q(D\!=\!係る\mid (Seg_i,mod(Seg_i))) 
\end{eqnarray*}
上式の優先度を用いて，文$S$中の述語的文節の列$S_{sb}$に対して
以下の最大の\mbox{優先度を与える係り}受け関係$\hat{Dep}(S_{sb})$を，
文$S$の従属節係り受け解析の解析結果とする．
\begin{eqnarray*}
  \hat{Dep}(S_{sb}) & = & \argmax_{Dep(S_{sb})}Q(S_{sb},Dep(S_{sb}))
\end{eqnarray*}


\section{実験および評価}

\ref{subsec:dlist_sb}節の方法により，
EDR日本語コーパス約21万文のうちの訓練用データ(95\%)\mbox{から
抽出し}た従属節係り受けデータから，
従属節係り受け選好のための決定リストを学習し，
これを用いて評価用データ(5\%)中の
二つの従属節の間の係り受け関係を推定する実験，
および一文中の従属節の係り受け解析の実験を行った．

\subsection{評価データ}

評価用データ(5\%)10,320文中で，
一文中に二つ以上の従属節を含み，従属節の係り受けの曖昧性のある文は，
3,128文(約30\%)であった．
この3,128文および残りの7,192文について，文節数，一文中の平均文節数，
述語的文節数を調査した結果を表~\ref{tab:evalD}に示す．
また，第\ref{sec:sentana}節では，\cite{Fujio97aj,Fujio99aj}の
統計的文係り受け解析において，推定した従属節間の係り受け関係を評価するので，
これらの評価用文セットを\cite{Fujio97aj,Fujio99aj}の統計的文係り受け解析によって
解析した場合の，文節レベル正解率，
上位1個/5個における文レベル正解含有率，
および，述語的文節の係り受け正解率も示す．
以下の実験では，評価用データ10,320文のうち，
従属節の係り受けの曖昧性のある文3,128文を評価対象とする．


\begin{table}[t]
\vspace{-5mm}
  \begin{center}
	\caption{評価用データの特性}
   \label{tab:evalD}
\begin{tabular}[c]{|c||c|c||c|} \hline
	& \multicolumn{2}{|c||}{部分データセット} & \\ \cline{2-3}
	& 従属節係り受け	& 従属節係り受け &  \\ 
	& 曖昧性あり		& 曖昧性なし & 全評価データ \\ \hline\hline
文数 & 	3,128 (30.3\%)	& 7,192	(69.7\%) &	10,320	\\
文節数 & 32,038 (39.9\%) & 48,281 (60.1\%) & 80,319	\\
一文中の平均文節数	&	10.2	& 6.7	& 7.8 \\ 
述語的文節数 & & &  \\
\multicolumn{1}{|r||}{(総数)} & 8,789 & --- & --- \\ 
\multicolumn{1}{|r||}{(係り先が曖昧)} & 4,207 & 0 & 4,207 \\ \hline
係り受け解析正解率 	& & & \\
\cite{Fujio97aj,Fujio99aj}	& & & \\
\multicolumn{1}{|r||}{文節レベル正解率} & 85.3\% & 86.7\% & 86.1\% \\
\multicolumn{1}{|r||}{文レベル正解含有率} & &  &  \\
\multicolumn{1}{|r||}{(上位1個)} & 25.4\% & 47.5\% & 40.8\% \\
\multicolumn{1}{|r||}{(上位5個)} & 35.8\% & 60.2\% & 52.8\% \\  
\multicolumn{1}{|r||}{述語的文節の正解率} & 65.7\% & --- & 65.7\% \\\hline
\end{tabular}  
  \end{center}
\end{table}


\subsection{二つの従属節の間の係り受け関係の推定}
\label{subsubsec:experi-pair}


以下の条件のもとで，
評価データ3,128文に対して，
二つの従属節の間の係り受け関係を推定する実験を行なった．
\begin{table}
\begin{center}
\caption{二つの従属節の間の係り受け関係の推定の実験結果 (\%)}  
\label{tab:ressub}
\begin{tabular}[c]{|c||c|c||c|c|} \hline
        & \multicolumn{4}{|c|}{二つの従属節の間の係り受け関係の推定}   \\ \cline{2-5}        
        &    \multicolumn{2}{|c||}{決定リストによる素性選択} 
        &    \multicolumn{2}{|c|}{\ \ \ 決定木による素性選択\ \ \ } \\ \cline{2-5}
$P(D\mid E)$ & カバレージ & 適合率 & カバレージ & 適合率  \\ \hline\hline
1          & 0.84 & 100 & 1.1   & 100   \\
$\sim$0.95 & 14.4 & 95.9 & 3.4  & 98.1  \\
$\sim$0.90 & 43.8 & 91.0 & 20.2 & 94.7  \\
$\sim$0.85 & 55.0 & 87.4 & 21.7 & 94.1  \\
$\sim$0.80 & 78.7 & 83.8 & 23.6 & 93.0  \\
$\sim$0.75 & 88.8 & 80.2 & 62.7 & 84.3  \\
$\sim$0.70 & 95.3 & 78.5 & 63.8 & 84.0  \\
$\sim$0.65 & 96.6 & 78.4 & 65.9 & 83.5  \\
$\sim$0.60 & 100 & 78.3 & 96.6  & 78.5  \\
$\sim$0.5378 & 100 & 78.3 & --- &  ---  \\
$\sim$0.50 & --- & --- &         99.9  & 77.6   \\ \hline
\end{tabular}
\end{center}
\end{table}
\begin{figure}[t]
\vspace{-2mm}
  \begin{center}
    \epsfile{file=fig/cvpr-pde-segpair-j-jnlp-nc.ps,scale=0.8}
\vspace{-2mm}
        \caption{二つの従属節の間の係り受け関係の推定の実験結果}
        \label{fig:resseg}
  \end{center}
\end{figure}

\begin{itemize}
  \item 決定リスト中の規則の証拠$E$の頻度の閾値として，
        頻度10以上のものを用いる．
  \item 条件付確率$P(D\mid E)$の大きさに閾値を設け，
        この閾値を段階的に変えることにより，係り受け関係の推定の
	カバレージと精度の相関を調べる．
        ただし，決定リストを用いた従属節係り受け関係推定のカバレージは，次式で，
        \begin{eqnarray*}
          カバレージ & = & 
        \frac{\begin{tabular}[c]{c}
                決定リストが適用可能な述語的文節の組数
              \end{tabular}}{評価対象の述語的文節の組数}
        \end{eqnarray*}
        また，係り受け関係の推定精度は，以下の適合率で測定する．
        \[
         適合率\  =\
                \frac{係り受け関係の推定結果が正解の組数}
                {決定リストが適用可能な述語的文節の組数}
        \]
\end{itemize}
この結果を表\ref{tab:ressub}の「決定リストによる素性選択」の欄，
および図\ref{fig:resseg}の「決定リスト」のプロットに示す
\footnote{
  条件付確率値$P(D\mid E)$は，証拠$E=1$の条件のもとで，
  決定リストがどの程度の信頼性をもってクラス$D$を出力するかということを表している．
  本論文では，指定された信頼度のもとで，決定リストがどの程度のカバレージ・適合率を
  示すかを調べるために，まず，図\ref{fig:resseg}に示すように，
  $P(D\mid E)$の下限値/カバレージの相関，および，$P(D\mid E)$の下限値/適合率の相関
  をプロットする．
  また，本論文の手法を関連手法と比較する(\ref{subsec:compare}節)際には，
  あわせて，カバレージ/適合率の相関をプロットし，これらの相関を参照しながら比較・分析を行う．
}．
この結果から，決定リスト中の条件付確率$P(D\mid E)$の大きさの制限が強い場合は，

\newpage

カバレージは低いが適合率はかなり高いことがわかる．
また，条件付確率$P(D\mid E)$の大きさの制限を緩くして，
カバレージが100\%近い場合でも，80\%近くの適合率を達成している．
(決定木学習による素性選択との比較については，\ref{subsubsec:dtree}節で述べる．)


\subsection{一文中の従属節の係り受け解析}

\label{subsubsec:subsent}
さらに，前節で求めた二つの従属節の間の係り受け関係の推定結果を用いて，
\ref{subsubsec:sent}節の方法により一文中の従属節の係り受け解析を行い，
その性能を評価した．
前節と同様に，条件付確率$P(D\mid E)$の大きさに閾値を設け，
この閾値を段階的に変えることにより，カバレージと係り受け解析精度の
相関を調べた．
具体的には，
まず，条件付確率$P(D\mid E)$の大きさに閾値を設け，
確率値$\hat{P}(D\!=\!x\mid (Seg_i,Seg_j))$がこの閾値より小さい場合は，
デフォールト規則の確率値を用いて，
\vspace{-2mm}
\begin{eqnarray*}
\hat{P}(D\!=\!係る\mid (Seg_i,Seg_j)) & = & P(D\!=\!係る)\ \  ( =  0.4622) \\
\hat{P}(D\!=\!越える\mid (Seg_i,Seg_j)) & = &   P(D\!=\!越える)\ \  ( = 0.5378) 
\end{eqnarray*}
とする．
この結果，優先度$Q(S_{sb},Dep(S_{sb}))$が最大となる係り受け解析結果$\hat{Dep}(S_{sb})$
として複数のものが得られた場合には，それらの複数の係り受け解析結果に
含まれる係り受け関係のうち，
それらの複数の解析結果の間で係り先の曖昧性がなく，
しかも，確率値$\hat{P}(D\!=\!x\mid (Seg_i,Seg_j))$が
与えられた閾値以上の係り受け関係のみを出力する
\footnote{
  他の部分解析手法としては，文全体の係り受け解析結果(この場合，
  従属節間の係り受け解析結果)のうち，確率値の上位$n$個を用いて個々の
  部分的な係り受け関係の確信度を計算し，この確信度に対して閾値を設定する
  ことにより部分解析を行うという方法\cite{Inui98aj,Fujio99aj}も考えられる．
  本論文では，決定リストにより計算される確率値の信頼性を直接評価するために，
  現在のような方法を採用している．
}．



評価尺度としては，一文中の従属節の係り受け解析のカバレージは，次式で，
        \begin{eqnarray*}
        \begin{tabular}[c]{c}
          文節レベル\\
          カバレージ
        \end{tabular}
         & = & 
        \frac{\begin{tabular}[c]{c}
             係り先が決定可能な述語的文節数
              \end{tabular}}{評価対象の述語的文節数} \\
        \begin{tabular}[c]{c}
          文レベル\\
          カバレージ
        \end{tabular}
          & = & 
        \frac{\begin{tabular}[c]{c}
               文中の全述語的文節の係り先が決定可能な文数
              \end{tabular}}{評価対象の文数}
        \end{eqnarray*}
        また，係り受け解析の精度は，以下の適合率で測定する．
        \begin{eqnarray*}
        \begin{tabular}[c]{c}
          文節レベル\\
          適合率
        \end{tabular} &  = &
                \frac{
                \begin{tabular}[c]{c}
                解析結果の係り先が正解の述語的文節数
                \end{tabular}}
                {係り先が決定可能な述語的文節数} \\
        \begin{tabular}[c]{c}
          文レベル\\
          適合率
        \end{tabular} &  = &
                \frac{
                \begin{tabular}[c]{c}
                文中の全述語的文節の係り先が正解の文数
                \end{tabular}}
                {\begin{tabular}[c]{c}
                文中の全述語的文節の係り先が決定可能な文数
              \end{tabular}}
        \end{eqnarray*}

この結果を表\ref{tab:ressub-sent}，および図\ref{fig:ressub}の
「本論文のモデル」のプロットに示す．
文節レベル・文レベルのいずれにおいても，前節の
二つの従属節の間の係り受け関係の推定の場合と同様の傾向を示している．
カバレージが100\%近い場合は，文節レベルで約76\%，文レベルで約71\%の
適合率である．


\begin{table*}[t]
\begin{center}
\caption{一文中の従属節の係り受け解析の実験結果 (\%)}  
\label{tab:ressub-sent}
\begin{tabular}[c]{|c||c|c||c|c|} \hline
                        &    \multicolumn{2}{|c||}{文節レベル} 
                        &    \multicolumn{2}{|c|}{文レベル} \\ \cline{2-5}
$P(D\mid E)$ &  カバレージ & 適合率 & カバレージ & 適合率 \\ \hline\hline
1          &  5.4 & 90.4 & 4.1 & 93.7 \\
$\sim$0.95 & 19.4 & 88.7 & 15.1 & 91.1  \\
$\sim$0.90 & 46.6 & 88.1 & 39.3 & 87.4  \\
$\sim$0.85 & 59.2 & 85.1 & 52.5 & 83.6 \\
$\sim$0.80 &  83.4 & 80.8 & 78.9 & 78.2 \\
$\sim$0.75 &  91.7 & 78.5 & 89.2 & 74.8 \\
$\sim$0.70 &  99.6 & 75.6 & 99.4 & 71.1 \\
$\sim$0.65 &  99.7 & 75.6 & 99.6 & 71.1 \\
$\sim$0.60 &  99.9 & 75.7 &  99.8 & 71.1 \\
$\sim$0.5378 & 99.8 & 75.7 & 99.7 & 71.1 \\ \hline
\end{tabular}
\end{center}
\end{table*}

\begin{figure}[p]
  \begin{center}
    \epsfile{file=fig/cvpr-pde-subseg-j-nc.ps,scale=0.8}


    \epsfile{file=fig/cvpr-pde-subsent-j.ps,scale=0.8}
        \caption{一文中の従属節の係り受け解析の実験結果}  
        \label{fig:ressub}
  \end{center}
\end{figure}

\subsubsection*{一文中の従属節の係り受け関係の優先度: 相乗平均と積の比較および考察}

ここで，\ref{subsubsec:sent}節において，
述語的文節$Seg_i$が$Seg_k$に係る係り受け関係の優先度
$Q(D\!=\!係る\mid (Seg_i,Seg_k))$を計算する際に，
各々の係り受け関係の相乗平均ではなく積を用いて
一文中の従属節の係り受け解析を行った結果について考察する．

まず，この場合，優先度$Q(D\!=\!係る\mid (Seg_i,Seg_k))$は，
以下の式によって計算される．
\begin{enumerate}
  \item $k\!<\!n$ (すなわち，$Seg_k$が文末以外)の場合．
	\begin{eqnarray*}
	\lefteqn{Q(D\!=\!係る\mid (Seg_i,Seg_k))  = } \\
	& &	\hat{P}(D\!=\!係る\mid (Seg_i,Seg_k))\times 
	\prod_{j=i+1}^{k-1}\hat{P}(D\!=\!越える\mid (Seg_i,Seg_j))
	\end{eqnarray*}
  \item $k\!=\!n$ (すなわち，$Seg_k$が文末)の場合．
	\begin{eqnarray*}
	Q(D\!=\!係る\mid (Seg_i,Seg_k)) & =  & 
	  \prod_{j=i+1}^{n-1}\hat{P}(D\!=\!越える\mid (Seg_i,Seg_j))
	\end{eqnarray*}
\end{enumerate}

\begin{figure}
  \begin{center}
    \epsfile{file=fig/pr-cv-subsegsent-no_geomean.ps,scale=0.8}
        \caption{一文中の従属節の係り受け解析の優先度: 相乗平均と積の比較}
        \label{fig:no_geomean}
  \end{center}
\end{figure}


次に，相乗平均を用いた場合および積を用いた場合の両者について，
文節レベル/文レベルのカバレージに対する適合率の推移を，
図\ref{fig:no_geomean}の「相乗平均」および「積」の\mbox{プロットに示す．
この}図から分かるように，カバレージの低いところ
(すなわち，条件付確率$P(D\mid E)$の下限値の高いところ)では，
優先度として積を用いた場合の方がやや高い適合率を示している．
この原因としては，積を用いた場合，
より近くに係る係り受け関係を優先するバイアスがかかっている点が挙げられる．
すなわち，比較的信頼度の高い係り受け関係だけを考慮する場合は，
より近くに係る係り受け関係を優先するバイアスが，
一文中の従属節の係り受け解析の性能の向上に寄与すると言える．

この結果から，従属節係り受け選好情報の学習の段階で，
従属節間の距離の情報を明示的に考慮し，よりきめ細かな係り受け選好情報を
学習すれば，一文中の従属節の係り受け解析の性能がさらに向上する
可能性があると期待できる．
しかし，従属節間の距離の情報を明示的に考慮しその効果について
考察することは，本論文の範囲を越えるため，今後の課題とする．
また，以下では，各係り受け関係の確率を公平に評価しその効果を明らかにするという
目的のため，従属節間の係り受け関係の優先度としては
相乗平均を用いた場合の結果を示す．


\subsection{関連手法との比較}
\label{subsec:compare}

本節では，本論文の手法を，従来の統計的係り受け解析モデル
\cite{Collins96a,Fujio97aj,Ehara98aj,Haruno98cj,Uchimoto98aj}と比較し，
評価実験を通して，本論文の手法の利点を示す．

まず，従来の統計的係り受け解析モデルが，本論文の手法と異なる点として，
以下の三つが挙げられる．
\begin{enumerate}
  \item[(1)] 事象として二つの文節が係り受け関係にある場合と係り受け関係にない場合の二つを
   	設定し，二つの文節が係り受け関係にある確率を次式
	(もしくは，それに準ずる式)で定義する．
	\[
	\frac{二つの文節(の属性)が係り受け関係にある頻度}{二つの文節(の属性)が一文中に出現する頻度}
	\]
  \item[(2)] 一文中の係り受け解析結果の確率を，文中の全ての文節間の係り受け関係の
	確率の積(もしくは，それに何らかの正規化を施したもの)で計算し，
	確率値最大の解析結果を求める．
  \item[(3)] 上記の従来のモデルのうち，\cite{Haruno98cj}以外においては，
	係り受け解析の際に使用する属性があらかじめ固定されており，
	属性選択を明示的に行う機構がない．
	また，\cite{Haruno98cj}においては，決定リスト学習ではなく，
	決定木学習\cite{Quinlan93a}によって属性選択が行われる．
\end{enumerate}
これらの相違点について，以下では，まず，\ref{subsubsec:prev_dep}節において，
上記の(1)，(2)を満たすモデル\mbox{と本論文のモデル}の比較を行う．
次に，\ref{subsubsec:dtree}節において，
決定木学習\cite{Quinlan93a}を用いた\break
統計的係り受け解析手法\cite{Haruno98cj}との比較を行う．

\subsubsection{「係る」「係らない」を事象とし「係る」確率のみを考慮するモデルとの比較}
\label{subsubsec:prev_dep}





本論文の従属節間の係り受け解析の設定において，上記(1)および(2)を満たす
モデルとして，第\ref{sec:learn}節の決定リスト学習による従属節係り受け選好情報抽出，
および，第\ref{sec:ana}\mbox{節の決定リスト}を用いた従属節係り受け解析
の枠組みに以下の変更を施したモデルを考える．
\begin{itemize}
  \item 従属節の素性として，「文末」を表す素性を追加する
	(従来のモデルとあわせるために必要．)．
  \item 決定リストのクラスとして，先行する述語的文節が後続する述語的文節に
	「係る」場合と「係らない」場合の二値を設定する．
  \item 先行する述語的文節$Seg_i$が後続する述語的文節$Seg_j$に係る
	係り受け関係の優先度$Q(D\!=\!係る\mid (Seg_i,Seg_j))$として，以下のものを用いる．
	\begin{eqnarray*}
	Q(D\!=\!係る\mid (Seg_i,Seg_j)) & = & \hat{P}(D\!=\!係る\mid (Seg_i,Seg_j))
	\end{eqnarray*}
\end{itemize}

\begin{table*}
\begin{center}
\caption{一文中の従属節の係り受け解析の実験結果 (\%):\\ 「係る」「係らない」を事象とし「係る」確率のみを考慮するモデル}  
\label{tab:ressub-prev}
\begin{tabular}[c]{|c||c|c||c|c|} \hline
                        &    \multicolumn{2}{|c||}{文節レベル} 
                        &    \multicolumn{2}{|c|}{文レベル} \\ \cline{2-5}
$P(D\mid E)$ & カバレージ & 適合率 & カバレージ & 適合率 \\ \hline\hline
1          &  0.4 & 81.3 & 0.03 & 100 \\ 
$\sim$0.95 &  0.7 & 86.7 & 0.2 & 100 \\ 
$\sim$0.90 & 1.9 & 85.9 & 0.3 & 90.0 \\
$\sim$0.85 & 13.3 & 85.1 & 5.0 & 90.3 \\
$\sim$0.80 & 28.1 & 83.7 & 13.4 & 89.0 \\
$\sim$0.75 & 37.5 & 81.7 & 20.7 & 85.0 \\
$\sim$0.70 & 56.9 & 80.0 & 34.1 & 81.8 \\
$\sim$0.65 & 90.2 & 75.8 & 76.0 & 71.9 \\
$\sim$0.6180 & 92.2 & 75.0 & 89.6 & 71.3  \\ \hline
\end{tabular}
\end{center}
\end{table*}


\begin{figure}
  \begin{center}
    \epsfile{file=fig/pr-cv-subsegsent.ps,scale=0.8}

        \caption{一文中の従属節の係り受け解析: 「係る」「係らない」を事象とし\\「係る」確率のみを考慮するモデルとの比較}
        \label{fig:res_prev}
  \end{center}
\end{figure}

このモデルに対して，
EDR日本語コーパス約21万文のうちの訓練用データ(95\%)から
抽出した従属節係り受けデータから，
従属節係り受け選好のための決定リストを学習した．
\mbox{このモデ}ルによって学習された決定リストにおいては，
$D\!=\!「係らない」$がデフォールト規則となり，その確率値は，
$P(D\!=\!係らない)\!=\!0.6180$であった．
このモデルを用いて，
\ref{subsubsec:subsent}節と同じ設定で一文中の従属節の
係り受け解析を行った結果を，
表\ref{tab:ressub-prev}，
および図\ref{fig:ressub}の「係る／係らない」のプロットに示す．
本論文のモデルと比較すると，条件付確率$P(D\mid E)$の閾値が同じ場合，
文節レベル・文レベルともにカバレージがかなり低いことが分かる．
また，カバレージに対する適合率\break
の推移をプロットした結果を，
本論文のモデルによる結果と比較したものを図\ref{fig:res_prev}に示す．
\mbox{これか}ら分かるように，文節レベル・文レベルともに，
カバレージ・適合率の両方において，本論文のモデルの方が
高い性能を示している．
これらの結果から，従属節間の係り受け解析に関しては，
「係る」「係らない」を事象とし「係る」確率のみを考慮する従来の統計的係り受け解析モデル
と比較して，本論文のモデルの性能の方が上回っているといえる．


\vspace{-4mm}
\subsubsection{二つの従属節の間の係り受け関係の推定: 決定木学習による素性選択との比較}
\label{subsubsec:dtree}

次に，統計的日本語係り受け解析において，係り受け関係の判定に有効な素性の選択に
決定木学習\cite{Quinlan93a}を用いた手法\cite{Haruno98cj}と，
本論文の手法の比較を行う．
決定木学習においては，訓練集合中で，
目的クラスに関するエントロピーの減少分が
最大となるように素性が選択され，訓練集合が部分集合に分割される．
本論文の決定リスト学習の手法における素性選択と，
\cite{Haruno98cj}における素性選択の間の最大の違いとして，
本論文の手法では，係り側文節と受け側の両方の素性を同時に考慮して
素性選択が行われるのに対して，\cite{Haruno98cj}の決定木学習における素性選択では，
一回の素性選択のプロセスでは，
係り側素性あるいは受け側素性のどちらか一方のみが選択される．
したがって，\cite{Haruno98cj}の決定木学習における素性選択では，
係り側と受け側の素性が組になってはじめて係り受け関係の推定に
有効となるような素性の組の有効性が過小評価されてしまうおそれがある．

そこで，係り側と受け側の組で従属節の素性の有効性を評価する方法が，
全体の精度にどの程度寄与しているかを調べるために，
決定木学習の手法\cite{Quinlan93a}を
従属節係り受け選好情報の学習に適用し，本論文の決定リスト学習による結果と比較した．
ただし，決定木学習\cite{Quinlan93a}の適用にあたっては，
\cite{Haruno98cj}における素性の設定方法を参考にして素性の設定を行った．
具体的には，係り側・受け側の述語的文節の双方について，
\ref{subsec:ftr}節で設定したi)$\sim$iv)の四つの素性タイプを素性とし
(素性数は合計8個)，各素性のとり得る値は，
表\ref{tab:ftr}中の右欄の対応するもの
(すなわち，i)読点素性は2個，ii)文法・品詞素性は17個，iii)節末活用語活用形素性は12個，
iv)語彙素性は235個)とした
\footnote{
  他の素性の設定方法として，決定リスト学習の場合のように，
  全ての素性(全266個)を二値素性とする方法も考えられるが，
  この場合，素性数が多いため，決定木学習の効率が悪く，また決定木適用時の性能も
  よくない．
}．
また，決定すべきクラスは，\ref{subsec:dlist_sb}節の決定リスト学習の
場合と同様に，前の述語的文節が後ろの述語的文節に「係る」場合と，
「越える」(より後ろに係る)場合の二値とした．
さらに，決定リスト学習の手法と条件を同じにするために，
決定木の葉節点における用例の総頻度は10以上とし，また，
学習された決定木の枝刈りは行っていない．



\begin{figure}
  \begin{center}
    \epsfile{file=fig/pr-cv-seg-nc.ps,scale=0.8}
        \caption{二つの従属節の間の係り受け関係の推定:\\ 決定リスト・決定木学習の比較}
        \label{fig:res_dtree}
  \end{center}
\end{figure}

以上の条件のもとで，\ref{subsubsec:experi-pair}節において，
決定リストを用いて二つの従属節の間の係り受け関係を推定した場合と同じ
訓練用データおよび評価用データを用いて，
二つの従属節の間の係り受け関係を推定する決定木を学習し，その性能の評価を行った．
\ref{subsubsec:experi-pair}節の場合と同様に，
決定木の葉節点におけるクラスの条件付確率の下限値を変化させて，
カバレージと適合率の相関を調べた．
この結果を表\ref{tab:ressub}の「決定木による素性選択」の欄，
および図\ref{fig:resseg}の「決定木」\mbox{のプロットに示}す．
これらの結果から分かるように，決定木の葉節点におけるクラスの条件付確率の下限値が，
決定リストにおける条件付確率$P(D\mid E)$の下限値と同じ場合，
決定木の適合率は決定リストよりも若干優れているが，
カバレージはかなり低いことがわかる．
この理由として，両者のモデルの大きさの違いが挙げられる．
決定リストの規則数が7,812であるのに対して，決定木の総節点数は774で，
両者のモデルの大きさはほぼ一桁違うことになる．
つまり，決定リスト学習の方は，決定木学習に比べてきめ細かいモデルが
学習できており，高いカバレージを示す反面，
ノイズとなる規則も含まれているため，適合率において若干劣っていると考えられる．

また，決定リストと決定木の間で，カバレージに対する適合率の推移をプロットした結果を
\mbox{比較したもの}を図\ref{fig:res_dtree}に示す．
図\ref{fig:res_dtree}においては，ほとんどのカバレージにおいて，\mbox{決定リストに}よる適合率が，
決定木による適合率を2$\sim$3\%程度上回っており，
これらの部分においては，統計的検定を行った結果においても，両者の間に有意な差が認められた．
また，両者の適合率が接近する部分(3点)においては，
統計的検定を行った結果において有意な差は認られなかった．
この結果から，
カバレージ・適合率の両方を総合的に考慮すると，
決定リストの方が決定木よりもほぼ高い性能を示していると言える．
したがって，決定木学習において\cite{Haruno98cj}の素性の設定方法を参考にした場合と比較すると，
決定リスト学習において係り側と受け側の組で従属節の素性の有効性を評価する方法が，
全体の精度にある程度寄与していることがわかる．


\section{文係り受け解析における従属節係り受け選好情報の評価}
\label{sec:sentana}

次に，\ref{subsubsec:subsent}節で一文中の従属節の係り受け解析により
推定した従属節間の係り受け関係を，\cite{Fujio97aj,Fujio99aj}の
統計的文係り受け解析において利用し，その性能を評価する．

\vspace{-1mm}
\subsection{評価法}
\label{subsec:sentM}

具体的には，\ref{subsubsec:subsent}節の従属節係り受け解析で出力される
係り受け関係を，\cite{Fujio97aj,Fujio99aj}の統計的文係り受け解析に
おける初期係り受け制約として固定し，従属節間の係り受け関係の可能性を制限した形で
文係り受け解析を行う
\footnote{
  よりきめ細かな方法としては，
  従属節係り受け解析における係り受け確率の値を考慮して，
  \cite{Fujio97aj,Fujio99aj}の統計的文係り受け解析において，
  従属節間の係り受け関係を何らかの形で重み付けするといった方法も
  考えられる．
  本論文では，評価を簡単にするため，現在の方法をとっている．
}．
ここでも，条件付確率$P(D\mid E)$の閾値を変化させることによって，
統計的文係り受け解析において利用可能な初期係り受け制約の数を変化させ，
文係り受け解析の精度がどのように推移するかを測定する．

文係り受け解析の精度は，\ref{subsubsec:subsent}節の場合と同様に，
文節レベル・文レベルの適合率によって評価する．ただし，
\ref{subsubsec:subsent}節の場合と違い，述語的文節だけでなく，文中の全文節の係り先に
ついて評価を行う．
また，文レベルの適合率については，\cite{Fujio97aj,Fujio99aj}の統計的文係り受け解析
の確率値が最大の解析結果の適合率に加えて，確率値の上位5個以内に正解が含有される率の
測定も行う．

\subsection{評価用データセット}

EDR日本語コーパス約21万文のうちの評価用データ(5\%)から以下の部分集合を求め，
評価用データセットとした．
\begin{enumerate}
  \item 「全評価セット」\\
	一文中に二つ以上の従属節を含み，従属節の係り受けの曖昧性
	のある文3,128文からなる評価セット．

  \item 「従属節の初期係り受け制約(少なくとも一つ)付の部分評価セット」\\
	「全評価セット」中の文のうち，初期係り受け制約として，
	文中の少なくとも一つの従属節の係り先が固定されている文からなる評価セット
	(条件付確率$P(D\mid E)$の下限値によって変化)．	

  \item 「従属節の初期係り受け制約(完全)付の部分評価セット」\\
	「従属節の初期係り受け制約(少なくとも一つ)付の部分評価セット」中の文のうち，
	初期係り受け制約として，文中の全ての従属節の係り先が固定されている文からなる評価セット	
	(条件付確率$P(D\mid E)$の下限値によって変化)．	

\end{enumerate}


\subsection{結果および考察}
\begin{figure}
  \begin{center}
    \epsfile{file=fig/pr-cvseg-seg-j.ps,scale=0.8}
\vspace*{-1mm}
       \caption{文係り受け解析における従属節係り受け選好情報の評価: \\
	従属節係り受け制約のもとでの文節レベル適合率}
        \label{fig:segeval}
  \end{center}
\end{figure}


\begin{figure}
\begin{center}
\epsfile{file=fig/pr-cvseg-sent1-j.ps,scale=0.8}

\epsfile{file=fig/pr-cvseg-sent5-j.ps,scale=0.8}
        \caption{文係り受け解析における従属節係り受け選好情報の評価: \\
	従属節係り受け制約のもとでの文レベル正解含有率}
        \label{fig:senteval}
\end{center}  
\end{figure}

条件付確率$P(D\mid E)$の下限値の変化に伴って，
文節レベルの係り受け解析適合率，\mbox{文レベル}の係り受け解析正解含有率が
どのように変化するかを，それぞれ，図~\ref{fig:segeval}および図~\ref{fig:senteval}に
\mbox{示す．
こ}こでは，特に，統計的文係り受け解析において利用可能な初期係り受け制約のカバレージと
文係り受け解析の精度の相関を調べるために，
図~\ref{fig:segeval}および図~\ref{fig:senteval}の横軸としては，
\ref{subsubsec:subsent}\mbox{節の一文中}の従属節の係り受け解析の
従属節レベルのカバレージ
(表\ref{tab:ressub-sent}の文節レベルカバレージ)
を用いる．
また，図~\ref{fig:senteval}の文レベルの係り受け解析正解含有率としては，
文係り受け解析結果の上位1個および5個中での正解含有率を示す．

さらに，図~\ref{fig:segeval}および図~\ref{fig:senteval}中には，
文係り受け解析精度の上限値および下限値もそれぞれ示す．
ここで，文係り受け解析精度の上限値は，
従属節の係り先の正解を正解コーパスから取り出し，
\ref{subsec:sentM}節の評価手順において，\cite{Fujio97aj,Fujio99aj}の
統計的文係り受け解析における初期係り受け制約として，
この正しい係り先を与えた場合の精度である．
また，下限値は，\ref{subsec:sentM}節の評価手順において，
\cite{Fujio97aj,Fujio99aj}の統計的文係り受け解析における初期係り受け制約として
何も与えなかった場合，すなわち，\cite{Fujio97aj,Fujio99aj}の統計的文係り受け解析
そのままの精度である．

図~\ref{fig:segeval}の「全評価セット」に対する文節レベル適合率は，
従属節レベルの\mbox{カバレージが約83\%の}時
(条件付確率$P(D\mid E)$の下限値が0.8の時)に最大となり，
その最大値は，文係り受け精度の下限値よりも1.7\%上回っている．
この結果を言い換えれば，全体の8割強の従属節に対して，
条件付確率$P(D\mid E)$の値が0.8以上という条件を満たす初期係り受け制約を
与えた場合に，評価セット全体での性能が最大となるということである．
それ以外の場合には，従属節の初期係り受け制約のカバレージが少ないか，
あるいは，条件付確率$P(D\mid E)$の下限値の条件が緩すぎるかのどちらかの理由により，
評価セット全体としての性能は低下する．
また，「従属節の初期係り受け制約(完全)付の部分評価セット」に対する文節レベル適合率は，
従属節レベルのカバレージが約20\%の時
(条件付確率$P(D\mid E)$の下限値が0.95の時)に最大となり，
文係り受け精度の下限値と比べて3.4\%向上している．
これは，文係り受け精度の下限値と上限値の間の精度向上分(5.1\%)と比較して，
約6割に達している．
さらに，図~\ref{fig:senteval}の文レベルの係り受け解析正解含有率のうち，
文係り受け解析結果の上位1個に対する結果については，文節レベルの適合率とほぼ
同様の傾向がみられる
\footnote{
  全評価セットの結果と「従属節の初期係り受け制約(少なくとも一つ)付の部分評価セット」の結果を
  比べると，
  横軸のカバレージが20\%以下の場合
  ($P(D\mid E)$の下限値が0.95および1の場合)は，
  全評価セットに比べて，「従属節の初期係り受け制約(少なくとも一つ)付の部分評価セット」
  の方が，正解含有率がわずかに低くなっており，
  それ以外の場合には，全評価セットの方が正解含有率が低いか，
  あるいは両者がほぼ同程度の正解含有率を示している．
  このうち，\mbox{全評}価セットの方が高い正解含有率を示す場合がある理由は，
  係り先が曖昧な述語的文節が一文中に含まれる平均数において，
  後者の評価セットの方が前者を上回っており，
  (平均的にみて)係り受け解析がより難しくなっているからである．
}．

これらの結果から，条件付確率$P(D\mid E)$の下限値をどのように設定した場合でも，
従属節の初期係り受け制約を用いることにより，
文節レベルの適合率および文係り受け解析結果の上位1個での
正解含有率の両方において，下限値を上回る結果が得られているので，
\cite{Fujio97aj,Fujio99aj}の統計的文係り受け解析の性能向上に効果があることがわかる．

また，文係り受け解析結果の上位5個に対する結果においても，
「従属節の初期係り受け制約(完全)付の部分評価セット」では，
条件付確率$P(D\mid E)$の下限値の条件が厳しくなりカバレージが下がるにしたがって，
文正解含有率がかなり上限に近づいており，
従属節の初期係り受け制約の有効性が確認できる．
しかし，
条件付確率$P(D\mid E)$の下限値の条件が緩くなり
従属節の初期係り受け制約のカバレージが上がると，
いずれの評価セットにおいても文正解含有率が低下し，
カバレージが100\%近くでは下限値をも下回ってしまう．
つまり，文係り受け解析結果の上位5個までに正解が含まれればよい
という緩い基準のもとでは，
従属節の初期係り受け制約として信頼性の低いものまで用いてしまうと，
\cite{Fujio97aj,Fujio99aj}の統計的文係り受け解析の結果をそのまま信用するよりも
若干性能が悪くなることになる．

\section{おわりに}

本論文では，大量の構文解析済コーパスから，統計的手法により，
従属節節末表現の間の係り受け関係を判定する規則を自動抽出する手法を提案した．
実際に，EDR日本語コーパス\cite{EDR95aj-nlp}(構文解析済，約21万文)から従属節係り受け判定規則を抽出し，
これを用いて従属節の係り受け関係を判定する評価実験を行い，
本論文の手法が有用であることを示した．
また，関連手法との性能比較においても，本論文の手法の方が優れていることを示した．
さらに，推定された従属節間の係り受け関係を，
\cite{Fujio97aj,Fujio99aj}の統計的文係り受け解析において利用することにより，
統計的文係り受け解析の精度が向上することを示した．
今後は，本論文の方法により推定された従属節間の係り受け関係，
並列構造の推定に関するヒューリスティックス\cite{Kurohashi92cj}，
統計的に推定された動詞の下位範疇化優先度\cite{Utsuro98b}など，
従来の統計的係り受け解析モデルでは利用されていなかった情報を，
統計的日本語係り受け解析の枠組みにおいて
統合的に利用する方式を提案し，
それらの情報が係り受け解析の精度向上にどの程度寄与するのかを
評価していく予定である．
その際には，述語的文節間の距離の情報や，
二つの従属節の間にどのような従属節があるか，すなわち
三つ以上の従属節の間の依存関係など，
本論文で扱わなかった情報についても，
それらを統合的に利用しその有効性を検証する．




\bibliographystyle{jnlpbbl}
\bibliography{v06n7_02}

\begin{biography}
\biotitle{略歴}
\bioauthor{宇津呂 武仁}
{1989年京都大学工学部電気工学第二学科卒業．
1994年同大学大学院工学研究科博士課程電気工学第二専攻修了．
京都大学博士（工学）．
同年，奈良先端科学技術大学院大学助手，現在に至る．
1999$\sim$2000年，米国ジョンズ・ホプキンス大学計算機科学科客員研究員．
自然言語処理の研究に従事．
情報処理学会，人工知能学会，日本ソフトウェア科学会，
ACL各会員．
}
\bioauthor{西岡山 滋之}
{
1992年大阪教育大学教育学部教養学科卒業．
1998年奈良先端科学技術大学院大学情報科学研究科情報処理学専攻博士前期課程修了．
現在，大阪大学言語文化研究科博士前期課程在学中．
日本ソフトウェア科学会，
認知科学会各会員．
}
\bioauthor{藤尾 正和}
{1995年京都大学理学部生物学科卒業．
1997年奈良先端科学技術大学院大学情報科学研究科情報処理学専攻博士前期課程修了．
現在，同博士後期課程在学中．自然言語処理の研究に従事．学習理論，構文解析に興味を持つ．
}
\bioauthor{松本 裕治}
{
1977年京都大学工学部情報工学科卒．1979年同大学大
学院工学研究科修士課程情報工学専攻修了．同年電子技術総合研究所入
所．1984〜85年英国インペリアルカレッジ客員研究員．1985〜87年
（財）新世代コンピュータ技術開発機構に出向．京都大学助教授を経て，
1993年より奈良先端科学技術大学院大学教授，現在に至る．
京都大学工学博士．
専門は自然言語処理．
情報処理学会，
人工知能学会，
日本ソフトウェア科学会，
認知科学会，
AAAI, ACL, ACM各会員．
}
\bioreceived{受付}
\biorevised{再受付}
\biorerevised{再々受付}
\bioaccepted{採録}

\end{biography}

\end{document}

