\documentclass[tombow,japanese]{jnlp_2.3}
\usepackage{jnlpbbl_1.3}
\usepackage[dvipdfm]{graphicx}
\usepackage{gentombow}
\usepackage{amsmath}
\settombowbleed{5mm}
\usepackage{hangcaption_jnlp}
\usepackage{array}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%\usepackage{ascmac}
%%%%\usepackage{arydshln}
%%%%\usepackage{jnlpbbl_1.3}
%%%%\usepackage[dvipdfmx]{graphicx}
\usepackage{multirow}
%%%%\graphicspath{{./figures/}}
%%%%\usepackage{amsmath}
%%%%\usepackage{comment}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


\Volume{27}
\Number{1}
\Month{March}
\Year{2020}
%%%%\Issuetitle{「　　　　」特集号}

\received{2019}{7}{26}
\revised{2019}{11}{8}
%%%%\rerevised{2006}{5}{6}
\accepted{2019}{12}{24}

\setcounter{page}{31}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{世界史用語集の語釈文における\\見出し語に照応するゼロ代名詞とその表層格の推定}
\jauthor{大矢　康介\affiref{Author_1} \and 阪本浩太郎\affiref{Author_1} \and 渋木　英潔\affiref{Author_2} \and 森　　辰則\affiref{Author_3}}
\jabstract{%
本稿では，世界史に関する大学入試論述問題に対して自動要約手法に基づき解答を自動生成する際の知識源の一つとして世界史用語集に注目し，見出し語と語釈部に分かれている文書データから解答となる文章を作成するために，語釈文における見出し語に照応するゼロ代名詞とその表層格を推定する手法を提案する．本稿の扱うタスクは，先行詞候補が見出し語に限られている一方でそれに照応するゼロ代名詞を複数の候補から一つ選ぶという点，および先行詞である見出し語が文中に存在しないため，照応解析において有効な手掛かりとなる先行詞の文脈情報が全く使えないという点で，従来のゼロ代名詞照応解析とは異なる．世界史用語集を対象とした評価実験を行った結果，KNP を用いた既存のゼロ照応解析を使用した手法に比べ，提案手法が有効であることが確認された．さらに，出現頻度の低い表層格で埋め込まれる場合の精度低下が観察されたため，通常の文から擬似訓練事例を生成する手法を検討した．同事例を使用した結果，ヲ格，ニ格の推定のF値を改善できることが確認された．
}
\jkeywords{ゼロ代名詞照応解析，擬似訓練事例，表層格推定，照応解析，世界史用語集}

\etitle{A New Method to Find Zero Pronouns Referring to Entry Words and Estimate their Surface Cases in the Context of a World History Glossary and its Descriptions}
\eauthor{Kosuke Oya\affiref{Author_1} \and Kotaro Sakamoto\affiref{Author_1} \and Hideyuki Shibuki\affiref{Author_2} \and Tatsunori Mori\affiref{Author_3}} 
\eabstract{
In this paper, we focus on the usage of a world history glossary as one of the knowledge sources for automated answer generation of essay-type questions. The questions we use were derived the University of Tokyo's entrance examinations on world history, and the answer generation uses a multi-document summarization methodology. In the automated answer generation, the glossary's descriptions we used as part of the answers. However, entry words were often omitted from the descriptions. To make complete sentences from entry words and their description, we propose a method to find zero pronouns referring to entry words inside the descriptions and estimate their surface cases. This paper's task differs from conventional zero anaphora resolution in the following two ways. First, with this method the entry word is the only candidate for the antecedent, as opposed to having to select one zero pronoun among several zero pronouns. Second, context information of the antecedent, which may be a useful clue in anaphora resolution, does not exist for the entry words, because the entry word appears alone and is not embedded in a sentence. Evaluation results based on a world history glossary revealed that the proposed method would be more effective than the existing method using zero anaphora analysis with Kurohashi-Nagao Parser. Furthermore, we attempted a method to generate pseudo training data from ordinary sentences in a textbook because we observed low accuracy when the entry word was embedded with low-frequency surface cases. Additionally, the results demonstrated that the introduction of the data improves the estimation of ``o''-case and ``ni''-case  in terms of F-measure.
}
\ekeywords{Zero Anaphora Resolution, Pseudo Training Data, Surface Cases Estimation, Reference Resolution, World History Glossary}

\headauthor{大矢，阪本，渋木，森}
\headtitle{世界史用語集の語釈文における見出し語に照応するゼロ代名詞とその表層格の推定}

\affilabel{Author_1}{横浜国立大学大学院環境情報学府}{Graduate School of Environment and Information Sciences, Yokohama \mbox{National} University}
\affilabel{Author_2}{国立情報学研究所}{National Institute of Informatics}
\affilabel{Author_3}{横浜国立大学大学院環境情報研究院}{Graduate Schoole of Environment and Information Sciences, Yokohama National University}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%
% 第1章      %
%%%%%%%%%%%%%%
\section{はじめに}
\label{intro}

近年，文書情報に対する情報要求は複雑化，高度化しており，そのような要求を満たすアクセス技術として質問応答が注目されている．
質問応答とは，利用者の自然言語による質問に対して情報源となる文書集合から解答そのものを抽出する技術であり，複雑高度な情報要求を自然言語で表現できる点に特徴がある．

しかしながら，従来の質問応答に関する研究では，「アメリカの大統領は誰ですか？」といった比較的簡単な形式の質問を扱うものが多く，質問の確信に至るまでの背景や経緯を複数文にわたって説明したりする現実世界の質問状況とは異なる場合がある．
そのような現実世界における質問に対する質問応答を目的とした取り組みは，TRECのLive QA~\cite{trec}やNTCIRのQA Lab~\cite{shibuki2014,shibuki2016,shibuki2017}，「ロボットは東大に入れるか」プロジェクト（以下，「東ロボプロジェクト」）\cite{torobo}などで盛んに行われている．

現実世界における質問のように，質問の背景を複数文にわたって説明する記述や，解答が複数文を含む文章となるような質問の例として，大学入試問題が挙げられる
．大学入試問題には大学入試センター試験と二次試験があり，二次試験の世界史分野には数十字から数百字以内で解答を記述する論述問題が含まれていることがある．
QA Labでは，世界史の大学入試問題を対象としており，特に二次試験の論述問題への自動解答が挑戦的な課題として設定されている．
先行研究\cite{sakamoto-system}では，情報要求の存在する抽出型の複数文書要約としてこの課題を位置づけ，教科書や用語集等の知識源から句点区切りの単位でテキストを抽出・整列して論述問題に解答する質問応答システムを提案している．
知識源に使用される用語集は見出し語と語釈部に分かれて構成されており，語釈部には見出し語が明示されていないため，語釈部を句点で区切った文（以下，「語釈文」という）だけをそのまま解答文に含めてしまうと，何について述べているかわからない文になってしまう．
また，論述問題において解答に含めなければならない指定語句が見出し語となっている場合，語釈文だけから解答を構成すると大きく減点されてしまう．

このような背景から，上述の既存システムでは，用語集の語釈文を解答の材料として抽出した際には，見出し語を文頭に主題として付け加えた文を生成し，これを解答の一部とする手法を提案している．
しかしながら，この手法によって生成された文は，文法的に誤りがある場合や，解答文に適していない場合がある\footnote{\ref{problem}節に後述する．}．

これらの問題を解消するためには，
\begin{enumerate}
\renewcommand{\theenumi}{(\roman{enumi})}
\renewcommand{\labelenumi}{(\roman{enumi})}
\item 見出し語を語釈文に埋め込むことができるか，否か，すなわち，語釈文の述語の省略された項をゼロ代名詞とみなした場合，見出し語がその先行詞となるか，否かを判定する．見出し語を埋め込むことができる，すなわち，見出し語が先行詞となるのであれば，見出し語の表層格を推定する．
\label{enum:one-0}
\item 問題文ならびに論述文章の前後の文等から何を主題にするかを決定し，それに応じて格交替などを行い論述問題の解答の一部とする．
\label{enum:two-0}
\end{enumerate}
ことが必要である．
本稿では，\ref{enum:one-0}に掲げた課題を解決するために，語釈文中の各動詞に着目し，それが見出し語に照応するゼロ代名詞を持つか否かを判定するとともに，持つ場合にはその表層格を推定する手法を検討する．\ref{enum:two-0}については，今後の課題とする．

また，提案手法は，教師あり学習に基づく手法となっているため，訓練事例を必要とするが，用語集の形式をした事例は数に限りがあり，特定の表層格で埋め込む場合の事例が限られていることが観察された．そのため，訓練事例数が少ないという問題を解消するために，擬似訓練事例の自動生成を行う．

本稿の以降の章では次の内容を述べる．
2章では既存の世界史論述解答システムの概要とその問題点を述べ，本研究で提案する解決策を述べる．
3章では世界史用語集に関して予備調査を行った結果について述べる．
4章では本研究の関連研究について述べる．
5章では見出し語に照応するゼロ代名詞とその表層格を推定する手法を提案する．
6章では実験結果を報告し，7章で考察，8章でまとめとする．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[b]
\vspace{-1\Cvs}
\begin{center}
\includegraphics{27-1ia2f1.eps}
\end{center}
\caption{東京大学2008年度入試二次試験における世界史の問1}
\label{fg:2008question}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[b]
\begin{center}
\includegraphics{27-1ia2f2.eps}
\end{center}
\caption{東京大学2008年度入試二次試験における世界史の問1に対する解答例}
\label{fg:2008answer}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%
% 第2章
%%%%%%%%%%

\section{世界史論述問題解答システム}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{大学入試における世界史論述問題の構成}

例えば，東京大学入試二次試験における世界史は3問の大問から成っており，大問毎に，大論述，小論述，語句と解答の形式が異なっている．本稿では，問1の大論述問題を対象とする．問1の質問文は，図\ref{fg:2008question}のようにコンテキスト部と制約指定部からなっており，コンテキスト部を読ませ，制約指定部で指定される字数制約450字〜600字，7個〜9個の指定語句，「17世紀から18世紀末まで」のような時間制約などを満たすコンテキスト部に関連する解答が求められる．この問題に対する解答例\cite{akahon}を図\ref{fg:2008answer}に示す．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{解答システムの事例とその問題点}
\label{problem}

Sakamoto et al. \cite{forst2016}では，東京大学入試二次試験の世界史分野の指定語句ありの論述問題を対象とした質問応答システムの構築を検討している．論述問題を情報要求の存在する抽出型の複数文書要約として位置づけ，論述問題を解く際には，知識源として教科書4冊と用語集1冊を利用している．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 3
\begin{figure}[b]
\begin{center}
\includegraphics{27-1ia2f3.eps}
\end{center}
\caption{世界史論述問題解答システムの概要}
\label{fg:sakamoto-system}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

同研究で提案されている大学入試の論述問題における質問応答システムの概要を図\ref{fg:sakamoto-system}に示す．同システムが論述問題を解く手順は次の通りである．

まず最初に，質問文として東京大学入試二次試験世界史問1の問題文を入力する．
第一段階の「質問文解析」では，質問文から，問題文，指定語句，制限文字数，指定された時間情報を抽出する．
第二段階の「関連文書の検索」では，文書検索モジュールを用いて知識源から指定語句を含む文書を検索する．
第三段階の「文の抽出」では，知識源から指定語句を含む文を句点区切りで抽出する．この際，用語集から抽出した文に対しては文頭に見出し語を主題として埋め込む．
第四段階の「文の組の生成」では，同じ指定語句を含む文をまとめて指定語句ごとに組を作成する．
第五段階の「文の順位付け」では，解候補としての相応しさを表すスコアを文に付与し，そのスコアを基に文の組の中で順位付けを行う．スコアが等しい場合は文の文字数が多い順に順位づける．
第六段階の「解候補生成」では，それぞれの文の組の上位 5 文から 1 文ずつ選択し組み合わせることで複数の解候補を生成する．
第七段階の「文の並べ替え」では，解候補中の文を文の時間情報を基に古い順に並べる．
第八段階の「解候補の削減」では，字数制約に反する解候補は削除する．もし字数制約を満たす解候補が存在しない場合は最小字数の解候補のみ残す．
第九段階の「解候補順位付け」では，それぞれの解候補に解答らしさのスコアをつけて，スコアを基に順位付けを行う．解候補の解答らしさのスコアは解候補に含まれる文のスコアの合計で計測する．
第十段階の「解候補選択」では，解答らしさのスコアが最大の解候補を選択する．
以上のように，この研究では指定語句で検索して，知識源の中から解答と思われる記述を文単位で抽出している．

知識源のうちの1つである世界史用語集は表\ref{tab:glossary-example}のように見出し語と語釈部に分かれて構成されている．
上記第三段落において，論述問題に解答する際に，この語釈部を句点で区切った文だけをそのまま解候補の一部に含めてしまうと，何について述べているかわからない文になってしまう．
また，論述問題において解答に含めなければならない指定語句が見出し語となっている場合，見出し語を含まない語釈文だけから解答を構成すると大きく減点されてしまう．
このため上述のシステムでは，用語集の語釈文を解答の材料として抽出した際には，助詞「は」を添えた見出し語を文頭に付け加えた文を生成する手法を提案している．
図\ref{fg:system-answer-sample}の下線部はそれぞれ用語集から語釈文を抽出し，この手法を適用した文である．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[b]
\caption{用語集の見出し語と語釈部の例}
\label{tab:glossary-example}
\input{02table01.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

この手法は，図\ref{fg:system-answer-sample}下線部(1)のようにコピュラ文となる場合等には文法的に問題ないが，語釈文によっては図\ref{fg:system-answer-sample}下線部(2)のように文法的に誤りのある文が生成され得るという問題点がある．
また，この手法によって得た文の主題は図\ref{fg:system-answer-sample}下線部(3)のようにかならず見出し語になるため，解答文に適していない場合がある．
例えば図\ref{fg:2008question}に示す2008年度の問1は，各国の動きを述べよという問題であり，図\ref{fg:2008answer}に示す模範解答\footnote{https://akahon.net/}ではイギリスを主題として文章が展開されているが，上記手法による解答では，国ではない「クリミア戦争」という出来事が主題となっており，解答に適している文であるとは言えない．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 4
\begin{figure}[b]
\begin{center}
\includegraphics{27-1ia2f4.eps}
\end{center}
\caption{東京大学2008年度入試二次試験における世界史の問1に対する，先行研究のシステムによる解答}
\label{fg:system-answer-sample}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{本研究で提案する解決策}
\label{solver}

\ref{problem}節で述べたような問題を解消するためには，
\begin{enumerate}
\renewcommand{\theenumi}{(\roman{enumi})}
\renewcommand{\labelenumi}{(\roman{enumi})}
\item 見出し語を語釈文に埋め込むことができるか，否かを判定する．埋め込めるのであれば，見出し語の表層格を推定する．
\label{enum:one-1}
\item 問題文ならびに論述文章の前後の文等から何を主題にするかを決定し，それに応じて格交替などを行い論述問題の解答の一部とする．
\label{enum:two-1}
\end{enumerate}
ことが必要である．これらを行うことにより，例えば図\ref{fg:system-answer-sample}下線部(2)のような文を図\ref{fg:expected-answer}のように解答に適した文にすることができる．
具体的には，図\ref{fg:sakamoto-system}の第三段階の「文の抽出」により語釈文を抽出した後，\ref{enum:one-1}を行い，見出し語である「クリミア戦争」が「参戦する」の「ニ格」に埋め込むことができることを推定する．さらに図\ref{fg:sakamoto-system}の第七段階の「文の並び替え」を行った後に\ref{enum:two-1}を行い，問題文から国名「イギリスとフランスなど」を主題にすることを決定し，助詞「は」を添えて文頭に置く．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 5
\begin{figure}[b]
\begin{center}
\includegraphics{27-1ia2f5.eps}
\end{center}
\caption{本研究の提案する解決策により期待される文例}
\label{fg:expected-answer}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

次に，格交替が必要な例を挙げる．図\ref{fg:kakukoitai}の文例は，図\ref{fg:2008question}の問題に対して，先行研究のシステムから出力された解候補中の一文を簡略化したものである．この文に関しても，国名「フランス」を主題にすることが望ましいが，この場合，「ビスマルク」の格が何であるのかを推定する必要がある．さらに，「フランス」はヲ格の項となっているためそのまま主題にすると，不自然な文となってしまう．この例では，見出し語である「ビスマルク」が「孤立させる」の「ガ格」に埋め込むことができることを推定した後，「フランス」を主題にすることを決定し，「孤立させる」を「孤立させられる」のように受動態に書き換え格交替をすることが望ましい（図 7）．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 6
\begin{figure}[t]
\begin{center}
\includegraphics{27-1ia2f6.eps}
\end{center}
\caption{先行研究により出力されたものを簡略化した，格交替が必要な文例}
\label{fg:kakukoitai}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\ref{intro}章でも述べたように，本稿では\ref{enum:one-1}に掲げた課題を解決するために，語釈文中の各動詞に着目し，それが見出し語に照応するゼロ代名詞を持つか否かを判定するとともに，持つ場合にはその表層格を推定する手法を検討する．\ref{enum:two-1}については，今後の課題とする．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 7
\begin{figure}[t]
\begin{center}
\includegraphics{27-1ia2f7.eps}
\end{center}
\caption{本研究の提案する解決策により期待される文例2}
\label{fg:expected-answer2}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%
% 第3章      %
%%%%%%%%%%%%%%
\section{世界史用語集の見出し語と語釈文の関係に関する予備調査}
\label{research}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{調査の目的と方法}
\label{pre-research}

\ref{solver}節で提案した解決策を適用する必要がある文が世界史用語集の語釈部にどの程度存在するかを明らかにし，具体的なタスクの定義をするために，株式会社山川出版社・世界史B用語集改訂版\cite{yamakawa-glossary}を対象に，見出し語と語釈文との間の照応に関する以下の調査を行った．
分析対象には用語集の見出し語7,037語の中から70語間隔で抽出した見出し語100語とその語釈部に現れる全文を用いた．
また，以下の調査は全て単文単位で行う．すなわち語釈文が複文，重文になっている場合には，述語単位に切り分けたものに対して各調査における分類を行う．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\noindent{\bf 調査1}

見出し語と語釈文中の単文の関係を「1．単文においてゼロ代名詞化された格要素の一つが，見出し語に照応する」，「2．単文が，主題がゼロ代名詞化されたコピュラ文で，ゼロ代名詞が見出し語に照応する」，「3．単文中に見出し語そのものが現れている」，「4．単文に現れる代名詞が見出し語に照応する」，「5．1〜4のいずれでもない」のいずれかに人手で分類し，出現数を調べる．
それぞれに分類される語釈文中の単文および見出し語の例を表\ref{tab:title-sentence-relation-example}に示す．分類1の例では，「行われた」の「ガ格」の格要素がゼロ代名詞化しており，見出し語の「聖職売買」に照応している．分類2の例では，「エピクロス＝サモス島出身の哲学者」の関係が成り立っており，コピュラ文である．この場合先行研究の手法を適用できる．分類3の例では見出し語「四書」が語釈文に含まれている．分類4の例では代名詞「この（危機）」が見出し語「金融恐慌」に照応している．分類5の例は分類1〜分類4に該当せず，単文中に見出し語を埋め込むことはできない．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[b]
\caption{語釈文中の単文と見出し語の関係の分類毎の例}
\label{tab:title-sentence-relation-example}
\input{02table02.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\noindent{\bf 調査2}

表\ref{tab:title-sentence-relation}の分類1にはゼロ代名詞化された見出し語に照応する格要素が「動詞」「形容詞・形容動詞」「名詞」のうちどの品詞に関わる格要素であるかという観点で人手で分類を行い，その出現数について調べる．ここで用言のとる格は「が・を・に・で・と・から・へ・まで・より」格であり，名詞のとる格は「の」格のみである．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 3
\begin{table}[b]
\caption{語釈文中の単文と見出し語との間の関係の分類ならびにその出現数（調査1の結果）}
\label{tab:title-sentence-relation}
\input{02table03.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\noindent{\bf 調査3}

動詞のいずれかの格要素になっている場合の表層格毎の出現数についても人手で調べる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\noindent{\bf 調査4}

動詞のいずれかの格要素になっている場合について，表層格毎，節の種類毎の分布についてNPを用いて調べる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{調査結果および本研究のタスク定義}
\label{task}

調査1の結果を表\ref{tab:title-sentence-relation}に示す．「3．単文中に見出し語そのものが現れている」「4．単文に現れる代名詞が見出し語に照応する」場合は非常に少なく，「1．単文においてゼロ代名詞化された格要素の一つが，見出し語に照応する」場合が多いことがわかった．

調査2の結果を表\ref{tab:zero-case-relation}に示す．ゼロ代名詞化された格要素が見出し語に照応する場合，動詞の格要素になっている場合が非常に多いが，名詞の格要素になっている事例，形容詞・動詞の格要素になっている事例も見られた．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 4
\begin{table}[b]
\hangcaption{語釈文中の単文においてゼロ代名詞化された格要素と見出し語との間の分類ならびにその出現数（調査2の結果）}
\label{tab:zero-case-relation}
\input{02table04.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 5
\begin{table}[b]
\caption{動詞の格要素になっている場合の表層格毎の出現数（調査3の結果）}
\label{tab:verb-case-relation}
\input{02table05.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 8
\begin{figure}[b]
\begin{center}
\includegraphics{27-1ia2f8.eps}
\end{center}
\caption{見出し語が下線部動詞の「ガ格」に埋め込める時にSakamoto et al. (2016)の手法を適用した場合}
\label{fg:gakaku}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

調査3の結果を表\ref{tab:verb-case-relation}に示す．動詞の格要素になっている場合（表\ref{tab:zero-case-relation}のA），表層格は「ガ格」「ヲ格」「ニ格」「デ格」「ト格」「カラ格」となる場合があった．
表\ref{tab:verb-case-relation}を見ると「ガ格」の事例数が最も多く，「ヲ格」「ニ格」「デ格」の事例数は少なく，「ト格」「カラ格」の事例数は非常に少ない．用語集の語釈文に対して先行研究の手法\footnote{「見出し語＋は、」を文頭に付け加える．}を適用した時に意味がわかりにくくなってしまう事例は特に，見出し語が「ヲ格」「ニ格」「デ格」など「ガ格」以外の格に埋め込むことができる場合である．例えば，図\ref{fg:gakaku}は「聖職売買」が「行われた」の「ガ格」に埋め込める場合であるが，この場合先行研究の手法においても，生成された文単体としては，適格な文となっている\footnote{ただし，格の推定を行っていないので，主題の変更などは行えない．}．しかし，図\ref{fg:nikaku}のように「クリミア戦争」が「参戦した」の「ニ格」に埋め込める場合は，先行研究の手法を適用すると文単体として意味がわかりにくい文になってしまう．
そのため「ヲ格」「ニ格」「デ格」に埋め込めることを正しく推定することは重要であると言える．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 9
\begin{figure}[t]
\begin{center}
\includegraphics{27-1ia2f9.eps}
\end{center}
\caption{見出し語が下線部動詞「ニ格」に埋め込める時にSakamoto et al. (2016)の手法を適用した場合}
\label{fg:nikaku}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

調査4の結果を表\ref{tab:verb-case-phrase-relation}に示す．この表を見ると，見出し語が動詞の格要素になっている場合にその動詞が連体節の一部であるという事例は極めて少ない．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 6
\begin{table}[t]
\caption{動詞の格要素になっている場合の表層格毎，節の種類毎の出現数（調査4の結果）}
\label{tab:verb-case-phrase-relation}
\input{02table06.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

これらの調査結果をふまえ，本研究のタスク定義を以下に述べる．
本研究では，語釈文中の各動詞について，ゼロ代名詞化された格要素の一つが，見出し語に照応しているか否か，すなわち，表\ref{tab:zero-case-relation}のAであるか否かを判定し，表\ref{tab:zero-case-relation}のAである場合はさらにその表層格を推定する．
埋め込める場合の表層格は，「ガ格」「ヲ格」「ニ格」「デ格」「ト格」「カラ格」となるケースがあったが，「ト格」「カラ格」
となるケースは非常に少なかった．
そのため本研究では「埋め込めない」「ガ格」「ヲ格」「ニ格」「デ格」「それ以外の格」のうちのどれであるかを推定する．
また，表\ref{tab:title-sentence-relation}の分類2に属すコピュラ文については，体言止めの文でありその体言がサ変名詞以外であるか否か，という簡単な条件で判定できる\footnote{例えばコピュラ文は名詞＋判定詞（だ）で終わるが，世界史用語集においては判定詞（だ）が省略されている．例，見出し語）シュメール人，語釈文）メソポタミア南部で最古の文明を築いた民族．また，サ変名詞の場合はコピュラ文にならない．例えば，見出し語）ポンディシェリ，語釈文）1672〜74年フランスが獲得．}．
その場合は，助詞「は」を添えて見出し語を文頭に置くだけで良いので，本研究の扱うタスクの対象としない．
よって本研究の扱うタスクは，用語集の見出し語と語釈文を入力とし，語釈文中の各動詞句\footnote{KNPの解析の結果，$<$用言:動$>$タグがふられた句を動詞句としている．}に対して「埋め込めない」，「ガ格」，「デ格」，「ヲ格」，「ニ格」，「それ以外の格」のいずれかのラベルを出力するという多クラス分類問題とする．
その際，対象となる動詞句が受身形，および使役形の場合であっても原型に戻さず，それぞれの態のままで表層格の推定を行う．
入力と出力の例を図\ref{fg:system-in-out}に示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 10
\begin{figure}[t]
\begin{center}
\includegraphics{27-1ia2f10.eps}
\end{center}
\caption{本研究が扱うタスクにおける入出力例}
\label{fg:system-in-out}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}

日本語では格要素の省略が頻繁に起きることから，
\pagebreak
日本語ゼロ代名詞照応解析に関する研究が多く行われている．
大規模格フレーム\cite{caseframe2005,caseframe2006}を使用した手法としては，文内・文間両方のゼロ照応を対象とし，構文的手掛かりおよび大規模格フレームによる語彙的手掛かりを素性とした対数線形モデル\cite{zero-anaphora2011}や，格フレームの汎化を利用したニューラルネットゼロ照応解析モデル\cite{zero-anaphora2018}，外界照応および著者・読者表現を考慮したゼロ照応解析\cite{hangyo}などがある．
機械学習を用いた手法としては，文内ゼロ照応を対象とし，文の構造を素性として取り入れた手法\cite{zero-anaphora2006}や，フィードフォワードニューラルネットワーク  (FNN) とリカレントニューラルネットワーク (RNN) を組み合わせて使用した手法\cite{zero-anaphora2017}などがある．

これらの関連研究はいずれもWebテキストや新聞記事などの文章中のゼロ代名詞照応解析を行っているのに対し，本研究では世界史用語集を対象とし，質問応答における解答の流暢性の向上を目的としている．
一般的なゼロ代名詞照応解析のタスクでは，ある格にあるゼロ代名詞に注目したうえで，先行する名詞句群から高々一つの候補を選択することを行っている．一方で，本研究の扱うタスクでは先行詞を用語集の見出し語に限定した上で，それに照応できるゼロ代名詞（とその格）を高々一つ選択することを行っている．さらに，先行詞である見出し語は，単独で表示され，文中に存在するわけではないため，照応解析において有効な手掛かりとなる先行詞の文脈情報がまったく使えないという点が特徴的である．

また，擬似訓練事例を利用した研究としては，Q\&Aサイトの質問分類において，Q\&Aに対して擬似的な分類ラベルを付与したデータを利用して特徴表現の収集を行った研究\cite{dummy-qa}や，単語分散表現において，学習を高速化させるために擬似的に負例をいくつかサンプリングし損失を算出する手法であるNegative Sampling~\cite{negative-sampling}などが挙げられる．
ゼロ代名詞照応解析のタスクにおいて擬似訓練事例を利用した研究としては，中国語ゼロ代名詞照応解析の研究\cite{liu-etal-2017-generating}がある．この研究では文章中に2回以上出てくる名詞に着目し，より後の方に出現する名詞を取り除いたものを，ゼロ代名詞に見立てて擬似訓練事例としている．
この研究では，文章中に2回以上出現する名詞の一方を取り除いているのに対し，本研究では1回しか出現していなくても，それが世界史固有表現である場合には取り除き，見出し語としている点が異なる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{機械学習を用いた見出し語に照応するゼロ代名詞とその表層格の推定手法}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{全体の処理の流れ}
\label{flow-all}

本節では\ref{task}節で述べたタスクを実現する提案手法の概要を述べる．
照応解析には大きく規則ベースの手法と学習ベースの手法があるが，照応関係を包括的に捉える規則を書き尽くすことは困難であると考えたため，本研究では学習ベースの手法を用いることとした．
図\ref{fg:my-system-inout}に提案手法の処理の流れを示す．
提案手法により見出し語に照応するゼロ代名詞の表層格の推定を行う手順は次の通りである．
まず最初に，見出し語とそれに対応する語釈文の組を入力とする．
第一段階の「構文・格解析」ではKNP\footnote{http://nlp.ist.i.kyoto-u.ac.jp/?KNP}により構文・格解析を行う．
第二段階の「動詞句の抽出」では，構文・格解析結果をもとに，$<$用言:動$>$タグがふられた句を抽出する．
第三段階の「動詞句毎に素性を抽出」では，抽出した動詞句それぞれに対して，KNPの構文・格解析結果，その際に使用された京大格フレーム\cite{caseframe2006}，日本語語彙大系\cite{goitaikei}などの言語資源を用いて素性抽出を行う．
第四段階の「動詞句毎に表層格を推定」では，第三段階で抽出した素性を入力とし，Support Vector Machineをone-versus-the-rest法により多クラス分類に拡張したモデルによりそれぞれの表層格を推定する．
最後に，第四段階で推定された動詞句毎の表層格を出力とする．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 11
\begin{figure}[b]
\begin{center}
\includegraphics{27-1ia2f11.eps}
\end{center}
\caption{提案手法の概要}
\label{fg:my-system-inout}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{使用する素性}
\label{feature}

飯田ら\citeyear{zero-anaphora2006}によると，ゼロ代名詞照応解析に使用する素性は一般的に以下の3種類に分けられる．
\begin{enumerate}
\renewcommand{\labelenumi}{\arabic{enumi})}
\item 対象となるゼロ代名詞を持つ述語の語彙，統語情報に関する素性 
\label{enum:verb}
\item 先行詞候補に関する語彙，統語，意味，位置情報に関する素性
\label{enum:noun}
\item 対象となるゼロ代名詞を持つ述語と先行詞候補の対から抽出可能な情報に関する素性 \label{enum:verb-noun}
\end{enumerate}
語釈文におけるゼロ代名詞照応の場合，先行詞である見出し語に文脈がないため，これらのうち\ref{enum:noun})に含まれる先行詞候補に関する統語，位置情報に関する素性を利用することはできない．
本研究では\ref{enum:verb})に分類される素性として「節の種類」，「態」，「格の埋まりやすさ」，「すでに埋まっている格」，「動詞の直前に現れやすい格（直前格）」，「複合格助詞」，\ref{enum:noun})に分類される素性として「見出し語の意味カテゴリ」，\ref{enum:verb-noun})に分類される素性として「意味クラスPMI」「意味的な類似度」の合計6種類の素性を使用する．「格の埋まりやすさ」「意味クラスPMI」「意味的な類似度」については，KNPの解析時に使用された格フレームをもとに，「ガ格」「デ格」「ヲ格」「ニ格」それぞれに設定する．上記の素性は，いずれも先行研究で使われている素性である．

また，上記の素性では，格助詞を付与した見出し語を語釈文に埋め込んで作られる文（以下，「見出し語を埋め込んだ文」という．）全体の適格性を考慮せず，埋め込む前のそのままの語釈文を解析した際に適用された格フレームを素性抽出に利用している．そのため，本研究で新たに使用する素性として，埋め込み後の適格性を判断することを目的として，見出し語を埋め込んだ文を考慮した「KNPスコア差分」と「再選定格フレーム素性」の2つの素性を提案する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{ベースライン素性}
\label{baseline-feature}

ゼロ代名詞照応解析における先行研究で活用されてきた以下の素性をベースラインとする．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\noindent{\bf 節の種類}

ゼロ代名詞を持つ述語の統語的選好を考慮するため，節の種類を素性として使用する（Hangyo et al. \citeyear{hangyo}，3節）．節の種類とは，注目する述語がどの種類の節に含まれているかであり，「主節」「連用節」「連体節」のいずれかになる．KNPの解析結果から得られる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\noindent{\bf 態}

KNPの解析結果から得られる，動詞の態を使用する（Hangyo et al. \citeyear{hangyo}，3節）．「能動形」「受身形」「使役形」のいずれかであり，KNPの解析結果から素性抽出を行う．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\noindent{\bf 格の埋まりやすさ}

格フレームのそれぞれの格の埋まりやすさは，その格が明示されていない場合に，ゼロ代名詞として省略されているのか，単にその格が考慮されていないのかの判断の手掛かりになると考えられる．そこで，格の埋まりやすさの素性として格スロット生成確率を用いる（笹野ら\citeyear{zero-anaphora2011}，5節）．格フレーム$CF_i$の格スロット$s_j$に格要素が対応付けられている確率$P(A(s_j)=1|CF_i,s_j)$は，$CF_i$の直前格スロットを$s_k$，格スロット$s_j$の用例数の合計を$n_j$とすると，
\begin{equation}
P(A(s_j)=1|CF_i,s_j)=\frac{n_j}{n_k}
\label{eq:easiness}
\end{equation}
と計算する．ここで，$A(s_j)$は格スロット$s_j$が埋まっている時1をとる関数である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\noindent{\bf 既に埋まっている格}

すでに対応づけられている項がある格に見出し語を埋め込むことができる事例は極めて少ないと考えられる．それぞれの格について，すでにその格に対応づけられた，直接係り受けを持つ項がある場合は1，ない場合は0とする（Hangyo et al. \citeyear{hangyo}，3節）．格の対応づけの判定はKNPにより行い，格が明示されているか否かの区別はしていない．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\noindent{\bf 用言の直前に現れやすい格である直前格}

直前格はその用言の用法の決定に対して重要な役割を果たす\cite{caseframe2005}ため，直前格が埋まっていない場合には見出し語を埋め込みやすいと考えられる．そのためそれぞれの格に関して直前格であれば1，そうでなければ0とする素性を使用する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\noindent{\bf 複合格助詞}

「〜として」の「する」や「〜によって」の「よる」などの動詞句は複合格助詞の一部であるが，これらの動詞の格要素に見出し語を埋め込める場合は極めて少ないと考えられる．そのため動詞句が複合格助詞の一部である場合は1，そうでなければ0とする素性を使用する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\noindent{\bf 見出し語の意味カテゴリ}

どのような意味カテゴリに属する見出し語に対する語釈文であるかによって，語釈文中のある格での省略されやすさに偏りがあると考えられる．先行研究ではIREXで定義された8種類の固有表現を使用することが多いが，本研究では世界史用の固有表現辞書\cite{world-history-dic}の17種類の固有表現クラスのうちどのクラスに属するかをバイナリ素性として使用する．世界史固有表現辞書を登録したMeCabにより見出し語を形態素解析し，固有表現クラスを獲得する．
表\ref{tab:world-history-dic-category}に，世界史固有表現辞書で定義されている17種類の固有表現クラスと，その固有表現クラスに属するサブクラスおよび語の例を示す．サブクラスについては「意味クラスPMI」や「意味的な類似度」の計算に用いる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 7
\begin{table}[t]
\hangcaption{世界史固有表現辞書で定義される固有表現クラスとその固有表現クラスに属するサブクラスおよび語の例}
\label{tab:world-history-dic-category}
\input{02table07.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\noindent{\bf 意味クラスPMI}

ある格スロットにどのくらい先行詞候補が入りやすいかを考慮するため，見出し語の意味クラスと対象の格スロットの意味クラス情報との間の自己相互情報量(PMI)を素性として使用する（笹野ら\citeyear{zero-anaphora2011}，5節）．ここで，意味クラスには日本語語彙大系\cite{goitaikei}において深さ5の位置にある意味属性を使用し，さらに深い位置の意味属性に属する語はその上位の深さ5の位置にある意味属性に含める．また，世界史用語集の見出し語が日本語語彙大系にそのまま登録されていることは稀であるため，見出し語の汎化を行う必要がある．見出し語の汎化には世界史固有表現辞書のサブクラスにあたる語を使用する．ただし，見出し語が世界史固有表現辞書に登録されていない場合には見出し語の末尾の名詞を使用する．
対象の格フレーム$CF_i$の格スロット$s_j$の用例における見出し語と同じ意味クラス$CL_k$に属する語の占める割合を，一般のテキストにおける$CL_k$に属する語の占める割合で割ることにより計算する（式(\ref{eq:pmi})）．
\begin{equation}
\log \{P(CL_k|CF_i，s_j)/P(CL_k)\}
\label{eq:pmi}
\end{equation}
格スロット$s_j$の用例に見出し語と同じ意味クラスに属する語が無い場合は一定の小さな値$log(0.000001)$を与える．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\noindent{\bf 意味的な類似度}

ある格スロットにどのくらい先行詞候補が入りやすいかを考慮するため，世界史固有表現辞書により得られた見出し語のサブクラスにあたる語と，対象の格スロットの用例との意味的な類似度を日本語語彙大系により計算し（笹野ら(2005)付録，式(1)を使用），最も値の大きいものを素性として使用する．意味クラスPMIと異なり，用例の出現頻度を考慮せず，1つでも見出し語と意味が類似している語があれば大きな値をとる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{本研究で提案する素性}
\label{proposal-feature}

本研究で新たに導入する素性を以下に示す．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\noindent{\bf KNPスコア差分}

見出し語を埋め込んだ文をKNPで解析した時のスコアから，元の語釈文をKNPで解析した時のスコアを引いたものを「KNPスコア差分」とする．KNPスコアはKNPによる構文・格解析結果のもっともらしさであり，このスコアが高いほど日本語として出現しやすい文であると言える\footnote{文の出現のしやすさの指標を算出するためには，厳密には，適用可能な全ての格フレームにおける出現確率の総和を取る必要がある．一方で，本論文ではKNPの解析である最終的な1つの格フレームしか使用していないため，ここで計算された値は文の出現のしやすさの近似的な指標であると考える．}．そのため，埋め込みの前後でのスコアの差は，埋め込みの良さを表すと考える．表\ref{tab:just-before-case}にKNPスコア差分の算出の例を示す．この例では，KNPスコア差分の値が最も大きい（絶対値が一番小さい）ガ格が適切であると判断される．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 8
\begin{table}[t]
\caption{KNPスコア差分算出例}
\label{tab:just-before-case}
\input{02table08.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\noindent{\bf 再選定格フレーム素性}

見出し語を埋め込んだ文をKNPにより解析し，その時に使用された格フレームを使用し，京大格フレームを使用して抽出する素性「格の埋まりやすさ」「意味クラスPMI」「意味的な類似度」「直前格」を再計算・再抽出したものを「再選定格フレーム」素性とする．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{擬似訓練事例の利用}

\ref{pre-research}節で述べたとおり，「ヲ格」「ニ格」「デ格」に関する埋め込みの推定精度は重要である．しかし，これらの格について学習に用いることのできる訓練事例が非常に少ないため，上手く学習できないことが予想される．また，相対的に割合の低い事例の数を増やすためには，非常に多くの語釈文を正解事例として人手で解析する必要があるが，世界史の分野で見出し語と語釈部に分かれている文書データの数は限られており，正解事例を大量に増やすことは現実的ではない．

この問題を解消するため，比較的潤沢に入手可能な世界史教科書の記述から擬似訓練事例を自動生成し，これを活用することを提案する．
生成手順としては，教科書中の文を句点区切りで分割し，分割されたテキストごとに以下の処理を行う．
\begin{enumerate}
\item 「を」「に」「で」のいずれかでマークされた世界史固有表現に注目し，2，3の処理を行う．
\item その世界史固有表現を文中から取り除き，見出し語とする．
\item 直後の「を」「に」「で」のいずれかの格助詞を取り除き，埋め込みされる表層格の正解ラベルとする．
\end{enumerate}

図\ref{fg:dummy-algorithm}に擬似訓練事例の自動生成の例を示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 12
\begin{figure}[b]
\begin{center}
\includegraphics{27-1ia2f12.eps}
\end{center}
\caption{擬似訓練事例の自動生成の例}
\label{fg:dummy-algorithm}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 13
\begin{figure}[b]
\begin{center}
\includegraphics{27-1ia2f13.eps}
\end{center}
\caption{分類A}
\label{fg:pattern-a}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 14
\begin{figure}[b]
\begin{center}
\includegraphics{27-1ia2f14.eps}
\end{center}
\caption{分類B}
\label{fg:pattern-b}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

この手法によって生成された擬似訓練事例は，大きく分けて3種類に分類される．
各分類の定義は以下の通りである．
分類Aは取り除きたい文節の係先が連体節となっておらず，取り除きたい文節にかかる文節が存在しない事例である．
分類Bは取り除きたい文節の係先が連体節となっている事例で，分類Cは取り除きたい文節にかかる文節が存在する事例である．
各々の例を図\ref{fg:pattern-a}，図\ref{fg:pattern-b}，図\ref{fg:pattern-c}に示す．ここで，着目する固有表現および格助詞で構成される文節を＜＞で囲み，着目した固有表現が1つの項となっている述語に下線を引いている．
分類Cの文は，文節を取り除いた結果，係り受け関係が崩れてしまい元の文の意味を維持しなくなってしまうために排除すべき事例であると考えられる．分類Cに属さない文においても不自然な文となっている場合があるが，自動生成された文が自然であるか不自然であるかを機械的に正確に判別することは難しい．そのため，不自然な文を機械的に取り除く近似的な方法として分類Bを導入している．
分類Bには多くの場合不自然な文が分類されるが，一部自然な文も含まれており，一方で分類Aには多くの場合自然な文が分類されるが，一部不自然な文も含まれている．
そこで本研究では自動生成された擬似訓練事例のうち，分類Cを使用せず，分類A，Bのみを使用する．
また，自動生成された訓練事例が分類A，B，Cのどれに該当するかの分類については，KNPの解析結果を利用し図\ref{fg:dummy-classify}の手順により自動で行う．文節の係り受け関係およびある文節が主節・連用節・連体節のうちどれであるかはKNPの解析結果よりわかる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 15
\begin{figure}[t]
\begin{center}
\includegraphics{27-1ia2f15.eps}
\end{center}
\caption{分類C}
\label{fg:pattern-c}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 16
\begin{figure}[t]
\begin{center}
\includegraphics{27-1ia2f16.eps}
\end{center}
\caption{擬似訓練事例を自動で分類する手順}
\label{fg:dummy-classify}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{評価実験}
\label{examination}

見出し語が語釈文に埋め込めるか否かを判定し，埋め込める場合に見出し語の表層格を推定するという本稿の提案する解析手法の有効性を調べるために，ベースライン素性（\ref{baseline-feature}節）のみを使用した手法と，従来型のゼロ照応解析に基づく手法による推定精度をそれぞれ求め比較検討する．
また，本稿で提案する素性（\ref{proposal-feature}節）の有効性を調べるために，ベースライン素性に提案素性も加えた手法の推定精度を求め，ベースライン素性のみの手法と比較検討する．
さらに，擬似訓練事例の有効性を確認するために，擬似訓練事例の追加の前後における推定精度について比較検討を行う．

なお，従来型のゼロ照応解析に基づく手法としては，見出し語を1文目，語釈文を2文目とした文章をKNPに入力し，得られた述語項構造解析の結果（これにはゼロ照応解析結果も含まれる）から見出し語を項としている結果のみを取り出して得られたものを出力とする，簡便なものを採用した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 9
\begin{table}[b]
\caption{見出し語900語文の語釈文における正解ラベル毎の事例数}
\label{tab:data-vol}
\input{02table09.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 10
\begin{table}[b]
\caption{見出し語900語文の語釈文における正解ラベル毎，節の種類毎の事例数}
\label{tab:data-phrase-vol}
\input{02table10.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 11
\begin{table}[b]
\caption{擬似訓練事例の分類毎の数}
\label{tab:dummy-vol}
\input{02table11.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{使用するデータと実験設定}
\label{exam-setting}

評価実験では，世界史用語集\cite{yamakawa-glossary}中の見出し語7,037語から\ref{research}節で使用した語を除いたもののうち，ランダムに抽出した900語とそれに対応する語釈部を使用する．これらの語釈文中のすべての動詞句に対し，見出し語がどの表層格に埋め込むことができるか，もしくは埋め込むことができないかの正解事例を，第一著者が作成したものをデータセットとして使用する．
正解ラベル毎の事例数は表\ref{tab:data-vol}の通りである．
また，正解ラベル毎，節の種類毎の事例数は表\ref{tab:data-phrase-vol}の通りである．
全ての実験において，Support Vector Machineの実装にはpythonの機械学習ライブラリであるscikit-learnを使用した．カーネル関数にはRBFを使用し，各パラメータの値はデフォルト値である．
また，評価実験は10分割交差検定により行い，精度はF値によって評価する．
提案手法で用いる擬似訓練事例の生成には世界史B教科書\cite{tokyoshoseki-b}を使用する．
この教科書から生成された分類毎の擬似訓練事例の数は表\ref{tab:dummy-vol}に示す通りであった．
なお，擬似訓練事例は訓練事例のみに含まれており評価事例には含まれていない．

最後に，提案手法で得られた解析結果を論述問題解答作成手法に組み込んだ場合にどのような解答が作成されるかについて，事例を調査し，既存手法との比較を行う．実験に使用する論述問題を図\ref{fg:2003question}に示す．この実験をする際に，対象となる用語（「バグダード鉄道」「仇教運動」「ゴールドラッシュ」）については訓練事例から除いて学習した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 17
\begin{figure}[b]
\begin{center}
\includegraphics{27-1ia2f17.eps}
\end{center}
\caption{東京大学2003年度入試二次試験における世界史の問1}
\label{fg:2003question}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験結果}

\ref{examination}節の冒頭で述べた，KNPの解析結果に基づく従来型のゼロ照応解析手法を「KNPゼロ照応解析手法」，
ベースライン素性（\ref{baseline-feature}節）のみを使用した手法を「ベースライン素性手法」，ベースライン素性に加え，本稿で提案する素性（\ref{proposal-feature}節）を使用した手法を「提案手法」として，実験結果を表\ref{tab:result}に示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 12
\begin{table}[b]
\caption{世界史用語集を用いた実験結果}
\label{tab:result}
\input{02table12.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

また，使用する素性を1つずつ除くことにより素性の有効性を検証する実験を行った結果を表\ref{tab:result-each-feature}に示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 13
\begin{table}[b]
\caption{ 素性を1つずつ除いた場合のF値}
\label{tab:result-each-feature}
\input{02table13.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

次に，擬似訓練事例を訓練事例に追加して学習を行ったモデルにより，評価実験を行った結果を表\ref{tab:result-dummy}に示す．また，今回は事例数の少ない「ヲ格」「ニ格」「デ格」の精度も重視したいため，全体結果を「Micro F」「Macro F」で評価する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 14
\begin{table}[b]
\caption{擬似訓練事例の分類ごとの実験結果}
\label{tab:result-dummy}
\input{02table14.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

さらに擬似訓練事例を使用したモデルとの比較のために，
クラス頻度に偏りがある学習において，その頻度を考慮した学習を行うオプションとしてclass\_weight=``balanced'' を指定する．
このパラメータ指定により，訓練データのクラスの頻度に反比例する重みを，パラメータCに乗じた状況で学習した
モデルによる実験結果を表\ref{tab:result-balanced}に示す．なお，このモデルでは擬似訓練事例を使用していない．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 15
\begin{table}[p]
\caption{SVMにclass\_weight=``balanced''を指定したモデルによる実験結果}
\label{tab:result-balanced}
\input{02table15.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 18
\begin{figure}[p]
\begin{center}
\includegraphics{27-1ia2f18.eps}
\end{center}
\caption{東京大学2003年度入試二次試験における世界史の問1に対する，先行研究のシステムによる解答}
\label{fg:2003sakamoto}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 19
\begin{figure}[p]
\begin{center}
\includegraphics{27-1ia2f19.eps}
\end{center}
\hangcaption{東京大学2003年度入試二次試験における世界史の問1に対する，提案手法を組み込んだ場合の解答}
\label{fg:2003system}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

最後に，提案手法で得られた解析結果を論述問題解答作成手法に組み込んだ場合にどのような解答が作成されるかについて，事例を調査し，既存手法との比較を行った．既存手法を用いて作成された解答を図\ref{fg:2003sakamoto}に，提案手法を用いて作成された解答を図\ref{fg:2003system}に示す．それぞれの図で，下線部は用語集から生成された文を示している．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{考察}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験毎の考察}

本節では各実験毎に考察を述べる．
表\ref{tab:result}をみると，「埋め込めない」，ならびに，各格の推定の全てにおいてF値の値が，KNPゼロ照応解析手法，ベースライン素性手法，提案手法の順に向上していることが見て取れる．各手法の推定精度の間に統計的な有意差があるかを確認するためにMcNemar検定を行った結果，KNPゼロ照応解析手法とベースライン素性手法との比較，ベースライン素性手法と提案手法との比較においては，P値がそれぞれ，$2.270\times10^{-161}$，ならびに，0.179となり，前者の間には有意差があるものの，後者の間には有意差があるとは言えないことがわかった．
表\ref{tab:result-each-feature}の，素性を1つずつ除いて実験を行った結果を見ると，「節の種類」「見出し語の意味カテゴリ」「埋まっているか」「再選定格フレーム素性」が有効であることがわかる．
動詞句が連体節に含まれる場合，その動詞句のいずれかの格に見出し語を埋め込むことができる場合は少ない．
そのため「埋め込めない」の推定の際には「節の種類」の素性が有効である．
また，世界史用語集では，図\ref{fg:pondisheri}のように見出し語が場所を表す語のときには「ヲ格」に入りやすいなどの傾向があるため，「見出し語の意味カテゴリ」が有効であると考えられる．
すでに対応づけられている項がある格に見出し語を埋め込むことができる事例は極めて少ないと考えられるため，「埋まっているか」の素性は非常に重要である．
「意味クラスPMI」や「意味的な類似度」の素性はあまり有効ではなかったが，これには2つの原因が考えられる．
1つ目は\ref{feature}節でも述べたように，見出し語を埋め込んだ文を考慮せず格フレームを選定している点である．また2つ目は，日本語語彙大系を使用してこれらの素性を計算している点である．
日本語語彙大系に登録されている語は京大格フレームの用例として出現している語と比較すると少なく，世界史用語集に出現するような語はほとんど登録されていない．
そのため，分散表現を用いて格フレームの用例を汎化して利用する\cite{zero-anaphora2018}ことで，さらにF値を向上させることができる可能性がある．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 20
\begin{figure}[b]
\begin{center}
\includegraphics{27-1ia2f20.eps}
\end{center}
\caption{見出し語が「場所」を表す場合の見出し語と語釈文の例}
\label{fg:pondisheri}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

擬似訓練事例を利用した実験の結果（表\ref{tab:result-dummy}），分類Aの擬似訓練事例のみを利用した場合にMacro Fが向上していることがわかる．
一方で，分類Bの事例も利用した場合にMacro Fは分類Aのみを利用した場合に比べ下がり，Micro Fは大きく下がってしまった．
分類Bは質の低い擬似訓練事例であると言えるため，質の高い擬似訓練事例を利用することは重要であると考えられる．
また，擬似訓練事例を利用して事例数の少ない格の訓練事例数を増やした場合に，元々事例数の多い「埋め込めない」「ガ格」のF値が下がってしまったため，バランスよく訓練事例数を増やす必要があると考えられる．
SVMのclass\_weightパラメータを``balanced''にした場合の実験では，Micro F，Macro Fのどちらも擬似訓練事例を用いた場合よりも高かったが，ヲ格，ニ格のF値については擬似訓練事例の分類Aのみを使用した場合の方が高かった．デ格のF値は擬似訓練事例を用いた場合の方が低いが，これはデ格の擬似訓練事例がヲ格，ニ格と比較して少ないことが起因していると考えられる．
本研究では教科書の文から世界史固有表現を取り除くことで擬似訓練事例を生成したが，「埋め込めない」事例の場合にはこの手法が適用できないため，「埋め込めない」の擬似訓練事例の自動生成手法については今後検討する必要がある．また，教科書の文から生成できる擬似訓練事例の数には限りがあるため，NAISTテキストコーパス，京大ウェブ文書リードコーパスなどの，述語項関係のアノテーションがされたコーパスを使用して，学習事例を増やすことが考えられる．これについては，今後の課題としたい．

最後に，既存のシステムの解答と，既存のシステムに提案手法を組み込んだ手法で作成された解答との比較を行った結果を考察する．下線部(1), (2), (3)はコピュラ文であるため，既存のシステムと提案手法を組み込んだ手法で作成された文は同じである．下線部(4)については「バグダード鉄道」が「ねらう」のヲ格に埋め込めることを推定できている．下線部(5)については「留まる」に対して「バグダード鉄道」が埋め込めないと判定されてしまった．下線部(6)では「爆発する」のガ格に「仇教運動」が埋め込めることを推定できている．下線部(7)では，どの述語の格にも「ゴールドラッシュ」が埋め込めないと判定された．「鉄道や汽船による交通網の発展がゴールドラッシュの背景にあり，...」と続くのが自然と考えられる．
これらの結果を見ると，述語の項に埋め込められない場合にも文中の名詞のノ格になっている場合などがあるため，それも含めて推定することが今後の課題であると考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{失敗分析}

本節では推定に失敗した具体的な事例に基づき考察を行う．
\ref{suggest-error}節では擬似訓練事例を用いない場合における失敗事例を分析し，\ref{dummy-error}節では分類Aの擬似訓練事例を追加したことにより，推定が成功から失敗に転じてしまった事例について分析する．
分析対象には，\ref{examination}章の実験で10分割にしたうちの 1 セットにあたる見出し語90語とその語釈部からなるデータセットを使用する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 16
\begin{table}[b]
\caption{失敗原因の内訳を示した混同行列}
\label{tab:error-type-count}
\input{02table16.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{擬似訓練事例を用いない場合における失敗分析}
\label{suggest-error}

擬似訓練事例を用いない場合に推定に失敗した事例を調査した結果，失敗の原因と考えられるものには，
\begin{enumerate}
    \item 格フレームの選択誤り
    \label{caseframe-error-num}
    \item 見出し語が世界史固有表現辞書に登録されておらず，見出し語の意味カテゴリの素性が抽出できないことによる分類誤り
    \label{dictionary-error-num}
    \item KNPによる格解析・形態素解析の誤り
    \label{knp-error-num}
    \item 見出し語に照応する名詞が語釈文中に存在するにも関わらず，重ねてゼロ照応をしてしまうという誤り
    \label{anaphora-error-num}
    \item 見出し語以外に照応するゼロ代名詞が存在し，格が埋まっているにも関わらず，格を埋めようとしてしまう誤り
    \label{zero-anaphora-error-num}
\end{enumerate}
の5つがあった．
失敗原因の内訳を示した混同行列を表\ref{tab:error-type-count}に示す．表中の(1)〜(5)は上述の原因に対応している．分析対象のデータセットには正解ラベルが「その他の格」となる事例は存在せず，システムが「その他の格」と予測した事例も存在しなかったため「その他の格」については省略している．また，明確な原因が明らかではなく，おそらくは複合的な要因による失敗であると考えられる事例を表中では「他」としている．
「他」に該当する失敗事例の数には特に偏りはなく，誤りの傾向はつかめなかった．
また，正解ラベルが「埋め込めない」である事例を「ガ格」と予測したもの，正解ラベルが「ガ格」である事例を「埋め込めない」と予測したものが多いことがわかった．
さらに，正解ラベルが「デ格」となる事例を「埋め込めない」と予測する事例が非常に多く存在しており，これらの事例の判別が難しいということがわかった．

(\ref{caseframe-error-num})の格フレームの選択誤りの例を図\ref{fg:caseframe-error}に示す．見出し語を埋め込まない状態で格解析した際に選定された格フレームと，見出し語を埋め込んだ状態で格解析した際に選定された格フレームのいずれの必須格にも正解となる格が存在しないため，「格の埋まりやすさ」，「意味的な類似度」などの素性値が0となってしまい，上手く分類できないと考えられる．
また，この場合は必須格に「デ格」が含まれる格フレームが選定されることで上手く分類される可能性がある．
しかし，図\ref{fg:caseframe-error}に示した必須格に「デ格」が含まれる「収まる」の格フレーム6では，「ガ格」，「ニ格」，「デ格」のいずれの用例も語釈文中の「収まる」の格要素と意味的に遠いものであった．この場合，格フレーム生成確率が高い「収まる」の格フレーム1, 2などが選定されやすく，「収まる」の格フレーム6が選定されなかったと考えられる．ここで，格フレーム生成確率$P(F_i|v_i)$は用言$v_i$の頻度を$C(v_i)$，$v_i$が格フレーム$F_l$をとる頻度を$C(F_i, v_i)$として
\begin{equation}
    P(F_i|v_i)=\frac{C(F_i, v_i)}{C(v_i)}
\end{equation}
と計算される\cite{parsing2007}．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 21
\begin{figure}[b]
\begin{center}
\includegraphics{27-1ia2f21.eps}
\end{center}
\caption{格フレームの選択誤りが起きた事例}
\label{fg:caseframe-error}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

(\ref{dictionary-error-num})については，特に見出し語が助詞を含んでいる場合などに，世界史固有表現辞書に登録されていないことがある．例えば「アルバニアの対ソ外交」や「ドイツの軍備制限」などである．これらの場合には「見出し語の意味カテゴリ」の素性が全て0となってしまい，分類に有効な素性が使用できないため失敗してしまう場合があると考えられる．

(\ref{knp-error-num})のKNPによる格解析・形態素解析の誤りが分類の失敗の原因となっていると考えられる事例を図\ref{fg:knp-error}に示す．この例では，「行った」を動詞「行く」の活用形と誤解析してしまっており，適切な素性の抽出ができていないと考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 22
\begin{figure}[b]
\begin{center}
\includegraphics{27-1ia2f22.eps}
\end{center}
\caption{KNPによる解析誤りが起きた事例}
\label{fg:knp-error}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

(\ref{anaphora-error-num})の見出し語に照応する名詞が語釈文中に存在するにも関わらず．重ねてゼロ照応をしてしまうという誤りが起きている事例を図\ref{fg:anaphora-error}に示す．この例では，「組織」が「ミール」を照応しており，この文に対して「ミール」を埋め込むことはできない．見出し語に照応するゼロ代名詞の推定を行う前に，見出し語に照応する名詞の推定を事前に行うことができればこのような事例においても正しく推定できると考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 23
\begin{figure}[b]
\begin{center}
\includegraphics{27-1ia2f23.eps}
\end{center}
\caption{見出し語に照応する名詞が語釈文中に存在する事例}
\label{fg:anaphora-error}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

(\ref{zero-anaphora-error-num})の見出し語以外に照応するゼロ代名詞が存在し，格が埋まっているにも関わらず，格を埋めようとしてしまう誤りの事例を図\ref{fg:zero-error}に示す．この例では「建国する」の「ガ格」の格要素は「オスマン」であるが，「オスマン」は「建国する」と直接係り受け関係になく，ゼロ代名詞化している．この場合，「ガ格」は埋まっていないと解析されるため，いずれかの格で埋め込めると誤分類してしまう場合がある．見出し語に照応するゼロ代名詞の推定を行うと同時に，文内ゼロ代名詞照応解析も行うことでこのような事例においても正しく推定できると考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 24
\begin{figure}[b]
\begin{center}
\includegraphics{27-1ia2f24.eps}
\end{center}
\caption{見出し語以外に照応する代名詞がゼロ化している事例}
\label{fg:zero-error}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{擬似訓練事例の分類Aを利用した際の失敗分析}
\label{dummy-error}

表\ref{tab:result}および表\ref{tab:result-dummy}からもわかるように，擬似訓練事例を利用した場合には，利用していない場合に比べ，「埋め込めない」，「ガ格」の再現率が下がり「ヲ格」，「ニ格」，「デ格」の再現率が上がっている．実際に失敗した事例を分析すると，図\ref{fg:unfilled-ni}のように，見出し語を語釈文中に「埋め込めない」場合に「ニ格」や「ヲ格」などに埋め込めると推定してしまう場合がいくつか見られた．
しかしこれだけでは，何が失敗の原因となっているかまでは考察できない．そこで，世界史教科書から自動生成された擬似訓練事例の中に，分類の失敗の原因になるような事例がないかの調査を行った．調査対象は評価実験に使用した分類Aの擬似訓練事例427個とした．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 25
\begin{figure}[b]
\begin{center}
\includegraphics{27-1ia2f25.eps}
\end{center}
\caption{「埋め込めない」事例に対して「ニ格」と推定してしまった例}
\label{fg:unfilled-ni}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

調査の結果，自動生成された擬似訓練事例の中には「元の文において，注目している動詞について表出している格要素がただ一つしかないために，それを取り除くと動詞しか残らない事例」があった．図\ref{fg:no-arg}の例では，「除く」の唯一の格要素である「稲作」が含まれる文節を取り除いてしまうことで，「除く」に対応づけられる格要素が存在しなくなってしまう．
このような擬似訓練事例では，着目する動詞がどのような用法で使われているか，すなわちどの格フレームを使用するかを決定づけるための手掛かりが少ないため，適切な格フレームを選定できていないと考えられる．その結果，質の低い擬似訓練事例となってしまい，分類に失敗してしまう場合があると考えられる．
このような事例を擬似訓練事例から取り除くことで，さらに質の高い擬似訓練事例のみを学習に使うことができるようになり，分類精度が向上する可能性がある．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 26
\begin{figure}[b]
\begin{center}
\includegraphics{27-1ia2f26.eps}
\end{center}
\hangcaption{元の文において，注目している動詞について表出している格要素がただ一つしかないために，それを取り除くと動詞しか残らない事例}
\label{fg:no-arg}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

また，自動生成された擬似訓練事例の中には見出し語とみなした語の意味カテゴリに偏りがあり，特に「場所」を意味する語の割合が多いことがわかった．
用語集の事例および擬似訓練事例における正解ラベル毎の，見出し語の意味カテゴリが「場所」である割合を表\ref{tab:place-count}に示す．
用語集の事例中の，見出し語の意味カテゴリが「場所」である割合と比較して，擬似訓練事例中に含まれる，見出し語の意味カテゴリが「場所」である割合は非常に高くなっている．このような場合，擬似訓練事例を含む訓練事例の分布と，評価事例の分布が大きく異なってしまい，学習が上手くいかないと考えられる．この結果，見出し語を語釈文中に「埋め込めない」場合に「ニ格」や「ヲ格」などに埋め込めると誤分類してしまう場合があると考えられる．
擬似訓練事例の分布が，訓練事例の分布と近くなるように，擬似訓練事例を間引くなどして調整することで，このような誤りを解消することができると考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 17
\begin{table}[t]
\hangcaption{用語集の事例および擬似訓練事例における正解ラベル毎の，見出し語の意味カテゴリが「場所」である割合}
\label{tab:place-count}
\input{02table17.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{まとめ}

本研究では，文章中のゼロ代名詞照応解析と異なり，見出し語と語釈文に分かれている文書データに対し，語釈文における見出し語に照応するゼロ代名詞の表層格の推定を行った．
評価実験を行った結果，KNPを用いた既存のゼロ照応解析を使用した手法に比べ，提案手法が有効であることを示すことができた．
見出し語を埋め込んだ文を考慮した素性を使用することにより，全体的にF値を向上させることができたが，最終的なF値は0.782であり改善の余地があると考えられる．
また，事例数の少ない格の推定精度を向上させるために擬似訓練事例を使用し，ヲ格，ニ格のF値を向上させることができた．
今後の課題としては，「埋め込めない」事例の擬似訓練事例の自動生成や，擬似訓練事例の分布の調整，さらに質の良い擬似訓練事例の選定，ニューラルネットワークに基づくゼロ照応解析モデルとの比較などが挙げられる．


%%%%%%%%%%%%%%%%%%%%%%%
%%% Acknowledgement %%%
%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本研究の一部は，JSPS科研費JP16K00296，ならびに，横浜国立大学大学院環境情報研究院共同研究推進プログラムの助成を受けたものである．


%%%%%%%%%%%%%%%%%%%%
%%% Bibliography %%%
%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.5}
\bibliography{02refs}


%%%%%%%%%%%%%%%%%
%%% Biography %%%
%%%%%%%%%%%%%%%%%
\begin{biography}
 \bioauthor{大矢　康介}{
 2018年横浜国立大学理工学部数物・電子情報系学科卒業．2018年より横浜国立大学環境情報学府情報環境専攻博士課程前期在籍中．自然言語処理の研究に従事．
 }
 \bioauthor{阪本浩太郎}{
2014年横浜国立大学大学院環境情報学府情報メディア環境学専攻博士課程前期修了．
2014年より横浜国立大学大学院環境情報学府博士課程後期在学．
この間，2015年8月より2016年8月まで米国カーネギーメロン大学言語技術研究所外来研究員．
自然言語処理，質問応答などの研究に従事．
言語処理学会会員．
 }
 \bioauthor{渋木　英潔}{
 1997年小樽商科大学商学部商業教育養成課程卒業．1999年同大学大学院商学研究科修士課程修了．2002年北海道大学大学院工学研究科博士後期課程修了．博士（工学）．2006年北海学園大学大学院経営学研究科博士後期課程修了．博士（経営学）．
 }
 \bioauthor{森　　辰則}{
 1986年横浜国立大学工学部情報工学科卒業．1991年同大学大学院工学研究科博士課程後期修了．工学博士．同年，同大学工学部助手着任．同講師，同助教授を経て，現在，同大学大学院環境情報研究院教授．この間，1998年2月より11月までStanford大学CSLI客員研究員．自然言語処理，情報検索，情報抽出などの研究に従事．言語処理学会，情報処理学会，電子情報通信学会，人工知能学会，ACM各会員．
 }

\end{biography}


\biodate




\end{document}

