\documentclass[tombow,japanese]{jnlp_2.3}
\usepackage{jnlpbbl_1.3}
\usepackage[dvipdfm]{graphicx}
\usepackage{amsmath}
\usepackage{array}
\usepackage{longtable}

\usepackage{algorithm}
\usepackage{algpseudocode}
\DeclareMathOperator*{\argmax}{argmax}
\algrenewcommand\algorithmicrequire{\textbf{Input:}}
\algrenewcommand\algorithmicensure{\textbf{Output:}}
\floatname{algorithm}{アルゴリズム}


\Volume{26}
\Number{2}
\Month{June}
\Year{2019}

\received{2018}{11}{1}
\revised{2019}{3}{5}
\accepted{2019}{4}{12}

\setcounter{page}{509}

\jsubject{論文}
\jtitle{大規模格フレームによる解候補削減を用いた\\ニューラルネットゼロ照応解析}
\jauthor{山城　颯太\affiref{Author_1} \and 西川　　仁\affiref{Author_1} \and 徳永　健伸\affiref{Author_1}}
\jabstract{
	本論文では日本語文内・文間ゼロ照応解析モデルを提案する．文間ゼロ照応解析において複数格の同時推定を行う際，複数の文をまたぐ大量の格要素の組合せ候補を取り扱う必要があり，これはゼロ照応解析モデルの訓練，解析に際して重大な障害となる．この問題に対して，我々は格フレームの情報を用いた効果的な解候補削減手法を提案する．提案解候補削減を用いて複数格を同時推定したモデルと解候補削減を用いずにそれぞれの格を独立に推定したモデルを日本語均衡コーパス上で比較し，0.056の精度向上を確認した．また，ローカルアテンション付きRNNを導入することで，文間ゼロ照応解析の精度が上昇することも確認した．
}

\jkeywords{ゼロ照応解析，述語項構造解析，解候補削減，格フレーム}

\etitle{Neural Japanese Zero Anaphora Resolution with \\Candidate Reduction Using Large-scale Case Frames}
\eauthor{Souta Yamashiro\affiref{Author_1} \and Hitoshi Nishikawa\affiref{Author_1} \and Takenobu Tokunaga\affiref{Author_1}} 
\eabstract{
	This paper presents a model for Japanese zero anaphora resolution that deals with both intra- and inter-sentential zero anaphora. Our model resolves anaphora for multiple cases simultaneously by utilising and comparing information from other cases. This simultaneous resolution requires the consideration of many combinations of antecedent candidates, which could be a crucial obstacle in both the training and resolving phases. To cope with this problem, we have proposed an effective candidate pruning method using case frame information. We compared the model, which estimates multiple cases simultaneously, by using our proposed candidate pruning method and model, which estimates each case independently without a candidate reduction method in a Japanese balanced corpus. The results confirmed a 0.056-point increase in accuracy. Furthermore, we also confirmed that the introduction of local attention Recurrent Neural Network increases the accuracy of inter-sentential anaphora resolution.
}
\ekeywords{Zero Anaphora Resolution, Predicate-argument Structure Analysis, Candidate Reduction, Case Frames}

\headauthor{山城，西川，徳永}
\headtitle{大規模格フレームによる解候補削減を用いたニューラルネットゼロ照応解析}

\affilabel{Author_1}{東京工業大学情報理工学院}{School of Computing Tokyo Institute of Technology}



\begin{document}
\maketitle


\section{はじめに}

ゼロ照応解析とは，テキスト中の述語の省略された項（ゼロ代名詞）を検出し，項として埋めるべき格要素を同定するタスクである．格要素は先行詞としてテキスト中で言及されている場合もあれば，言及されていない場合もある．前者の場合，先行詞は述語と同じ文中にある（文内ゼロ照応）か，先行する文中にある（文間ゼロ照応）\footnote{この研究では後方照応は扱わない．}．後者（外界ゼロ照応）の例として，テキストの著者である主語が明示的に言及されない場合などがある．
\begin{quote}
$(1) 大岡山商店街でも(\phi ガ)お洒落な建物を\underline{見かける}ようになった．カフェテリアが特に多くて，今月も新しく(\phi ガ)(\phi ニ)\underline{オープンしてる}．$
\end{quote}

例~(1)では「見かける」のガ格と「オープンしてる」のガ格，ニ格が省略されている．「オープンしてる」のガ格の格要素は同文中に言及されている 「カフェテリア」 であり（文内ゼロ照応），ニ格の格要素は前文で言及されている「大岡山商店街」である（文間ゼロ照応）．一方，「見かける」 のガ格の格要素はテキスト中では明示的に言及されていない「著者」である（外界ゼロ照応）．

本論文では特に日本語のゼロ照応解析を取り扱うが，項の省略が起こるpro-drop 言語は日本語だけではなく，他に中国語，イタリア語，スペイン語などがあり，各言語で日本語ゼロ照応解析と類似したタスクに取り組む研究が数多くある \cite{Chen-Chinese-2016,Yin-Chinese-2017,Yin-Zero-2018,Yin-Deep-2018,Iida-A-2011,Rello-Elliphant-2012}．また英語では意味役割付与タスクがゼロ照応解析に似た研究として挙げられる \cite{Zhou-End-2015,He-Deep-2017}．
日本語ゼロ照応解析は，日本語述語項構造解析の部分問題であり，自動要約 \cite{Yamada_Designing_2017}や情報抽出 \cite{Sudo_Automatic_2001}，機械翻訳 \cite{Kudo_A_2014}など様々な自然言語処理アプリケーションの精度改善にとって重要であるため，緊急に解決されるべき課題として盛んに研究されている \cite{Sasano-A-2011,Hangyo-Japanese-2013,Ouchi-Neural-2017,Matsubayashi-Revisiting-2017,Matsubayashi2018,Shibata2018,Kurita2018}．

本研究の貢献は大きく二つに分けられる．第一に大規模均衡コーパス上で日本語ゼロ照応解析を行い評価したことと，第二にこの大規模均衡コーパス上で文内・文間ゼロ照応解析を可能にするための解候補削減手法を提案したことの二点である，

従来のゼロ照応解析研究は，新聞記事のみからなる『NAISTテキストコーパス』(NTC) \cite{Iida-Annotating-2007}で評価を行うものが多かった．従って，それらの評価ではテキストドメインの違いによる影響が考慮されていない．
ゼロ照応解析結果の応用を考えた時，複数ドメインの文書に対しても頑健なゼロ照応解析手法の有用性は高い．
我々は『 現代日本語書き言葉均衡コーパス』(BCCWJ)  \cite{Maekawa-2014aa}を評価実験に使用した．
BCCWJは13ドメインにまたがって構築された約一億語からなる日本語均衡コーパスである．
このうちの約100分の2にあたる約二百万語からなるコアデータに対しては，人手による述語項構造と照応関係の付与がされている．また，BCCWJは新聞，雑誌，書籍，白書，Yahoo!知恵袋，Yahoo!ブログの6ドメインにまたがったテキストを含んでいる．ドメインによるゼロ照応解析の性能の違いを調べるために，我々はBCCWJを使用した．

表~\ref{tab:distance-distribution}はBCCWJコアデータセットの述語と格ごとの格要素の距離の分布を示している．
ここでの距離は述語と格要素の間の文数である．
距離0は文内照応を示しており，距離1以上は文間ゼロ照応を示している．
この表から，文中に格要素の出現するゼロ照応のうち，半数以上のゼロ照応が文間ゼロ照応であることがわかる．
表~\ref{tab:genre-distribution}はテキストドメインごとに分類した述語とガ格の格要素との距離の分布を示している．
この表から，文内，文間ゼロ照応のドメインごとの違いが確認できる．
OW（白書）のガ格には文内ゼロが多く出現している一方で，PM（雑誌），OC (QA) のガ格には文内ゼロ比率が少なく，5文前までの文間ゼロが多く出現している．また，PM（雑誌），OY（ブログ）のガ格は7文以上前の文間ゼロが他のドメインと比較して多く出現しており，このようなドメインごとの述語と格要素間の距離の違いが文間ゼロ照応解析の精度に影響を及ぼす原因だと予測できる．
これらの観察から，異なるタイプのテキスト上で評価実験を行うことの重要性が示唆される．

\begin{table}[b]
\begin{minipage}[t]{189pt}
\caption{格要素と述語の距離の分布}
\label{tab:distance-distribution}
\input{09table01.tex}
\end{minipage}
\hfill
\begin{minipage}[t]{210pt}
\caption{文書ドメインごとのガ格ゼロ照応の分布 (\%)} 
\label{tab:genre-distribution}
\input{09table02.tex}
\end{minipage}
\end{table}

表~\ref{tab:distance-distribution}に示すとおり現実の文書には文間ゼロ照応が頻出するが，従来のゼロ照応解析研究の多くは，文内ゼロ照応のみに焦点を絞っている \cite{Iida-Intra-2015,Shibata-Neural-2016,Ouchi-Neural-2017,Matsubayashi-Revisiting-2017,Matsubayashi2018,Kurita2018}．
\citeA{Ouchi-Neural-2017}は，文内ゼロ照応のみを取り扱う理由として，探索範囲の問題を指摘している．文間ゼロ照応では，格要素候補をテキスト全体から探す必要があるため，文内ゼロ照応解析に比べて探索範囲が拡大する．
\citeA{Matsubayashi-Revisiting-2017,Matsubayashi2018}と \citeA{Kurita2018}は解析に際して文脈素性を取り入れるために，リカレントニューラルネットワーク (RNN) を導入し，格要素候補と述語が含まれる文を読み込ませている．
しかしこれと同じ手法を文間ゼロ照応解析において適用しようとすると，テキスト全体をRNNに入力として与える必要がある．
長距離の文脈を記憶する仕組みを持つLSTMやGRUを使用しても，システムがテキスト全体における長距離の依存関係を十分に学習できるとは限らない．
また，テキスト全体を記憶しなくても，選択的に抽出された文脈情報のみで解析できる可能性がある．

先述の研究と異なり， \citeA{Sasano-A-2011}と \citeA{Hangyo-Japanese-2013}， \citeA{Shibata2018}は，文内・文間ゼロ照応解析手法を提案している．
しかし，彼らは新聞コーパスとWebコーパスを用いて評価実験を行っており，複数ドメインコーパスを用いた評価実験は行っていない．
また， \citeA{Shibata2018}は各entityごとにembeddingを割り当て，現在解析対象としている述語より文書の前方におけるRNNの解析結果を用いて，それぞれのembeddingを逐次更新することで文脈情報を使用している．

これら2つの問題に対して，本研究では様々なドメインの文書への対応を可能とするために大規模格フレームを利用し，述語が取りうる複数の格要素の組合せから最適なものを選ぶ．
大規模コーパスから得られた述語の格フレームに関する統計的情報を使用することで，特定のドメインにのみ出現する事例数の少ない格フレームに対しても対処できるようになると考えられる．
解候補となる格要素の組合せが膨大になる問題に対しては，格フレームを使用した解候補削減手法を取り入れることで，より汎用性の高い文内・文間ゼロ照応解析モデルを提案する．

ひとつのモデルで文内・文間のゼロ照応解析を同時に行う際，各格に対してそれぞれ独立に解析を行うより，他の格の情報を利用して複数格を同時に解析する方がより良い精度が得られると考えられる． \citeA{2010C-994}はCoNLL-2009 Shared Taskデータを用いた述語項構造解析において，述語項構造の大域的な情報を取り扱う因子を素性として取り入れることで，日本語を含む7種類すべての言語の精度が改善することを確認している．
しかし複数格を同時に解析する際には，先行詞の広大な探索範囲の問題に対処する必要がある．
特に機械学習を適用する際，正解の候補となる名詞の組合せが大幅に増加する．BCCWJの場合では，格フレーム候補が平均20個，ガヲニ格の格要素候補が平均10個出現するため，組合せは $20 \times 10 \times 10 \times 10 = \text{約 20,000}$ 通り考えられ，このうち正しい格フレームと格要素の組合せは一つのみである．結果としてデータ中の正例と負例の比率が約1対20,000と著しく不均衡となる．このような偏った訓練データは不必要に計算量を増幅させ，かつモデルの汎化を妨げる要因となる．
我々は，学習に不要な負例を削減するために，解析対象述語に対応する格フレームを用いた効率的な解候補削減手法を提案する．
この提案手法により，正解を候補に残しつつ，約1,000分の1にまで解候補を削減することに成功した．
また，我々はRNNにローカルアテンション機構 \cite{Luong-Effective-2015}を導入することで，前文中のどの部分に注意を向けて解析するかをシステムに学習させた．
本研究の提案手法は二つの構成要素からなり，一つは格フレーム内の単語分散表現を使用した解候補削減アルゴリズムで，もう一つは解候補削減に使用した分散表現を利用するニューラルネットゼロ照応解析モデルである\footnote{https:\slash\slash{}github.com\slash{}yamashiros\slash{}Japanese\_zero\_anaphora}．
なお，BCCWJを訓練・テストに用いた文内・文間のガヲニ格を対象とするゼロ照応解析は．本研究が初の試みである．

\begin{table}[b]
\caption{関連研究}
\label{tab:related-work}
\input{09table03.tex}
\end{table}


\section{関連研究}


\subsection{日本語ゼロ照応解析}

表~\ref{tab:related-work}は，タスクの種類，使用しているコーパスのドメイン，コーパスのサイズ，手法の観点から関連研究をまとめたものである．
解候補の列はガヲニ格をそれぞれ独立の解析器で解析しているのか，一つの解析機を用いて組合せで解析しているのかを示している．
\citeA{Hangyo-Japanese-2013}はランキングSVMを用いて，Webコーパスに対して文内，文間，外界のゼロ照応解析を同時に行っている．
このWebコーパスは1,000文書からなり，それぞれWebページの冒頭3文を抜き出したものである \cite{Hangyo-Building-2012}．
\citeA{Shibata2018}はフィードフォワードニューラルネットワーク (FNN)とリカレントニューラルネットワーク (RNN) を組合せて用い，Webコーパス \cite{Hangyo-Building-2012}と新聞コーパスに対して直接の係り受け関係と文内・文間・外界のゼロ照応解析を同時に行っている．
\citeA{Matsubayashi2018}はFNNとRNNを組合せて用いることで，NTCに対して直接の係り受け関係と文内のゼロ照応解析を同時に行い，直接の係り受け関係と文内ゼロ照応解析のstate-of-the-artを達成した．
\citeA{Sasano-A-2011}は対数線形モデルを用いて，979文からなるWebコーパスとNTCに対して文内と文間のゼロ照応解析を同時に行い，NTCにおける文内・文間ゼロ照応解析のstate-of-the-artを達成した．
これらに対して我々は，ランキングSVM\footnote{https:\slash\slash{}www.cs.cornell.edu\slash{}people\slash{}tj\slash{}svm\_light\slash{}svm\_rank.html} \cite{of-the-international-Training-2006}モデルとFNNとRNNの組合せモデルを用いて，『現代日本語書き言葉均衡コーパス』 (BCCWJ)  \cite{Maekawa-2014aa}に対して，文内・文間のゼロ照応解析を同時に行う．


\subsection{大規模格フレーム}

格フレームとは述語とその述語が取りうる格要素を述語の格パターンごと，格ごとに整理した共起情報である．
表~\ref{tab:eg-case-frame}のように格パターンに基づいて格フレームを分けることで，述語と格要素間の語彙的選好の知識を照応解析に利用することができる \cite{Sasano-A-2008,Sasano-A-2011,Hangyo-Japanese-2013}．

\begin{table}[b]
\caption{「オープンしてる」の格フレーム例}\label{tab:eg-case-frame}
\input{09table04.tex}
\end{table}

格フレームの構築に関しては \citeA{kawahara05}がWebテキストから格フレームを自動構築する手法を提案している． \citeA{hayasibe15}は格の出現の仕方を考慮したクラスタリングを行うことで格パターンを抽出し，述語に対してより頑健に格フレームを割り当てることに成功している．これら手法を用いて約100億文の大規模Webコーパスから取得，整理された格フレーム知識は京大格フレーム\footnote{http://www.gsk.or.jp/catalog/gsk2018-b/}として公開されており，我々はこれを使用した．

日本語ゼロ照応解析において，格フレームは解析の手がかりとして広く使用されている \cite{Sasano-A-2011,Matsubayashi2014}．しかし，我々が調べたところ，BCCWJ中の動詞の正解述語項構造に対する京大格フレームのカバレッジは約27\%と十分ではない．この問題に対して， \citeA{Sasano-A-2011,Matsubayashi2014}は意味クラスを用いて格フレーム中の用例の汎化を行うことで対処している．我々は分散表現とcosine距離を用いることでカバレッジの問題に対処している．また，我々はそれぞれの述語と格フレームに対して事例の分散表現の平均ベクトルを導入することで，格フレーム中の統計情報を汎化し，解候補削減にも使用している．


\subsection{解候補削減}

文間ゼロ照応に際して，いくつかの先行研究ではそれぞれに解候補削減の基準を設定している．
\citeA{Sasano-A-2011,Hangyo-Japanese-2013}は述語の複数の格を同時に推定しており，述語が含まれる文より3文前までに出現する格要素の先行詞候補をすべて含めている．
3文より前の文にも先行詞は出現しうるが，\citeA{Hangyo-Japanese-2013} はNTCの述語に対する格要素のうち82.9\%が3文中に出現すると報告した．
\citeA{imamura09}は述語の複数の格をそれぞれ独立に推定しており，一文前までに現れる述語の格要素として選ばれた名詞のみを解析の対象としている．この制限によって，NTC中，何も制限のない状態では平均102.2語の名詞を解候補としなければならなかったところを平均3.2語まで抑え，ゼロ代名詞の格要素のうち62.5\%をカバー出来たと彼らは報告している．


\section{モデルと素性}
\label{baseline}

\subsection{モデル}
\label{feature}

解析対象述語 $p$ が含まれる文を $S_0$ とし， 入力文書 $ t $ に含まれる $S_0$ から $h$ 文前までの文をそれぞれ$S_{-1}, S_{-2}, \cdots , S_{-h}$ とする．
$S_0$ から $S_{-h}$までに含まれるすべての名詞の集合を $E_{p} = \{e_{1}, e_{2}, \cdots , e_{n}\}$ とする．
これらに加えて『照応なし』または『外界照応』を意味する $e_{none}$ を $E_{p}$ に追加する．
述語 $p$ に対応する京大格フレーム中の格フレーム群を $CF_{p} = \{cf^{p}_{1}, cf^{p}_{2},  \cdots , cf^{p}_{m}\}$ とする．
1つの格フレーム $cf^{p}_{l}$ には，それぞれの格 $c \in \{ガ格, ヲ格, ニ格\}$ に対応する3つの格スロットがあり，$E_{p}$ 中に含まれるいずれかの名詞がそれぞれの格スロットに対応する格要素である．
格スロットと格要素の対応付けを $a = \langle ガ格: e_{i}, ヲ格 : e_{j}, ニ格 : e_{k} \rangle$ とする．述語項構造候補を$(cf^{p}_{l}, a)$とし，これを表現する素性ベクトルを $\boldsymbol{f}(cf^{p}_{l}, a, t)$ とする．
このモデルの出力は以下の式(\ref{eq:arg})で表せる．訓練時にはパラメータ$\boldsymbol{w}$が正例のスコアが負例のスコアよりも大きくなるように学習され，テスト時には最適な格フレームと格要素の組合せを選択するために用いられる．
このモデルは， \citeA{Hangyo-Japanese-2013}のモデルをベースとしている．
\begin{equation}\label{eq:arg}
{cf^{p}_{l}}^{*}, a^{*} = \argmax\limits_{cf^{p}_{l}, a}\boldsymbol{w} \cdot \boldsymbol{f}(cf^{p}_{l}, a, t)
\end{equation}


\subsection{素性}

素性ベクトル$\boldsymbol{f}(cf^{p}_{l}, a, t)$は以下5タイプの素性の組合せからなる: {\bf ベースモデル素性}，{\bf 格要素分散表現}，{\bf 述語分散表現}，{\bf 格フレーム内平均ベクトル} (MVC)，{\bf 文脈ベクトル}．
我々はランキングSVMとFNNを比較するが，ランキングSVMはベースモデル素性のみを使用し，その他の素性はFNNでのみ用いる．


\paragraph{ベースモデル素性}

ベースモデル素性$\phi_{BMF}$の各要素は実数かバイナリ値である．
ベースモデル素性$\phi_{BMF}$は \citeA{Sasano-A-2008}の確率的格解析モデルから得られる表層の係り受けの確率と \citeA{Hangyo-Japanese-2013}が提案する素性群からなる．
\citeA{Hangyo-Japanese-2013}の素性は格フレーム素性，述語素性，文脈素性の3種類からなる．
例えば，ある格要素がその格フレームの格スロットに埋まるかどうかの確率は格フレーム素性の一つである．
付録{~\ref{chap:appFeatures}}に{ \citeA{Hangyo-Japanese-2013}}の素性の一覧を示す．


\paragraph{格要素分散表現}
\label{proposal}

格要素分散表現$ {\phi}_{e} $は各格$ c $の格要素$ e_c $に対応する3つの分散表現から構成される．
語の分散表現を生成するモデルとしてはword2vec \cite{Mikolov-Efficient-2013}を使用した\footnote{日本語wikipedia (2016-09-20) の本文全文から取得した約100万記事に対して，次元数を500，windowを15として学習させることで得られたモデルを使用した．}．


\paragraph{述語分散表現}

述語分散表現はword2vecを使って生成された解析対象述語の単語分散表現である．


\paragraph{格フレーム内平均ベクトル (MVC)}
\label{sec:case-vector}

表~\ref{tab:eg-case-frame}に示すように京大格フレーム内では，述語$ p $に対するそれぞれの格フレーム$ cf^p_l $は各格$ c $に対応する単語リストから構成される．
例えば，「オープンしてる:動1」のガ格には『店』，『カフェ』，『レストラン』などが格納されている．
$ W_{cf^p_l(c)} $を格フレーム$cf^p_l$と格$c$に対応して京大格フレーム中に出現する格要素の全体とする．
例えば$W_{\textrm{オープンしてる:動}_1(ガ)}$の要素は前述の『店』，『カフェ』，『レストラン』などである．

$ \phi_{w} $ を語$ w \in W_{cf^p_l(c)} $の分散表現ベクトル，$ \textrm{count}(cf^p_l, c, w) $を語$w$が格フレーム$ cf^p_l $の格$c$の格要素として出現する回数とする．
この時，格フレーム内平均ベクトル(MVC)$ \overline{\phi}_{cf^p_l(c)} $は，格フレーム$ cf^p_l $中の各格$ c $の分散表現ベクトル$ W_{cf^p_l(c)} $の重み付き平均として計算される．
\begin{equation}\label{eq:case-vector}
\overline{\phi}_{cf^p_l(c)}= \frac{\sum_{w\in W_{cf^p_l(c)}}^{} \textrm{count}(cf^p_l, c, w) \cdot \phi_{w}}{\sum_{w\in W_{cf^p_l(c)}}^{} \textrm{count}(cf^p_l, c, w)}
\end{equation}

例えば表~\ref{tab:eg-case-frame}において，格フレーム「オープンしてる:動1」はガ格に『店』を129回取っているので，$ \overline{\phi}_{\textrm{オープンしてる:動}_1(ガ)} $ は以下のように計算される．
\begin{equation}\label{eq:case-vector-eg}
\overline{\phi}_{\textrm{オープンしてる:動}_1(ガ)} = \frac{ 129 \cdot \phi_{店} + 38 \cdot \phi_{カフェ} + 14 \cdot \phi_{レストラン} + \cdots}{129 + 38 + 14 + \cdots}.
\end{equation}
$ \overline{\phi}_{cf^p_l(ガ)} $，$\overline{\phi}_{cf^p_l(ヲ)} $，$ \overline{\phi}_{cf^p_l(ニ)} $を結合して$ \overline{\phi}_{cf^p_l} $を生成する．
$\overline{\phi}_{cf^p_l}$を使って，$ a $と$ cf^p_l $の関連（選択選好）を測り，尤もらしい組合せを探索する．
なお我々は，MVCを照応解析，解候補削減の両方で使用する．


\paragraph{文脈ベクトル}

文脈ベクトル$c_{cf^{p}_{l}, a, t}$はローカルアテンション機構付きRNNの出力である．
\pagebreak
このRNNは解析対象述語を含んだ文とその前方$h$文を受け取り，対象述語に対する文脈をモデリングする．図{~\ref{pic:解析モデル}}の左下部分がこれに該当する．
{$\textrm{Enc}(s_i)$}を，{$S_{-h:0}$}中の{$i$}番目の語{$s_i$}を入力として与えられた時のRNNエンコーダの出力する隠れ状態とする．この隠れ状態はRNNが読み込んだ文中の語と同じ数だけ存在し，各語と一対一に対応するRNNの出力である．
{$ a_t(\cdot)$}は一般的なアテンション重みを表し，{$\textrm{score}(\cdot)$}には訓練データから学習される複数の重みパラメータを使用した．
{$\textrm{Local}(\cdot)$}はローカル重みを表し，これを導入することで文全体を散漫と注視するのを防ぎ，局所的な一部分のみに着目させる．
{$\textrm{Len}(S_{-h:0})$}は入力文{$S_{-h:0}$}中の語数を表し，{$\boldsymbol{v_p}$}，{$\boldsymbol{W_p}$}は訓練データから学習されるパラメータである．

\begin{figure}[b]
\begin{center}
\includegraphics{26-2ia9f1.eps}
\end{center}
\caption{アテンション付きRNN追加FNNモデルのネットワーク構造（モデルF3）}
\label{pic:解析モデル}
\end{figure}

我々のアテンション機構モデルは他の素性ベクトルの連結を手がかりとしてアライメント重みベクトルを推論する．この重みベクトルはアテンション機構が文中のどの語へと注意を向けるかという情報に対応する．図~\ref{pic:解析モデル}の左上部分がこれに該当する．
文脈ベクトル$c_{cf^{p}_{l}, a, t}$はこのアライメント重みベクトルに基づくエンコーダの出力$\textrm{Enc}(S_{-h:0})$の重み平均として計算する．図~\ref{pic:解析モデル}右側のContext embeddingがこれに該当する．
\begin{align}
\label{eq:cont-vector}
c_{cf^{p}_{l}, a, t} & = \sum_{s_i \in S_{-h:0}}a_t(s_i)\textrm{Local}(s_i)\textrm{Enc}(s_i) \\
a_t(s_i) &= \frac{\exp(\textrm{score}([\phi_{BMF};\phi_{e};\overline{\phi}_{cf^{p}_{l}}],\textrm{Enc}(s_i)))}{\sum_{s_j}\exp(\textrm{score}([\phi_{BMF};\phi_{e};\overline{\phi}_{cf^{p}_{l}}],\textrm{Enc}(s_j)))}\\
\textrm{Local}(s_i)&=\exp(-\frac{(i-\textrm{Len}(S_{-h:0})\cdot p)^2}{2\sigma^2})\\
p&=\textrm{sigmoid}(\boldsymbol{v_p}^{\mathrm{T}} \textrm{tanh}(\boldsymbol{W_p}[\phi_{BMF};\phi_{e};\overline{\phi}_{cf^{p}_{l}}]))
\end{align}

直感的には，この機構は我々のモデルがアライメントベクトルを介して述語から離れた長文脈中の語を格要素として識別することを可能にしている．
格フレームがその述語から離れた名詞を格要素として取るようなケースに対して，我々はこのメカニズムが直接的にその現象をモデル化することを期待している．


\section{格フレーム中の分散表現を利用した解候補削減}
\label{candidate_reduction}

ゼロ代名詞となる項の先行詞候補を網羅的に探索すれば，列挙される述語項構造候補 $(cf^p_l, a)$ の集合は爆発的な規模となり，探索範囲は非実用的なものとなる．
我々は\citeA{Sasano-A-2011}の基準を参考に，ゼロ代名詞となる項の先行詞候補は述語が含まれる文より3文前までのみを範囲として解候補削減を行っている．つまり~\ref{feature}節の$h$を$ 3 $とした．
BCCWJ中の格要素の分布は表~\ref{tab:distance-distribution}のようになっているため，この制限によってゼロ代名詞の89.16\%をカバーできることがわかる．

$n$と$m$をそれぞれ$E_p$中の名詞句数，対象述語の格フレーム数とすると，この制限を用いてもなお，候補の数は$O(n^3m)$となり，BCCWJ中の各動詞に対して約20,000個の述語項構造候補が出現する．


\subsection{述語内平均ベクトル (MVP)}
\label{MVP}

我々は，格フレーム候補と格要素候補の組合せについて~\ref{sec:case-vector}で提案したMVCと，{\bf 述語内平均ベクトル} (MVP) $ \overline{\phi}_{p(c)} $の二種類の平均ベクトルを使用した効率的な解候補削減手法を提案する．
MVPは各格$ c $について述語$ p $に対応するすべての格フレームに渡ってMVC $\overline{\phi}_{cf^p_l(c)} $の重み平均を取ったベクトルである．
重みは京大格フレーム中の各格フレームの頻度に基づく．
我々の解候補削減手法は \citeA{Ouchi-Joint-2015}の山登り法を参考に，格フレーム候補と格要素候補の組合せ数を削減する．
この解候補削減は計算効率のみを目的とするのではなく，訓練データ中の正例・負例のデータ数の非対称性の解消も目的とする．
我々のケースでは，1つの正例に対して20,000の負例が生じるため，これに対処している．
前述したように，我々は訓練データ中のほとんどの負例は訓練に貢献しないと考え，解候補削減を行う．


\subsection{アルゴリズム}

我々の提案する解候補削減手法をアルゴリズム~\ref{alg:candidate_reduction}に示す．
ある述語$p$には，文脈に対するその語義の曖昧性を反映した複数の格フレーム$CF_p$が存在する．
それぞれの格フレーム$cf^p_l$に対応する格フレーム内平均ベクトル$ \bar{\phi}_{cf^p_l(c)}$はその格フレームの選択選好を反映しているため，これと格要素候補ベクトル${\phi}_{e}$の距離が近いほど，その格要素候補$e$は対象格フレーム$cf^p_l$の格スロット$c$に埋まりやすいと言える．
このアルゴリズムは与えられた述語に対して，二つのベクトル間の距離が最も近くなる格フレームと格要素候補の組合せを探索する．
しかしながら，京大格フレームは自動的手法で構築されているので，本来別々の格フレームが一つの格フレームとしてまとめられてしまっている，あるいは同じ一つの格フレームが別々に分断されてしまっている可能性がある．
この問題に対処するために，我々は提案する解候補削減手法に二種類の平均ベクトルを導入した．MVCはある述語に対する格フレームの違いを区別し，MVPは格フレームの違いを考慮せず述語のみを考慮する．

\begin{algorithm}[t]
\input{09algo01.tex}
\end{algorithm}

まず初期値として各格$ c \in C $に埋まりうる格要素$e^{(0)}_{c}$を仮に定める（行1--3）．
MVP $\overline{\phi}_{p(c)}$と格要素候補の分散表現$ \phi_{e} $とのコサイン距離を求め，これが最小となる，すなわち対象述語に埋まる格要素群に最も近い格要素を初期格要素とする．
この段階では，MVPを使用することで特定の格フレームではなく述語のみを考慮している．
格フレーム候補と初期格要素の組合せを入力とした\textsc{Pseudo-Score}（行17--26）の返すスコアに基づいて，これらの初期格要素に対して最適な格フレーム$cf^{(0)}$を格フレームの初期値とする（行5）．
\textsc{Pseudo-Score}については \citeA{Sasano-A-2008}を参考に，我々は以下の3つの要素を考慮した．(1)京大格フレームに基づく（述語，格フレーム，深層格，格要素）の組合せの出現確率，(2)格フレーム内平均ベクトル (MVC) と格要素候補の間のコサイン類似度，および(3)述語と格要素候補の間の文数，である．
このスコアの係数は経験的に定めた．
以降，格フレーム$ cf^{(t)} $を固定して格要素$ e^{(t+1)}_{c} $を探索するフェーズ（行8--10）と格要素$ e^{(t+1)}_{c} $を固定して格フレーム$ cf^{(t+1)} $を探索するフェーズ（行12）を繰り返し，格フレームと格要素が更新されなくなればループを抜ける（行6--15）．
このアルゴリズムでは返り値として最もスコアの高い格フレームと格要素の組合せを返すが，実際にはループ中の毎回の探索過程で計算した格要素候補のうち3ベストまでを候補として保存する．
最終的な出力は探索の過程で保存されたすべての格フレームと格要素の組合せである．
提案した解候補削減手法により，約70\%の正解を候補に残しつつ，約1,000分の1まで解候補を削減することができた．


\section{評価実験}
\label{experiment}

\subsection{ゼロ照応解析手法}
\label{zero}

学習手法にはランキングSVMとFNNを使用しそれぞれ比較した．
先行研究 \cite{Sasano-A-2011,Hangyo-Japanese-2013}と同様に，まず文書全体に対して形態素解析，固有表現抽出，構文解析を行う．
これにはJUMAN Ver.7.01\footnote{http:\slash\slash{}nlp.ist.i.kyoto-u.ac.jp\slash{}index.php?JUMAN}，KNP Ver.4.16\footnote{http:\slash\slash{}nlp.ist.i.kyoto-u.ac.jp\slash{}index.php?KNP}，CaboCha Ver.0.69\footnote{ https:\slash\slash{}taku910.github.io\slash{}cabocha\slash{}}を用いた．


\paragraph{S0}
\label{s0}

提案する解候補削減を行い，ベースモデル素性を使用してSVMモデルを実装した．
ランキング学習にはSVM$^{rank}$ \cite{of-the-international-Training-2006}を使用した．カーネルは線形である．
このモデルは正例と負例から識別関数を学習し，この識別関数が最も高い解候補を一つ出力する．


\paragraph{S0\_each}
\label{S0each}

提案する解候補削減手法の効果を評価するためには，解候補削減を用いないモデルと比較することが自然である．
しかしながら，前方3文までに先行詞候補の探索範囲を制限しても，述語一つあたりに対して20,000の述語項構造候補が出現するため，訓練時の計算複雑性は現実的ではない．
これは複数の格を同時推定するために，格要素候補同士の組合せを考慮していることが原因である．
そこで我々は，それぞれの格を独立に解析することで，解候補削減が必要ない単一格解析手法を用意した．
この手法では，3つの格に対してそれぞれ別のSVMモデルを用意し，これらを独立に学習させて，評価の際は各格に対応するモデルのそれぞれの出力を組合せて最終的な出力とした．
この時，述語一つあたりに対して，各格約200の格フレームと格要素の組合せが出現し，我々の提案手法に比べて計算量は膨大ではあるものの，計算可能な範囲である．
この各格に対して独立のSVMを用いて学習を行ったモデルをS0\_eachとする．


\paragraph{S0$'$}
\label{S0$'$}

複数格の同時推定のために我々は単純な解候補削減手法を用意した．
この手法では，解析対象述語に近い方から先行する$n$個の名詞のみを格要素候補として選ぶ．
この時の各格に対する格要素候補数は，提案手法と同程度の格要素の組み合わせ数となるよう調整した値であり，今回は$n=5$とした．
この単純な解候補削減手法を適用した上でSVMを用いて学習を行ったモデルをS0$'$とする．


\paragraph{F0}
\label{f0}

ベースモデル素性を使用してFNNモデルを実装した．
FNNの設計に際しては \citeA{Matsubayashi-Revisiting-2017}を参考に，誤差関数にはソフトマックスクロスエントロピーを用い，各隠れ層にはbatch 正則化 とReLU活性化関数を使用した．


\paragraph{F1}
\label{f1}

格要素候補の分散表現と解析対象述語の分散表現を素性に追加することで，F0を拡張した．


\paragraph{F2}
\label{f2}

F1の述語分散表現を格フレーム内平均ベクトル (MVC) に置き換えた．


\paragraph{F3}
\label{f3}

F2に文脈ベクトルとしてRNNの出力を追加した．
RNNにはGRUを使用した．
図~\ref{pic:解析モデル}にF3の全容を示す．

\noindent
表{~\ref{tb:素性の組合せ}}にそれぞれの素性組合せを示す.
なお，MVPは入力素性として使用していない．

\begin{table}[t]
\caption{候補削減・素性の組合せ}
\label{tb:素性の組合せ}
\input{09table05.tex}
\end{table}


\subsection{データセット}

実験データとして，『現代日本語書き言葉均衡コーパス』(BCCWJ)   \cite{Maekawa-2014aa}のコアデータ\footnote{http:\slash\slash{}pj.ninjal.ac.jp\slash{}corpus\_center\slash{}bccwj\slash{}}を使用した．
BCCWJのコアデータ約2,000文書に対しては，人手による述語項構造と照応関係が付与されており，これは新聞，雑誌，書籍，白書，Yahoo!知恵袋，Yahoo!ブログの6ドメインにまたがっている．
ドメインの偏りに注意し，全体の約4/5を訓練用データ，約1/20を開発用データとし，残りを評価用データとして使用した．
複数の格要素が同じ対象を指示している場合（共参照），本研究ではコーパスに付与された共参照情報をもとに出力を評価し，正しい照応先と共参照関係にある先行詞のいずれかを対応付けることが出来ていたならば正解とした．
本研究で対象とした述語は動詞のみで，形容詞，事態性名詞は扱っていない．
この理由として，動詞のゼロ照応解析において必要とされる手がかりと，形容詞や事態性名詞のゼロ照応解析において必要とされる手がかり，格要素と述語の出現傾向が異なるという点が挙げられる．{ \citeA{Matsubayashi15projectnext}}が示しているように，例えば，形容詞はニ格やヲ格をほとんど取らない．また，事態性名詞は他の述語を項に取る場合があり，格要素候補には名詞以外の品詞も含めて解析を行う必要がある．
このため，述語の種類を考慮しない単純な拡張による同時解析は解析精度の低下を招くと考えた．


\section{結果と議論}

\subsection{結果}


\paragraph{複数格同時推定の効果}

表~\ref{tb:result}はBCCWJにおけるゼロ照応解析の実験結果である．
S0\_eachとS0を比較すると，多くの列において，S0がS0\_eachより高い精度を示していることがわかる．
ただし文間ガ格，全体ガ格の列においては，S0\_eachがS0より高い精度を示している．これは単格の推定では，比較的精度の高いガ格の推定が他の格における誤りから影響を受けないため，複数格同時推定の時より値が良くなっているのだと考えられる．
一方で，ニ格，ヲ格については，S0\_eachは他の格の情報が使えないため比較的精度が低く，全体としての精度も，複数格同時推定を行っているS0に劣っている．
我々はこの結果に対して有意水準0.1\%でMcNemar検定を行い，統計的有意差を確認した．

また，候補削減を行わない単一格解析のFNNモデルも用意し同条件で訓練し，テストを行ったものの学習が収束せず，極めて低い精度を示した．
このことからも，候補削減の重要性が示唆される．


\paragraph{解候補削減の効果}

表~\ref{tb:result}で，S0$'$とS0を比較すると，すべての列において，S0がS0$'$より精度が高い．
我々はこの結果に対して有意水準0.1\%でMcNemar検定を行い，統計的有意差を確認した．
このことから我々の提案した解候補削減手法がうまく機能しているといえる．

\begin{table}[b]
\caption{BCCWJにおける結果（F値）}
\label{tb:result}
\input{09table06.tex}
\end{table}


\paragraph{分散表現とMVCの効果}

ベースラインモデル(F0)に格要素と述語の分散表現を導入すると(F1)，全体の精度が低下した．
しかしながら，述語の分散表現をMVCに置き換えることで(F2)精度は上がり，F0を上回っている．
これは述語の情報(F1)の代わりに，格フレーム情報を使う(F2)方がより効果的であることを示している．


\paragraph{文脈ベクトルの効果}

ローカルアテンション付きRNNモデルを使用し文脈情報を導入することで(F3)，F2に比べて文内・文間ともに改善が見られた．
これは，モデルが前方文脈情報を効率的に学習できていることを示唆している．F3は全体の精度においてはS0に劣っているが，文間照応においては様々な素性を入力としたことにより，S0より高い精度を示している．


\paragraph{優先度学習の有効性}

様々な素性を使用したFNNモデルと比較して，ランキングSVMを用いたS0のほうが全体では最も良い精度を示している．{ \citeA{Isozaki2006,Hangyo2014}}は日本語ゼロ照応解析に際して，優先度学習を用いることは精度向上に効果があると指摘している．これは一般にゼロ照応解析がマルチインスタンス学習の枠組みで設定されていることによる．マルチインスタンス学習では，一つの実体が複数のインスタンス（素性ベクトル）を持ち，各実体が少なくとも一つの正例インスタンスを持つか否かはわかるがどのインスタンスが正例かはわからないという設定で学習を行う．
マルチインスタンス学習のタスクに対して普通の二値分類を行った場合，比較的解きやすい実体に含まれる正負インスタンスと解きにくい実体に含まれる正負インスタンスを区別なく同時に学習することになってしまい，精度の悪化を招くと考えられる．

我々は{ \citeA{Hangyo-Japanese-2013,Hangyo2014}}同様，ランキングSVMを用いることでS0には優先度学習を取り入れているが，今回使用したFNNモデルにはこれに類する複雑な処理を取り入れておらず，述語すべてのそれぞれの組合せ候補に対して区別なく二値分類の学習を行っている．
その結果，比較的解きやすい述語の多い文内においてはS0が高い精度を示し，比較的解きにくい述語の多い文間においてはより多くの素性が与えられたFNNモデルが高い精度を示している．
そのため，BCCWJにおいては文間ゼロ照応より文内ゼロ照応の事例数のほうが多いことから，全体の精度としてはS0が上回っている．
これは，より多くの素性を与えられたFNNモデルがより難しい述語に適合しようとして簡単な述語に対する精度を下げてしまった可能性がある．
対策として，FNNモデルにもRankNetなどの優先度学習を取り入れることで文内の精度が改善される可能性がある．


\subsection{議論}

\paragraph{候補削減の成功例}
\label{AppendixSucCandidate}

候補削減の成功例としてBCCWJのQA文書である『00020\_A\_OC08\_00002』の2行目に出現する「知ってたら」を解析対象述語とした際の候補リストを表{~\ref{tb:SucCandidate}}に示す．

\vspace{1\Cvs}
\begin{center}
\fbox{
\vbox{\hbox{{\bf 電動}{\bf 歯}{\bf ブラシ}の{\bf 替え}{\bf ブラシ}って高い！ですよね！？}
\hbox{{\bf 家計}に苦しいので{\bf 復活}＆{\bf 長持ち}する{\bf 方法}\underline{知ってたら}教えて下さい！}}
}
\end{center}
\vspace{1\Cvs}

\begin{table}[t]
\caption{候補削減の成功例}
\label{tb:SucCandidate}
\input{09table07.tex}
\end{table}

ガ，ヲ，ニ格に埋まる格要素のうち「知ってたら」と直接係り受け関係にある名詞はない．一見すると「方法」が「知ってたら」に係っているように思えるが，BCCWJによれば，「方法」は「教えて下さい！」に係っている．従ってここではガ格，ヲ格にゼロ代名詞が存在し，ガ格の格要素は外界二人称，ヲ格は「方法」，ニ格の格要素は照応なしであると定める．

京大格フレームには動詞「知る/しる{\~{}}テ形+る/る」の格フレームが32種類ある．解析対象述語「知ってたら」を含む文から3文前まで（実際には2行目の述語なので，1文前まで）に含まれる名詞は「電動」，「歯」，「ブラシ」，「替え」，「ブラシ」，「家計」，「復活」，「長持ち」，「方法」の9個あり，これらが格要素候補となる．
これらの名詞9個に加えて，「外界照応 or 照応なし」を示す「None」を含む10個が実際の候補削減の対象となる格要素候補となる．
これらの組合せは，$32 \times (10 \times 9 \times 8 + 3 \times 9 + 1) = \text{23,936}$候補となる（「None」は重複を許容するため）．これに対して我々の提案した候補削減を施し，23個まで削減した結果が表{~\ref{tb:SucCandidate}}である．
表{~\ref{tb:SucCandidate}}は正解の組合せ（「知る/しる{\~{}}テ形+る/る:動13」，「None」，「方法」，「None」）を含むので上手く候補削減ができている．

成功の理由を考察する．京大格フレーム中の「知る/しる{\~{}}テ形+る/る:動13」のヲ格の行で最も出現数が多い語は，「方法」が715回，「術」が207回，「使い方」が144回，「コツ」が111回，「仕方」が88回である．これらに対して正解のヲ格である「方法」はMVCとのcosine距離，出現確率によって高いスコアを割り当てられている．
「知る/しる{\~{}}テ形+る/る:動13」のガ格の行で最も出現数が多い語は，「方」が2回，「司祭」が2回，「人」が2回，他22種の語が1回となっていて，不正解のガ格である「歯」，「復活」，「家計」，「方法」は候補リスト中に出現してはいるものの，比較的低いスコアを割り当てられている．


\paragraph{候補削減の失敗例}
\label{AppendixMissCandidate}

候補削減の失敗例としてBCCWJの雑誌文書である『00016\_A\_PM12\_00020』の3行目に出現する「入ってくる」を解析対象述語とした際の候補リストを表{~\ref{tb:MissCandidate}}に示す．

\vspace{1\Cvs}
\begin{center}
\fbox{
\vbox{\hbox{{\bf １７}}
\hbox{{\bf 創}は倒れている{\bf 棚倉}を見ても、{\bf 顔色}を変えなかった。}
\hbox{{\bf 生死}を冷静に{\bf 確認}するように{\bf 観察}してから、{\bf 礼拝}{\bf 堂}の{\bf 中}に\underline{入ってくる}。}}
}
\end{center}
\vspace{1\Cvs}

\begin{table}[b]
\caption{候補削減の失敗例}
\label{tb:MissCandidate}
\input{09table08.tex}
\end{table}

ガ，ヲ，ニ格に埋まる格要素のうち「中」は「入ってくる」と直接係り受け関係にある．従って，本来であればニ格には「中」以外埋まらないものと制限して候補削減を行う．しかし，BCCWJのアノテーションによれば，「入ってくる」は「入って」と「くる」に分割され，「中に」は「くる」に係っているため，「入って」とは直接係り受け関係にないとされ，ゼロ代名詞とされている．ここではBCCWJのアノテーションに従って，ガ格，ニ格にゼロ代名詞が存在し，ガ格の格要素は「創」，ヲ格は照応なし，ニ格の格要素は「中」であると定める．

京大格フレームには動詞「入る/はいる{\~{}}テ形+くる/くる」の格フレームが24種類ある．解析対象述語「入ってくる」を含む文から3文前まで（実際には3行目の述語なので，2文前まで）に含まれる名詞は「１７」，「創」，「棚倉」，「顔色」，「生死」，「確認」，「観察」，「礼拝」，「堂」，「中」の10個あり，これらが格要素候補となる．
これらの名詞10個に加えて，「外界照応 or 照応なし」を示す「None」を含む11個が実際の候補削減の対象となる格要素候補となる．
これらの組合せは，$24 \times (11 \times 10 \times 9 + 3 \times 10 + 1) = \text{24,504}$ 候補となる（「None」は重複を許容するため）．これに対して我々の提案した候補削減を施し，18個まで削減された結果が表{~\ref{tb:MissCandidate}}である．
表{~\ref{tb:MissCandidate}}は正解の組合せ（「入る/はいる{\~{}}テ形+くる/くる:動3」，「創」，「None」，「中」）を含まないため，候補削減としては失敗の例である．

\begin{table}[b] 
\vspace{-0.5\Cvs}
\caption{BCCWJのドメインごとの実験結果のF値}
\label{tb:resultGenre}
\input{09table09.tex}
\end{table}

京大格フレーム中の「入る/はいる{\~{}}テ形+くる/くる:動3」のガ格の行で最も出現数が多い語は，「手」が205回，「男」が61回，「誰」が55回，「蜂」が30回，「彼」が28回である．これらに対して正解のガ格である「創」は我々の解析においては「創造」，「創作」などに近い一般名詞として捉えられてしまい，人名としての分散表現が与えられず，候補削減アルゴリズム中で低いスコアが割り当てられて，候補リストから漏れてしまっている．
この候補削減失敗への対策としては，「創」を人名と判定し，人の意味を含む分散ベクトルを割り当てるということが考えられる．
「入る/はいる{\~{}}テ形+くる/くる:動3」のニ格の行で最も出現数が多い語は，「中」が17,328回，「間」が650回，「内」が361回，「下」が154回，「奥」が154回となっていて，正解のニ格である「中」は比較的高いスコアを割り当てられて，候補リスト中にも出現が確認できる．


\paragraph{ドメイン別のゼロ照応解析の精度}
\label{AppendixGenre}

我々は複数ドメインコーパスであるBCCWJ上で評価を行っている．テスト事例に対する解析結果をドメインごとに表{~\ref{tb:resultGenre}}に示す．

OW（白書），PN（新聞）は一文の語数が多く，格要素候補の名詞も多数出現するため，組合せ候補数が増加する傾向にある．専門的な語や他のドメインでは出現頻度の低い述語が出現しやすい．しかし文法的には比較的正しい書き方がなされており，文意が取れないほどの省略は少なく，直接係り受け関係にある格要素が多く存在する．また，表{~\ref{tab:genre-distribution}}に示した通り，ガ格ゼロ照応のうちOWは72\%，PNは51\%が文内ゼロであり，直接係り受け関係にある格要素も比較的多く存在する．そのため，我々の組合せを用いる解析手法では，他の格の直接係り受け関係にある格要素を格フレーム選択の手がかりとすることで，他のドメインにおける精度と比較して全体で高いスコアを示している．また，多量の格要素候補に対しても提案候補削減が上手く機能し精度の向上に貢献している．

PB（書籍），PM（雑誌）は一文が短く，文法的に砕けた文が多く見られ，一読しただけでは文意が捉えきれないような省略が散見される．倒置表現や，表{~\ref{tab:genre-distribution}}に示した通り3文より前に格要素が出現することも多い．そのため，他のドメインに比べて文間の精度は高いものの，全体の精度は低い．特にPB，PMに関しては文書ごとに取り扱う題材や書き手に多様性があるため，ドメイン適応の手法を用いても精度の改善につながらない．我々の手法では格要素候補として述語を含む文から3文前までの文中に出現する名詞のみを収集しているが，これをより広範囲に広げることが対策として考えられる．また，使用する大規模格フレームを現在はWebコーパスのみから構築しているが，より多くのドメインから構築することで，多様な述語に対して適切な格フレームを選択することができると考えられる．その際，爆発的に増加する格要素候補と格フレーム候補の組合せに対して，我々の提案する候補削減手法はより有効に働くものと予想される．

OC (QA) は文内，文間のガ格において高い精度が出ている．これは，QAにおけるガ格の多くが一人称か二人称であり，他のドメインに比べて簡単なタスクとなっているためだと思われる．一方，表{~\ref{tab:genre-distribution}}に示した通りOCは文間ゼロの比率が最も高く，3文より前に格要素が出現することも多いため，全体の精度は最も低い．OCに出現する文はPB，PM以上に文法的に砕けた文が多く見られ，一読しただけでは文意が捉えきれないような省略が散見される．このドメインにおけるゼロ照応解析の精度を上げるためには，書き手の交代や質問文であるか否かのOCに特有の素性や，文書全体の構造を手がかりとすることが必要だと考えられる．

OY（ブログ）はタイトルや箇条書き，メールアドレス，URL，日時，空白記号が多く出現し，書かれている内容も日記，政治ニュースに関する意見，技術的な説明文など様々である．
我々の手法はより細分化された大規模格フレームを組合せで用いているため，出現述語の表記ゆれや助動詞の変化にも頑健で，他のドメインと比較して文内の全体において最も高いスコアが出ている．


\paragraph{係り受け関係とゼロ照応解析の適合率の関係}
\label{AppendixAccPred}

我々の提案するモデルは複数の異なる格要素を同時に同定する．その効果を見るために，我々はどの格がすでに係り受け解析によって埋まっているかに基づいてテスト事例を分類した．
表~\ref{tb:error-rate}はそれぞれの組合せにおける適合率である．
列はすでに直接係り受け関係で埋められた格を示し，行はシステムによって埋められるべき格を示す．
例えば，『ガ格』行，『ヲ格』列の数字は，係り受け解析によって『ヲ格』の格要素が与えられた上で，『ガ格』の格要素を同定した適合率である．

\begin{table}[b]
\caption{係り受け関係とゼロ照応解析の関係}
\label{tb:error-rate}
\input{09table10.tex}
\end{table}

直感的には，すでに直接係り受け関係で埋められた格が多いほど適合率は上がるものと予想されるが，『ガ格』の行で特に顕著なように，すでに直接係り受け関係で埋められた格が多いほど適合率が下がる傾向が見られる場合もある．
これは，今回使用している京大格フレームがWeb上の文における直接係り受け関係の情報のみを収集していて，ゼロ照応の情報はほとんど考慮していないため，我々がゼロ照応解析を行うに際しては，その偏りの影響を受けているのだと考えられる．
例えば，実際の日本語文においては，ガヲニ格を取りうる述語であっても，『ガとヲのみ直接係り受け関係で格要素が存在し，ニ格が省略されている文』と『ガヲニすべて直接係り受け関係で格要素が存在する文』では，前者のほうが多く出現し京大格フレーム中の用例が充実している可能性がある．
この時，前者の文の出現によって京大格フレームに収録されるのはガ格とヲ格のみが出現する格パターンの用例であり，後者の文の出現によって収録されるのはガ格とヲ格とニ格が出現する格パターンの用例であるため，後者の格パターンが比較的スパースになる．
そのような偏りを持つ京大格フレームを解析に用いた結果，『ガ格』行『ヲ格』列は，京大格フレーム中の豊富な用例を用いることができるため比較的適合率が高く，一方で，『ガ格』行『ヲ格，ニ格』列は，用例がスパースであるため比較的適合率が低くなる，と考えられる．
従って，解析に際して直接係り受け関係の格要素のみでなくゼロ照応の格要素も考慮した格フレームを用いたならば，直感に反せず，すでに直接係り受け関係で埋められた格が多いほど適合率は上がるものと予想される．

また，特に下線付きのセルが事例数が多いにも関わらず適合率が低いため，これらの下線付きセルの述語に関するパフォーマンスを改善することが，ゼロ照応解析全体の精度を上昇させることに対して重要である．


\paragraph{NAISTテキストコーパス(NTC)による実験}
\label{AppendixNAIST}

表{~\ref{tab:related-work}}に示した通り，日本語文間ゼロ照応を取り扱う研究としては \citeA{imamura09,Sasano-A-2011,Hangyo-Japanese-2013,Shibata2018}が挙げられる．
このうち我々が対象とする文内・文間のゼロ照応を行っているのは{ \citeA{Sasano-A-2011}}のみであり，かつ彼らはNTC上の評価実験で文内・文間のstate-of-the-artを達成している．
我々はNTCを用いて評価実験を行うことで，本稿の提案手法を{ \citeA{Sasano-A-2011}}と比較した．
表{~\ref{tb:resultNTC}}はその実験結果を示す．{ \citeA{Sasano-A-2011}}の設定と揃えるために，ここで対象とした述語は動詞と形容詞とする．

\begin{table}[b]
\vspace{-0.5\Cvs}
\caption{NTCを用いた実験結果のF値}
\label{tb:resultNTC}
\input{09table11.tex}
\end{table}

我々の提案手法は比較的精度が出にくい文内のヲ格，ニ格において{ \citeA{Sasano-A-2011}}より高い精度を示している．
これは我々が使用する京大格フレームが{ \citeA{Sasano-A-2011}}の使用した版より巨大かつ細分化されているため，解析対象述語の語彙により適した格フレームを選ぶことで，適切な格要素を同定できているのだと考えられる．

一方で，文内，文間のガ格においては{ \citeA{Sasano-A-2011}}より低い精度を示している．
これは{ \citeA{Sasano-A-2011}}が格要素候補に対して，100万の名詞を2,000個の意味クラスに分類した結果を使用し，汎化することで格フレームのカバレッジを補っている効果によるものと思われる．
我々の手法はword2vecを使用した分散表現同士のcosine距離を使用することで京大格フレームの汎化を行っているが，格要素の詳細な分類が述語に対してより重要な意味を持つガ格のゼロ照応解析においては，{ \citeA{Sasano-A-2011}}の手法のほうが優れていると考えられる．
ただしこれらの手法は排他的でなく，同時に使用することも可能であるため，双方を候補削減，ゼロ照応解析の素性として格ごとに使い分けることでさらなる精度の向上が期待できる．

\begin{table}[t]
\caption{『Project NEXT 述語項構造タスク』の指定するBCCWJ文書を用いた実験結果のF値}
\label{tb:resultNext}
\input{09table12.tex}
\end{table}


\paragraph{『Project NEXT 述語項構造タスク』との比較}
\label{AppendixNext}

{ \citeA{Matsubayashi15projectnext}}は複数の述語項構造解析器の評価をBCCWJ上で行っている．ただし彼らはNTC上で解析器の訓練を行い，BCCWJの一部データにおいてテストをしているため，我々の提案手法との厳密な比較はできない．しかしできる限り条件を揃えて，彼らのスコアとS0を比較した．
表{~\ref{tb:resultNext}}にその結果をまとめる．
{ \citeA{Matsubayashi15projectnext}}はBCCWJの以下 22 文書 1,625 文をテストデータとして使用している．
\begin{itemize}
\item OW: OW6X\_00000 OW6X\_00010 の 2 記事
\item OY: OY01\_00082 OY04\_00001 OY04\_00017 OY04\_00027 OY10\_00067 OY12\_00005 の 6 記事
\item PB: PB12\_00001 PB2n\_00003 PB40\_00003 PB42\_00003 PB50\_00003 PB59\_00001 の 6 記事
\item PM: PM12\_00006 PM24\_00003 PM25\_00001 PM26\_00004 の 4 記事
\item PN: PN1b\_00002 PN1c\_00001 PN1d\_00001 PN3b\_00001 の 4 記事
\end{itemize}
S0の訓練にはこれらを除くすべてのBCCWJデータを使用した．
{ \citeA{Matsubayashi15projectnext}}が取り上げている解析器は{ \citeA{Matsubayashi2014}}の解析器，{ \citeA{Yoshino2013}}の解析器，KNP{ \cite{KNP2013}}の3種類で，これらを様々な条件下で比較している．ここではBCCWJにおいて述語項構造をアノテーションされているすべて動詞から「れる」，「せる」，「できる/出来る/可能」，「てある」を伴うものを除き，{ \citeA{Yoshino2013}}の解析器には係り受け情報を与え，KNPには-anaphora モードでベストアラインメントを用いて解析を行った結果のスコアである．
具体的には{ \citeA{Matsubayashi15projectnext}}中の表50，表138，表295の数字をここでは引用している．
ただし，我々の提案手法では京大格フレームとの整合性を保つために，BCCWJのアノテーションに基づいて，補助動詞「てあげる，てもらう，など」，可能「できる，れる，られる」，受け身「れる，られる」，使役「せる，させる」，願望「たい」を伴う動詞を除いている．そのため，{ \citeA{Matsubayashi15projectnext}}の示す各格の事例数とは少し数字が異なる．表{~\ref{tb:resultNext}}中の数字は我々の基準における例数である．
また，{ \citeA{Matsubayashi2014}}の解析器，{ \citeA{Yoshino2013}}の解析器，KNPは直接係り受け関係にある格要素の解析も同時に行っている．KNPは述語位置の判定も行っていて，一部の動詞については述語位置を誤って判定しているため，その分だけ精度が下がっている．

結果を比較すると，文内において我々の提案手法は他の解析器に大きく差を付けて高い精度を示している．この理由として，提案手法においては直接係り受け関係にある格要素の情報を使用しているため，より正確に格フレームを選べている点が挙げられる．一方で，文間のガ格で{ \citeA{Yoshino2013}}の解析器のほうが精度が高いのは，彼らの解析器は格ごとに解析を行っているため，S0\_each同様，他の格の解析エラーの影響を受けないためであると思われる．
また，文間のガ格でKNPの精度が高いのはKNPが{ \citeA{Sasano-A-2011}}と同様に意味クラスを使用した文間照応を行っている効果によるものだと思われる．


\section{結論}

本論文では分散表現で平均化した格フレームによる解候補削減を用いた日本語文内・文間ゼロ照応モデルを提案した．
提案した解候補削減アルゴリズムによって大規模な複数ドメインコーパスによる効率的な訓練を可能とした．
また，ローカルアテンション機構付きRNNとFNNを組合せて使用し様々な素性を取り入れることで，文間ゼロ照応解析においてより高い精度が出ることを確認した．

我々の今後の課題はタスクの対象を形容詞，事態性名詞にまで拡張し，より実用的なモデルを構築することである．
また，対象格要素候補の名詞が先行文脈中の述語にどの格の格要素として取られたかの情報を，我々の提案した解候補削減アルゴリズムに取り入れることで，より良い解候補削減が行えるよう改善する予定である．
また，解候補削減を行わない場合，提案FNNモデルの学習が発散することから，本研究で提案したニューラルネットを用いた解析アーキテクチャそのものに改善の余地があると考えられる．


\acknowledgment
\citeA{Hangyo-Japanese-2013}に関して詳細な情報をご教示くださった萩行正嗣氏， \citeA{Ouchi-Neural-2017}の全体像についてご教示くださった大内啓樹氏に厚く御礼申し上げます．
本論文の内容の一部は，The 32nd Pacific Asia Conference on Language, Information and Computation，第5回自然言語処理シンポジウム（第238回自然言語処理研究発表会）で発表したものである \cite{Yamashiro-en,Yamashiro-ja}．
The authors would like to thank Enago (www.enago.jp) for the English language review.



\bibliographystyle{jnlpbbl_1.5}
    \input{09refs_bbl.tex}


\appendix

\section{素性詳細}\label{chap:appFeatures}

\centerline{\small\textbf{表13}　ベースモデル素性一覧}\par
\input{09table13.tex}


\vspace*{-1\Cvs}
\begin{biography}
\bioauthor{山城　颯太}{
2017年東京工業大学工学部情報工学科卒業．2019年同大学情報理工学院情報工学系修了．同年，ヤフー株式会社入社．
}

\bioauthor{西川　　仁}{
2006年慶應義塾大学総合政策学部卒業．2008年同大学大学院政策・メディア研究科修士課程修了．同年，日本電信電話株式会社入社．2013年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了．NTT メディアインテリジェンス研究所研究員を経て，2015年より東京工業大学情報理工学院助教．2017年IE経営大学院修士課程修了．博士（工学）．自然言語処理，特に自動要約，自然言語生成の研究に従事．The Association for Computational Linguistics, 言語処理学会，人工知能学会，情報処理学会各会員．
}

\bioauthor{徳永　健伸}{
1983年東京工業大学工学部情報工学科卒業．1985年同大学院理工学研究科修士課程修了．同年（株）三菱総合研究所入社．1986年東京工業大学大学院博士課程入学．現在，東京工業大学情報理工学院教授．博士（工学）．専門は自然言語処理，計算言語学．情報処理学会，人工知能学会，言語処理学会，計量国語学会，Association for Computational Linguistics, ACM SIGIR, Cognitive Science Society, International Cognitive Linguistics Association各会員．
}

\end{biography}

\biodate



\end{document}

