\documentclass[tombow,japanese]{jnlp_2.3}
\usepackage{jnlpbbl_1.3}
\usepackage[dvipdfm]{graphicx}
\usepackage{amsmath}
\usepackage{array}
\allowdisplaybreaks

\usepackage{comment}
\usepackage{colortbl}
\usepackage{bm}
\newcommand{\argmax}{}
\newcommand{\bilstm}{}
\newcommand{\lstm}{}
\newcommand{\bigru}{}
\newcommand{\gru}{}
\newcommand{\linear}{}
\newcommand{\softmax}{}
    \def\modify#1{}
\def\none{}
\def\exow{}
\def\exor{}
\def\exox{}
\def\unknown{}
\def\dom#1{}
\def\o{}
\def\t{}

\Volume{26}
\Number{2}
\Month{June}
\Year{2019}

\received{2018}{11}{1}
\revised{2019}{2}{21}
\accepted{2019}{4}{2}

\setcounter{page}{483}

\jsubject{論文}
\jtitle{外界一人称と二人称を考慮する日本語述語項構造解析の分野適応}
\jauthor{珊瑚彩主紀\affiref{Author_1} \and 西川　　仁\affiref{Author_1} \and 徳永　健伸\affiref{Author_1}}
\jabstract{
本稿では，日本語述語項構造解析に分野適応の技術を導入することを提案する．述語項構造がアノテーション付けされた現代日本語書き言葉均衡コーパス (BCCWJ-PAS) において，メディアの違いにより項の種類の出現頻度が異なることがわかった．特に外界照応においてその傾向は顕著である．過去の日本語述語項構造解析の多くは，新聞記事コーパスを対象にしているために，この傾向には注目していなかった．この問題に取り組むため，まず，RNNベースの述語項構造解析器をベースラインとして使用し，3種類の異なる分野適応技術とその組み合わせを導入した．現代日本語書き言葉均衡コーパス (BCCWJ-PAS) を用いた評価実験では，述語項構造解析には分野依存性があることがわかった．特にガ格とヲ格の解析では，分野適応が日本語述語項構造解析の性能向上に有効であることが確認され，QAテキストの解析においてベースラインと比較しF1値が最大で，{$0.030$}向上した．
}
\jkeywords{日本語述語項構造解析，ゼロ照応，外界照応，分野適応}

\etitle{Domain Adaptation in Japanese Predicate-Argument Structure Analysis considering First and Second Person Exophora}
\eauthor{Mizuki Sango \affiref{Author_1} \and Hitoshi Nishikawa\affiref{Author_1} \and Takenobu Tokunaga\affiref{Author_1}} 
\eabstract{
This paper proposes introducing domain adaptation into Japanese predicate-argument structure \modify{(PAS)} analysis. Our investigation of a Japanese balanced-corpus revealed that the distribution \modify{of argument} types \modify{differs} across text media. \modify{The difference is} particularly significant when the argument is exophoric. \modify{Previous} Japanese PAS analysis research has disregarded this tendency as studies have targeted mono-media corpora. \modify{This investigation begins} with a \modify{PAS analyzer based on a recurrent neural network} as \modify{its} baseline \modify{and extends} it by introducing three kinds of domain-adaptation techniques and their combinations. Evaluation experiments using a Japanese balanced-corpus (BCCWJ-PAS) confirmed the domain dependency of the PAS analysis. \modify{The domain adaptation is effective in improving the performance of the Japanese PAS analysis, especially} in the the nominative case. \modify{The} maximum F1 score in the \modify{QA text} analysis \modify{($0.030$) improved in comparison to the baseline.}
}
\ekeywords{Japanese Predicate-Argument Structure Analysis, Zero Anaphora, Exophora, Domain Adaptation}

\headauthor{珊瑚，西川，徳永}
\headtitle{外界一人称と二人称を考慮する日本語述語項構造解析の分野適応}

\affilabel{Author_1}{東京工業大学情報理工学院}{School of Computing, Tokyo Institute of Technology}



\begin{document}
\maketitle


\section{本研究の位置付け}
\label{sec:introduction}
述語項構造解析は，様々な自然言語処理アプリケーションの土台となる技術である．
本研究が対象とする日本語のような談話指向言語では，文から項が省略されることが多い \cite{kayama2013}．
これらの省略された項は，ゼロ代名詞とみなされる．
項は述語との係り受け関係があるか否かにより，係り受け関係有りかゼロ照応かに分けられる．
ゼロ照応は，項がテキスト中に現れるか否かにより，文脈照応か，外界照応かに分けられる．
文脈照応は，項が述語と同一文内に出現するか否かにより，文内照応か，文間照応に更に分けられる．

\vspace{0.5\Cvs}
{\small
例1.1)\ メールを\ 書いて$_{v_1}$\ 送ったよ$_{v_2}$．\quad 読んでね$_{v_3}$．
}
\vspace{0.5\Cvs}

例えば，例~(1.1)は，3つの述語($v_1$，$v_2$，$v_3$)と1つの明示的な項候補（メール）を含んだテキストである．
例~(1.1)を述語項構造解析した結果は表~\ref{tab:pasa-result}のようになる．
ここで，角括弧で囲まれた要素は外界照応，丸括弧は文内照応，二重丸括弧は文間照応である．
$v_1$のヲ格の項である「メール」は，格標識「を」によって明示的に示されており，$v_1$との係り受け関係を持っている．
このような名詞は，括弧をつけないで示している．
また，ラベル\none は，述語がその格に対して，項を取らないことを示している．

\begin{table}[b]
\caption{例 (1.1)の述語項構造解析結果}
\label{tab:pasa-result}
\input{08table01.tex}
\end{table}

日本語述語項構造解析は，意味役割付与 \cite{Zhou-End-2015,He-Deep-2017}タスクと類似しているが，ゼロ代名詞の照応解析と，表~\ref{tab:pasa-result}において角括弧で示されている外界照応の同定まで行う点において異なる．
日本語述語項構造解析は，単語が省略されうるという点において，中国語やトルコ語，またロマンス語であるスペイン語，ポルトガル語のようなnull-subject言語におけるゼロ照応解析と類似している \cite{Iida-A-2011,Rello-Elliphant-2012,Chen-Chinese-2016,Yin-Chinese-2017}．

過去の日本語述語項構造解析の研究では，形態素及び，構文解析から得られた様々な特徴を利用している \cite{Matsubayashi-Revisiting-2017,Hayashibe-Japanese-2011,Imamura-Predicate-2014,Shibata-Neural-2016,Ouchi-Joint-2015,Yoshikawa-Jointly-2013,Taira-A-2008}．
近年のアプローチでは，中間解析を必要としないend-to-endの手法による解析もある \cite{Ouchi-Neural-2017,Matsubayashi-Distance-2018}．

本論文は，日本語の文内述語項構造解析を対象とし，以下の2つの貢献をした．
第一に，文内述語項構造解析において，外界照応の一部を取り入れるように問題を整理した点である．
そのために，本研究では，外界照応を3つのサブカテゴリ，つまり，書き手である外界一人称 (\exow)，読み手である外界二人称 (\exor)，その他の外界三人称\footnote{今回使用したコーパスでは「外界一般」とされているが，本論文では，外界一人称，外界二人称と対比させ，外界三人称と呼ぶこととする．} (\exox) に分類する．
日本語のような談話指向言語では，2者間で行われる会話の際，外界一人称，外界二人称が省略されることが多い．
そのため，文内述語項構造解析においても外界一人称，外界二人称まで解析することは必要であると我々は考えている．
例~(1.2)は，サブカテゴリ化の必要性を示している．

\vspace{0.5\Cvs}
{\small 例1.2)\ サンドイッチ\ 食べる$_{v}$}

{\small \phantom{例1.2)}\ （私は）サンドイッチを食べる． / （あなたは）サンドイッチを食べる？}
\vspace{0.5\Cvs}

外界照応の書き手 (\exow) と読み手 (\exor) の両方が，動詞「食べる」の項候補であり，どちらを取るかにより文の意味が変わってくる．
これら，2つの意味を区別するために外界照応のサブカテゴリ化が必要である．

第二に，日本語述語項構造解析に分野適応の技術を導入する．
\citeA{Surdeanu-The-2008}と，\citeA{Hajic-The-2009}は訓練データとテストデータの分野（メディア）が異なると，意味役割付与の性能が低下することを報告している．
\citeA{Yang-Domain-2015}は，深層学習手法に分野適応を導入することでこの問題に対して取り組んだ．
\citeA{Imamura-Predicate-2014}を除いて，日本語述語項構造解析の過去の研究のほとんどが，新聞記事という単一の種類のテキストのみを対象としていたため，分野依存性は問題ではなかった．
対話文を解析するために\citeA{Imamura-Predicate-2014}は新聞記事を使って述語項構造解析器を訓練している．
また，\citeA{Taira-Business-2014}は，ビジネスメール文を解析するために，新聞記事を使って述語項構造解析器を訓練している．
その結果，係り受け関係にある述語項や，同一文内にある述語項の場合は，学習済みモデルを比較的流用できる可能性があるが，外界照応については訓練データが足りず解析精度が低いためモデルを作り直す必要があることを述べている．
しかし，その他の種類のメディアのテキストについて，述語項構造解析を行った研究はこれまで行われていない．
我々は様々な種類のメディアのテキストを日本語述語項構造解析の対象とするために，現代日本語書き言葉均衡コーパス (BCCWJ)\footnote{http://pj.ninjal.ac.jp/corpus\_center/bccwj/en/} \cite{Maekawa-2014aa}を使用した．
BCCWJには，紙媒体として，新聞記事，書籍，雑誌，白書といったメディアのテキスト，電子媒体として，インターネット上のQAテキスト，ブログテキストといった様々な種類のメディアから集められたテキストを含んでいる．
我々は，約200万の単語から構成され，共参照と述語項関係が注釈付けされたBCCWJのコアデータセット (BCCWJ-PAS) を使用した．
次章で詳述するが，外界照応の出現分布はメディアによって大きく異なるため，そのテキストのソースメディアを考慮する必要がある．

本研究では，リカレントニューラルネットワーク (Recurrent Neural Network: RNN) ベースのベースモデルから始め，以下の5種類の分野適応手法を導入し，各手法の有効性を評価\linebreak
する．
\begin{enumerate}
  \item Fine-tuning ({\tt FT}) 手法では，まず，訓練データ全体を用いてモデルを学習させる．学習されたパラメータを初期値とし，ターゲット領域のメディアの訓練データを用いて第2段階の学習を行う．
  \item Feature augmentation ({\tt FA}) 手法では，全体で共有されるネットワークと分野固有のネットワークを同時に訓練する \cite{Kim-Frustratingly-2016}．分野共通の知識は共有のネットワークで，分野固有の知識は分野固有のネットワークで学習されることを期待している．
  \item Class probability shift ({\tt CPS}) 手法では，項の種類毎に，項の出現確率の事前分布が分野によって異なることを考慮し，ネットワークが出力する確率にバイアスをかける．
  \item Voting ({\tt VOT}) 手法では，上記3つの手法による多数決をとり，出力を決定する．
  \item Mixture ({\tt MIX}) 手法では，上記(1)から(3)の3つの手法を単一のネットワークに組み合わせる．
\end{enumerate}
各手法の詳細は，\ref{sec:domain-adaptation}節にて説明する．


\subsection{本論文の構成}

本論文は次のように構成されている．
第~\ref{sec:problem-setting}章では，日本語述語項構造解析における既存研究と本研究の位置付け，コーパスを分析して得られた述語項構造解析の分野依存性について述べる．
第~\ref{sec:deep-reccurent-model}章では，本研究において使用するリカレントニューラルネットワークベースのモデルについて詳述する．
第~\ref{sec:domain-adaptation}章では，第~\ref{sec:deep-reccurent-model}章で提案したベースラインモデルに対して導入する5種の分野適応手法について詳述する．
第~\ref{sec:experiment}章では第~\ref{sec:deep-reccurent-model}章，及び，第~\ref{sec:domain-adaptation}章で説明したベースラインと分野適応を行ったモデルに対しての評価実験結果とその考察を述べる．
第~\ref{sec:conclusion}章では，評価実験・考察を踏まえ，今後の方向性を示し結論とする．


\section{述語項構造解析}
\label{sec:problem-setting}

本稿では，文内述語項構造解析を対象とする．
ただし，外界一人称，外界二人称を文内にある仮想的な項として扱い，一般的な文内照応に加えてこれらの一部の外界照応も解析対象とする．
過去の述語項構造解析の関連研究，及び，その関連研究が対象としてきた項種別について，概説する．

\begin{table}[b]
\caption{先行研究が対象としている項種別}
\label{tab:comparison}
\input{08table02.tex}
\end{table}


\subsection{関連研究}

日本語述語項構造解析に関する先行研究では様々な種類の項（項種別）を対象としてきた．
表~\ref{tab:comparison}は，先行研究が解析の対象としている項を項種別にまとめたものである．
表の列は，言語学的観点から項の種類を分類している．
項は述語との係り受け関係があるか否かにより，係り受け関係有り ({\dom{intra(dep)}}) かゼロ照応かに分けられる．
ゼロ照応は，項がテキスト中に現れるか否かにより，文脈照応か，外界照応かに分けられる．
文脈照応は，項が述語と同一文内に出現するか否かにより，文内照応 ({\dom{intra(zero)}}) か，文間照応 ({\dom{inter}}) に更に分けられる．
{\dom{intra(dep)}}と，{\dom{intra(zero)}}はどちらも項が述語と同一文内に出現する．
外界照応には，様々な分け方が存在する．
NAIST Text Corpus 1.5~{\cite{Iida-Naist-2007}}と，それに基づいた{\citeA{Imamura-Predicate-2014}}では，外界照応を外界一人称 (\exow)，外界二人称 (\exor)，その他の外界照応 (\exox) の 3 種類に分類している．
また，{\fullciteA{Hangyo-Japanese-2013}}は，外界照応をauthor（外界一人称と同じ），reader（外界二人称と同じ），US:person（外界の人），US:matter（外界のコト），US:situation（外界の状況）の5つに分類している．
ラベル\none は，述語がその格に対して，項を取らないことを示す．
例えば，自動詞はヲ格をとらない．
したがって自動詞のヲ格は\none となる．
\citeA{Taira-A-2008}，\fullciteA{Imamura-Discriminative-2009}，\citeA{Sasano-A-2011}，\citeA{Hayashibe-Japanese-2011} は，外界照応と，\none を区別していない．
これらは，表~\ref{tab:comparison}では，$\triangle$として示している．


\subsection{本研究の問題設定}

本論文では解析対象のコーパスであるBCCWJ-PASに習い，外界照応を3つのサブカテゴリ，書き手を示す外界一人称 (\exow)，読み手を示す外界二人称 (\exor)，及びその他の外界三人称 (\exox) に分けた．
ただし，外界一人称 (\exow)，外界二人称 (\exor) はともに単数のみを扱う．
以下では，項種別を示すために表{~\ref{tab:comparison}}に示すラベルを使用する．

表~\ref{tab:comparison}から，文間照応よりも，文内照応が盛んに研究されていることがわかる．
文間照応の解析は，文内照応と比較して，より広い空間を探索することが必要になるため，より困難な問題といえる．
外界照応\exow と\exor の項の解析は，文間照応と異なり，探索空間を大幅に増加させない．
次節で詳述するとおり，様々なメディアのテキストに対して，文内述語項構造解析をする際，書き手である\exow，読み手である\exor まで含めて解析することは重要である．

本研究では，文内述語項構造解析に加え，外界一人称，外界二人称を解析対象とする．
\exox と\dom{inter}は，解析対象の述語は，実際に項を取るが，文内には項が現れていないという点において同じであるため，文内述語項構造解析で解析器が\exox と\dom{inter}を区別することはできない．
そのため，今回は\unknown というラベルを付け，一纏めにして扱った．
これが我々の研究で，\exox が$\triangle$となっている理由である．
まとめると，本研究では，\dom{intra(dep)}，\dom{intra(zero)}，\exow ，\exor ，\none ，そして\exox と\dom{inter}をまとめた\unknown を扱う．
解析の対象とする述語は，BCCWJ-PASにおいて，述語と示されているもののうち，動詞と，事態性名詞とする．


\subsection{項種別毎の分布による分野依存性}

日本語述語項構造解析に関する先行研究では，単一「メディア」のテキストを扱っており，その多くは新聞記事からなるNAIST Text Corpus 1.5を使用していた．
本研究の提案手法の評価にはBCCWJ-PASを用い，BCCWJ-PASにより定義されているQAテキスト（Yahoo!知恵袋），ブログテキスト（Yahoo!ブログ），白書，書籍，雑誌，新聞の6種のメディアを用いた．
メディアによりテキストの特性が異なる可能性があるため，述語項構造解析の性能はメディアの特性の影響を受ける可能性がある．
本研究の目的の1つは，メディア固有の特性を考慮するために分野適応の技術を導入し，それが日本語述語項構造解析に有効であることを確認することである．

表~\ref{tab:sentence-length}は，BCCWJ-PASで定義されている各メディアのテキストの平均文長を示したものである．
インターネットコンテンツであるQAとブログのテキストは，他のテキストに比べ短い傾向がある．
文の長さは，文内述語項構造解析において，項の候補数や，述語と項の距離に影響する．

\begin{table}[t]
\caption{BCCWJ-PASにおける各メディアのテキストの平均文長（形態素数）}
\label{tab:sentence-length}
\input{08table03.tex}
\end{table}
\begin{table}[t]
\caption{BCCWJ-PASにおけるメディア毎の，格毎の項種別の出現分布(\%)}
\label{tab:across-media}
\input{08table04.tex}
\end{table}

表~\ref{tab:across-media}は，6つのメディアに対して格毎に項種別毎の分布の割合を示したものである．
白書は，他のメディアとは異なり，いずれの格も文内ゼロ照応よりも文間ゼロ照応のほうが明らかに少ない．
これは，文内に照応先の項が明示されているケースが多いためであると考えられる．
これは，表~{\ref{tab:sentence-length}}の白書の平均文長が長くなっていることからも示唆される．
ガ格の\exow と\exor の外界照応の分布（影付きの行）は，メディア全体を通して顕著に異なっている．
QAの\exow と\exor は他のメディアと比較して，かなり高い数値を示している．
これは，QAは，対話掲示板形式のQAテキストであるため，質問者や回答者としての書き手 (\exow) と読み手 (\exor) がテキスト中で明示的に言及されないためである．
ブログも\exow と \exor が高い数値となっているが，これは，QAとは異なり，ブログテキストは，ブログ著者としての書き手 (\exow) が話題の中心となることが多いためであると考えられる．
白書は，他のメディアとは異なり，外界三人称 (\exox) の出現頻度が高い．
これは，白書という性質上，組織・集団・団体に対して言及した記述が多く，逆に書き手 (\exow) や読み手 (\exor) を意識した記述は少ないためであると考えられる．
また，白書のヲ格も他のメディアとは異なる分布となっている．
白書のテキストを見たところ，白書特有の事態性名詞（開発，活用，利用，報告など）が繰り返し多様されており，これらはヲ格を取るため，\none は少なくなり，その分{\textsf{intra(dep)}}が多くなっている．

出版物（書籍，雑誌，新聞）は，社会的に関心が高く，客観性のある話題が中心となり，テキスト中に情報が欠損してないことが求められるため，外界照応が出現することは少ない．
出版物の中では，雑誌の書き手 (\exow) と読み手 (\exor) の出現頻度が比較的高い．
これは，今回対象とした出版物の中では，雑誌が最も著者，読者を意識した記述が多いためであると考えられる．


\section{深層リカレントモデル}
\label{sec:deep-reccurent-model}

我々は，以下の3つの層からなるリカレントニューラルネットワーク(RNN)モデルを用いて，日本語述語項構造解析を実現する．

\begin{description}
    \item[入力層] 単語を特徴ベクトルに変換する．
    \item[隠れ層] bi-directional RNN層と全結合層．
    \item[出力層] ソフトマックス関数により，2値分類を行う．
\end{description}

我々のモデルは，1文を入力とし，文内の述語ごとに解析を行う．
文内の解析対象の述語に対する項になりやすさを表す尤度を，入力文の各単語それぞれについて算出する．
そして，全単語を比較して最尤単語を項として選択する．
本研究では，過去の日本語述語項構造解析に習い，主要な3つの格であるガ格，ヲ格，ニ格を解析対象とするため，格ごとに3つのモデルを使用する．
3つのモデルはそれぞれ独立なので，同一の単語が複数の格の項と解析される場合があるが，その場合の対処については何も行っていない．
これは，今回使用したBCCWJ-PASコーパスでは，項が含まれている文節の主辞に項のアノテーションが付与されているため，同一の単語が，複数の格の項としてアノテーションされていることがあるためである．
1文には複数の述語が含まれる場合があるが，その場合は，素性として入力する解析対象の述語の位置を変えた同一文を複数回入力することで，それぞれの述語について解析を行う．


\subsection{モデルの概要}

我々のモデルは，各単語にバイナリラベルを出力する．
その単語がターゲットの述語に対する解析対象の格の項であるか否かを示すため，それぞれの格に対して別々にモデルを用意する必要がある．
図\ref{image2}に，モデルの概要を示す．
これは，次のように形式的に表せる．
\begin{align}
  \bm{\overline{x}} &=\bm{w}_{a} \oplus \bm{w}_{f} \oplus \bm{b}_{f} \\
  \bm{h}^1 &=\bilstm ( \bm{\overline{x}} ) \\ 
  \bm{h}^2 &=\linear ( \bm{h}^{1} ) \\
  p &=\softmax ( \bm{h}^{2} )
\end{align}

\begin{figure}[t]
\begin{center}
\includegraphics{26-2ia8f1.eps}
\end{center}
\caption{日本語述語項構造解析のための深層リカレントモデル}
\label{image2}
\end{figure}

我々のモデルは，1文ずつ入力文を受け取る．
モデルは，入力文中の単語$\{w_t\}_{0}^T$を，対応する単語の特徴ベクトル$\{{\bm{\overline{x}}}_t\}_0^T$に変換する．
単語の特徴ベクトル $\bm{\overline{x}}$は，単語埋め込みベクトル$\bm{w}_{a}$，品詞埋め込みベクトル$\bm{w}_{f}$，及び，構文的特徴ベクトル$\bm{b}_{f}$を連結したベクトルとして表現される．
特徴ベクトル$\bm{\overline{x}}$ は，1層以上の双方向型のLong short-term memory recurrent neural network (BiLSTM) に入力される\cite{Schuster-Bidirectional-1997,Graves-Bidirectional-2005}．
そして，$\bilstm (\cdot)$は，各単語に対して，ベクトル$\bm{h}^{1}$を計算し出力する．
$\linear (\cdot)$関数は，$\bm {h}^{1}$を受け取り，$\bm {h}^{2} = ( h^2_{0}, h^2_{1} )$を出力する．
{$h^2_0$}は単語が述語の項となる程度を表わす値であり，{$h^2_1$}は単語が述語の項にならない程度を表わす値である．
最後に$\softmax (\cdot)$関数は，$\bm {h}^2$を受け取り確率$p$を出力する．


\paragraph{仮想項}

本研究のモデルでは，\none，\exow，\exor，そして \unknown という4つのラベルを出力するために，文の先頭の単語の前にそれらを示す仮想項を追加した．
これらの仮想項を以下のように割り当てる．

\begin{description}
  \item[\none] \none に対してはゼロベクトルを割り当てる．
  \item[\exow] 「僕」の単語ベクトルを割り当てる．これは，日本語で一般的な一人称代名詞の一つである．
  \item[\exor] 「おまえ」の単語ベクトルを割り当てる．これは，日本語で一般的な二人称代名詞の一つである．
  \item[\unknown] 「これ」の単語ベクトルを割り当てる．これは，日本語で一般的な三人称代名詞の一つである．
\end{description}

日本語には一般的な一人称代名詞，二人称代名詞が複数存在する．
今回使用した単語埋め込みベクトルは，その性質上，一人称代名詞と二人称代名詞のコサイン類似度が高く，「私」と「あなた」のコサイン類似度は，それぞれ語彙集合の中で最も高い．
そのため，「私」と「あなた」を \exow，\exor の仮想項として採用してしまうと，\exow と\exor をうまく区別できない可能性がある．
「僕」は一般的な一人称代名詞の中心に近く，また，二人称代名詞からは比較的遠い．
「おまえ」も同様に，一般的な二人称代名詞の中心に近く，また，一人称代名詞からは比較的遠い．
そのため，今回は，仮想項の\exow，\exor にそれぞれ「僕」，「おまえ」を採用する．


\subsection{入力層}

単語埋め込み，品詞埋め込み，および構文的特徴の3つの特徴を定義する．

\paragraph{単語埋め込み}

我々は，\citeA{Suzuki-Neural-2016}\footnote{Japanese Wikipedia Entity Vector http://www.cl.ecei.tohoku.ac.jp/{\textasciitilde}m-suzuki/jawiki\_vector/}によって日本語Wikipediaから作成された単語埋め込みを使用する．
今回使用した単語埋め込みの語彙サイズ（形態素数）が{$1,015,474$}，今回使用した述語項構造のアノテーションがされた現代日本語書き言葉均衡コーパス (BCCWJ-PAS) に対しての未知語の割合は{$4.69\%$}であった．
未知語はいずれも同一のUNKとして扱い，UNKにはランダムに初期化したベクトルをセットした．


\paragraph{品詞埋め込み}

各単語には，CaboCha\footnote{CaboCha/南瓜: Yet Another Japanese Dependency Structure Analyzer http://taku910.github.io/cabocha/}と同じ品詞タグが人手で付与されている．
本研究では，品詞埋め込みとして，単語の品詞タグ，及び，3種類の品詞細分類タグ，活用型，活用形の6種類のタグそれぞれに対して，5次元のランダムベクトルを割り当てる．
したがって品詞埋め込みは，6層のベクトルを連結することによって作る30次元のベクトルによって表す．
欠落している層は，ゼロベクトルで埋める．


\paragraph{構文的特徴}

構文的特徴ベクトルには，以下の4種類の特徴が含まれている．
\begin{enumerate}
  \item コーパスに注釈付けられている文節に基づく単語が各文節において主辞か否かを示す二値ベクトル．
  \item コーパスに注釈付けられている文節に基づく文頭からの文節距離を示す整数値の特徴ベクトル（入力文の最初の文節の単語は，この値がゼロとなる）．
  \item 解析されるターゲットの述語からの距離を示す整数値の特徴ベクトル．
  \item その単語が解析対象の述語であるか否かを示す二値ベクトル
\end{enumerate}


\subsection{隠れ層}

隠れ層では，各時刻$t$に，特徴ベクトル${\bm {\overline{x}}}_t$と$ {\bm h}_{t-1}^{f} $を前向き$\lstm$  ($\lstm^{f}$) に入力し$ {\bm h}_{t}^{f} $を計算する．
逆に，各時刻$t$に，特徴ベクトル${\bm {\overline{x}}}_t$と${\bm h}_{t+1}^{b}$を後ろ向き$\lstm$  ($\lstm^{b}$) に入力し${\bm h}_{t}^{b}$を計算する． 
$\bilstm$は，各時刻$t$で${\bm h}_{t}^{f}$と${\bm h}_{t}^{b}$を連結し，${\bm h}_{t}^{1}$を出力する．
\begin{align}
  {\bm h}_{t}^{1} &=\bilstm ( {\bm {\overline{x}}}_t ) \nonumber \\ 
    &=\mathop{ \rm LSTM^{\it f} } ( {\bm {\overline{x}}}_t , {\bm h}_{t-1}^f ) \oplus \mathop{ \rm LSTM^{\it b} } ( {\bm {\overline{x}}}_t , {\bm h}_{t+1}^b )
\end{align}
{\citeA{Matsubayashi-Distance-2018}}は，任意の{$k$}層の双方向型の{$\gru$} ({$\bigru$}) を用いている．
本モデルもこれに習い，{$\bilstm$}には，任意の{$k$}層の{$\bilstm$}を利用する．

次に，2次元ベクトル${\bm h}_{t}^{2}$を得るために，$\linear (\cdot)$関数に ${\bm h}_{t}^{1} $を入力する．
\begin{equation}
    {\bm h}_t^2 = \linear ( {\bm h}_t^1 )
\end{equation}


\subsection{出力層}

出力層では，単語が対象とする述語の項であるか否かを判断する．
$\softmax(\cdot)$関数は，2次元ベクトル${\bm h}_t^2$ を単語がどの程度対象とする述語の項としてふさわしいかを示す確率値に変換する．
\begin{equation}
  p_t = \softmax ( {\bm h}_t^2 )
\end{equation}

$p_t$は時刻$t$の単語が項である確率を示す．
我々のモデルは，最も高い確率$p_y$を持つ単語を項として選択する．
\begin{equation}
  y = \argmax_{0 \leq t \leq T} (p_t)
\end{equation}


\section{分野適応}
\label{sec:domain-adaptation}

\subsection{ベースライン}

分野適応に対するベースラインには，以下の5つのベースラインモデルを用意した．

\begin{enumerate}
  \item {\tt Each-D}モデルは，単一のメディアのみのデータを使い訓練したモデルである．
  \item {\tt All}モデルは，すべてのメディアのデータを使って訓練したモデルである．
  \item {\tt Small}モデルは，各メディアの訓練データを75\%に減らし，訓練データのデータサイズを小さくしたモデルである．
  \item {\tt Out-D}モデルは，アウトドメインのデータのみを使い訓練したモデルである．
  \item {\tt One-H}モデルは，すべてのメディアを使って訓練したモデルであるが，{\tt All}モデルとの違いとして，各メディアを示すための6次元のone-hotベクトルが入力層に追加されている．このモデルは，分野適応のベースラインとして用いる．
\end{enumerate}

これらのベースラインモデルに対して，以下の5種類の分野適応手法を使ったモデルを用意した．


\subsection{Fine-tuning ({\tt FT})}

1つ目の手法は再学習を行う手法である．
すべてのメディアのデータを使ってモデルを訓練し，{\tt All}モデルを構築する．
次に，初期パラメータを{\tt \small All}モデルのパラメータにし，ターゲットのメディアのデータのみを使って，訓練することで，各メディアに特化したモデルを構築する．


\subsection{Feature augmentation ({\tt FA}) }

2番目の手法は，すべてのメディアで共通するネットワーク$\bilstm^{c}$に加え，各メディア$m$に対して固有の$\bilstm^{m}$を用意する手法であ~る \cite{Kim-Frustratingly-2016} ．
このモデルの概要は以下のようになる．
\begin{align}
    {\bm {\overline{x}}} &={\bm w}_a \oplus {\bm w}_f \oplus {\bm b}_f \\
    {\bm h}^1 &= \mathop{ \rm BiLSTM^{\it m} } ( {\bm {\overline{x}}} ) \oplus \mathop{ \rm BiLSTM^{\it c} } ( {\bm {\overline{x}}} ) \\
    {\bm h}^2 &= \mathop{ \rm linear^{\it m} } ( {\bm h}^1 ) \\
    p &= \softmax ( {\bm h}^2 )
\end{align}
メディア毎に固有の$\bilstm^m$は，そのメディアが固有に持っている特性を学習し，共通の$\bilstm^c$は述語項構造解析の一般的な特性を学習することを狙っている．
すべてのメディアから無作為に選択したバッチ毎にこのモデルを訓練する．


\subsection{Class probability shift ({\tt CPS})}

3つ目の手法は，各格について，メディア毎の項種別毎の出現分布の違いを反映させる．
第~{\ref{sec:problem-setting}}章の表~{\ref{tab:across-media}}から，メディア毎の項種別毎に出現分布に違いがあることが分かった．
そこで，モデルの出力に対して，項の種類毎に解析対象のメディアに応じた出現分布で重み付けを行うことで，出現分布の違いを反映させる．
訓練データ中で，あるメディア$m$において，解析対象の格として，項種別$tp$が出現する確率を$p_{tp}^{m}$とする．
項種別の分布は解析対象のメディアによって異なるため，この分布の差を以下のように利用し，重み付けする．

重み付けには，まず，各メディア$m$に対して，2つの関数$f^m(h)$と$g^m(h)$を次のように定義する．
\begin{align}
  f^m(h) &= \frac{p_{tp}^{m}}{p_{tp}^{\rm{All}}} \cdot h\\
  g^m(h) &= (1 - \frac{p_{tp}^{m}}{p_{tp}^{\rm{All}}}) \cdot h
\end{align}
$tp$は，\none ，\exow ，\exor ，\unknown, \dom{intra} のいずれかとなる．
ただし，\dom{intra} ラベルは，文内照応の係り受け有り(\dom{intra(dep)})と文内ゼロ照応(\dom{intra(zero)})の両方を含む．

2次元ベクトル{${\bm h}^2 = (h^2_{0}, h^2_{1} )$}の{$h^2_0$}は単語が述語の項となる程度を表わす値であり，{$h^2_1$}は単語が述語の項とならない程度を表わす値である．
\begin{align}
    {\bm {\overline{x}}} &= {\bm w}_a \oplus {\bm w}_f \oplus {\bm b}_f \\
    {\bm h}^1 &= \bilstm ( {\bm {\overline{x}}} ) \\ 
    {\bm h}^2 &= \linear ( {\bm h}^1 ) \\
    {\bm h}^3 &= ( f^m(h^2_0) , g^m(h^2_1) ) \label{eq:shift}\\
    p &= \softmax (\mbox{\boldmath{$h^3$}})
\end{align}
式~(\ref{eq:shift})は，メディア間の項種別の分布を調整することで，出力を重みづけする．

\subsection{Voting ({\tt VOT})}~
この手法は，上記3つの手法の出力の多数決を取る．
もし，3つの手法の出力がすべて異なる場合は，最も確率の高い出力を採用する．


\subsection{Mixture ({\tt MIX}) }

最後の手法は，上記3つのFine-tuning，Feature augmentation，Class probability shiftを1つのモデルとして組み合わせたものである．
モデルのネットワークは以下の式のようにFeature augmentation，Class probability shiftを1つに組み合わせる．
\begin{align}
    {\bm {\overline{x}}} &= {\bm w}_a \oplus {\bm w}_f \oplus {\bm b}_f \\
    {\bm h}^1 &= \mathop{ \rm BiLSTM^{\it m} } ( {\bm {\overline{x}}} ) \oplus \mathop{ \rm BiLSTM^{\it c} } ( {\bm {\overline{x}}} ) \\
    {\bm h}^2 &= \mathop{ \rm linear^{\it m} } ( {\bm h}^1 ) \\
    {\bm h}^3 &= ( f^m(h^2_0) , g^m(h^2_1) ) \\
    p &= \softmax (\mbox{\boldmath{$h^3$}})
\end{align}
このネットワークを使って，Fine-tuningと同じように，すべてのメディアのデータを使ってモデルを訓練し，次に，ターゲットのメディアのデータのみを使って，訓練する．


\section{実験}
\label{sec:experiment}

\subsection{実験設定}

現代日本語書き言葉均衡コーパスの述語項構造がアノテーションされたコアデータ・セット (BCCWJ-PAS) を使い評価を行う．
評価値として，システムが出力した項の位置がBCCWJ-PASで正解の項を表現している位置と一致すれば正解とし，しなければ不正解とする．
ただし，共参照関係がある項については，いずれの項を出力しても正解とする．
各メディア毎にデータを訓練用に$70\%$，開発用に$10\%$，テスト用に$20\%$に分け使用した．
各モデルを最大10エポック訓練し，開発用データにおいて最もF1値が高いモデルを使用した．


\paragraph{ハイパーパラメータ}

単語埋め込みと品詞埋め込みの次元数は，それぞれ$200$と$30$，
各ハイパーパラメータは，ベースラインの1つである{\tt All}モデルに対して，開発データでのF1値の全メディアの平均値が最大となるように値を定め，それをすべてのモデルで使用した．
多層{$\bilstm$}の層の深さ{$k$}に{$\{1,2,3\}$}から{$3$}を，{$\bilstm$}のドロップアウト率に{$\{0.0,0.1,0.2,0.3\}$}から{$0.2$}を，学習時のバッチサイズに{$\{16,32,64\}$}から{$64$}とした．
本研究のモデルは，weight decayは{$0$}とし，Adam~{\cite{Kingma-Adam-2014}}を使い，{$\alpha$}には，{$\{0.01, 0.001, 0.0001, 0.00001\}$}から{$0.001$}，{$\beta = 0.9$}として最適化する．
Fine-tuningについては，weight decayのみ$0.0001$とした．

\begin{table}[b]
\caption{ガ格のベースライン実験結果（F1値）}
\label{tb:NOM-base-f1}
\input{08table05.tex}
\end{table}

\subsection{ベースライン実験結果}

表~\ref{tb:NOM-base-f1}，表~\ref{tb:ACC-base-f1}，表~\ref{tb:DAT-base-f1}は，それぞれガ格，ヲ格，ニ格の各ベースラインモデルの実験結果を示している．
それぞれ，行見出しがターゲットのメディアを，列見出しが各モデルを示している．
また行見出しの隣にテストデータの項数（テスト項数）を，列見出しの下に訓練データの項数（訓練項数）を示している．
セルの各スコアはテストデータに対するF1値である．
なお，{\tt \small Small}，{\tt \small Out-D}，{\tt \small One-H}モデルは，{\tt \small All}モデルに対してMcNemar検定を行い得られたP値の有意水準が{$0.05$}以下の場合{$\dagger$}を，{$0.01$}以下の場合{$\ddagger$}を，それぞれ右肩に示している．


\begin{table}[t]
\caption{ヲ格のベースライン実験結果（F1値）}
\label{tb:ACC-base-f1}
\input{08table06.tex}
\end{table}
\begin{table}[t]
\caption{ニ格のベースライン実験結果（F1値）}
\label{tb:DAT-base-f1}
\input{08table07.tex}
\end{table}

{\tt \small Each-D}モデルは，訓練データのメディアが解析対象のメディアのF1値に与える影響を確認するために用意したモデルである．
ガ格，ヲ格，ニ格ともに，訓練データのデータ量がメディアによっては大きく違うにもかかわらず，全体的に，訓練データとテストデータが同じ（インドメイン）メディアの場合，モデルのF1値が高い．
ただし，解析対象がブログテキストの場合，訓練データが同じメディアであるブログテキストよりも，新聞の方がF1値が高い結果となっている．
これは，ブログテキストの訓練データのデータ量が新聞のテキストに比べ圧倒的に少ないためであると考えられる．
{\tt \small Each-D}モデルの結果から，ほとんどのメディアにおいては，解析対象のメディアで訓練させたほうがF1値が高く分野依存性があることがわかる．

ガ格，ヲ格，ニ格ともに，{\tt \small All}モデルは，{\tt \small Small}モデルよりもF1値が高い．
これは，訓練データの量が多い方がF1値が向上することを示している．
これらの実験結果から，訓練データの量と，データのメディアの両方を考慮することが必要であるといえる．

ガ格，ヲ格，ニ格ともに，{\tt \small All}モデルは，すべてのメディアにおいて，{\tt \small Each-D}モデルよりもF1値が高い．
これは，インドメインのデータの他に，アウトドメインの訓練データも学習データとして有効に機能することを示している．

ただし，訓練データからインドメインのデータを削除すると，データ量の効果が期待できず性能が低下する．
{\tt\small Out-D}モデルは，ターゲットメディアが新聞である場合\footnote{新聞の{\tt \small Out-D}モデルの訓練データは，$123,559 - 33,326 = 90,233$である．}を除いて，{\tt \small Small}モデルよりも訓練データのデータ量が多い．
にもかかわらず，ガ格では，解析対象が雑誌の場合を除いて，{\tt \small Small}モデルよりもF1値が低い．
ヲ格においても，解析対象が白書の際は{$0.037$}，新聞の際は{$0.024$}，{\tt Out-D}モデルのほうが低い．
ヲ格の解析対象がその他のメディア，及び，ニ格については，{\tt Small}モデルと，{\tt Out-D}モデルとであまり大きな差は見られないが，{\tt Out-D}モデルのほうが優位に働くということはない．
つまり，訓練データがターゲットメディアのデータを含んでいない場合，データサイズは必ずしも訓練データとテストデータ間でのメディアの不一致を補うとは限らない．
性能を上げるためには，訓練データにターゲットのメディアのデータが含まれていることが重要であり，インドメイン，アウトドメイン両方のデータをうまく工夫して使う必要がある．

{\tt \small All}モデルと{\tt \small One-H}モデルを比較すると，必ずしも{\tt \small One-H}モデルのF1値が高いというわけでない．
ガ格では，解析対象がブログテキストの場合を除いて{\tt All}モデルのほうが性能が高い．
つまり，入力データのメディアを判別するための素性をone-hotベクトルのような形で与えても，うまくメディアの違いを考慮できないことがわかる．

\begin{table}[b]
\vspace*{-0.2\Cvs}
\caption{ガ格の分野適応実験結果（F1値）}
\label{tb:NOM-adapt-f1}
\input{08table08.tex}
\vspace*{-0.25\Cvs}
\end{table}


\subsection{分野適応}

表~{\ref{tb:NOM-adapt-f1}}，表~{\ref{tb:ACC-adapt-f1}}，表~{\ref{tb:DAT-adapt-f1}}は，それぞれガ格，ヲ格，ニ格の各分野適応のモデルの結果を示している．
左から順にそれぞれ，Fine-tuning ({\tt FT})，Feature augmentation ({\tt FA})，Class probability shift ({\tt CPS})，Voting ({\tt VOT})，Mixture ({\tt MIX}) の結果を示している．
なお，分野適応の各モデルに対しても同様に，{\tt \small All}モデルに対してMcNemar検定より得られたP値の有意水準が{$0.05$}以下の場合{$\dagger$}を，{$0.01$}以下の場合{$\ddagger$}を，それぞれ右肩に示している．
また，比較として，左側にベースラインの{\tt \small All}モデルの結果を示している．
表~{\ref{tb:NOM-adapt-f1}}のガ格，及び，表~{\ref{tb:ACC-adapt-f1}}のヲ格に対する実験結果をみると，{\tt \small VOT}モデルは，すべてのメディアにおいて，ベースラインと分野適応の中で最もF1値が高い．
ベースラインの{\tt All}モデルと比較し，ガ格においては，QAテキストで最大{$0.030$}，ヲ格においては，ブログテキストで{$0.013$}向上している．
他の分野適応モデルをみてみると，{\tt FT}，{\tt FA}，{\tt CPS}モデルのいずれも，全てのテキストメディアを通じてベースラインよりもF1値が高いモデルは無く，解析対象のメディアによって，効果がある分野適応手法にはばらつきがある．
一方，表~{\ref{tb:DAT-adapt-f1}}のニ格に対する実験結果を見ると，分野適応により一部F1値の向上が見られるものの，解析対象のメディアによっては，{\tt All}モデルや{\tt One-H}モデルのF1値が最も高い場合もある．
ベースラインモデルによる実験結果では，ガ格ほど顕著ではないものの，ヲ格，ニ格も，メディア依存性が見られた．
だが，今回使用した分野適応手法はニ格では，うまく働かない場合もある．

\begin{table}[t]
\caption{ヲ格の分野適応実験結果（F1値）}
\label{tb:ACC-adapt-f1}
\input{08table09.tex}
\end{table}
\begin{table}[t]
\caption{ニ格の分野適応実験結果（F1値）}
\label{tb:DAT-adapt-f1}
\input{08table10.tex}
\end{table}

表~\ref{tb:nom-details}，表~\ref{tb:acc-details}，表~\ref{tb:dat-details}は，ガ格，ヲ格，ニ格それぞれの各メディアにおける項種別毎のF1値を示している．
表~\ref{tab:across-media}によると，ガ格が，QAテキストでは\exow と \exor が，ブログテキストでは\exow が比較的頻出する．
そのため，これらの外界照応のF1値を個別に分析することは，正しくそのメディアに適応できたかを考える上で重要である．

\begin{table}[p]
\caption{ガ格の実験結果詳細（F1値）}
\label{tb:nom-details}
\input{08table11.tex}
\end{table}
\begin{table}[p]
\caption{ヲ格の実験結果詳細（F1値）}
\label{tb:acc-details}
\input{08table12.tex}
\end{table}
\begin{table}[p]
\caption{ニ格の実験結果詳細（F1値）}
\label{tb:dat-details}
\input{08table13.tex}
\end{table}

表~\ref{tb:nom-details}では．QAテキストの\exow と \exor ，ブログテキストの\exow の箇所（影付きの行）を見ると，一部，例外はあるものの{\tt All}モデルと比べ，分野適応モデルのF1値が向上している．
そのため，分野適応を導入することで，これらの外界照応が出現する際の偏りを解決できたといえる．

また，ベースラインの{\tt All}モデルと，分野適応手法において，最も解析精度の高かった{\tt VOT}モデルを比較すると，ニ格のブログテキストの{\textsf{intra(dep)}}を除き，{\textsf{intra(dep)}}，{\textsf{intra(zero)}}ともに，すべて解析精度が高くなっている．
そのため，直接係り受け，及び文内ゼロ照応にも分野依存性があり，それらが分野適応の導入によって解消されたといえる．

\begin{table}[b]
\caption{分野適応により正解となった例（ガ格）}
\label{tab:become_correct}
\input{08table14.tex}
\end{table}

表~\ref{tab:become_correct}は，{\tt \small All}モデルでは正しく解析されなかったが，{\tt \small VOT}モデルにより正しく解析されるようになったガ格の例を示している．
ターゲットの述語は太字で示している．
QAテキストには，対話文が含まれているので，最初の例にあるように，読み手 (\exor) は「やめた」のような述語のガ格に当てはまる傾向が高い．
ブログテキストには，書き手が自分の経験や意見を書く事が多い．
そういった場合，表~{\ref{tab:become_correct}}の2番目の例にあるようにガ格には，書き手 (\exow) が埋まる傾向がある．
白書は，その性質上，照応先候補として組織・集団・団体が埋まりやすく，それらは外界三人称となることが多い．
そのため，今回の実験設定では，\unknown が埋まる傾向がある．
書籍では，小説のような物語文の場合，照応先候補として物語の登場人物が埋まりやすい．
逆に照応先として書き手 (\exow) や読み手 (\exor) が出てくることは稀である．
例では，文中に，述語のガ格となる，物語の登場人物が出てきていないため，今回の実験設定では，\unknown が正解となる．
雑誌では，読み手が存在することが想定される．
そのため，例のように読み手に訴えかける場合，その述語のガ格には読み手 (\exor) が埋まる傾向がある．
新聞の例は，新聞記事のタイトルの見出しテキストである．
見出しテキストでは，最初の句がガ格を埋める場合などにおいては，その格助詞は省略されることがある．
表~\ref{tab:become_correct}の例は，いずれも，文単体のみを見れば，{\tt \small All}モデルの出力も一見間違いではなさそうである．
だが，上記のようにそれぞれのメディアの特性を考えると，間違いであることがわかる．
我々の分野適応モデルは，多数の例を観察した結果，これらの例に示されているような項の曖昧性が高い文においてメディア別の傾向をうまくとらえていることが確認できた．


\section{結論}
\label{sec:conclusion}

本稿では，日本語の文内述語項構造解析において，外界照応まで扱うために新たな問題設定を定義し，外界一人称（書き手），外界二人称（読み手），外界三人称（その他）として区別して扱うための仮想項の導入，及び，効果的な分野適応手法を提案した．
そして，我々は，RNNベースのモデルと3種類の異なる分野適応技術とその組み合わせを導入し，計5つの分野適応方法を提案した．
現代日本語書き言葉均衡コーパスの述語項構造がアノテーションされたコアデータ・セット (BCCWJ-PAS) を用いて，6種のメディアに対してコーパスを分析した結果，様々なメディアのテキストを述語項構造解析する際は，外界一人称，外界二人称まで含めて解析する必要があることを示し，分野により項の種類毎に出現数が違うことを示した．
また，評価実験によって，述語項構造解析の分野依存性があることを示した．
特にガ格，ヲ格の解析では，分野適応の導入によって，性能を改善できることを確認した．
解析対象のメディアによって幅はあるものの，ベースラインと比較し，ガ格では，{$1.6$}ポイント〜最大{$3.0$}ポイント，ヲ格では{$0.6〜0.9$}ポイント上昇している．
本研究の提案した，仮想項，及び，分野適応手法は，今回提案したRNNベースモデル以外にも様々なニューラルネットモデルに対して導入可能である．


\acknowledgment

問題設定に関する議論について，松林優一郎博士と笹野遼平博士にご意見をいただきました．厚く御礼申し上げます．
また，本稿を執筆するにあたり，Enago (www.enago.jp)に英文校正をしていただきました．ありがとうございます．
本論文の内容の一部は，The 32nd Pacific Asia Conference on Language, Information and Computation，第5回自然言語処理シンポジウム（第238回自然言語処理研究発表会）で報告したものである \cite{Mizuki-Effectiveness-2018,Mizuki-Exophora-2018}．


\bibliographystyle{jnlpbbl_1.5}
\begin{thebibliography}{}

\bibitem[\protect\BCAY{Chen \BBA\ Ng}{Chen \BBA\ Ng}{2016}]{Chen-Chinese-2016}
Chen, C.\BBACOMMA\ \BBA\ Ng, V. \BBOP 2016\BBCP.
\newblock \BBOQ Chinese Zero Pronoun Resolution with Deep Neural
  Networks.\BBCQ\
\newblock In {\Bem Proceedings of the 54th Annual Meeting of the Association
  for Computational Linguistics (Volume 1: Long Papers)}, \mbox{\BPGS\
  778--788}.

\bibitem[\protect\BCAY{Graves, Fern{\'{a}}ndez, \BBA\ Schmidhuber}{Graves
  et~al.}{2005}]{Graves-Bidirectional-2005}
Graves, A., Fern{\'{a}}ndez, S., \BBA\ Schmidhuber, J. \BBOP 2005\BBCP.
\newblock \BBOQ Bidirectional LSTM Networks for Improved Phoneme Classification
  and Recognition.\BBCQ\
\newblock In {\Bem Proceedings of the 15th International Conference on
  Artificial Neural Networks: Formal Models and Their Applications - Volume
  Part II}, ICANN'05, \mbox{\BPGS\ 799--804}, Berlin, Heidelberg.
  Springer-Verlag.

\bibitem[\protect\BCAY{Haji{\v{c}}, Ciaramita, Johansson, Kawahara,
  Mart{\'{\i}}, M{\`{a}}rquez, Meyers, Nivre, Pad{\'{o}},
  {\v{S}}t{\v{e}}p{\'{a}}nek, Stra{\v{n}}{\'{a}k}, Surdeanu, Xue, \BBA\
  Zhang}{Haji{\v{c}} et~al.}{2009}]{Hajic-The-2009}
Haji{\v{c}}, J., Ciaramita, M., Johansson, R., Kawahara, D., Mart{\'{\i}},
  M.~A., M{\`{a}}rquez, L., Meyers, A., Nivre, J., Pad{\'{o}}, S.,
  {\v{S}}t{\v{e}}p{\'{a}}nek, J., Stra{\v{n}}{\'{a}k}, P., Surdeanu, M., Xue,
  N., \BBA\ Zhang, Y. \BBOP 2009\BBCP.
\newblock \BBOQ The CoNLL-2009 Shared Task: Syntactic and Semantic Dependencies
  in Multiple Languages.\BBCQ\
\newblock In {\Bem Proceedings of the 13th Conference on Computational Natural
  Language Learning: Shared Task}, CoNLL '09, \mbox{\BPGS\ 1--18}, Stroudsburg,
  PA, USA. Association for Computational Linguistics.

\bibitem[\protect\BCAY{Hangyo, Kawahara, \BBA\ Kurohashi}{Hangyo
  et~al.}{2013}]{Hangyo-Japanese-2013}
Hangyo, M., Kawahara, D., \BBA\ Kurohashi, S. \BBOP 2013\BBCP.
\newblock \BBOQ Japanese Zero Reference Resolution Considering Exophora and
  Author/Reader Mentions.\BBCQ\
\newblock In {\Bem Proceedings of the 2013 Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 924--934}. Association for
  Computational Linguistics.

\bibitem[\protect\BCAY{Hayashibe, Komachi, \BBA\ Matsumoto}{Hayashibe
  et~al.}{2011}]{Hayashibe-Japanese-2011}
Hayashibe, Y., Komachi, M., \BBA\ Matsumoto, Y. \BBOP 2011\BBCP.
\newblock \BBOQ Japanese Predicate Argument Structure Analysis Exploiting
  Argument Position and Type.\BBCQ\
\newblock In {\Bem Proceedings of 5th International Joint Conference on Natural
  Language Processing}, \mbox{\BPGS\ 201--209}. Asian Federation of Natural
  Language Processing.

\bibitem[\protect\BCAY{He, Lee, Lewis, \BBA\ Zettlemoyer}{He
  et~al.}{2017}]{He-Deep-2017}
He, L., Lee, K., Lewis, M., \BBA\ Zettlemoyer, L. \BBOP 2017\BBCP.
\newblock \BBOQ Deep Semantic Role Labeling: What Works and What's Next.\BBCQ\
\newblock In {\Bem Proceedings of the 55th Annual Meeting of the Association
  for Computational Linguistics (Volume 1: Long Papers)}, \mbox{\BPGS\
  473--483}. Association for Computational Linguistics.

\bibitem[\protect\BCAY{飯田\JBA 小町\JBA 乾\JBA 松本}{飯田 \Jetal
  }{2007}]{Iida-Naist-2007}
飯田龍\JBA 小町守\JBA 乾健太郎\JBA 松本裕治 \BBOP 2007\BBCP.
\newblock NAIST テキストコーパス：述語項構造と共参照関係のアノテーション.\
\newblock \Jem{情報処理学会研究報告自然言語処理 (NL)}, {\Bbf 2007}  (7),
  \mbox{\BPGS\ 71--78}.

\bibitem[\protect\BCAY{Iida \BBA\ Poesio}{Iida \BBA\
  Poesio}{2011}]{Iida-A-2011}
Iida, R.\BBACOMMA\ \BBA\ Poesio, M. \BBOP 2011\BBCP.
\newblock \BBOQ A Cross-Lingual ILP Solution to Zero Anaphora Resolution.\BBCQ\
\newblock In {\Bem Proceedings of the 49th Annual Meeting of the Association
  for Computational Linguistics: Human Language Technologies}, \mbox{\BPGS\
  804--813}. Association for Computational Linguistics.

\bibitem[\protect\BCAY{Imamura, Higashinaka, \BBA\ Izumi}{Imamura
  et~al.}{2014}]{Imamura-Predicate-2014}
Imamura, K., Higashinaka, R., \BBA\ Izumi, T. \BBOP 2014\BBCP.
\newblock \BBOQ Predicate-Argument Structure Analysis with Zero-Anaphora
  Resolution for Dialogue Systems.\BBCQ\
\newblock In {\Bem Proceedings of COLING 2014, the 25th International
  Conference on Computational Linguistics: Technical Papers}, \mbox{\BPGS\
  806--815}, Dublin, Ireland. Dublin City University and Association for
  Computational Linguistics.

\bibitem[\protect\BCAY{Imamura, Saito, \BBA\ Izumi}{Imamura
  et~al.}{2009}]{Imamura-Discriminative-2009}
Imamura, K., Saito, K., \BBA\ Izumi, T. \BBOP 2009\BBCP.
\newblock \BBOQ Discriminative Approach to Predicate-argument Structure
  Analysis with Zero-anaphora Resolution.\BBCQ\
\newblock In {\Bem Proceedings of the ACL-IJCNLP 2009 Conference Short Papers},
  ACLShort '09, \mbox{\BPGS\ 85--88}, Stroudsburg, PA, USA. Association for
  Computational Linguistics.

\bibitem[\protect\BCAY{Kayama}{Kayama}{2003}]{kayama2013}
Kayama, Y. \BBOP 2003\BBCP.
\newblock \BBOQ L1 Aquisition of Japanese Zero Pronouns: The Effect of
  Discourse Factors.\BBCQ\
\newblock In {\Bem Proceedings of the 2003 Annual Conference of the Canadian
  Linguistic Association}, \mbox{\BPGS\ 109--120}.

\bibitem[\protect\BCAY{Kim, Stratos, \BBA\ Sarikaya}{Kim
  et~al.}{2016}]{Kim-Frustratingly-2016}
Kim, Y.-B., Stratos, K., \BBA\ Sarikaya, R. \BBOP 2016\BBCP.
\newblock \BBOQ Frustratingly Easy Neural Domain Adaptation.\BBCQ\
\newblock In {\Bem Proceedings of COLING 2016, the 26th International
  Conference on Computational Linguistics: Technical Papers}, \mbox{\BPGS\
  387--396}. The COLING 2016 Organizing Committee.

\bibitem[\protect\BCAY{Kingma \BBA\ Ba}{Kingma \BBA\
  Ba}{2014}]{Kingma-Adam-2014}
Kingma, D.~P.\BBACOMMA\ \BBA\ Ba, J. \BBOP 2014\BBCP.
\newblock \BBOQ Adam: A Method for Stochastic Optimization.\BBCQ\
\newblock {\Bem CoRR}, {\Bbf abs/1412.6980}.

\bibitem[\protect\BCAY{Maekawa, Yamazaki, Ogiso, Maruyama, Ogura, Kashino,
  Koiso, Yamaguchi, Tanaka, \BBA\ Den}{Maekawa et~al.}{2014}]{Maekawa-2014aa}
Maekawa, K., Yamazaki, M., Ogiso, T., Maruyama, T., Ogura, H., Kashino, W.,
  Koiso, H., Yamaguchi, M., Tanaka, M., \BBA\ Den, Y. \BBOP 2014\BBCP.
\newblock \BBOQ Balanced Corpus of Contemporary Written Japanese.\BBCQ\
\newblock {\Bem Language Resources Evaluation}, {\Bbf 48}  (2), \mbox{\BPGS\
  345--371}.

\bibitem[\protect\BCAY{Matsubayashi \BBA\ Inui}{Matsubayashi \BBA\
  Inui}{2017}]{Matsubayashi-Revisiting-2017}
Matsubayashi, Y.\BBACOMMA\ \BBA\ Inui, K. \BBOP 2017\BBCP.
\newblock \BBOQ Revisiting the Design Issues of Local Models for Japanese
  Predicate-Argument Structure Analysis.\BBCQ\
\newblock In {\Bem Proceedings of the 8th International Joint Conference on
  Natural Language Processing (Volume 2: Short Papers)}, \mbox{\BPGS\
  128--133}. Asian Federation of Natural Language Processing.

\bibitem[\protect\BCAY{Matsubayashi \BBA\ Inui}{Matsubayashi \BBA\
  Inui}{2018}]{Matsubayashi-Distance-2018}
Matsubayashi, Y.\BBACOMMA\ \BBA\ Inui, K. \BBOP 2018\BBCP.
\newblock \BBOQ Distance-Free Modeling of Multi-Predicate Interactions in
  End-to-End Japanese Predicate-Argument Structure Analysis.\BBCQ\
\newblock In {\Bem Proceedings of the 27th International Conference on
  Computational Linguistics}, \mbox{\BPGS\ 94--106}. Association for
  Computational Linguistics.

\bibitem[\protect\BCAY{Ouchi, Shindo, Duh, \BBA\ Matsumoto}{Ouchi
  et~al.}{2015}]{Ouchi-Joint-2015}
Ouchi, H., Shindo, H., Duh, K., \BBA\ Matsumoto, Y. \BBOP 2015\BBCP.
\newblock \BBOQ Joint Case Argument Identification for Japanese Predicate
  Argument Structure Analysis.\BBCQ\
\newblock In {\Bem Proceedings of the 53rd Annual Meeting of the Association
  for Computational Linguistics and the 7th International Joint Conference on
  Natural Language Processing (Volume 1: Long Papers)}, \mbox{\BPGS\ 961--970}.
  Association for Computational Linguistics.

\bibitem[\protect\BCAY{Ouchi, Shindo, \BBA\ Matsumoto}{Ouchi
  et~al.}{2017}]{Ouchi-Neural-2017}
Ouchi, H., Shindo, H., \BBA\ Matsumoto, Y. \BBOP 2017\BBCP.
\newblock \BBOQ Neural Modeling of Multi-Predicate Interactions for Japanese
  Predicate Argument Structure Analysis.\BBCQ\
\newblock In {\Bem Proceedings of the 55th Annual Meeting of the Association
  for Computational Linguistics (Volume 1: Long Papers)}, \mbox{\BPGS\
  1591--1600}. Association for Computational Linguistics.

\bibitem[\protect\BCAY{Rello, Baeza-Yates, \BBA\ Mitkov}{Rello
  et~al.}{2012}]{Rello-Elliphant-2012}
Rello, L., Baeza-Yates, R., \BBA\ Mitkov, R. \BBOP 2012\BBCP.
\newblock \BBOQ Elliphant: Improved Automatic Detection of Zero Subjects and
  Impersonal Constructions in Spanish.\BBCQ\
\newblock In {\Bem Proceedings of the 13th Conference of the European Chapter
  of the Association for Computational Linguistics}, EACL '12, \mbox{\BPGS\
  706--715}, Stroudsburg, PA, USA. Association for Computational Linguistics.

\bibitem[\protect\BCAY{珊瑚\JBA 西川\JBA 徳永}{珊瑚 \Jetal
  }{2018}]{Mizuki-Exophora-2018}
珊瑚彩主紀\JBA 西川仁\JBA 徳永健伸 \BBOP 2018\BBCP.
\newblock 外界一人称と二人称を考慮する日本語述語項構造解析の分野適応.\
\newblock \Jem{情報処理学会第238回自然言語処理研究会 NL-238-13}, \mbox{\BPGS\
  1--13}.

\bibitem[\protect\BCAY{Sango, Nishikawa, \BBA\ Tokunaga}{Sango
  et~al.}{2018}]{Mizuki-Effectiveness-2018}
Sango, M., Nishikawa, H., \BBA\ Tokunaga, T. \BBOP 2018\BBCP.
\newblock \BBOQ Effectiveness of Domain Adaptation in Japanese
  Predicate-Argument Structure Analysis.\BBCQ\
\newblock In {\Bem Pacific Asia Conference on Language, Information and
  Computation}.

\bibitem[\protect\BCAY{Sasano \BBA\ Kurohashi}{Sasano \BBA\
  Kurohashi}{2011}]{Sasano-A-2011}
Sasano, R.\BBACOMMA\ \BBA\ Kurohashi, S. \BBOP 2011\BBCP.
\newblock \BBOQ A Discriminative Approach to Japanese Zero Anaphora Resolution
  with Large-scale Lexicalized Case Frames.\BBCQ\
\newblock In {\Bem IJCNLP}, \mbox{\BPGS\ 758--766}.

\bibitem[\protect\BCAY{Schuster \BBA\ Paliwal}{Schuster \BBA\
  Paliwal}{1997}]{Schuster-Bidirectional-1997}
Schuster, M.\BBACOMMA\ \BBA\ Paliwal, K.~K. \BBOP 1997\BBCP.
\newblock \BBOQ Bidirectional recurrent neural networks.\BBCQ\
\newblock {\Bem IEEE Transactions on Signal Processing}, {\Bbf 45},
  \mbox{\BPGS\ 2673--2681}.

\bibitem[\protect\BCAY{Shibata, Kawahara, \BBA\ Kurohashi}{Shibata
  et~al.}{2016}]{Shibata-Neural-2016}
Shibata, T., Kawahara, D., \BBA\ Kurohashi, S. \BBOP 2016\BBCP.
\newblock \BBOQ Neural Network-Based Model for Japanese Predicate Argument
  Structure Analysis.\BBCQ\
\newblock In {\Bem Proceedings of the 54th Annual Meeting of the Association
  for Computational Linguistics (Volume 1: Long Papers)}, \mbox{\BPGS\
  1235--1244}. Association for Computational Linguistics.

\bibitem[\protect\BCAY{Surdeanu, Johansson, Meyers, M{\`{a}}rquez, \BBA\
  Nivre}{Surdeanu et~al.}{2008}]{Surdeanu-The-2008}
Surdeanu, M., Johansson, R., Meyers, A., M{\`{a}}rquez, L., \BBA\ Nivre, J.
  \BBOP 2008\BBCP.
\newblock \BBOQ The CoNLL-2008 Shared Task on Joint Parsing of Syntactic and
  Semantic Dependencies.\BBCQ\
\newblock In {\Bem Proceedings of the Twelfth Conference on Computational
  Natural Language Learning}, CoNLL '08, \mbox{\BPGS\ 159--177}, Stroudsburg,
  PA, USA. Association for Computational Linguistics.

\bibitem[\protect\BCAY{Suzuki, Matsuda, Sekine, Okazaki, \BBA\ Inui}{Suzuki
  et~al.}{2016}]{Suzuki-Neural-2016}
Suzuki, M., Matsuda, K., Sekine, S., Okazaki, N., \BBA\ Inui, K. \BBOP
  2016\BBCP.
\newblock \BBOQ Neural Joint Learning for Classifying Wikipedia Articles into
  Fine-grained Named Entity Types.\BBCQ\
\newblock In {\Bem Proceedings of the 30th Pacific Asia Conference on Language,
  Information and Computation: Posters}, \mbox{\BPGS\ 535--544}.

\bibitem[\protect\BCAY{平\JBA 田中\JBA 藤田\JBA 永田}{平 \Jetal
  }{2014}]{Taira-Business-2014}
平博順\JBA 田中貴秋\JBA 藤田早苗\JBA 永田昌明 \BBOP 2014\BBCP.
\newblock ビジネスメール文に対する日本語述語項構造解析の検討.\
\newblock \Jem{言語処理学会第20回年次大会発表論文集}, \mbox{\BPGS\ 1019--1022}.

\bibitem[\protect\BCAY{Taira, Fujita, \BBA\ Nagata}{Taira
  et~al.}{2008}]{Taira-A-2008}
Taira, H., Fujita, S., \BBA\ Nagata, M. \BBOP 2008\BBCP.
\newblock \BBOQ A Japanese Predicate Argument Structure Analysis Using Decision
  Lists.\BBCQ\
\newblock In {\Bem Proceedings of the Conference on Empirical Methods in
  Natural Language Processing}, EMNLP '08, \mbox{\BPGS\ 523--532}, Stroudsburg,
  PA, USA. Association for Computational Linguistics.

\bibitem[\protect\BCAY{Yang, Zhuang, \BBA\ Zong}{Yang
  et~al.}{2015}]{Yang-Domain-2015}
Yang, H., Zhuang, T., \BBA\ Zong, C. \BBOP 2015\BBCP.
\newblock \BBOQ Domain Adaptation for Syntactic and Semantic Dependency Parsing
  Using Deep Belief Networks.\BBCQ\
\newblock {\Bem Transactions of the Association for Computational Linguistics},
  {\Bbf 3}, \mbox{\BPGS\ 271--282}.

\bibitem[\protect\BCAY{Yin, Zhang, Zhang, \BBA\ Liu}{Yin
  et~al.}{2017}]{Yin-Chinese-2017}
Yin, Q., Zhang, Y., Zhang, W., \BBA\ Liu, T. \BBOP 2017\BBCP.
\newblock \BBOQ Chinese Zero Pronoun Resolution with Deep Memory Network.\BBCQ\
\newblock In {\Bem Proceedings of the 2017 Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 1309--1318}. Association for
  Computational Linguistics.

\bibitem[\protect\BCAY{Yoshikawa, Asahara, \BBA\ Matsumoto}{Yoshikawa
  et~al.}{2013}]{Yoshikawa-Jointly-2013}
Yoshikawa, K., Asahara, M., \BBA\ Matsumoto, Y. \BBOP 2013\BBCP.
\newblock \BBOQ Jointly Extracting Japanese Predicate-Argument Relation with
  Markov Logic.\BBCQ\
\newblock {\Bem Journal of Natural Language Processing}, {\Bbf 20}  (2),
  \mbox{\BPGS\ 251--271}.

\bibitem[\protect\BCAY{Zhou \BBA\ Xu}{Zhou \BBA\ Xu}{2015}]{Zhou-End-2015}
Zhou, J.\BBACOMMA\ \BBA\ Xu, W. \BBOP 2015\BBCP.
\newblock \BBOQ End-to-end Learning of Semantic Role Labeling using Recurrent
  Neural Networks.\BBCQ\
\newblock In {\Bem ACL (1)}, \mbox{\BPGS\ 1127--1137}. The Association for
  Computer Linguistics.

\end{thebibliography}


\begin{biography}
\bioauthor{珊瑚彩主紀}{
2017年東北大学工学部情報知能システム総合学科卒業．2019年東京工業大学情報理工学院情報工学系終了．同年，株式会社メルカリ入社．修士（工学）．自然言語処理，特に述語項構造解析の研究に従事．
}

\bioauthor{西川　　仁}{
2006年慶應義塾大学総合政策学部卒業．2008年同大学大学院政策・メディア研究科修士課程修了．同年，日本電信電話株式会社入社．2013年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了．NTTメディアインテリジェンス研究所研究員を経て，2015年より東京工業大学情報理工学院助教．2017年IE経営大学院修士課程修了．博士（工学）．自然言語処理，特に自動要約，自然言語生成の研究に従事．The Association for Computational Linguistics, 言語処理学会，人工知能学会，情報処理学会各会員．
}

\bioauthor{徳永　健伸}{
1983年東京工業大学工学部情報工学科卒業．1985年同大学院理工学研究科修士課程修了．同年（株）三菱総合研究所入社．1986年東京工業大学大学院博士課程入学．現在，東京工業大学情報理工学院教授．博士（工学）．専門は自然言語処理，計算言語学．情報処理学会，人工知能学会，言語処理学会，計量国語学会，Association for Computational Linguistics, ACM SIGIR, Cognitive Science Society, International Cognitive Linguistics Association各会員．
}

\end{biography}


\biodate



\end{document}
