    \documentclass[japanese]{jnlp_2.1}
\usepackage{jnlpbbl_1.3}
\usepackage[dvipdfm]{graphicx}
\usepackage{amsmath}
\usepackage{array}
\providecommand{\norm}[1]{\lVert#1\rVert}

    \newcommand\figref[1]{図~\ref{fig:#1}}
    \newcommand\tabref[1]{表~\ref{tab:#1}}
    \newcommand{\argmax}{}

\Volume{25}
\Number{4}
\Month{September}
\Year{2018}

\received{2018}{1}{21}
\revised{2018}{4}{6}
\accepted{2018}{5}{23}

\setcounter{page}{441}

\jsubject{論文}
\jtitle{語系列の類似性・可換性の特徴表現による並列句の範囲同定}
\jauthor{寺西　裕紀\affiref{NAIST} \and 進藤　裕之\affiref{NAIST} \and 松本　裕治\affiref{NAIST}}
\jabstract{
並列構造解析の主たるタスクは並列する句の範囲を同定することである．並列構造は文の構文・意味の解析において有用な特徴となるが，これまで決定的な解析手法が確立されておらず，現在の最高精度の構文解析器においても誤りを生じさせる主たる要因となっている．既存の並列句範囲の曖昧性解消手法は並列構造の類似性のみの特性や構文解析器の結果に強く依存しているという問題があった．本研究では，近年自然言語解析に広く使用されているリカレントニューラルネットワークを用いて，構文解析の結果を用いずに単語の表層形と品詞情報のみから並列句の類似性と可換性の特徴ベクトルを計算し，並列構造の範囲を予測する手法を提案する．Penn TreebankとGENIAコーパスを用いた実験の結果，提案手法によって先行研究を上回る解析精度を得た．
}
\jkeywords{並列構造解析，並列句の類似性，並列句の可換性，構文解析}

\etitle{Similarity and Replaceability Feature Representations of Word Sequences for Identifying Coordination Boundaries}
\eauthor{Hiroki Teranishi\affiref{NAIST} \and Hiroyuki Shindo\affiref{NAIST} \and Yuji Matsumoto\affiref{NAIST}} 
\eabstract{
The task of coordinate structure analysis is to identify coordinating phrases called {\it conjuncts}. Although coordination reveals a large amount of syntactic and semantic information, it is one of the difficulties that state-of-the-art parsers cannot cope with. Some existing approaches are based only on the similarity of conjuncts while others rely heavily on syntactic information obtained by external parsers. Here, we propose a neural network model for identifying coordination boundaries. This model is composed of recurrent neural networks, which are widely used in natural language processing. Our method considers two properties of conjuncts, i.e., similarity and replaceability, and predicts the spans of the coordinate structures without using syntactic parsers. We further demonstrate that the proposed model outperforms the existing state-of-the-art methods for the Penn Treebank and GENIA corpus.
}
\ekeywords{Coordinate Structure Analysis, Similarity of Conjuncts, Replaceability of Conjuncts, Syntactic Parsing}

\headauthor{寺西，進藤，松本}
\headtitle{語系列の類似性・可換性の特徴表現による並列句の範囲同定}

\affilabel{NAIST}{奈良先端科学技術大学院大学情報科学研究科}{Graduate School of Information Science, Nara Institute of Science and Technology}



\begin{document}
\maketitle

\section{はじめに}
\label{sec:intro}
並列構造は等位接続詞などの句を連接させる働きのある語にともなって，句や文が並列して出現する構造である．
並列構造は自然言語において高い頻度で現れるが，並列構造が包含する句の範囲には曖昧性があり，また並列構造によって1文が長くなるため，自然言語解析を困難にしている主な要因となっている．
近年，句構造や依存構造などの構文解析の手法は顕著に発展してきているが，並列構造を高い精度で解析する決定的な手法は確立されていない．
並列構造の曖昧性が解消されることで構文解析の誤りを減らすだけではなく，科学技術論文の解析や文の要約，翻訳など広い範囲のアプリケーションでの利用が期待される．

並列構造の構成要素である個々の並列句には二つの特徴がある．一つは並列構造内の個々の並列句はそれぞれ類似した意味・構造となる特徴であり，もう一つはそれぞれの並列句の入れ替え・省略を行っても文法上の誤りが生じることや元の文意を損なうことがなく，文として成立するという特徴である．
並列句の範囲を同定するタスクにおいて，従来の研究では並列構造を同定するための重要な手がかりのうち，並列句の候補となる句のペアの類似度に基づくモデルが提案されてきた\cite{kurohashi-nagao:1994:CL,shimbo-hara:2007:EMNLP-CoNLL,hara-EtAl:2009:ACL-IJCNLP,hanamoto-EtAl:2012:EACL}．
しかしながら，並列句は必ずしも類似するとは限らず，異なる種類の句が並列した場合や動詞句や文の並列では並列句はしばしば非類似となり，類似性のみを利用した手法では非類似の並列句をとらえることができなかった．
また従来手法では類似度の計算に構文情報やシソーラスを用いて人手で設計された素性を利用しており，素性設計のコストや外部リソースの調達コストの点で問題がある．

これらの問題を克服するために，Ficlerら\cite{ficler-goldberg:2016:EMNLP}は，並列句の類似性のみならず可換性に着目し，ニューラルネットワークによって類似性・可換性の特徴ベクトルを計算し，並列句範囲の同定を行うモデルを提案した．
Ficlerらの手法では外部の構文解析器を用いて並列句範囲の候補を抽出したのち，候補に対してスコア付けをして範囲を同定するというパイプライン処理を行っている．
Ficlerらの手法はPenn Treebankでの並列句範囲の同定のタスクにおいて，既存の句構造の構文解析器を上回る精度を達成し，GENIAコーパスにおいても新保ら\cite{shimbo-hara:2007:EMNLP-CoNLL}，原ら\cite{hara-EtAl:2009:ACL-IJCNLP}の並列句の類似性に基づく手法より高い性能を発揮した．
Ficlerらの手法は従来の手法の欠点であった非類似となる並列句の範囲をとらえられない点や人手による素性設計のコストの点をいくらか解決しているものの，外部の構文解析器の出力に強く依存しており，解析器の誤りに起因する誤り伝搬やパイプライン処理による解析速度の低下の点で課題が残っている．

本研究では，単語の表層形と品詞情報のみから並列句の類似性・可換性の特徴を抽出し，並列構造の範囲を同定する手法を提案する．
また句を結びつける働きを持つかどうかが曖昧である語に対して，連接する並列句が存在しない場合の取り扱いや，並列句が存在しない場合を検出する方法についても示す．
提案手法では，近年自然言語の解析で広く用いられている双方向型リカレントニューラルネットワークを使用して候補となる並列句の文脈情報を考慮した類似性・可換性の特徴ベクトルを計算する．
実験の結果，Penn Treebankにおける並列句の範囲同定のタスクにおいて，構文情報を用いない提案手法が構文情報を利用した既存手法と同等以上のF値を得た．
さらにGENIAコーパスにおいては，類似となる傾向の高い名詞句の並列，非類似となる傾向の高い文の並列の両方について，提案手法が既存手法を上回る再現率を達成したことを示す．
提案手法の貢献は，Ficlerらの手法のような構文解析の結果に依存したパイプライン処理やニューラルネットワークのアーキテクチャを使用することなく，原らの手法で課題となっていた非類似となる並列句の範囲同定の再現率を向上させ，全体として既存手法と同等以上の解析精度を達成したことである．


\section{並列構造解析}
\label{sec:coord}

本稿では，句を連接する働きを持つ可能性のある語を並列キーと呼び，``$word_{\rm position}$''の形式で表す．
並列キーに属する語として主に等位接続詞が挙げられるが，英語のbutが等位接続詞のほかに前置詞となる場合があるように，等位接続詞以外の品詞となり得る語は語の表層形から並列キーが句を連接する働きがあるかどうかを判別することは必ずしもできない．
並列キーが句を連接している場合，結びつけられる句を{\bf 並列句}と呼び，並列キーと並列句から成る一連の語句を{\bf 並列構造}と呼ぶ．
反対に並列キーが句を連接する働きがない場合は並列キーによって結びつけられる句や対応する並列構造は存在しない．
また，文頭の並列キーは品詞が等位接続詞の場合であっても後続の句と並列関係にある句が文内に存在しないため，並列キーは文内において句を連接する働きがないと見なし，対応する並列構造を持たないものとする．


\subsection{並列構造の解析の困難さ}
\label{ssec:difficulties}

並列句が包含する語の範囲は構文上一意に決まる場合があるが，文の意味や前後の文脈から決定づけられることが多い．
並列構造の範囲が曖昧であることに起因して，並列構造を有する文は構文・意味の面においても複数の解釈がされ得る．
並列構造は範囲・構文・意味の非一意性を持つばかりではなく，次の二つのような解析の困難性を有している（\figref{property}）．
\begin{enumerate}
\renewcommand{\labelenumi}{}
\item 並列キーが句を連接する場合と連接しない場合があり，連接する場合であっても一つの並列キーによって連接される句は必ずしも並列キーの前後の二つの句に限定されず，三つ以上の句を伴う場合がある．
\item 文中に複数の並列構造が現れる場合があり，さらには一方の並列構造が他方の並列構造の句に含まれるような入れ子構造となるケースがある．
\end{enumerate}
(i) の性質によって，並列構造の解析には並列キーに隣接する句だけではなく，隣接する句に連なる句が同一の並列構造に属するかを考慮する必要性が生じる．
また，並列キーが等位接続の役割を果たさない場合に並列キーに対する並列句の数は0となり，並列キーに対する並列句の出現数が必ず二つ以上となるような限定ができない．
(ii) については，文中に出現する並列キーの数は文によって異なっており，複数の並列構造が出現する場合に全ての並列構造の範囲が互いに整合しているかを確認しなければならない．
すなわち，個々の並列構造の範囲を独立に確定するのではなく，ある並列構造が他の並列構造に覆われて入れ子となるか，あるいは範囲が交差せず重なり合っていない状態のどちらかになるという条件を満たすよう範囲を決定しなければならない．

\begin{figure}[b]
\begin{center}
\includegraphics{25-4ia5f1.eps}
\end{center}
\caption{並列構造の範囲の例}
\label{fig:property}
\end{figure}
\begin{figure}[b]
\begin{center}
\includegraphics{25-4ia5f2.eps}
\end{center}
\caption{タスクの入出力の例}
\label{fig:task}
\end{figure}



\subsection{タスクの定義}

本研究で取り組む英語における並列句範囲の曖昧性解消のタスク定義について述べる．
文に現れる並列キーに対して，並列キーが等位接続の働きをし，並列キーによって結び付けられる句がある場合にはそれぞれの句の始点と終点を返す．
並列キーが並列の役割を果たさず，並列キーに連接する並列句が存在しない場合には{\sc None}を返す．
\figref{task}はタスクの入出力の例である．
例から分かるように，本タスクで期待される出力を得るためには，\ref{ssec:difficulties}節で示したような文中の複数の並列構造，三つ以上の並列句について取り扱える必要がある．
本研究の提案手法は文中の複数の並列構造を検出し，各々の並列構造に属する並列句の範囲同定を行うことができるが，複数の並列構造の範囲が競合しないような制約を満たすには至っていない．
また，三つ以上の並列句についても範囲同定ができるものの，並列キーに前出する並列句が二つ以上出現する場合はそれらを結合して一つの並列句として見なして学習をし，範囲同定を行う際に個々の並列句に分割している．


\subsection{並列構造の特徴}

並列構造には，並列句の範囲を同定するために有用な二つの特徴がある．
\begin{enumerate}
\renewcommand{\labelenumi}{}
\item {\bf 類似性}：同一の並列構造に属する並列句は，句の構文構造・意味の点で類似性を持つ．
\item {\bf 可換性}：同一の並列構造に属する並列句は，互いに入れ替えても文の流暢性が保たれる．
\end{enumerate}

上記の性質についてそれぞれ例を挙げる．
類似性について\figref{property}(a) の例では，$and_{25}$に対する並列句は全て名詞句 (NP) となっており，いずれも冠詞 (DT)，形容詞 (JJ)，名詞 (NN, NNS)，前置詞 (IN) という類似の品詞系列が見られる（\figref{characteristic}(a)）．
また可換性については，\figref{property}(b) の例の並列句を，``Aside from [talks on cutting (chemical) $and_{12}$ (strategic) arms] $and_7$ [the Soviet economic plight], one other issue \ldots''と入れ替えても構文上誤りのない文として成立している（\figref{characteristic}(b) ）．
また，可換性の性質によって各々の並列句を並列構造の前後の文脈と流暢性を損なうことなく接続でき，並列句のうち一つを残して並列構造を取り除いても文として成立する．

\begin{figure}[b]
\begin{center}
\includegraphics{25-4ia5f3.eps}
\end{center}
\caption{並列句の特徴}
\label{fig:characteristic}
\end{figure}

二つの特徴は並列句の範囲を同定する強力な手がかりとなり得るが，全ての並列構造で普遍的に利用できるわけではない．
例えば同一の並列構造に属する複数の並列句が，それぞれ異なる種類の句であったり，文の並列であったりする場合は並列句の類似性は必ずしも高くない（異なる種類の句による非類似の例：``Bill is [in trouble] $and_5$ [trying to come up with an excuse].''，文の並列による非類似の例：``[The value of the two transactions wasn't disclosed], $but_{11}$ [an IFI spokesman said no cash would change hands].''）．
また，先行する並列句に出現した語が後続する並列句では省略されている場合は，適切に語を補わずに句を交換すると文の構文的な正しさが損なわれるため，可換性が成り立つとは言えない（語の省略による非可換の例：``[Honeywell's \underline{contract totaled} \$69.7 million], $and_9$ [IBM's \$68.8 million].''）．

本研究では，類似性・可換性のどちらか一方の特徴だけを用いるのではなく，両方を特徴量として用いることで，並列句の範囲の同定を行う．


\section{関連研究}
\label{sec:rworks}

これまで並列構造解析の多くの研究では並列句の類似性に基づいた手法が発展してきた．
日本語における並列句の範囲同定のタスクにおいて，黒橋ら\cite{kurohashi-nagao:1994:CL}は並列句の類似度計算にチャートを用い，動的計画法によって並列構造の検出と範囲の同定を行った．
新保ら\cite{shimbo-hara:2007:EMNLP-CoNLL}は英語の並列構造解析において，系列アラインメントと単語・品詞・形態情報に基づく素性により，並列句の内部の複数単語間の類似度を動的計画法を用いて計算した．
黒橋らの手法においてチャートの経路に付与されるスコアはあらかじめ定義された少数のルールに基づくスコア関数によって付与されていたのに対し，新保らの手法では編集グラフの枝と頂点に与えられるスコアは人手で設計された素性の重み付き線形和で表され，重みのパラメータの調整は機械学習の手法であるパーセプトロンが用いられた．
新保らのモデルは入れ子となる並列構造を扱うことができなかったが，原ら\cite{hara-EtAl:2009:ACL-IJCNLP}は新保らの手法を拡張し，並列構造を木として導出するためのルールを設けることで，複数の並列構造・三つ以上の並列句について取り扱った．
原らの手法では個々の並列構造に対して並列句の類似度を計算し，複数の並列構造のスコアの総和が最も高くなるような並列構造の範囲の組み合わせを文全体の並列構造の木として解析した．
花元ら\cite{hanamoto-EtAl:2012:EACL}はHPSGの構文解析器を拡張し，原ら\cite{hara-EtAl:2009:ACL-IJCNLP}のモデルと組み合わせて使用し，並列句の範囲を双対分解を用いて同定する手法を提案した．

類似度に基づく並列構造解析の手法に対して，Ficlerら\cite{ficler-goldberg:2016:EMNLP}は並列句の類似度に加えて並列句の可換性についても並列句候補のスコア計算の素性として取り入れた．
Ficlerらの手法は三つのコンポーネントから成り立っており，並列構造の検出のための二値分類器，並列句の範囲の候補を抽出するための外部の構文解析器 (Berkeley Parser \cite{petrov-EtAl:2006:COL-ACL})，並列句候補のスコア計算によって範囲を一意に決定する識別器という構成となっている．
並列句候補のスコア計算においては，人手で設計した素性ではなくニューラルネットワークを用いることで素性設計のコストの問題を克服している．
類似度計算にはBerkeley Parserによって出力された構文情報を用いて並列句候補をベクトル表現として算出し，ベクトル同士のユークリッド距離を求めており，グラフを用いた類似度計算手法に比べて計算量が削減されている．
可換性については，まず並列句のうち一つを残して並列構造を取り除いて元の文を簡易化した新たな文として取り出すという手順を，並列構造に属する二つの並列句に対してそれぞれ適用することで二つの文を得る．
次にそれら二つの文を双方向型LSTMによって処理をし，出力された隠れ状態ベクトルを並列句の接続部分の文脈情報を考慮した素性ベクトルとして使用している．
類似性と可換性の特徴に加えてBerkeley Parserの出力から並列句の候補を生成した際の確率値や候補の順位なども追加の素性としてスコア計算に用いている．
Ficlerらの手法はGENIAコーパスにおいて原らの類似度に基づく手法を上回る精度を達成しているが，素性ベクトルの計算において構文情報に依存しているため，三つのコンポーネントの誤り伝搬や外部の構文解析器への依存の点で課題が残る．
Ficlerらは，(1)類似性，(2)可換性，(3)候補の生成確率に基づく順位に関連する素性の三つの素性をそれぞれ一つずつ用いてスコア計算をした場合について比較実験をしており，(3)のみを用いる場合の精度が(1)または(2)のみを用いる場合の精度よりも高いことを報告している．
ただし構文解析の結果に基づく候補の抽出は共通して行われており，構文解析を利用しない場合は候補の抽出や(1)，(3)の素性は利用できないため，Ficlerらが報告している数値よりも精度が下がることが考えられる．
しかしながら，構文解析器や解析対象のドメインの変更などによって構文解析の精度が変化した際に，Ficlerらの手法がどの程度影響を受けるかについては定量的な分析がされておらず，また我々のほうでも定性的な分析をするに留まった\footnote{Berkeley Parserの改変部分や実験設定についての詳細を得ることができず，再現実験をすることができなかった．}．

河原ら\cite{kawahara-kurohashi:2008:Coling}は類似度の素性を用いずに依存構造と格フレームに基づいて並列句の生成確率を学習し，範囲の同定を行っている．
吉本ら\cite{yoshimoto-EtAl:2015:IWPT}はグラフベースの依存構造解析の手法を拡張し，依存構造解析とともに並列構造の範囲を同定するアルゴリズムを提案している．


\section{提案手法}
\label{sec:method}

本研究では並列キーに対して個々の並列句の範囲ではなく並列構造全体の範囲を直接的に同定する．
すなわち，並列キーに先行する並列句の終点を並列キーの直前，並列キーに後続する並列句の始点を並列キーの直後に仮定を置き，並列構造全体の始点と終点のみを提案モデルで学習・推定する．
また，英語においては並列キーに先行する並列句は，カンマを伴って二つ以上出現する場合があるが，その場合においては最初に出現する並列句の始点と並列キーの直前に出現する並列句の終点をスパンとする一つの並列句と見なすことでモデルを適用する（\figref{task}の$and_{37}$の例：先行する並列句 (33, 36) cash, Memotec stock; 後続する並列句 (38, 38) debentures; 並列構造全体の始点・終点 (33, 38)）．
ただし，これらの仮定は並列句の範囲の可能な組み合わせを制限し，計算量を削減するために行っているため，並列句の始点・終点の制限をなくして並列キーに先行する二つ以上の並列句の各々の範囲を同定する手法として，本研究のモデルを適用することは可能である\footnote{提案手法の計算量が$\mathcal{O}(N^2)$に対し，配列句の範囲の制限をなくしてカンマを区切り文字として先頭の並列句の範囲と終端の並列句の範囲を求める場合の計算量は$\mathcal{O}(N^4)$となる．}．

語数$N$の文$x=\{x_1,x_2,x_3,\ldots,x_N\}$における並列キー$x_k$に対して，並列キーに先行する並列句を$s_1=\{x_i,\ldots,x_{k-1}\}$ $(1\leq i\leq k-1)$，後続する並列句を$s_2=\{x_{k+1},\ldots,x_j\}$ $(k+1\leq j\leq N)$と書き表す．
また，並列キー$x_k$に連接する並列句が存在しない場合は並列句の範囲のペアを{\sc None}として表す．
提案手法では，並列構造全体の始点$i$と終点$j$の全ての可能な組み合わせ（並列句が存在しない場合の{\sc None}を含む）についてスコア計算を行い，最もスコアの高い組み合わせを二つの並列句の範囲$(i, k-1)$，$(k+1, j)$とし，{\sc None}のスコアが最も高い場合は並列句が存在しないものとする．
並列キーに隣接するカンマは並列句の始点・終点ではなく並列キーの一部として見なされるため，解析・評価時には並列キーの直前・直後のカンマを並列キーに含むものとして範囲の修正をする．
また，モデルが学習・予測した二つの並列句の範囲に対して，並列キーに先行する並列句の範囲からカンマを区切り文字として個々の並列句の範囲の復元をし，評価を行う．

\begin{figure}[b]
\begin{center}
\includegraphics{25-4ia5f4.eps}
\end{center}
\caption{提案手法で用いるニューラルネットワークのアーキテクチャの概要}
\label{fig:arch}
\end{figure}

\figref{arch}は本研究で用いるニューラルネットワークのアーキテクチャの概要である．
提案モデルは以下の四つの部分で構成される．
\begin{description}
\item[入力層：]単語・品詞のone-hotベクトルからなる系列に分散表現のベクトルを割り当てる．
\item[RNN層：]双方向型リカレントニューラルネットワーク（双方向型RNN）により，単語・品詞のベクトルの系列から文脈情報を考慮した隠れ状態のベクトルの系列を取り出す．
\item[特徴抽出関数：]並列構造の範囲の可能な組み合わせについて，双方向型RNNの出力を用いて特徴ベクトルを抽出する．
\item[出力層：]個々の並列構造の範囲の候補に対して，特徴ベクトルからスコア計算を行う．
\end{description}
以降の小節ではこれらのネットワーク構造の詳細について説明をする．


\subsection{入力層}

提案モデルはまず，語彙数次元のone-hotベクトルで表された単語・品詞の系列を入力として受け取り，埋め込み表現\cite{bengio-EtAl:2003:JMLR}として知られる分散表現のベクトルの系列に変換する．
これらの単語・品詞の実数値のベクトルは連結されて次の層の入力として渡される．
\begin{equation}
\begin{aligned}
{\bf h}^{word}_{t}&=W^{word}{\bf x}^{word}_t \\
{\bf h}^{tag}_{t}&=W^{tag}{\bf x}^{tag}_t \\
{\bf h}^{(0)}_{t}&=[{\bf h}^{word}_{t};{\bf h}^{tag}_{t}] \\
{\bf h}^{(0)}&=\bigl\{{\bf h}^{(0)}_{1},\ldots,{\bf h}^{(0)}_{N}\bigr\}
\end{aligned}
\end{equation}

ここで${\bf x}^{word}_t$は単語系列の$t$番目の語，${\bf x}^{tag}_t$は品詞系列の$t$番目の品詞を指すone-hotベクトルである．
また，$W^{word}$，$W^{tag}$はそれぞれ単語，品詞の分散表現を表すベクトルから成るパラメータの行列である．


\subsection{RNN層}

分散表現のベクトル系列は多層の双方向型RNNによってRNNの隠れ状態のベクトル系列に変換される．
双方向型RNNは時系列の入力を過去から未来の方向と未来から過去の方向へ順次計算を行う．
提案手法ではこのネットワークを用いて左から右（順方向）の文脈と右から左（逆方向）の文脈の情報を取り出し，後のネットワークでの計算に利用する．
多層双方向型RNNの第$\ell$層の時刻$t$における順方向の隠れ状態ベクトル${\bf h}^f_{\ell,t}$は，同じ層の直前の時刻$t-1$における順方向の隠れ状態ベクトル${\bf h}^f_{\ell,t-1}$と直前の層の同一時刻$t$における隠れ状態ベクトル${\bf h}_{\ell-1,t}$から計算される．
\begin{equation}
{\bf h}^f_{\ell,t}=f({\bf h}^f_{\ell,t-1}, {\bf h}_{\ell-1,t})
\end{equation}
第$\ell$層の時刻$t$における逆方向の隠れ状態ベクトル${\bf h}^b_{\ell,t}$も同様に計算される．
本研究で用いる多層双方向型RNNは層ごとの出力で順方向の隠れ状態ベクトルの系列$\{{\bf h}^f_{\ell,t}\}^N_{t=1}$と逆方向の隠れ状態ベクトルの系列$\{{\bf h}^b_{\ell,t}\}^N_{t=1}$が各時刻$t$で連結され，次の層の入力値として用いられる．

一般にRNNは以下に表現されるような関数$f$を持つ．
\[
f({\bf x}_t, {\bf h}_{t-1})=g(W{\bf x}_t+U{\bf h}_{t-1})
\]
ここで関数$g$は双曲線正接関数tanhや正規化線形関数ReLUなどの任意の非線形関数であり，$W$，$U$はパラメータ行列である．
RNNは勾配消失の問題から学習が困難であるため\cite{pascanu-EtAL:2013:PMLR}，本研究ではRNNの関数$f$に代わってLSTM (Long Short-Term Memory) \cite{hochreiter-schmidhuber:1997:NC}を用いる．


\subsection{特徴抽出関数}

特徴抽出関数のレイヤーでは，双方向型RNNの出力系列$\{{\bf h}_{t}\}^N_{t=1}$を用いて並列構造の並列キーに先行する並列句候補と後続する並列句候補のベクトル表現を計算し，類似性に基づく特徴ベクトルと可換性に基づく特徴ベクトルの二つの特徴ベクトルを出力する．
並列構造の並列キーに先行する並列句候補のベクトル表現${\bf v}^{pre}_i$と後続する並列句候補のベクトル表現${\bf v}^{post}_j$は関数$f_{pooling}$から計算される．
本研究では，関数$f_{pooling}$としてベクトルの要素ごとの平均をとる関数を用いる．
\begin{equation}
\label{eq:average}
f_{pooling}({{\bf h}_{l:m}})={\rm average}\bigl({\bf h}_l, {\bf h}_{l+1}, \ldots, {\bf h}_{m-1}, {\bf h}_m\bigr) 
\end{equation}
したがって, ${\bf v}^{pre}_i$と${\bf v}^{post}_j$はそれぞれ以下のように表される．
\begin{equation}
\begin{aligned}
{\bf v}^{pre}_i&=f_{pooling}({{\bf h}_{i:k-1}}) \;\;(1\leq i\leq k-1) \\
{\bf v}^{post}_j&=f_{pooling}({{\bf h}_{k+1:j}}) \;\;(k+1\leq j\leq N) 
\end{aligned}
\end{equation}
ベクトル${\bf v}^{pre}_i$，${\bf v}^{post}_j$は次小々節に定義される特徴抽出関数に入力される．


\subsubsection{類似性に基づく特徴ベクトル}

並列構造の並列キーに先行する並列句候補と後続する並列句候補の類似性に基づく特徴ベクトルは以下のように計算される．
\begin{equation}
f_{sim}({\bf v}^{pre}_i, {\bf v}^{post}_j)=\bigl[|{\bf v}^{pre}_i-{\bf v}^{post}_j|;{\bf v}^{pre}_i \odot {\bf v}^{post}_j\bigr] 
\end{equation}
ここで$|{\bf v}^{pre}_i-{\bf v}^{post}_j|$はベクトルの要素ごとの差の絶対値であり，${\bf v}^{pre}_i \odot {\bf v}^{post}_j$はベクトルの要素ごとの積である．
これらの差と積の演算は二つのベクトルの距離と関連性をモデル化するために用いている\cite{ji-eisenstein:2013:EMNLP,tai-EtAl:2015:ACL-IJCNLP,hashimoto-EtAl:2017:EMNLP}． 


\subsubsection{可換性に基づく特徴ベクトル}

可換性に基づく特徴ベクトルは以下のように定義をする．
\begin{equation}
\begin{aligned}
f_{repl}({\bf h}_{1:N}, i, j, k)&=\\
\bigl[|{\bf h}_{i-1} \odot {\bf h}_{i}& - {\bf h}_{i-1} \odot {\bf h}_{k+1}|;\\
|{\bf h}_{j} \odot {\bf h}_{j+1}& - {\bf h}_{k-1} \odot {\bf h}_{j+1}|\bigr] 
\end{aligned}
\end{equation}
ここで${\bf h}_{i-1}$は並列構造の直前の語における文脈を表すベクトルであり，二つの並列句候補$(i, k-1)$と$(k+1, j)$が可換であれば，それぞれの並列句候補の先頭の語$i$，$k+1$と流暢性を損なわず結びつくと考えられる．
また${\bf h}_{j+1}$は並列構造の直後の語における文脈を表すベクトルであり，同様に各並列句候補の末尾の語に接続される．
1番目の差$|{\bf h}_{i-1} \odot {\bf h}_{i} - {\bf h}_{i-1} \odot {\bf h}_{k+1}|$は並列構造の直前の文脈と二つの並列句候補の始点との接続の差を表している．
2番目の差$|{\bf h}_{j} \odot {\bf h}_{j+1} - {\bf h}_{k-1} \odot {\bf h}_{j+1}|$は並列構造の直後の文脈と二つの並列句候補の終点との接続の差を表している．
これらの差は二つの並列句候補の交換のしにくさ（コスト）を表していると解釈できる．
また，並列構造が文の先頭で始まる場合 ($i=0$)，関数$f_{repl}({\bf h}_{1:N}, i, j, k)$が返すベクトルのうち，$|{\bf h}_{i-1} \odot {\bf h}_{i} - {\bf h}_{i-1} \odot {\bf h}_{k+1}|$をゼロベクトルとし，文の末尾で終わる場合 ($j=N$) は$|{\bf h}_{j} \odot {\bf h}_{j+1} - {\bf h}_{k-1} \odot {\bf h}_{j+1}|$をゼロベクトルとする．


\subsection{出力層}

出力層では並列構造の範囲の候補に対して類似性・可換性に基づく特徴ベクトルに基づいてスコア計算を行う．
出力層のニューラルネットワークは計算ユニットを持つ層が順方向に多層に接続された多層パーセプトロン (MLP) から成る．
並列キーに先行する並列句候補$(i, k-1)$と後続する並列句候補$(k+1, j)$のペアに対するスコアは以下のように計算される．
\begin{equation}
\label{eq:mlp}
\begin{aligned}
{\rm Score}(i,j)&=\\
{\rm MLP}\bigl(\bigl[&f_{sim}({\bf v}^{pre}_i, {\bf v}^{post}_j);\\
&f_{repl}({\bf h}_{1:N}, i, j, k)\bigr]\bigr) 
\end{aligned}
\end{equation}

また，並列キーに対して並列構造が存在しない場合を考慮するために，範囲の候補{\sc None}についてもスコアの計算を行う．
{\sc None}のスコアは並列キーに対するRNN層の隠れ状態ベクトル${\bf h}_{k}$に重みベクトルを乗ずることで求める．
\begin{equation}
{\rm Score(\textsc{None})}={\bf w} \cdot {\bf h}_{k}+{\bf b}
\end{equation}

これらのスコア関数を用いて並列句の全ての可能な範囲の組み合わせ$(i, j)$に対してスコアを計算する．
したがって，文の長さを$N$，並列キーの出現位置を$k$番目の語とおいた場合，並列句の範囲の組み合わせの候補は全部で$(k-1)\times(N-k)+1$個得られ，それらのうち最もスコアの高い候補をsoftmax関数によって求めてモデルが最終的に出力する並列句の範囲とする．
\begin{equation}
\begin{aligned}
{\bf s}&=[{\rm Score(\textsc{None})};{\rm Score(1, k+1)};\ldots;\\
&\quad\quad {\rm Score(1, N)};\ldots;{\rm Score}(k-1, N)]\\
\hat{p_{\theta}}(y|x)&={\rm softmax}({\bf s})\\
\hat{y}&={\argmax}_{y}\bigl(\hat{p_{\theta}}(y|x)\bigr)
\end{aligned}
\end{equation}
ただし，$\theta$をパラメータの集合，$x$を単語系列・品詞系列から成る文，$y$を並列句範囲の組み合わせとする．


\subsection{学習}

モデルの学習には各並列キーに対する並列構造の予測範囲と正解範囲との交差エントロピー誤差を損失関数として用いる．
\begin{equation}
J(\theta)=-\sum^D_{d=1}\log \hat{p_{\theta}}(y^{(d)}|x^{(d)}) + \frac{\lambda}{2}\norm{\theta}^2
\end{equation}
ここで$D$はトレーニングのデータセットにおける並列キーの出現数であり，$x^{(d)}$を単語系列・品詞系列から成る文の集合中の1事例，$y^{(d)}$を並列句範囲の正解となる組み合わせの集合中の1事例とする．
また，$\theta$はモデルのパラメータの集合， $\lambda$はL2正則化の強度を調整するハイパーパラメータである．
モデルのパラメータ$\theta$は損失関数を確率的勾配降下法 (SGD) によって最小化することによって最適化する．


\section{実験}
\label{sec:exp}

本研究では提案手法の評価実験を並列構造のアノテーションが付与されたPenn Treebankコーパス\cite{ficler-goldberg:2016:ACL}とGENIAコーパス (beta) \cite{Kim-EtAL:2003:BioInfo}で行う．
各コーパスにおける評価対象となる並列キーの出現数と文数を\tabref{corpus}にまとめる．
なお，先行研究との比較のため，Penn Treebankの並列キーは``and''，``or''，``but''，``nor''，``and/or''\footnote{``and/or''とは，``\ldots imposes costs and/or confers benefits \ldots''など，andとorのどちらでも文意がとれるものとして1単語で表された語を指す．}とし，GENIAコーパスの並列キーは``and''，``or''，``but''とする\cite{ficler-goldberg:2016:EMNLP,hara-EtAl:2009:ACL-IJCNLP}．

\begin{table}[t] 
\caption{コーパスにおける並列キーの出現数}
\label{tab:corpus}
\input{05table01.tex}
\end{table}


\subsection{Penn Treebankでの実験}
\label{ssec:ptb-exp}

\subsubsection{実験設定}
\label{sssec:ptb-exp-settings}

Penn Treebankでの実験には，コーパスのWall Street Journalのパートのうち，セクション2から21を訓練データ，セクション22を開発データ，セクション23を評価データとして用いた．
単語の分散表現にはEnglish Gigawordコーパス第5版\cite{en-gigaword5}のNew York TimesパートをWord2Vec\footnote{https://code.google.com/archive/p/word2vec/}のデフォルトのパラメータで事前に学習した200次元のベクトル表現を用いた．
品詞はStanford Parser \cite{toutanova-EtAl:2003:NAACL}を用いて訓練データに対する10分割ジャックナイフ法にて付与し，品詞の分散表現として区間$[-1, 1]$の一様分布でランダムに初期化をした50次元のベクトルを用いた．
RNN層には3層の双方向型LSTMを用い，各単方向のLSTMの隠れ状態のベクトルの次元数は\{400, 600\}次元から選択した．
出力層は隠れ層を1層とし，活性化関数にはReLUを使用した．
また，隠れ層のユニット数は\{1,200, 2,400\}から選択した．
モデルのパラメータはバッチサイズ20のミニバッチを利用した確率的勾配降下法で最適化を行った．
学習率はAdam \cite{kingma-ba:2014:ArXiv}によって自動調整した．
モデルの訓練時には入力層の出力，1層目を除くRNN層の入力，出力層の隠れ層にDropout \cite{srivastava-EtAL:2014:JMLR}を適用した．
Dropoutの適用ユニットの比率は\{0.33, 0.50\}から選択した．
L2正則化の強度$\lambda$は\{0.0001, 0.0005, 0.001\}から選択した．
学習のイテレーション数は50とし，開発データにおけるF1のスコア\footnote{モデルの選択に用いたF1スコアは複数の並列句のうち最初の並列句の開始位置と最後の並列句の終了位置の適合率・再現率の調和平均（wholeの評価）によるものとする（後述）．}が最も高いモデルとハイパーパラメータの設定を評価データでの評価に用いるモデルとして採用した．
最終的なハイパーパラメータの設定は\tabref{hyperparams}のとおりである．

\begin{table}[t] 
\caption{Penn Treebankの実験に使用した最終的なハイパーパラメータの設定}
\label{tab:hyperparams}
\input{05table02.tex}
\end{table}

\begin{figure}[t]
\begin{center}
\includegraphics{25-4ia5f5.eps}
\end{center}
\caption{評価方法による正解範囲の違い}
\label{fig:exp}
\end{figure}



\subsubsection{評価指標}
\label{sssec:eval-methods}

本研究では，並列構造に属する並列句の始点・終点の一致について，四種類の一致基準で評価を行う（\figref{exp}）．
\begin{itemize}
\item {\bf whole}: 最初の並列句の始点と最後の並列句の終点の一致
\item {\bf inner}: 並列キーに隣接する並列句の始点・終点の一致
\item {\bf outer}: 最初と最後の並列句の始点・終点の一致
\item {\bf exact}: 全ての並列句の始点・終点の一致
\end{itemize}
wholeの一致基準は並列構造全体の始点と終点の一致と同義であり，innerの一致基準はFiclerら\cite{ficler-goldberg:2016:EMNLP}の手法による実験の評価で用いられているものである．
また，本研究の提案モデルが学習・予測する並列構造の範囲はwholeに相当するため，個々の並列句についての評価であるinner，outer，exactにおいては，並列キー$k$に先行する並列句$(i, k-1)$を文字``,''によって分割して個々の並列句として評価を行っている．
それぞれの一致基準について，適合率(P)・再現率(R)およびそれらの調和平均であるF値によってモデルの評価を行う．
また，全ての並列構造ではなく名詞句の並列構造のみを対象として評価を行った結果についても示す\footnote{Ficlerら\cite{ficler-goldberg:2016:EMNLP}と同様に，NPに加えてNXの並列構造も名詞句の並列構造と見なす．}．
提案手法で用いた特徴抽出関数の有効性を検証するために，式\ref{eq:average}によって求めた二つの平均ベクトルだけを出力層でのスコア計算（式\ref{eq:mlp}）に用いたモデルをベースラインとして，特徴抽出関数の有無による実験・評価も行う．


\subsubsection{実験結果}

\tabref{ptb-method}に実験結果を示す．
wholeの指標において適合率と比較して再現率が低いことから，提案手法では並列キーに対して誤って並列構造が存在しない（範囲{\sc None}）という予測をしていると考えられる．
またinnerの評価に比べてouterの評価による結果では適合率，再現率，F値のいずれも低い値となった．
これはinnerの評価では評価対象の並列句は並列キーに隣接しているのに対し，outerの評価では三つ以上の並列句が出現した場合に1番目の並列句が並列キーから離れてしまうことから，innerの評価はouterの評価と比較して範囲の予測が容易であることが理由として考えられる．

\begin{table}[b]
\caption{評価方法ごとの実験結果の比較（開発データ）} 
\label{tab:ptb-method}
\input{05table03.tex}
\end{table}

\tabref{ptb-by-feats}は特徴ベクトルの使用の有無による結果の違いを示している．
類似性に基づく特徴ベクトルと可換性に基づく特徴ベクトルを各々使用したモデルはどちらもベースラインのモデルの性能を上回った．
また両方の特徴ベクトルを使用したモデルは最も高いF値を達成し，類似性・可換性に基づく特徴ベクトルを併用することは有効であった．

\begin{table}[b] 
\caption{特徴ベクトルの組み合わせによる実験結果の比較（開発データ，whole評価）}
\label{tab:ptb-by-feats}
\input{05table04.tex}
\vspace{4pt}
{\small
``$f_{sim}$''は類似性に基づく特徴ベクトル，``$f_{repl}$''は可換性に基づく特徴ベクトル，``Both''は両方の特徴ベクトルを使用したモデルを表す．\par}
\end{table}

先行研究との実験結果（inner評価）の比較について\tabref{ptb}に示す．
全ての並列構造を対象とした実験では，先行研究のうち最も高いFiclerら\cite{ficler-goldberg:2016:EMNLP}の手法をF値で0.11ポイント上回り，最高の値となる72.81\%を達成した．
Ficlerらの手法は句構造の構文解析器の出力結果を利用し，並列句の始点・終点が句の境界となる並列句の範囲の候補のうち生成確率が上位のものを候補としてあらかじめ限定し，候補とその生成確率の順位に基づく素性をニューラルネットワークの入力としてスコア計算をしている．
対して提案手法では外部の構文解析器を使用せず並列句の範囲を制限することで，構文解析の結果を用いずにニューラルネットワークによって範囲を同定している．
また，名詞句を対象とした評価においても先行研究と同程度の結果を得た．
Ficlerらの手法では三つ以上の並列句については並列キーに隣接する二つの並列句の範囲を学習・予測しているのに対し，提案手法では並列構造全体の範囲を学習したのちに個々の並列句は\ref{sssec:eval-methods}節に示したルールによって取り出しているため，個々の並列句の取り出し方を改善することによって先行研究の結果をさらに上回る性能を達成することが期待できる．

\begin{table}[t]
\caption{Penn Treebankでの評価 (inner)}
\label{tab:ptb}
\input{05table05.tex}
\vspace{4pt}
{\small 
提案手法を除いた結果はFiclerら\cite{ficler-goldberg:2016:EMNLP}の報告している結果より抜粋．\par}
\end{table}


\subsection{GENIAコーパスでの実験}

\subsubsection{実験設定}

原ら\cite{hara-EtAl:2009:ACL-IJCNLP}，Ficlerら\cite{ficler-goldberg:2016:EMNLP}の手法と提案手法の性能の比較を行うため，GENIAコーパス (beta) での実験を行った．
実験設定は以下のものを除いて\ref{sssec:ptb-exp-settings}節と同様である．
\begin{itemize}
\item 単語の分散表現にはBioASQ \cite{tsatsaronis-EtAl:2012:AAAI}が提供している200次元のベクトル表現を使用した．
これらのベクトル表現はPubMed\footnote{https://www.ncbi.nlm.nih.gov/pubmed/}で入手できる生物医学系の論文のアブストラクトからWord2Vecを使って訓練したものである．
\item 品詞は原ら\cite{hara-EtAl:2009:ACL-IJCNLP}と同様にコーパスに付与されている品詞を使用し，品詞の分散表現として区間$[-1, 1]$の一様分布でランダムに初期化をした50次元のベクトルを用いた．
\item L2正則化の強度を決定するハイパーパラメータである$\lambda$の値は0.0005とした．
\item 学習のイテレーション数は20とした．
\end{itemize}


\subsubsection{評価指標}

GENIAコーパスでの実験は原ら\cite{hara-EtAl:2009:ACL-IJCNLP}と同様に，個々の並列句の範囲の一致については評価をせず，並列構造全体の範囲での一致 (whole) について再現率によって評価を行う．
これは，GENIAコーパスにおいては全ての並列キーに対応する並列構造が存在し，正解の範囲が{\sc None}となるような事例が存在しないためである（\tabref{corpus}）．
ただし，並列構造の範囲の候補から{\sc None}を除くような変更は加えていないため，提案モデルが並列構造の範囲の予測として誤って{\sc None}を出力することは起こり得る．
提案手法の学習・予測結果と先行研究の手法による結果を直接比較することが可能であるため，本実験では\ref{sssec:eval-methods}節に示したような個々の並列句の取り出しは行わない．
GENIAコーパスでは並列構造となっている句に対して明示的にCOODという特別なラベルが付与されており，COODのラベルが付与されている句の種類別に提案手法の性能の評価を行った．
モデルの訓練・評価には原らと同様に5分割交差検定によって行った．

\begin{table}[b] 
\caption{GENIAコーパスでの評価（再現率）}
\label{tab:genia}
\input{05table06.tex}
\vspace{4pt}
{\small 
``Ficler16''，``Hara09''の実験結果はそれぞれ\cite{ficler-goldberg:2016:EMNLP,hara-EtAl:2009:ACL-IJCNLP}より抜粋．\par}
\end{table}


\subsubsection{実験結果}

実験結果を\tabref{genia}に示す．
全ての並列構造を対象とした並列構造の始点と終点の一致の評価について，提案手法はFiclerら\cite{ficler-goldberg:2016:EMNLP}と原ら\cite{hara-EtAl:2009:ACL-IJCNLP}の手法による再現率を上回った．
また，並列構造となる句の種類別の評価においては従来手法と比べて文 (S) の並列において再現率が顕著に上回った．
動詞句 (VP) や従属節 (SBAR) においても原らの手法よりも高いスコアとなっているが，Ficlerらの手法より10以上低いスコアとなった．
並列句が類似する傾向が高い名詞句 (NP) の並列については最も高い再現率を達成した．
提案手法の動詞句の誤りについて分析をしたところ，正解の範囲が``$\ldots$ has been [developed] and [compared with] a common $\ldots$''であったのに対し，モデルの予測範囲が``$\ldots$ [has been developed] and [compared with] a common $\ldots$''となるような，助動詞を並列句に含むか否かを誤りやすい傾向にあった．
また，並列キーに後続する動詞句の直後に出現する前置詞句を並列句の範囲に含むかどうかについても誤る場合が見られた．
動詞句の誤りのどちらのケースにおいても文法的には並列句が可換であるため，語法や前後の文脈をより考慮することが有効であると考えられる．
文の並列と従属節については並列句の語長が長くなる傾向があるため，提案手法では並列句に含まれるカンマによって誤って並列句を分割するという傾向があった．
三つ以上の並列句の範囲同定をする場合，名詞句の並列ではカンマを区切り文字として最初と最後以外の並列句の範囲を予測しても誤りが少ないが，文や従属節の並列の場合は同格表現で使用されるカンマが含まれる場合があるため，カンマを区切り文字として並列句を分割した場合に誤ることが考えられる．

先行研究の手法と比較をすると並列句の類似性のみに着目した原らの手法では，非類似となる傾向の高い並列句については範囲を捉えることができなかったが，提案手法では類似性に基づく特徴ベクトルのみならず可換性に基づく特徴ベクトルを取り入れることで並列句の範囲同定の再現率が向上している．
また，Ficlerらの手法では並列句の可換性についての特徴ベクトルの計算には，並列キーに先行する並列句と並列構造の直後に出現する語句との接続，並列キーに後続する並列句と並列構造の直前に出現する語句との接続についての演算は行われておらず，非類似だが可換である傾向の高い文において精度が低いことの一因となっている可能性がある．
代わりに文の先頭から並列キーの直前までと文の末尾から並列キーの直後までをLSTMで演算を行っていることから，動詞句の並列のような文脈・語法の情報がより有効に働くと考えられる並列句の場合は，提案手法より優れた性能を発揮すると考えられる．


\section{おわりに}
\label{sec:conc}

本研究では，並列句の類似性・可換性の二つの性質を特徴として用い，並列句の範囲の同定を行う手法を提案した．
ニューラルネットワークによって単語の表層的な情報だけではなく文脈情報などの深層的な情報を用いることで，類似となる並列句のみならず非類似となる並列句の範囲同定でも高い性能を発揮し，英語の並列句の範囲同定のタスクにおいて先行研究を上回る再現率を達成した．
提案手法は外部のシソーラスや構文解析器を必要とせず解析が行える点で貢献が大きい．

提案手法の課題として，提案手法は個々の並列句の範囲を直接的に学習・予測する手法ではないため，モデルを拡張して個々の並列句を取り扱えるようにすることが挙げられる．
その際には，並列句の範囲の組み合わせが爆発的に増加するが，それらの計算量を抑えつつ，三つ以上の並列句についても同時に取り扱うことも課題として挙げられる．
また，提案手法は文中の複数の並列構造の範囲について独立して学習・予測をしているため，今後は複数の並列構造の範囲が競合しないような制約を与え，同時に解析できるよう改善する予定である．


\acknowledgment

本研究の一部は，JST CREST（課題番号：JPMJCR1513）の助成を受けて実施された．
また，本研究の一部は，情報処理学会第232回自然言語処理研究会\cite{teranishi-EtAl:2017:SIG-NL}およびThe 8th International Joint Conference on Natural Language Processing (IJCNLP2017) \cite{teranishi-EtAl:2017:IJCNLP}で発表したものである．


\bibliographystyle{jnlpbbl_1.5}
\begin{thebibliography}{}

\bibitem[\protect\BCAY{Bengio, Ducharme, Vincent, \BBA\ Jauvin}{Bengio
  et~al.}{2003}]{bengio-EtAl:2003:JMLR}
Bengio, Y., Ducharme, R., Vincent, P., \BBA\ Jauvin, C. \BBOP 2003\BBCP.
\newblock \BBOQ A Neural Probabilistic Language Model.\BBCQ\
\newblock {\Bem Journal of Machine Learning Research}, {\Bbf 3}, \mbox{\BPGS\
  1137--1155}.

\bibitem[\protect\BCAY{Ficler \BBA\ Goldberg}{Ficler \BBA\
  Goldberg}{2016a}]{ficler-goldberg:2016:ACL}
Ficler, J.\BBACOMMA\ \BBA\ Goldberg, Y. \BBOP 2016a\BBCP.
\newblock \BBOQ Coordination Annotation Extension in the Penn Tree Bank.\BBCQ\
\newblock In {\Bem Proceedings of the 54th Annual Meeting of the Association
  for Computational Linguistics (Volume 1: Long Papers)}, \mbox{\BPGS\
  834--842}, Berlin, Germany. Association for Computational Linguistics.

\bibitem[\protect\BCAY{Ficler \BBA\ Goldberg}{Ficler \BBA\
  Goldberg}{2016b}]{ficler-goldberg:2016:EMNLP}
Ficler, J.\BBACOMMA\ \BBA\ Goldberg, Y. \BBOP 2016b\BBCP.
\newblock \BBOQ A Neural Network for Coordination Boundary Prediction.\BBCQ\
\newblock In {\Bem Proceedings of the 2016 Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 23--32}, Austin, Texas.
  Association for Computational Linguistics.

\bibitem[\protect\BCAY{Hanamoto, Matsuzaki, \BBA\ Tsujii}{Hanamoto
  et~al.}{2012}]{hanamoto-EtAl:2012:EACL}
Hanamoto, A., Matsuzaki, T., \BBA\ Tsujii, J. \BBOP 2012\BBCP.
\newblock \BBOQ Coordination Structure Analysis using Dual Decomposition.\BBCQ\
\newblock In {\Bem Proceedings of the 13th Conference of the European Chapter
  of the Association for Computational Linguistics}, \mbox{\BPGS\ 430--438},
  Avignon, France. Association for Computational Linguistics.

\bibitem[\protect\BCAY{Hara, Shimbo, Okuma, \BBA\ Matsumoto}{Hara
  et~al.}{2009}]{hara-EtAl:2009:ACL-IJCNLP}
Hara, K., Shimbo, M., Okuma, H., \BBA\ Matsumoto, Y. \BBOP 2009\BBCP.
\newblock \BBOQ Coordinate Structure Analysis with Global Structural
  Constraints and Alignment-Based Local Features.\BBCQ\
\newblock In {\Bem Proceedings of the Joint Conference of the 47th Annual
  Meeting of the ACL and the 4th International Joint Conference on Natural
  Language Processing of the AFNLP}, \mbox{\BPGS\ 967--975}, Suntec, Singapore.
  Association for Computational Linguistics.

\bibitem[\protect\BCAY{Hashimoto, Xiong, Tsuruoka, \BBA\ Socher}{Hashimoto
  et~al.}{2017}]{hashimoto-EtAl:2017:EMNLP}
Hashimoto, K., Xiong, C., Tsuruoka, Y., \BBA\ Socher, R. \BBOP 2017\BBCP.
\newblock \BBOQ A Joint Many-Task Model: Growing a Neural Network for Multiple
  NLP Tasks.\BBCQ\
\newblock In {\Bem Proceedings of the 2017 Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 1923--1933}, Copenhagen, Denmark.
  Association for Computational Linguistics.

\bibitem[\protect\BCAY{Hochreiter \BBA\ Schmidhuber}{Hochreiter \BBA\
  Schmidhuber}{1997}]{hochreiter-schmidhuber:1997:NC}
Hochreiter, S.\BBACOMMA\ \BBA\ Schmidhuber, J. \BBOP 1997\BBCP.
\newblock \BBOQ Long Short-Term Memory.\BBCQ\
\newblock {\Bem Neural Computation}, {\Bbf 9}  (8), \mbox{\BPGS\ 1735--1780}.

\bibitem[\protect\BCAY{Ji \BBA\ Eisenstein}{Ji \BBA\
  Eisenstein}{2013}]{ji-eisenstein:2013:EMNLP}
Ji, Y.\BBACOMMA\ \BBA\ Eisenstein, J. \BBOP 2013\BBCP.
\newblock \BBOQ Discriminative Improvements to Distributional Sentence
  Similarity.\BBCQ\
\newblock In {\Bem Proceedings of the 2013 Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 891--896}, Seattle, Washington,
  USA. Association for Computational Linguistics.

\bibitem[\protect\BCAY{Kawahara \BBA\ Kurohashi}{Kawahara \BBA\
  Kurohashi}{2008}]{kawahara-kurohashi:2008:Coling}
Kawahara, D.\BBACOMMA\ \BBA\ Kurohashi, S. \BBOP 2008\BBCP.
\newblock \BBOQ Coordination Disambiguation without Any Similarities.\BBCQ\
\newblock In {\Bem Proceedings of the 22nd International Conference on
  Computational Linguistics (Coling 2008)}, \mbox{\BPGS\ 425--432}, Manchester,
  UK. Coling 2008 Organizing Committee.

\bibitem[\protect\BCAY{Kim, Ohta, Tateisi, \BBA\ Tsujii}{Kim
  et~al.}{2003}]{Kim-EtAL:2003:BioInfo}
Kim, J.~D., Ohta, T., Tateisi, Y., \BBA\ Tsujii, J. \BBOP 2003\BBCP.
\newblock \BBOQ GENIA corpus---a semantically annotated corpus for
  bio-textmining.\BBCQ\
\newblock {\Bem Bioinformatics}, {\Bbf 19}  (suppl 1), \mbox{\BPGS\
  i180--i182}.

\bibitem[\protect\BCAY{Kingma \BBA\ Ba}{Kingma \BBA\
  Ba}{2014}]{kingma-ba:2014:ArXiv}
Kingma, D.~P.\BBACOMMA\ \BBA\ Ba, J. \BBOP 2014\BBCP.
\newblock \BBOQ Adam: A Method for Stochastic Optimization.\BBCQ\
\newblock arXiv preprint arXiv:1412.6980.

\bibitem[\protect\BCAY{Kurohashi \BBA\ Nagao}{Kurohashi \BBA\
  Nagao}{1994}]{kurohashi-nagao:1994:CL}
Kurohashi, S.\BBACOMMA\ \BBA\ Nagao, M. \BBOP 1994\BBCP.
\newblock \BBOQ A Syntactic Analysis Method of Long Japanese Sentences Based on
  the Detection of Conjunctive Structures.\BBCQ\
\newblock {\Bem Computational Linguistics}, {\Bbf 20}  (4), \mbox{\BPGS\
  507--534}.

\bibitem[\protect\BCAY{Parker, Graff, Kong, Chen, \BBA\ Maeda}{Parker
  et~al.}{2011}]{en-gigaword5}
Parker, R., Graff, D., Kong, J., Chen, K., \BBA\ Maeda, K. \BBOP 2011\BBCP.
\newblock \BBOQ English Gigaword Fifth Edition.\BBCQ\ LDC2011T07.

\bibitem[\protect\BCAY{Pascanu, Mikolov, \BBA\ Bengio}{Pascanu
  et~al.}{2013}]{pascanu-EtAL:2013:PMLR}
Pascanu, R., Mikolov, T., \BBA\ Bengio, Y. \BBOP 2013\BBCP.
\newblock \BBOQ On the Difficulty of Training Recurrent Neural Networks.\BBCQ\
\newblock In Dasgupta, S.\BBACOMMA\ \BBA\ McAllester, D.\BEDS, {\Bem
  Proceedings of the 30th International Conference on Machine Learning},
  \lowercase{\BVOL}~28 of {\Bem Proceedings of Machine Learning Research},
  \mbox{\BPGS\ 1310--1318}, Atlanta, Georgia, USA. PMLR.

\bibitem[\protect\BCAY{Petrov, Barrett, Thibaux, \BBA\ Klein}{Petrov
  et~al.}{2006}]{petrov-EtAl:2006:COL-ACL}
Petrov, S., Barrett, L., Thibaux, R., \BBA\ Klein, D. \BBOP 2006\BBCP.
\newblock \BBOQ Learning Accurate, Compact, and Interpretable Tree
  Annotation.\BBCQ\
\newblock In {\Bem Proceedings of the 21st International Conference on
  Computational Linguistics and 44th Annual Meeting of the Association for
  Computational Linguistics}, \mbox{\BPGS\ 433--440}, Sydney, Australia.
  Association for Computational Linguistics.

\bibitem[\protect\BCAY{Shimbo \BBA\ Hara}{Shimbo \BBA\
  Hara}{2007}]{shimbo-hara:2007:EMNLP-CoNLL}
Shimbo, M.\BBACOMMA\ \BBA\ Hara, K. \BBOP 2007\BBCP.
\newblock \BBOQ A Discriminative Learning Model for Coordinate
  Conjunctions.\BBCQ\
\newblock In {\Bem Proceedings of the 2007 Joint Conference on Empirical
  Methods in Natural Language Processing and Computational Natural Language
  Learning (EMNLP-CoNLL)}, \mbox{\BPGS\ 610--619}, Prague, Czech Republic.
  Association for Computational Linguistics.

\bibitem[\protect\BCAY{Srivastava, Hinton, Krizhevsky, Sutskever, \BBA\
  Salakhutdinov}{Srivastava et~al.}{2014}]{srivastava-EtAL:2014:JMLR}
Srivastava, N., Hinton, G.~E., Krizhevsky, A., Sutskever, I., \BBA\
  Salakhutdinov, R. \BBOP 2014\BBCP.
\newblock \BBOQ Dropout: A Simple Way to Prevent Neural Networks from
  Overfitting.\BBCQ\
\newblock {\Bem Journal of Machine Learning Research}, {\Bbf 15}, \mbox{\BPGS\
  1929--1958}.

\bibitem[\protect\BCAY{Tai, Socher, \BBA\ Manning}{Tai
  et~al.}{2015}]{tai-EtAl:2015:ACL-IJCNLP}
Tai, K.~S., Socher, R., \BBA\ Manning, C.~D. \BBOP 2015\BBCP.
\newblock \BBOQ Improved Semantic Representations From Tree-Structured Long
  Short-Term Memory Networks.\BBCQ\
\newblock In {\Bem Proceedings of the 53rd Annual Meeting of the Association
  for Computational Linguistics and the 7th International Joint Conference on
  Natural Language Processing (Volume 1: Long Papers)}, \mbox{\BPGS\
  1556--1566}, Beijing, China. Association for Computational Linguistics.

\bibitem[\protect\BCAY{Teranishi, Shindo, \BBA\ Matsumoto}{Teranishi
  et~al.}{2017}]{teranishi-EtAl:2017:IJCNLP}
Teranishi, H., Shindo, H., \BBA\ Matsumoto, Y. \BBOP 2017\BBCP.
\newblock \BBOQ Coordination Boundary Identification with Similarity and
  Replaceability.\BBCQ\
\newblock In {\Bem Proceedings of the Eighth International Joint Conference on
  Natural Language Processing (Volume 1: Long Papers)}, \mbox{\BPGS\ 264--272},
  Taipei, Taiwan. Asian Federation of Natural Language Processing.

\bibitem[\protect\BCAY{寺西\JBA 進藤\JBA 松本}{寺西 \Jetal
  }{2017}]{teranishi-EtAl:2017:SIG-NL}
寺西裕紀\JBA 進藤裕之\JBA 松本裕治 \BBOP 2017\BBCP.
\newblock ニューラルネットワークに基づく並列句表現の学習と構造解析.\
\newblock \Jem{情報処理学会第232回自然言語処理研究会 (SIG-NL)}, 5\JNUM.

\bibitem[\protect\BCAY{Toutanova, Klein, Manning, \BBA\ Singer}{Toutanova
  et~al.}{2003}]{toutanova-EtAl:2003:NAACL}
Toutanova, K., Klein, D., Manning, C.~D., \BBA\ Singer, Y. \BBOP 2003\BBCP.
\newblock \BBOQ Feature-rich Part-of-speech Tagging with a Cyclic Dependency
  Network.\BBCQ\
\newblock In {\Bem Proceedings of the 2003 Conference of the North American
  Chapter of the Association for Computational Linguistics on Human Language
  Technology - Volume 1}, NAACL '03, \mbox{\BPGS\ 173--180}, Stroudsburg, PA,
  USA. Association for Computational Linguistics.

\bibitem[\protect\BCAY{Tsatsaronis, Schroeder, Paliouras, Almirantis,
  Androutsopoulos, Gaussier, Gallinari, Artieres, Alvers, Zschunke, \BBA\
  Ngomo}{Tsatsaronis et~al.}{2012}]{tsatsaronis-EtAl:2012:AAAI}
Tsatsaronis, G., Schroeder, M., Paliouras, G., Almirantis, Y., Androutsopoulos,
  I., Gaussier, E., Gallinari, P., Artieres, T., Alvers, M.~R., Zschunke, M.,
  \BBA\ Ngomo, A.-C.~N. \BBOP 2012\BBCP.
\newblock \BBOQ BioASQ: A Challenge on Large-Scale Biomedical Semantic Indexing
  and Question Answering.\BBCQ\
\newblock In {\Bem AAAI Fall Symposium Series: Information Retrieval and
  Knowledge Discovery in Biomedical Text}.

\bibitem[\protect\BCAY{Yoshimoto, Hara, Shimbo, \BBA\ Matsumoto}{Yoshimoto
  et~al.}{2015}]{yoshimoto-EtAl:2015:IWPT}
Yoshimoto, A., Hara, K., Shimbo, M., \BBA\ Matsumoto, Y. \BBOP 2015\BBCP.
\newblock \BBOQ Coordination-Aware Dependency Parsing (Preliminary
  Report).\BBCQ\
\newblock In {\Bem Proceedings of the 14th International Conference on Parsing
  Technologies}, \mbox{\BPGS\ 66--70}, Bilbao, Spain. Association for
  Computational Linguistics.

\end{thebibliography}

\begin{biography}
\bioauthor{寺西　裕紀}{
2014年慶應義塾大学商学部卒．同年，株式会社アイスリーデザイン入社．Web・モバイルアプリケーションの開発・運用に従事．2018年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了．同年，同学先端科学技術研究科情報科学領域博士後期課程入学．自然言語処理の研究に従事．
}

\bioauthor{進藤　裕之}{
2009年，早稲田大学先進理工学研究科博士前期課程修了．同年NTTコミュニケーション科学基礎研究所入所．2013年，奈良先端科学技術大学院大学情報科学研究科博士後期課程修了．2014年より現在まで，奈良先端科学技術大学院大学情報科学研究科助教．これまで，主に自然言語処理の研究に従事．情報処理学会，人工知能学会，言語処理学会，ACL各会員．
}

\bioauthor{松本　裕治}{
1977年京都大学工学部情報工学科卒．1979年同大学大学院工学研究科修士課程情報工学専攻修了．同年電子技術総合研究所入所．1984〜85年英国インペリアルカレッジ客員研究員．1985〜87年（財）新世代コンピュータ技術開発機構に出向．京都大学助教授を経て，1993年より奈良先端科学技術大学院大学教授，現在に至る．2016年9月より理研AIP知識獲得チームPI兼務．工学博士．自然言語理解と機械学習に興味を持つ．情報処理学会，人工知能学会，AAAI, ACL, ACM各会員．情報処理学会フェロー．ACL Fellow．
}

\end{biography}


\biodate



\end{document}
