\documentclass[japanese,tombow]{jnlp_3.2}
\usepackage{jnlpbbl_1.4}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{gentombow}
\settombowbleed{5mm}
\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{array}
%\usepackage{commath}
%%%%\usepackage[dvipdfmx,nosetpagesize]{graphicx}
\usepackage{multirow}
%%%%\usepackage{subcaption}
\usepackage{url}
\newcommand{\figref}[1]{図\ref{fig:#1}}
\newcommand{\tabref}[1]{表\ref{tab:#1}}
\newcommand{\secref}[1]{\ref{sec:#1}節}
\renewcommand{\eqref}[1]{式(\ref{eq:#1})}
\newcommand{\argmax}{\mathop{\rm arg\,max}\limits}
\newcommand{\argmin}{\mathop{\rm arg\,min}\limits}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\allowdisplaybreaks
\renewcommand\UrlFont{\rmfamily}

\makeatletter
\let\MYcaption\@makecaption
\makeatother

\usepackage{subcaption}
\captionsetup{compatibility=false}

\makeatletter
\let\@makecaption\MYcaption
\makeatother

\setlength{\captionwidth}{\textwidth}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\Volume{27}
\Number{4}
\Month{December}
\Year{2020}
%%%%\Issuetitle{「　　　　」特集号}

\received{2020}{5}{1}
\revised{2020}{7}{1}
%%%%\rerevised{2006}{5}{6}
\accepted{2020}{7}{29}

\setcounter{page}{719}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{局所的モデルとCKYアルゴリズムによる並列構造解析}
\jauthor{寺西　裕紀\affiref{NAIST} \and 進藤　裕之\affiref{NAIST} \and 渡辺　太郎\affiref{NAIST} \and 松本　裕治\affiref{RIKEN}}
\jabstract{%
並列構造解析とは等位接続詞によって結びつけられる句を同定するタスクである．並列構造は自然言語の曖昧性の主たる要因の一つであり，最高精度の構文解析器であっても誤りを生じさせる．本研究は，句のペアが並列となる場合に高いスコアを出力するようなスコア関数を定義し，解析時にはスコア関数と CKY アルゴリズムを組み合わせた構文解析によって並列構造を導出する．提案手法では並列構造解析を三つのサブタスクに分解し，それぞれのサブタスクを学習した三つのニューラルネットワークによってスコア関数を構成する．提案手法が並列構造を範囲の競合なく導出できることを保証しつつ，既存手法より高い精度で並列構造を同定できることを英語における評価実験により示す．
}
\jkeywords{並列構造解析，並列句, CKY アルゴリズム，構文解析}

\etitle{Coordinate Structure Analysis using\\Local Models and CKY Algorithm}
\eauthor{Hiroki Teranishi\affiref{NAIST} \and Hiroyuki Shindo\affiref{NAIST} \and Taro Watanabe\affiref{NAIST} \and Yuji Matsumoto\affiref{RIKEN}} 
\eabstract{%
The task of coordinate structure analysis is to identify coordinated phrases linked by a coordinator. Coordination is a major source of ambiguities in natural language and confuses even state-of-the-art syntactic parsers. In this paper, we generalize a scoring function that takes a pair of spans with a coordinator and returns a higher score for the two spans to be coordinated. During inference, our system employs this function with the CKY parsing algorithm and produces coordinate structures for a given sentence. To obtain such a function, we decompose the task into three independent subtasks and build the function based on three different neural networks for the tasks. The experimental results on English corpora demonstrate that our model achieves state-of-the-art results, ensuring that the global structure of coordination is consistent.
}
\ekeywords{Coordinate Structure Analysis, Conjuncts, CKY Algorithm, Syntactic Parsing}

\headauthor{寺西，進藤，渡辺，松本}
\headtitle{局所的モデルと CKY アルゴリズムによる並列構造解析}

\affilabel{NAIST}{奈良先端科学技術大学院大学先端科学技術研究科}{Graduate School of Science and Technology, Nara Institute of Science and Technology}
\affilabel{RIKEN}{理化学研究所革新知能統合研究センター (AIP)}{RIKEN Center for Advanced Intelligence Project}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}
\label{sec:intro}

並列構造とは等位接続詞が結びつける句（並列句）から成る構造である．
並列句の範囲の解釈には曖昧性があり，しばしば人間にとっても同定することが難しい．
例えば，``{\it Toshiba's line of portables, for example, features the T-1000, which is in the same weight class \underline{but} is much slower \underline{and} has less memory, \underline{and} the T-1600, which also uses a 286 microprocessor, \underline{but} which weighs almost twice as much \underline{and} is three times the size}.''という文を一目見て，各等位接続詞に対する並列句を全て見つけることは困難である．
並列構造の存在は文を長くし，解釈を曖昧にするため，構文解析において誤りの要因となっている．

等位接続詞に対する並列句を同定する方法として，先行研究は並列句の二つの性質を利用してきた．
(1)類似性－並列句は類似した言語表現となる傾向がある．
(2)可換性－並列句を入れ替えても文全体が文法的に適格である．
\citeA{ficler-goldberg:2016:EMNLP}は並列句ペアの類似性と可換性の特徴に基づいた計算を行うニューラルネットワークと構文解析器を組み合わせる方法を提案した．
\citeA{teranishi-EtAl:2017:IJCNLP}もこれらの二つの特徴を取り入れているが，構文解析の結果を用いずに最高精度の性能を達成している．
どちらのアプローチも\citeA{shimbo-hara:2007:EMNLP-CoNLL}や\citeA{hara-EtAl:2009:ACL-IJCNLP}の類似性に基づく手法と比べて高い性能を得ているが，三つ以上の並列句を持つ並列構造や文中の複数の並列構造をうまく取り扱うことができない．
特に文中に複数の並列構造が存在する場合には，並列構造の範囲が不整合に重なり合う状況が生じ得るという問題がある．
対して，\citeA{hara-EtAl:2009:ACL-IJCNLP}は並列構造の範囲に不整合が生じることなく並列構造を導出できる生成規則を用いている．

本論文では，並列構造解析における新しいフレームワークを提案する．
このフレームワークでは等位接続詞と語系列上の二つの範囲（スパン）を取るスコア関数を用いる．
スコア関数は二つのスパンが並列となる場合に高いスコアを返す働きを持つ．
この関数を並列構造の導出規則に基づくCKYアルゴリズムと組み合わせることで，システムは入力文に対する並列構造の集合を範囲の競合なく出力する．
このようなスコア関数を得るために，並列構造解析のタスクを等位接続詞の同定，並列句ペアの内側境界の同定，外側境界の同定の三つのサブタスクに分解し，それぞれに異なるニューラルネットワークを用いる．
各ニューラルネットワークは並列構造の構成要素に対して局所的に学習を行うが，CKYアルゴリズムによる構文解析時に協調して働く．
英語における評価実験の結果，我々のモデルは並列構造を範囲の競合なく導出できることを保証しつつ，\citeA{teranishi-EtAl:2017:IJCNLP}の手法の拡張や先行研究と比較して高い精度を達成していることが示された．

本研究の貢献は以下のとおりである．
\begin{itemize}
\setlength{\parskip}{0cm}
\setlength{\itemsep}{0cm}
\item 並列句ペアに対するスコア関数の学習・適用によって並列構造を解析するというフレームワークを提案した．
\item 並列構造解析を三つのサブタスクに分解し，CKYアルゴリズムによる構文解析において協調して働くモデルを開発した．
\item 三つ以上の並列句を含む並列構造や文中の複数の並列構造を範囲の競合なく導出可能なシステムを確立し，既存手法を上回る解析精度を達成した．
\end{itemize}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{並列構造解析}
\label{sec:coord}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{並列構造}

並列構造 (coordinate structure) とは，等位接続詞 (coordinator) が結びつける複数の句から成る統語構造である\footnote{並列句は句構造文法における句 (phrase) と必ずしも一致しないが，ここでは便宜上``句''という表現を用いる．}．
等位接続詞によって結び付けられた句は並列句 (conjunct) と呼ばれる．
英語において，andやor，butなどの等位接続詞によって形成される並列構造に連接して，カンマ (,) やセミコロン (;) なども等位接続の働きを持って並列句をさらに連結させる場合がある．
本論文では，このように等位接続詞と協調して等位接続の役割を果たす語を準等位接続詞と呼ぶ．
準等位接続詞は等位接続詞に付随せずに単体で並列構造を形成することができない．
並列構造は多くの場合，等位接続詞の出現によって検出されるが，butが前置詞として働く場合があるように，語の表層形のみから並列構造の有無を判定することはできない．
本論文では，等位接続詞・準等位接続詞となり得る語をそれぞれ並列キー・準並列キーと呼ぶ．
英語においてはas well asなどの複数の語から成る表現が等位接続の働きをする場合があるが，本研究では一語から成る等位接続詞を解析の対象とする．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{タスク定義と困難さ}

並列構造解析とは，文に現れる並列キーに対して並列句を同定するタスクである．
より具体的には，並列キーが並列構造を形成する場合は，その並列構造に含まれる全ての並列句の範囲（スパン）を$[始点,終点]$の形式で同定する．
反対に並列キーが並列構造を形成しない場合は，並列構造の不在を表す{\sc None}を返す．
並列キーと見なされる語は解析に先立って定義されるものとする．

並列構造解析のタスクの難しさは複雑な並列構造の取扱いにくさから生じており，代表的には二つのケースが挙げられる．
一つは並列構造が三つ以上の並列句を含む場合であり，もう一つは文中に複数の並列構造が存在する場合である．
並列構造は準等位接続詞を伴って三つ以上の並列句を持つ可能性があるため，カンマに代表される準並列キーが実際に等位接続の役割を果たしているかを判定し，どの並列構造に属して並列句を連結しているのかを突き止めなければならない．
文中に複数の並列構造が存在する場合，各並列構造は別の並列構造に包含されて入れ子の形で出現するか，もしくは他の並列構造と範囲が全く重なり合うことなく独立して出現する．
言い換えると，二つの並列構造の範囲が部分的に重なり合うことはない．
したがって，並列構造解析のタスクでは，各並列構造がいくつの並列句を含んでいるか知ることができない状態で，複数の並列構造の範囲の制約を満たしながら個々の並列句を同定しなければならない．

並列構造解析のタスクは句構造解析や依存構造解析などの構文解析によって必ずしも解くことができない点でも困難である．
例えば，``I met [Bob on Sunday] and [Alice on Wednesday].''という文では，``Bob on Sunday''と``Alice on Wednesday''が並列となっているが，これらはふつう句構造文法の句と対応しない．
また，``We saw an old [man] and [woman].''と``We saw a [beautiful woman] and [man].''という二つの文では，前者はoldの主辞がmanであり後者はbeautifulの主辞はwomanであり，どちらも同一の依存構造を持ち，Stanford/Universal Dependencies \cite{de-marneffe-EtAl:2006:LREC,nivre-EtAl:2016:LREC}のアノテーションでは二つの文の並列構造の範囲の違いを表すことができない．
さらに，``[Mary always orders wine], and [Sally beer].''という文において，andに後続する並列句では``always orders''が省略されているように，空所化 (gapping) という現象が生じる場合がある．
このような空所化を句構造や依存構造では適切に表現することができず，文の統語構造がしばしば不自然な構文木で表されるため，構文解析の障害になるという問題がある．
したがって，句構造や依存構造などを対象にした構文解析の枠組みで並列構造を解析することは容易ではなく，並列構造解析に特化した手法の研究がなされている\footnote{組合せ範疇文法など，複雑な並列構造を説明できる文法も存在するが，それらの文法における統計的構文解析によって必ずしも並列構造を精度良く解析できるわけではない．}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{並列構造の木構造による表現}

並列構造の階層関係や並列構造に含まれる複数の並列句の関係は木構造として表現することができる．
本論文では並列構造の木構造による表現を並列構造木と呼ぶ．
\figref{tree}は並列構造木の例である．
木構造による並列構造の表現は，複数の並列構造の範囲が競合しない（部分的に重なり合う状態とならない）点，並列句の数を二つに限定せず制限なく表せる点で適している．
言い換えれば，文に含まれる並列構造を木構造として出力することで，並列構造の範囲の制約は必然的に満たされる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{並列構造の範囲の組み合わせ}

並列構造解析の一つの障害となる点として，並列構造に含まれる並列句の範囲の組み合わせ数が膨大になることが挙げられる．
文の長さを$N$，等位接続詞の出現位置を$k$とする．
並列句の数を二つに限定し，並列句が等位接続詞に隣接すると仮定した場合，並列句範囲の組み合わせ数は$(k-1)\times(N-k)$通りである．
等位接続詞が文のほぼ中心位置に出現するとき，その組み合わせ数はたかだか$(N/2)^2$通りである．
しかし実際には並列句は必ずしも等位接続詞に隣接せず，``[A] and, on the other hand, [B]''のように等位接続詞と並列句の間に挿入句が出現する場合がある．
このような場合を考慮すると並列句範囲の組み合わせ数は$k(k-1)/2\,\times\,(N-k)(N-k+1)/2$通りとなり，等位接続詞が文のほぼ中心位置に出現するとき，その組み合わせ数はたかだか$(N/2)^4/4$通りである．
これらの組み合わせ全てについて句のペアがどの程度並列になっているかを計算する場合，時間計算量$\mathcal{O}(N^4)$を要し，計算方法によっては膨大な時間がかかる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[t]
\begin{center}
\includegraphics{27-4ia1f1.eps}
\end{center}
\hangcaption{並列構造木の例．coordは並列構造，conjは並列句，ccは等位接続詞，cc-subは準等位接続詞を表す．}
\label{fig:tree}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

実際には，準等位接続詞の出現により三つ以上の並列句が出現する場合や文中に複数の並列構造が出現する場合を考慮すると，それらの組み合わせの総当たり数は爆発的に増加するため，並列構造の範囲の組み合わせ全てについて範囲の妥当性を検証・比較することは現実的ではない．
本研究では局所的な評価・比較を帰納的に適用することにより，計算量を抑えながら並列構造の範囲の組み合わせ全てについて考慮する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{並列句の特徴と従来研究}
\label{sec:rwork}

並列構造解析，すなわち等位接続詞が結びつける並列句の範囲同定において，有用な二つの特徴がある\cite{ficler-goldberg:2016:EMNLP,teranishi-EtAl:2017:IJCNLP}．
\begin{itemize}
\item {\bf 類似性}：同一の並列構造に属する並列句は，句の構文構造・意味の点で類似する．
\item {\bf 可換性}：同一の並列構造に属する並列句は，互いに入れ替えても文の流暢性が保たれる．
\end{itemize}

\pagebreak
例として，``{\it The Tass news agency said the 1990 budget anticipates income of 429.9 billion rubles (US\$ 693.4 billion) and expenditures of 489.9 billion rubles (US\$ 790.2 billion).}''という文を挙げる．
等位接続詞andに対する二つの並列句，``income of 429.9 billion rubles (US\$ 693.4 billion)''と``expenditures of 489.9 billion rubles (US\$ 790.2 billion)''はともに名詞句であり，ほぼ同一の品詞系列・句構造を持つ（類似性，
%%%%\figref{characteristics-sim}）．
    \figref{characteristics}a）．
また，これらの並列句を互いに入れ替えた場合であっても文法性を損なうことなく，構文的に正しい文が成立する（可換性，
%%%%\figref{characteristics-repl}）．
    \figref{characteristics}b）．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[t]
\begin{center}
\includegraphics{27-4ia1f2.eps}
\end{center}
%%%%\subcaption{構文構造・意味の点で類似する並列句の対．}
%%%%\label{fig:characteristics-sim}
%%%%\subcaption{並列句の対を互いに入れ替えた文．}
%%%%\label{fig:characteristics-repl}
\caption{並列句の特徴．}
\label{fig:characteristics}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{並列句の類似性に基づく従来手法}

並列構造解析のタスクにおいて，これまで並列句の類似性に基づく手法が盛んに研究されてきた．
まず並列句が共通して持つ品詞タグ・意味ラベル・形態情報・構文構造に基づいてスコアを計算することによって，並列する名詞句ペアを同定する手法が開発された\cite{agarwal-boggess:1992:ACL,kurohashi-nagao:1994:CL,resnik:1999:JAIR,hogan:2007:ACL}．
これらの研究に対し，\citeA{shimbo-hara:2007:EMNLP-CoNLL}は並列句の類似度に基づく識別モデルを提案した．
Shimboらの手法において，並列句の類似度は系列アラインメントのノードとエッジに割り当てられた統語・形態情報の特徴の重み付き和として計算され，そのパラメータは機械学習手法であるパーセプトロンによって調整される．
\citeA{hara-EtAl:2009:ACL-IJCNLP}はShimboらの手法を発展させ，並列構造に特化した文脈自由文法規則と組み合わせ，三つ以上の並列句を持つ並列構造や文中の複数の並列構造を範囲が競合することなく導出可能にした．
\citeA{hanamoto-EtAl:2012:EACL}はHaraらの手法による解析結果と主辞駆動句構造文法の解析器の出力を双対分解によって一致させることで精度を向上させた．

並列句の類似性に基づく並列構造の解析手法の発展により，名詞句の並列などの類似度が大きい並列句に対しては解析精度が向上してきた．
しかしながら，動詞句や節の並列，形容詞・動詞など異なる統語範疇を持つ句の並列など，類似度が必ずしも高くない並列句の同定には課題が残った．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{並列句の類似性に依存しない手法}

非類似となる並列句をとらえる方法として，\citeA{kawahara-kurohashi:2008:COLING}は類似性の素性を用いずに依存構造と格フレームに基づいて並列句の生成確率を学習し，範囲同定を行う手法を開発した．
\citeA{yoshimoto-EtAl:2015:IWPT}はEisnerアルゴリズム\cite{eisner:1996:COLING}の規則を拡張し，依存構造とともに並列構造を同定する手法を提案している．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{ニューラルネットワークを用いた並列構造解析}

近年，並列句の類似性・可換性に基づいたニューラルネットワークによるスコア計算を取り入れた並列構造解析の手法が研究されている．
\citeA{ficler-goldberg:2016:EMNLP}は句の類似性のみならず可換性についても並列句ペアのスコア計算の素性として用いている．
Ficlerらの手法は三つのコンポーネントから成り立っている．
まず始めに二値分類器を用いて等位接続の働きをし得る語が実際に並列構造を持つか否かを予測する．
次に並列構造を持つと予測された等位接続詞に対して，Berkeley Parser \cite{petrov-EtAl:2006:COL-ACL}を用いて並列句ペアの候補を抽出する．
最後にニューラルネットワークを用いて並列句ペアの候補に対してスコア付けをし，最もスコアの高いペアをシステムの予測として出力する．
Ficlerらの手法は従来の非ニューラルネットワークによる手法と比較して高い精度で並列句の範囲を同定することができるが，並列句ペアの候補抽出やスコア計算の過程において構文解析器の結果を用いており，構文解析の結果に強く依存しているという欠点がある．
パイプライン的なアプローチに対し，\citeA{teranishi-EtAl:2017:IJCNLP}はニューラルネットワークによるエンドツーエンドの解析手法を開発した．
Teranishiらの手法は直接的に個々の並列句を求めるのではなく，並列構造全体の始点・終点を予測した後に，並列構造を個々の並列句に分割するというトップダウンなアルゴリズムを採用している．
並列句の類似性・可換性を考慮したニューラルネットワークによって並列構造の始点・終点が決定されるが，構文解析の結果を用いないという点でFiclerらの手法と異なる．
Teranishiらの手法はFiclerらの手法よりも高い解析精度を達成したが，\citeA{hara-EtAl:2009:ACL-IJCNLP}の手法のように複数の並列構造を同時に考慮して，範囲の競合なく並列構造を導出することができていない．

本研究は，(1)\,Haraらの手法のように並列構造の範囲が文全体として整合性を保つように制約を与える，(2)\,Teranishiらの手法のように並列となる語系列のペアに対して高いスコアを割り当てられるモデルを導入する，という二点を組み合わせる試みとして位置づけられる．
Haraらの手法は動的計画法によりボトムアップに並列構造を導出しているのに対して，Teranishiらの手法はトップダウンに並列句を同定しているという違いがある．
また，動的計画法の過程で並列句ペアの候補を比較する際に，逐一ニューラルネットワークによってスコア計算を行うことは計算量・解析速度の点で現実的なアプローチではない．
本研究は並列句ペア候補のスコア計算を分割することで，ニューラルネットワークを用いながら動的計画法を適用可能にし，並列構造を範囲の競合なく導出できるようにしたことで，従来研究より優れた解析性能を達成している．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{文脈自由文法規則を用いた構文解析}
\label{sec:parsing}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{並列構造の構文解析}

本節では並列構造を構文木として出力する方法について述べる\footnote{提案手法は任意の言語に適用できるが，本節以降は英語を対象として手法の説明および実装・評価を行い，英語以外の言語への適用については\secref{analysis}で議論する．}．
並列構造を包含する文の構文木は\tabref{cfg}の文脈自由文法 (CFG) 規則から導出され，並列構造木と一対一に対応付けすることができる．
並列構造を木として表現する利点については\secref{coord}で述べたが，CFG規則を用いる利点として，(1)\,並列構造の範囲が競合するような候補を排除し，並列構造木を導出できる組み合わせのみを探索できる，(2)\,CKYアルゴリズムの適用により効率的に並列構造木を導出できる，点が挙げられる．
\tabref{cfg}のCFG規則は\citeA{hara-EtAl:2009:ACL-IJCNLP}が開発した規則をもとに作られているが，我々の規則が等位接続詞と並列句の間に任意の句が挿入された並列構造であっても導出できるのに対し，Haraらの規則は等位接続詞に隣接する並列句しか導出できないという違いがある．
本規則を用いることで，並列構造のアノテーションが付与されたPenn Treebankコーパス\cite{ficler-goldberg:2016:ACL}において，99.5\%の並列構造を構文木として導出することができる\footnote{導出不可能な並列構造は``[A] and [B] and [C]''のような等位接続詞の一つが準等位接続詞のように働く場合がほとんどであるが，このような表現であっても入れ子になった二つの並列構造として導出することができる．}．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[t]
\caption{並列構造木の導出規則}
\label{tab:cfg}
\input{01table01.tex}
\vspace{4pt}\small
(\ldots$|$\ldots) は括弧内のいずれかの語に，``*''は任意の語にマッチし，``?''は直前の要素の0または1回の出現を表す．
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\tabref{cfg}の規則の適用により，同じ文から異なる構文木が複数導出され得る．
そこで構文木に対してスコアを割り当てることで，最もスコアの高い構文木をシステムの出力とする．
\begin{equation}
\label{eq:parsing}
\hat{T}=\argmax_{T \in \mathcal{T}_{G}(s)}(score(T)) 
\end{equation}
ここで，$\mathcal{T}_{G}(s)$は文脈自由文法$G$によって文$s$から導出可能な構文木の集合である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{スコア計算とCKYアルゴリズムの適用}

本研究では並列構造の構文木に対して，非終端記号であるCOORDのノードと前終端記号のノードのみにスコアを割り当てる．
COORDが付与されたノードに対するスコアは，関数$score_{coord}$によって与えられる．
前終端記号について，その終端記号である語が並列キーとして定義された語の集合$\mathbb{S}_{cc}$または準並列キーとして定義された語の集合$\mathbb{S}_{sub{\text -}cc}$に属するとき，そのノードのスコアは関数$score_{ckey}$により計算される．
終端記号の語が$\mathbb{S}_{cc}$または$\mathbb{S}_{sub{\text -}cc}$のいずれにも属さない場合，前終端記号はWに一意に決まり，そのノードのスコアは0とする．
以上を整理して，スコア関数$score(T)$は次のように表される．
\begin{align}
\label{eq:scoring}
score(T)&=\sum_{\langle [i,j],\ell \rangle \in T} score_{node}([i,j],\ell) \\
score_{node}([i,j],\ell)&=
\begin{cases}
score_{coord}(i,j) &(\ell={\rm COORD}) \\
score_{ckey}(i,\ell) &(\ell\in\{{\rm CC},{\rm CC{\text -}SUB},{\rm W}\},i=j,w_i\in \mathbb{S}_{cc} \cup \mathbb{S}_{sub{\text -}cc}) \\
0 & (otherwise)
\end{cases}
\end{align}
ここで$\langle [i,j],\ell \rangle$は構文木$T$に含まれるノードであり，ノードのスパン$[i,j]$とそのラベル$\ell$を表している．
また，$w_i$は入力文の$i$番目に出現する語を表す．
並列構造のノード$\langle [i,j],{\rm COORD} \rangle$に対するスコア関数$score_{coord}$と，並列キーまたは準並列キーに該当する語の前終端ノードに対するスコア関数$score_{ckey}$の定義については次節にて述べる．

本研究では，CFG規則の適用による並列構造の構文木の導出のためにCKYアルゴリズムを用いる．
CKYアルゴリズムを適用するために，CFG規則はチョムスキー標準形に変換される\footnote{右辺が三項以上の規則について，本研究では右から順にバイナリ規則に変換する．}．
CKYアルゴリズムを用いたCFG構文解析では，動的計画法により\eqref{parsing}の結果$\hat{T}$を時間計算量$\mathcal{O}(N^3)$（$N$は入力文の単語数）によって効率良く求めることができる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{文の前処理・後処理法}
\label{sec:prepostproc}

アメリカ英語において，引用のあとに続くピリオドやカンマは引用符の内側に置かれる．
引用符で囲まれた句が三つ以上並列する場合に，並列句の区切りとなる準等位接続詞が引用符内で閉じてしまう（例: ``associations,'' ``societies'' and ``councils''）．
このような並列構造は\tabref{cfg}の規則(2)から正しく導出することができず，規則(2)の適用によって準等位接続詞直後の並列句が閉じ引用符から開始してしまう．
そこで引用符の内側に置かれた句読点を取り扱う方法について示す．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection*{引用符の削除・復元による方法}

引用符の削除・復元による方法では，文の構文解析に先立って引用符を削除する．
その後構文解析によって並列句の範囲を同定したあとに引用符を挿入する．
例えば，``A,'' ``B'' and ``C,''という並列構造を持つ文に対して， システムが並列句の境界を[A], [B] and [C],と予測した場合，後処理によって``[A],'' ``[B]'' and ``[C],''と復元される．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection*{引用符と句読点のスワップによる方法}
引用符と句読点のスワップによる方法では，カンマと閉じ引用符がこの並び順で出現した場合に，構文解析に先立って位置を入れ替える．
その際にスワップ位置を保持しておき，その後構文解析によって並列句の範囲を同定したあとに再びスワップすることで元の語順に戻す．
例えば，``A,'' ``B'' and ``C,''という文に対して， システムが前処理後の並列句の境界を``[A]'', ``[B]'' and ``[C]'',と予測した場合，後処理によって``[A],'' ``[B]'' and ``[C],''と復元される．

\vspace{\baselineskip}
本研究ではスワップによる前処理・後処理法を採用する\footnote{前処理・後処理を加える方法の他に，単に引用符を考慮したCFG規則を追加することもできるが，CFG規則を不用意に複雑にしてしまうため，本研究では採用していない．}．
理由として，スワップによる方法では引用符を手がかりとして並列句の範囲を決定することができる点が挙げられる．
また，イギリス英語のように閉じ引用符のあとにカンマが出現する場合，スワップによる方法では単に前処理・後処理が適用されずにそのままシステムによる予測ができるが，削除・復元による方法ではそのような場合であっても引用符が削除されてしまい，システムの予測時に引用符を手がかりとして役立てることができない．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{構文解析モデル}
\label{sec:models}

本節では\secref{parsing}で示した構文解析アルゴリズムに用いるスコア関数$score_{coord}$，$score_{ckey}$の定義と学習方法について示す．
提案手法ではスコア関数を，{\bf 等位接続詞分類モデル}，{\bf 内側境界スコア付与モデル}，{\bf 外側境界スコア付与モデル}の三つのモデルにより構成する．
\figref{overview}は本手法のフレームワークの概要図である．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 3
\begin{figure}[t]
\begin{center}
\includegraphics{27-4ia1f3.eps}
\end{center}
\hangcaption{並列構造解析のフレームワークの概観．CKYアルゴリズムの適用において，前終端記号の四角形ノードは等位接続詞分類モデルによって，COORDノードは内側・外側境界スコア付与モデルによってそれぞれスコア付けされる．}
\label{fig:overview}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{モデル定義}

$N$語の系列${w_{1:N}=w_1,\ldots,w_N}$と対応する品詞タグ系列${p_{1:N}=p_1,\ldots,p_N}$を入力として，我々のシステムは並列構造の集合${\{\langle t, \{[b^{(1)}_t, e^{(1)}_t],\ldots,[b^{(n)}_t, e^{(n)}_t]\}\rangle\}\;(n \geq 2, b^{(i)}_t \leq e^{(i)}_t)}$を出力する．
ここで$t$は等位接続詞の出現位置を表し，$[b^{(k)}_t, e^{(k)}_t]$は等位接続詞$w_t$によって形成される並列構造に含まれる並列句のうち先頭から$k$番目に出現する並列句であり，その開始位置が$b^{(k)}_t$，終了位置が$e^{(k)}_t$であることを表す．
ここで並列構造に含まれる並列句の数$n$が$n \geq 2$となっている理由は，並列構造に含まれる並列句の数をあらかじめ知ることができないためである．
しかし，並列キーと準並列キーに対する並列句ペアの同定として，以下のようにタスクを定式化することができる．
\begin{equation}
\label{eq:problem}
\begin{split}
X&=\{w_{1:N},p_{1:N},C\} \\
C&=\{t\,|\,w_t \in \mathbb{S}_{cc} \cup \mathbb{S}_{sub{\text -}cc}\} \\
Y&=\{\langle y^{ckey}_t, y^{pair}_t \rangle\,|\,t \in C\}
\end{split}
\end{equation}
ここで$y^{ckey}_t$は語$w_t$が実際に等位接続の役割を果たしているか (${y^{ckey}_t=1}$)，または果たしていないか (${y^{ckey}_t=0}$) を表す二値のラベルであり，$y^{pair}_t$は並列句スパンのペアである．
また，${y^{ckey}_t=0}$のとき，対応する並列句ペアが存在しないことから${y^{pair}_t=\varnothing}$となる．
${t=1}$または${t=N}$の場合について，語$w_t$は文内に並列構造を形成することができないため${y^{ckey}_t=0}$となる．
本論文では，等位接続詞と成り得る語の集合$\mathbb{S}_{cc}$と準等位接続詞と成り得る語の集合$\mathbb{S}_{sub{\text -}cc}$をそれぞれ\{``and'', ``or'', ``but'', ``nor'', ``and/or''\}と\{``,'', ``;'',  ``:''\}と定義する．
提案手法では，$y^{pair}_t$の四つの境界―（準）等位接続詞の左側に出現する並列句の始点・終点，右側の並列句の始点・終点―に対して，内側境界（左側並列句の終点・右側並列句の始点）を同定するモデルと外側境界（左側並列句の始点・右側並列句の終点）を同定するモデルの二つを用いる\footnote{四つの境界の分割方法として，「句のペアの``二つの始点''と``二つの終点''」や「``左側並列句の始点・終点''と\mbox{``右側並列句の始点・終点''}」のような分割も考えられる．しかし予備実験の結果，「左側並列句の始点・終点と右側並列句の始点・終点」による分割は，一方の並列句を決定するときに他方の並列句を考慮しないため，並列句の類似性や可換性のような並列句ペアの特徴を用いることができず，十分な解析性能が得られなかった．「句のペアの二つの始点と二つの終点」による分割は，並列句ペアの始点同士・終点同士の類似性や境界前後の文脈との整合性を考慮できるものの，左側並列句の終点と右側並列句の始点がほとんどの場合に等位接続詞と隣接することから，モデルの訓練時に左側並列句の始点と右側並列句の終点を独立に学習している状態に陥り，提案手法の分割と比較して高い精度が得られなかった．}．
四つの境界の組み合わせを列挙する場合の時間計算量は$\mathcal{O}(N^4)$であるが，内側・外側境界に分割して数え上げた場合は$\mathcal{O}(N^2) + \mathcal{O}(N^2) = \mathcal{O}(N^2)$となり，計算量を抑えることができる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection*{等位接続詞分類モデル}

等位接続詞分類モデルは並列キーおよび準並列キーのラベルを予測する二値分類器である．
\begin{equation}
P_{\theta}(y^{ckey}_t\,|\,t)= {\rm softmax}(f_{ckey}(t)) 
\end{equation}
ここで$\theta$はモデルのパラメータ集合である．
二値分類の損失関数は以下のとおりに計算される．
\begin{equation}
\label{eq:coord-loss}
\ell^{ckey}_{\theta}(X,Y)=-\sum_{\langle y^{ckey}_t, y^{pair}_t \rangle \in Y} \log P_{\theta}(y^{ckey}_t\,|\,t)
\end{equation}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection*{内側境界スコア付与モデル}

内側境界スコア付与モデルは並列句のペアに対し，その内側境界に基づいてスコアを付与するモデルである．
本論文では，左側並列句の始点，終点，右側並列句の始点，終点をそれぞれ$b^l, e^l, b^r, e^r$と表す．
並列キー$w_t$に対する内側境界$(e^l, b^r)$のスコアは以下のように計算される．
\begin{equation}
\label{eq:inner-scores}
{\textsc{Score}}^{inner}_{\theta}(e^l,b^r,t)=f_{inner}(e^l,b^r,t)
\end{equation}
内側境界の確率値は全ての可能な内側境界の組み合わせにおけるスコアを正規化することで計算される．
\begin{gather}
\label{eq:inner-pairs}
I_{t} = \{(1,t+1),(1,t+2),\ldots,(1,N),(2,t+1),\ldots,(t-1,N)\} \\[1ex]
\label{eq:inner-probability}
P_{\theta}(y^{pair}_t=([*,e^l],[b^r,*])\,|\,t)=
\frac{\exp{({\textsc{Score}}^{inner}_{\theta}(e^l,b^r,t))}}{\sum\limits_{(e^{\prime l},b^{\prime r})\in I_{t}} \exp{({\textsc{Score}}^{inner}_{\theta}(e^{\prime l},b^{\prime r},t))}} \\[1ex]
\label{eq:inner-loss}
\ell^{inner}_{\theta}(X,Y)=-\sum_{\langle y^{ckey}_t, y^{pair}_t \rangle \in Y} y^{ckey}_t \log P_{\theta}(y^{pair}_t\,|\,t)
\end{gather}
ここで項$y^{ckey}_t \log P_{\theta}(y^{pair}_t\,|\,t)$は，（準）並列キーが等位接続となる場合 (${y^{ckey}_t=1}$) のみ交差エントロピー損失が計算され，等位接続とならない場合 (${y^{ckey}_t=0}$) は0となることを意味する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection*{外側境界スコア付与モデル}

内側境界スコア付与モデルと同様に外側境界$b^l,e^r$の確率$P_{\theta}(y^{pair}_t=([b^l,*],[*,e^r])\,|\,t)$は外側境界の全ての可能な組み合わせ$O_{t}$から計算される．
同様に，損失関数$\ell^{outer}_{\theta}$はスコア関数${\textsc{Score}}^{outer}_{\theta}$ $(b^l,e^r,t)=f_{outer}(b^l,e^r,t)$を用いて定義される．
ここで内側境界の集合$I_{t}$と外側境界の集合$O_{t}$は，境界の可能な組み合わせが同じであるため等しい．
内側境界の確率${P_{\theta}(y^{pair}_t=([*,e^l],[b^r,*])\,|\,t)}$と外側境界の確率${P_{\theta}(y^{pair}_t=([b^l,*],[*,e^r])\,|\,t)}$を用いて，最も確率の高い並列句ペアは以下のように求められる．
\begin{equation}
\label{eq:pair}
\begin{split}
y^{pair}_t&=\argmax_{(\hat{e}^l,\hat{b}^r)}P_{\theta}(([*,\hat{e}^l],[\hat{b}^r,*])\,|\,t) \\
&\cup \argmax_{(\hat{b}^l,\hat{e}^r)}P_{\theta}(([\hat{b}^l,*],[*,\hat{e}^r])\,|\,t)
\end{split}
\end{equation}
ただし，\eqref{pair}によって個々の（準）等位接続詞について並列句ペアを決定すると範囲に不整合が生じる可能性があるため，並列構造の解析時には\secref{parsing}で示したとおり，CFG規則によって導出される構文木のスコアが最大となるように並列構造が決定される．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{スコア関数の構成}

本小節では\secref{parsing}で示したスコア関数$score_{coord}$，$score_{ckey}$の具体的な定義について説明する．
並列キーまたは準並列キーに該当する語$w_i \in \mathbb{S}_{cc} \cup \mathbb{S}_{sub{\text -}cc}$の前終端ノードに対するスコアは，（準）並列キーの有無を表す二値のラベル$y^{ckey}_i$の対数確率から割り当てられる．
\begin{equation}
\label{eq:score-ckey}
score_{ckey}(i,\ell)=
\begin{cases}
\log{P(y^{ckey}_i=1\,|\,i)} \;\;\;\;(\ell\in\{{\rm CC},{\rm CC{\text -}SUB}\}) \\
\log{P(y^{ckey}_i=0\,|\,i)} \;\;\;\;(\ell={\rm W})
\end{cases}
\end{equation}

並列構造を表すCOORDノードのスコアは（準）等位接続詞が結びつける二つの並列句に基づいて計算される．
等位接続詞の出現位置を$k$，左側並列句のスパンを$[i,l]$，右側並列句のスパンを$[m,j]$とすると，語$w_k$によって結びつけられた二つの並列句から成る並列構造$[i,j]$のスコアは，内側境界$(l,m)$の対数確率と外側境界$(i,j)$の対数確率の和として計算される．
\begin{equation}
\label{eq:score-coord}
\begin{split}
score_{coord}(i,j)&=\log{P(y^{pair}_k=([i,l],[m,j])\,|\,k)} \\
&=\log{P(([*, l],[m,*])\,|\,k)}+\log{P(([i, *],[*,j])\,|\,k)}
\end{split}
\end{equation}
\eqref{score-coord}の計算と\tabref{cfg}の規則(1)を対応づけると，規則(1)は以下のように表される．
\[
{\rm COORD}_{i,j} \rightarrow~{\rm CONJ}_{i,l}~\,{\rm N}_{l+1,k-1}?~\,{\rm CC}_{k,k}~\,{\rm N}_{k+1,m-1}?~\,{\rm CONJ}_{m,j}
\]
準等位接続詞によって並列句が結びつけられる場合は，準等位接続詞$w_k$が結びつける左側並列句$[i,l]$と右側並列句$[m,j]$を用いて，\eqref{score-coord}と同様の計算を適用することでCOORDノードのスコアが割り当てられる．
\eqref{score-coord}の計算を\tabref{cfg}の規則(2)に当てはめた場合，規則(2)の右辺を展開して以下のように表される．
\begin{align*}
{\rm COORD}_{i,j} \rightarrow~&{\rm CONJ}_{i,l}~\,{\rm CC{\text -}SUB}_{k,k}~\,{\rm CONJ}_{m,j}~\,\ldots~\,{\rm N}?~\,{\rm CC}~\,{\rm N}?~\,{\rm CONJ} \\
&(ただし，l=k-1，m=k+1)
\end{align*}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{ニューラルネットワーク}

本小節では関数$f_{ckey}$，$f_{inner}$，$f_{outer}$のニューラルネットワークによる構成について説明する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection*{エンコーダ}

単語・品詞タグの系列の文レベルのベクトル表現を得るために，本研究では双方向型Long Short-Term Memory (BiLSTMs) \cite{hochreiter-schmidhuber:1997:NC}を用いる．
\begin{equation}
\label{eq:encoder}
{\bf h}_{1:N}={\rm BiLSTMs}(f_{input}(w_{1:N},p_{1:N}))
\end{equation}
ここでLSTMの隠れ状態ベクトルの次元を$d^{hidden}$とすると，エンコーダから出力される系列の各ベクトル${\bf h}_t$の次元は$2d^{hidden}$となる．
BiLSTMsの入力として，単語・品詞タグを各ベクトル表現にマッピングする関数$f_{input}$が出力するベクトル系列を用いる．
$f_{input}$内での具体的なマッピング方法として，事前学習したベクトル表現のほか，ELMo \cite{peters-EtAl:2018:NAACL}やBERT \cite{devlin-EtAl:2019:NAACL}などの文脈を考慮した単語分散表現，文字レベルでの演算を行うLSTMや畳み込みニューラルネットワークの出力ベクトルなどを用いることができる．
これらの選択による性能差は\secref{exp}で示す．
$f_{input}$とBiLSTMsから成るモデルを本論文ではエンコーダと呼び，エンコーダは等位接続詞分類モデル，内側境界スコア付与モデル，外側境界スコア付与モデルの三つのネットワークの共通の下層部分として共有される．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection*{等位接続詞分類モデル}

$f_{ckey}$には並列キーの文レベルベクトル表現の線形変換を用いる．
\begin{equation}
\label{eq:ckey-model}
f_{ckey}(t)={\bf W}^{ckey}{\bf h}_t+{\bf b}^{ckey}   
\end{equation}
ここで${\bf W}^{ckey} \in \mathbb{R}^{2 \times 2d^{hidden}}$と${\bf b}^{ckey} \in \mathbb{R}^{2}$は等位接続詞分類モデルのパラメータである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection*{内側境界スコア付与モデル}

エンコーダが出力した文レベルベクトル表現を用いて，
内側境界スコア付与モデルは内側境界に位置する二つのベクトル表現を連結し，
\pagebreak
多層パーセプトロン (MLP) に入力することでスカラー値を出力する．
\begin{equation}
\label{eq:inner-model}
f_{inner}(e^l,b^r,t)={\bf w}^{in}_{2}\:{\rm ReLU}({\bf W}^{in}_{1}[{\bf h}_{e^l};{\bf h}_{b^r}]+{\bf b}^{in}_{1})+{\rm b}^{in}_{2}
\end{equation}
ここで${\bf W}^{in}_1 \in \mathbb{R}^{d^{in} \times 4d^{hidden}}$，${\bf b}^{in}_1 \in \mathbb{R}^{d^{in}}$，${\bf w}^{in}_2 \in \mathbb{R}^{d^{in}}$，${\rm b}^{in}_2 \in \mathbb{R}$は内側境界スコア付与モデルのパラメータである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection*{外側境界スコア付与モデル}

外側境界スコア付与モデルは外側境界のベクトル表現と並列キー前後のベクトル表現の差を用いてスコア計算を行う．
減算は二つのスパンの意味的な距離や関連性をとらえる意図で導入している\cite{teranishi-EtAl:2017:IJCNLP}．
演算によって得られたベクトル表現をMLPに入力することでスカラー値を得る．
\begin{gather}
\label{eq:feature}
f_{feature}(b^l,e^r,t,{\bf h}_{1:N})=\bigl[{\bf h}_{b^l}-{\bf h}_{t+1};{\bf h}_{e^r}-{\bf h}_{t-1}\bigr] \\
\begin{split}
f_{outer}(b^l,e^r,t)&={\bf w}^{out}_{2}\:{\rm ReLU}({\bf W}^{out}_{1}\:{\bf r}+{\bf b}^{out}_{1})+{\rm b}^{out}_{2}\\
{\bf r}&=f_{feature}(b^l,e^r,t,{\bf h}_{1:N})
\end{split}
\label{eq:outer-model}
\end{gather}
ここで${\bf W}^{out}_1 \in \mathbb{R}^{d^{out} \times 4d^{hidden}}$，${\bf b}^{out}_1 \in \mathbb{R}^{d^{out}}$，${\bf w}^{out}_2 \in \mathbb{R}^{d^{out}}$，${\rm b}^{out}_2 \in \mathbb{R}$は外側境界スコア付与モデルのパラメータである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{学習}

ニューラルネットワークモデルのパラメータ集合$\theta$は以下の損失関数を最小化することによって最適化される．
\begin{equation}
\label{eq:loss}
L(\theta)=\sum_{(X,Y)\in D}\bigl(\ell^{ckey}_{\theta}(X,Y)+\ell^{inner}_{\theta}(X,Y)+\ell^{outer}_{\theta}(X,Y)\bigr)
\end{equation}
ここで$D$は学習データに含まれる文$X$とその文に含まれる並列構造$Y$の対の集合である．
\eqref{loss}で計算される損失は三つのサブモデルの損失の和であり，したがって三つのサブモデルのパラメータは同時に学習される．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection*{なぜ局所的な学習を行うか}

各サブモデルの局所的な決定に基づいてスコア関数を学習する代わりに，モデルを統合してCKYアルゴリズムによって導出された構文木のスコアと正解の構文木のスコアを最大マージン法などによって直接的に学習することができる\cite{stern-EtAl:2017:ACL}．
しかしながら，このような大域最適の学習には非常に多くの時間を要し，またハイパーパラメータの注意深い設定が必要なうえ，予備実験の範囲では\citeA{teranishi-EtAl:2017:IJCNLP}の手法をわずかに上回る程度の精度しか得られなかった．

内側・外側境界の局所的な学習の成功は，交差エントロピー損失を用いて学習を行ったことが要因であると分析する．
最大マージン損失を最小化する大域的な学習の場合，スコア最大の構文木と正解の構文木に含まれる並列句の境界についてモデルのパラメータが調整される．
対して交差エントロピー損失を用いた内側・外側境界の局所的な学習の場合，正解の境界だけでなく全境界についてパラメータの調整が行われ，不正解の境界全てのスコアが押し下げられるよう学習が進む．
そこで交差エントロピー損失最小化による局所的な学習と類似の学習方法として，入力文$s$に対する構文木$T \in \mathcal{T}_{G}(s)$の条件付き確率$P(T|s)$を次式のようにモデル化することを考える．
\begin{equation}
P_{\theta}(T|s)=\frac{\exp(score_{\theta}(T))}{Z_{\theta}(s)}\;,\;\;\;Z_{\theta}(s)=\sum_{T^{\prime} \in \mathcal{T}_{G}(s)}\exp(score_{\theta}(T^{\prime}))
\end{equation}
この条件付き確率に対して最尤推定によってパラメータ集合$\theta$を調整することで，局所的な学習による方法と同等以上の解析精度が期待できるが，分配関数$Z$において文脈自由文法$G$によって文$s$から導出可能な構文木の全てについてスコア計算をする必要があり，現実的には計算が困難である．
そこで分配関数$Z$を何らかの方法により近似することで，このような大域的な学習を実行する方法も考えられる\cite{andor-EtAl:2016:ACL}．

しかし近年，\citeA{teng-zhang:2018:COLING}や\citeA{dozat-manning:2017:ICLR}の手法に見られるように，構文解析のタスクにおいて局所的な決定をニューラルネットワークによって高精度に学習し，解析時に大域最適解を求めることで，大域的な目的関数によって学習したモデルの解析結果と遜色ない精度が実現できている．
提案手法において並列句ペアの内側・外側境界は局所的に学習されるが，並列構造の同定時にはCKYアルゴリズムを用いた構文解析によって両境界の整合性を考慮して大域最適解を求めている．
このことから，各サブタスクを高い精度で学習できれば大域的な目的関数を用いた学習との解析精度の差は縮まると推測され，本研究でも局所的な学習による方法を採用する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験}
\label{sec:exp}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験設定}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection*{データセット}

本研究では並列構造のアノテーションが付与されたPenn Treebank \cite{ficler-goldberg:2016:ACL} (PTB) とGENIA Treebank beta \cite{Kim-EtAL:2003:BioInfo} (GENIA)を用いて評価実験を行う．
実験の前処理・後処理には\secref{prepostproc}で示したスワップによる方法を用いる．
PTBでの実験では，コーパスのWall Street Journalのパートのうち，セクション2から21を訓練データ，セクション22を開発データ，セクション23をテストデータとして用いる．
GENIAでの実験では，\citeA{hara-EtAl:2009:ACL-IJCNLP}と同様に5分割交差検定によって評価を行う．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection*{モデル}

エンコーダ内の関数$f_{input}$として，単語を事前学習済みの単語ベクトルに，単語を構成する文字列を文字ベースの畳み込みニューラルネットワーク\cite{ma-hovy:2016:ACL} (CharCNNs) の出力ベクトルに，品詞タグを品詞タグの表現ベクトルにマッピングし，それらの三つのベクトル表現を連結したベクトルを出力する関数を用い，この設定を本論文では{\it default}と呼ぶ．
事前学習済みの単語ベクトルとして，PTBでの実験にはGloVe \cite{pennington-EtAl:2014:EMNLP}を，GENIAでの実験にはBioASQ \cite{tsatsaronis-EtAl:2012:AAAI}を初期値として用いる\footnote{それぞれ\url{http://nlp.stanford.edu/data/glove.6B.zip} (glove.6B.100d.txt)，\url{http://bioasq.lip6.fr/tools/BioASQword2vec/} (vectors.txt) を使用した．}．
PTBでの実験において，品詞タグはStanford POS Tagger \cite{toutanova-EtAl:2003:NAACL}を用いて10分割ジャックナイフ法により付与し，GENIAでの実験では先行研究\cite{hara-EtAl:2009:ACL-IJCNLP,ficler-goldberg:2016:EMNLP,teranishi-EtAl:2017:IJCNLP}に従って，コーパスに付与されている品詞を用いた．
モデルのパラメータの最適化はAdam \cite{kingma-ba:2015:ICLR}を用いて確率的勾配降下法によって行った．
その他のハイパーパラメータについては\tabref{hyperparams}のとおりである．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[t] 
\caption{実験に用いたハイパーパラメータの設定．}
\label{tab:hyperparams}
\input{01table02.tex}
\vspace{1\Cvs}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection*{ベースライン}

評価実験のベースラインとして\citeA{teranishi-EtAl:2017:IJCNLP}の手法を再実装したものを用いる．
Teranishiらの手法は，並列構造全体の始点・終点を予測したあとに，等位接続詞とカンマによって並列構造を個々の並列句に分割している．
しかし個々の並列構造に対して独立に始点・終点を決めているため，文中の他の並列構造と範囲が競合し得る．
そこでTeranishiらの手法を拡張し，複数の並列構造の範囲が部分的に重なり合わないという制約のなかで，並列構造の範囲のスコアの合計が最も高くなる組み合わせを探索して決定する．
ベースラインのモデルで使われるエンコーダについては，上述のdefaultの設定と同様の構成を用いる．
本論文では以降，この拡張を施したベースラインモデルを{\it Teranishi+17:+ext}として参照する．
またPTBでの実験では，\citeA{stern-EtAl:2017:ACL}の句構造構文解析器を用いて，並列構造の構文木表現を直接学習・予測した結果とも比較する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection*{評価}

PTBでの実験では，並列キーに対する並列句スパンの予測に基づいて，
\pagebreak
適合率 (P)，再現率 (R)，それらの調和平均であるF1値 (F) によってシステムの評価を行う．
\citeA{teranishi-EtAl:2017:IJCNLP}の評価実験に則って，並列句の一致について以下四つの基準で評価する\footnote{並列構造が二つの並列句から成る場合はinnerとouterの一致基準は同一である．}．
\begin{itemize}
\setlength{\parskip}{0cm}
\setlength{\itemsep}{0cm}
\item {\bf whole}: 最初の並列句の始点と最後の並列句の終点の一致．
\item {\bf outer}: 最初の並列句の始点・終点の一致かつ最後の並列句の始点・終点の一致．
\item {\bf inner}: 等位接続詞前後の並列句それぞれの始点・終点の一致．
\item {\bf exact}: 全ての並列句の始点・終点の一致．
\end{itemize}
また，評価に際して特に名詞句の並列構造のみを対象にした解析性能についても調べる\footnote{\citeA{ficler-goldberg:2016:EMNLP}と同様に，NPに加えてNXの並列構造も名詞句の並列構造と見なす．}．

GENIAでの実験では，上述の一致基準に基づいて再現率によって評価する．
ただし，先行研究ではwholeの一致基準についてのみ評価を行っている．
また，並列構造の統語範疇ごとに対象を絞って性能を評価する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 3
\newcolumntype{C}[1]{>{\centering\arraybackslash}p{#1}} 
\begin{table}[t] 
\caption{比較手法で用いられる外部資源}
\label{tab:resource-diff}
\input{01table03.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection*{先行研究との実験設定の違い}

提案手法と先行研究の実験設定の違いについて整理する．
各手法が利用している外部資源について\tabref{resource-diff}に示す．
提案手法，ベースラインおよび\citeA{teranishi-EtAl:2017:IJCNLP}のモデルは，PTBとGENIAのいずれにおいてもコーパス外のテキストで事前に学習した単語ベクトル表現を用いているのに対し，\citeA{stern-EtAl:2017:ACL}の構文解析器ではランダムに初期化した単語ベクトルを，\citeA{ficler-goldberg:2016:EMNLP}のモデルはPTB・GENIAのそれぞれで事前学習したベクトル表現を用いている．
PTBでの評価実験において，FiclerらはBerkeley Parserによって付与された品詞タグを用いているのに対し，その他のモデルはStanford POS Taggerで付与した品詞タグを用いている．
GENIAにおいてはいずれもコーパスに付与されている品詞タグを用いている．
また，FiclerらはPTB・GENIAのいずれにおいてもBerkeley Parserが付与した句構造の構文木を用いており，品詞タグのベクトル表現についてはWord2Vec \cite{mikolov-EtAl:2013:ICLR}を用いてそれぞれのコーパスで事前学習している．
外部資源の利用における差異は並列構造の解析性能に影響を及ぼすため，本節の評価実験は厳密に同条件下での比較ではない\footnote{FiclerらはBerkeley Parserを改変して用いており，改変部分や手法の実装についての詳細は得られなかった．}．
しかしながら，本節では提案手法における外部資源の利用の有無による性能差を提示することで，設定の違いを考慮したうえでの優位点を示す．

外部資源の利用以外の差異として，\secref{prepostproc}に示した引用符によるイレギュラーな並列構造に対する取扱いが挙げられる．
Ficlerらの手法ではBerkeley Parserを用いて並列句ペアの候補を抽出しており，イレギュラーな並列構造を同定できるかどうかは構文解析の結果に依存する．
ベースラインおよびTeranishiらの手法は，引用符による変則的な並列構造を導出できないという制限はない．
対して提案手法は\tabref{cfg}で示した文脈自由文法規則からイレギュラーな並列構造を導出できないため，\secref{prepostproc}で提案したスワップによる前・後処理と組み合わせることで対応する．
\tabref{cfg}の規則によって変換された正解の構文木をSternらの構文解析器によって直接的に学習する方法においても，同様の理由で学習用の構文木を構築する前に前処理を行い，解析器による構文木の出力後に後処理を行って評価をしている．
このように，スワップによる前・後処理は\tabref{cfg}の規則を引用符によるイレギュラーな並列構造に対応させる目的で導入されており，提案手法のシステムの一部に組み込まれたものである．
したがって，タスク評価の入出力時点では提案手法と他の手法で単語系列や並列構造範囲に差異はない．
しかしながら，スワップによって単語系列が操作されることで引用符とカンマの語順が正規化され，BiLSTMsを用いた本手法にとってより有効な語順に変化している可能性がある．

最後に本論文で提案する文脈自由文法規則と\citeA{hara-EtAl:2009:ACL-IJCNLP}の規則の違いによる性能差について述べる．
Haraらの規則は等位接続詞の前後の並列句が等位接続詞に隣接すると仮定しており，``[A] \ldots and [B]''のような，等位接続詞に隣接しない並列句を導出することができない．
ただし，Haraらは``[A], and [B]''のような，等位接続詞とその前に出現する並列句とのあいだにカンマが出現することを許容し，規則を追加している．
対して我々は\tabref{cfg}の規則(1)によって，等位接続詞と並列句のあいだに任意の句が出現するような並列構造を導出可能にしている．
このような並列構造はPTBに実際に存在するが，GENIAにおいては等位接続詞と並列句のあいだにカンマ以外の任意の句が出現せず，アノテーションされた全ての並列構造がHaraらの規則により導出可能である．
したがってGENIAでの評価実験において，規則の違いによる性能差は生じない\footnote{我々の構文解析器においてHaraらの規則を用いることで，正解の並列構造を候補から落とすことなく並列句の探索範囲を絞り込める点で，提案規則を用いる場合と比べて優位な設定で評価実験を行えるが，本節では\tabref{cfg}の提案規則を用いて実験を行う．}．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 4
\newcolumntype{M}{C{7.125mm}} 
\begin{table}[t]
\caption{PTBでの実験結果}
\label{tab:ptb-results}
\input{01table04.tex}
\par\vspace{4pt}\small
Teranishi+17およびFicler+16の数値は論文で報告されている結果より抜粋．
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験結果}

PTBとGENIAの実験結果をそれぞれ\tabref{ptb-results}と\tabref{genia-results}に示す．
PTBにおいて，提案手法 (Ours) は並列構造の全ての一致基準において既存手法の精度を大幅に上回った．
提案手法が並列句ペアの内側・外側境界について学習しているのに対し，ベースラインは並列構造全体の境界のみを学習しているため，whole以外の基準では提案手法がより正確に境界を予測できている．
次に\citeA{stern-EtAl:2017:ACL}の句構造構文解析器による解析では，いずれの一致基準についても並列構造に特化した解析器と比べて並列構造の同定精度が低いことが確認された．
しかし並列構造の構文木表現の構文解析精度について評価したところ，句構造のラベル付きスパンの一致についてのF1値が開発データで97.88\%，テストデータで97.63\%という結果となった．
この精度の高さは，\tabref{cfg}のCFG規則で導出される構文木の大部分がWとNのノードによって右辺に展開される二分木であるためだと考えられる．
しかし並列構造について高い精度で同定できていないことから，WやNのノードと比較して出現数が少ないCOORDのノードについては句構造構文解析によって高い精度でスパンを予測できていないと推測される．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 5
\begin{table}[t]
\caption{GENIAでの実験結果}
\label{tab:genia-results}
\input{01table05.tex}
\par\vspace{4pt}\small
Teranishi+17，Ficler+16，Hara+09の数値は論文で報告されている結果より抜粋．
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

GENIAにおいて，提案手法はexactの基準でベースラインを上回る精度を達成した．
我々のモデルはベースラインと比較して，並列構造全体の始点・終点を予測する能力について劣っているものの，innerの基準では高い性能を発揮している．
対して，ベースラインはwholeの基準で高い性能を示しており，他の基準では精度が相対的に低い．
この性能差は二つの手法のアルゴリズムの違いを反映している．
提案手法はボトムアップに並列句ペアから並列構造を導出しているのに対し，ベースラインは並列構造全体の範囲を予測してから個々の並列句に分割するというトップダウンの解析を行っている．
そのためベースラインの手法では，文や節などの長い並列構造を非準等位接続詞であるカンマによって誤って分割し，解析精度が低下してしまう．
提案手法の欠点はCKYアルゴリズムの初期段階の誤りが後段のステップまで伝搬することであり，そのためinner以外の基準では誤りの影響を受けて精度が低下していると考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{考察}
\label{sec:analysis}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection*{文単位での完全一致}

並列構造単位での評価に加えて，文単位での全並列構造の完全一致について評価した．
評価に際して，文が持つ並列構造に応じて文を次の五つに分類する．
\begin{itemize}
\setlength{\parskip}{0cm}
\setlength{\itemsep}{0cm}
\setlength{\itemindent}{-1.0cm}
\item[] {\bf All}: 並列構造を持つ全ての文．
\setlength{\itemindent}{0cm}
\item {\bf Simple}: 二つの並列句から成るただ一つの並列構造を持つ文．
\item {\bf Complex}: ConsecutiveまたはMultipleに該当する文.
\begin{itemize}
\setlength{\itemindent}{-0.4cm}
\item {\bf Consecutive}: 三つ以上の並列句から成る並列構造を少なくとも一つ持つ文．
\item {\bf Multiple}: 複数の並列構造を持つ文．
\end{itemize}
\end{itemize}
なお，SimpleとComplexにそれぞれ該当する文の集合は互いに素であり，Allはそれらの和集合であるが，ConsecutiveとMultipleの文集合には一部重複がある．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 6
\begin{table}[t]
\caption{文単位での並列構造の完全一致率} 
\label{tab:ptb-complete}
\input{01table06.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\tabref{ptb-complete}はPTBとGENIAにおける完全一致率の評価結果である．
いずれのデータセットにおいても，Simpleの文において提案手法はベースラインと比較して高い性能を得ている．
このパフォーマンスの差は二つのシステムが学習している境界の違いに由来するものだと考えられる．
Simpleの文の場合，提案手法は等位接続詞の前後に出現する二つの並列句の内側・外側境界を学習しているのに対し，ベースラインのシステムは並列構造の外側境界のみを学習・予測している．
しかし，同格や副詞句表現が等位接続詞と並列句の間に出現し得る場合があり，二つの並列句が等位接続詞に隣接するという仮定は必ずしも成立しない．
提案手法はPTBにおいて，ConsecutiveとMultipleの文についてもベースラインの精度を上回っている．
ベースラインの手法は並列構造全体のスパンを予測してから個々の並列句に分割しているため，準等位接続詞とならないようなカンマの出現により，誤って並列構造を分割し得る．
対して提案手法はカンマなどの準並列キーが，実際に準等位接続詞として働いているかどうかについて予測しており，Consecutiveの文をより高い精度で導出することができている．
しかしGENIAでは並列構造全体に占める名詞句の並列構造の割合が高く，かつ複合名詞が羅列するような単純な並列が多いため，カンマによる並列構造の分割が機能し，結果としてベースラインの手法がConsecutiveの文において精度高く解析できていると推測される．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 7
\begin{table}[t] 
\caption{異なる設定によるモデルの性能の違い（PTB，開発）}
\label{tab:ptb-comparison}
\input{01table07.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection*{並列構造解析に有効な情報}

並列構造解析に有効なベクトル表現・特徴計算について分析するため，異なる設定によって評価実験を行った．
\tabref{ptb-comparison}はその結果を示している．
品詞タグがない場合にモデルの性能は顕著に低下した．
また品詞の他に，文字（形態）情報が有効な素性であることも確認できた．
これらが有効な情報である理由として，特に名詞句の並列など類似度の高い並列句ペアにおいては，品詞や接頭辞・接尾辞の一致が並列句の範囲同定の手がかりになるからだと推測している．
また，事前学習された単語の埋め込み表現がこのタスクにおいて有益であることも確認された．
近年広く利用されている文脈を考慮した単語分散表現を用いた場合，ELMo \cite{peters-EtAl:2018:NAACL}では性能がわずかに上昇し，BERT \cite{devlin-EtAl:2019:NAACL}では大幅に向上した\footnote{ELMoの設定では{\it Original}のモデル (\url{https://s3-us-west-2.amazonaws.com/allennlp/models/elmo/2x4096_512_2048cnn_2xhighway/elmo_2x4096_512_2048cnn_2xhighway_weights.hdf5}) を使用した．\newline BERTの設定ではBERT-Large, uncasedのモデル (\url{https://storage.googleapis.com/bert_models/2018_10_18/uncased_L-24_H-1024_A-16.zip}) を使用した．どちらのベクトル表現も次元数は1024次元である．}．
ELMoは双方向型LSTMにより学習されており，LSTMの層ごとに前方向・後方向の文脈について独立に計算しているのに対し，BERTではTransformer \cite{vaswani-EtAl:2017:NIPS}が用いられており，アテンションによって両方向の文脈を同時に見ているという違いがある．
我々のモデルではすでにエンコーダ内に双方向型LSTMが用いられているが，アテンションのような単語対単語の関係を考慮するようなモデルは組み込まれていないため，\citeA{kurohashi-nagao:1994:CL}や\citeA{shimbo-hara:2007:EMNLP-CoNLL}の手法で用いられているアラインメントと同様の働きをTransformerによって獲得できた可能性がある．
今後はエンコーダにTransformerを用いるなど，アーキテクチャによる性能差をより細かく調査したい．
また外側境界スコア付与モデル内での特徴計算において，内側境界スコア付与モデルと同様の特徴関数（\tabref{ptb-comparison}では{\it concat} featureとして表記）を用いた場合，性能が低下した．
\eqref{feature}は並列句ペアの類似性・可換性をとらえる目的で設計されており，単に$b^l,e^r$の二点だけを計算の考慮に入れた{\it concat} featureでは，外側境界のそのような特徴をとらえられていないと分析する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 8
\begin{table}[t]
\caption{ベースライン+BERTと提案手法の解析結果の違い}
\label{tab:analysis2}
\input{01table08.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

ベースラインのモデルにELMoやBERTによるベクトル表現を用いた場合，提案手法のdefaultの設定を上回る性能が得られた．
ベースラインのモデルにELMo・BERTを用いることで解けるようになった並列構造と，ベースラインの手法から提案手法に変更することで解けるようになった並列構造が仮に同一であった場合，提案手法にELMo・BERTを用いることによる改善は小さいはずである．
しかしながら提案手法においてもELMo・BERTのベクトル表現を使用することによる性能改善は大きい．
このことから，手法の改善によって解けるようになった並列構造と，ELMo・BERTを使って解けるようになった並列構造は性質が異なると推測される．
各モデルによって解決された並列構造を\tabref{analysis2}に具体的に示す．
\tabref{analysis2}より，提案手法で用いるアルゴリズムによって並列キーや準並列キーが複数出現する文において，複雑な並列構造をより頑健に同定できるようになったのに対し，文脈を考慮したベクトル表現は``NP and NP PP \ldots''や``VP and VP ADVP \ldots''のような系列に対して，PPやADVPが後ろの並列句に含まれるかどうかといった前後文脈により依存するような曖昧な並列構造を同定するのに有効に働いていると考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 9
\begin{table}[t]
\caption{提案手法の並列構造解析器による出力例}
\label{tab:analysis}
\input{01table09.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection*{解析結果の定性的分析}

\tabref{analysis}に提案手法による並列構造の解析結果の例を示す．
例1は二つの独立した並列構造を正しく解析できており，特に後者の並列構造ではthe retail and financial sectorsという名詞句に対し，the retailとfinancial sectorsという二つの名詞句の並列ではなく，retailとfinancialの二つの形容詞の並列として解析に成功している．
例2は自動詞と他動詞の二つの動詞句による不均衡な並列構造の範囲を正確にとらえられている．
例3は三つの平叙節の並列を解析できており，またそのうち一つの並列句内に埋め込まれている並列構造の解析にも成功している．
対して例4では，at prevailing market pricesという前置詞句がorの直後の並列句に含まれるものとして解析している．
解析結果の境界は句の切れ目として不自然ではないが，前置詞句の主辞 (buy) をとらえることができていない．
例5では入れ子となっている並列構造は解析できているが，that節のthatが省略されているために，Dealers said \ldots securitiesを一つの平叙節として認識してしまっている．
このように，提案手法によって出力された並列句は句の境界については不自然ではないものの，並列構造の前後の句が並列句によって共有されるか否かの曖昧性を十分に解消できていない．
並列となる句が前後の句に対して共通の関係を持つかどうかを判別することが提案手法の今後の課題である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection*{他言語への適用可能性}

本節では評価実験により提案手法の英語における有効性を示した．
\secref{parsing}で示した構文解析を用いる本手法は，解析対象のテキストに対して以下の要件を前提としている．
\begin{enumerate}
\setlength{\parskip}{0cm}
\setlength{\itemsep}{0cm}
\renewcommand{\labelenumi}{\arabic{enumi}.}
\item テキストが文単位に分けられ，入力文は単語分割が完了したものとして単語から構成される．
\item （準）等位接続詞となり得る語が定義されている．
\item （準）等位接続詞が形成する並列構造のパターンが，文脈自由文法の規則として定義されている．
\end{enumerate}
これらの前提条件が満たされる限り，CKYアルゴリズムによる構文解析の過程において，並列キーに対する並列構造の有無が判定され，並列句の開始・終了位置となるあらゆる単語の組み合わせが精査され，並列構造の組み合わせが木として導出される，という一連のプロセスが言語やドメインに依存することなく機能する．
また\secref{models}で提案したニューラルネットワークのモデルは，単語に対する品詞タグや事前学習されたベクトル表現を必須としていないが，高精度な解析のためにはそれらのリソースが利用できることが望ましい．
さらにニューラルネットワークの学習のためには，並列句の範囲が明示的に付与された文が大量に利用できることが想定される\footnote{本実験で用いたGENIA Treebank betaでは，並列構造を持つ2,508の文のなかに3,598の並列構造が出現していることから，学習のためには少なく見積もっても数千以上のオーダーでアノテーション済みの文が必要であろう．}．

以上の条件について，提案手法の日本語への適用を例に具体的に考える．
『現代日本語書き言葉均衡コーパス』\cite{BCCWJ:2011} (BCCWJ) は，新聞，書籍，雑誌，白書，ブログ，掲示板など，様々なジャンルにまたがって収集されたテキストから成るコーパスであり，このコーパスでは一部のデータに対して並列構造の範囲が付与されている\cite{asahara-matsumoto:2018:ANLP}．
並列構造の範囲は国語研短単位形態素境界に基づいて分割された文の構成要素を基準にして付与されており，六つのジャンルから成るコアデータでは総数57,109の文に14,368の並列構造が出現している．
したがって前提条件1は解決され，学習に必要なアノテーションについても入手が可能であり，単語に対する品詞タグやベクトル表現もツールを使って付与することができる．
また並列構造や品詞情報のアノテーションから，（準）等位接続詞となり得る語を定義することができ，前提条件2も満たされる．
前提条件3について，例えば，``本物ならではの[風合い]，[風格]そして[高級感あふれる質感]は''という並列構造が\tabref{cfg}の規則から導出できるように，提案規則を用いることで大部分の並列構造を導出することができると見込まれる．
ただし，前終端記号に対する規則(11)\,(12)については，条件2で設定した（準）等位接続詞から定義される必要がある．
日本語では``[A]と[B]と[C]''という並列構造のように，複数の等位接続詞から成る並列構造が頻出するが，例えば規則(2)に類似した規則，``COORD $\rightarrow$ CONJ~\,CC~\,COORD''を追加することで，そのような並列構造を導出できる．
また日本語の法令文においては，「並びに」と「及び」から成る並列構造が``[A]並びに[[B]及び[C]]''と一意に解釈できるように上位・下位の階層関係が定められており，このようなドメインや文書に固有のルールも文脈自由文法規則として取り入れることが可能である．

以上を踏まえて，本手法を日本語に適用できる見込みは高く，本手法の提案規則に基づいていくつかの拡張を伴うことで，英語や日本語に類似した他言語においても本手法が適用可能であると期待される．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}
\label{sec:conc}

本論文では，並列構造解析のためのシンプルでより正確なフレームワークを提案した．
提案手法は並列構造解析のタスクを三つのサブタスクに分解し，それぞれに異なるニューラルネットワークを用いる．
並列構造を範囲の競合なく導出できる文脈自由文法規則を定義し，CKYアルゴリズムによる構文解析とニューラルネットワークを組み合わせることで，我々のシステムは入力文に対する並列構造の集合を出力する．
英語における評価実験の結果，並列構造の最適な組み合わせの導出のために三つのニューラルネットワークが協調して働いており，既存のシステムやその拡張を上回る解析精度を達成していることが示された．
また分析により，提案手法はベースライン手法と比較して複雑な並列構造を文レベルで正確に解析できることが分かった．
我々のシステムは並列構造の範囲同定に誤る場合であっても，並列句の境界は句の区切りと一致している傾向にあり，範囲の候補として有力である．
今後の課題として，CKYアルゴリズムによる構文解析を拡張し，スコアが高いものから順に複数個の構文木を取り出し，並列構造の前後の文脈を考慮した構文木候補のリランキング手法を開発することによって，解析精度をより向上させることが挙げられる．
また日本語を含む他言語に本手法を適用し，評価実験を行うことも課題とする．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本研究はJST CREST（課題番号：JPMJCR1513）の助成を受けて行った．
また本研究の一部は，The 2019 Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologiesで発表したものである\cite{teranishi-EtAl:2019:NAACL}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.5}
\bibliography{01refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{寺西　裕紀}{%
2014年慶應義塾大学商学部卒．同年，株式会社アイスリーデザイン入社．Web・モバイルアプリケーションの開発・運用に従事．2018年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了．同年，同大学院先端科学技術研究科情報科学領域博士後期課程入学．自然言語処理の研究に従事．
}
\bioauthor{進藤　裕之}{%
2009年，早稲田大学先進理工学研究科博士前期課程修了．同年NTTコミュニケーション科学基礎研究所入所．2013年，奈良先端科学技術大学院大学情報科学研究科博士後期課程修了．2014年より現在まで，奈良先端科学技術大学院大学情報科学研究科助教．これまで，主に自然言語処理の研究に従事．情報処理学会，人工知能学会，言語処理学会，ACL各会員．
}
\bioauthor{渡辺　太郎}{%
1994年京都大学工学部情報工学科卒業．1997年京都大学大学院工学研究科情報工学専攻修士課程修了．2000年Language and Information Technologies, School of Computer Science, Carnegie Mellon University, Master of Science取得．2004年京都大学博士（情報学）．ATRおよびNTT，NICTにて研究員，また，グーグルでソフトウェアエンジニアとして勤めた後，2020年より奈良先端科学技術大学院大学教授．自然言語処理や機械学習，機械翻訳の研究に従事．
}
\bioauthor{松本　裕治}{%
1977年京都大学工学部情報工学科卒．1979年同大学大学院工学研究科修士課程情報工学専攻修了．同年電子技術総合研究所入所．1984～85年英国インペリアルカレッジ客員研究員．1985～87年（財）新世代コンピュータ技術開発機構に出向．1988年京都大学助教授，1993年奈良先端科学技術大学院大学教授．2020年理研AIP知識獲得チームリーダ，現在に至る．工学博士．専門は自然言語処理．情報処理学会，人工知能学会，言語処理学会，AAAI, ACL, ACM各会員．情報処理学会フェロー．ACL Fellow．
}

\end{biography}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\biodate




\end{document}

