\documentclass[japanese]{jnlp_3.3}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
\usepackage{array}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%\usepackage{graphicx}
%%%%\usepackage{enumerate}
\usepackage{algorithm,algorithmic}
%%%%%\usepackage{gb4e}
\makeatletter
\let\MYcaption\@makecaption
\makeatother
%%%%\usepackage[subrefformat=parens]{subcaption}
    \usepackage{subcaption}
\captionsetup{compatibility=false}
\makeatletter
\let\@makecaption\MYcaption
\makeatother
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{28}
\Number{4}
\Month{December}
\Year{2021}
%%%%\Issuetitle{「　　　　」特集号}

\received{2021}{3}{1}
\revised{2021}{6}{2}
%%%%\rerevised{2006}{5}{6}
\accepted{2021}{7}{13}

\setcounter{page}{1089}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{複合化された固有表現認識のための教師なし並列構造解析}
\jauthor{澤田　悠冶\affiref{Author_1} \and 寺西　裕紀\affiref{Author_2} \and 松本　裕治\affiref{Author_2} \and 渡辺　太郎\affiref{Author_1}}
\jabstract{%
固有表現認識は，科学技術論文などのテキストから分野特有の用語を機械的に抽出するタスクである．固有表現認識の従来研究は連続した範囲から成る固有表現のみを解析対象としているが，並列する固有表現の一部が省略された複合的表現が含まれており，これらの固有表現に対して個々の固有表現を抽出することが困難である．本研究では，近年の自然言語処理タスクで広く使用されている学習済み言語モデルを用いて，並列構造の教師データを用いずに並列する句の範囲を同定し，複合化された固有表現を正規化する手法を提案する．GENIA Treebank とGENIA term annotationを用いた評価実験では，教師情報を使用した先行研究と近い解析性能を示し，提案手法によって固有表現認識の精度が向上することを確認した．
}
\jkeywords{固有表現認識，並列構造解析，系列アライメント}

\etitle{Coordinate Structure Analysis
without Labeled Data \\ for Recognizing Compound Named Entities}
\eauthor{Yuya Sawada\affiref{Author_1} \and Hiroki Teranishi\affiref{Author_2} \and Yuji Matsumoto\affiref{Author_2} \and Taro Watanabe\affiref{Author_1}} 
\eabstract{%
Named entity recognition is a fundamental task to detect terminologies from a text such as scientific literature. Previous studies treat only entities in continuous spans although sentences may contain compound named entities with coordination, which cannot be identified by existing recognizers. To recognize those entities, we propose a pipeline method in which entities with coordination are first identified using an unsupervised method utilizing a pretrained language model and then individual embedded named entities are normalized. In experiments, we demonstrate that our coordination identification method is comparable to the state-of-the-art supervised model for GENIA treebank, and the performance of named entity recognition for GENIA term annotation is improved by our normalization method. 
}
\ekeywords{Named Entity Recognition, Coordinate Structure Analysis, Sequence Alignment}

\headauthor{澤田, 寺西, 松本, 渡辺}
\headtitle{複合化された固有表現認識のための教師なし並列構造解析}

\affilabel{Author_1}{奈良先端科学技術大学院大学先端科学技術研究科}{Graduate School of Science and Technology, Nara Institute of Science and Technology}
\affilabel{Author_2}{理化学研究所革新知能統合研究センター(AIP)}{RIKEN Center for Advanced Intelligence Project}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

物質名や有機物名などの分野特有の用語（固有表現）を科学技術文献などのテキストから機械的に抽出する技術は，物質・有機物などが取り持つ関係性の抽出や検索などにおいて重要な基盤とされている．
固有表現認識の手法は，人手による素性設計を必要としないニューラルネットワークの導入によって顕著に発展している \cite{lample-etal-2016-neural,ma-hovy-2016-end}が，従来の固有表現認識技術では抽出が困難な固有表現が存在し，専門分野における固有表現認識の精度改善と，情報検索・関係抽出などの応用のために解決が期待される．

既存の固有表現認識手法で抽出が困難な固有表現の一つとして，複数の固有表現が並列関係にある表現が挙げられる．
並列関係にある要素（並列句）は``and''や``or''などの等位接続詞によって連接されて並列構造を構成するが，並列句に共通して出現する接頭・接尾の要素はしばしば並列構造の外側に括り出される．
例えば，``human T and B lymphocytes''には``human T lymphocyte''と``human B lymphocyte''の二つの固有表現が並列関係にあり，それぞれの固有表現で共通して出現する``human''と``lymphocyte''が省略されている．
このような固有表現は，生命科学分野の固有表現認識コーパスであるGENIA term annotation で全体の3\%に含まれており，既存研究の評価実験では一つの固有表現 (``human T and B lymphocytes'') として扱うか，評価対象から除外されている．

本研究では，並列構造及びその並列句に共有される隣接要素から構成される固有表現を，複合固有表現と呼ぶ\footnote{並列句に共有される隣接要素がない並列構造（例``[peripheral blood monocytes] and [T cells]''）や並列構造それ自体が固有表現の一部になっている表現（例``signal transducer and activator of transcription''）を除く．}．
例えば，上述の固有表現は名詞の並列構造 (``T and B'') と並列句に共有される隣接要素 (``human''，``lymphocyte'') から成り，これらの構成要素を連結することで``human T and B lyphocytes''が表現されていると解釈できる．
複合固有表現に内包される並列構造の範囲を同定し，並列句に共有される要素を特定することで，並列句とその共有要素によって表される個々の固有表現を復元することが可能であると考えられる．

並列構造の範囲同定に関する多くの研究では，並列句が意味的・統語的に類似しているという特徴に着目しており，近年ニューラルネットワークの導入によって顕著に発展している．
しかしながら，既存手法は分野に特化したコーパスを使用する教師あり学習による手法に基づいており，固有表現認識タスクへの応用を考慮すると固有表現と並列構造の両方のアノテーションにかかるコストが問題になる．

本研究では，既存の固有表現認識器とのパイプライン処理が可能な，並列構造のアノテーションを用いない並列構造の範囲同定手法を提案する．
また，複合固有表現に対して提案手法が同定した範囲から省略された要素を識別し，正規化する方法についても示す．
提案手法では，近年自然言語処理タスクで広く利用されている事前学習された単語分散表現を用いて，等位接続詞前後の要素の対応関係を示すスコアを計算する．
評価実験では，GENIA Treebankにおける並列句の範囲同定のタスクにおいて，並列構造のアノテーションを用いない手法が教師ありの既存手法に近い再現率を得た．
さらに，GENIA term annotationを用いた固有表現認識のタスクにおいても，既存の固有表現認識手法の精度が改善されたことを示す．

本研究の貢献は以下の三点である．
\begin{itemize}
\item これまで例外的に扱われてきた，複合固有表現に対応する抽出手法を提案した．
\item 事前学習された単語分散表現を用いて，並列構造の範囲のアノテーションデータを用いずに並列構造の範囲を同定する手法を開発した．
\item 提案手法が既存の並列構造解析の教師あり手法に近い性能を達成し，並列構造の範囲同定が固有表現認識に有用に働くことを示した．
\end{itemize}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[b]
\begin{center}
\includegraphics{28-4ia6f1.pdf}
\end{center}
\caption{提案手法の概要図}
\label{fig:overview}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{提案手法}

本研究で用いる手法の概要を図\ref{fig:overview}に示す．
提案手法は，複合固有表現を一つの固有表現として抽出する固有表現認識器と，文中に含まれる名詞と形容詞の並列構造の範囲を同定する並列構造解析器の二つのモジュールで構成されている．
二つのモジュールの解析結果に基づいて，複合固有表現に含まれる省略された要素を検出し，個々の固有表現へ正規化する．
例として，図\ref{fig:overview}では固有表現認識器で``tissue-specific H2A-2 and H2B-2 genes''，並列構造解析器で``H2A-2''および``H2B-2''が入力文から抽出されており，二つのモジュールの出力から``tissue-specific H2A-2 and H2B-2 genes''が複合固有表現であること，``tissue-specific''と``genes''が複数の固有表現の中で共通した要素であることが分かる．
本研究では，並列構造解析器で同定された並列構造が固有表現認識器で予測された範囲に含まれる場合は，その範囲が複合固有表現であると仮定し，並列構造の個々の並列句を展開して個別の固有表現（``tissue-specific H2A-2 genes''と``tissue-specific H2B-2 genes''）へと正規化する\footnote{正規化された固有表現が単数となるか複数となるかは判別できないため，複数形から単数形への変換は行わない．}．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% algo. 1
\begin{algorithm}[b]
\caption{並列構造解析器}
\label{fig:algorithm}
\input{06algo01.tex}
\end{algorithm}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{並列構造解析器}
\label{section: coord}

並列構造解析器では，訓練データを用いたモデルの教師あり学習を行わずに等位接続詞の前後にある並列句範囲を同定する．
``-2, -4, -5 and -13''のような三つ以上の並列句から成る並列構造は，等位接続詞前後の並列句のみ (``-5 and -13'') を同定する．
複合固有表現に含まれる並列構造は，``T and B''や``myeloid and lymphoid''のように名詞や形容詞の並列から成るため，提案手法は名詞と形容詞の並列構造を範囲同定の対象とする．
本研究で構築する並列構造解析器の実行過程をAlgorithm~\ref{fig:algorithm}に示す．
語数$N$で構成される文$w_{1:N}=\{w_1, w_2, ..., w_N\}$と等位接続詞$w_k$ ($1 \leq k \leq N$)に対して，全ての可能な並列構造範囲の組み合わせの中でスコアを計算し，最もスコアの高い組み合わせを並列句の範囲として抽出する．
本手法では，以下の三つの手順にしたがって並列句ペアを決定する．

\begin{itemize}
\item 並列句の最長範囲の抽出（前処理）: 入力文に対して，名詞または形容詞の並列構造と成り得る系列の最長範囲を抽出する（Algorithm~\ref{fig:algorithm}: 6行目）．
\item 系列アライメント: 並列構造の可能な全ての組み合わせに対して編集グラフを用いてスコアを計算し，最大スコアとなる並列句ペアを同定する（Algorithm~\ref{fig:algorithm}: 7--15行目）．
\item フィルタリング: スコアが閾値未満となった並列句ペアの結果に対して，並列構造を不在のものと見なす（Algorithm~\ref{fig:algorithm}: 16--18行目）．
\end{itemize}

以降の小節では，これらの手順の詳細について説明する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{並列句の最長範囲の抽出}

まず，名詞と形容詞以外の文や節などの並列構造を対象外とするための前処理として，品詞タグを用いたルールに従って並列句の可能性がある単語系列 ($w_{i:k-1}$，$w_{k+1:j}$) を抽出する．
具体的には，等位接続詞の前後で動詞，前置詞，カンマ（，），コロン（：），セミコロン（；），三点リーダ（…）を含まない最長の範囲を抽出する\footnote{動詞や前置詞の出現は節・動詞句や前置詞句などの並列であることを示し，カンマやコロンなどの記号は``A, B and C''のような並列構造では並列句の区切りを示す．}．
例えば，

\vspace{0.5\Cvs}
\noindent
``Antigen complexed with major histocompatibility complex class I \underline{or} II molecules on the surface of antigen presenting cells ...''
\vspace{0.5\Cvs}

\noindent
という文が入力された場合は，``major histocompatibility complex class I \underline{or} II molecules''が並列構造の候補の最長範囲として抽出される．
``-M1, and -M2''のように等位接続詞と先行する並列句の間にカンマが出現する場合があるため，等位接続詞に先行するカンマは事前に除去してから前処理を行う．
また，副詞句から成る並列構造を解析結果から除くためのルールとして，等位接続詞前後の単語がともに副詞である場合は，名詞・形容詞の並列構造は検出されず\textsc{None}を返す\footnote{その他のルールとして，括弧で囲まれた並列構造の検出精度を上げるために，$w_{i-1}=\text{``(''}$かつ$w_{j+1}=\text{``)''}$かつ$w_{i:j}$に丸括弧が出現しない場合は，範囲$[i,j]$を並列構造の可能な範囲として定める．}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{系列アライメント}

系列アライメントでは，前処理で抽出された範囲$[i,j]$における並列句の候補ペア$w_{b:k-1}\ (i \leq b \leq k-1)$，$w_{k+1:e}\ (k+1 \leq e \leq j)$に対してスコア計算を行い，最大スコアを持つ候補ペアを並列構造$w_{b:e}$として同定する．
系列アライメントは，遺伝子配列などの系列間で相同性（類似性）を検出する手法\cite{Levenshtein1966BinaryCC}の一つであり，一方の系列を挿入・削除・置換の三つの編集操作を通して他方の系列へと変換する一連の操作を考えることで，系列間の対応関係が求められる．
系列アライメントの例を図\ref{fig:seq_lab}に示す．
図\ref{fig:seq_lab}では縦方向の辺が挿入，横方向の辺が削除，斜め方向の辺が置換の操作に対応しており，赤線が最適な編集経路を表す．
この編集経路は，``the''と``the''，``retinoid-induced''と``RARE-medicated''，``program''と``signal''がそれぞれ対応関係にあることを意味している．
三つの編集操作にはスコアが割り当てられており，編集グラフと呼ばれる格子状の空間でスコアの総和が最も高い操作系列が最適なアライメントとして決定される．
\begin{equation}
\label{eq:score}
Score(w_{b:k-1},w_{k+1:e})=\max_{R \in \mathcal{R}_{G}(w_{b:k-1},w_{k+1:e})} \sum_{\textrm{op}_{l,m} \in R} s(\textrm{op}_{l,m})
\end{equation}
ここで$\mathcal{R}_{G}(w_{b:k-1},w_{k+1:e})$は系列$w_{b:k-1}$と$w_{k+1:e}$の編集グラフ$G$上の可能な操作系列の集合であり，$\textrm{op}_{l,m}$は要素$w_l\ (b \leq l \leq k-1)$および$w_m\ (k+1 \leq m \leq e)$に対する任意の編集操作を表す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[t]
\begin{center}
\includegraphics{28-4ia6f2.pdf}
\end{center}
\caption{並列構造解析に用いる系列アライメント}
\label{fig:seq_lab}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

系列アライメントに基づいて並列構造の範囲を同定する\citeA{shimbo-hara-2007-discriminative}の手法では，語数$N$の入力文に対して$N \times N$個の格子点で構成される編集グラフを用いて，編集グラフ上の辺に割り当てられた特徴について学習されたパラメータの線形和として操作系列のスコアを計算し，範囲を同定している．
本手法は\citeA{shimbo-hara-2007-discriminative}と同様に系列アライメントに基づいて並列構造の範囲を同定するが，並列構造のアノテーションに基づいて学習されたパラメータを用いるのではなく，学習済み言語モデルを用いてスコアの総和が最大となる編集操作系列を求めることで，最適な並列構造の範囲の組み合わせを決定する．
具体的には，挿入・削除をスキップ，置換をマッチの操作として定義し，二つの編集操作に対して学習済み言語モデルから得られる単語分散表現に基づいたスコア$s(\textrm{op}_{l,m})$を付与する．
スキップの操作に対しては，開発データを用いて調整した定数値$\beta$を割り当て，マッチの操作に対するスコアは，対応する単語同士のベクトル$\mathbf{v}^{pre}_{l}\ (b \leq l \leq k-1)$と$\mathbf{v}^{post}_{m}\ (k+1 \leq m \leq e)$のコサイン類似度に基づいて計算する\footnote{異なるスコア計算の方法は\ref{sec:result}節で示す．}．
\begin{gather}
s(\textrm{op}_{l,m}) =
\begin{cases}
\:\beta & (\textrm{op}_{l,m} = \textrm{SKIP}) \\ 
f_{match}(l,m) & (\textrm{op}_{l,m} = \textrm{MATCH})
\end{cases} \\
\label{eq:score2}
f_{match}(l,m) =
\left\{
\begin{array}{rl}
\cos(\mathbf{v}^{pre}_{l}, \mathbf{v}^{post}_{m})^2 & \text{if}\ \cos(\mathbf{v}^{pre}_{l}, \mathbf{v}^{post}_{m}) \geq 0 \\ 
-\cos(\mathbf{v}^{pre}_{l}, \mathbf{v}^{post}_{m})^2 & \text{otherwise} \end{array}
\right.
\end{gather}

全ての候補ペア$w_{b:k-1}\ (i \leq b \leq k-1)$，$w_{k+1:e}\ (k+1 \leq e \leq j)$についてスコアを比較する際，編集グラフのサイズが大きくなるほど編集操作の回数が多くなり，式(\ref{eq:score})によって計算されたスコアの総和が大きくなる．
そこで各編集グラフ$G(w_{b:k-1},w_{k+1:e})$で算出された最大スコアを編集グラフ上の最適経路$\hat{R}$の長さ$T$によって正規化し，正規化されたスコアを用いて候補ペアを決定する．．
したがって，Alignment関数は以下のように定義される．
\begin{equation}
\label{eq:score3}
Alignment({\rm w}_{b:k-1}, {\rm w}_{k+1:e}) = Score({\rm w}_{b:k-1}, {\rm w}_{k+1:e}) / {\rm T}^{\alpha}
\end{equation}
ここで$\alpha$はハイパーパラメータであり，0.00～1.00の範囲で調整される．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{並列句ペアのフィルタリング}

前処理や系列アライメントによって同定された並列句ペアの中には，本手法で解析対象としていない文や節などの並列構造の断片から成る並列構造が誤検出される場合がある．
例えば，

\vspace{0.5\Cvs}
\noindent
``[that is responsible for trans-activation by the HTLV-I trans-activator p40tax] \underline{and} [that has the ability to bind to cyclic-AMP responsive element binding factor ( CREB ) -like factor ( s )]''    
\vspace{0.5\Cvs}

\noindent
のような従属節による並列構造に対し，前処理によって``the HTLV-I trans-activator p40tax and that''が並列構造の最長範囲として抽出され，系列アライメントによって``that''を並列句に持つ並列構造が決定される．
このように誤検出される並列構造は，並列句ペアに対する系列アライメントのスコア（式(\ref{eq:score})）が低くなると考えられるため，閾値$\eta$を設定し，スコアが閾値$\eta$未満となった並列句ペアは名詞・形容詞の並列構造と見なさず\textsc{None}を返す．
閾値によるフィルタリングを適用するため，式(\ref{eq:score3})の$Alignment$関数にシグモイド関数を適用し，$Alignment$関数の返り値の値域を0.00～1.00に変換する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{複合固有表現の正規化}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{BERTを用いた固有表現認識}
\label{section: ner}

本研究では，
\pagebreak
BERT \cite{devlin2018bert}を固有表現認識タスク向けにfine-tuningしたモデルを固有表現認識器として使用する．
固有表現認識タスクへのfine-tuningを行う際には，\citeA{biobert}と同様に学習済みのBERTとSoftmax層を結合して，各サブワードの固有表現ラベルを予測する\footnote{\citeA{biobert}が公開しているソフトウェアを使用した(https://github.com/dmis-lab/biobert)．}．
複合固有表現に対しては，一つの固有表現として抽出されるように学習する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{個別固有表現の抽出}

\ref{section: coord}節と\ref{section: ner}節で述べた並列構造解析器と固有表現認識器の出力を利用して，複合固有表現を個別の固有表現に分解する．
具体的には，並列構造を含んでいる固有表現の中で省略されている要素を識別し，それぞれの固有表現に結合させる．
省略されている要素は，固有表現認識器で抽出された範囲から並列構造の範囲を取り除くことで得ることができる．
例えば，固有表現認識器で``human T and B lymphocytes''が抽出され，並列構造解析器で``T and B''が同定された場合は，並列構造の範囲を取り除いて``human''と``lymphocytes''を省略された要素と見なす．
これらの省略された要素をそれぞれの並列句と連結することで，二つの固有表現``human T lymphocyte''と``human B lymphocyte''が最終的に抽出される．
固有表現によって抽出された並列構造を含まない表現は，並列構造解析器を用いた正規化は適用されずに一つの固有表現として抽出する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験}

本研究ではGENIA Treebank (beta)  \cite{tateisi-etal-2005-syntax}とGENIA term annotation \cite{genia_term}を用いて評価実験を行う．
GENIA Treebankは統語範疇のラベルとともに並列構造の範囲がアノテーションされており，GENIA term annotationは複合固有表現を構成している個々の固有表現がアノテーションされている．
そこで並列構造解析の評価にはGENIA Treebank beta，固有表現認識の評価にはGENIA term annotationを用いて，それぞれのデータセットにて教師なし手法である提案手法と先行研究の教師あり手法の性能を比較する．
また，提案した並列構造解析手法のハイパーパラメータは，GENIA Treebankの並列構造のアノテーションが利用できない状況を想定して，Penn Treebank \cite{ficler-goldberg-2016-penn}上で調整したため，予備実験としてPenn Treebankにおける提案手法の性能について示す．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{Penn Treebankでの予備実験}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{実験設定}

Penn Treebankでの実験には，コーパスのWall Street Journalのパートのうち，セクション22を開発データ，セクション23を評価データとして用いて，対象の等位接続詞は寺西ら\citeyear{teranishi-etal-2020-journal}と同様に``and''，``or''，``but''，``nor''，``and/or''とする．
スキップと正規化のハイパーパラメータの調整にはハイパーパラメータの最適化ツールであるOptuna \cite{optuna}を使用し，開発データで最も高いF値を示した設定を採用した\footnote{スキップのスコア$\beta$は$-0.100$～0.000，長さ正規化の強度$\alpha$は0.00～1.00の範囲内で0.01刻みのグリッドサーチを行い，$100 \times 100 = 10000$通りの組み合わせの中で最大のF値を示した設定を採用した．}．

また，本稿では異なる単語分散表現による解析性能の差異を調べるため，FastText \cite{bojanowski-etal-2017-enriching}，ELMo \cite{Peters:2018}, BERT \cite{devlin2018bert}による単語分散表現を使用した\footnote{FastTextはWikipediaを訓練コーパスに用いたモデル(\url{https://dl.fbaipublicfiles.com/fasttext/vectors-wiki/wiki.en.zip})，BERTはBERT-Large，uncasedのモデル(\url{https://storage.googleapis.com/bert_models/2018_10_18/uncased_L-24_H-1024_A-16.zip})を使用した．各単語分散表現のベクトルの次元数はFastTextが300次元，ELMoとBERTはどちらも1024次元である．}．
BERTを使用する際は，BERTに付随するトークナイザによってサブワードに分割される場合を考慮して，分解されたサブワードのベクトルから要素ごとの平均をとることで単語分散表現を取得した．
各単語分散表現を用いたモデルで採用するハイパーパラメータの設定は表\ref{tab:vec_data}の通りである．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[t]
\input{06table01.tex}
\caption{各単語分散表現に対するハイパーパラメータの設定}
\label{tab:vec_data}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{評価指標}

全ての名詞の並列構造における等位接続詞の前後の並列句範囲の一致について，適合率・再現率及びそれらの調和平均（F値）で評価する\footnote{寺西ら\citeyear{teranishi-etal-2020-journal}と同様にNP・NXの並列構造を名詞の並列構造と見なす．}．
Penn Treebankによる実験では名詞の並列構造のみを範囲同定の対象にしているため，前処理の手順で形容詞の並列構造を解析対象から除外するルールを加えた\footnote{副詞句と同様に，等位接続詞の前後にある単語の品詞が形容詞の場合は\textsc{None}を出力する．}．
また，Penn Treebankにおける先行研究として，Penn Treebankの評価実験で最も高い性能を示している教師あり学習手法である寺西ら\citeyear{teranishi-etal-2020-journal}の結果についても示す\footnote{寺西ら\citeyear{teranishi-etal-2020-journal}の手法では，Wall Street Journalのパートでセクション2から21を訓練データとして使用している．}．
寺西ら \citeyear{teranishi-etal-2020-journal}の手法は，文脈を考慮した単語分散表現を使用していないため，BERT-Large (cased) から取得される単語分散表現を素性として追加したモデルを使用した結果についても示す．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{実験結果}

表\ref{tab:penn_coord}に実験結果を示す．
\pagebreak
テストデータにおいて，ELMoとBERTがFastTextよりも高い適合率，再現率，F値を示しており，文脈を考慮した単語分散表現が類似度計算に有効に働いている．
しかし先行研究の実験結果と比較すると，提案手法は先行研究より40ポイント程度低い値となった．
これは，並列関係にある名詞句同士の意味があまり類似しない事例に対して，類似する単語同士の対応が有効に働かなかった点が原因として考えられる．
複合固有表現は並列句で共通する接頭・接尾の要素によって並列構造を成すため，並列句同士が類似しない事例は含まれにくい．
例えば，

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[t]
\input{06table02.tex}
\caption{Penn Treebankでの実験結果}
\label{tab:penn_coord}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\vspace{0.5\Cvs}
\noindent
``GM officials want to get their strategy to reduce capacity \underline{and} the work force in place before those talks begin .''

\vspace{0.5\Cvs}
\noindent
という文に含まれる名詞の並列構造 (``capacity and the work force'') では，
前後の並列句に属する単語ペアで類似するものがなく，並列構造が不在なものとして誤って予測される．
対して寺西らの手法では，並列句の内側と外側の境界において単語の連接関係を考慮したスコア
を導入することで，双方の並列句で意味が異なる事例に対しても並列構造の外側の文脈から範囲が同定できる．
また，以下のような事例も偽陽性・偽陰性の原因として挙げられ，本研究の今後の課題である．
\begin{itemize}
\item 名詞の並列構造が形容詞から成るため，前処理の段階で形容詞の並列構造として誤って除外される事例 (``You ca n't say the same with black and white'')．
\item 語順が逆転しているため，類似となるペアが適切に選ばれない事例 (``Elcotel , a telecommunications company , had net income of \$ 272,000 , \underline{or} five cents a share'')．
\item 節の先頭と末尾の名詞句が，名詞の並列構造として誤って予測される事例 (``Also , the company 's hair-growing drug , Rogaine , is selling well -- at about \$ 125 million for the year , but the company 's profit from the drug has been reduced by ...'')．
\end{itemize}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{GENIA Treebankでの実験}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{実験設定}
\label{seq:genia_setting}

教師あり手法である寺西ら\citeyear{teranishi-etal-2020-journal}の手法と教師なし手法である提案手法の性能を比較するため，GENIA Treebank (beta) での実験を行った．
先行研究との比較のため，対象の等位接続詞を``and''， ``or''， ``but''とし，前処理で使用する品詞タグはコーパスに付与されている品詞を使用した．
また，Penn Treebankを用いた予備実験と同様に事前学習されたFastText，ELMo，BERTに基づいた単語分散表現を使用して，それぞれの解析性能について比較した．
これらの単語分散表現には，GENIA Treebankと同様に生命科学分野に関する論文アブストラクトを訓練コーパスにしたモデルを使用する．
FastTextには，PubMedで入手できる論文のアブストラクト，MIMIC-I\hspace{-.1em}I\hspace{-.1em}Iに収録されている医療カルテを用いて学習したBioWordVec\footnote{\url{https://ftp.ncbi.nlm.nih.gov/pub/lu/Suppl/BioSentVec/BioWordVec_PubMed_MIMICIII_d200.bin}} \cite{yijia-etal_2019-biowordvec}，ELMoはPubMedで入手可能な論文を用いて訓練したモデル\footnote{\url{https://s3-us-west-2.amazonaws.com/allennlp/models/elmo/contributed/pubmed/elmo_2x4096_512_2048cnn_2xhighway_weights_PubMed_only.hdf5}}を使用した．
BERTでは，FastTextやELMoと同様に生命科学分野の論文を用いて学習したSciBERT \cite{Beltagy2019SciBERT}とBioBERT \cite{biobert}を使用した\footnote{SciBERTはSciBERT-SciVocab，uncasedのモデル(\url{https://s3-us-west-2.amazonaws.com/ai2-s2-research/scibert/huggingface_pytorch/scibert_scivocab_uncased.tar})，BioBERTはBERT-Large，casedのモデル(\url{https://huggingface.co/dmis-lab/biobert-large-cased-v1.1})を使用した．SciBERTの次元数は768次元，BioBERTの次元数は1024次元である．}．
ハイパーパラメータの設定は，GENIA Treebankの並列構造のアノテーションを用いないことを想定して，Penn Treebankの予備実験で調整した設定（表\ref{tab:vec_data}）をそれぞれ採用した．
さらに，特定のドメインにおいて並列構造のアノテーションが利用できないことを想定して，Penn Treebankの訓練データで学習した寺西ら(2020) の手法を用いた結果についても評価する．
Penn Treebankの39,832文の訓練データには15,670文に並列構造のアノテーションが含まれているのに対し，GENIA Treebankには2,508文に並列構造のアノテーションが含まれている．
少量の訓練事例で学習して他ドメインへ識別する性能を比較するため，Penn Treebankの訓練データに存在する並列構造を含む文から1/10の文をサンプリングして学習した寺西ら(2020) の手法による結果についても示す．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{評価指標}

GENIA Treebankでの実験では，先行研究との比較のため，等位接続詞に隣接する並列句の範囲の一致について5分割交差検定による再現率で評価を行った．
並列構造は前置詞句や節を含んだ並列句から成る場合があるが，
複合固有表現に内包される並列構造は前置詞句や節が含まれにくい．
したがって，本実験では全並列構造による設定に加えて，前置詞句・節・前処理で適用した記号を含まない並列構造のみを単純な並列構造として評価する.
\pagebreak
本手法はGENIA Treebankのデータセットによるモデルの訓練を行わないため，5分割交差検定のHeld-outデータのみを使用し，5分割したデータセットでの再現率の平均によって性能を示した．
寺西ら\citeyear{teranishi-etal-2020-journal}の手法は，GENIA Treebankの実験では文脈を考慮した単語分散表現を使用していないため，BioBERT-Large (cased) から取得される単語分散表現を素性として追加したモデルをベースラインとして使用する．
Penn Treebankの一部の訓練データを使用する設定では，Penn Treebankからサンプリングした訓練事例を全訓練データで学習する設定の10倍のエポック数で学習し，Held-outデータでの再現率の平均を1試行のスコアとする．
この手続きを5回試行した上で，全試行におけるスコアの平均と標準偏差を示す．

また，前処理や閾値を用いずに予測した際の識別性能について，適合率・再現率・F値によって評価する．複合固有表現に内包する並列構造のみを識別するため，前処理や閾値などを用いない設定による評価では，名詞・形容詞の並列構造を併せて評価する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 3
\begin{table}[b]
\input{06table03.tex}
\caption{GENIA Treebank betaの実験結果}
\label{tab:res_coord}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{実験結果}
\label{sec:result}

実験結果を表\ref{tab:res_coord}に示す．
寺西ら\citeyear{teranishi-etal-2020-journal}の教師あり学習の手法 (Teranishi+20 (original)) と比べて，提案手法 (Ours (ELMo)) は全ての並列構造を対象とした名詞と形容詞の並列構造範囲の一致ではそれぞれ14ポイント・17ポイント程度の差，単純な並列構造 (Teranishi+20 (BioBERT)) においては，それぞれ6ポイント・5ポイント程度の差が見られた．
Penn Treebankの学習データの全事例を用いて学習したモデル (Teranishi+20 (PTB (full))) は，GENIAで学習したモデル (Teranishi+20 (BioBERT)) と同程度の性能を示しているが，Penn Treebankの学習データから少量の訓練事例をサンプリングした場合 (Teranishi+20 (PTB (1/10)))，再現率が著しく低下し，各試行で性能にばらつきが見られた．
また， Penn Treebankの少量の訓練事例で学習したモデルとGENIA Treebankで学習したモデル (Teranishi+20 (BioBERT)) を比較すると，形容詞の並列構造ではGENIAで学習したモデルと同程度の性能を示しているものの，名詞の並列構造では再現率は10ポイント以上下回っている．
これらの手法と比較して，提案手法はPenn Treebankの全学習データを使用して学習したモデルと比べて差はあるものの，1/10の教師データで学習したモデルとは名詞の並列構造で同等以上の精度を示しており，単純な形容詞の並列構造においては各試行で取りうる性能に近い精度を示している．
したがって，提案手法は同じドメインで学習された教師あり手法と比べて改善の余地はあるものの，少数の並列構造の訓練事例を用いるだけで他のドメインから学習された手法と近い性能が得られていると考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 3
\begin{figure}[b]
\begin{center}
\includegraphics{28-4ia6f3.pdf}
\end{center}
%%%%\label{fig:rec_skip}
\caption{各パラメータの設定に対する再現率の推移 (ELMo)}
\label{fig:recall_graph}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

単語分散表現の比較においては，ELMoが名詞と形容詞の並列構造において最も高い再現率を示した．
これは，文字列が類似するような専門用語に対して類似度計算をする際に，ELMoで導入されている文字レベルの畳み込み層が有効に働いたためだと考えられ，\citeA{Schulz2020CanEA}による医学用語の類似性を評価した実験でも同様の傾向が報告されている．
また，BioWordVecを使用したモデルは名詞の並列構造においてSciBERTとBioBERTをそれぞれ使用したモデルの再現率を下回ったものの，形容詞の並列構造においてはSciBERTとBioBERTのモデルを上回る再現率を示した．
形容詞の並列構造は，``normal and anergic''のような一単語の並列句で構成されている傾向があり，
図\ref{fig:recall_graph}でも長さ正規化のパラメータの増加に伴って再現率が増加している．
この結果から，名詞句のような複数の単語系列から成る並列句のアライメントには文脈を考慮した分散表現，形容詞の並列構造のような範囲の短い事例に対しては文字レベルの類似性を考慮した分散表現が有用に働き，ELMoを使用したモデルがサブワードの平均をとるBERTを使用したモデルと比べて高い再現率が得られたと考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 4
\begin{table}[b]
\input{06table04.tex}
\caption{異なる設定によるモデルの性能の違い}
\label{tab:res_coord_alpha}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 4
\begin{figure}[b]
\begin{center}
\includegraphics{28-4ia6f4.pdf}
\end{center}
\caption{閾値$\eta$に対するF値の推移}
\label{fig:f1_thresh}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

名詞と形容詞の単純な並列構造について，前処理の有無，ハイパーパラメータの設定，編集操作のスコアの計算方法\footnote{編集操作のスコアの計算方法を変えた設定では，3.1.1節と同様にPenn Treebankの開発データにてハイパーパラメータを調整した．}を変えて実験した結果を表\ref{tab:res_coord_alpha}に示す．
まず，\ref{seq:genia_setting}節と同様のハイパーパラメータの設定を使用したモデル (default) では適合率と比較して再現率が高くなり，名詞句・形容詞句などの異なる統語範疇を持つ句の並列\footnote{名詞句から成る並列構造や形容詞句から成る並列構造とは区別される．}に対して，名詞と形容詞の並列構造として誤って予測していると考えられる．
閾値を用いない設定では，defaultの設定による結果と比べて再現率が1ポイント増加したのに対して，適合率は7ポイント低下した．
閾値$\eta$に対するF値の推移を図\ref{fig:f1_thresh}に示す．
図\ref{fig:f1_thresh}では閾値0.54の設定でF値が最大値を示しており，閾値を設定しない場合では高いスコアを示さない非類似の要素ペアが，並列構造として誤検出されていることを示している．
閾値を高くした設定では，類似する要素ペアも並列構造として検出されなくなるため，偽陰性の誤りが生じる．
前処理のルールを用いず等位接続詞前後の全ての単語系列からアライメントをとる設定では，性能が著しく低下した．
前処理における制約を無くしたことで等位接続詞の前後の単語系列で部分的にマッチしてしまい，正解となる並列句ペアのスコアを上回ってしまったことが，精度低下の原因として考えられる．
スキップのスコアと長さ正規化の強さを示すパラメータを0にした設定では，defaultと性能が変わらない結果となった．

実際に各単語分散表現を用いて，等位接続詞前後の単語系列でマッチの操作に対するスコア（式\ref{eq:score2}）を算出した例を図\ref{fig:heatmap}に示す\footnote{ELMoとBERTから得られた単語分散表現は，同一文内の異なる単語間でコサイン類似度がほとんど非負となっていた．}．
図\ref{fig:heatmap}では，どの単語分散表現も対応する単語に対して最も高いスコアが付与されている．
%%%%しかし，ELMoを用いた結果（図\ref{fig:heat_elmo}）では対応する単語同士と対応しない単語同士で0.2以上の差が見られるのに対して，
    しかし，ELMoを用いた結果（図\ref{fig:heatmap}a）では対応する単語同士と対応しない単語同士で0.2以上の差が見られるのに対して，
%%%%BERTを用いた計算（図\ref{fig:heat_biobert}, \ref{fig:heat_scibert}）では0.1以下の近いスコアが付与されている箇所が存在する．
    BERTを用いた計算（図\ref{fig:heatmap}b, \ref{fig:heatmap}c）では0.1以下の近いスコアが付与されている箇所が存在する．
このように，対応しない単語同士に対してELMoが低いスコアを算出でき，対応する位置から距離が遠くなる程スコアが低くなるように計算されていることから，スキップや正規化の制約を設けなくても最適なアライメントが取ることができたと考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 5
\begin{figure}[b]
\begin{center}
\includegraphics{28-4ia6f5.pdf}
\end{center}
%%%%\label{fig:heat_elmo}
%%%%\label{fig:heat_biobert}
%%%%\label{fig:heat_scibert}
\caption{各単語分散表現を用いたマッチ操作に対するスコアの例}
\label{fig:heatmap}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

また，編集操作に付与する計算方法では，ユークリッド距離，内積を用いた場合はコサイン類似度と比べて性能が著しく低下した．
コサイン類似度による計算も二乗せず単純に計算した方法は再現率が10ポイント程度下回っており，
二乗したことで対応関係にある単語同士と対応しない単語同士のスコアの差が僅かに大きくなったことが要因として考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 5
\begin{table}[t]
\input{06table05.tex}
\caption{提案手法の並列構造解析器による出力例}
\label{tab:exam_parser}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{解析結果の定性的分析}

表\ref{tab:exam_parser}に提案手法による並列構造解析の出力例を示す．
まず，各単語分散表現を用いた提案手法の解析結果（表\ref{tab:elmo_bert_output}）では，BERTが専門的な単語と無関係な単語が類似するような分散表現を生成したことで，誤ったアライメントを引き起こす事例が存在した．
実際に表\ref{tab:elmo_bert_output}の例について，各単語分散表現で類似度を計算した結果を図\ref{fig:heatmap2}に示す．
%%%%この例では，ELMo（図\ref{fig:heat2_elmo}）は``mRNA''に対応する``protein''に最も高いスコアが付与されているのに対して，
    この例では，ELMo（図\ref{fig:heatmap2}a）は``mRNA''に対応する``protein''に最も高いスコアが付与されているのに対して，
%%%%BioBERT（図\ref{fig:heat2_biobert}）とSciBERT（図\ref{fig:heat2_scibert}）は``protein''よりも``expression''の方が高い類似度を示している．
    BioBERT（図\ref{fig:heatmap2}b）とSciBERT（図\ref{fig:heatmap2}c）は``protein''よりも``expression''の方が高い類似度を示している．
これはBERTの単語分散表現はサブワードベクトルから生成されたことが原因として考えられ，サブワードから単語分散表現を生成する場合は専門用語の文字列の特徴を利用しにくい可能性がある．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 6
\begin{figure}[t]
\begin{center}
\includegraphics{28-4ia6f6.pdf}
\end{center}
%%%%\label{fig:heat2_elmo}
%%%%\label{fig:heat2_biobert}
%%%%\label{fig:heat2_scibert}
\caption{各単語分散表現を用いたマッチ操作に対するスコアの例}\label{fig:heatmap2}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

表\ref{tab:error}では，どの単語分散表現を使用したモデルでも誤って解析された例を示す．
提案手法では，前後の並列句で系列長が異なる事例に対して誤りが生じやすい．
本研究で用いた系列アライメントは一対一のアライメントに基づいているため，表\ref{tab:error}の例では``B''と``lymphocytes''でアライメントをとる必要がある．
しかしながら，``macrophages''は``B''よりも``lymphocytes''の方が意味的に近く，単語分散表現による類似度計算のみから予測することは難しいと考えられる．
並列句の境界にある単語の連接関係を考慮し，一つの単語が複数の単語に対してアライメントを可能にすることが提案手法の今後の課題である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{GENIA term annotationでの実験}

複合固有表現を含む固有表現全体の抽出性能を評価するため，GENIA term annotationで実験を行なった．GENIA term annotationにおける固有表現の出現数と文数を表\ref{tab:term_data}にまとめる．
GENIA term annotationでは，11タイプの等位接続詞のタグで複合固有表現が分類されており\footnote{AND, OR, BUT\_NOT, AS\_WELL\_AS, AND/OR, AND\_NOT, TO, NEITHER\_NOR, NOT\_ONLY\_BUT\_ALSO, THAN, VERSUS}，ANDとORのラベルは全体の97\%を占めるため，本実験ではANDとORの等位接続詞を範囲同定の対象とした．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 6
\begin{table}[t]
\input{06table06.tex}
\caption{GENIA term annotationにおける固有表現の出現数}
\label{tab:term_data}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{実験設定}

GENIA term annotationでの実験では，
入れ子を対象にした固有表現認識の関連研究で使用されている\citeA{muis-lu-2016-learning}の評価方法\footnote{\citeA{muis-lu-2016-learning}の実験では複合固有表現を一つの固有表現として扱っているため，これらの固有表現を個別の固有表現に分解したデータセット(\url{https://gitlab.com/sutd_nlp/overlapping_mentions/-/tree/master/data/GENIA/scripts})を使用した．}に基づいて，コーパスの最初の80\%と10\%の文を固有表現認識器の訓練及び開発用，残りの10\%を評価用のデータセットとして使用した．
さらに固有表現のタイプがDNA， RNA， Protein， cell\_line，cell\_typeの固有表現のみを評価対象とし，DNAとRNA，Proteinのサブカテゴリは全て親カテゴリに統合した．
GENIA term annotationには，``EBV - transformed human B cell line''の``human B cell line''のような入れ子になった固有表現もアノテーションされているため，固有表現認識器のモデルの学習には，訓練データと開発データで入れ子状の固有表現を除去し，最長範囲の固有表現のみを対象として使用した．

固有表現認識器には，生命科学のドメインに合わせるためBERTの代わりにBioBERT \cite{biobert}を使用した．
BioBERTは，生命科学分野の固有表現認識タスクの評価用コーパスであるJNLPBAを用いた先行研究の中で最も高い抽出性能を示している\footnote{JNLPBAでは，GENIA term annotationと同じくPubMedの論文アブストラクトを使用しているが，最長範囲にある固有表現のみを評価対象としており，複合固有表現は一つの固有表現として扱っている．}．
並列構造解析器で用いる学習済みの言語モデルには，Penn TreebankとGENIA Treebankの実験で最も高い性能を示したELMoを採用し，系列アライメントで使用するスキップ及び長さ正規化のハイパーパラメータも表\ref{tab:vec_data}の設定を採用した．
並列構造解析器の前処理で使用する品詞タグは，コーパスに付与されている品詞を使用した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{評価指標}

GENIA term annotationの実験では，全ての固有表現を対象とした設定と複合固有表現に限定した設定で，固有表現の抽出における適合率・再現率・F値を評価指標として性能を比較した．
全ての固有表現を対象にした設定では，BioBERTを使用したモデルをベースラインとし，BioBERTと提案手法の並列構造解析器を組み合わせたモデルと抽出精度を比較した．
複合固有表現のみを対象にした設定では，提案手法の並列構造解析器による固有表現認識の性能の上限を示すため，コーパスに付与されている複合固有表現の全体範囲のアノテーションを固有表現認識器の代わりに用いた設定 (Oracle) と，BERTによる固有表現認識器と組み合わせた提案手法の抽出精度を比較した．
また，複合固有表現の一部を不連続な固有表現として抽出する\citeA{dai-etal-2020-effective}の教師あり学習手法を用いた実験結果についても示し，提案手法における並列構造解析器の有用性を検証した\footnote{入れ子構造を考慮した固有表現認識タスクにおいてGENIA term annotationを用いて評価を行った研究が存在するが，これらの研究はデータの分割や前処理などの実験設定がそれぞれ異なっており，再現が困難なため採用しなかった．}．
\citeA{dai-etal-2020-effective}は実験用のコーパスにGENIA term annotationを採用していないため，Daiらが公開しているソフトウェア\footnote{\url{https://github.com/daixiangau/acl2020-transition-discontinuous-ner}}を使用し，素性として用いる単語分散表現にはELMoをPubMedで事前学習したモデルを採用した．
\citeA{dai-etal-2020-effective}の手法は，複合化によって省略が生じた固有表現を含めた不連続な固有表現のみを対象にした設定で性能を評価しており，
複合固有表現以外の固有表現が抽出され得るため，複合固有表現のみを対象にした設定では再現率のみを示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 7
\begin{table}[b]
\input{06table07.tex}
\caption{GENIA term annotationでの固有表現認識の実験結果}
\label{tab:term_result}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{実験結果}

実験結果を表\ref{tab:term_result}に示す．全ての固有表現を対象にした評価について，提案手法はベースラインの性能を改善させたが，複合固有表現のみを対象にした設定ではOracleと固有表現認識器の間に28ポイントの差があり，パイプラインに使用している固有表現認識器の誤りに起因した性能低下が見られる．
\citeA{dai-etal-2020-effective}の手法と比較すると，全ての固有表現を対象にした設定では提案手法の再現率は\citeA{dai-etal-2020-effective}の手法と比べて10ポイント程度の差があるものの，複合固有表現のみを対象にした設定では，Oracleと提案手法を組み合わせたモデルが\citeA{dai-etal-2020-effective}とほぼ同等の再現率を示した．
この結果は，提案手法で用いた固有表現認識器が入れ子状に埋め込まれている他の固有表現を抽出対象にしていないのに対して，\citeA{dai-etal-2020-effective}の手法ではこれらの固有表現も対象にしていることが原因として考えられる\footnote{GENIA term annotationでは，他の固有表現に埋め込まれている固有表現が全体の10\% 程度に含まれている．}．
固有表現認識器の性能差の影響をなくすため，Daiらの手法をパイプラインで用いる固有表現認識器として使用する．
ただし，Daiらの手法では，複合固有表現が既に不連続な固有表現として抽出されているため，等位接続詞の前後に固有表現が抽出された場合は一つの複合固有表現とみなし (no disc)，提案手法の並列構造解析器を用いて個々の固有表現として再度抽出する．
結果を表\ref{tab:bert_conti}に示す．
Daiらの手法による出力から得た複合固有表現を個々の固有表現として再度抽出した場合，提案手法は教師あり手法であるDaiらの手法とほぼ同等の性能で抽出できていることが分かる．
これらの結果を踏まえて，複合固有表現の正規化において提案手法の並列構造解析器が有効に働いており，複合固有表現に対する固有表現認識器の抽出性能に従って，今後解析性能も向上すると考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 8
\begin{table}[t]
\input{06table08.tex}
\caption{Daiらの出力から得た複合固有表現を使用した実験結果}
\label{tab:bert_conti}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{固有表現認識}

これまでの固有表現認識の多くの研究は，系列ラベリングによる手法に基づいている．
系列ラベリングでは，入力された単語系列に対し，固有表現のラベルと境界を表すラベル系列を予測する．
初期の系列ラベリングによる手法では，人手による素性設計と機械学習手法の一つである条件付き確率場 \cite{crf}が主に使用されており，単語の表層形や品詞などの情報が素性として使用された．
近年では，双方向型のLong-Short Term Memory \cite{lample-etal-2016-neural,ma-hovy-2016-end}やELMo \cite{Peters:2018}, BERT \cite{devlin2018bert}などの文脈を考慮した単語の深層情報を利用することで，最小限の素性で学習が可能な手法が考案されている．
系列ラベリングに基づく手法では，固有表現の始点 (B) や内部 (I) などを示すラベル方式によって定義されており，連続した単語列から成る固有表現しか表現できず，入れ子構造となる固有表現や不連続な固有表現を表せない問題がある．
したがって，先行研究では複合固有表現に対しては複合固有表現全体または連続した一部分を固有表現として抽出して評価するか，あるいは例外の事例として評価対象から取り除いている．

複合固有表現におけるラベリングの問題に対して，\citeA{muis-lu-2016-learning}と\citeA{dai-etal-2020-effective}は不連続な範囲を持つ固有表現に対応する手法を提案した．
複合固有表現では，``Vitamins A and B''の``(Vitamins) B''のように，省略を伴う一部の固有表現の範囲が不連続的になり，これらの固有表現を不連続な範囲をもつ固有表現と見なすことができる．
Muisらは，医療ドメインの固有表現認識において系列ラベリングのラベル方式を拡張し，単語を示すノードと固有表現のクラスを意味するエッジで繋いだ一本のハイパーグラフが構成されるようなラベル系列を予測することで，不連続な範囲に対応する手法を提案した．
Daiらは，医療・創薬ドメインの固有表現認識において，\citeA{lample-etal-2016-neural}が開発したShift-Reduceアルゴリズムに基づく固有表現認識手法を拡張し，不連続な範囲の固有表現をボトムアップに抽出する手法を提案した．

また，複合固有表現を含む省略を伴った並列的表現に対して，\citeA{Buyko2007ResolutionOC}と\citeA{Chae2014IdentifyingNE}は省略を正規化する手法を提案した．
複合固有表現の一部には``[IL-5] / [GM-CSF] receptor''のような，等位接続詞によらない並列関係によって省略を伴う表現が存在する．
\citeA{Buyko2007ResolutionOC}は入力文の単語系列を先行詞，接辞，等位接続詞，複合表現以外を示す四種類のラベルに分類し，ラベルの出現パターンに基づいて省略を伴う複合表現を予測する手法を提案した．
\citeA{Chae2014IdentifyingNE}は，生命科学分野の専門用語を集積した辞書で複合表現を網羅的に探索し，先頭にある単語の省略 (forward)，末尾にある単語の省略 (backward)，先頭や末尾などの複雑な省略 (complex) の三つのカテゴリに基づくルールを用いて，複合表現を正規化する手法を提案した．
\citeA{Buyko2007ResolutionOC}は複合表現のそれぞれの要素に対してアノテーションされたデータセット，\citeA{Chae2014IdentifyingNE}の手法はデータセット上の全ての専門用語が網羅された辞書を使用している点で本研究と異なる．

本研究は，複合固有表現に対して，並列構造解析と固有表現認識の手法を組み合わせる試みとして位置付けられる．
固有表現の範囲と並列句の範囲を独立して予測することで，複合固有表現に含まれる個々の固有表現について評価する設定で，固有表現の認識精度が向上した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{並列構造解析}

並列構造は，等位接続詞などの句を連接させる働きを持つ語，等位接続詞などによって結びつけられた句（並列句）によって構成される．
並列構造解析では，並列構造に属する並列句の始点と終点を予測する．
これまでの並列構造解析の多くの研究では，並列構造の範囲同定に有用な特徴として，並列句の類似性に基づいた手法が発展している．
並列構造の類似性とは，同一の並列構造に属する並列句同士が句の構造や意味において類似する性質である．
例えば，図\ref{fig:coord_similar}のような隣接する二つの並列句，``strong tyrosine phosphorylation of STAT4''と``variable weak phosphorylation of STAT3''は，ほぼ同一の品詞系列を持ちながら，STATファミリー分子のリン酸化に関する意味を持っている．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 7
\begin{figure}[t]
\begin{center}
\includegraphics{28-4ia6f7.pdf}
\end{center}
\caption{並列構造の類似性の例}
\label{fig:coord_similar}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

まず並列構造の類似性に基づく手法として，\citeA{kurohashi-nagao-1994-syntactic}は結びつけらた並列句同士の類似度を示すスコアを文字列や品詞の一致などのルールによって計算することで，日本語における並列構造の範囲を同定する手法を提案した．
\citeA{shimbo-hara-2007-discriminative}は英語の並列構造において，単語や品詞，形態情報に基づいた素性を用いて並列句の内部にある単語同士のアライメントによって類似度を計算する．
単語のアライメントには，それぞれの素性の重み付き線形和がスコアとして表され，重みのパラメータは機械学習手法での一つであるパーセプトロンを用いて調整される．
\citeA{hara-etal-2009-coordinate}は\citeA{shimbo-hara-2007-discriminative}の手法を拡張し，全ての並列構造のスコアの総和が最大になるような木を導出することで，入れ子状になった複数の並列構造・三つ以上の並列句によって構成される並列構造に対応した．

近年は，ニューラルネットワークに基づいた並列構造の範囲同定手法が提案されている．
\citeA{ficler-goldberg-2016-neural}は句構造解析器であるBerkeley Parser \cite{petrov-etal-2006-learning}を用いて抽出された並列句ペアの候補に対して，ベクトル同士のユークリッド距離などを素性として用いてスコアを計算する．
これらのスコア付けされた並列句ペアの中で，最もスコアの高いペアを並列句の範囲として予測する．
寺西ら\citeyear{Teranishi-etal-2018-journal}は並列構造全体の範囲に対して，外部の構文解析器を利用しないエンドツーエンドな範囲同定手法を提案した．
寺西ら\citeyear{teranishi-etal-2020-journal}は，それぞれの並列句の内部と外部の境界などに基づいたスコアを用いて，\citeA{hara-etal-2009-coordinate}と同様に並列構造を表す木をCKYアルゴリズムによって構築し，入れ子状の並列構造，三つ以上の並列句に対応する手法を提案した．
寺西ら\citeyear{teranishi-etal-2020-journal}の手法は，並列構造解析の既存手法において最も高い解析精度を達成している．
しかしながら，これらの手法の学習には個々の並列構造に対して各並列句の範囲がアノテーションされた大量のデータが必要になることから，他分野への応用という面を考慮すると，データセットの作成にかかるコストの点で課題が残る．

本研究は，並列句の全ての候補ペアに対してスコア計算を行い，並列関係にある単語系列のペアに対して高いスコアを割り当てる点で，従来研究の手法と類似する．
しかしながら，複合固有表現に含まれる並列構造は，名詞や形容詞による並列に限定されており，文や動詞句などの全ての並列構造に対して網羅的に解析することは実用上効率的ではない．
また，名詞や形容詞による並列構造は，文や節による並列と比べて並列句同士の類似性が高い傾向にある．
本研究は，名詞と形容詞の並列構造に焦点をあて，事前学習された単語分散表現と品詞のみを使用し，並列構造のアノテーションを用いない点で従来研究と異なる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

本研究は，並列構造解析器と固有表現認識器のパイプライン処理によって，複合固有表現から個々の固有表現を抽出する手法を提案した．
事前学習された単語分散表現から文脈・単語の表層を考慮した情報を用いることで，生命科学分野の並列句の範囲同定タスクにおいて教師あり学習に基づく手法に近い再現率を達成し，固有表現認識のタスクにおいても，提案手法の並列構造解析器を既存の固有表現認識器と組み合わせることで固有表現認識の精度向上に有用に働くことが示された．
提案手法は，複合固有表現に含まれる個別の固有表現を抽出できる点，並列構造のアノテーションを用いた学習を行う必要がない点が貢献として挙げられる．

提案手法の課題として，提案手法は等位接続詞の前後にある二つの並列句のみの範囲を予測するため，三つ以上の並列句で構成される並列構造に対しても個々の並列句を取り扱えるようにすることが挙げられる．
また，等位接続詞に含む固有表現は複数の固有表現が結合されて範囲が広くなることから，固有表現の抽出が困難になる．
さらに，並列構造を含む固有表現の中には正規化の必要がない単一の固有表現も含まれるため，今後は広範囲な固有表現にも頑健に対応するとともに，並列構造と固有表現の範囲を同時に解析できるように改善する予定である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本研究の一部はJST CREST（課題番号：JPMJCR1513）の支援を受けて行い，The 28th International Conference on Computational Linguisticsで発表したものです\cite{sawada-etal-2020-coordination}．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.6}
\bibliography{06refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{澤田　悠冶}{%
2019年関西学院大学総合政策学部卒．2021年奈良先端科学技術大学院大学先端科学技術研究科博士前期課程修了．同年，同大学院先端科学技術研究科博士後期課程入学．自然言語処理の研究に従事．
}

\bioauthor{寺西　裕紀}{%
2014年慶應義塾大学商学部卒．2018年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了．2020年同大学院先端科学技術研究科博士後期課程修了．博士（工学）．同年より理化学研究所革新知能統合研究センター(AIP)特別研究員．自然言語処理の研究に従事．
}

\bioauthor{松本　裕治}{%
1977年京都大学工学部情報工学科卒．1979年同大学大学院工学研究科修士課程情報工学専攻修了．同年電子技術総合研究所入所．1984～85年英国インペリアルカレッジ客員研究員．1985～87年（財）新世代コンピュータ技術開発機構に出向．1988年京都大学助教授，1993年奈良先端科学技術大学院大学教授．2020年理研AIP知識獲得リーダ，現在に至る．工学博士．専門は自然言語処理．情報処理学会，人工知能学会，言語処理学会，AAAI，ACL，ACM各会員，情報処理学会フェロー．ACL Fellow，
}

\bioauthor{渡辺　太郎}{%
1994年京都大学工学部情報工学科卒業．2000年Language and Information Technologies, School of Computer Science, Carnegie Mellon University, Master of Science取得．2004年京都大学博士（情報学）．ATRおよびNTT，NICTにて研究員，またグーグルでソフトウェアエンジニアとして勤めたあと，2020年より奈良先端科学技術大学院大学教授．自然言語処理や機械学習，機械翻訳の研究に従事．
}

\end{biography}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\biodate




\end{document}

