\documentclass[japanese]{jnlp_3.5}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
\usepackage{array}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
\newcommand{\paraphrase}{言い換え}
\newcommand{\parasent}{化合物名を含む文の言い換え}
\newcommand{\proposed}{\textit{HanPaNE}}
\newcommand{\cse}{CSE}
\newcommand{\cwse}{CWSE}
\newcommand{\argmax}{\mathop{\rm arg~max}\limits}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{29}
\Number{2}
\Month{June}
\Year{2022}
%%%%\Issuetitle{「　　　　」特集号}

\received{2021}{7}{30}
\revised{2021}{11}{8}
%%%%\rerevised{2006}{5}{6}
\accepted{2021}{12}{21}

\setcounter{page}{294}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{化学分野の固有表現抽出のための化合物名を含む文の\\
	言い換え学習を用いたマルチタスク学習手法}
\jauthor{渡邊　大貴\affiref{Author_1}\affiref{Author_2} \and 田村　晃裕\affiref{Author_2} \and 二宮　　崇\affiref{Author_3} \and 牧野　拓哉\affiref{Author_4} \and 岩倉　友哉\affiref{Author_1}
}
\jabstract{%
本論文では，言い換えが複数存在する化合物名称の固有表現抽出 (NER)の精度を向上するため，NERモデルと化合物名を含む文の言い換えモデルを同時に学習するマルチタスク学習を提案する．提案手法では，long short-term memory (LSTM)に基づくエンコーダーおよび単語・文字embeddingパラメータを，NERモデルと言い換えモデルで共有することで，NERモデルにおいて，化合物名の言い換えを捉えることができるようにする．化合物名抽出タスクBioCreative IV CHEMDNERトラックで評価した結果，本言い換え学習が精度改善に貢献することが確認された．
}
\jkeywords{マルチタスク学習，固有表現抽出，言い換え}

\etitle{Multi-Task Learning for Chemical Named Entity Recognition with Chemical Compound Paraphrasing}
\eauthor{Taiki Watanabe\affiref{Author_1}\affiref{Author_2}\and Akihiro Tamura\affiref{Author_2} \and Takashi Ninomiya\affiref{Author_3} \and \\
	Takuya Makino\affiref{Author_4} \and Tomoya Iwakura\affiref{Author_1}} 
\eabstract{%
We propose a method to improve named entity recognition (NER) for chemical compounds using multi-task learning by jointly training a chemical NER model and a chemical compound name paraphrase model. Our method enables  the NER model to capture chemical compound paraphrases by sharing the parameters of NER and the character embeddings based on long short-term memories (LSTM) with the paraphrase model. Experimental results on BioCreative IV CHEMDNER show that our method learning paraphrase contributes to improved accuracy.
}
\ekeywords{Multi-task Learning, Named Entity Recognition, Paraphrasing}

\headauthor{渡邊, 田村, 二宮,  牧野, 岩倉 }
\headtitle{化学分野のNERのための化合物名を含む文の言い換え学習を用いた学習手法}

\affilabel{Author_1}{富士通株式会社}{Fujitsu, Ltd.}
\affilabel{Author_2}{同志社大学}{Doshisha University}
\affilabel{Author_3}{愛媛大学}{Ehime University}
\affilabel{Author_4}{}{Megagon Labs}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

固有表現抽出 (NER)は，人名，組織名，化学物質名，日付や時間といった固有名詞や数値表現を抽出するタスクであり，関係抽出\cite{zhou-etal-2016-attention,DBLP:journals/corr/abs-1905-08284,shen-huang-2016-attention,wang-etal-2016-relation}
やエンティティリンキング\cite{ganea-hofmann-2017-deep,le-titov-2018-improving,radhakrishnan-etal-2018-elden,DBLP:journals/corr/abs-1802-01021,DBLP:journals/corr/abs-2006-01969,DBLP:journals/corr/abs-1808-07699}
といった技術に用いられる要素技術の一つである．
たとえば，2 つの固有表現 (NE) 間の関係を識別する関係抽出タスクでは，文中のNE を特定するためNER が利用され，エンティティリンキングでは，実体判別の候補抽出に利用される．

固有表現技術の適用先は，新聞記事といった一般的な文書に留まらず，化学や医学分野などの専門分野の特許や論文に広がりを見せている．化学分野であれば，
新材料や新薬の開発，材料を用いた製品開発などにおいて，化合物に関する知識が必要不可欠であり，論文や特許で日々報告される化合物間の相互関係や物性値といった情報を構造化し知識として蓄積することが行われている．しかしながら，2015年の時点で2分30 秒に 1 件のペースで新たな物質がCAS (Chemical Abstracts Service) に追加されているという報告が示すように\footnote{\url{https://www.jaici.or.jp/annai/img/20150709_CAS_PressRelase.pdf}}，刻々と増え続ける化合物に対して，専門的な知識を必要とする人手による知識構築作業が課題となっている．そこで，知識構築に必要な化合物名を抽出するためにNERが化学分野でも注目を集めている\cite{Leaman2015,Lu2015,att-chemd}．

近年では，LSTM-CRFモデルといった，long short-term memory (LSTM) に条件付確率場(CRF) を組み合わせたモデル \cite{N16-1030,P16-1101}や，Transformer \cite{DBLP:journals/corr/VaswaniSPUJGKP17}を用いたモデル \cite{devlin-etal-2019-bert,yamada-etal-2020-luke}が高い精度を示している．
また，大規模なラベルなしコーパスから事前学習したニューラル言語モデル  \cite{C18-1139,N18-1202,devlin-etal-2019-bert,yamada-etal-2020-luke,Lee2020BioBERTAP,beltagy-etal-2019-scibert}を用いた手法がCoNLL 2003 shared task データセット \cite{tjongkimsang2003conll}や化学分野のNER \cite{Lu2015} などにおいて，高い精度を示している．
しかし，化合物には多様な表記があることが，化学分野のNER を難しくしている．
図\ref{fig:paraphrase_example}にあるように，\textit{Acrylic acid 4-tert-butylphenyl ester}は\textit{Acrylic acid 4-(1,1-dimethylethyl)phenyl ester}のように異表記で表現される．
ここでは，\textit{tert-butyl}を表す構造が
\textit{methyl}と\textit{ethyl}から構成されることから，\textit{1,1-dimethylethyl}とも言い換え可能となっている．
このように同じ化合物が複数の異表記で記述される状況から，学習データには含まれない表記が多数存在しており，
学習データ中の表記に基づき学習する従来のNER モデルでは，
新規の化合物名抽出において精度低下につながると考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[t]
\begin{center}
\includegraphics{29-2ia1f1.pdf}
\end{center}
\hangcaption{化合物の異表記の例．\textit{Acrylic acid 4-tert-butylphenyl ester} とその{\paraphrase}である\textit{Acrylic acid 4-(1,1-dimethylethyl)phenyl ester}について示している．ここでは，\textit{tert-butyl}を表す構造が\textit{1,1-dimethylethyl}に言い換えられている．}
\label{fig:paraphrase_example}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

たとえば，登録数が1億を超えているPubChem \cite{10.1093/nar/gkaa971}上の化合物の異表記の平均数は3.88 個\footnote{2019年5月時点での調査結果．}である．
このように既に存在する大規模な化合物の言い換えに加えて，今後増え続ける化合物に対応するために
従来のNER 用の教師データだけから異表記パタンを学習するアプローチは困難な状況にある．

そこで，本研究では，化合物名抽出と{\parasent}をマルチタスク学習により同時に学習することで，表現の同一性を学習し化合物名抽出を行う手法，Handling Paraphrase in NER ({\proposed}) を提案する．
{\proposed}では，同一化合物の異なる表記を考量するために，
既存のDBに登録されている化合物の言い換えパタンを用いて自動生成される言い換え用の学習データから，attention-based neural machine translation (ANMT) \cite{luong-pham-manning:2015:EMNLP,bahdanau2015}を基に言い換え生成モデルを学習する際に，NERモデルと{\paraphrase}モデルのEncoderのパラメータを共有することで，言い換えパタンをNERで考慮する．

提案手法を，BioCreative IV CHEMDNER \cite{Krallinger2015}とPubChemから得られる言い換えパタンを用いて，評価を行った．
その結果，従来の辞書を使った教師データの自動拡張 \cite{DBLP:conf/ijcnlp/YiLSP04}を超える精度が得られ，化合物名抽出におけるNERと言い換え生成のマルチタスク学習の有効性を確認した． 


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{提案手法}

図\ref{fig:overall}に提案手法{\proposed}の全体像を示す．
まず，NERと{\parasent}モデルについて述べ，その後，{\paraphrase}モデルとNERモデルのマルチタスク学習の方法について述べる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[t]
\begin{center}
\includegraphics{29-2ia1f2.pdf}
\end{center}
\hangcaption{提案手法{\proposed}の全体図 $LSTM^{(f)}$, $LSTM^{(b)}$, $LSTM^{(wc)}$ と $LSTM^{(sc)}$のパラメータは{\paraphrase}モデルとNERモデルで共有される．}
\label{fig:overall}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{文字レベルの言語モデルを使用したNER}\label{sect:previous}

本章では，ベースラインモデルとして用いる，Bidirecional (Bi) LSTM-CRFとContextual String Embeddings (CSE)に基づくNERモデルBiLSTM-CRF+CSEについて述べる \cite{C18-1139}．
このモデルは，CoNLL2003のデータセットにおいて高い精度を示している．

このモデルでは，入力文の単語列として，\({\bf w} = w_{1}, w_{2},\cdots,w_{N}\) が与えられたとき，各単語$w_i$はベクトル$\mathbf{x}_i$に変換される．
ベクトル$\mathbf{x}_i$は，下記，図\ref{fig:overall}中の1) から3) の3つのembeddingを結合したものである．
\begin{itemize}
\item 1) ルックアップテーブルから取得される単語embedding
\item 2) 単語を構成する文字列上で計算されるBiLSTM ($LSTM^{(wc)}$) の隠れ層{\cwse} \cite{N16-1030}
\item 3) 文全体から構成される文字列から計算されるBiLSTM ($LSTM^{(sc)}$) の隠れ層{\cse} \cite{C18-1139}
\end{itemize}

{\cwse}は，ある単語に対して，$LSTM^{(wc)}$の順方向LSTMと逆方向LSTMの最後の隠れ層の結合である．
{\cse}は，ある単語に対して，$LSTM^{(sc)}$の順方向LSTMの単語を構成する最後の文字の隠れ層と，$LSTM^{(sc)}$の逆方向LSTMの単語を構成する最初の文字の隠れ層を結合したものである．
$LSTM^{(sc)}$は，事前学習を行った文字レベルの言語モデルである．
文字単位の文の生成確率は，下記の式を用いて表現される．
\begin{equation}
    P({\bf c}_{1 \colon T}) = \prod_{t=1}^{T} p(c_t | {\bf c }_{1 \colon t-1}),
\end{equation}
ここで，$c_t$は文中の$t$番目の文字を表し，$T$は文中の文字数を表す．

入力単語列$w$に対するベクトル表現${\bf X} = {\bf x}_1, \cdots,{\bf x}_N$を得た後に，
各単語のBiLSTMの隠れ層${\bf h}_i$と対象のNEタグのスコアベクトル${\bf e}_i$を，下記のように計算する．
\begin{align}
    \overrightarrow{{\bf h}_{i}} &= LSTM^{(f)}({\bf x}_i,\overrightarrow{{\bf h}_{i-1}})\label{eq:forward_lstm},\\
    \overleftarrow{{\bf h}_{i}} &= LSTM^{(b)}({\bf x}_i,\overleftarrow{{\bf h}_{i+1}})\label{eq:backward_lstm}, \\
    {\bf h}_i &=  [\overrightarrow{{\bf h}_{i}} ;\overleftarrow{{\bf h}_{i}} ], \\
    {\bf e}_i &= W_e{\bf h}_i,
\end{align}

ここで，$\overrightarrow{{\bf h}_{i}}$と$\overleftarrow{{\bf h}_{i}}$の次元数は$d$，${\bf h}_i$の次元数は$2d$， $W_e \in \mathcal{R}^{k \times 2d}$は重み行列であり，$k$は識別対象のNEの種類である．
$[\cdot;\cdot]$は二つのベクトルを結合する演算を行う．
${\bf h}_{i-1}$は，${\bf h}_i$の一つ前の単語に対する隠れ層，${\bf h}_{i+1}$は，${\bf h}_i$の一つ後ろの単語の隠れ層を表す．
また，$\overrightarrow{{\bf h}_{0}}$と$\overleftarrow{{\bf h}_{N+1}}$は，ゼロベクトルである．


BiLSTM-CRF+CSEモデルでは，スコア行列${\bf P} = ({\bf e}_1, \cdots, {\bf e}_N)^T \in \mathcal{R}^{N \times k}$とCRFを使用してタグの系列を予測する．
ここで， $P_{i,j}$は$i$番目の単語に対応するタグ$j$のスコアである．
また，出力のタグ系列 ${\bf y} = y_1,\cdots,y_N$の確率は，下記により計算される．
\begin{align}
      s({\bf w},{\bf y}) &= \sum^{N}_{i=-1} A_{y_i,y_{i+1}} + \sum^{N}_{i=1}P_{i,y_i}, \\
    p({\bf y} | {\bf w}) &= \frac{e^{s({\bf w},{\bf y})}}{\sum_{{\bf \tilde{y}} \in {\bf Y_w}} e^{s({\bf w},{\bf \tilde{y}})}}, 
\end{align}
ここで，${\bf Y_w}$はすべての可能なタグ系列の集合を表し， ${\bf A}$はタグ遷移スコアの行列，$A_{y_i,y_j}$は$i$番目のタグから$j$番目のタグへ遷移するスコア， $y_{-1}$ と$y_{N+1}$はそれぞれ文頭と文末を表すタグである．

学習では，モデルは正解のタグ系列を用いて下記の式を最大化するように学習する．
\begin{equation}
    \log(p({\bf y} | {\bf w})) = s({\bf w},{\bf y}) - \log(\sum_{\bf \tilde{y} \in {\bf Y}_w}
    e^{s({\bf w},{\bf \tilde{y}})}), \label{Eq:ObjectiveFunctionNER}
\end{equation}
ここで，{\bf y}は{\bf w}の正解のタグ系列である．
NEを抽出する際，モデルは，下記の式によって得られるスコアが最大のタグ系列を出力する．
\begin{equation}
   y^{*} = \argmax_{{\bf \tilde{y}} \in {\bf Y_w}} s({\bf w},{\bf \tilde{y}}).
\end{equation}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{{\paraphrase}モデル}
\label{sect:paraphrase}

提案手法では，
\pagebreak
LSTMベースのNER モデルのエンコーダーに言い換え知識を取り入れるため，NERモデルとLSTM ベースのエンコーダーデコーダー手法のANMT モデル\cite{luong-pham-manning:2015:EMNLP,bahdanau2015}
で共有のエンコーダーを用いて，化合物を含む文の言い換えモデルを学習する．
{\paraphrase}モデルは，入力文の単語列{\bf w}を化合物の言い換えを含む文の単語列 \({\bf y}^{trg} = y_1^{trg},y_2^{trg},\cdots,y_U^{trg}\)に変換する．ここで，$U$は言い換え後の文の単語数である．
LSTMエンコーダーは，入力文{\bf w}を固定長のベクトルへ変換し，その後LSTMデコーダーは変換された固定長のベクトルを使用して，出力単語列{\bf y}を生成する．
LSTMエンコーダーは，式 (\ref{eq:forward_lstm})と式 (\ref{eq:backward_lstm})によって定義される双方向LSTMを使用し，
NERモデルと同じくベクトル${\bf x}_i$を入力文の単語列の$i$番目の単語のembeddingとして使用する．
双方向LSTMのエンコーダーの最後の隠れ層の状態である，式 (\ref{eq:forward_lstm}) の$\overrightarrow{\bf h}_N$と，式 (\ref{eq:backward_lstm}) の$\overleftarrow{\bf h}_1$は，
LSTMデコーダの初期状態として，${\bf s}_0 = [\overrightarrow{\bf h}_N ; \overleftarrow{\bf h}_1]$で表される式の形で用いられる．

デコーダは，$j$番目の単語の隠れ層${\bf s}_j$を下記のように計算する．
\begin{equation}
    {\bf s}_j = LSTM_{dec}([{\bf v}_{j-1};\hat{{\bf s}}_{j-1}],{\bf s}_{j-1}),
\end{equation}
ここで，${\bf v}_{j-1}$は， $y_{j-1}^{trg}$の単語embedding，$\hat{{ \bf s}}_{j-1}$は$(j-1)$番目のアテンションベクトルである．
本モデルでは，コンテキストベクトル${\bf o}_j$を用いて，$j$番目のアテンションベクトルを以下のように計算する．
\begin{equation}
    \hat{{\bf s}}_{j} = \mathrm{tanh}(W_{e}[{\bf s}_j ; {\bf o}_j]),
\end{equation}
ここで，$W_{e}$は重み行列であり，$\mathrm{tanh}$はハイパボリックタンジェント関数である．
コンテキストベクトル ${\bf o}_j$は，エンコーダの隠れ層の重み平均によって下記のように算出される．
\begin{align}
    {\bf o}_j &= \sum_{i=1}^{N}\alpha_j(i){\bf h}_i, \\
        \alpha_j(i) &= \frac{\exp({\bf h}_i \cdot {\bf s}_{j})}{\sum_{k=1}^{N}\exp({\bf h}_k \cdot {\bf s}_{j})},
\end{align}
$\exp$は，指数関数である．
デコーダは，
学習時には，下記のように$j$番目の正解トークン$y_j^{trg}$の確率を計算する．
\begin{equation}
    p(y_j^{trg} | {\bf y}_{< j}^{trg},{\bf w}) = \mathrm{softmax}(W_s {\hat {\bf s}_{j}}),
\end{equation}
ここで，$W_s$は重み行列である．
文章の生成時には，最も確率の高い単語が選択される．
目的関数は下記のように定義される．
\begin{equation}\label{Eq:TransObjectiveFunc}
    J(\theta) = -\sum_{(\bf w,{\bf y}^{trg})\in D} \log p({\bf y}^{trg}|\bf w),
\end{equation}
$D$は学習データであり，$\theta$はモデルパラメータの集合である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{固有表現抽出における{\paraphrase}の考慮}

提案手法である{\proposed}は，\ref{sect:previous}章で述べたNERモデルと\ref{sect:paraphrase}章で述べた{\parasent}モデルを同時にマルチタスク学習を行う．
{\parasent}モデルは，入出力ともに文であり，{\parasent}モデルの入力文と出力文は，言い換えの対象である化合物名が異なる．
マルチタスク学習では，式(\ref{eq:forward_lstm})と式 (\ref{eq:backward_lstm})で述べた，文字embeddingの重み行列とLSTMパラメータ，$LSTM^{(wc)}$が2つのモデルで共有される．
パラメータの共有では，NERモデルのLSTMの部分は異なる表記のある化合物を，類似するベクトル表現へと変換することが期待される．
2つのモデルの目的関数は，それぞれ式 (\ref{Eq:ObjectiveFunctionNER})と式(\ref{Eq:TransObjectiveFunc})である．

今回は，最適化の方法を決めるために，(A) ミニバッチごとに，式 (\ref{Eq:ObjectiveFunctionNER})によるNERモデルの最適化と式(\ref{Eq:TransObjectiveFunc})による{\paraphrase}モデルの最適化を交互に行う方法，(B) NERモデルの学習が終了した後に，{\paraphrase}モデルの最適化を行う方法，(C) {\paraphrase}モデルの学習が終了した後に，NERモデルの最適化を行う方法の3パタンを比較し，開発データ上の精度が高かった(A)を採用した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験設定}

実験では，テキスト中の化合物名と薬物名を抽出するタスクであるBioCreative IV CHEMDNERのデータセットを使用した．
本実験では，CHEMDNERに対し，\citeA{att-chemd}ら
が配布しているデータ\footnote{\url{https://github.com/lingluodlut/Att-ChemdNER}}を利用して実験を行った．
文字レベルの言語モデルは，PubMedのウェブサイト\footnote{\url{https://www.nlm.nih.gov/databases/download/pubmed_medline.html}}のMEDLINEアブストラクト (PubMedAbs)を使用して事前学習を行い，単語embedding層はword2vec \cite{Mikolov2013EfficientEO}を用いてPubMedAbsから学習したものを使用した．

また，PubChemから作成した化合物の{\paraphrase}の集合PubChemDicを作成し，言い換え生成に用いた．
言い換えの生成には，
  PubchemDic中で最長一致した文字列に対する変換を行った．
  最長一致でマッチングする際は大文字と小文字は区別しなかった．

表\ref{table:parameter}に実験で使用したモデルのパラメータを示す．
単語embedding層，文字embedding層の次元数は，\citeA{att-chemd}らの手法にならい決定した．文字言語モデルのLSTMの次元数は，\citeA{C18-1139}らの手法にならい決定した．NERモデルのLSTMは，開発データを用いて，$100，150，200$次元で精度評価を行い決定した．
最適化にはSGDを使用し，学習率の初期値は$0.1$とした．
  前回のエポックよりlossが3回増加した場合，学習率を半分とし，
  学習の終了条件としては，150エポックを最大として，
  学習率が$0.0001$より小さくなる場合学習を終了とする．
  ミニバッチサイズは32とした．
  プログラムは，\citeA{C18-1139}らの実装を基に{\paraphrase}生成の機能を追加実装した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[t]
\input{01table01.tex}
\caption{モデルのパラメータ．LSTM 内で扱われる各ベクトルの次元数．}
\label{table:parameter}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

提案手法の有効性を示すため，下記のモデルと比較した．
``+P''は，PubChemDicから取得される{\paraphrase}を考慮していることを示し，
``-P''は，{\paraphrase}を考慮していないことを示す．
\begin{itemize}
\item
  ベースラインモデル : \ref{sect:previous}章で述べた\cite{C18-1139}
  のBILSTM-CRF+CSEを用いる．
\item
  VE-P : PubChemDicを用いて，\cite{DBLP:conf/ijcnlp/YiLSP04}と同様に，
  学習データ内の化合物をランダムに置き換えたvirtual examples (VEs)で学習するモデルである．
  入力が，... 
  \textless{}CHEM{\textgreater}Phenylalanine\textless{}/CHEM{\textgreater} is ... の場合，たとえば，化合物の個所を他の化合物であるethyleneに置き換えた
  ... \textless{}CHEM{\textgreater}ethylene\textless{}/CHEM{\textgreater} is ... が追加のNER用学習データとして自動作成される．
\item
  VE+P : PubChemDicを用いて，学習データ内の化合物を対応する{\paraphrase}の化合物に置き換えたVEsで学習するモデルである．Phenylalanineとその{\paraphrase}であるL-$\beta$-phenylalanineから，
  入力が，... \textless{}CHEM{\textgreater}Phenylalanine\textless{}/CHEM{\textgreater} is ... の場合，
  ... \textless{}CHEM{\textgreater}L-$\beta$-phenylalanine\textless{}/CHEM{\textgreater} is ... が追加のNER用学習データとして自動作成される．
\item
  {\proposed}-P : PubChemDicを用いてランダムに生成された文により，
  NERと文生成をマルチタスク学習するモデルである．
  入力が，... Phenylalanine is ...の場合，Phenylalanineを置き換える化合物をPubChemDicからランダムに選択することで，たとえば，
  ... ethylene is ...を生成対象として作成する．
\item
  {\proposed}+P : PubChemDicを用いて，文中の化合物を対応する{\paraphrase}の化合物に置き換えた文のペアにより，NERと{\paraphrase}をマルチタスク学習を行う提案モデルである．
  入力が，... Phenylalanine is ...の場合，Phenylalanineに対する{\paraphrase}としてPubChemDicから，L-$\beta$-phenylalanine を選択し，  ... L-$\beta$-phenylalanine is ..を生成対象として作成する．
\end{itemize}

ベースラインモデルは，CHEMDNERの学習データ 55,458文を使用して学習を行う．
VE-PとVE+Pは，言い換えのありなしの比較である．
VE-Pは，
CHEMDNERの学習データから自動的に生成された追加のNER用学習データ55,458文を含む110,916文を用いて学習を行う．
VE+P (Small)は，化合物の{\paraphrase}によって，CHEMDNERの学習データから自動的に生成された3,575文とCHEMDNERの学習データから構成されるNER用の
59,033文を用いて学習する\footnote{VE+Pは，PubChemDicに含まれるNEを{\paraphrase}に置き換えたのみのため，VE-Pより少量の学習データ量となる．}．
{\proposed}-Pと{\proposed}+Pは，言い換えのありなしの比較である．また，VEと{\proposed}の違いは，言い換えを考慮する手法の比較である．
 {\proposed}-Pと{\proposed}+P (Large)は，
  言い換えの学習データとして，PubMedAbsに対してPubChemDicを用いて化合物の変換が行われた文章からランダムに選択した100,000文を用いた．
  また，NERの学習データにはCHEMDNERを使用する．
  本実験では，計算時間の制約上，言い換えの学習データ数は100,000文とした．
  また，一つの事例に対して複数の言い換えを生成することが可能であるが，本実験では，
  計算時間の制約上，一つの事例に対して一つの言い換えのみ生成した．  

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[b]
\input{01table02.tex}
\hangcaption{各モデルの学習データ生成の例．ここでは，{\it Phenylalanine}が出現する文に対して，生成された学習データの例について示している．
{\it L-$\beta$-phenylalanine}は，PubChemDicから取得された{\it Phenylalanine}の言い換えであり，
{\it ethylene}は，PubChemDicからランダムにサンプリングされたもので，言い換えではない．
\textless{}CHEM\textgreater と\textless{}/CHEM\textgreater に囲まれた箇所が，NERの学習データ内の化合物名となる．
}
\label{table:paraphrase_example}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

例として，+Pでは，``... {\it Phenylalanine} is ...''は，``... {\it L-$\beta$-phenylalanine} is ...''や``.. {\it (S)-2-Benzylglycine} is  ...''に変換される．
ここで，{\it L-$\beta$-phenylalanine} や {\it (S)-2-Benzylglycine}の{\it Phenylalanine}の{\paraphrase}である.
-Pでは，``... {\it Phenylalanine} is ...''は，``... {\it ethylene} is ....''のように変換される．
ここで，{\it ethylene}はPubChemDicからランダムにサンプリングされたものである．
表\ref{table:paraphrase_example}に各モデルの言い換えの学習について例を示す．

また，二種類の言い換え学習データサイズで評価を行った．
VE+P (Small)とVE+P (Large)，{\proposed}+P (Small)と{\proposed}+P (Large)の比較は，学習データのサイズの違いの比較である．
一つ目は，{\proposed}+Pを，CHEMDNER の学習データ内の3,575文の化合物に対して，PubChemDic を用いて{\paraphrase}をマルチタスク学習する{\proposed}+P (Small)の実験を行った．
二つ目は，言い換えデータ量を増やすことによる効果を調べるために，，CHEMDNER の学習データと10 万文のPubMedAbs 内の化合物を抽出対象とした学習データを用いたVE+P (Large)の実験を行った．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験結果}

実験結果を表 \ref{table:result}に示す．
実験結果より，{\proposed}+P (Large)は最も高いF-scoreを示しており，また，{\paraphrase}を考慮した{\proposed}+PやVE+Pはベースラインモデルより高いF-scoreを示した．
実験結果から，{\paraphrase}を考慮することで，精度向上に貢献していることがわかる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 3
\begin{table}[b]
\input{01table03.tex}
\hangcaption{実験結果．+Pが付いている結果は{\paraphrase}を考慮しており，ベースラインおよび-Pが付いている結果は{\paraphrase}を考慮していない．}
\label{table:result}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

二種類の言い換え学習データサイズでの評価について下記に示す．
一つ目の，CHEMDNER の学習データに対して拡張を行い，マルチタスク学習を行う{\proposed}+P (Small)の場合，F-scoreは，92.49となり，VE+P (Small)の92.47 より高いF-score を示した．
二つ目の，CHEMDNER + PubMedAbs 内の化合物を抽出対象として10 万文サンプリングを行い学習したVE+P (Large)では，
F-score が92.48 となり，{\proposed}+P (Large)が92.57であるため，
{\proposed}+Pが高いF-score を示した．本実験から，自動生成した化合物の言い換えを含む文ペアを{\proposed}+Pで学習することで
精度改善に貢献する結果が示された．


また，2種類の検定を行った．
検定では，{\proposed}+P (Large)と，ベースラインモデル，VE-P，VE+P (Small)，{\proposed}-Pの比較を行った．
一つ目は，
{\proposed}+P (Large)とベースラインモデル，VE-P，VE+P (Small)，{\proposed}-Pを比較し，
単語に割り当てられたラベルの一致および不一致に基づくマクネマー検定を行った \cite{Sha:2003:SPC:1073445.1073473}．
{\proposed}+P (Large)は，ベースラインモデルと比較して，$p < 0.01$で有意であった．
{\proposed}+P (Large)と，VE-P，VE+P (Small)，{\proposed}-Pを比較した結果，有意差はなかった．
二つ目は，\citeA{DBLP:conf/ijcnlp/SasanoK08}が用いたbi-nominal testを行った．
この検定では，{\proposed}+P (Large)によってのみ正しく認識されたNEの数と，その他の手法によって正しく認識されたNEの数を数え上げる．
その後，出力が二項分布であるという仮定に基づき，bi-nominal testを適用する．
提案手法は，その他の手法と比較して，すべての結果において，有意であった ($p < 0.05$)．
これらの結果より，{\proposed}+P (Large)により，より大規模な言い換え学習用データを用いて，{\paraphrase}を考慮することが有効であることがわかる．

また，学習データとPubChemDicによって，開発データにおけるカバーされていないNEの正解率も評価を行った．
表\ref{Table:Analysis}より，提案手法は学習データやPubChemDicでカバーされているNEとカバーされていないNEの両方で高い正解率を示していることがわかる．

ここで，PubChemDicと学習データにおける開発データの化合物名に対するカバー率について，下記に記す．
学習データには，8,508個の化合物名が含まれており，開発データの化合物の70.94\%が学習データに含まれている．
PubChemDicには，337,289,536の化合物名が含まれており，開発データの化合物の29.11\%がPubChemDicに含まれている．
二つを含めた場合，開発データの化合物名をカバーしている割合は，75.42\%である．
{\proposed}+PはVE+Pと比較し，カバーされていない化合物の抽出性能も向上している．これは，化合物を言い換える学習によって，さまざまな化合物が近いベクトルとして表現できたと考えられ，
NER用の教師データから学習した化合物以外のものも高い性能で抽出できたと考えられる．

VE+P (Small)と，{\proposed}+P (Large)の抽出結果の具体例を比較する．
  表\ref{table:extraction_example}に，抽出結果について示す．入力「TFF2 N - glycopeptide」から「N」のみを抽出する例では，HanPaNE+Pでは「N」のみを正しく抽出できたが，VE+Pは，「N」を抽出できなかった．
  また「pluronic ( Plu )」から「pluronic」と「Plu」 のみ抽出する例では，
  VE+Pの出力は，「pluronic」と「Plu」に加えて「(」を抽出した．
  このことから，言い換えを学習することで，化合物の部分構造を取得でき，
  単語列の一部のみが抽出対象である場合も正しく識別ができたと考えられる．
  一方で，「OVX DMII rats」は，「DMII」は抽出対象ではないが，HanPaNE+Pは誤って抽出してしまった．
  このように，{\proposed}+P (Large)では，化合物でない単語に対しても化合物として多く抽出する傾向にあった．また，表\ref{table:result}
  の実験結果においても，{\proposed}+P (Large)は，Recallの改善がF-scoreの改善に貢献していることは，この傾向と一致する．
  この問題を改善することは今後の課題としたい．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 5-->4
\begin{table}[t]
\input{01table05.tex}
\hangcaption{学習データとPubChemDicによってカバーされているNE (Acc.C)とカバーされていないNE (Acc.NC)の開発データ上での正解率}
\label{Table:Analysis}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 4-->5
\begin{table}[t]
\input{01table04.tex}
\hangcaption{VE+PとHanPaNE+Pの出力結果の例．この例では，TFF2 N - glycopeptide， pluronic ( Plu )，OVX DMII ratsの抽出結果を示している．}
\label{table:extraction_example}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{先行研究}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{化学分野における固有表現抽出}

表\ref{table:related_work}に，先行研究との比較を示す．
\citeA{Leaman2015} %と \citeA{Lu2015}
は，化学のNERの精度を向上するために，品詞や単語が大文字であるかといった素性を利用し，その素性に基づく分類からなる手法である．
\citeA{Lu2015}は，skip-gramとk-meansを用いて分類を行う手法である．
\citeA{att-chemd}
は，文間でのタグ付けの一貫性を保持するために，ドキュメントレベルの情報を扱うニューラルネットワークベースの手法である．
\citeA{Lee2020BioBERTAP}は，BERTを用いた手法であり，生物医学の文章を用いて事前学習を行ったモデルである．
{\paraphrase}を学習することで，提案手法は，これらの手法より高い精度で抽出できることがわかる．
\citeA{DBLP:journals/corr/abs-2011-06315}は，
  提案手法と同じくLSTMベースのモデルである．ただし，
  本研究とは違いPubMedから学習されたword embeddingsを用いて学習している．
  また，言い換えモデルは組み込まれていない．
  表\ref{table:related_work}より，\citeA{DBLP:journals/corr/abs-2011-06315}の手法は
  提案手法より高い精度を達成していることが分かる．
  提案手法の枠組みは\citeA{DBLP:journals/corr/abs-2011-06315}にも適用することが可能であり，
  \citeA{DBLP:journals/corr/abs-2011-06315}に化合物を含む文
  の言い換えモデルを組み込んで学習することで，さらなる精度改善が期待できる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 6
\begin{table}[t]
\input{01table06.tex}
\caption{先行研究のBioCreative IV's CHEMDNERタスクとの比較}
\label{table:related_work}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\citeA{DBLP:journals/corr/abs-2010-11784}は，UMLS \cite{Bodenreider2004TheUM}と呼ばれる様々な形式の生物医学の同義語を包括的に収集したデータを用いて，Transformer ベースの言語モデルを学習した手法を提案している．この手法では，UMLSから学習ペアをサンプリングし，同じ概念の同義語をクラスター化する自己アライメントにより，学習を行っている．提案手法では，\citeA{DBLP:journals/corr/abs-2010-11784}の手法とは異なり，周辺の文脈を考慮して言い換えを生成することで，周辺の単語列から出現しやすい化合物やその部分的な異表記のベクトルが得られる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{マルチタスク学習}

マルチタスク学習は，NERを含むNLPのタスクで精度向上において用いられる枠組みの一つである \cite{liu-multi,luong-multi,dong-multi,hashimoto-multi}．
\citeA{AAAI1817123}と\citeA{P17-1194}は，言語モデルを用いた系列ラベリングのマルチタスク学習の研究である．
\citeA{Aguilar2018} and \citeA{Cao2018}
は，word segmentationとNERのマルチタスク学習を提案した手法である．
\citeA{Peng2017}らの
マルチタスク学習の手法では，ドメイン適用の精度改善を行っている．
\citeA{Clark18}らの
手法では，POS taggingやparsingなどのさまざまなNLPのタスクを用いて，NERとマルチタスク学習を行っている．
\citeA{Crichtono2017} や \citeA{Wang2018}
の手法では，生物医学のさまざまなNLPタスクを用いて，NERとマルチタスク学習を行い，精度改善を行っている．

\citeA{DBLP:journals/corr/abs-2001-08904}は，BERTを用いたマルチタスク学習の手法であり，下層ではパラメータの学習を各タスクで共有したものを用いて，上層は，各タスクごとでパラメータの学習を行っている．
\citeA{Wang2019MultitaskLF}は，LSTMを用いてメインタスクと補助タスクのマルチタスク学習を行った手法であり，双方向LSTMを各タスクで共有したものと，タスクごとに学習したものを使用してNERの精度改善を行っている．

先行研究と本研究の大きな違いとして，{\paraphrase}を学習していることがあげられる．
先行研究では，NERの様々なデータセットや，POS taggingやparsingなどのNLPタスクを使用してマルチタスク学習を行い精度改善を行っているのに対し，
提案手法では，既に存在する化合物の言い換え辞書から，自動的に言い換え文のペアを作成することで学習を行う．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

本論文では，{\paraphrase}のペアを効率的に活用する{\paraphrase}モデルとNERモデルをマルチタスク学習する手法を提案した．
BioCreative IV CHEMDNERトラックで評価した結果，提案手法が先行研究の手法より高い精度が得られることが示された．
今後の課題として，BioCreative IV CHEMDNERトラック
以外のNERタスクの評価および，今回使用したLSTM ベースの言語モデルに加えて，Transformer ベースの言語モデルでの評価が挙げられる．
また，{\paraphrase}モデルの学習データを増やすことで，精度の改善が得られるか検証する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本論文は，理研AIP-富士通連携センターに所属時に国際会議2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing で発表した論文\cite{watanabe-etal-2019-multi}の内容に対して，説明や評価を追加したものである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.6}
\bibliography{01refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{渡邊　大貴}{%
2017年愛媛大学工学部情報工学科卒業．2019年同大学院理工学研究科修士課程修了．2022年より同志社大学大学院理工学研究科博士課程に在学．2019年（株）富士通研究所入社．現在，富士通株式会社に在籍．
}

\bioauthor{田村　晃裕}{%
2005年東京工業大学工学部情報工学科卒業．2007年同大学院総合理工学研究科修 
士課程修了．2013年同大学院総合理工学研究科博士課程修了．日本電気株式会 
社，国立研究開発法人情報通信研究機構にて研究員として務めた後，2017年より 
愛媛大学大学院理工学研究科助教，2020年より同志社大学理工学部准教授とな 
り，現在に至る．博士（工学）．言語処理学会，情報処理学会，人工知能学会， 
ACL各会員．
}

\bioauthor{二宮　崇}{%
2001年東京大学大学院理学系研究科情報科学専攻博士課程修了．同年より科学技術振興事業団研究員．2006年より東京大学情報基盤センター講師．2010年より愛媛大学大学院理工学研究科准教授，2017年同教授．東京大学
博士（理学）．言語処理学会，アジア太平洋機械翻訳協会，情報処理学会，人工知能学会，電子情報通信学会，日本データベース学会，ACL各会員．
}

\bioauthor{牧野　拓哉}{%
2012年東京工業大学大学院総合理工学研究科物理情報システム専攻修士課程修了．同年，（株）富士通研究所入社．2020年同大学院工学院情報通信系情報通信コース博士課程修了．博士（工学）．現在，株式会社リクルート Megagon Labsにて自然言語処理の研究開発に従事．言語処理学会会員．
}

\bioauthor{岩倉　友哉}{%
2003 年（株）富士通研究所入社．2011 年東京工業大学大学院総合理工学研究科物理情報システム専攻博士課程修了．
博士（工学）．現在，富士通株式会社主任研究員．
自然言語処理の研究開発に従事．情報処理学会，言語処理学会各会員．
}


\end{biography}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\biodate





\end{document}

