\documentclass[japanese]{jnlp_3.8}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
\usepackage{array}
\allowdisplaybreaks


\Volume{32}
\Number{3}
\Month{September}
\Year{2025}
%%%%\Issuetitle{「　　　　」特集号}


\received{2025}{2}{1}
\revised{2025}{4}{27}
\accepted{2025}{6}{2}

\setcounter{page}{829}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%   タイトル部分                                      %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{データ拡張による固有表現抽出の不確実性推定}
\jauthor{橋本　　航\affiref{Author_1} \and 上垣外英剛\affiref{Author_1} \and 渡辺　太郎\affiref{Author_1}}
\jabstract{%
本研究では，データ拡張が固有表現抽出 (Named Entity Recognition; NER) タスクにおける不確実性推定性能に与える影響を調査する．ヘルスケアや金融などの安全性が極めて重要な領域でNERを活用するには，事前学習済み言語モデルを含むディープニューラルネットワーク (Deep Neural Network; DNN) の予測の信頼性が高いことが必要不可欠である．しかし，DNNは誤較正を起こしやすいため，その適用範囲は限定されている．さらに，既存の不確実性推定手法は複数回の確率的推論を必要とするため計算コストが高いという問題がある．本研究では，NERのデータ拡張により特にドメイン内設定で不確実性推定性能が改善されることがわかった．また，データ拡張サイズを大きくすることでさらにNERの不確実性推定性能が改善され，その傾向はデータ拡張によって生成された文のパープレキシティと関連していることを示唆している．
\footnotetext{本論文は，言語処理学会 第30回年次大会 (NLP 2024) で発表した論文 \cite{hashimoto-etal-2024-data-anlp} およびThe 2024 Conference on Empirical Methods in Natural Language Processing (EMNLP 2024) で発表した論文 \cite{hashimoto-etal-2024-data} をもとに和訳および加筆・修正を行ったものである．}
}
\jkeywords{データ拡張，固有表現抽出，不確実性推定，確信度較正}

\etitle{Uncertainty Estimation through\\Data Augmentation in Named Entity Recognition}
\eauthor{Wataru Hashimoto\affiref{Author_1} \and Hidetaka Kamigaito\affiref{Author_1} \and Taro Watanabe\affiref{Author_1}}
\eabstract{%
This work investigates the impact of data augmentation on uncertainty estimation in Named Entity Recognition (NER) tasks. For the future advance of NER in safety-critical fields like healthcare and finance, it is essential to achieve accurate predictions with calibrated confidence when applying Deep Neural Networks (DNNs), including Pre-trained Language Models, as a real-world application. However, DNNs are prone to miscalibration, which limits their applicability. Moreover, existing methods for calibration and uncertainty estimation are computational expensive. Our investigation in NER found that data augmentation improves calibration and uncertainty in cross-genre and cross-lingual setting, especially in-domain setting. We also observed that increasing the data augmentation size further improved the uncertainty estimation performance in NER. In addition, its tendency suggests that the improvement correlated with the perplexity of sentences generated through data augmentation methods.
}
\ekeywords{Data Augmentation, Named Entity Recognition, Uncertainty Estimation, Confidence Calibration}

\headauthor{橋本，上垣外，渡辺}
\headtitle{データ拡張による固有表現抽出の不確実性推定}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% 所属
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\affilabel{Author_1}{奈良先端科学技術大学院大学}{Nara Institute of Science and Technology}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}
固有表現抽出 (Named Entity Recognition; NER) は固有表現に対する言及を見つけ，それらを事前定義されたカテゴリに分類する，自然言語処理における最も基礎的なタスクの1つである．
固有表現抽出によって得られた固有表現はイベント検出 \cite{VAVLIAKIS20131}，情報検索 \cite{ner-search}，個人ユーザー情報のマスキング \cite{mask-pui}などの下流タスクにとって重要である．
NERの発展はここ10年のディープニューラルネットワーク (Deep Neural Network; DNN) の発展に支えられている．
近年はBERTやDeBERTaなどの事前学習済み言語モデル (Pre-trained Language Model; PLM) ベースのモデルが，NERを含む多くの自然言語処理タスクの強力なベースラインとなっている．
しかし，PLMを含めたDNNは予測の不確実性（あるいは確信度）をしばしば正しく推定できない傾向にある \cite{pmlr-v70-guo17a,desai-durrett-2020-calibration}．
ここで機械学習における不確実性推定とは，モデルが出力する予測値に対して，その予測がどの程度信頼できるか，またはどれだけの誤差が含まれているかを定量的に評価する枠組みである．
具体的には，DNNでは例えば誤較正といった，予測の確信度が正解率と乖離している問題が存在する \cite{pmlr-v70-guo17a}．
ここでいう較正されている状態とは，モデルが予測時に出力した確信度が正解率と一致することを意味する\footnote{例えば，完全に較正されたモデルからの予測された確信度0.70は，その入力に対して70$\%$の正解率となる必要がある．}．
この問題により，医療や金融などの高い確信度での予測の誤りが致命的となる領域ではDNNの適用が制限される．
そのため，DNNをこれらの領域で活用するには，予測性能だけでなくその予測の不確実性を適切に推定する必要がある．
不確かと思われる予測に対して適切に高い不確実性（あるいは低い確信度）を提示できると，例えば未知の症状については機械的に分析せず人間の判断に任せる，といった応用が可能になる．


既存の予測の不確実性をより適切に推定する手法には，モンテカルロ・ドロップアウト \cite{pmlr-v48-gal16} やDeep Ensemble \cite{deep-ensemble-2017} などが存在する．
これらは構造化予測 \cite{jiang-etal-2022-calibrating,reich-etal-2020-ensemble}，質問応答 \cite{si-etal-2022-examining} および機械翻訳 \cite{malinin2021uncertainty} などのさまざまなNLPタスクに適用されている．
しかし，既存手法は1つのデータインスタンスに対する複数回の確率的推論を必要とするため，計算コストが高いという問題がある．

そこで，本研究ではデータ拡張に着目する．
コンピュータビジョン (Computer Vision; CV) 領域では，データ拡張処理によって生成された多様なデータを訓練データ集合に追加したうえでモデルを学習することで，モデルが入力に対してロバストになるため，不確実性推定の改善につながることが報告されている \cite{wen2021combining,Liu_2023_CVPR}．
これらの研究の知見と，データ拡張手法自体はモデル構造を変えないことを踏まえると，データ拡張により推論時間の増加を伴うことなく不確実性推定が改善されると期待される．
データ拡張はNERにも適用されているが \cite{dai-adel-2020-analysis,zhou-etal-2022-melm}，低資源設定における汎化性能の観点に限定されているものが多い．

本研究では，NERにおけるデータ拡張が不確実性推定性能に与える影響を，ジャンル横断および言語横断の設定において2つの異なるデータセットを用いて調査した．
実験結果から主に2つの知見が得られた．
第一に，NERにおけるいくつかのデータ拡張は，主にドメイン内設定\footnote{本研究では訓練データとテストデータの性質（ジャンルおよび言語）が同じであることをドメイン内，異なることをドメイン外として扱う．}で不確実性推定性能の改善につながる．
特に，マスクされたエンティティを予測するデータ拡張であるMasked Entity Language Modeling (MELM) \cite{zhou-etal-2022-melm} や，同じタイプとなるエンティティで置換するデータ拡張であるMention Replacement \cite{dai-adel-2020-analysis} は優れた不確実性推定性能を示す．
一方で，一般的な不確実性推定手法であるモンテカルロ・ドロップアウトや温度スケーリングは，データ拡張自体が本来不確実性推定性能の改善を目的としていないにもかかわらず，NERにおけるデータ拡張よりも不確実性推定性能の改善は限定的である．
第二に，データ拡張によって生成された文のパープレキシティが低いほど，データ拡張サイズを増やすと不確実性推定性能は改善される傾向にあることを示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{固有表現抽出}
過去10年間で，DNNを使用したNERは広く成功を収めてきた．Lampleらは，Bidirectional-LSTM (Bidirectional Long Term Short Memory) と条件付き確率場 (Conditional Random Field, CRF) を組み合わせたモデルBiLSTM-CRFを提案した \cite{lample-etal-2016-neural}．Akbikらは，BiLSTM-CRFと組み合わせた文字レベルの文脈化単語埋め込みを提案した \cite{akbik-etal-2018-contextual}．近年では，BERT \cite{devlin-etal-2019-bert}，RoBERTa \cite{roberta-2019}，DeBERTa \cite{he2021deberta} などの事前学習済みエンコーダに基づくNERモデルが，大規模言語モデルの隆盛にもかかわらず最先端のパフォーマンスを達成している \cite{xu2024large}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{不確実性推定}
一般的にDNNは，事前学習なしでは特に誤較正や自信過剰になる傾向がある \cite{pmlr-v70-guo17a,desai-durrett-2020-calibration,ulmer-etal-2022-exploring}．
予測の不確実性を推定する1つの方法として，複数の確率的予測を実行した上で得られるそれぞれの予測の確信度の平均やエントロピーを利用する方法が挙げられる．Deep Ensemble \cite{deep-ensemble-2017} は，複数のDNNモデルを学習し，それら複数の確率的予測から確信度の平均やエントロピーを得る．
MC Dropout \cite{pmlr-v48-gal16} は，学習時と推論時の両方でDropout \cite{JMLR:v15:srivastava14a} を適用し，推論時に複数の出力をサンプリングし，確信度の平均やエントロピーを得る．
これらは画像分類をはじめとした多くの分類問題において，優れた不確実性推定性能を示すことが知られている \cite{NEURIPS2019_eval_uncertainty,pmlr-v130-immer21a}．一方で，これらは複数の確率的予測を必要とするため，大きなコストがかかり実用化が妨げられている\footnote{Bayesian Neural Network（MC DropoutもBayesian Neural Networkとみなすことができる \cite{pmlr-v48-gal16}）では，各推論を平均して品質の高い予測確率の分布を得るためには10,000回程度の十分な回数の推論が必要であり，10回程度では不十分であることが示唆されている \cite{kristiadi2022posterior}．そのため，十分な品質の不確実性を得るには，推論の並列計算が可能な設定でも推論コストは高いと想定される．同論文では，Deep Ensembleではより少ない推論回数で十分な品質となる傾向にあることが示唆されている．一方で，Deep Ensembleは複数個のモデルから推論結果を得る必要があるため，依然として実運用上のコストは高い．}．

もう一つの方法として，比較的軽量な手法である後処理アプローチが存在する．
たとえば，温度スケーリング \cite{pmlr-v70-guo17a} は，ロジットを定数で割ることによって確信度を補正する，軽量でシンプルなベースラインである．しかし，NERタスク向けに適用した場合，各トークンの確信度を個別に調整することはできるものの，エンティティやその文脈を考慮した確信度の調整方法ではない．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{データ拡張}
データ拡張は，CV・NLPの領域において，特に低リソース設定での汎化性能を改善する目的で幅広く使用されている．
最近では，不確実性推定性能を改善するためのデータ拡張法に注目が集まっている．
テスト時拡張 \cite{Ashukha2020Pitfalls} は，推論中に複数のサンプルを生成し，予測を統合して予測の不確実性を推定する．
MixUp \cite{zhang2018mixup} は，2つのサンプル間の線形補間により，ソフトラベル化し新しいサンプルを生成し訓練データ集合に追加する．
MixUpについては，どのような場合に確信度較正性能が改善するかが調査されている \cite{pmlr-v162-zhang22f}．AugMix \cite{hendrycks-2020augmix} では，複数のデータ拡張操作を組み合せることで多様かつ元データと整合性のある画像を生成し，訓練データに追加してモデルを学習することでロバスト性や不確実性推定性能が改善されたモデル予測を得る．
テスト時拡張については推論時に複数回の推論が必要である一方で，MixUpやAugMixでは訓練時間は増えるものの推論時間には影響がないため，効率的な不確実性推定手法である．


NLP領域では，テキスト分類における確信度較正に対するデータ拡張の影響が調査されているものの \cite{kim-etal-2023-bag}，ドメイン内 (In-Domain; ID) 設定のみを対象としており，NERタスクおよびドメイン外 (Out-of-Domain; OOD) 設定の評価は対象となっていない．
さらに，NERにおけるデータ拡張によって，特に低リソース設定での予測性能が向上することがわかっている \cite{dai-adel-2020-analysis,zhou-etal-2022-melm,chen-etal-2022-style,hu-etal-2023-entity} が，これらの研究はNERの予測性能のみに焦点を当てており，不確実性推定性能については評価していない．
本研究は，IDとOODの両方の設定で，データ拡張がNERの不確実性推定性能に与える影響を包括的に調査した最初の研究である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{事前準備}

本節では，取り扱う対象である固有表現抽出，不確実性推定，及び固有表現抽出における不確実性推定について概要および本研究内での定義を説明する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{固有表現抽出}
入力系列を$\boldsymbol{X} = (x_1, x_2, \dots, x_L)$とし，各トークンに対応する正解ラベル系列を$\boldsymbol{Y} = (y_1, y_2, \dots, \\y_L)$，データセットを$D = \{ (\boldsymbol{X}^{(n)}, \boldsymbol{Y}^{(n)}) \}_{n=1}^N$とする．
DNNを用いたNERモデルは，入力系列\(\boldsymbol{X}\)に対し，トークン$l$における入力$\boldsymbol{x}^{(l)}$からロジット$\boldsymbol{z}^{(l)}$を得る関数$f_{\theta}$（パラメータ$\theta$を持つ）を用いる．すなわち，
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%% 数式1
\begin{equation}
\boldsymbol{z}^{(l)} = f_{\theta}(\boldsymbol{x}^{(l)}, \boldsymbol{X})
\end{equation}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
である．得られたロジットに対してソフトマックス関数を適用し，トークン$l$のラベルに対する確率分布は次のようになる．
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%% 数式2
\begin{equation}
p(y^{(l)}_i \mid \boldsymbol{x}^{(l)}_{i} ) = \frac{\exp(\boldsymbol{z}^{(l)}_i)}{\sum_{j=1}^K \exp(\boldsymbol{z}^{(l)}_j)}
\end{equation}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
ここで，$\boldsymbol{z}^{(l)}_{i}$はトークン$l$におけるクラス$i$のロジット，$y^{(l)}_i$はクラス$i$のラベル，$K$はクラスの数を表す．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{不確実性推定}
ここでは，予測の不確実性（あるいは確信度）を適切に評価するための主な枠組みである確信度較正 (Confidence Calibration) と選択的予測 (Selective Prediction) について説明する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{確信度較正 (Confidence Calibration)}
確信度較正とは，モデルが出力する確信度がその予測の正しさとどの程度一致しているかを測る枠組みである．たとえば，予測確率が0.8であるような予測については正解率が実際に80\%であると，そのモデル出力は完全に較正されている (perfectly calibrated) と言える．NERの場合は，エンティティ$E$の予測確率を$c(E)$，正解エンティティタイプを$y_{E}$，予測エンティティのタイプを$\hat{y_{E}}$とすると，
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%% 数式3
\begin{equation}
p (y_{E} = \hat{y_{E}} \mid c(E) = p) = p
\end{equation}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
の場合に完全に較正されていることとなる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{選択的予測 (Selective Prediction)}
選択的予測とは，モデル予測から得られた不確実性スコアがあらかじめ設定した閾値を下回る場合は，予測を行わないという選択を可能にした場合の性能を測る枠組みである．予測を行わない選択の導入により，性能とそのカバレッジのトレードオフが調整可能である．
例として，選択関数$s(E; \tau)$を，予測の不確実性スコア$u$がある閾値$\tau$以下の場合に予測を採用する関数として定義できる．
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%% 数式4
\begin{equation}
s(E; \tau) = 
\begin{cases}
1, & u \leq \tau \quad（\text{信頼できる予測として採用}）\\[1mm]
0, & u > \tau \quad（\text{予測を採用せず，人間やより強力なモデルが処理}）
\end{cases}
\end{equation}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
不確実性スコア$u$にはモデル予測の確信度の負値や，予測確率のエントロピーなどを利用することができる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{固有表現抽出における不確実性推定}
本研究では，NERにおける確信度および不確実性を，以前の研究 \cite{NIPS2015-kuleshov,jagannatha-yu-2020-calibrating} で導入された``Events of Interests''の概念を踏まえて定義する．
NERのような構造予測問題ではラベル空間$|\mathcal{Y}|$が非常に大きいため，代わりにモデル出力を処理することによって取得されるエンティティ$E$を含む集合$E \in \mathcal{L}(x)$に焦点を当てる．

$\mathcal{L}(x)$を構築するための主な戦略は2つ存在する．
1つ目の戦略は，モデル出力の最大事後確率 (Maximum-a-Posteriori; MAP) ラベル系列予測によって取得されたエンティティのみを用いて$\mathcal{L}(x)$を構築することである．
Jagannathaらの研究 \cite{jagannatha-yu-2020-calibrating} はこの戦略に基づいており，著者らはさらにNERモデルによって抽出されたエンティティはNERモデルとは別の二値分類器等の予測モデル（勾配ブースティング決定木 \cite{friedman2000greedy} など）を導入して確信度を調整している．
ラベル系列予測によって取得されたエンティティのみを評価対象にするため，確信度の品質および適合率に優れたモデルを，多様な候補を出すモデルよりも良好であると評価するようになるバイアスがある．

2つ目の戦略は，すべての可能なラベル系列から$\mathcal{L}(x)$を構築することである．
Jiangらの研究 \cite{jiang-etal-2022-calibrating} はこの戦略に基づいており，全ての可能なスパン候補を列挙したうえで有効なエンティティ集合を$\mathcal{L}(x)$とするように定義している．
ただし，全てのスパン候補を列挙する方法はWikiAnn \cite{pan-etal-2017-cross} などの短い系列を持つデータセットにおいて適しており，長いトークン列を持つデータセットでは，計算対象となるスパンの数が爆発的に増大するため，計算コストの観点で評価が困難である．

以上より，本研究では1つ目の戦略に基づき，モデル予測によって得られたエンティティのみを確信度および不確実性の評価に用いる．
具体的には，エンティティ$E$の確信度$c(E)$を得る場合，NERモデルにより抽出されたエンティティ$E$が入力系列中のトークン位置$s$から$e$までのスパンに対応するとき
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%% 数式5
\begin{equation}
\label{eq:entity_confidence}
c(E) = \prod_{l=s}^{e} \max_{i}p(y^{(l)}_i \mid \boldsymbol{x}^{(l)}_i)
\end{equation}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
とする\footnote{本研究では固有表現抽出モデルに条件付き確率場 (Conditional Random Field; CRF)層が存在するモデルを利用せずラベル確率がトークンごとで独立なため，スパンにおける予測確率はそれを構成するトークンのラベル確率の積で記述できる．CRFを用いてラベル確率を独立としない場合は，Constrained Forward Backwardアルゴリズムでスパンの確信度を得る必要がある \cite{jiang-etal-2022-calibrating}．}．

エンティティの不確実性$u(E)$は，エンティティの確信度の定義$c(E)$の負値とする．
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%% 数式6
\begin{equation}
\label{eq:entity_uncertainty}
u(E) = -c(E)
\end{equation}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{手法}
\label{sec:methods}
本節では，不確実性推定における一般的な手法と，本研究で用いるNERのデータ拡張手法について説明する．
これらの手法を適用して得られたトークンレベルの確信度を，式(\ref{eq:entity_confidence})および式(\ref{eq:entity_uncertainty})を用いてエンティティ単位の確信度および不確実性に変換して評価に用いる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{既存手法}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{Softmax Response}
Softmax Responseは，ベースモデルにおけるSoftmax層の出力の最大値を確信度として扱う単純なベースラインである．本論文ではBaselineと表記する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{温度スケーリング (Temperature Scaling; TS)}
温度スケーリング \cite{pmlr-v70-guo17a} は，DNNによって出力された確信度を較正するための後処理手法である．
温度スケーリングでは，較正された確率を取得するために，ソフトマックス関数を適用する前に温度パラメータ$T$でロジットを割る．
ソフトマックス関数はロジット$\boldsymbol{z}$を受け取り，確率分布$\boldsymbol{p}$を出力する:
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%% 数式7
\begin{equation}
p(y^{(l)}_i \mid \boldsymbol{x}^{(l)}_i ) = \frac{\exp(\boldsymbol{z}^{(l)}_i/T)}{\sum_{j=1}^K \exp(\boldsymbol{z}^{(l)}_j/T)}.
\end{equation}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{ラベル平滑化 (Label Smoothing; LS)}
ラベル平滑化 \cite{Miller1996AGO,pereyra2017regularizing} は，モデルの確信度較正性能や汎化性能を向上させるために使用される手法である．学習中に正解ラベルに対してわずかな不確実性を導入することで，ラベル平滑化は過適合を軽減し，モデルがより堅牢で正確な表現を学習するように促される．ラベル平滑化では，次のように平滑化パラメータ$\epsilon$を導入して平滑化したラベル$y^{LS, (l)}_{i}$を生成する:
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%% 数式8
\begin{equation}
y^{LS, (l)}_{i} = y^{(l)}_{i} (1 - \epsilon) + \frac{\epsilon}{K}.
\end{equation}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{モンテカルロ・ドロップアウト (Monte-Carlo Dropout; MC Dropout)}
モンテカルロ・ドロップアウトは，Deep Ensembleと並んで，複数回の予測を用いてDNNの不確実性を推定する代表的な手法の1つである \cite{pmlr-v48-gal16}．
本手法では，異なるドロップアウトマスクを使用してモデルの推論を$M$回実行し，全実行の平均ソフトマックス出力を取得する（本研究では$M = 20$とした）．モンテカルロ・ドロップアウトは同じモデルで複数回推論するだけでよいため，複数個のモデルの訓練も必要なDeep Ensembleと比較すると効率的に不確実性を推論できる．トークン$l$における$t$回目の推論におけるロジットを$\boldsymbol{z}^{(t, l)}$とすると，式は次のように書ける:
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%% 数式9
\begin{equation}
p(y^{(l)}_i \mid \boldsymbol{x}^{(l)}_i ) = \frac{1}{M} \sum_{t=1}^M \frac{\exp(\boldsymbol{z}_i^{(t, l)})}{\sum_{j=1}^K \exp(\boldsymbol{z}_j^{(t, l)})}.
\end{equation}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{データ拡張}
本研究で用いる固有表現抽出におけるデータ拡張について説明する．本研究では，IOB2フォーマットを用いた系列ラベリングのためのデータ拡張を対象とする．本設定では，まず利用する訓練データからランダムにサンプリングする．そのデータに対してデータ拡張手法を適用したデータを訓練データに追加してモデルを学習することで，不確実性推定性能の改善を図る．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{Label-wise Token Replacement (LwTR)}
Label-wise Token Replacementは，文中のトークンを同じラベルを持つ別トークンで置換するデータ拡張手法である \cite{dai-adel-2020-analysis}．
どのトークンが置換されるかは，ハイパーパラメータ$p$を持つ二項分布で決定され，選択されたトークンは学習データのラベルごとのトークン分布に基づき，同じラベルを持つ別のトークンにランダムに置換される．図\ref{fig:ner_simple_da_overview}の例では，2番目と8番目のトークンが同じラベルからのトークンで置換されている．
LwTRによって生成されたデータは，元のデータと同じラベル列を保持することになる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%% fig. 1
\begin{figure}[t]
\begin{center}
\includegraphics{32-3ia3f01.eps}
\end{center}
\hangcaption{データ拡張元の文と，本研究で用いるDaiらの論文 \protect\cite{dai-adel-2020-analysis} で提案されたデータ拡張手法を適用した後の文の例．変更された単語は緑で示されている．}
\label{fig:ner_simple_da_overview}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{Mention Replacement (MR)}
Mention Replacementは，LwTRと異なり，文中のエンティティを同じエンティティタイプを持つ別のエンティティで置換する \cite{dai-adel-2020-analysis}．
MRでは，エンティティ単位でLwTRと同様に二項分布で置換対象のエンティティを選択する．
図\ref{fig:ner_simple_da_overview}の例では，2番目のエンティティが別の組織名で置換されている．
エンティティは複数のトークンを持つことができるため，MRは元のラベル列を保持するとは限らない．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{Synonym Replacement (SR)}
Synonym Replacementは，トークンをWordNet \cite{miller1995wordnet} の類義語に基づいて置換する点を除いてLwTRと同様である．
図\ref{fig:ner_simple_da_overview}の例では，8番目のトークンである``story''が類義語の``narrative''に置換されている．
同義語は複数のトークンを持つことができるため，SRは元のラベル列を保持するとは限らない．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%% fig. 2
\begin{figure}[t]
\begin{center}
\includegraphics{32-3ia3f02.eps}
\end{center}
\caption{MELMの概要図 \protect\cite{zhou-etal-2022-melm}．}
\label{fig:melm_overview}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{Masked Entity Language Modeling (MELM)}
MRのような単純なエンティティの置換に基づくデータ拡張では，文脈に合致しないエンティティを挿入してしまう可能性がある．
Masked Entity Language Modelingでは，まず事前学習済みモデルを用いて，エンティティ部分がエンティティマーカーによってマスクされている文に対してエンティティを予測する学習を行う \cite{zhou-etal-2022-melm}．
その後，その学習済みモデルを用いて，マスクされたエンティティ領域に対してエンティティを予測することで，より文脈上適切なエンティティで置換されたデータ拡張を行う．
著者らの論文内で示された図を図\ref{fig:melm_overview}に示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{評価指標}
本節では，本研究で用いる評価指標について説明する．
確信度較正の評価のためにExpected Calibration Error (ECE) およびMaximum Calibration Error (MCE)，不確実性推定の領域の中でも，特にモデルの出力に応じ予測を実際に出力するか控えるかを選択できる選択的予測の性能の評価 \cite{gu-hopkins-2023-evaluation} のためにArea Under the Precision Recall Curve (AUPRC) を用いる．本研究ではこれらの指標をトークン単位ではなく，NERモデルによって抽出されたエンティティの単位で評価を行う．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{Expected Calibration Error (ECE)}
Expected Calibration Error (ECE) は，モデル出力の正解率と確信度の差を測る評価指標である \cite{aaai-2015-ece}．
具体的には，一定区間で切ったビン内における平均の確信度と，その確信度区間内におけるモデル予測の正解率の差の平均を測る．ECEは，次の式で書ける:
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%% 数式10
\begin{equation}
\text{ECE} = \sum_{b=1}^B \frac{|\mathcal{D}_b|}{n} \left \lvert \text{acc}( \mathcal{D}_b) - \text{conf}( \mathcal{D}_b) \right \rvert.
\end{equation}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
ここで，$B$は確信度区間のビンの数，$D_{b}$はモデル出力の確信度が$b$番目に含まれる事例の集合，$n$は評価対象の事例の総数，$acc(D_{b})$は$D_{b}$に対するモデル出力の正解率，$conf(D_{b})$は$D_{b}$に対するモデル出力の平均確信度である．
本研究では，$B = 10$とした．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{Maximum Calibration Error (MCE)}
Maximum Calibration Error (MCE) は，ECEと異なりモデル予測の正解率と平均確信度の差の最大値を測る．
MCEは次のように定義される:
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%% 数式11
\begin{equation}
    \text{MCE} = \max_{b=1}^B \left\lvert \text{acc}(\mathcal{D}_b) - \text{conf}(\mathcal{D}_b) \right\rvert.
\end{equation}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
MCEが小さいほど，特定の確信度区間でモデル出力の確信度が大きく外れる可能性が低いことを意味する．
MCEもECEと同様に$B = 10$とした．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{Area Under the Precision-Recall Curve (AUPRC)}

Area Under the Precision-Recall Curve (AUPRC) は，様々な閾値における適合率と再現率の関係を示す要約統計量である．
値が高いほど，特定の閾値における適合率が平均的に高いことを意味する．
AUPRCでは，式(\ref{eq:entity_uncertainty})に示した値を不確実性スコアとして評価した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験設定}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{データセット}
複数の設定で不確実性推定性能の評価を行うため，2つの異なるNERデータセットで実験を行った．

ジャンル横断の評価では，broadcast conversation ($\mathtt{bc}$)，broadcast news ($\mathtt{bn}$)，magazine ($\mathtt{mz}$)，newswire ($\mathtt{nw}$)，telephone conversation ($\mathtt{tc}$)，およびweb data ($\mathtt{wb}$)の6ジャンルで構成されるOntoNote 5.0データセット \cite{pradhan-etal-2013-towards} を使用する．
本データセットは，ジャンル横断設定でのNERの評価によく使用されるものである \cite{chen-etal-2021-data}．

言語横断の評価では，Wikipediaの文章，質問および検索クエリから作成された大規模な多言語NERデータセットであるMultiCoNERデータセットを使用する \cite{malmasi-etal-2022-multiconer}．
ソース言語として英語を使用し，ターゲット言語として英語，ドイツ語，スペイン語，ヒンディー語を使用する．データセットの統計量については，表\ref{tab:datasets}を参照していただきたい．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%% Table 1
\begin{table}[t]
\input{03table01.tex}
\hangcaption{使用したデータセットの統計量．表には，訓練，開発，テスト部分のエンティティタイプとデータ数が示されている．MultiCoNERでは，200,000件のテストデータから10,000件をランダムにサンプリングして使用した．}
\label{tab:datasets}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{学習設定の詳細}
本研究では，すべての実験で40GBのメモリを搭載した単一のNVIDIA A100 GPUでモデルを訓練した．
mDeBERTaV3 ($\texttt{microsoft/mdeberta-v3-base}$) \cite{he2023debertav} を，Hugging Face $\mathtt{transformers}$ \cite{wolf-etal-2020-transformers} の事前学習済みモデルチェックポイントからの多言語エンコーダとして使用し，系列ラベリングの枠組みでNERを行う．

損失関数にはクロスエントロピーを用い，損失は線形スケジューラ \cite{linear-scheduler-2017} を用いたAdamW \cite{adamw-2019} によって最小化される．バッチサイズは32で，最大ノルム1で勾配クリップが適用される．初期の学習率は$1\text{e} - 5$に設定した．また，過適合を避けるため，開発セットにおける$F_{1}$スコアが5回連続で改善されない場合は早期終了した．

TSの温度パラメータについては，Optuna \cite{optuna-2019} を用いて，100回の試行で[0.001, 0.002, ..., 5.000]の範囲で開発セット損失に基づいて最適化した．
さらに，開発セットを使用して，データ拡張の置換強度を操作するための二項分布パラメータ$p$を[0.1, 0.2, ..., 0.8]の範囲でグリッド探索によって最適化した．
LSでは，平滑化パラメータ$\epsilon$を最適化するために[0.01, 0.05, 0.1, 0.2, 0.3]の範囲でグリッド探索を実施した．
MELMでは，微調整時のマスク率$\eta$と生成時のマスクパラメータ$\mu$がハイパーパラメータである．著者らの論文 \cite{zhou-etal-2022-melm} と同様に，各ハイパーパラメータは[0.3, 0.5, 0.7]の範囲でグリッド探索して決定した．データ拡張のすべてのハイパーパラメータは，表\ref{tab:data_augmentation_hyperparameters}に示されている．
LwTR，MR，SRの実装については既存実装を参照した\footnote{\url{https://github.com/boschresearch/data-augmentation-coling2020}}\textsuperscript{,}\footnote{\url{https://github.com/kajyuuen/daaja}}．また，MELMの実装では公式リポジトリを参照した\footnote{\url{https://github.com/RandyZhouRan/MELM}}．
データ拡張に必要な元データは，断りのない限り元の訓練データから50\%サンプリングして実施した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%% Table 2
\begin{table}[t]
\input{03table02.tex}
\hangcaption{各ドメインにおけるデータ拡張手法で最適化されたハイパーパラメータ．LwTR，SR，MRの二項分布のハイパーパラメータと，MELMの ($\eta$, $\mu$) をそれぞれ提示する．}
\label{tab:data_augmentation_hyperparameters}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

各実験は異なるランダムシードで10回実行され，評価値の平均と標準偏差を報告する．便宜上，報告する値には100をかけて提示する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{結果と考察}
本節では，主な結果としてジャンル横断および言語横断での不確実性推定の性能を示す．
ジャンル横断での評価は，1つのジャンルの訓練セットで学習し，別ジャンルのテストセットで不確実性推定の性能を定量化することで行われる．
同様に，言語横断の設定では，1つの言語（本研究では英語$\mathtt{EN}$を使用）でモデルを学習し，別言語のテストセットで性能を評価する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{ジャンル横断設定}
\label{sec:cross-genre-evaluation}

表\ref{tab:ontonotes5_id_scores}の結果は，ソースドメインとターゲットドメインが同じであるID設定でのNERに対するOntoNotes 5.0のECEとMCEを示している．
表より，不確実性推定性能の改善においてこれまで有効であると考えられてきたTS，LS，およびMC DropoutよりもMELM，ついでMRやSRのようなデータ拡張手法が一貫して優れた性能を示していることがわかる．
特に，ソースジャンルが$\mathtt{tc}$の場合，データ拡張手法の1つであるMELMは，ベースラインと比較してECEで最大6.01\%の改善，MCEで最大5.62\%の改善と，優れた確信度較正性能を示していることがわかる．
表\ref{tab:datasets}に示したように，$\mathtt{tc}$ドメインは訓練データが乏しい状況ではなく十分なデータがあるような場合でもデータ拡張が効果的である．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%% Table 3
\begin{table}[t]
\input{03table03.tex}%
\hangcaption{ID設定でのOntoNotes 5.0における既存手法とデータ拡張の結果．``DA''はデータ拡張手法であることを意味する．評価値の平均と標準偏差は$\pm$を用いて示し，最も良いスコアは太字で強調した．{\textdagger}は，既存手法とデータ拡張手法でそれぞれ最良のスコアを選択したうえでのt検定で有意 (p $<$ 0.05) に改善されたことを示す．}
\label{tab:ontonotes5_id_scores}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

一方で，表\ref{tab:ontonotes5_ood_scores}に示すように，ターゲットドメインがOODの場合，特にOntoNotes 5.0$\mathtt{wb}$のようなターゲットドメインがソースドメインから遠い場合，データ拡張による性能の改善度合いは大きくなく，場合によっては低下することさえある．
この事象は，訓練データが少ない領域ではモデルが自信過剰になる傾向があることを示す近年の研究 \cite{xiong2023proximityinformed} と関連付けて説明することが可能である．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%% Table 4
\begin{table}[t]
\input{03table04.tex}%
\caption{OOD設定でのOntoNotes 5.0における既存手法とデータ拡張の結果．}
\label{tab:ontonotes5_ood_scores}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

図\ref{fig:tsne_token_embeddings}に，訓練されたBaselineモデルのエンティティに対応するトークンのみを使用したトークン埋め込みを，ハイパーパラメータである\textit{perplexity}\footnote{ここでの\textit{perplexity}はt-SNE可視化固有のハイパーパラメータであり，\ref{sec:impact-of-perplexities}節で論じる言語モデルのパープレキシティとは直接の関係はない．}を30としたt-SNE \cite{JMLR:v9:tsne_vandermaaten08a} で可視化した結果を示す．
データ拡張によって生成されたデータからのトークン埋め込みは，訓練データセットに近く，かつ訓練データセットに存在しない領域をカバーできていることから，ID設定においては先行研究 \cite{hendrycks-2020augmix} と同様に不確実性推定性能を改善できていると考えられる．
一方で，OODテストデータセットはあまりカバーできていない．
本研究で対象としたデータ拡張手法がトークンまたはエンティティの置き換えに基づいており，データ拡張によって生成された文が元の訓練データセットからそれほど離れていないためである可能性がある．
訓練データセットとは文のドメインが離れており，かつ不確実性推定性能の向上を目的として，ラベル記述文に整合したエンティティを生成することは，将来の研究の興味深い方向性の一つである．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%% Fig. 3
\begin{figure}[t]
\begin{center}
\includegraphics{32-3ia3f03.eps}
\end{center}
\hangcaption{OntoNotes 5.0 $\mathtt{bn}$ 訓練データセット（黒），MELM によって生成されたデータ（橙），ソースドメインテストセット（水色），OntoNotes 5.0 $\mathtt{wb}$ テストセット（緑）のトークン埋め込みを t-SNE で低次元に圧縮した結果．}
\label{fig:tsne_token_embeddings}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

また，AUPRCでの結果を表\ref{tab:ontonotes5_auprc_scores}に示す．
OntoNotes 5.0のAUPRCスコアでは，データ拡張法24ケース中15ケースで既存手法よりも優れている．
既存手法の中ではTSが優れたパフォーマンスを示しており，選択的予測性能の点でTSが優れた性能を示すことは，過去の研究の結果 \cite{galil2023what} と整合している．
データ拡張法では，MELMはECEやMCEなどの確信度較正に関する指標ほど優れていない．一方で特に$\mathtt{bc}$および$\mathtt{tc}$ドメインにおいて，MRがAUPRCの点で優れている傾向が確認できる．
確信度較正とAUCに基づくスコアは不確実性の異なる観点を測定するため \cite{galil2023what}，改善できる不確実性は手法によって異なると考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%% Table 5
\begin{table}[t]
\input{03table05.tex}
\caption{OntoNotes 5.0の既存手法とデータ拡張のAUPRC．}
\label{tab:ontonotes5_auprc_scores}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{言語横断設定}
\label{sec:cross-lingual-evaluation}

MultiCoNERデータセットにおいて英語をソース言語とした場合の言語横断の結果を表\ref{tab:multiconer_EN_calibration_scores}に示す．
ID設定では，MRは優れた不確実性推定性能を示す．
ジャンル横断での確信度較正と不確実性の性能とは対照的に，OOD設定ではMRとSRの両方が優れた性能を示す．
Jiangらの論文 \cite{jiang-etal-2022-calibrating} の結果では，言語的な距離 \cite{linguistic-distance-2005} が大きいほど，不確実性推定性能も落ちる傾向が示されており，本実験でも同様の傾向が得られている．
また，\ref{sec:cross-genre-evaluation}節での議論とは異なり，図\ref{fig:tsne_token_embeddings_multiconer}に示されているようにMultiCoNERではターゲット言語のみが存在する領域は限定されているため，データ拡張による不確実性のパフォーマンスは言語横断設定でもOODにとって比較的良好であると考えられる．
一方で，ジャンル横断の確信度較正で特に優れた性能を示したMELMは，言語横断設定では良い性能を示さない．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%% Table 6
\begin{table}[t]
\input{03table06.tex}
\caption{MultiCoNERにおいてソース言語を$\mathtt{EN}$としたときの既存手法およびデータ拡張手法の結果．}
\label{tab:multiconer_EN_calibration_scores}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%% fig. 4
\begin{figure}[t]
    \begin{center}
    \includegraphics{32-3ia3f04.eps}
    \end{center}
    \hangcaption{MultiCoNER $\mathtt{EN}$ 訓練データセット（黒），SR によって生成されたデータ（橙），ソース言語のテストデータセット（水色），および MultiCoNER $\mathtt{HI}$ テストデータセット（緑）における，エンティティに関連するラベルのみに対応するトークン埋め込みの t-SNE の結果．}
    \label{fig:tsne_token_embeddings_multiconer}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

本研究で使用したmDeBERTaV3の事前学習に使用されたCC100 \cite{conneau-etal-2020-unsupervised} データセット内の各言語のデータ量は英語が最も多く，次いでドイツ語，スペイン語，ヒンディー語の順である．
これは本研究で提示した不確実性性能の傾向と相関していることがわかる．
さらに，Limisiewiczらの研究 \cite{limisiewicz-etal-2023-tokenization} で述べられているように，トークン化において言語間で語彙が重複する傾向がある言語は，言語横断設定におけるNERでより良い予測性能を示していることから，不確実性推定性能の点でも同様に影響を受けている可能性がある．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{詳細な分析}
\label{sec:detailed-analysis}
ここでは，いくつかの実験設定で，データ拡張サイズが不確実性推定性能に与える影響を調査する．
また，NERにおけるデータ拡張が不確実性推定性能に与える影響をより深く理解するために，生成された文のパープレキシティを調査する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{データ拡張サイズの影響}
\label{sec:impact-of-augmentation-size}

データ拡張サイズが不確実性推定性能に与える影響を調査するために，OntoNotes 5.0の$\mathtt{tc}$およびMultiCoNERの$\mathtt{EN}$を用いてそれぞれデータ拡張サイズが評価スコアに与える影響を分析する．
図\ref{fig:id_transfer_augmentation_size}と図\ref{fig:ood_transfer_augmentation_size}は，それぞれID設定とOOD設定（ここでは，OntoNotes 5.0 $\mathtt{tc}$ → $\mathtt{mz}$とMultiCoNER $\mathtt{EN}$ → $\mathtt{ES}$）の結果を示している．
MRに続いてMELMは，データ拡張サイズが増えることで不確実性推定性能が改善することがわかる\footnote{データ拡張サイズが増えると不確実性推定性能が改善するかどうかについての議論であり，絶対値について議論していないことに注意．}．SRはデータ拡張サイズが2倍になると一貫して改善をもたらすものの，LwTRはデータ拡張サイズが増加してもわずかな改善しか示さず，悪化することさえある．
最後に，MELMはデータ拡張サイズを増やすと，\ref{sec:cross-genre-evaluation}節で優れた不確実性推定性能を示していたOntoNotes 5.0 $\mathtt{tc}$においてさらに改善が見られ，一方で\ref{sec:cross-lingual-evaluation}節で優れた性能を提示できていなかったMultiCoNER $\mathtt{EN}$ではデータ拡張サイズを増やしても性能の改善が見られない．
これらの結果より，ジャンルや言語横断設定で優れた不確実性推定性能を示す手法は，データ拡張サイズが大きくなるにつれてさらに性能が改善する可能性が高いことがわかる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%% fig. 5
\begin{figure}[t]
    \begin{center}
    \includegraphics{32-3ia3f05.eps}
    \end{center}
    \caption{ID設定における，各データ拡張方法の評価指標の平均値．}
    \label{fig:id_transfer_augmentation_size}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%% fig. 6
\begin{figure}[t]
    \begin{center}
    \includegraphics{32-3ia3f06.eps}
    \end{center}
    \caption{OOD設定における，各データ拡張方法の評価指標の平均値．}
    \label{fig:ood_transfer_augmentation_size}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

MRついでMELMでデータ拡張サイズを増やすと不確実性推定性能が改善する傾向にあるのは，これらのデータ拡張手法がエンティティ単位での置換に基づいているためだと考えられる．
エンティティ領域に対してのみ置換が実行される場合，文全体の構造には影響を与えにくいため，データ拡張サイズを大きくしても不確実性推定のパフォーマンスに悪影響は比較的少ないと思われる．
一方で，SRとLwTRでは，トークンを置き換えるデータ拡張手法のため，その文に不適切な品詞を持つトークンがしばしば挿入され，文として不適切となる可能性が高い．
それに伴い，データ拡張サイズを大きくすると不確実性推定のパフォーマンスが低下することが示唆されている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{データ拡張によって生成された文のパープレキシティ}
\label{sec:impact-of-perplexities}

ここでは，\ref{sec:impact-of-augmentation-size}の最後で述べた，データ拡張の置換単位が文としての妥当性に与える影響を調査するために，GPT-2\footnote{\url{https://huggingface.co/openai-community/gpt2}} \cite{radford2019language} を使用して，データ拡張によって生成された文のパープレキシティを計算した．
データ拡張によって生成された文の平均パープレキシティと，各データセットの元の訓練データセットの平均パープレキシティを表\ref{tab:perplexities}に示す．
\ref{sec:impact-of-augmentation-size}節で提示した結果を踏まえると，データ拡張サイズを増やしたときに不確実性性能が改善する手法は，データ拡張によって生成された文のパープレキシティが低いことがわかる．また，一貫して，MRによって生成された文の平均パープレキシティは最も低くなっている．
MRにおける置換はエンティティごとであり文の構造自体には影響を与えないため，本研究で用いたNERのデータ拡張手法の中で最もパープレキシティが低くなっていると考えられる\footnote{付録\ref{sec:appendix_f1_scores}に示すように，文の構造に影響を与えないことで，不確実性推定の性能だけでなく予測性能も影響を受ける可能性がある．}．
一方で，MELMはMRに次いで2番目にパープレキシティが低い．MELMによって生成されたエンティティは，文脈として適切そうに見えるが実際には存在しないエンティティや，エンティティとして成立していない出力によって悪影響を受けている可能性がある．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%% Table 7

\begin{table}[t]
\input{03table07.tex}
\hangcaption{各データセットにおける，データ拡張方法によって生成された文のパープレキシティ．データ拡張手法の中で最も低いスコアを太字で強調した．}
\label{tab:perplexities}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{結論}
本研究では，ジャンルおよび言語横断の観点から，複数の指標を用いてNERにおけるデータ拡張が不確実性推定に与える影響を調査した．
まず，ドメイン内設定では，MELM，ついでMRやSRが一貫して優れた不確実性推定性能を示すことがわかった．
一方で，ドメイン外設定では，データ拡張による不確実性性能への影響は，特にターゲットドメインがソースドメインから遠い場合に効果が小さくなる．
第二に，MRのようにデータ拡張によって生成された文のパープレキシティが低いほど，データ拡張サイズを増やすと不確実性推定性能がさらに改善することを示唆している．
本研究で提示した結果は，NERのデータ拡張による不確実性の推定の特定領域での有効性およびその限界を示しており，これらに基づいた将来の研究が期待される．


%%%%%%%%%%%%%%%%%%%%%%%
%%% Acknowledgement %%%
%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment
本研究を実施するために提供された，奈良先端科学技術大学院大学のHigh Performance Computing (HPC) 環境に感謝の意を表します．


%%%%%%%%%%%%%%%%%%%%
%%% Bibliography %%%
%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{03refs}


%%%%%%%%%%%%%%%%%%%%
%%%   Appendix   %%%
%%%%%%%%%%%%%%%%%%%%
\appendix

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{推論時間}
\label{sec:inference_time}
自明ではあるものの，データ拡張手法そのものは学習時間は増やすものの推論時間を増やすアプローチではないため，表\ref{tab:inference_time}に示されている結果のように，データ拡張を適用しても推論時間は増加しない．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%% Table 8

\begin{table}[h]
\input{03table08.tex}
\caption{MultiCoNER $\mathtt{EN}$のテストデータでの各アルゴリズムの推論時間．}
\label{tab:inference_time}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{$F_{1}$スコア}
\label{sec:appendix_f1_scores}

表\ref{tab:ontonotes5_f1_scores}および表\ref{tab:multiconer_EN_f1scores}は，各手法を用いた場合の$F_{1}$スコアを示している．
多くの場合，データ拡張手法自体は予測性能を低下させない一方で，MELMは特にソースドメインがOntoNotes 5.0の$\mathtt{nw}$と$\mathtt{tc}$である場合に予測性能を大幅に低下させている．
\ref{sec:cross-genre-evaluation}節と\ref{sec:cross-lingual-evaluation}節の結果を考慮すると，MRは多くの場合，予測性能を低下させることなく，不確実性推定性能を改善していることがわかる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%% Table 9

\begin{table}[p]
\input{03table09.tex}
\caption{OntoNotes 5.0における既存手法とデータ拡張手法の$F_{1}$スコア．}
\label{tab:ontonotes5_f1_scores}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%% Table 10

\begin{table}[t]
\input{03table10.tex}
\caption{MultiCoNERにおいてソース言語を$\mathtt{EN}$としたときの既存手法とデータ拡張手法の$F_{1}$スコア．}
\label{tab:multiconer_EN_f1scores}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



\newpage

%%%%%%%%%%%%%%%%%
%%% Biography %%%
%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{橋本　　航}{%
2019年九州大学大学院工学府修了．同年よりSansan株式会社に入社．2022年奈良先端科学技術大学院大学情報科学領域博士後期課程入学．言語処理学会，ACL各会員．
}

\bioauthor{上垣外英剛}{%
2017年東京工業大学大学院総合理工学研究科知能システム科学専攻博士課程修了．博士（工学）．同年NTTコミュニケーション科学基礎研究所入所．2018年より東京工業大学科学技術創成研究院未来産業技術研究所助教．2022年より奈良先端科学技術大学院大学先端科学技術研究科情報科学領域准教授．自然言語処理分野の研究に従事．情報処理学会，言語処理学会，ACL各会員．
}

\bioauthor{渡辺　太郎}{%
1994年京都大学工学部情報工学科卒業．1997年京都大学大学院工学研究科情報工学専攻修士課程修了．2000年Language and Information Technologies, School of Computer Science, Carnegie Mellon University, Master of Science取得．2004年京都大学博士（情報学）．ATRおよびNTT，NICTにて研究員，また，グーグルでソフトウェアエンジニアとして勤めた後，2020年より奈良先端科学技術大学院大学教授．自然言語処理や機械学習，機械翻訳の研究に従事．
}

\end{biography}


\biodate   %%%% 受付日の出力

\end{document}

