\documentclass[japanese]{jnlp_3.8}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
%%%%\usepackage{array}
    \usepackage{dcolumn}
\usepackage{hangcaption_jnlp}
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%\usepackage{xcolor}  % グラフィックス関連
    \usepackage[dvipdfmx]{xcolor}
%%%%\usepackage[dvipdfmx]{graphicx}
%%%%\usepackage{amsmath}
%%%%\usepackage{url}
%%%%\usepackage{authblk}
%%%%\usepackage{multicol}
\usepackage{booktabs}
%%%%\usepackage{ascmac}
%%%%\usepackage{fancybox}
%%%%\usepackage{jumoline}
\usepackage{multirow}
%%%%\renewcommand\UrlFont{\rmfamily}
\newcommand{\pkg}[1]{\textsf{#1}}
\newcommand{\code}[1]{\texttt{#1}}
\newcommand{\comment}[1]{\textcolor{red}{#1}}
\definecolor{focus-cat-color}{RGB}{244, 204, 204}
\newcommand{\focuscat}[1]{「#1」}
\definecolor{focus-term-color}{RGB}{255, 0, 0}
\newcommand{\focusterm}[1]{\textcolor{focus-term-color}{#1}}
\definecolor{complement-cat-color}{RGB}{201, 218, 248}
\newcommand{\complementcat}[1]{「#1」}
\newcommand{\othercat}[1]{「#1」}
% 論文内で参照する用語集
\newcommand{\WS}{弱教師信号}
\newcommand{\WSL}{弱教師あり学習}
\newcommand{\SL}{教師あり学習}
\newcommand{\NER}{固有表現抽出}
\newcommand{\WSLNER}{弱教師あり固有表現抽出}
\newcommand{\CATEGORY}{カテゴリ}
\newcommand{\FOCUSCAT}{対象カテゴリ}
\newcommand{\COMPLEMENTCAT}{補完カテゴリ}
\newcommand{\OTHERCAT}{その他のカテゴリ}
\newcommand{\TERMTOCAT}{語彙分類}
\newcommand{\UNKNOWNTERM}{未知語}
\newcommand{\KNOWNTERM}{既知語}
\newcommand{\THESAURUS}{シソーラス}
\newcommand{\ALLCAT}{\THESAURUS の全カテゴリ}
\newcommand{\NounPhrase}{名詞句}
\newcommand{\NPChunker}{名詞句チャンカー}
\newcommand{\AllcatModel}{全カテゴリ認識モデル}
\newcommand{\Strict}{スパン完全一致}
\newcommand{\Lenient}{スパン部分一致}
%% データセット関連
\newcommand{\MedMentions}{MedMentions}
\newcommand{\MedMentionsPaper}{mohan_medmentions_2018}
\newcommand{\UMLS}{UMLS}
\newcommand{\UMLSPaper}{bodenreider_unified_2004}
\newcommand{\CoNLL}{CoNLL2003}
\newcommand{\CoNLLPaper}{sang_introduction_2003}
\newcommand{\DBpedia}{DBpedia}
\newcommand{\DBpediaPaper}{lehmann_DBpedialarge-scale_2015}
% データ種別
\newcommand{\NoData}{学習データなし}
\newcommand{\PseudoData}{擬似教師データ}
\newcommand{\SupervisedData}{教師データ}
% 複数回引用する論文
\newcommand{\PaperBOND}{liang_bond_2020}
\newcommand{\PaperWeakerThanYouThink}{zhu_weaker_2023}
\newcommand{\PaperNegativeUndersampling}{li_empirical_2020-1}
\newcommand{\PaperGraphCut}{_ner_2022}
\newcommand{\PaperLUKE}{yamada_luke_2020-1}
% 比較する手法群
\newcommand{\DictionaryMatch}{辞書マッチ}
\newcommand{\DataMaking}{\DictionaryMatch}
\newcommand{\TableDataMaking}{\DictionaryMatch}
\newcommand{\BASELINE}{\FOCUSCAT のみを利用した通常の\WSLNER}
\newcommand{\TableBaseline}{通常の\WSLNER}
\newcommand{\GRAPHCUT}{\FOCUSCAT と\COMPLEMENTCAT を利用した比較手法}
\newcommand{\TableGraphcut}{先行研究\protect\cite{\PaperGraphCut}}
\newcommand{\AbbrevGraphcut}{先行研究}
\newcommand{\PROPOSAL}{\ALLCAT を利用した提案手法}
\newcommand{\WithAlmostCatProposal}{提案手法}
\newcommand{\AbbrevProposal}{提案手法（対象・補完のみ）}
\newcommand{\Supervised}{教師あり学習手法}
\newcommand{\TableSupervised}{教師あり学習}
% その他
\newcommand{\NegativeUndersampling}{\dq{O}スパンのアンダーサンプリング}
\newcommand{\NegativeUndersamplingRatio}{\NegativeUndersampling 率}
\newcommand{\User}{ユーザー}
\newcommand{\TITLE}{\THESAURUS の階層的構造を利用した\WSLNER}
\newcommand{\PseudoFalseNegative}{擬似負例の誤り}
\newcommand{\PseudoFalsePositive}{擬似正例の誤り}
\newcommand{\dq}[1]{``#1''}
\newcommand{\PseudoAnnotation}{擬似アノテーション}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{31}
\Number{3}
\Month{September}
\Year{2024}
%%%%\Issuetitle{「　　　　」特集号}

\received{2023}{12}{1}
\revised{2024}{3}{1}
\accepted{2024}{4}{10}

\setcounter{page}{984}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{シソーラスの階層的構造を利用した弱教師あり固有表現抽出}
\jauthor{芝原　隆善\affiref{Riken} \and 山田　育矢\affiref{Yamada} \and 西田　典起\affiref{Riken} \and \\ 寺西　裕紀\affiref{Riken} \and 古崎　晃司\affiref{Kozaki} \and 松本　裕治\affiref{Riken}}
\jabstract{%
固有表現抽出は，自然言語処理において基本的で重要なタスクである．しかし，大量の教師データを必要とする従来の固有表現抽出は，ユーザーに応じた多様な粒度のカテゴリを抽出するという実社会の需要に柔軟に対応できていない．既知語が出現する文脈を擬似教師データとして利用する弱教師あり固有表現抽出は，大規模なシソーラスと組み合わせることでこの多様なカテゴリの需要に対応できる．弱教師あり固有表現抽出の先行研究は，擬似教師データの誤りに頑健な学習法を提案してきたが，これらの学習法の結果作られたモデルには，関心のあるカテゴリと無関心なカテゴリの境界を超えて予測してしまうという副作用があった．この副作用に対し本研究では，ユーザーの関心のあるカテゴリを含むシソーラスの全カテゴリを擬似教師データ作成に活用する手法を提案し，実験を通じてシソーラスに含まれる総体的な知識の有用性を明らかにした．
\renewcommand{\thefootnote}{}
\footnote[0]{本論文は言語処理学会年次大会で発表された同一著者による研究\cite{__2023}を主として評価データセットを増やす形で発展させたものである．}
\renewcommand{\thefootnote}{\arabic{footnote}}
}
\jkeywords{シソーラス，弱教師あり学習，固有表現抽出}

\etitle{Weakly Supervised Named Entity Recognition \\ Using Thesaurus with Hierarchical Structure}
\eauthor{Takayoshi Shibahara\affiref{Riken} \and Ikuya Yamada\affiref{Yamada} \and Noriki Nishida\affiref{Riken} \and \\
	Hiroki Teranishi\affiref{Riken} \and Kouji Kozaki\affiref{Kozaki} \and Yuji Matsumoto\affiref{Riken}} 
\eabstract{%
Named entity recognition (NER) is a fundamental and important task in natural language processing. However, traditional NER methods require large amounts of supervised data. As a result, they cannot respond to real-world demands flexibly, e.g., for extracting categories with varying granularities depending on the user's requirements. Weakly supervised NER, which uses contexts in which known words occur as pseudo-data, can satisfy the demands for a variety of categories when combined with a large-scale thesaurus. Previous studies on weakly supervised NER have proposed learning methods that are robust with respect to pseudo-supervised data errors. However, the models created using such learning methods suffer from the side effect of making predictions across boundaries between interested and uninterested categories. To mitigate this shortcoming, we propose a method that utilizes all categories in the thesaurus, including those demanded by users, for pseudo-data generation and clarify the usefulness of the holistic knowledge contained in the thesaurus empirically.
}
\ekeywords{Thesaurus, Weakly Supervision, Named Entity Recognition}

\headauthor{芝原，山田，西田，寺西，古崎，松本 }
\headtitle{\TITLE}

\affilabel{Riken}{理化学研究所}{Riken}
\affilabel{Yamada}{Studio Ousia, 理化学研究所}{Studio Ousia, Riken}
\affilabel{Kozaki}{大阪電気通信大学，理化学研究所}{Osaka Electro-Communication University, Riken}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

\NER は，ユーザーが関心のあるクラスに対応する文中のスパンを検出するタスクである．
\NER の代表的な Shared Task として知られる CoNLL 2003 Shared Task \cite{\CoNLLPaper}では，\dq{PER}（人物名）， \dq{LOC}（場所名）， \dq{ORG}（組織名）， \dq{MISC}（その他）のカテゴリに対応する文中のスパンの検出を目的としている．
例えば，``EU rejects German call to boycott British lamb .''という文章を入力とし，
``EU''，``German''，``British''という文中のスパンをそれが所属する``LOC''，``MISC''，``MISC''というクラスとともに検出する．
\NER は質問応答 \cite{khalid_impact_2008}， 関係抽出 \cite{liu_neural_2018}， エンティティ・リンキング \cite{sun_modeling_2015}， 対話システム \cite{bowden_slugnerds_2018} など様々なタスクで応用されており，自然言語処理において基本的で重要なタスクである．

関心のあるクラスは\User によって異なる．
例えば政治を取材するジャーナリストであれば，人物名の中でも政治家名に関心があり，組織名の中でも政党に関心があるだろう．
映画の好きな\User であれば，人物名の中でも映画監督に関心があり，組織名の中でも映画スタジオに関心があるだろう．

しかし，従来の\NER 手法では，\User の関心に応じて異なる多様なカテゴリに柔軟に対応できない．
なぜなら従来の\NER システムは，カテゴリがあらかじめ定義されたデータセットを用いて構築されるため，\User にとって関心のあるカテゴリがあらかじめ定義されたデータセットが存在しなければ，それらのスパンは抽出できないからである．
各\User が関心のあるカテゴリを人手でアノテーションすることもできるが，これには膨大なコストと時間がかかってしまう．

先行研究\cite{\PaperGraphCut}は，\WSLNER を大規模な\THESAURUS と組み合わせることで\User の要求に柔軟に対応する\NER を実現する方法を提案した．
\WSLNER とは，\User が関心のあるカテゴリ（以下，\FOCUSCAT）に属する語句のリストを活用し，リストに含まれる語句の出現箇所を擬似的に固有表現と見做すこと（\DictionaryMatch ）で\PseudoData を作成し，この\PseudoData に基づく学習によって，\FOCUSCAT に属する固有表現の抽出を目指す方法である．
例えば先の映画好きの例を考えてみる．
この場合，大規模な\THESAURUS である\DBpedia から，映画監督\footnote{\url{https://dbpedia.org/ontology/MovieDirector}}・映画スタジオ\footnote{\url{https://dbpedia.org/class/yago/WikicatFilmStudios}} の情報を\FOCUSCAT として活用する．
これらカテゴリの\KNOWNTERM （例：スティーブン・スピルバーグ，黒澤明，20 世紀フォックス映画，東宝スタジオ）が含まれる文章の\KNOWNTERM のスパンを擬似的な教師データとして活用することで，映画監督や映画スタジオを検出できる\NER モデルを作ることができる．

しかし，\PseudoData には通常の\SupervisedData との乖離がある．
多義性のある\KNOWNTERM に対して文脈を考慮せずクラスを付与してしまうことでラベル誤りが生じてしまう（\PseudoFalsePositive）．
他にも，\KNOWNTERM を対象に行われる\DictionaryMatch では，\THESAURUS には載っていない\UNKNOWNTERM を取り逃してしまう（\PseudoFalseNegative）．
例えば，映画監督であるがお笑い芸人でもある北野武（ビートたけし）がお笑い芸人として取り扱われている文脈に対しても映画監督としてラベル付けしてしまったり，
未知の，すなわち，\THESAURUS には載っていない映画監督や映画スタジオが自動アノテーションから漏れてしまうといった問題が生ずる．

弱教師あり学習の先行研究\cite{\PaperBOND,zhu_weaker_2023,peng_distantly_2019}では，この 2 種類の\PseudoData の誤りに頑健な学習法を提案してきた．
\PseudoFalsePositive に対しては，擬似正例の各カテゴリに含まれる他の語句と乖離した語句を本来は負例であるとみなす学習法で，その学習における影響を抑制する．
例えば，映画監督を\FOCUSCAT として「北野武（ビートたけし）」が含まれる文脈を学習する際に，「ビートたけしは漫才コンビ：ツービートとして活躍したお笑い芸人である。」というようなお笑い芸人として出ている文脈が本来は負例であるとみなして\PseudoFalsePositive の影響を抑制することができる．

\PseudoFalseNegative に対しては，擬似負例のうち擬似正例に近い語句を本来は正例であるとみなす学習法で，その学習における影響を抑制する．
例えば，化学物質名を\FOCUSCAT とし，物質名全体は\THESAURUS に載っていなくても，その構成要素は\THESAURUS に載っているような場合（例：4-ブロモ-1,1,1-トリフルオロブタンは\THESAURUS に載っていないが，1,1,1-トリフルオロブタンは\THESAURUS に載っているような場合）の影響を抑制できる．
他にも，明らかに\FOCUSCAT であると判断できる文脈の場合（例：映画監督を\FOCUSCAT とした際に\THESAURUS に載っていない人名が「...はアカデミー監督賞を受賞した。」という文脈に現れる場合）に対して本来は正例であるとみなすことで\PseudoFalseNegative の影響を抑制することができる．

\PseudoFalsePositive に頑健な学習法は有用だが副作用もある．
特に，表層形や文脈が\FOCUSCAT の他の語句から乖離しているが\FOCUSCAT に含まれる場合に，\FOCUSCAT から取り除いてしまうという副作用が生じうる．
例えば，出現文脈が\FOCUSCAT の他の語句から乖離している例として，\FOCUSCAT が哺乳類の際のクジラがあげられる．クジラは哺乳類という人間や犬などの陸上生物が多いカテゴリに属している．
しかし，水中で生活しており魚類などと共通の文脈に出現する．
そのため，クジラが哺乳類に含まれる他の語句から乖離しているとして哺乳類から除外されてしまう危険性がある．
このことは，\FOCUSCAT の典型例と乖離した特徴をもつ\FOCUSCAT の下位クラスの情報が欠けていることが一因である，と考えられる．
例えば，哺乳類を\FOCUSCAT とした際のクジラの事例であれば，哺乳類の下位カテゴリであり，クジラやイルカが属す鯨類の情報がカテゴリの判断に必要である，と考えられる．

\PseudoFalseNegative に頑健な学習法も有用だが副作用もある．
特に，表層形や文脈が\FOCUSCAT の例に類似しているが\FOCUSCAT に含まれない場合に，\FOCUSCAT に含まれる，と誤って判断してしまうという副作用が生じうる．
例えば，表層形が類似している事例として\FOCUSCAT を甲殻類としたときのカブトガニを考えることができる．
カブトガニはその表層形の類似度によって，本来はクモ・サソリなどと同じ鋏角類であるにも関わらず，エビやカニの属す甲殻類に含まれる，と誤って判断される危険性がある．
この副作用は，排他的なクラス，特に\FOCUSCAT の持つ特徴と類似する排他的なクラスの情報が欠けていることが一因であると考えられる．
例えば，\FOCUSCAT を甲殻類とした際のカブトガニの事例であれば，甲殻類の表層形と類似したカブトガニ目やその上位カテゴリであり甲殻類と排他的な鋏角類の情報がカテゴリの判断に必要であると考えられる．

以上のように，先行研究の\WSL 手法は，\PseudoFalsePositive や\PseudoFalseNegative に頑健な学習法を通じて，Precision や Recall を\PseudoAnnotation より改善できる．
一方で，過小な\FOCUSCAT の予測や過剰な\FOCUSCAT の予測につながる副作用があり，それらの副作用を抑制するには，\FOCUSCAT の下位クラスや，排他的なクラス及びその下位クラスの活用が必要であることを述べてきた．
そこで本研究では，\THESAURUS の階層的な分類項目全てを\PseudoData に活用した\WSLNER 手法を提案する．
具体的には，\ALLCAT を\DictionaryMatch に活用したマルチラベル固有表現抽出の\PseudoData に基づき，\ALLCAT を認識可能な弱教師あり学習モデルを訓練する．
その後，この\ALLCAT を認識可能な弱教師あり学習モデルで\FOCUSCAT を予測させる，という手法である．
この提案手法によって，\PseudoData に追加した\FOCUSCAT の下位クラスの情報を活用しながら，過小な\FOCUSCAT の予測，という\PseudoFalsePositive に頑健な学習法の副作用を抑制することを目指す．
それとともに，\PseudoData に追加した排他的なクラスの情報を活用しながら，過剰な\FOCUSCAT 予測，という\PseudoFalseNegative に頑健な学習法の副作用も抑制することを目指す．

本論文では，実験を通じて\PROPOSAL の優位性を明らかにした．具体的には\DBpedia \cite{\DBpediaPaper}，\UMLS \cite{\UMLSPaper} を\PseudoAnnotation に活用し，\CoNLL \cite{\CoNLLPaper}，\MedMentions \cite{\MedMentionsPaper} を検証用データセットとして利用した実験を行った．提案手法は\FOCUSCAT のみを\PseudoAnnotation に利用するベースラインに比べて F1 値において，約 5～8\% の改善を達成することができた．

さらに本論文では，この提案手法の改善がどれくらいの量の\SupervisedData 追加に匹敵するのかを明らかにした．具体的には訓練事例数を制限した\SL との比較実験から提案手法には\FOCUSCAT のみを\PseudoAnnotation に利用するベースラインと比べて140～450 文程度の\SupervisedData 追加に相当する効果が有ることが分かった．

\DBpedia， \UMLS の\PseudoAnnotation への活用方法も含めて，本論文の実験で利用したコードの全てを GitHub にて公開した\footnote{\url{https://github.com/fracivilization/thesaurus-based-ner}}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}
\label{sec:related_works}

本論文で取り扱う\WSL とは，ルールや\THESAURUS に基づく擬似的な教師信号（\WS）に基づいた学習方法である．テキスト分類\cite{hingmire_sprinkling_2014} や固有表現抽出\cite{bellare_learning_2007}，関係抽出\cite{mintz_distant_2009}など\SupervisedData を必要とする様々なタスクにおいて\WSL は利用されてきた．

特に\NER においては，関心のあるカテゴリの語句のリストを利用して，同じカテゴリの\UNKNOWNTERM （語句のリストに含まれない語句）の取得をするために\WSL が利用されてきた．
具体的には\KNOWNTERM （語句のリストに含まれる語句）に\DictionaryMatch するスパンを擬似的な正例とみなした\PseudoData に基づき\NER モデルを学習する手法が試みられてきた（図\ref{fig:pseudo_dataset_comparison}）．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[t]
\begin{center}
\includegraphics{31-3ia6f1.pdf}
\end{center}
\hangcaption{既存の\WSLNER との比較．通常の\WSLNER では関心のあるカテゴリ：\FOCUSCAT（\focuscat{哺乳類}・\focuscat{爬虫類}）に含まれる語句のみを\DictionaryMatch による\PseudoAnnotation に活用する．先行研究\protect\cite{\PaperGraphCut}ではそれらに追加して，\FOCUSCAT 及びその祖先と兄弟関係にあるカテゴリ: \COMPLEMENTCAT（\complementcat{魚類}・\complementcat{植物}）も\DictionaryMatch による\PseudoAnnotation に活用する．提案手法では\THESAURUS に含まれる\ALLCAT を\DictionaryMatch による\PseudoAnnotation に活用する．例えば「マグロ」や「ミカン」などのエンティティや\othercat{魚類}・\othercat{植物}などのカテゴリも\PseudoData に活用する．赤色のカテゴリは\FOCUSCAT ，青色のカテゴリは\COMPLEMENTCAT をそれぞれ意味している．}
\label{fig:pseudo_dataset_comparison}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\KNOWNTERM に\DictionaryMatch するという\PseudoAnnotation には通常の教師信号との乖離が存在しており，それは二種類に分けられる．
間違った\PseudoAnnotation をしてしまう\PseudoFalsePositive と，本来アノテーションするべき語句を逃してしまう\PseudoFalseNegative である．
これら二種類のノイズに頑健な\WSL 手法として主に二つのアイデアが提案されてきた．一つは事前学習モデルの持つ知識をノイズ除去に利用する方法であり，もう一つは\DictionaryMatch しなかったトークン・スパンなどのラベルなし語句を割り引いて学習する方法である．前者は\PseudoFalsePositive ・\PseudoFalseNegative に頑健な学習法であり，後者は\PseudoFalseNegative に頑健な学習法である．

事前学習モデルの持つ知識をノイズ除去に利用した研究として代表的なものは\citeA{\PaperBOND}，\citeA{zhu_weaker_2023}の研究である．\citeA{\PaperBOND}，\citeA{zhu_weaker_2023}らは Early stopping を利用してノイズへの過剰な適応を防ぎつつ事前学習モデルの持つ知識を活用するという学習法で，\PseudoFalseNegative ，\PseudoFalsePositive に頑健な学習をしていた．

ラベルなし語句を割り引いて学習する研究として代表的なものは PU 学習\cite{peng_distantly_2019}や擬似負例スパンのアンダーサンプリング\cite{\PaperNegativeUndersampling}といった手法である．他にも lenient CRF \cite{jie_better_2019}，Self-training \cite{\PaperBOND}などを通じて\PseudoAnnotation と異なるラベルを推測する手法も存在する．これらの手法は\KNOWNTERM に対しては特定が容易であるという\DictionaryMatch の特徴を利用し，擬似ラベルのない単語やスパンの影響を割り引くことで\PseudoFalseNegative に頑健な学習をしている．

\PseudoFalsePositive に頑健な学習法は，学習結果のモデルの Precision を\DictionaryMatch よりも改善することができる．
一方で，学習結果のモデルが本来であれば\FOCUSCAT に属すはずのカテゴリの語も除外してしまう危険性がある．
\PseudoFalseNegative に頑健な学習法は，学習結果のモデルの Recall を\PseudoAnnotation よりも改善することができる．
一方で，\FOCUSCAT と排他的なカテゴリなど本来であれば\FOCUSCAT に属さないカテゴリの語も学習結果のモデルが抽出してしまう危険性がある．

提案手法ではこれら\PseudoAnnotation の誤りに頑健な学習法が持つ副作用を\THESAURUS の持つ階層的で総体的なカテゴリ知識で抑制することを目指す．
具体的には\ALLCAT を\PseudoAnnotation に活用し，\ALLCAT を学習した\WSLNER モデルを活用する手法を提案する．
\PseudoFalseNegative に頑健な学習法の持つ，過剰な\FOCUSCAT の予測という副作用に対しては，\FOCUSCAT と排他的なカテゴリやその下位カテゴリの学習によって抑制を目指す．
\PseudoFalsePositive に頑健な学習法の持つ，過小な\FOCUSCAT の予測という副作用に対しても，\FOCUSCAT の下位カテゴリの学習によって抑制することを目指す．


先行研究\cite{\PaperGraphCut}では，提案手法と同様に\THESAURUS の持つカテゴリ知識を用いて\PseudoAnnotation の誤りに頑健な学習法が持つ副作用を抑制しようとした．
しかし，\PseudoFalsePositive に頑健な学習法の副作用を考慮せず，\PseudoFalseNegative に頑健な学習法の持つ副作用のみを対象としているほか，\ALLCAT を利用した提案手法とは異なり，\FOCUSCAT 及びその祖先と兄弟関係にあるカテゴリ（\COMPLEMENTCAT）の利用に留まっているという違いがある．
例えば図\ref{fig:pseudo_dataset_comparison}のような\THESAURUS で\FOCUSCAT として「哺乳類」と「爬虫類」を選択した場合を考える．
\FOCUSCAT の祖先には「動物」，「生物」が存在する．
ルートノードである「生物」には兄弟カテゴリが存在しないため，「哺乳類」・「爬虫類」の兄弟である「魚類」と，「動物」の兄弟である「植物」が\COMPLEMENTCAT となる．
先行研究\cite{\PaperGraphCut}では，この\COMPLEMENTCAT を\FOCUSCAT に対する擬似負例として活用し，過剰な\FOCUSCAT の予測を抑えようとした．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{提案手法}

提案手法では，\ALLCAT\footnote{正確には全カテゴリではなく，ある程度の粒度以上の全カテゴリを活用している．実際に利用したカテゴリの個数については\ref{sec:expsetting}章を参照されたい．} を\PseudoData 作成に活用し，その\PseudoData に基づいて「\ALLCAT を認識する\NER モデル」（以下，\AllcatModel）を学習し，この\AllcatModel によって\FOCUSCAT の抽出を行う．

本論文ではシングルクラスの固有表現抽出タスクを取り扱っている．つまり，文を入力とした際にその文に含まれるスパンとその一意なラベルを出力する．
例えば\FOCUSCAT が「哺乳類」と「爬虫類」の場合，図\ref{fig:pseudo_dataset_comparison}の「人間はスッポン，マグロ，ミカン，イチゴ，ワカメなど様々な生物を食してきた」という文の「人間」というスパンには「哺乳類」とラベルを付与することを目指している．
一方で\ALLCAT の情報をモデルに理解させるにはスパンに複数のラベルを付与して学習する必要がある．
例えば，先の「人間」というスパンに対しては，「哺乳類」，「動物」，「生物」という複数のラベルが付与されることをモデルが学習する必要がある．
そこで本稿では学習時には複数の正解を許容して\ALLCAT の学習を行い，予測時には単一の正解クラスがあるとして予測する手法を提案する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{\ALLCAT を含んだ\PseudoData 作成}
\label{subsec:pseudo_data_making}

\ALLCAT に含まれる語句のそれぞれに対し，\DictionaryMatch によって\PseudoAnnotation を行う．
ただし，この際に各カテゴリへの語句の所属関係は\THESAURUS の所属・階層関係を推移的なものとみなして拡張したものとする\footnote{この所属・階層関係を推移的にみなして利用する語句を増やす手法は比較対象となる\WSL 手法に対しても同様に適用している．}．
具体例として図\ref{fig:pseudo_dataset_comparison}の「人間」という語句を考える．
「人間」という語句は\focuscat{哺乳類}に直接所属し，さらに\othercat{動物}は\focuscat{哺乳類}の上位概念であり，\othercat{生物}は\othercat{動物}の上位概念である．
このことから「人間」という語句は\focuscat{哺乳類}に追加して，\othercat{動物}・\othercat{生物}という 3 つのカテゴリに所属していると見做す．
この所属情報から，「人間はスッポン、マグロ、ミカン、イチゴ、ワカメなど様々な生物を食してきた」という文の「人間」の部分に\focuscat{哺乳類}・\othercat{動物}・\othercat{生物}という 3 つのラベルを\DictionaryMatch によって付与する\footnote{ただし修飾語も含んだ文字列も取得するために\NPChunker を利用し，\NounPhrase の末端に語句がある場合にラベルを付与した．}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{\PseudoData に基づく\AllcatModel の学習}
\label{subsec:train_ds_ner_model}

\ref{subsec:pseudo_data_making}節で作成された\PseudoData 上でモデルを学習させ，\AllcatModel の取得を目指す．
本研究では，先行研究\cite{\PaperNegativeUndersampling} と同じ BERT \cite{devlin_bert_2019}ベースのスパン分類モデルを学習させる．
このスパン分類モデルは BERT により文を符号化し，スパンの始端・終端のベクトルを元に MLP により分類を行う（図\ref{fig:span_classification_model}）．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[t]
\begin{center}
\includegraphics{31-3ia6f2.pdf}
\end{center}
\hangcaption{二つの提案手法における訓練時と予測時のスパン分類モデルの挙動の違い．スパン「ゴールデン・レトリーバー」を分類対象のスパンと仮定した時の挙動を示している．訓練時には二つの提案手法で共通の処理を行う．具体的には，\THESAURUS の全カテゴリと特定のカテゴリが付与されていないことを示す“O”ラベルを対象にスパン分類確率を計算する．予測時には二つの提案手法で異なる処理を行う．一つ目の提案手法（\WithAlmostCatProposal）では予測時に\FOCUSCAT の祖先カテゴリを除くことでユーザーのニーズより粒度の粗いカテゴリの予測をしないようにする．二つ目の提案手法（\AbbrevProposal）ではさらに\FOCUSCAT と\COMPLEMENTCAT＋``O'' ラベルの予測スコアからスパン分類確率を計算し，少数事例で学習の難しいカテゴリからのノイズの影響を緩和する（\ref{subsec:exclude-minor-categories}節）．赤色のカテゴリは\FOCUSCAT ，青色のカテゴリは\COMPLEMENTCAT をそれぞれ意味している．}
\label{fig:span_classification_model}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

まず前処理として，\ref{subsec:pseudo_data_making}節で作成された\NER の\PseudoData をスパン分類の\PseudoData に変換した．
具体的には，まずスパン最大長を決め文中のスパンを列挙した．
その後，ラベルのあるスパンはそのままのラベルを利用し，ラベルの付与されていないスパンは``O'' ラベルを持つスパンとした．

学習時には，複数の正解に対処できるように，正解クラスに等しい重みが付与された確率分布を真の分布とした相互エントロピーをロス関数として学習を行った．
例えば図\ref{fig:span_classification_model}の事例を考える．
図\ref{fig:span_classification_model}では「ゴールデン・レトリーバーは人気がある．」という文$x$の「ゴールデン・レトリーバー」というスパン$s$の分類を学習する際の学習予測手順を提示している．
訓練時にはモデルが出力した\ALLCAT （「生物」，「動物」，「植物」，「哺乳類」，「爬虫類」，「魚類」，「草」，「木」，「藻」），及び``O''ラベル上の予測スコアの全てを活用する．
これらの予測スコアから，Softmax 関数によって，\ALLCAT ，及び``O''ラベル上の予測確率分布: $p(y|x, s)$を生成する．
「ゴールデン・レトリーバー」は「哺乳類」であり，「動物」であり，「生物」である．
そこで，これら 3 つの正解に対してそれぞれ$1/3$が付与された確率分布を真の分布として相互エントロピーを計算し，$-1/3 (\log p(哺乳類|x, s) + \log p(動物|x, s) + \log p(生物|x, s))$をこの文$x$のスパン$s$に対するロス関数として学習を行っている．

さらに，本研究では関連研究（\ref{sec:related_works}章）で述べた二種類の擬似アノテーションの誤りに頑健な学習法を適用した．
一つは\citeauthor{\PaperBOND}で実行された手法で，\PseudoData で学習をする際に\PseudoData に含まれるノイズへの過剰適応を抑えるために途中で学習を打ちきる手法である．具体的には評価データセットに含まれる validationデータ でスパン完全一致 F1 を評価し，Early stopping によって学習を早期に打ち切る．
もう一つは\citeauthor{\PaperNegativeUndersampling}で実行された擬似負例スパンのアンダーサンプリングである．この手法では学習時に``O''ラベルが付与されたスパンを一定確率でロスの計算から除外することで，``O''ラベルの付与された擬似負例スパンの一部が本来は``O''ラベルではないことをモデルに教えることが出来る．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{\AllcatModel による\FOCUSCAT の抽出}
\label{sec:extract_focuscat_using_allcatmodel}

\ref{subsec:pseudo_data_making}節の\PseudoData 上で学習した\AllcatModel を用いて\FOCUSCAT の抽出を行う．
具体的には，i) スパン最大長を決め文中の候補スパンを列挙する．
次に，ii) \ALLCAT から\FOCUSCAT の祖先となるカテゴリを除いて分類する（図\ref{fig:span_classification_model}）．
最後に，iii) これらスパン分類の出力を固有表現抽出の出力に変換する（図\ref{fig:span_classification_to_ner}）．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 3
\begin{figure}[b]
\begin{center}
\includegraphics{31-3ia6f3.pdf}
\end{center}
\hangcaption{提案手法で利用しているスパン分類の出力を固有表現抽出に変換する\protect\citeA{\PaperLUKE}の手法の図解．i)で列挙し，ii)で分類したスパンに対する最尤推定の結果を用いて，\dq{O}クラス以外の予測確率の高いものからスパンの重複のないように選んでいく．図中では「ゴールデン・レトリーバーはコーンスネークより人気がある．」という文章に対しての予測が図解されている．「ゴールデン・レトリーバー」，「コーンスネーク」が先に埋まることで，「スネーク」，「レトリーバー」，「コーン」の予測が妨げられる．最終的に「ゴールデン・レトリーバー」が\focuscat{哺乳類}として，「コーンスネーク」が\focuscat{爬虫類}として出力される．}
\label{fig:span_classification_to_ner}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

ii) では \FOCUSCAT の祖先となるカテゴリを除いて分類する（図\ref{fig:span_classification_model}の「\WithAlmostCatProposal」）．
このことでユーザーのニーズより粒度の粗いカテゴリの出力を抑止する．
先程と同様に図\ref{fig:span_classification_model}の事例を考えてみる．
図\ref{fig:span_classification_model}では「ゴールデン・レトリーバーは人気がある。」という文$x$の「ゴールデン・レトリーバー」というスパン$s$の分類を学習する際の学習予測手順を提示している．
\AllcatModel は$x$中の$s$に対して，\ALLCAT （「生物」，「動物」，「植物」，「哺乳類」，「爬虫類」，「魚類」，「草」，「木」，「藻」），及び``O''ラベル上の予測スコアを出力する．
そこから，\FOCUSCAT （「哺乳類」，「爬虫類」）の祖先カテゴリである「生物」，「動物」を予測対象から除く．
このことによって 「哺乳類」，「爬虫類」を欲するユーザーに対して，提案手法が「生物」，「動物」を抽出しないようにする．
そして最終的に「植物」，「哺乳類」，「爬虫類」，「魚類」，「草」，「木」，「藻」，及び``O''ラベルに絞られた予測スコアから，Softmax 関数によって，スパンの予測確率分布を生成する．
この予測ラベルを制限した予測確率分布を利用し，最尤推定によって各スパンの分類結果と分類確率を計算する．

iii) の際には，\citeA{\PaperLUKE}の手法と同様にスパンを予測確率の高いものから重複のないように選んでいくという方法で変換を行った．（ただしこの際に ``O'' ラベルが予測されたスパンは除いた．）


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{粒度の細かいクラスを予測時に除くノイズ除去}
\label{subsec:exclude-minor-categories}

提案手法ではさらに，訓練事例数が少なく学習が困難であると思われる粒度の細かいカテゴリを予測時に使わない手法を提案する．
この手法では\FOCUSCAT，\COMPLEMENTCAT，``O''ラベルに予測対象のカテゴリを絞って分類を行う．
先程と同様に図\ref{fig:span_classification_model}の事例を考える．
図\ref{fig:span_classification_model}では「ゴールデン・レトリーバーは人気がある。」という文: $x$の「ゴールデン・レトリーバー」というスパン: $s$の分類を学習する際の学習予測手順を提示している．
\AllcatModel は$x$中の$s$に対して，\ALLCAT （「生物」，「動物」，「植物」，「哺乳類」，「爬虫類」，「魚類」，「草」，「木」，「藻」），及び``O''ラベル上の予測スコアを出力する．
そこから，このノイズ除去を使う手法（「\AbbrevProposal」）では\FOCUSCAT （「哺乳類」，「爬虫類」），\COMPLEMENTCAT （「魚類」， 「植物」），及び``O''ラベルに対する予測スコアのみを残す．
絞られた予測スコアから，Softmax 関数によって，\FOCUSCAT，\COMPLEMENTCAT，及び``O''ラベル上の予測確率分布を生成する．
この予測ラベルを制限した予測確率分布を利用し，最尤推定によって各スパンの分類結果と分類確率を計算する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験設定}
\label{sec:expsetting}

本論文では，\DBpedia \cite{\DBpediaPaper}，\UMLS（2021AA 版）\cite{\UMLSPaper}を\THESAURUS として\PseudoAnnotation に利用し，\CoNLL \cite{\CoNLLPaper}，\MedMentions \cite{\MedMentionsPaper}データセットを検証用データセットして活用した\WSLNER の実験を行った．

\DBpedia は，Wikipdia をベースとした\THESAURUS であり，466 のクラスと 21,942,484 の用語を持つ．
\CoNLL は，1,393 項目のニュース記事に，35,089 のスパンが \dq{PER}， \dq{LOC}， \dq{ORG}， \dq{MISC}（人名，場所，組織名，その他）のどれに所属するかをアノテーションしたデータセットであり，train/dev/test の項目数はそれぞれ 946/216/231 項目である．
\WSL 実施時には，\DBpedia の 466 のクラスから \CoNLL の 4 つのクラスに対応するクラスを \FOCUSCAT として選択し（付録\ref{sec:CoNLL2003CategoryMapper}），\CoNLL データセットで評価を行った．

\UMLS は，生物医学分野の\THESAURUS で，127 のクラス (Semantic Types) と 16,132,274 の用語を持つ．
\MedMentions は，4,392 の生物医学論文抄録に 352,496 のスパンが \UMLS の各エンティティに対応付けられるようにアノテーションされているデータセットであり，train/dev/test の抄録数はそれぞれ 2,635/878/879 である．
\WSL 実施時には，これら 127 のクラスから \MedMentions で固有表現抽出タスクの対象として指定されている 21 個のカテゴリを\FOCUSCAT として選択し，\MedMentions データセットで評価を行った．

それぞれのタスクにおいて，train 部分のデータセットは擬似アノテーションの対象として学習に活用し，dev/test 部分のデータセットは正解アノテーションをそのまま使い，それぞれハイパーパラメータ調整と評価に利用する．

先述の通り\PseudoData を作成する際には，\NPChunker を利用し，\NounPhrase の末端に既知語があるかどうかで\DictionaryMatch を行う．
この際の\NPChunker には，OntoNotes5 \cite{weischedel_ontonotes_2013} のデータで訓練された Spacy の\dq{en\_core\_web\_sm}モデルを利用した．
また，\NounPhrase の末端に\KNOWNTERM があるかどうかを判断する際に\CoNLL では大文字・小文字の区別をおこないつつ\DictionaryMatch を行い，\MedMentions では大文字・小文字の区別をせずに\DictionaryMatch を行うようにした．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{比較手法}

本論文では，なるべく多くのカテゴリ（\FOCUSCAT の祖先以外）を利用する提案手法（「\WithAlmostCatProposal」）と，\ref{subsec:exclude-minor-categories}節のノイズ除去手法を利用した提案手法（「\AbbrevProposal 」）を 4 つの手法と比較する．
1 つ目の比較手法は，\PseudoData を作成した方法と同じ\DictionaryMatch の手法である．
この手法との比較によって，擬似アノテーションを行い，それを学習データとして用いることでどの程度の改善が得られるかを確認する．
2 つ目の比較手法は，通常の\WSLNER と同様に\FOCUSCAT のみを\PseudoData 作成のための\DictionaryMatch に活用したBERT ベーススパン分類手法である．
この手法との比較によって，\THESAURUS の持つカテゴリの一部ではなく全体を活用することで\WSL の副作用を抑制するという本論文のアイデアの是非を確認する．
3 つ目の比較手法は，\FOCUSCAT に追加して\COMPLEMENTCAT を\PseudoAnnotation のための\DictionaryMatch に利用し，\PseudoFalseNegative に頑健な学習法の副作用を抑制しようとした先行研究\cite{\PaperGraphCut}の手法である．
この手法との比較によって，\PseudoFalsePositive に頑健な学習法の副作用を抑制し，Recall の減少を抑えられるのかを確認する．
2つ目と3つ目の比較手法と提案手法における擬似データ作成手法の違いについては図\ref{fig:span_classification_model_baselines}に図解を行った．
シソーラスにおける所属・階層関係に沿ったデータ拡張は2つ目と3つ目の比較手法でも用いられてきたのに対し，\FOCUSCAT と\COMPLEMENTCAT 以外のシソーラスに含まれるカテゴリ情報を用いたロス関数の設計は提案手法独自の特徴である．
4 つ目の比較手法は，\FOCUSCAT をのみを含んだ教師データによる\SL である．
この手法との比較によって，\SL に提案手法 がどれだけせまれているかを確認する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 4
\begin{figure}[t]
\begin{center}
\includegraphics{31-3ia6f4.pdf}
\end{center}
\hangcaption{提案手法と 2 つの\WSLNER としてのベースラインとの\PseudoData 作成方法の違い．通常の\WSLNER では，関心のあるカテゴリ（\focuscat{哺乳類}， \focuscat{爬虫類}）に所属する語句のみを用いた\PseudoData を利用する．先行研究\protect\cite{\PaperGraphCut} では，\FOCUSCAT に追加して\COMPLEMENTCAT （\FOCUSCAT を補完し\THESAURUS 全体を被覆するような最小限のカテゴリ）である\complementcat{魚類}，\complementcat{植物}に所属する語句も利用する．本論文の提案手法では，\THESAURUS に所属する\ALLCAT を利用することで，\othercat{生物}，\othercat{動物}，\othercat{草}，\othercat{木}，\othercat{藻}など先行研究では利用されていなかったカテゴリ情報を活用する．赤色のカテゴリは\FOCUSCAT ，青色のカテゴリは\COMPLEMENTCAT をそれぞれ意味している．}
\label{fig:span_classification_model_baselines}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

本論文で作成した比較手法及び提案手法の\PseudoData における各カテゴリの訓練事例数については付録\ref{sec:pseudo_data_statistics}に記載した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{ハイパーパラメータ}

BERT の事前学習済みパラメータとして，UMLS と MedMenrtions の実験では BioBERT\cite{lee_biobert_2019}\footnote{\url{https://huggingface.co/dmis-lab/biobert-base-cased-v1.1}}を利用し，DBpedia と CoNLL2003 の実験では\dq{bert-base-cased}\cite{devlin_bert_2019}\footnote{\url{https://huggingface.co/bert-base-cased}}を利用した．
スパン分類の分類器に活用した MLP の中間層の埋め込み次元数は，BERT 最終層の埋め込み次元数の 2 倍とした．

\citeA{\PaperBOND}の手法を参考に Early stopping 活用時には，100 ステップごとに dev データで評価を行い，5回連続で F1 値の最大値が更新されなくなったときに学習を打ち切るようにした．

\citeA{\PaperNegativeUndersampling}の手法を参考に\dq{O}ラベルをアンダーサンプリングする際，そのサンプルの割合はラベルのつけられているスパンと\dq{O}ラベルのスパンの比率によって指定し，\Strict F1 の値が大きくなるようにハイパーパラメータ探索を行い，この\dq{O}ラベル/その他の比率を決定した（付録\ref{sec:parameter_tuning_by_undersampling}）．
\DBpedia と\CoNLL を利用した実験においては\TableBaseline， \TableGraphcut， 提案手法 のそれぞれで\dq{O}ラベルがついたスパンとその他のスパンの比率を 3.0，8.0，1.0 になるようにした．\UMLS と\MedMentions を利用した実験においては 16.0，16.0，2.0 になるように設定した．

教師データで訓練する場合には 40 epoch 学習して，dev セットで最も良い F1 値を出した学習済みパラメータを選択するようにした．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{結果}
\label{sec:main_result}

表\ref{tab:exp_result}では，\DBpedia，\UMLS を\THESAURUS として擬似アノテーションに利用し，\CoNLL，\MedMentions を評価に利用した際の\Strict Precision，Recall，F1 スコアが示されている．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[b]
\input{06table01.tex}%
\hangcaption{\DBpedia， \UMLS を\PseudoAnnotation に\CoNLL， \MedMentions を評価に利用した\WSLNER の実験結果．「\TableDataMaking」の行は\PseudoData 作成手法，「\TableBaseline」，「\TableGraphcut」，「\AbbrevProposal」の行は\WSLNER の手法，「\TableSupervised」の行は\SL の実験結果を示している．「\TableBaseline 」は\FOCUSCAT，「\TableGraphcut」はそれに加えて \COMPLEMENTCAT を擬似データに活用した際の精度を示している．「\WithAlmostCatProposal」は\ALLCAT を擬似データに活用し，\FOCUSCAT の祖先カテゴリのみ予測対象のカテゴリから除いた際の精度を示している．「\AbbrevProposal」は\ALLCAT を擬似データに活用し，\FOCUSCAT，\COMPLEMENTCAT，\dq{O}カテゴリのみ予測対象のカテゴリとした際の精度を示している．\CoNLL の下の 3 つの列は\CoNLL での精度，\MedMentions の下の 3 つの列は\MedMentions での精度を示している．}
\label{tab:exp_result}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

「\AbbrevProposal」と「\WithAlmostCatProposal」の比較によって，「\AbbrevProposal」 が「\WithAlmostCatProposal」 に対して全ての尺度で上回り，粒度の細かく学習事例の細かいカテゴリを予測時に利用しない（\ref{subsec:exclude-minor-categories}節）工夫によって精度向上が達成できていることがわかる．

\TableDataMaking と\TableBaseline，\TableGraphcut，二つの提案手法との比較によって，\WSL 手法が F1 値において\DataMaking 以上の精度を達成していることがわかる．
ただし，Recall の増加の一方で，Precision が減少しているのは\citeauthor{\PaperNegativeUndersampling}の\dq{O}ラベルのアンダーサンプリング利用の副作用として，\FOCUSCAT の過剰予測という問題が生じているためであると考えられる．

表\ref{tab:exp_result}の\TableBaseline と\AbbrevProposal の\CoNLL での評価によって，\ALLCAT を活用することで Precision, Recall の改善が見受けられる．Precision が 47.07 から 43.50 に減少した\MedMentions においても詳細に見ていくと同様の効果が確認できる．
なぜなら，付録\ref{sec:parameter_tuning_by_undersampling}の表\ref{tab:undersample_medmentions}から，\AbbrevProposal の\dq{O}スパンの他のスパンに対する比率を 2.0 から 8.0 に増加させた場合には，P./R./F. スコアは 51.30/24.37/33.05 となる．
この数値と表\ref{tab:exp_result}の\TableBaseline の 47.07/22.25/30.22 という値を比較することによって，Recall を減少させずに Precision も増加していることがわかるからである．
以上のことから，提案手法によって\WSL の副作用を抑制し，\FOCUSCAT の過剰・過小予測が減っていると考えられる．

表\ref{tab:exp_result}の\TableGraphcut と\AbbrevProposal の比較によって，\AbbrevProposal が\AbbrevGraphcut に対してより高い精度になっていることがわかる．特に Recall が上昇しており，\PseudoFalsePositive に頑健な学習法の副作用としての Recall の悪化を防げていると考えられる．

一見\MedMentions では成立していないように見えるが，\GRAPHCUT と比べたときに\PseudoFalsePositive に頑健な学習法の副作用としての Recall の悪化を防ぐという当初の目的を超えて，\AbbrevProposal は Precision も上昇させることができている．
なぜなら，先行研究との精度比較が容易になるように，付録\ref{sec:parameter_tuning_by_undersampling}の表\ref{tab:undersample_medmentions}から\AbbrevProposal の\dq{O}スパンの他のスパンに対する比率を 2.0 から 8.0 に増加させた場合に，P./R./F. スコアは 51.30/24.37/33.05 となる．
この数値と表\ref{tab:exp_result}の\TableGraphcut の 48.82/21.82/30.16 という値を比較することによって，\MedMentions においても Recall を減少させずに Precision が増加していることがわかるからである．
このように Precision も上昇させられた理由として，\FOCUSCAT の下位カテゴリの学習により\FOCUSCAT の特定が精度高くできるようになったり，\COMPLEMENTCAT の上位語の追加により\COMPLEMENTCAT の中でも事例数の少ないカテゴリの学習が容易になったというような可能性を考えることができる．

\AbbrevProposal と\TableSupervised の比較によって，\WSL の中で最も精度の高い\AbbrevProposal であったとしても，まだまだ教師あり学習との精度差が大きいことがわかる．
具体的には，\CoNLL，\MedMentions データセットそれぞれにおいて，F1 で 31，24\% もの精度差があることが読み取れる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{クラス別の精度比較}

この節では\TableBaseline とのクラス別の精度比較によって，どういったカテゴリにおいて提案手法が優位であるのかを確認する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[b]
\input{06table02.tex}%
\hangcaption{\PseudoData 作成手法，弱教師あり手法におけるクラスごとの F1 精度比較．\DBpedia を\PseudoAnnotation に\CoNLL を評価に利用した実験結果．「\TableDataMaking 」の行は\PseudoData 作成手法，「\TableBaseline 」，「\TableGraphcut 」，「\WithAlmostCatProposal」，「\AbbrevProposal 」の行は\WSLNER の手法の実験結果を示している．「\TableBaseline 」は\FOCUSCAT， 「\TableGraphcut 」はそれに加えて \COMPLEMENTCAT を擬似データに活用した際の精度を示している．「\WithAlmostCatProposal」は\ALLCAT を擬似データに活用し，\FOCUSCAT の祖先カテゴリのみ予測対象のカテゴリから除いた際の精度を示している．「\AbbrevProposal」は\ALLCAT を擬似データに活用し，\FOCUSCAT，\COMPLEMENTCAT，\dq{O}カテゴリのみ予測対象のカテゴリとした際の精度を示している．「ALL」の行は全体での精度を示し，「PER」～「MISC」の行はそれぞれのカテゴリに対する精度を提示している．また「PER」～「MISC」の行は\AbbrevProposal が\TableBaseline に対して大きい順にソートしている．}
\label{tab:class_wise_ws_result_on_conll}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

表\ref{tab:class_wise_ws_result_on_conll}では，\DBpedia を\PseudoAnnotation に\CoNLL を評価に利用した実験結果を示している．
「\TableDataMaking」の行は\PseudoData 作成手法，「\TableBaseline」，「先行研究\protect\cite{\PaperGraphCut}」，「\WithAlmostCatProposal」，「\AbbrevProposal」の行は\WSLNER の手法の実験結果を示している．「\TableBaseline 」は\FOCUSCAT， 「\TableGraphcut」はそれに加えて \COMPLEMENTCAT を擬似データに活用した際の精度を示している．「\WithAlmostCatProposal」は\ALLCAT を擬似データに活用し，\FOCUSCAT の祖先カテゴリのみ予測対象のカテゴリから除いた際の精度を示している．「\AbbrevProposal」は\ALLCAT を擬似データに活用し，\FOCUSCAT，\COMPLEMENTCAT，\dq{O}カテゴリのみ予測対象のカテゴリとした際の精度を示している．「ALL」の行は全体での精度を示し，「PER」～「MISC」の行はそれぞれのカテゴリに対する精度差を提示している．また「PER」～「MISC」の行は\AbbrevProposal が\TableBaseline に対して大きい順にソートしている．
同様に表\ref{tab:class_wise_ws_result_on_medmentions}では，\UMLS を\PseudoAnnotation に\MedMentions を評価に利用した実験結果を示している．
表\ref{tab:class_wise_ws_result_on_conll}と同様に「Eukaryote」～「Injury or Poisoning」の行はそれぞれのカテゴリに対する精度を提示している．また「Eukaryote」～「Injury or Poisoning」の行は\AbbrevProposal が\TableBaseline に対して大きい順にソートしている．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 3
\begin{table}[t]
\input{06table03.tex}%
\hangcaption{\PseudoData 作成手法，弱教師あり手法におけるクラスごとの F1 精度比較．\UMLS を\PseudoAnnotation に\MedMentions を評価に利用した実験結果．「\TableDataMaking 」の行は\PseudoData 作成手法，「\TableBaseline 」，「\TableGraphcut 」，「\WithAlmostCatProposal」，「\AbbrevProposal 」の行は\WSLNER の手法の実験結果を示している．「\TableBaseline 」は\FOCUSCAT， 「\TableGraphcut 」はそれに加えて \COMPLEMENTCAT を擬似データに活用した際の精度を示している．「\WithAlmostCatProposal」は\ALLCAT を擬似データに活用し，\FOCUSCAT の祖先カテゴリのみ予測対象のカテゴリから除いた際の精度を示している．「\AbbrevProposal」は\ALLCAT を擬似データに活用し，\FOCUSCAT，\COMPLEMENTCAT，\dq{O}カテゴリのみ予測対象のカテゴリとした際の精度を示している．「ALL」の行は全体での精度を示し，「Eukaryote」～「Injury or Poisoning」の行はそれぞれのカテゴリに対する精度を提示している．また「Eukaryote」～「Injury or Poisoning」の行は\AbbrevProposal が\TableBaseline に対して大きい順にソートしている．}
\label{tab:class_wise_ws_result_on_medmentions}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

このクラスごとの出力結果から，抽象度が高く多様な下位クラスを持つ，「PER」，「Eukaryote」，「Chemical」などのクラスに提案手法が強い一方で，
「MISC」や「Bacterium」などあまり下位クラスの多様性が大きくなさそうなクラスにおいては有効性を発揮できていないことがわかる．
表\ref{tab:class_wise_ws_result_on_conll}，\ref{tab:class_wise_ws_result_on_medmentions}の「ALL」の行からも，
より抽象度の高い\CoNLL のクラスを\FOCUSCAT とした際の提案手法の精度改善の幅がより専門性の高い\MedMentions のクラスを\FOCUSCAT とした際の提案手法の精度改善の幅が大きいこと見てとれる．
このことからも提案手法はより粒度が粗く，その子孫に多様なクラスが存在する場合に有用である一方で，
より粒度の細かいクラスに関しては親クラスをヒントに使うことが必ずしも有用であるとは言えないことが示唆される．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{教師データを量を変えた場合との比較}
\label{sec:data_size_shift}

この章では，\ref{sec:main_result}章で確認できた\AbbrevProposal の改善がどれくらいの量の\SupervisedData 追加に匹敵するのかを明らかにする．
そのために，\TableBaseline， \AbbrevProposal の\WSLNER 手法がどのくらいの量の\SupervisedData を伴う教師あり学習に匹敵するのかを確認する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 5
\begin{figure}[b]
\begin{center}
\includegraphics{31-3ia6f5.pdf}
\end{center}
\hangcaption{\CoNLL，\MedMentions の教師データ量を変更した際の F1 と\TableBaseline，\AbbrevProposal の精度比較．表では\TableBaseline，\AbbrevProposal との比較が容易になるようにデータ量・精度の区間を拡大している．\TableSupervised の実験結果は訓練データから指定された数の教師データをランダムに 10 回サンプリングし，精度の平均を計算することで計算を行なった．また\TableSupervised に示されている誤差範囲は標準偏差である．全体像やより細かい数値については，付録\ref{sec:low_resource_detail}を参照されたい．}
\label{fig:data_size_experiment_strict}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

図\ref{fig:data_size_experiment_strict}では，\CoNLL， \MedMentions の教師データ量を変更した際の\Strict F1 値の推移を\TableBaseline ， \AbbrevProposal の F1 値とともに表示している．\TableSupervised の精度は訓練データから指定された数の教師データをランダムに 10 回サンプリングし，精度の平均を計算することで計算を行なった．
まず\TableSupervised と\TableBaseline を比較すると，\TableBaseline が\CoNLL， \MedMentions それぞれの評価において，360，900文ほどの\SupervisedData を伴った教師あり学習と同等の効果があることがわかる．
次に\TableSupervised と\AbbrevProposal を比較すると，\AbbrevProposal が\CoNLL， \MedMentions それぞれの評価において，500，1350文ほどの\SupervisedData を伴った教師あり学習と同等の効果があることがわかる．
\pagebreak
以上のことから\AbbrevProposal の改善が\CoNLL， \MedMentions それぞれの評価において140，450文追加程度の効果があることがわかる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{結論}

本論文の実験から次の二つのことを確認できた．
まず，\WSLNER において着目する\FOCUSCAT だけではなく，\ALLCAT を利用する有用性を検証し，\CoNLL と\MedMentions の両データセットにおいて，\BASELINE から 5～7\% の改善を達成できた．
さらに，\PROPOSAL が 760～1690 文ほどの教師データのアノテーションに匹敵することも明らかにできた．

本論文の実験を通じて得られた知見として，巨大なカテゴリ階層の一部である\FOCUSCAT にしか関心がない場合であっても，単にそれらを擬似アノテーションの対象にするだけでなく，\ALLCAT を考慮させることで\FOCUSCAT 取得精度が上昇することを明らかにした．
この実験結果は，分類の難しい事例を考慮したい際に，分類の失敗事例を教えるだけではなく，総体的な知識に基づいてなぜその事例が間違っているのかを教えることが有用であることを示している．

次に，本研究の活用と発展について述べる．
本研究で利用した弱教師あり学習は様々な分野において\THESAURUS さえあれば利用可能な方法であり，様々なカテゴリを含む\DBpedia などの巨大な\THESAURUS を利用すれば，\User のニーズに応じた固有表現抽出器を\WSLNER で作成する際に活用することができる．
また LUKE \cite{\PaperLUKE}などの\THESAURUS 情報を考慮させた事前学習済みモデルの学習においても\THESAURUS のもつ総体的な知識構造を教えることができるメリットがあるかもしれない．

最後に，今回の研究の限界について述べる．
まず教師あり学習の精度には 24～31\% も劣っており，教師あり学習に匹敵した精度を実現するという理想にはまだ到達していない．
また，今回の研究では\DBpedia， \UMLS というとても大規模で階層的なカテゴリ構造を持つ\THESAURUS を活用した．
一方で，どれくらい小規模な\THESAURUS においても提案手法の優位性が成り立つのか，階層的クラスタリングとの併用により階層構造を自動で作成しても有用性が保たれるのかについては明らかにされていない．
さらに本研究では，「映画監督」に関心があるが「お笑い芸人」には関心がない, ただし「映画監督」であり「お笑い芸人」である人間には関心がある，といった関心のある・ないカテゴリが重複する状況に対応できていないという課題も存在している.


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本研究は，第一著者が奈良先端科学技術大学院大学自然言語処理学研究室で始めた研究を発展させたものです．
奈良先端科学技術大学院大学自然言語処理学研究室においてセミナーなどで議論いただいた皆さんありがとうございました．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{06refs}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\appendix

\section{擬似データにおける各カテゴリの訓練事例数}
\label{sec:pseudo_data_statistics}

この章では，本論文で作成した擬似データの各カテゴリの訓練事例数を提示する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 4
\begin{table}[p]
\input{06table04.tex}%
\end{center}
\hangcaption{\CoNLL の train set に\DBpedia を用いて\PseudoAnnotation を行った\PseudoData のカテゴリごとの訓練事例数．「\TableBaseline」の列では\FOCUSCAT のみを利用したベースラインのカテゴリごとの訓練事例数，「\TableGraphcut」の列では\FOCUSCAT と\COMPLEMENTCAT を利用した比較手法の訓練事例数，「提案手法」の列では\ALLCAT を利用したカテゴリごとの訓練事例数を示している．ただし正確には「提案手法」の「PER」「LOC」「ORG」「MISC」のカテゴリは\DBpedia に含まれないため\PseudoData には含まれていない．その変わりに推論時にこれらのカテゴリの代替として利用した（付録\ref{sec:CoNLL2003CategoryMapper}）カテゴリの訓練事例数の総計を提示している．ページ内に収めるため提案手法 の\PseudoData において20スパン以上出現するカテゴリのみ提示している．}
\label{tab:category_statistics_in_conll_pseudo_data}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 5
\begin{table}[p]
\input{06table05.tex}%
\end{center}
\hangcaption{\MedMentions の train set に\UMLS を用いて\PseudoAnnotation を行った\PseudoData のカテゴリごとの訓練事例数．「\TableBaseline」の列では\FOCUSCAT のみを利用したベースラインのカテゴリごとの訓練事例数，「\TableGraphcut」の列では\FOCUSCAT と\COMPLEMENTCAT を利用した比較手法の訓練事例数，「提案手法」の列では\ALLCAT を利用したカテゴリごとの訓練事例数を示している．ページ内に収めるため提案手法 の\PseudoData において250スパン以上出現するカテゴリのみ提示している．}
\label{tab:category_statistics_in_medmentions_pseudo_data}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

表\ref{tab:category_statistics_in_conll_pseudo_data}，\ref{tab:category_statistics_in_medmentions_pseudo_data}には，\CoNLL，\MedMentions の train set に\DBpedia，\UMLS を用いて作成した\PseudoData に含まれるカテゴリごとの訓練事例数を明示している．
「\TableBaseline」の列では\FOCUSCAT のみを利用したベースラインのカテゴリごとの訓練事例数，「\TableGraphcut」の列では\FOCUSCAT と\COMPLEMENTCAT を利用した比較手法のカテゴリごとの訓練事例数，「提案手法」の列では\ALLCAT を利用した提案手法の訓練に利用した\PseudoData のカテゴリごとの訓練事例数を示している．
ただし正確には「提案手法」の「PER」「LOC」「ORG」「MISC」のカテゴリは\DBpedia に含まれないため\ALLCAT を活用する\PseudoData には含まれていない．その代わり，推論時にこれらのカテゴリの代替として利用した（付録\ref{sec:CoNLL2003CategoryMapper}）カテゴリの訓練事例数の総計を提示している．

\TableBaseline を基準に\TableGraphcut の列を比較すると，\COMPLEMENTCAT の訓練事例が追加されている他，\FOCUSCAT の事例数が減少している．
これは\TableBaseline と\TableGraphcut の両手法の前処理において，曖昧性のある（複数のカテゴリを持つ）語句を擬似データ作成の際に取り除いているからである．
\TableGraphcut では，\TableBaseline に比べて\COMPLEMENTCAT が追加されているので，より曖昧性があるとされて除去される語句が増えている．

\TableBaseline や\TableGraphcut を基準に提案手法 の列を比較すると，\FOCUSCAT の事例数が減少していることもあれば増加している場合もある．
これは提案手法 において\TableBaseline 及び\TableGraphcut とは異なる曖昧性解消手法を利用していることに起因する．
具体的には提案手法 では同一名称を持つ複数のエンティティがある場合，その共通カテゴリを利用するという曖昧性解消手法を利用している．
これは例えば「江川卓」という名前を考えた時に，エンティティとしてはロシア文学者の「江川卓」（えがわ たく）と，野球選手の「江川卓」（えがわ すぐる）という曖昧性があるものの，そのどちらのエンティティであっても人名を指していることには変わりないとして，「江川卓」を「文学者」や「スポーツ選手」というカテゴリの語句として利用はしないが，「人名」というカテゴリの語句としては利用する，といった曖昧性解消手法である．

この曖昧性解消手法では粒度の粗いカテゴリしか付与されていないエンティティがあると\TableBaseline や\TableGraphcut よりも提案手法の訓練事例数が減少しうる．
例えば，「ホモサピエンス」に対して二つのエンティティが存在し，片方は「哺乳類」「生物」カテゴリが付与され，もう片方には「生物」カテゴリのみ付与されている場合を考える．
\FOCUSCAT として「哺乳類」を選択した場合の\TableBaseline では，「ホモサピエンス」は「哺乳類」として活用される．
一方で提案手法では「ホモサピエンス」は「生物」として活用されるものの，「哺乳類」としては活用されないといった事態が生じてしまう．

また，この曖昧性解消手法ではエンティティ自体が多義的である場合に\TableBaseline や\TableGraphcut よりも提案手法の訓練事例数が増加しうる．
例えば，「石原 慎太郎」という語句に対して一つのエンティティが存在し，「政治家」，「小説家」という二つのカテゴリが付与されている場合を考える．
\FOCUSCAT として「政治家」と「小説家」を選択した場合の\TableBaseline では，「石原 慎太郎」という語句は曖昧性を持っているとして除去される．
一方で提案手法では「石原 慎太郎」には一つのエンティティしか存在しないので「政治家」と「小説家」両方のカテゴリを持つ語句として活用される．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 6
\begin{table}[b]
\input{06table06.tex}%
\hangcaption{\CoNLL で\SupervisedData 量を変化させた時の精度変化．「\TableDataMaking」の行にはデータ作成手法，「\TableBaseline」，「\AbbrevProposal」の行には \WSL 手法である\BASELINE，\PROPOSAL，「\TableSupervised」の行以降には\SL で指定された数ランダムに教師データを取得した際の精度の平均値と標準偏差を提示している．「\Strict」の下の 3 つの列には\Strict の精度を，「\Lenient」の下の 3 つの列には\Lenient の精度を示している．}
\label{tab:low_resource_conll}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 7
\begin{table}[t]
\input{06table07.tex}%
\hangcaption{\MedMentions で\SupervisedData 量を変化させた時の精度変化．「\TableDataMaking」の行にはデータ作成手法，「\TableBaseline」，「\AbbrevProposal」の行には \WSL 手法である\BASELINE，\PROPOSAL，「\TableSupervised」の行以降には\SL で指定された数ランダムに教師データを取得した際の精度の平均値と標準偏差を提示している．「\Strict」の下の 3 つの列には\Strict の精度を，「\Lenient」の下の 3 つの列には\Lenient の精度を示している．}
\label{tab:low_resource_medmentions}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{教師データ量を変更したときの実験結果詳細}
\label{sec:low_resource_detail}

この章では，\ref{sec:data_size_shift}章において紹介した教師データ量を変更したときの実験結果の詳細を提示する．
表\ref{tab:low_resource_conll}， \ref{tab:low_resource_medmentions}では，\CoNLL，\MedMentions データセットにおいて教師データ量を変更したときの精度の変化を示している．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{Undersampling 率を変えたときの精度変化}
\label{sec:parameter_tuning_by_undersampling}

表\ref{tab:under_sample_conll2003}，\ref{tab:undersample_medmentions}には， \DBpedia，\UMLS を\PseudoAnnotation に利用し，\CoNLL，\MedMentions で評価した実験において\dq{O}スパンのアンダーサンプリング率\cite{\PaperNegativeUndersampling}を変更した際の実験結果を提示している．

表\ref{tab:under_sample_conll2003}，\ref{tab:undersample_medmentions}から，\Strict の観点でも，\Lenient の観点でも\PROPOSAL が\WSL 手法の中では最も精度が高いことがわかる．
なぜなら，表\ref{tab:under_sample_conll2003}の 4 つの弱教師あり学習手法の最大の\Strict F1 はそれぞれ``O''/その他比が3.0，8.0，3.0，1.0の 51.80，50.69，58.90，60.18 であり，最大の\Lenient F1 はそれぞれ``O''/その他比が0.1，1.0，0.1，0.5の 61.73，63.06，66.28，65.95 となっているからである．
同様に表\ref{tab:undersample_medmentions}においても，最大の\Strict F1 はそれぞれ``O''/その他比が16.0，16.0，3.0，2.0の 30.22，30.16，34.86，35.20 であり，最大の\Lenient F1 はそれぞれ``O''/その他比が2.0，0.5，0.1，0.1の 44.87，47.44，50.42，54.90 となっていることがわかるからである．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 8
\begin{table}[p]
\input{06table08.tex}%
\hangcaption{\DBpedia を\PseudoAnnotation に利用し\CoNLL で評価した際に\dq{O}ラベルの割合を変動させた際の精度変化． \BASELINE，\GRAPHCUT，\PROPOSAL，さらに対象・補完カテゴリに予測を絞った提案手法のそれぞれにおいて，正例に対する\dq{O}ラベルの割合を変動させた際の\Strict の精度と\Lenient の精度を提示している．}
\label{tab:under_sample_conll2003}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 9
\begin{table}[p]
\input{06table09.tex}%
\hangcaption{\UMLS を\PseudoAnnotation に利用し\MedMentions で評価した際に\dq{O}ラベルの割合を変動させた際の精度変化． \BASELINE，\GRAPHCUT，\PROPOSAL，さらに対象・補完カテゴリに予測を絞った提案手法のそれぞれにおいて，正例に対する\dq{O}ラベルの割合を変動させた際の\Strict の精度と\Lenient の精度を提示している．}
\label{tab:undersample_medmentions}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

表\ref{tab:under_sample_conll2003}，\ref{tab:undersample_medmentions}の「\TableBaseline」及び「\TableGraphcut」と記載のある行以降を見ると，基本的に\dq{O}スパンの他スパンに対する割合が上昇することによって Precision が高くなるが Recall が減少するというトレードオフがあることがわかる．
表\ref{tab:undersample_medmentions}の「\WithAlmostCatProposal」，「\AbbrevProposal」の結果においても基本的に\dq{O}スパンの他スパンに対する割合が上昇することによって Precision が高くなるが Recall が減少するというトレードオフがあることがわかる．
一方で，表\ref{tab:under_sample_conll2003}からははっきりとした傾向が読み取れない．
これは，\FOCUSCAT に対して負例として働く\THESAURUS 中の他のカテゴリの事例が学習データ中に豊富に存在していることで，\dq{O}ラベルを持つスパンの影響が小さくなっているためであると考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{\CoNLL のカテゴリに対応させた\DBpedia のカテゴリ}
\label{sec:CoNLL2003CategoryMapper}

本章では，\CoNLL\cite{\CoNLLPaper} と異なるラベル体系をもつ\DBpedia \cite{\DBpediaPaper}を\PseudoAnnotation に活かすにあたって\DBpedia のどのカテゴリを\CoNLL の 4 つのカテゴリと見做したかについて述べる．

\CoNLL の\dq{PER} カテゴリに対して，\DBpedia の\dq{Person}，\dq{Name}カテゴリを利用し，\dq{ORG}カテゴリに対して\DBpedia の\dq{Organisation}カテゴリを利用し，\dq{LOC}カテゴリに対しては\dq{Place}カテゴリを利用し，\dq{MISC}カテゴリに対しては\DBpedia の\dq{Work}，\dq{Event}，\dq{MeanOfTransportation}， \dq{Device}，\dq{Award}，\dq{Disease}，\dq{ethnicGroup}，\dq{EthnicGroup}\footnote{\dq{ethnicGroup}， \dq{EthnicGroup}はどちらも民族を示すカテゴリだが，前者は属性名として利用されるものであり，後者はエンティティの分類に使われるものであるという違いがある} のカテゴリを利用した．

\AbbrevProposal の学習時には，\DBpedia のより細かいカテゴリを利用している．
そこで，予測時にこれらに対応するカテゴリを\CoNLL の 4 つのカテゴリにまとめる工夫をした．
具体的にはこれら対応するカテゴリ群に予測された確率の総和を用いてまとめた．
例えば\dq{PER}カテゴリに対しては\dq{Person}， \dq{Name}カテゴリに対する予測確率の総和を利用するといった具合である．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{芝原　隆善}{2017 年京都大学総合人間学部知能情報学系を卒業．2019 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了．2022 年同博士後期課程満期取得退学．2022 年から株式会社レトリバに勤務．}

\bioauthor{山田 育矢}{中学から大学院博士課程まで慶應義塾大学 SFC キャンパスで学ぶ．武藤佳恭教授（現名誉教授）に師事し，博士（学術）を取得．2000 年の大学入学と同時にインターネットの基盤技術の研究開発を行う学生ベンチャー企業ニューロンを起業．その後，同社をフラクタリスト社に売却し，NAT トラバーサル技術を事業化．2007 年に自然言語処理の研究開発を行う Studio Ousia を共同創業．自然言語処理の基本的な問題である質問応答及びエンティティ抽出についての研究開発を推進．}

\bioauthor{西田　典起}{%
2015 年東京大学工学部電子情報工学科卒業．
2017 年同大学院情報理工学系研究科創造情報学専攻修士課程修了．
2020 年同専攻博士課程修了．
博士（情報理工学）．
同年より理化学研究所革新知能統合研究センター (AIP) 特別研究員．
2023年より同センター研究員．
}

\bioauthor{寺西　裕紀}{%
2014 年慶應義塾大学商学部卒．2018 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了．2020 年同大学院先端科学技術研究科博士後期課程修了．博士（工学）．同年より理化学研究所革新知能統合研究センター (AIP) 特別研究員．2023 年より奈良先端科学技術大学院大学客員助教を兼務．自然言語処理の研究に従事．
}

\bioauthor{古崎　晃司}{1997 年大阪大学工学部電子工学科卒業．2002 年同大学院工学研究科博士後期課程修了．同年，化学工学会嘱託研究員，同年 12 月大阪大学産業科学研究所助手，2008 年同准教授．2019 年から大阪電気通信大学 情報通信工学部 情報工学科の教授．博士（工学）．オントロジー工学の基礎理論，オントロジー構築・利用環境の設計・開発，セマンティック Web，Linked Data，医療，環境など各種領域におけるオントロジー開発・応用に関する研究に従事．Linked Open Data チャレンジにおいて，ライフサイエンス賞（2013 年），アプリケーション部門優秀賞（2014 年）を受賞．2014 年，オープンデータ・アプリコンテスト技術賞受賞．情報処理学会，電子情報通信学会，医療情報学会，International Association for Ontology and its Applications，各会員．}

\bioauthor{松本　裕治}{%
1977 年京都大学工学部情報工学科卒．1979 年同大学大学院工学研究科修士課程情報工学専攻修了．同年電子技術総合研究所入所．1984～85 年英国インペリアルカレッジ客員研究員．1985～87 年（財）新世代コンピュータ技術開発機構に出向．1988 年京都大学助教授，1993 年奈良先端科学技術大学院大学教授．2020 年理研 AIP 知識獲得リーダ，現在に至る．工学博士．専門は自然言語処理．情報処理学会，人工知能学会，言語処理学会，AAAI，ACL，ACM 各会員，情報処理学会フェロー，ACL Fellow．
}

\end{biography}




%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\biodate



\end{document}

