\documentclass[japanese]{jnlp_3.5}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks
\renewcommand\BTR{Tech.\ rep}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%% \usepackage{caption}
%%%%\usepackage{enumitem}
\usepackage{booktabs}
\usepackage{siunitx}
%%%%\usepackage{multicol,multirow}
    \usepackage{multirow}
%%%%\usepackage{url}
\usepackage{okumacro}
\usepackage[noabbrev]{cleveref}
\crefformat{chapter}{第#2#1#3章}
\crefformat{section}{#2#1#3節}
\crefformat{subsection}{#2#1#3節}
\crefname{figure}{図}{図}
\crefname{table}{表}{表}
\crefname{equation}{式}{式}
\crefname{appendix}{付録}{付録}
\newcommand{\crefrangeconjunction}{--}
\newcommand{\crefpairconjunction}{, }
\newcommand{\crefmiddleconjunction}{, }
\newcommand{\creflastconjunction}{, }
%%%%\usepackage{xifthen}
%%%%\usepackage{tikz-dependency}
%%%%% 関係の可視化用 (tikz-dependency)
%%%%%% 環境'brat'（tikz-dependency環境に準ずる）
%%%%\newenvironment{brat}[1][edge unit distance=1ex]{
%%%%    \begin{dependency}[text only label, label style={above}, edge horizontal padding = 2pt, #1]
%%%%}{
%%%%    \end{dependency}
%%%%}
%%%%% \startbratはexample中で可視化結果と番号の高さを揃えるために用いる。\begin{brat}との間に空行を入れないとエラーがでるので注意
%%%%\newcommand{\startbrat}{~\\} 
%%%%%\newcommand{\startbrat}{\hspace{-1zh} \vspace{-\baselineskip}\\}
%%%%
%%%%%% deptext環境の2行目で用いる。医療エンティティラベル用
%%%%%% 使い方：属性をもたない医療エンティティの場合は\tagAnno{<entity-name>}
%%%%%%        属性をもつ医療エンティティの場合は\tagAnnoA{<entity-name>}{<attribute>}
%%%%\tikzstyle{TAG}=[font=\footnotesize,text=black!70]
%%%%\newcommand{\tagAnno}[1]{|[TAG]| #1}
%%%%\newcommand{\tagAnnoA}[2]{|[TAG]| #1\tiny(#2)}
%%%%\newcommand{\DCT}{\color{gray}{[DCT]}}
%%%%%% deptext環境のあとで用いる。医療エンティティのスパンに色をつける。
%%%%%% 使い方：\showTag{<X>}{<entity-name>}でX番目の要素にentity-nameに応じた色がつく
%%%%\newcommand{\showTag}[2]{
%%%%    \ifthenelse{\equal{#2}{d}}{\colorlet{SpanColor}{red}}{
%%%%    \ifthenelse{\equal{#2}{a}}{\colorlet{SpanColor}{orange}}{
%%%%    \ifthenelse{\equal{#2}{f}}{\colorlet{SpanColor}{cyan}}{
%%%%    \ifthenelse{\equal{#2}{c}}{\colorlet{SpanColor}{green!60!black}}{
%%%%    \ifthenelse{\equal{#2}{TIMEX3}}{\colorlet{SpanColor}{violet}}{
%%%%    \ifthenelse{\equal{#2}{t-test}}{\colorlet{SpanColor}{yellow}}{
%%%%    \ifthenelse{\equal{#2}{t-key}}{\colorlet{SpanColor}{yellow}}{
%%%%    \ifthenelse{\equal{#2}{t-val}}{\colorlet{SpanColor}{yellow}}{
%%%%    \ifthenelse{\equal{#2}{m-key}}{\colorlet{SpanColor}{pink}}{
%%%%    \ifthenelse{\equal{#2}{m-val}}{\colorlet{SpanColor}{pink}}{
%%%%    \ifthenelse{\equal{#2}{r}}{\colorlet{SpanColor}{gray}}{
%%%%    \ifthenelse{\equal{#2}{cc}}{\colorlet{SpanColor}{brown}}{
%%%%    \colorlet{SpanColor}{white}}}}}}}}}}}}}
%%%%  \wordgroup[group style={fill=SpanColor!40,draw=SpanColor}]{1}{#1}{#1}{tag}
%%%%}
%%%%%% showRel（depedgeに準ずる）。
%%%%%% 使い方：\showRel{<X>}{<Y>}{<relation-name>}でY番目の要素からX番目の要素に矢印、ラベルはrelation-name
%%%%%% 関係を点線にしたい場合は下の\showOmitを使う。
%%%%\depstyle{time}{edge style=violet, label style={text=violet}}
%%%%\newcommand{\showRel}[4][edge style=black]{
%%%%   \ifthenelse{
%%%%     \equal{#4}{timeOn}
%%%%     \OR \equal{#4}{timeBefore}
%%%%     \OR \equal{#4}{timeAfter}
%%%%     \OR \equal{#4}{timeBegin}
%%%%     \OR \equal{#4}{timeEnd}
%%%%   }{
%%%%     \depedge[#1, time]{#2}{#3}{#4}
%%%%   }{
%%%%     \depedge[#1]{#2}{#3}{#4}
%%%%   }
%%%% }
%%%%\depstyle{omit}{dotted, label style={text=gray}}
%%%%\depstyle{omittime}{edge style= violet, dotted, label style={text=violet}}
%%%%\newcommand{\showOmit}[4][edge style=black]{
%%%%   \ifthenelse{
%%%%     \equal{#4}{timeOn}
%%%%     \OR \equal{#4}{timeBefore}
%%%%     \OR \equal{#4}{timeAfter}
%%%%     \OR \equal{#4}{timeBegin}
%%%%     \OR \equal{#4}{timeEnd}
%%%%   }{
%%%%     \depedge[#1, omittime]{#2}{#3}{#4}
%%%%   }{
%%%%     \depedge[#1, omit]{#2}{#3}{#4}
%%%%   }
%%%% }
\newcommand{\argA}{E$_\mathrm{from}$}
\newcommand{\argB}{E$_\mathrm{to}$}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


\Volume{29}
\Number{4}
\Month{December}
\Year{2022}
%%%%\Issuetitle{「　　　　」特集号}

\received{2022}{4}{25}
\revised{2022}{8}{1}
\accepted{2022}{9}{9}

\setcounter{page}{1165}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}

\jtitle{汎用的な臨床医学テキストアノテーション仕様および\\ガイドラインの策定: 重篤肺疾患ドメインに着目して}
\etitle{Versatile Annotation Guidelines for Clinical-Medical Text with an Application to Critical Lung Diseases}

\jauthor{矢田竣太郎\affiref{NAIST} \and 田中リベカ\affiref{OCHA} \and Fei Cheng\affiref{KU} \and 荒牧　英治\affiref{NAIST} \and 黒橋　禎夫\affiref{KU}}
\eauthor{Shuntaro Yada\affiref{NAIST} \and Ribeka Tanaka\affiref{OCHA} \and Fei Cheng\affiref{KU} \and Eiji Aramaki\affiref{NAIST} \and\\ Sadao Kurohashi\affiref{KU}} 

\jabstract{%
医学応用のための自然言語処理（医療言語処理）には質の高いアノテーション済みコーパスが必要となる．本研究では，医療言語処理の中でも応用事例の多い固有表現認識と関係抽出を統合的に取り扱う，汎用的な臨床医学テキストアノテーション仕様とその作業ガイドラインの設計について報告する．本仕様では類似の臨床医学テキスト向けアノテーション仕様を統合し，多くの医療言語処理応用に有用な情報をコーディングできる汎用的なエンティティ及び関係を定義した．ガイドラインには医学知識に基づく判断が必要なアノテーションを減らすことで非医療従事者でも作業できる工夫を施し，実行可能性を高めることを目指した．これらの過程では言語処理研究者，医学専門家，アノテーション作業者の三者を交えた反復的な議論プロセスを採用し，実例に基づいて仕様・ガイドラインを整備しつつコーパス規模も拡大させた．本ガイドラインに基づくアノテーションを重篤肺疾患患者の診療録・読影所見3,769件に付与するにあたり，まず半量が済んだ段階で予備的な固有表現・関係抽出モデルを作成し，残りをこのモデルによる自動アノテーションの修正作業に切り替えることで効率化を図ったところ，アノテーションの一貫性も向上した．また最終的なコーパスで訓練した固有表現・関係抽出モデルは実用も期待できる性能に達していることを示した．
}
\jkeywords{診療録，読影所見，固有表現認識，関係抽出，コーパス}

\eabstract{%
Natural language processing for medical applications (medical NLP) requires high-quality annotated corpora. In this study, we designed a versatile annotation scheme for clinical-medical text and a set of associated guidelines, which address two common subtasks used in medical NLP: named entity recognition (NER) and relation extraction (RE). The annotation scheme integrates similar existing schemes and defines clinical-medical entities and relations to encode useful information for many medical NLP applications. The guidelines aim to increase the annotation feasibility by reducing the necessity of judgement based on medical knowledge so as to enable non-medical professionals to annotate the text. We adopted a recursive discussion procedure involving NLP researchers, medical professionals, and annotators to develop the scheme and guidelines based on real annotation examples while increasing the corpus size. Further, we obtained annotated corpora comprising 3,769 medical records and radiology reports of patients with serious lung diseases. For improved efficiency, preliminary NER and RE models were created after the first half was annotated; they were subsequently applied to the second half, which was then corrected manually. This two-step annotation also increased the inter-coder agreement. Finally, a joint NER + RE model trained on our corpora showed sufficiently promising performance to suggest its practical implementation.
}
\ekeywords{Medical Records, Radiology Reports, Named Entity Recognition, Relation Extraction, Corpus}

\headauthor{矢田，田中，Cheng, 荒牧，黒橋}
\headtitle{汎用臨床医学アノテーション仕様}

\affilabel{NAIST}{奈良先端科学技術大学院大学}{Nara Institute of Science and Technology}
\affilabel{OCHA}{お茶の水女子大学}{Ochanomizu University}
\affilabel{KU}{京都大学}{Kyoto University}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに} \label{sec:introduction}

臨床現場の文書記録が電子カルテシステムによって電子化されて以降，自然言語処理(Natural Language Processing; NLP)技術を電子カルテの自由記述テキストに適用する重要性も増す一方である\shortcite{AramakiBook}．
例えば診療録は医師が診療に際して記載する記録文書であるが，その診療においては数値入力やカテゴリ選択だけでは表現し得ない微妙なニュアンスや複雑な状況もあることから，依然として診療に関する情報の大部分が自由記述部分に蓄えられており\footnote{NLPに頼らず電子カルテから情報抽出できるように，予め電子カルテに入力できる項目を規格化・標準化し，機械可読で構造的なデータにする動きもないわけではない．例えば新医療リアルワールドデータ研究機構株式会社（京都）は標準化された診療録入力を支援するためのオンコロジーデータベースを開発・販売している．}，そのままでは診療履歴の検索や二次的な症例分析に使うのが困難である．
この自由記述テキストに，もし固有表現認識 (Named Entity Recognition; NER) を適用して病名や薬品名を識別できれば，ある患者が入院前も含めてどのような病歴を辿ったかや，なぜ特定の薬品が治療に使われてきたかといった情報を抽出できる可能性が開ける．
さらに近年，大規模な症状データベース（フェノタイピングデータベース）\shortcite{Kohler2021-ha}と遺伝子レベル・分子レベルの研究\shortcite{Bayes-Genis2020-fj,Sun2016-iw}とを組み合わせることで，劇的な医学の進歩も期待されている．
このような研究枠組みに使用できるデータソースとして，これまで分析困難とされてきた電子カルテの自由記述テキストから情報が得られれば，有益であることは明白である．

このように医療へのNLP応用（医療言語処理）が注目される中で，適用されるのは教師付き機械学習に基づく手法が多く，質・量ともに優れた学習データの整備が重要である．
ところが医療言語処理のためにアノテーションされたデータは，NER一つを取ってみても，他のドメインに比べると少ない．
これは医療データが個人情報を含むものであって一般公開しづらく，アノテーション作業に特別な配慮が必要であることが大きな理由の一つとして知られている\shortcite{Gonzalez-Hernandez2017-cx}．

専門的な用語・表現が高密度に作成されていることから，医学概念を表す言語表現を定義するのが難しいことも挙げられる．
例えば，「間質性肺炎」という病変の名称を固有表現としたいとき，「肺」という臓器名もこの中には含まれている．
病名も臓器名も臨床医学的には基本的な概念であり，医療ドメインの固有表現認識タスクでは抽出の対象となる固有表現タイプに設定されやすいが，「間質性肺炎」という表現全体を病名と扱うことも，内包された「肺」を臓器名としてさらに区別してネストされた固有表現とみなすこともできる．
さらには「間質性」を核たる病変たる「肺炎」についての属性と捉え，属性＋病変からなる複合的な固有表現とみなす仕様も設計可能である． 
また「異常がみられる」といった，何らかの臨床医学的事実に言及しつつも標準的な病変名を含まない一般的な表現も散見され，この表現に出現する「異常」をも病名と捉える考え方もできる．
いずれの方針も一定の応用目的に照らせば妥当たりうるが，アノテーションの難易度が変わる．
臨床医学的に厳密なアノテーションを要求すれば，作業者に専門知識が必要となり，ただでさえ入手・公開が困難な臨床医学テキストコーパスへのアノテーションが困難になってしまう．

もちろん臨床医学コーパスは専門家によるアノテーションが施されることが理想だが，現実的に難しいことが知られている．
日本では医療従事者は慢性的に不足しているうえ\footnote{厚生労働省の『労働経済動向調査』における人手の過不足感を表す指標「労働人員判断D.I.」では，医療・ヘルスケア領域の人手不足は5年以上も慢性的にほぼ平均以上となっている．}，``本来の職務はアノテーションの作業と大きく乖離しており，熱意を持ってアノテーションに従事可能な人材の確保は容易でない''\shortcite[p.~124]{Aramaki2018}．
さらに2019年末にはコロナウィルス感染症の世界的蔓延（パンデミック）が発生し，国際的に医療提供体制が逼迫する事態が断続的に起きた\shortcite{Hibi2021-im}．
このような深刻な状況下で，本務である医療行為に専念すべき医療従事者に対し，NLPのためのアノテーションを依頼することは困難である．

本研究では，多くの臨床的応用を見据えた言語処理向けアノテーション仕様を設計し，作業者に専門知識がなくても作業可能になるようなガイドライン\shortcite{guideline-en,guideline-ja}を策定した．
特に，臨床医学テキストからのNERと関係抽出 (Relation Extraction; RE) の両タスクで，これまで多くの研究が抽出すべき情報として定義してきた医学概念を広くカバーし，後続の研究者が車輪の再発明をせずに済むような，汎用的なアノテーション仕様を目指した．
例えば，小規模な応用については固有表現のみ，あるいは一部の固有表現タイプだけを採用してもらう，また大規模な応用では本仕様をベースに新たな固有表現や関係を追加・拡張してもらうといった利用を想定している．

本研究ではさらに，大規模な臨床医学テキスト3,769件に本アノテーションを実施した．
コーパスとしての記述統計，および本コーパスにNERとREを適用した実験結果を報告する．
なお本コーパスは研究用途で活用できるよう一般公開に向けて関係機関と調整中である．

次節以降の構成は以下の通りである．
\cref{sec:relwork}では医療言語処理向けのアノテーション仕様やコーパスを構築する過去の主な研究をまとめる．
続いて，本仕様の策定手続きを\cref{sec:workflow}で，定義したエンティティや関係の概要を\cref{sec:scheme}で説明する．
また\cref{sec:guidelines}において，本仕様に基づく作業の方針を作業者に説明するためのガイドラインについて述べる．
\cref{sec:outcome}で本仕様に基づいて作成されたコーパスに関する統計を報告した上で，コーパスの人手による評価結果とコーパスを用いたNERとREの実験結果とを\cref{sec:experiments}で記述する．
最後に\cref{sec:conclusion}で本研究をまとめ，展望に触れる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[b]
\input{05table01.tex}
\caption{主な医療言語処理アノテーション仕様・コーパス}
\label{tab:existing_schemes}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究} \label{sec:relwork}

臨床医学テキストからの情報抽出を目的とする代表的なアノテーション仕様を表\ref{tab:existing_schemes}に整理した．
医療言語処理の中でも最も基本的なタスクは病名抽出，すなわち医学論文や電子カルテ記述の中から病名を表す表現を認識することである．
同じ病変を表す異なる表現（「糖尿病」とその略称「DM」など）を集約したい需要から，医学概念を識別するオントロジー上のコードと紐づける正規化（あるいは標準化，エンティティリンキングとも呼ばれる）も併せて取り組まれることが多い\shortcite{Ogren2008-lc}．
NCBI \shortcite{Dogan2014-oy}とBC5CDR \shortcite{Wei2016-ak} は医療ドメインのNERないしエンティティリンキングの標準データセットとしてよく用いられる．
病名について，患者に実際に見られたかどうか（事実性）を考慮した日本語の大規模コーパスとして\shortciteA{Aramaki2018}のものがある．
電子カルテにおいては患者に実際に認められた症状以外にも，今後発現を注意すべき症状・病変や，その有無を将来検査したい病名などが記載されることがあり，これらを区別することはNERで抽出された情報に基づく後段の解析に役立つ．

病名抽出を拡張し，病変をめぐる医学的関係を抽出する研究も盛んである．
病変と，その原因となる遺伝子・タンパク質との間の関係を生物医学論文から同定する\shortciteA{Cano2009-on}の研究や，患者の状態と症状との因果関係を医学論文から識別する\shortciteA{Schulz2020-it}の研究がそのような例である．
また\shortciteA{Uzuner2011-si}は，退院サマリに出現する検査名・処置名と病名との間の関係抽出として，検査によって病変が発見されたかや処置によって病変が治癒したかといった臨床的事実関係を識別するタスクを提案した．
なかでも医薬品投与後の副作用を臨床医学テキストから検出するタスクは近年開催が増えている\shortcite{Hahn2020-kb}．
各国で医師・薬剤師・製薬会社による副作用報告が義務化されているところ，報告のために各種医療文書を精査する人手の作業が大きな負担となっていることを受けたものである．
医療言語処理共通タスクを定期的に開催するi2b2 （現在はn2c2と名称を変更している）でも，医薬品および付随情報（投薬量や剤形など）を電子カルテから抽出する固有表現認識タスク\shortcite{Uzuner2010-ht}や，それら医薬品と副作用表現との間の関係抽出タスク\shortcite{Henry2020-rp}が提案されている．
近年，日本語の患者ブログから医薬品副作用抽出を目指すコーパスも構築された\shortcite{Arase2020-ib}．
他に，電子カルテ記述から患者の発病・治療・検査などの履歴を時系列で整理する THYME \shortcite{Styler2014-hb}は，各種の臨床イベントとテキスト中の時間表現とを結びつける仕様を提案している．
臨床医学テキストには日時や期間，頻度を表す表現も多数含まれるうえ，臨床医学現象そのものの時間的複雑さを考えれば，非常に重要な取り組みといえる．

病変を軸とした特定の種類の医学的事実に限らず，臨床医学情報を全般的に取り扱う汎用的なアノテーション仕様も提案されてきた．
ここまで述べた応用を包含するスーパーセットを目指した仕様として，複数の臨床医学タスクに汎用的に使えるコーパスの作成に取り組んだ研究である．
ごく初期の試みは\shortciteA{Aramaki2009-wo}の仕様やCLEF Corpus \shortcite{Roberts2009-on}であり，病名に加えて身体部位，検査・薬品名を固有表現に含め，それらの間の関係（病変の包含部位や検査対象の病変など）を定義している．
その後も同様の方針で\shortciteA{Patel2018-wx}の仕様やMERLOT \shortcite{Campillos2018-tx}，\shortciteA{Shinohara2021}の仕様などが提案されてきた．
ただし，固有表現間の関係まで含めると複雑になりすぎる傾向もあってか，固有表現だけにとどまる仕様も少なくない\shortcite{Neveol2014-qn,Mitrofan2019-iw}．

同様の医療情報抽出タスクに対し，データセットとしてのコーパスのみならずアノテーション仕様自体が多数みられるのは，アノテーション対象の臨床医学テキスト種や記述言語による違いによるところが大きい．
臨床医学テキストは，電子カルテや症例報告論文といった粒度では同じ形式であっても，診療科や国・地域によって記述スタイルが違うことが知られている．
さらに，病院の内部文書である電子カルテに至っては，病院や医師によっても慣習が違う\shortcite{Rizvi2016-ju}．
疾患の定義が異なるような概念レベルの違い，あるいは法律によって記載内容が指定されるといった制度レベルの違いもここには介在している．
したがって，ある1通りのテキスト種・言語で考案されたアノテーション仕様では，異なる設定ではうまく当てはまらない部分が生じ，目指す応用ごとに新たな仕様が提案されることになる．

新たな仕様を設計する際の主な検討事項の一つは，何種類のエンティティや関係を定義するかである．
本節で取り上げたアノテーション仕様には多くの共通部分がみられるため，最大公約数的な仕様を作ることができれば有用と考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{アノテーション仕様の策定方法}  \label{sec:workflow}

本節では，我々が策定した臨床医学テキストアノテーション仕様をどのような方法・方針で作成したか説明する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{仕様策定者}

本研究では，著者らNLP研究者\footnote{後述する臨床医学エンティティの仕様策定の初期段階では，著者以外に
    会話分析研究者1名と
    言語学専門家1名
    も含まれる．}
がガイドライン策定を主導しつつ，
医学専門家（医師および医学研究者）3名
からなるレビューを定期的に複数回受けた．
特に医学専門家からは医学概念の単位や性質について助言を得ながら，実行可能性の高いアノテーション仕様に向けて議論を重ねた．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{仕様策定手続き} \label{sub:AnnoCycles}

仕様の考案と試験アノテーションを複数回異なる規模で繰り返す反復的な枠組みを採用した．
実際のアノテーション事例に乏しい中での机上の議論に時間をかけすぎず，アノテーション作業を早い段階で小規模に実施しながら問題点を洗い出すことを繰り返せば，着実に仕様の実行可能性を高められると考えたためである．
具体的には，(1) NLP研究者だけのサイクル，(2)医療従事者を交えたサイクル，(3)アノテーション作業者を加えたサイクルの順で進めつつ，各サイクルを複数回繰り返しながら，アノテーション対象の臨床テキスト数も段階的に増やしていった．
複数回行われたサイクル(3)におけるコーパス作成については\cref{sub:annoMethod}で詳述する．
各サイクルの詳細を箇条書きで示すとともに，3つのサイクル全体の流れを\cref{fig:SpecDesignFlow}に示す．
\begin{enumerate}
    \item NLP研究者だけのサイクル
    \begin{enumerate}
        \item アノテーションとして付与するエンティティ及び関係の種類と定義，作業規則の仮決め
        \item 数件の臨床テキストサンプルを元にした試験アノテーションの実施
        \item 試験アノテーションで生じた課題をもとにしたエンティティ及び関係の種類・定義・作業規則の修正
        \item アノテーション作業を説明するガイドライン文書の作成・編集
    \end{enumerate}
    \item 医学専門家を交えたサイクル
    \begin{enumerate}
        \item アノテーション仕様とサンプルへのアノテーション結果をもとにした仕様の議論
        \item 議論での指摘項目を踏まえた「NLP研究者だけのサイクル」を実行
    \end{enumerate}
    \item アノテーション作業者を加えたサイクル
    \begin{enumerate}
        \item コーパスの半量\footnote{この「半量」は\cref{sub:annoMethod}で述べる人手アノテーションを実施したコーパス前半部分を指す．}を作業者にアノテーションしてもらう
        \item 作業者からの質問を踏まえた「NLP研究者だけのサイクル」または「医学専門家を交えたサイクル」を必要に応じて実行
        \item 再実行したサイクル(1), (2)の結果を踏まえて，作業者の質問事項について遡及的にアノテーションを修正
    \end{enumerate}
\end{enumerate}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[t]
\begin{center}
\includegraphics{29-4ia5f1.pdf}
\end{center}
\caption{アノテーション仕様策定手続きの流れ}
\label{fig:SpecDesignFlow}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\cref{fig:SpecDesignFlow}に示した通り，各サイクル自身を繰り返す他に，後続のサイクルが前のサイクルを呼び出すようになっている．
各サイクルは1回あたり最長で3ヶ月程度を充てたが，
サイクル(2) → (1)や(3) → (2)などの出戻りの場合，呼び出されるサイクル(1), (2)は数週間程度と短く進めた．
最終的な仕様確定までは2018年から2020年までの約2年かかったが，サイクル(3)は実質的には本番アノテーション作業に相当するので，純粋な仕様策定に関する議論（サイクル(1-b)の試験アノテーションを含む）そのものには，これより短い時間（総計約1年程度）が費やされている．

なお，最初のサイクル(1-a)で仕様策定を開始した際には，既存のアノテーション仕様\shortcite{Aramaki2009-wo}を参考にした．
その後サイクル(1), (2)を通じて，フェノタイピングやオミックス分析に有用と考えられる医学的情報がテキスト中に認められれば，アノテーション仕様として編入していった．
サイクル(3-b)でフィードバックとして得る質問は，作業者が類似事例に基づいてグルーピングした各論点のリストに対し，仕様策定担当者が適切と考えるアノテーションを指示する．
頻出する論点はサイクル(1)への出戻り時に，後述するガイドライン（\cref{sec:guidelines}）に「注記」として記載することで，品質向上を図った．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{アノテーション仕様の概要} \label{sec:scheme}

本節では，本仕様で定義したアノテーション対象を説明する．
病名や医薬品名など，医療に関する概念を表す個々の言語表現を「臨床医学エンティティ」とし，臨床医学エンティティと，それらの間の関係（臨床医学エンティティ間関係）をアノテーションの対象とした．
それぞれ，固有表現認識と関係抽出のための教師データ構築に対応する．
以下，アノテーションは便宜的にXML形式で表現するが，同等の情報を表現できる限りにおいて他のどのような形式でも良いものとした．
臨床医学エンティティとエンティティ間関係のアノテーション例を\cref{fig:eg_anno}に示す．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{臨床医学エンティティ}

医療専門家と議論の上，臨床テキストから抽出できれば医学的な解析や分析に有用となる概念を選別し，10種類の臨床医学エンティティを定義した（\cref{tab:entity_def}）．
病変・症状，臓器・部位，特徴・尺度，変化，時間表現\footnote{一般的な自然言語文における時間表現のアノテーション仕様を定義したTimeMLの\texttt{<TIMEX3>}を採用した\shortcite{Pustejovsky2003-ui,Sauri2006-yo}．ただし属性のなかでは時間表現の種類を表す\texttt{type}だけを取り入れ，後述する属性値AGE, MED, MISCを本アノテーションの目的に沿って新たに定義した．}，検査・問診，薬品，治療，クリニカルコンテクスト，および保留である．
これは先行する\shortciteA{Aramaki2009-wo}の仕様をもとに，汎用性を高める方向で拡張したものである．
具体的な定義を\cref{tab:entity_def}に示す．
なお，性別や氏名といった患者情報も重要な臨床医学的情報であるが，これは臨床医学テキストにメタデータとして含まれていたり，比較的簡単なルールベースないし汎用NERソフトウェアで取得できる情報であるため，人手アノテーションというコストを払うに値しないと判断し，除外した．
なお，保留エンティティは非医療専門家でもアノテーションを実行可能にするために導入したもので，アノテーション終了後に専門家のレビューの上で最終的な臨床医学エンティティに振り分けることを意図している．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[t]
\input{05table02.tex}
\caption{臨床医学エンティティの種類}
\label{tab:entity_def}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

これら臨床医学エンティティのうち，一部のものには詳細な情報を「属性」として付与する．
\begin{description}
    \item[certainty属性] 病変・症状エンティティについて，実際に患者にみられたものであるかを表す．原則全ての病変・症状エンティティに付与するが，がんの進行度を表す標準規格であるTNM分類記号には付与しなくて良い
    \begin{description}
        \item[positive] その病変・症状がその患者に実際に認められた場合
        \item[suspicious] その病変・症状がその患者には認められるのではないかと疑われる場合
        \item[negative] その病変・症状がその患者には認められなかった場合
        \item[general] 記述時点の患者の状態と関わりなくその病変・症状が記載されている場合
    \end{description}
    \item[type属性] 時間表現エンティティについて，時間の種類を表す．この属性は全ての時間表現エンティティに付与される
    \begin{description}
        \item[DATE] 日暦に焦点を当てた日付表現
        \item[TIME] 1日のうちのある時点に焦点をあてた表現や，不定の現在を表す「今」「現在」などの時刻表現
        \item[DURATION] 時間軸上の両端ではなく期間全体を表すことに焦点をあてた期間表現
        \item[SET] 複数の日付・時刻・期間に焦点をあてた頻度集合表現
        \item[AGE] 年齢に関する表現
        \item[MED] 「術後」など医療に特徴的な時間表現
        \item[MISC] 以上のいずれにも該当しない時間表現
    \end{description}
    \item[state属性] 検査・問診，薬品，治療エンティティについて，患者への実施状況を表す．値よりも名称を表すエンティティに優先的に付与する
    \begin{description}
        \item[scheduled] 今後実施を予定している場合
        \item[executed] すでに実施済みの場合
        \item[negated] 中止など，実施しないことになった場合
        \item[other] 上記以外の状態である場合
    \end{description}
\end{description}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{臨床医学エンティティ間の関係}

関係は2つの臨床医学エンティティの間で成立し，方向によって意味が異なる．
臨床医学エンティティ\argA から他の臨床医学エンティティ\argB への関係として，基本関係，時間関係の大きく2種類を定義した．
これらに加え，臨床医学エンティティ仕様と同様に，アノテーション作業を補助する目的で，任意のエンティティ間に付与できる「保留」関係も導入している．

基本関係は，時間表現以外の臨床医学エンティティが\argA となるものであり，
changeSbj, changeRef, featureSbj, subRegion, keyValueの
5種類のタイプに分けられる．各タイプの定義を表\ref{tab:rel_def}に示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 3
\begin{table}[b]
\input{05table03.tex}
\caption{基本関係のタイプ}
\label{tab:rel_def}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

時間関係は，\argB に時間表現あるいは文書作成日時 (document creation time; DCT) をとり，\argA の発生や存在に関する時間的な情報を表す関係である．
関係タイプはtimeOn, timeBefore, timeAfter, timeBegin, timeEndの5種類に分けられる．
このうち時間関係timeOnは\argA が\argB に相当する時間で起こったことを表し，おおよその時点や
時間的包含関係にある場合も含め，広く適用される．
ただし，\argA の開始時点あるいは終了時点に関する時間的前後関係が明示されている場合には
他の4つの時間関係タイプが優先される．

なお，基本関係の一部のタイプを除いて，同一文内にない臨床医学エンティティ間にも関係を付与するものとした．
これは臨床テキストにおいて，例えば特定の部位に存在する病変（subRegion関係にある）を複数文にわたって記述することなどが頻出するためである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{アノテーション例}

\cref{fig:eg_anno}に本アノテーションの例を示す．
例1には2つの病変・症状（\texttt{<d>}タグ）エンティティが存在し，いずれも事実性あり（certainty=``positive''; +記号で表記）である．
2つ目の病変・症状エンティティ「陰影」は，直前の特徴・尺度（\texttt{<f>}タグ）エンティティ「一部」から修飾されている（featureSbj関係）ほか，直後の変化（\texttt{<c>}タグ）エンティティ「増強」で表される変化の主体である（changeSbj関係）．
時間関係付与の対象となる2つの病変・症状エンティティはいずれもDCTと同時と考えられる（timeOn関係）．
ただし，「陰影」エンティティからのtimeOn関係は，ガイドライン上で認めた省略ルール（次節で述べる）に従い省略できるため，点線で表示してある．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[t]
\begin{center}
\includegraphics{29-4ia5f2.pdf}
\end{center}
\caption{アノテーション例}
\label{fig:eg_anno}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

例2はstate属性を持つクリニカルコンテクスト（\texttt{<cc>}タグ）や治療（\texttt{<r>}タグ）エンティティが出現し，いずれも実施された（state=``executed''; +記号）状態と読める．
特徴・尺度エンティティ「Af bradyに伴う」は一見すると「Af brady」の範囲だけで良いように思われるが，「に伴う」かどうかも医学的に重要な情報であるという医学専門家の意見（仕様策定サイクル(2-a)）により，エンティティ内に含めるという作業規則になっている．
また，時間表現（\texttt{<TIMEX3>}タグ）エンティティ「H36 4/11～22」\footnote{Hは年号「平成」の略記だが，匿名化のため，実在しない年数に変換してある．}は期間を表し (type=``DURATION'')，「入院」という臨床イベントの発生と同時である（timeOn関係）とともに，「warfarization」の開始点と読める（timeBegin関係）．
エンティティ「循環器内科通院中」と「心不全」の詳細な時期は不明だが，少なくとも「H36 4/11～22」より前と解せる（timeBefore関係）．

例3は新たに検査・問診名（\texttt{<t-test>}タグ）エンティティが出現する例である．
変化エンティティの変化主体として頻出するのは病変・症状エンティティだが，検査結果が全体的に変化がない (「no change」)ことが記述されており，changeSbj関係の\argB として検査・問診名エンティティが当てはまる事例になっている．
また，「終了」というキーワードがあることから治療エンティティ「HOT」が時間表現エンティティ「11/17」の日時 (type=``DATE'') に実施終了したことをアノテーションできる（timeEnd関係）．

例1と例3において，もしも前回の検査結果などを記述する文章が前出するなどの場合には，前回の検査を実施した日時を表す時間表現エンティティを \argB として，それぞれの変化エンティティが \argA となる changeRef関係が付与される．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{アノテーションガイドラインの作成} \label{sec:guidelines}

本ガイドライン設計の指針は，ドメイン知識のない作業者でも十分に実行可能なアノテーション仕様の構築にある．
一般に，臨床テキストアノテーションは医師や看護師などの医療従事者またはその経験者によって実施されることが多い．
アノテーション対象となる医学的概念の判定には医学知識を要することが多いからである．
しかし，医療従事者にアノテーションを依頼すると，ドメイン知識を必要としないアノテーションに比べて作業単価が高くなり，納期も長くなるなど，コストが増大する傾向にある\shortcite{Aramaki2018}．
さらに，感染症の流行など医療への需要が高い状況では，ただでさえアノテーション業務へのインセンティブが少ない現役の医療従事者を作業者として迎え入れるのがそもそも困難となる．

医学的知識に乏しくてもアノテーションを可能とするために，先行研究\shortcite{Aramaki2018}も参考にしつつ，本研究では大きく以下4点の工夫を導入した．

%%%%\bigskip

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{言語表現だけから判断できる手がかりを積極的に記述}
アノテータに医学知識がないことから，医学的表現の範囲・種類・属性の判断に迷うことはよく生じる．
しかし，医学的知識がなくても，周辺の言語表現を手がかりにして確定できることも多く，そのような例が頻出する場合は積極的にガイドラインに記述した．
例えば病変・症状エンティティのcertainty属性は医学的に当該病変・症状が患者に見られたかどうかをコーディングしているが，実際に見つかっている場合 (= \texttt{"positive"})は「認めます」や「(＋)」などの表現が手がかりになることを例とともに示した．
また特定の病変・症状の存在が疑われる場合（＝ \texttt{"suspicious"}によく使われる専門用語「D/D」（Differential Diagnosis; 鑑別疾患）に言及するなど，頻出する専門用語についても積極的に紹介した．
上記の事例\shortcite[p.~4]{guideline-ja}を\cref{fig:guideline_eg}に示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 3
\begin{figure}[t]
\begin{center}
\includegraphics{29-4ia5f3.pdf}
\end{center}
\caption{ガイドラインに示した言語表現上の手がかり例}
\label{fig:guideline_eg}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{厳密な医学的差異を吸収し，似た概念を一種類のエンティティ・関係に集約}
本仕様では医学的概念としては本来異なる「病変」と「症状」を一種類のエンティティ「病変・症状エンティティ」に集約した．
これを厳密に分ける仕様も過去には提案されているが，アノテータがどちらにすべきか迷い，一致率が下がったという報告がある\shortcite{Campillos2018-tx}．
例えば副作用抽出の応用では，なんらかの薬品により生じた心身の不調全般が識別できればよく，不調が医学的に「病変」というべきなのか「症状」というべきなのかはあまり重要ではない．
本仕様ではそうした応用上の重要性が低い厳密な違いを集約し，医学的知識のないアノテータにとっても仕様がわかりやすくなるよう配慮した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{判断に迷った場合に付与できる「保留」アノテーションを導入}
診療録の記入を簡素化する目的で，多数の省略語・短縮語が使用される．
一部は医学辞書などでもカバーされているが，特定の病院でのみ使われる表現などもある．
医学的知識がない場合，こうした表現の臨床医学エンティティタイプ同定は難しい．
医学的な情報のように見えるが，種類がわからないものには，後で医学専門家のレビューを受けやすいように「保留」というエンティティや関係を設定できるようにした．
アノテータとしても，作業上この表現を見逃したわけではないことをマークできるという利点がある．
例えば「縦隔内に短径4cm程度までのLNsが認められます」という文中における「LNs」は``Lymph Nodes''を省略した表現で「リンパ節（腫大）」という病変を表すが，このような表記がコーパス中で稀だった場合，病変・症状エンティティと思われるが自信がないという意図で保留（\texttt{<p>}タグ）エンティティを付与できる\shortcite[p.~13]{guideline-ja}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{繰り返し付与することになるアノテーションを省略できるルールの導入}
関係アノテーションにおいては，一つのエンティティが他の多数のエンティティと複数の関係を持つこともあり，付与した結果が煩雑な状態になることが多い．
仕様の理解を事例から理解する妨げになるほか，アノテーション作業においては人的ミスを誘発することもある．
そこで，一部の関係アノテーション付与を省略できるルールを3つ導入した\shortcite[3.4節]{guideline-ja}．
そのうちの1つ「時間関係timeOnの省略」は，同じ時間表現エンティティ\textbf{T}を \argB とするエンティティが連続して出現する場合，最初の1つだけ timeOn関係 を付与すれば，後続のエンティティは \textbf{T} へのtimeOn関係の付与を省略して良いというものである．
例えば医師がある日の患者の診察時，電子カルテに残す診療録は，同一患者の過去のカルテ記述をコピーアンドペーストして作られることが多い\shortcite{Topol2019-xq}．
そのため，診療録内の1セクション全体が「前回の診察内容」で，その次のセクションからは当日の検査内容が続く，などの形式がよく見られる．
セクションごとに数十のtimeOn関係を厳密に付与する代わりに，参照する時間点が同じセクション内ではtimeOn関係を1つだけにして良いという省略ルールである．
なお，ルールに従っている限り，省略されたアノテーションの復元は後処理で自動的に可能である．
後述するアノテーション再現度（\cref{sub:iaa}）およびタスク性能（\cref{sub:TaskRuns}）の評価では，これら省略したアノテーションを復元したコーパスを用いた．

%%%%\bigskip
\vspace{1\Cvs}

以上の工夫はアノテーションの間違いや揺れを生みやすいものの，一度アノテーションされてしまえば後処理の工程でその結果を整形することにそれほど大きなコストがかからないと判断した．
また，後続のタスクが要求する医学的情報の粒度によって固有表現認識や関係抽出の出力も調整されるべきであり（病変と症状を同じ概念として取り扱うかや，ナ形動詞の活用部分を含めるかなど），アノテーションの段階で詳細かつ厳密に取り扱おうとして実行可能性やコストパフォーマンスの低下をもたらすよりも望ましいと考えた．

また，一般に関係アノテーションの結果は複雑になりやすい．
例えば，暗黙に推定できる関係をも考慮すると，あらゆるエンティティ同士に何らかの関係が付与できるかもしれないと作業者が考慮し始め，負担が増大する恐れがある．
本仕様では，最終的に文章から明らかにわかるものだけに絞った．
例えば病変同士の因果関係や同時性をラベル付けする仕様もあるが\shortcite{Uzuner2011-si}，テキストからのそうした判断は医療従事者でも解釈が揺れるもので，医学知識に乏しい作業者にはさらに難しいため，本仕様には含めなかった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{アノテーション結果} \label{sec:outcome}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{対象データ}

国立がんセンターと国立医薬基盤・健康・栄養研究所から提供を受けた，重篤肺疾患を取り扱う臨床テキストをアノテーション対象とした．
この中には診療録が461件，読影所見が3,308件含まれる．
診療録とは，医師が患者の診察時に電子カルテシステムに記入する自由記述テキストで，患者の治療歴や検査・投薬歴，当日の診察結果や今後の予定などが書かれている．
読影所見は，ある患者のCTスキャン画像やレントゲン画像を解釈する読影医が，その患者の主治医等に向けて画像診断の結果を説明する文書である．
\cref{tab:TextSamples}にそれぞれの文書の例を，表\ref{tab:data_size}にコーパスの言語的記述統計を示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 4
\begin{table}[t]
\input{05table04.tex}
\caption{コーパス中の文書例}
\label{tab:TextSamples}
\vspace{-0.5\Cvs}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

重篤肺疾患ドメインに着目するのは，日本国内でも死者数が最も多い疾患の1つだからである\footnote{国立がん研究センターがん情報サービス「がん統計」（厚生労働省人口動態統計）によれば，2019年時の死亡者数順位は肺がんが1位である．そしてがん，すなわち悪性新生物は，昭和56年以降，日本国内の死因の1位を占める（厚生労働省「令和2年人口動態統計月報年計（概数）」）．}．
医療NLPにより従来の臨床医学研究で用いられた以上の情報が電子カルテから抽出できれば，重篤肺疾患の隠れた特徴や創薬対象の発見につながる可能性があり，ひいては死者数低減に寄与できると見込まれる．

なお，本コーパスには患者や医師の個人情報が含まれる．
この臨床テキストの取り扱いにあたり，著者らは所属機関において研究倫理審査の承認及び研究倫理教育の講習を受けた．
また，アノテーション作業者とは秘密保持契約を結び，第三者に臨床テキストの内容を開示・漏洩しないことを求め，作業後はデータを破棄してもらった．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 5
\begin{table}[b]
\input{05table05.tex}
\caption{データの規模}
\label{tab:data_size}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 6
\begin{table}[b]
\input{05table06.tex}
\caption{アノテーション作業の順序}
\label{tab:AnnoFlow}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{方法} \label{sub:annoMethod}

アノテーション作業の流れを\cref{tab:AnnoFlow}に示す．
本研究では，まず臨床医学エンティティを定義したのち，エンティティ間関係を定義したので，コーパスへのアノテーション作業もこの順で実施した（作業ステップ\MARU{1} → \MARU{4}）．
ただし，エンティティ・関係それぞれのアノテーション作業において，診療録・読影所見ともに，全体の半分程度についてまず人手でアノテーションを実施し (\MARU{1}, \MARU{3})，その過程で仕様の品質をさらに向上させたあと，残り半分のアノテーション (\MARU{2}, \MARU{4}) に取り組んだ．
この後半のアノテーションでは，前半のアノテーションデータを学習データとする固有表現認識ないし関係抽出の機械学習モデル（\cref{subs:model}と同じ）を構築し，事前にこのモデルによるラベル推定結果を付与することで，アノテーション作業の負担軽減を図った（モデル補助アノテーション）．
すなわち，後半のアノテーションは，機械学習モデルによる自動アノテーションの修正作業となる．
これら各作業ステップにおいて，\cref{sub:AnnoCycles}で述べた仕様策定サイクルが繰り返されている．

なおモデル補助アノテーションないし事前アノテーションを用いればアノテーションの時間的コストと品質を向上させられることは，一般的なコーパスのみならず\shortcite{Gobbel2014-hd}臨床医学テキストコーパスでも\shortcite{Kholghi2017-ur,Lingren2014-bm}報告されており，実用的と見込んで採用した．
この方法は，推定モデルが推定結果についてオラクルの回答を求め，その結果をもとに再学習する能動学習の枠組み\shortcite{Settles2009-bm}において，モデル確信度等によらず全ての推定結果について人間の修正を求める設定ともいえ，アノテーション作業における能動学習の有用性\shortcite{Tomanek2009-mf}からも支持される．

最後の作業ステップとして，確定した仕様に沿うよう，コーパス全体を人手で修正した (\MARU{5}) ．
これは，\MARU{1}から\MARU{4}の各作業ステップで都度\cref{sub:AnnoCycles}に示した仕様策定サイクルを実施しており\footnote{厳密には，人手アノテーションである\MARU{1}と\MARU{3}でサイクル(1)から始め，モデル補助アノテーションである\MARU{2}と\MARU{4}ではサイクル(3)から開始した．}，仕様変更がそれぞれの作業ステップで発生しているためである．
変更された仕様は各作業ステップでアノテーションされた部分（\MARU{1}ならコーパス前半のエンティティアノテーションの範囲）内では作業者によって遡及適用してもらったが，後続の作業ステップでの変更は反映されていない．
そこで，最終的に仕様が確定した作業ステップ\MARU{4}終了後，それまでの変更をコーパス全体に適用したということである．
「完全な」アノテーション仕様を事前に設計してからアノテーション作業を実施する場合と比べて作業量が増えるのは欠点であるが，エンティティ及び関係をセットにしたような大規模な仕様の完成には通常1年以上の議論を要する\footnote{同様の研究に従事した著者らの経験による．本研究も，実際のアノテーション作業を除き，仕様策定に関する議論の時間だけを抽出すれば，約1年であった（\cref{sub:AnnoCycles}）．}．
そのような長期間まとまった大きさのコーパスを見ることが叶わないのと比べ，本手法は仕様設計中のアノテーション作業に関する実行可能性や作成された（中規模）コーパスの有用性を早期に検証できるのが利点である．
同様の手法は\shortciteA{Alex2010-yi}でも用いられている．

アノテーション作業者は計11名で，うち1名は医学研究者である（専門家アノテータ）が，他10名は医療に関する専門的な知識・経験を持たず，日本語への一般的な言語学的アノテーション作業の経験を有する程度である（一般作業者）．
いずれも著者には含まれず著者所属機関にも属さない外部の作業者である\footnote{著者のうち2名はアノテーション例として5件程度の文書をアノテーションしているが，作業者には含めない．}．
専門家アノテータはエンティティアノテーションについて診療録140件程度を人手で，読影所見200件程度をモデル補助アノテーションで従事した．
7名の一般作業者はエンティティアノテーションのみ従事し，他3名の一般作業者は関係アノテーションも含めて従事した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{アノテーションの記述統計}
\label{sub:corpus_stats}

アノテーションの結果付与された臨床医学エンティティとエンティティ間関係の総数をそれぞれ\cref{tab:entity_anno_res,tab:relation_anno_res}に示す．
臨床医学エンティティ及びエンティティ間関係のいずれも，臨床医学テキストのタイプによって出現しやすいものが異なることがわかる．
例えば診療録では薬品名などが出現するのに対し，CTスキャン画像に対するコメントである読影所見ではそれらはほとんど出現しない．
時間表現も，投薬や検査の履歴が詳しく書かれる傾向にある診療録の方が多数出現し，タイプも多様である．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 7
\begin{table}[p]
\input{05table07.tex}
\caption{臨床医学エンティティアノテーション作業結果}
\label{tab:entity_anno_res}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

モデル補助アノテーションを実施した後半のデータでも，各エンティティや関係が前半の比率を概ね保つように増えている．
モデル補助によって文書に本来出現するエンティティや関係の分布に大きな偏りが生じる恐れは少ないと考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{評価実験と分析} \label{sec:experiments}

本研究で作成したコーパスを2つの方法で評価した．
1つは人手によるもので，アノテーションの品質を検討した．
もう1つは機械学習モデルを用いた実験で，後続タスクに対するコーパスの有用性を検証した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 8
\begin{table}[t]
\input{05table08.tex}
\caption{臨床医学エンティティ間の関係アノテーション作業結果}
\label{tab:relation_anno_res}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{アノテーションの品質}

アノテーションの品質を人手で評価するにあたり，一般作業者がアノテーションを再現できるかと，医学的専門知識を有する者からみて妥当なアノテーションが付与されているかの2観点を採用した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{アノテーション再現度}
\label{sub:iaa}

本研究ではアノテーションを人手のみの通常作業とモデル補助アノテーションの修正作業にわけたことから，
それぞれの場合について，本アノテーションをどの程度再現できるか（再現度）を下記の手順で計測した．
まず人手のみ作業とモデル補助作業それぞれで，異なる読影所見・診療録を5件ずつ計20件を，本コーパスの全アノテーションが終了して十分時間をおいて記憶が薄れてから（1ヶ月以上），本アノテーション経験者（一般作業者2名）にガイドラインのみを参照してもらいながら再度アノテーションしてもらった．
作業者2名は文書タイプで分担し，選出した20件の文書はどちらか1名だけが再アノテーションした．
対象の診療録は，出現する臨床医学エンティティやエンティティ間関係の種類がバランスするように選出し，読影所見は比較的記述の特徴が均一であることから全体よりランダムにサンプリングした．
すでに本コーパスに付与されたアノテーションを正解とし，再実施したアノテーション結果がどの程度完全一致するか，その精度・再現率・F1値のマイクロ平均を表\ref{tab:iaa}に示すとともに，再現度の代表値としてこれらマイクロF1値を参照する．
ただし，可読性を高めるため各値を100倍した．
計算には \texttt{brateval} (ver.\ 0.3.1)\footnote{\url{https://github.com/READ-BioMed/brateval}}を用いた．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 9
\begin{table}[b]
\input{05table09.tex}
\caption{アノテーション再現実験の精度・再現率・F1値（マイクロ平均）}
\label{tab:iaa}
\vspace{-0.5\Cvs}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

臨床医学エンティティアノテーションについては，モデル補助がなくても80前後のF1値を示し，本仕様とガイドラインの実行可能性が高いものであることを示唆している．
特に，属性の値の別を考慮しても大きく再現度が下がらないことから，エンティティの状態やモダリティを考慮することは作業品質に大きな悪影響を与えないことがわかる．
部分的なコーパスで学習したモデルを用いて自動付与されたアノテーションを修正する作業の場合，再現度が最大で10ポイント程度上昇しており，このアノテーション作業手法の有用性が示唆されている．
しかし関係アノテーションは，エンティティに比べると大幅に再現度が低い．
関係の項となるエンティティのアノテーションが事前に正しくなければならないうえ，本仕様が時間関係などの複雑な関係も含むことが原因と考えられる．
診療録は特に投薬や治療の開始・中止・終了の関係が複雑に記載されることがある一方，読影所見は病変とそれが見つかった部位に関する定型的な記述から構成されることが多い．
こうした特徴が再現度にも表れているといえる．
しかし，モデル補助アノテーションでは大きく再現度が改善し，診療録で80程度，読影所見で90程度のF1値を得ており，医学的なデータ分析研究などの応用に耐える一貫性があるとみなせる．
モデル補助が示したアノテーション例に作業者が従順になっている面もあると考えられるが，本仕様のようなアノテーションでは事例が重要な手がかりになると作業者も述べており，複雑な仕様であるほど事前に「候補」が提示されることでエンティティや関係のカバー率が上がると示唆される．

なおアノテーション品質を評価する標準的な手法としては，作業者が初見の文書に対して複数人でアノテーションした結果を比較する，いわゆる一致率評価が知られているが，本研究ではこの評価法の適用を今後の課題としたい．
本研究は\ref{sub:AnnoCycles}, \ref{sub:annoMethod}節で述べたようにアノテーション作業でのフィードバックを踏まえて順次仕様を更新していく手法を採用したため，事前の仕様確定と作業者初見文書のプールを前提とする一致率評価を適用しにくかった．
本節の再現実験は，作業者が過去に一度アノテーションを実施したかもしれない文書を再アノテーションする点で，一致率に比べて簡易な評価となる．
しかし一定時間経過による文書およびアノテーション内容の忘却と，ガイドライン外のアノテーション文書例参照禁止という制約のもとでは，初見の文書へのアノテーションに近いという作業者からの報告があり，標準的な一致率評価の限定的代替とみなして採用した．
なお作業者には「仕様の評価であって作業者・作業結果の評価ではない」ことを説明したため，高い再現度を得ることは作業者のインセンティブとはならない条件になっている．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 10
\begin{table}[b]
\input{05table10.tex}
\caption{アノテーション済み診療録10件に対する医療従事者のレビュー結果（マイクロF1値）}
\label{tab:iaaMedics}
\vspace{-0.5\Cvs}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{医療従事者によるレビュー}

本研究で得たコーパスの大部分は医学的専門知識のない作業者によってアノテーションされており，アノテーション結果の医学的妥当性は専門家によるアノテーションより低いのではないかという懸念がある．
そこで，診療録\footnote{重篤肺疾患患者の診療録には，ある検査時の読影所見文書が入れ子になって挿入（コピーアンドペースト）されていることがあり，文書スタイルとしては読影所見のスーパセットともみなせるため，診療録のみを対象として十分と判断した．}の再現度算出に用いた10文書について，アノテーション結果の医学的妥当性を3名の医療従事者により独立にレビューしてもらった．
3名は過去に本仕様のアノテーション経験はなく，本研究の著者や謝辞に挙げる関係者と異なる外部の看護師（2名；ともに実務10年以上）と医師（1名；専門医）である．
3名により修正されたアノテーション結果を真の正解とし，本研究で得たアノテーションが一致している度合いをマイクロF1値で算出した結果を\cref{tab:iaaMedics}に示す．
エンティティおよび関係アノテーションで96.0以上と，一定の医学的妥当性が認められる結果と解釈できる．
なお1文書あたりのアノテーションミスはエンティティで平均して3件ほど，関係で平均して12件ほどとなる．
ただし本レビューは，アノテーション済みの文書に対し，ガイドラインも参照しつつ，そこに医学的な間違いがないかを評価してもらうという設定で，モデル補助アノテーションに近いことから，実際に独立してアノテーション作業してもらい一致率を測る標準的な手法よりも評価は高くなる傾向にある点は注意が必要である．
アノテータの訓練には1ヶ月以上を要する傾向にあり，執筆時点では作業者の確保が難しく，医学専門家による標準的な一致率評価は今後の課題としたい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{タスク性能} \label{sub:TaskRuns}

本仕様は臨床医学テキスト向けのNERとREを目的としている．
作成されたコーパスが実際に機械学習ベースのNERとREに用いられる水準の品質かどうか，実験を通して確認する．
本研究では，アノテーション作業を人手のみとモデル補助によるものとの2つに分けて実施した．
両者の品質は違うことが予想されるため，それぞれのデータセットで実験するとともに，両データセット全てを用いた実験も行う．
この設定により，本コーパスの質と量がタスクに与える影響を考察する．

本仕様の臨床医学エンティティの一部には属性が与えられているため，便宜的にNERを2つのサブタスクに分解し，計3つのNLPタスクを実施する．
\begin{itemize}
    \item 臨床医学エンティティ認識 (MER)
    \item 臨床医学エンティティ属性値分類 (MOD)
    \item 臨床医学エンティティ間関係抽出 (MRE)
\end{itemize}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{モデル}
\label{subs:model}

機械学習モデルの実装はJaMIE \shortcite{Cheng2022-lq}\footnote{\url{https://github.com/racerandom/JaMIE}}を用いた．
臨床医学エンティティ認識，属性値分類，関係抽出を一気通貫 (end-to-end)に解くモデルである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{MER}
日本語Wikipediaコーパスで事前学習したBERT\footnote{NICT BERT (\url{https://alaginrc.nict.go.jp/nict-bert/index.html})を用いた．
    一般に，適用先ドメインに即したコーパスで事前学習する方が性能向上すると知られることから，予備的実験では東京大学附属病院の診療録で事前学習したUTH-BERT \shortcite{Kawazoe2021-eh} も試したが，NICT BERTの方が性能が良かったため採用を見送った．
    }
を使用し，入力テキストを形態素単位で文脈依存の分散表現にしたうえ，CRFで制約する出力層で臨床医学エンティティのBIO (Begin, Inside, Outside)タグを予測する(BERT-CRF)．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{MOD}
病変・症状エンティティ（\texttt{<d>}タグ）など属性を持つ臨床医学エンティティの属性値については，BERT-CRFの出力結果を入力として受け取る別の多層パーセプトロンによる分類モデルで予測する．
具体的には，前述のBERT-CRFによってスパンを予測された各臨床医学エンティティのうち属性を持ちうるものについて，それを構成する形態素の分散表現の和と，その臨床医学エンティティタイプを表す分散表現を連結したベクトルを入力とし，中間層を1つ経てsoftmax関数で属性値を分類する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{MRE}
関係抽出は Multiple Head Selection \shortcite{Zhang2017-ow} 方式を採用し，入力文中の各エンティティについて，関係の種類と関係付与先（第2項）となるエンティティを推定する．
前述のBERT-CRFモデルの上に，シグモイド関数で活性化する全結合層を1つ持つネットワークを接続する．
なお学習・推論時に，関係がないことを表す「Null関係」を便宜的に導入する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{実験方法}

エンティティ・属性値・関係の認識・分類・抽出度について，エンティティ・属性・関係タイプ全種（保留を除く）のマイクロF1値を算出し，5分割交差検証の平均値で評価する．
すなわち，人手のみデータセット，モデル補助データセット，および両者を合わせた全データセットそれぞれにおいて5分割交差検証を実施した．
各検証において，学習セットの10\% サンプルを開発(dev)セットとして使用した．
入力テキストはJuman辞書を用いたMeCabでトークナイズし，サブワード分割した．
モデル学習における最適化関数はAdamW \shortcite{Loshchilov2019-fl}とし，学習率を$2.0 \times 10^{-5}$, 学習エポック数20, バッチサイズは4とした．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{結果と考察}

MER，MOD，MREの実験結果をそれぞれ表\ref{tab:result_ner}, \ref{tab:result_mod}, 及び\ref{tab:result_rel}に示す．
いずれのタスクにおいても，人手データセットよりもモデル補助データセットの方が性能が高く，両者全てを用いた場合は中間的な性能に落ち着く傾向がみられた．
診療録ではモデル補助データセットの方が量が少なく，読影所見ではその逆であるにもかかわらず，その傾向が共通していることを踏まえると，モデル補助データセットの方がアノテーション一貫性が高いことを示唆している．
\cref{sub:iaa}で報告したアノテーション再現度の評価結果とも符合する．
ただし，モデル補助データセットにはモデル推論により人手データセットの情報が間接的に伝播していて，性能向上に寄与しうることに注意したい．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 11
\begin{table}[p]
\input{05table11.tex}
\caption{臨床医学エンティティ認識 (MER) におけるマイクロF1値（5分割交差検証の平均）}
\label{tab:result_ner}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 12
\begin{table}[p]
\input{05table12.tex}
\caption{臨床医学エンティティ属性値認識 (MOD) におけるマイクロF1値（5分割交差検証の平均）}
\label{tab:result_mod}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

また，臨床医学テキスト種の違いでみると，診療録よりも読影所見の方が全体的に性能が高い．
特に読影所見ではマイクロF1値が0.9前後を示し，医学的なデータ分析研究などへの応用には申し分ないと思われる水準に達している．
これは\cref{sub:corpus_stats}でも述べた両者の違い，特に出現するエンティティや関係タイプが診療録においてより複雑であることによると考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 13
\begin{table}[t]
\input{05table13.tex}
\caption{臨床医学エンティティ間関係抽出 (MRE) におけるマイクロF1値（5分割交差検証の平均）}
\label{tab:result_rel}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 14
\begin{table}[t]
\input{05table14.tex}
\caption{アノテーション手法および文書タイプ横断実験の結果（マイクロF1値）}
\label{tab:CrossExpr}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

アノテーション手法および文書タイプによるコーパスの違いを考察するために，追加実験を実施した．
一方のアノテーション手法で学習し他方のアノテーション手法でテストするアノテーション手法横断実験（文書タイプ別）と，
一方の文書タイプで学習し他方の文書タイプでテストする文書タイプ横断実験（学習・テストともに全データセットを使用）である．
簡単のため，ハイパーパラメータは本実験のまま固定し，各設定で5分割交差検証ではなく1度きりの実施とした．
両実験の結果をまとめて\cref{tab:CrossExpr}に示す．
アノテーション手法横断実験では，文書タイプによらず人手データセットで学習してモデル補助でテストする場合の性能が一貫して良いことから，モデル補助データセットがテストセットとしてのアノテーション一貫性に優れていることがここでも示唆された．
文書タイプ横断実験では，読影所見で学習し診療録でテストした結果が著しく低い．
読影所見は診療録よりもシンプルな文書スタイルであり，診療録よりも含まれるエンティティ・関係タイプ数が少ない（\cref{tab:entity_anno_res,tab:relation_anno_res}）ためと考えられる．
その逆の設定では一定の転移学習に成功している．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに} \label{sec:conclusion}

本研究では，自然言語処理の医療ドメイン適用に向け，
日本語の臨床医学テキストに汎用的に適用できるアノテーション仕様を提案し，重篤肺疾患患者の診療録と読影所見でコーパスを作成した．
仕様は臨床医学表現を固有表現とする臨床医学エンティティアノテーションと，それらの間の医学的関係である臨床医学エンティティ間関係アノテーションからなる．
言語処理研究者，医学専門家，アノテーション作業者の三者を交えた反復的なプロセスに基づいて，コーパスを作りながら仕様とガイドラインを策定した．
コーパスは半分程度のアノテーションが終わった段階で固有表現認識・関係抽出モデルを作成し，モデルで事前にアノテーションしたデータを修正する形式の作業に切り替え，効率化と品質向上を図った．
作成したコーパスでは，臨床医学テキスト種によってアノテーションされた臨床医学エンティティ・関係の数が異なり，テキスト種の特徴を表していることがわかった．
このコーパスを用いた固有表現認識・関係抽出タスクでは，end-to-endのニューラルネットワークモデルが高い性能を発揮し，モデル補助アノテーションに基づくデータセットの一貫性が人手アノテーションのみのデータセットよりも高いことが示唆された．

臨床医学分野の自然言語処理においては，テキストに含まれる個人情報の懸念もあり，アノテーション済みデータが少ないことが指摘されてきた\shortcite{Gonzalez-Hernandez2017-cx}．
一方，NLPのためのアノテーションガイドライン（指針）を策定する知見は，論文上では十分に公開されない．
本論文はアノテーション策定への作業レベルの検討も報告することで，コーパス不足にある医療NLP応用の促進に貢献するとともに，医療以外のドメインへのNLP応用におけるコーパス作成手続きへの示唆を与える意義があると考える．

ただし本研究では，臨床医学テキストとして重篤肺疾患領域の電子カルテテキストのみを用いている点は課題である．
真の汎用アノテーション仕様を目指すならば，他の疾患をめぐる臨床医学テキストへも適用できるべきだからである．
我々は，本仕様に基づいたアノテーションを他のテキスト種・言語へと適用することを進めている．
まず，本研究で作成した日本語のアノテーションガイドライン\shortcite{guideline-ja}を英語に翻訳し\shortcite{guideline-en}，本仕様の国際化に努めた．
さらに，国立情報学研究所による共同評価基盤NTCIR第16回において，実世界の臨床医学テキストに対する言語処理に取り組むタスクとして採択されたReal-MedNLP\footnote{\url{https://sociocom.naist.jp/real-mednlp/}}では，本仕様に基づくアノテーションを肺疾患に限らない症例報告論文（日本語，英語とも）に適用した．
このような過程で本仕様の限界が浮き彫りとなり，本仕様の修正や改善を進めることで，汎用性をさらに向上させられると考える．

また医療NLPにおいては，固有表現認識や関係抽出といったタスク単体としての評価にとどまらず，その結果を活用した医療情報学的応用においての有用性も測定されるべきである．
例えば\shortciteA{Aramaki2009-wo}は，アノテーションされたコーパスから医療表現抽出モデルを作成した上で，その抽出結果を用いて電子カルテに記載された患者の診療情報を表形式に可視化するシステムを構築している．
このような臨床現場の医療従事者に直接役立つ応用の他にも，基礎研究すなわち医療言語処理技術で大規模コーパスから抽出された臨床医学情報に基づいたビッグデータ解析などへの応用も考えられる．
実際，本研究のモデル・コーパスから抽出されたデータも活用したオミックス分析により，突発性肺繊維症に有効なタンパク質の同定に貢献した実績がある\shortcite{Natsume-Kitatani2022-ol}．
こうした直接患者の生死に結びつかない応用では，本研究のアノテーション品質ないしモデル性能（F1値0.8--0.9程度）のように多少のノイズを含んでも実用に耐えることを踏まえ，我々は今後も本研究の成果を社会実装に役立てることを目指す．
なお自動診断などの致命的な応用においてはさらなる品質・性能が求められるため，本研究の成果に対する批判的検討が期待される．

本研究で策定したアノテーションガイドラインは日本語\footnote{\url{https://doi.org/10.6084/m9.figshare.16418787}}・英語\footnote{\url{https://doi.org/10.6084/m9.figshare.16418811}}ともに
公開している．
また，本研究で作成したアノテーション済みコーパスも，医薬基盤・健康・栄養研究所で運営されるプラットフォーム「峰」\footnote{\url{http://www.nibiohn.go.jp/mine/}}から公開される予定である．
なお本アノテーション仕様には，文書タイプによって出現が稀なエンティティや関係もあり，後続タスクにおける機械学習モデルの訓練に不十分なことがある．
実際，本コーパスの読影所見では薬品関連のエンティティや時間的開始・終了を表す関係はごく低頻度で，診療録でも中止された入退院を表すエンティティが稀であるなどした．
本仕様・コーパスはあくまで汎用性を目指したが，こうした一部のエンティティや関係タイプを不採用としたり，カバーされなかったタイプを新設するなどして，各種応用のたたき台として利用されたい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本研究はJST AIP-PRISMの助成を受けました．
研究内容は\shortciteA{Yada2020-LREC}と\shortciteA{Cheng2022-lq}を発展させたものです．
本研究に医学的見地からの助言をしていただいた伊藤眞里研究員をはじめとする国立医薬基盤・健康・栄養研究所の皆様，小林和馬研究員をはじめとする国立がんセンターの皆様に感謝いたします．
また，本アノテーション仕様の初期設計に関わってくださった九州大学の伊藤薫氏と立命館大学の城綾実氏に御礼申し上げます．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.6}
%%%%\bibliography{05refs}
    \input{IA0290_05yada_bbl.tex}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{矢田竣太郎}{%
2014年，東京大学教育学部総合教育科学科卒業．
2016年，同大学大学院教育学研究科修士課程修了．
2019年，同博士課程単位取得退学．博士（教育学）．
2020年より奈良先端科学技術大学院大学助教．
医療言語処理および図書館情報学に従事．
}

\bioauthor{田中リベカ}{%
2013年お茶の水女子大学理学部情報科学科卒業．
2015年同大学院博士前期課程修了．
2018年同博士後期課程単位取得退学．博士（理学）．
2021年よりお茶の水女子大学 文理融合AI・データサイエンスセンター特任講師．
}

\bioauthor{Fei Cheng}{%
received his B.S. degree in Applied Physics from Donghua University in 2005. 
He received M.S. and Ph.D. in Informatics from NARA Institute of Science and Technology in 2013 and 2018. 
His research interests include information extraction, morphological analysis, and a broad range of natural language processing topics. 
Currently, he is a program-specific assistant professor at Kyoto University.
}

\bioauthor{荒牧　英治}{%
2000年京都大学総合人間学部基礎科学科卒業．
2005年東京大学大学院情報理工系研究科博士課程修了．
2020年より奈良先端科学技術大学院大学教授．
博士（情報理工学）．
自然言語処理の医療応用に関する研究に従事．
}

\bioauthor{黒橋　禎夫}{%
1994年京都大学大学院工学研究科電気工学第二専攻博士課程修了．
博士（工学）．
2006 年より京都大学大学院情報学研究科教授．
自然言語処理，知識情報処理の研究に従事．
2020年より文部科学省科学官．
}

\end{biography}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\biodate



\end{document}

