    \documentclass[japanese,specialissue]{jnlp_2.1}
\usepackage{jnlpbbl_1.3}
\usepackage[dvipdfm]{graphicx}
\usepackage{amsmath}
\usepackage{hangcaption_jnlp}
\usepackage{array}
\usepackage{udline}
\setulminsep{1.2ex}{0.2ex}
\let\underline

\usepackage{lingmacros}
    \newcommand{\ps}{}
    \newcommand{\pe}{}
    \newcommand{\ns}{}
    \renewcommand{\ne}{}
    \newcommand{\sk}{}


\Volume{25}
\Number{1}
\Month{February}
\Year{2018}
\Issuetitle{「言語処理の応用システム」特集号}

\received{2017}{5}{22}
\revised{2017}{8}{7}
\accepted{2017}{9}{21}

\setcounter{page}{119}

\jsubject{技術資料}
\jtitle{病名アノテーションが付与された医療テキスト・コーパスの構築}
\jauthor{荒牧　英治\affiref{Author_1} \and 若宮　翔子\affiref{Author_1} \and 矢野　　憲\affiref{Author_1} \and 永井　宥之\affiref{Author_1}\affiref{Author_2} \and \\
	岡久　太郎\affiref{Author_1}\affiref{Author_2} \and 伊藤　　薫\affiref{Author_1}}
\jabstract{
高度な人工知能研究のためには，その材料となるデータが必須となる．医療，特に臨床に関わる分野において，人工知能研究の材料となるデータは主に自然言語文を含む電子カルテである．このようなデータを最大限に利用するには，自然言語処理による情報抽出が必須であり，同時に，情報抽出技術を開発するためのコーパスが必要となる．本コーパスの特徴は，45,000テキストという我々の知る限りもっとも大規模なデータを構築した点と，単に用語のアノテーションや用語の標準化を行っただけでなく，当該の疾患が実際に患者に生じたかどうかという事実性をアノテーションした点の2点である．本稿では病名や症状のアノテーションを対象に，この医療コーパス開発についてその詳細を述べる．人工知能研究のための医療コーパス開発について病名や症状のアノテーションを中心にその詳細を述べる．本稿の構成は以下の通りである．まず，アノテーションの基準について，例を交えながら，概念の定義について述べる．次に，実際にアノテーターが作業した際の一致率などの指標を算出し，アノテーションのフィージビリティについて述べる．最後に，構築したコーパスを用いた病名抽出システムについて報告する．本稿のアノテーション仕様は，様々な医療テキストや医療表現をアノテーションする際の参考となるであろう．}
\jkeywords{電子カルテ，医療テキスト，症例報告，病名，ICD-10，医療情報}

\etitle{Development of the Clinical Corpus with \\
	Disease Name Annotation}

\eauthor{Eiji Aramaki \affiref{Author_1} \and Shoko Wakamiya \affiref{Author_1} \and Ken Yano \affiref{Author_1} \and Hiroyuki Nagai \affiref{Author_1} \affiref{Author_2} \and \\
	Taro Okahisa \affiref{Author_1} \affiref{Author_2} \and Kaoru Ito \affiref{Author_1}  }

\eabstract{
Sufficient data is required for research on advanced AI. In the field of medicine, especially clinical medicine, information retrieval is necessary to utilize the data fully since the data---mainly clinical records---uses natural language. The corpus we developed in this study has the following strong points: (i) The corpus consists of 45,000 case reports, which is the largest to our knowledge, and (ii) not only did we standardized the terminology and the method for annotation, we also annotated ``factness,'' which notes whether or not a disease name is actually the state of the patient in a case report. This paper describes the methods to develop the medical corpus for AI research, focusing on the annotation of the disease or symptom name. First, we define the concepts contained in the annotation criteria using examples. Next, we discuss the feasibility of the annotation through giving some indexes such as agreement rate. Finally, we report the development of the disease-name extraction system based on the corpus. We believe this corpus is a good reference for future clinical annotation.
}
\ekeywords{Electronic Health Record (EHR), Clinical Text, Case Reports, Disease Name, ICD-10, Medical Infomatics}

\headauthor{荒牧，若宮，矢野，永井，岡久，伊藤}
\headtitle{病名アノテーションが付与された医療テキスト・コーパスの構築}

\affilabel{Author_1}{奈良先端科学技術大学院大学}{Nara Institute of Science and Technology}
\affilabel{Author_2}{京都大学大学院人間・環境学研究科}{Kyoto University Graduate School of Human and Environmental Studies}



\begin{document}
\maketitle


\section{はじめに}
\label{intro}

医療現場で生成される多様なデータ（以下，\textbf{医療データ}と呼ぶ）の
大部分は自然言語文であり，今後も
その状況はただちに変わりそうにない．
医療データの利活用
としては，診療への応用，もしくは学術研究や政策への応用が挙げられるが，現在，盛んに医療データの利活用
の重要性が叫ばれているのは，後者の二次利用である\cite{研究開発の俯瞰報告書2017}．
二次利用されることが期待される医療データとしては，\textbf{健診データ}や\textbf{診療報酬データ}がある． 健診データは健康診断の際に作成されるデータであり，検査名と検査値から構成される．健診データは受診者が多く，組織で一括して収集されるため，大規模な医療データとしてよく用いられる．一方，診療報酬データは医療費の算定のために用いられるデータであり，医療行為がコード化されたものである．このデータは厚生労働省が収集し管理するため，同じく大規模な医療データとしてよく用いられる．両データは，数値やコードから構成される構造化されたデータのためコンピュータでの扱いは容易であるが，詳細な情報が含まれていないことが解析の限界となっていた．

そこで，より詳細な情報が含まれる\textbf{診療録}，\textbf{退院サマリ}，\textbf{症例報告}といった
テキスト化された医療データの活用に注目が集まっている．診療録とは，病院において患者が受診した際や入院時の回診の際に記述されるテキストであり，詳細な患者情報が記述される．また，退院サマリとは，退院時に記述される情報であり，入院中の診療録の要約である．症例報告も退院サマリと同じく入院時の要約であるが，学会に報告されるものである．
他にも，病院内にはテキスト化された医療データが存在しており，本稿では
これらのテキスト化された医療データ全般を指し，\textbf{電子カルテ}と呼ぶ．

電子カルテは，自然言語文が中心となる非構造データであるため，扱いは困難であるが，詳細な情報が記述されており
，その量は年々増加しつつある．
この動きは，1999年に
医療データであっても，一定の基準を満たした電子媒体への保存であれば，記録として認められる，という法改正が行われて以降，特に急速
に進展
した．2008年には，400床以上の大規模病院で14.2\%，一般診療所で14.7\% であった電子化率は，
2014年には，400床以上の大規模病院で34.2\% ，一般診療所で35.0\%と倍以上に増加している\footnote{厚生労働省医療施設調査より(http://www.mhlw.go.jp/toukei/list/79-1.html)}．
このまま増加すれば，ほとんどの病院で電子カルテが用いられるであろう．

電子化の第一の目的は，病院の運営の効率化によるコスト削減であるが，副次的な利用法として，これまで膨大な労力をかけて行われてきた調査
への応用が期待されている．例えば，
医薬品の安全に関わる情報や疫学的情報の収集をより大規模かつ容易に実行可能にしたり，これまで不可能であった医療情報サービスも構築可能にすると期待されている．
しかし，このような期待は高まるものの，
具体的な成功事例は乏しい．
これは，
電子カルテに多く含まれる自然言語文の扱いが困難であることが原因で，電子カルテの情報を最大限に活用するには自然言語処理が必須となる．

本研究では病名のアノテーション基準を提案し，45,000例もの症例報告を材料としてアノテーションを行う．
このアノテーションでは，症例報告の対象患者の疾患や症状についての情報を整理することを目指し，単に病名のみをマーク
するだけでなく，
症状が患者に発生しているかどうかの区別まで行う．
海外では，医療分野における同様のコーパスは政府の協力のもと開発，公開がされているが，日本では公開された大規模コーパスは存在せず，コーパスの仕様についても十分な資料がなかった．
本稿では，日本で初となる大規模な医療分野のコーパス開発の詳細について述べる．

本研究が提案するアノテーションは，症例報告のみならず，さまざまな医療テキストへ利用可能である汎用的なものである．
また，これが実行可能なアノテーションであることを示すために，複数のアノテーター間における一致率やその問題点などの指標を示し，フィージビリティの検討を行った．
最後に，
病名アノテーションを利用して構築した病名抽出器についても紹介する．

本コーパスの特徴は，以下の2点である．
\begin{enumerate}
\item 従来，小規模な模擬データが配布されるにとどまっていた利用可能な医療分野のコーパス\cite{mednlp10,mednlp11,mednlp12}と比較し，約45,000テキストという大規模なデータを構築した点．
\item 単に用語の範囲をアノテーションしただけでなく，用語で示された症状が実際に患者に生じたかどうかという\textbf{事実性}をアノテーションした点．
\end{enumerate}

特に，症状の事実性を記述することは応用を考えると重要である．例えば，以下のような2つの応用システムを用いたシナリオを想定
できる．

\begin{description}
\item[【医薬品副作用調査シナリオ】] ある医薬品Aと医薬品Bがどれくらい副作用を起こすかを比較したいとする．この場合，医薬品Aと医薬品Bで検索して得られたテキストセットAとテキストセットBをつくり，それぞれに出現する副作用と関連した病名の頻度を比較すればよい．だが，これを実際に行うと，「副作用による軽度の 
\textless\texttt{P}\textgreater 咳嗽\ignorespaces\textless\texttt{/P}\textgreater は認めたが、\textless\texttt{N}\textgreater 間質性肺炎\ignorespaces\textless\texttt{/N}\textgreater は認めなかった。」
\footnote{\textless\texttt{P}\textgreater で示した病名は事実性のあるもの，\textless\texttt{N}\textgreater で示した病名は事実性のないものを表す．詳しくは4.2節．}
といったように，想定はされるが実際には起こっていない副作用も記述される．よって，事実性を判定する必要が生じる．
\item[【診断支援シナリオ】] 診断を行う際には，ガイドラインに沿って症状の有無を調べ，合致する診断を下す．これはフローチャートになっており，例えば，意識消失，痙攣あり，嘔吐あり，発熱ありの際に考えられる症状には心筋炎，脳梗塞，脳炎など曖昧性があるが，ここで血液検査を行って炎症所見のない場合は心筋炎が除外される．このような場合，診断がガイドラインに沿っていることを明確にするために，事実性のない症状についても記述される（この例では「炎症所見なし」）．よって，診断支援のデータとして用いる場合には，事実性を判定する必要が生じる．
\end{description}

本研究の貢献は以下の通りである．
\begin{enumerate}
\item 医療テキストへのアノテーションについての詳細な仕様を示した．
\item 実際にアノテーションした結果について，一致率や問題点などのフィージビリティを議論した．
\item 本研究で構築したコーパスを用いて病名抽出器を構築し，アノテーションの妥当性を検証した．
\end{enumerate}

\vspace{1\Cvs}

\section{関連研究}

海外でも電子カルテに自由記載された自然言語文からどのように有益な情報を抽出するかについて関心が高まっていた．
このため，2006年からNIH (National Institutes of Health) のサポートで開始されたi2b2 NLP Challenge \cite{i2b2}というワークショップにより，様々なコーパスのリリースが行われている．
i2b2 NLP では，退院サマリを利用してコーパスが構築されており，これは，筆者らの知る限り，医療分野のコーパスを最初に公開したワークショップである．その後，日本語ワークショップのMedNLP\cite{mednlp10,mednlp11,mednlp12} やヨーロッパでのCLEF e-Health \cite{CLEF2014}など，i2b2 NLP の仕様を参考にしたコーパス開発が行われているが，いずれも小規模なものに留まっている．
例えば，MedNLPで扱われたコーパスの一部は，言語資源協会(GSK) により「GSK2012-D 模擬診療録テキスト・データ」として公開されている
\footnote{http://www.gsk.or.jp/catalog/gsk2012-d/}
が，わずか20件にすぎない．

また，本研究でも利用する医学オントロジーであるICD-10\footnote{ICDとは，世界保健機関 (WHO) による，疾病及び関連保健問題の国際統計分類 (International Statistical Classification of Diseases and Related Health Problems) の略称であり，世界中で集計された死亡や疾病のデータに基づく分類体系である．ICDにはいくつかのバリエーションがあり，日本ではICD-10が用いられている．詳しくは\ref{ICD-10}節を参照．}
と，自然言語文に含まれる疾患名や症状名を対応させるための辞書は，これまでにも何度か作成が試みられている\cite{Fabry2003,ICDyamada,Bouchet1998}．しかし，これらの研究
は病名辞書を記述することに終始しており，
電子カルテ内の文脈がもつ情報が失われている．本研究では，コーパス中に出現する病名に対してアノテーションすることで，
文脈も含んだ形で利用可能なリソースの構築を目指す．

本研究は，大規模な日本語の医療コーパスを構築する初めての試みである．
これまでにも医療コーパスを用いた
研究はあったが，その仕様の詳細については明らかにされておらず，全体像がつかめないのが実情であった．
本稿では，今後同様のアノテーションにおいて指針となるように，アノテーションの仕様を実際にコーパスが構築可能な程度の粒度で紹介する．


\section{コーパス構築の全体像}

\subsection{材料}
\label{samari}

本研究で扱う電子カルテは\textbf{症例報告}といわれるテキストである（表\ref{shorei}）．
症例報告とは，学会に提出される患者情報の要約である．
症例報告には，患者の診断名・転帰，入院時の症状および所見，治療後の経過などが簡潔に記述され，
医師の教育や，類似した症例の参考のために参照される．
このため，症例報告は患者に相対して記述する診療録よりも高い可読性で記述される傾向にある．
症例報告は学会への報告であるため，記録先は異なるが，入院時の患者の要約であるという点で退院サマリ（図\ref{ehr03}）と類似しており，症例報告のアノテーションの枠組みを退院サマリに転移することが可能である．

\begin{table}[t]
\caption{症例報告「頚部硬膜外血腫を合併した特発性血小板減少性紫斑病」の例}
\label{shorei}
\input{05table01.txt}
\end{table}

本コーパスの材料となったテキストは日本内科学会に報告された44,761
の症例報告\footnote{この段階ではコーパスから除外する複数症例についての報告（3.2節参照）も含まれているため，完成後のコーパスの症例報告件数とは一致しないことに注意．}である．
これは，2004年以降に報告された全症例であり，11,866施設，26,235人の医師からなる．
また，これらがカバーする診療科は内科全領域である．症例報告が対象としている分野と，各分野における報告数を表\ref{field}に示す．
なお，日本内科学会の会員は学会ホームページ
\footnote{http://www.naika.or.jp/}
を通じて本コーパスのデータを検索，閲覧可能である．また，本コーパスの研究利用についてはウェブサイト\footnote{http://mednlp.jp/}にて，利用に関しての最新情報を参照可能なようにしている．



\subsection{除外データ：複数症例を扱った記録}

症例報告の中には，ある症状について，1つの病院で観察された複数の患者のことをまとめて報告したものや特定の病気に対し特定の治療法が有効であるかどうかを複数の事例から考察したものが含まれている．このような報告においては，患者1人1人についての記述が少なく，記述されている情報がどの患者に当てはまるものであるかを判断することが難しい場合が多々ある．そのため，特定の患者1名に関する報告のみをアノテーションの対象とすることとした．


\subsection{アノテーションの流れ}
\label{flow}

電子カルテには専門用語が多く含まれており，正確なデータ整理のためには医学知識が必須となる．例えば，「DICあり」という表現に含まれる「DIC」が「播種性血管内凝固」という疾患を指すといった判断は，医師や看護師，医療事務員といった医療関係者（以降，\textbf{医療従事者}）以外の者（以降，\textbf{非医療従事者}）にとっては容易ではないため，本来はすべての作業を医療従事者によって行うのが理想的である．しかし，それはコスト的にも人材的にも非常に困難である．
最も人数が多い医療従事者は看護師であるが，慢性的に人手不足であり，また，雇用単価も高い（時給換算で2,000円〜2,300円）．そもそも，看護師の本来の職務はアノテーションの作業と大きく乖離しており，熱意を持ってアノテーションに従事可能な人材の確保は容易でない．

\begin{figure}[p]
\begin{center}
\includegraphics{25-1ia5f1.eps}
\end{center}
\caption{退院サマリの例（GSK2012-D模擬診療録テキスト・データから抜粋）}
\label{ehr03}
\end{figure}

\begin{table}[p]
\caption{症例報告の対象分野と各分野における報告数}
\label{field}
\input{05table02.txt}
\end{table}

そこで，本研究では，データ整理の作業に熟練し，かつ，事務作業とも親和性の高い，医療事務員の経験者を中心に雇用し，コーパスの構築を行う．ただし，医療事務員は看護師や検査技師などの他の医療従事者と比較し，そもそも人数が多くない．そこで，アノテーションのプロセスを医療事務経験者でなくとも従事可能な部分と，医療事務経験者が必要な部分という以下の2つに分けた．

\eenumsentence{\label{process}
\item \textbf{病名タグ付け}\\
	医学知識を用いず，非医療従事者が病名だと判断したもの全てにタグを付与する．
\item \textbf{病名コーディング}\\
	上記(\ref{process}a)のプロセスでタグ付けされた表現のうち，頻度の高いものから順に医療従事者が医学知識を用いて，病名であるか否かを判断し，病名である場合は後述するICDコードを付与する．}

本稿では，病名の範囲の同定(1a)を{\bf タグ付け}，病名の分類 (1b) を{\bf コーディング}と
呼び，(1a)タグ付けと(1b)コーディングの両方を含む作業を{\bf アノテーション}と呼ぶことにする．

なお，作業の効率化を測るため，予め非医療従事者によってタグ付けがなされた少数のデータを教師データとして，機械学習によって自動で全てのデータにタグ付けしたデータ（以降，\textbf{自動タグ付けデータ}）を作成し，(\ref{process})の両プロセスにこのデータを利用している．具体的には，(\ref{process}a)の作業は，自動タグ付けデータをアノテーターが修正（タグの追加・削除）する形で行う．また，(\ref{process}b)の作業においては，(\ref{process}a)のプロセスが完了するよりも前に，自動タグ付けデータにおける頻度に基づいてコーディングを行い，(\ref{process})の作業が完了次第，自動タグ付けデータからは収集することができなかった表現に対して，(\ref{process}b)のコーディング作業を行う．


\subsection{ICD-10}
\label{ICD-10}

ICD \cite{ICD10}とは疾病及び関連保健問題の国際統計分類 (International Statistical Classification of Diseases and Related Health Problems) の略であり，
世界中で集計された死亡や疾病のデータの体系的な記
録，分析，解釈および比較を行うため，世界保健機関憲章に基づき，世界保健機
関 (WHO) が作成したオントロジー的な性質を持つ分類体系である．
ICDには各国の事情を反映したバリエーションがあり，例えば米国ではICD-9-CM, オーストラリアではICD-9-AM，日本ではICD-10が用いられている．

ICD-10は，アルファベット1桁と数字2〜4桁の組み合わせによって表記され，この表記は{\bf コード}（または\textbf{ICDコード}）と呼ばれる．
それぞれのコードには，体系的に分類された疾病や死因の概念が対応づけられている．また，実際の電子カルテ内に現れる疾病や病名などを表す表現に対して，コードを割り当てる行為は{\bf コーディング（ICDコーディング）}と呼ばれる．
一般の計算機科学で用いられる，プログラムを構築する意味でのコーディングとは異なるので注意されたい．
コードは表\ref{tabICD}のような階層構造を持つ．
コードの最初のアルファベット（{\bf 軸}と呼ばれることもある）は，感染症や新生
物（がん）などの全身症 (A--E)，循環器や消化器系疾患など (F--N)，奇形や新
生児疾患 (O--Q)，症状や兆候 (R)，障害 (S--T)，傷病 (V--Y) などの分類記号となっている．さらに，次桁からの数字で詳細な部位などが示される．
例えば，「右上肺葉がん」はC341に分類されるが，最初の3桁のC34が「気管支
および肺の悪性腫瘍」を示し，最後の1が上肺を示している．
ただし，コードに左右の区別はなく，右肺に生じた疾患であるということはC341というコードから判別することはできない．

\begin{table}[t]
\caption{ICD-10の概要}
\label{tabICD}
\input{05table03.txt}
\end{table}

なお，本コーパスの規模としては，56万の病名の出現 (TOKEN) を収載し，異なり病名としては19,000種類の病名 (TYPE) をカバーしている．
これをICD-10コードの種類にまとめると2,260コードとなる．なお，ICD-10は全体として膨大な体系であり，実際には頻出しない病名や日本では存在しない病名も含めると，数万規模の体系となっている．
実際に日本で一般的に用いられているICD-10コードの数は約4,900であり\footnote{https://www.medis.or.jp}，本コーパスはこのうち約半分（2,260コード）をカバーしていることになる．


\section{病名タグ付け}

\subsection{病名タグ付けの指針}
\label{annoaim}

病名タグ付けは，症例報告に含まれる病名にタグを付与する作業である．しかし，\ref{flow}節で述べた通り医療従事者の確保は容易ではないことから，この作業は特に医療やその他の学術的知識を持たない作業者にも可能なように基準を設定した．また，実際に作業を行ったのは，2017年7月現在で医療従事者・非医療従事者を共に含む10名である．以下では，タグ付けの指針や基準の詳細，および作業結果の一致率について述べる．


病名タグ付けは，以下の3つの指針に基づいて行った．


\subsubsection*{(I) 非医療従事者がタグ付け対象の言語的単位を判断しやすい基準を設ける}

症例報告においては，同一の症状・疾患の記述であっても，医師によって様々な表現の仕方が用いられる．特に，複数の形態素によって特定の症状・疾患を表している場合，非医療従事者がタグ付けの範囲を決定することが困難である場合が多い．そこで，タグ付けに際しては医療的知識を用いることなく，言語的な情報からタグ付けの有無や範囲の決定を行うことができる基準を設ける．


\subsubsection*{(II) 病名コードを付与できる可能性を持つ表現を最大限抽出するための基準を設ける}

本コーパスは，ICDコードに基づいて，複数の表現がなされている病名を標準化することを目指している．しかし，タグ付けを行う非医療従事者はICDコードに関する知識を有していないため，データ中に見られる症状のどれがICDコードを持っているのかを判断をすることが難しい．
そこで，ICDコードが付与される可能性を持つ表現を最大限抽出するための基準を設ける．


\subsubsection*{(III) 症例報告の患者に関する情報（事実性）を整理する}

\ref{intro}節で述べた通り，本研究は症例報告の対象患者の疾患や症状の情報について整理することを目的としている．しかし，実際の症例報告には，患者による罹患が実際に確認された病名だけではなく，存在が否定された病名や施設名等に含まれる病名，さらに特定の症例報告のレベルではなく一般論のレベルで登場する病名も多い．
例えば，表\ref{shorei}の症例報告では，実際の患者に生じた症状ではなく，医学的な知識として「ＩＴＰは時に重篤な深部出血をきたす」といった記述がなされている．
そこで，病名アノテーションにおいては，
患者に実際に確認された病名と，そうではない病名を区別し，それぞれに対応するタグを設ける．

以下では，上記の指針に基づき行った実際のタグ付け作業の詳細を述べる．


\subsection{タグの種類}
\label{tagtype}

指針(III)に則り，本コーパスで用いるタグは次の3種とする．

\eenumsentence{
\item \textbf{陽性タグ（Pタグ：\ps ~...~\pe）} ~\\
患者に関する症状，疾患名で実際に罹患が認められたもの，あるいは疑われたものに対してPタグを付与する．
\item \textbf{陰性タグ（Nタグ：\ns ~...~\ne）} ~\\
患者に関する症状，疾患名で罹患が否定されたものに対してNタグを付与する．
\item \textbf{スキップタグ（SKIPタグ：\sk ...）} ~\\
各データ末尾の一般論にはPタグ，Nタグを付さず，直前にSKIPタグを付すことで，以降のテキストはタグ付け対象外とすることを明示する．Pタグ，Nタグと異なり，終了タグは付与しない．なお，一般論であっても，データの末尾以外にある場合にはSKIPタグを付与せず，Nタグを付与する．
}

\noindent
症例報告において，一般論はテキスト末尾に考察として記述される場合が多く，考察部分はそれ以前の具体的な症例報告とは性質が異なる．そこで，テキスト末尾に登場する一般論はSKIPタグによって区別し，本コーパスからは除外する．なお，テキスト末尾以外に登場する一般論に関しては，Nタグを付与することで患者が実際に罹患した病気と区別する．
これらのタグの種類の決定方法については，\ref{tagdecision}節にて例とともに詳細を述べる．

先行研究においては，Nタグの内容を区別するものも存在する．例えば，\cite{Aramaki2009text2table}では，「疑い」，「必要」，「可能性」，「否定」，「延期」，「予定」，「希望」，「勧める」，「方針」といった細かい区別を用いていた．また，NTCIRのMedNLP2タスクでは，「否定」，「疑い」，「家族歴」を区別していた．
しかし，場合によってはこの区別が困難な場合がある．さらに，今回対象とするコーパスが大規模であることから，できるだけタグの仕様を単純化するのが好ましい．想定される応用例においても，Nタグを除外して検索したい要求はあっても，Nタグの内容を区別して扱うケースは多くないと考えている．以下に想定される応用例を列挙する．

\begin{itemize}
\item 作用調査：Pタグのみを抽出
\item 副診断支援（類似した症状の患者を検索）：Pタグのみを抽出
\item 診断支援（次に行うべき検査や見るべき所見を予測）：PタグとNタグの両方を抽出
\item 病名表現の統計調査：PタグとNタグの両方を抽出
\item 入力支援（サジェスト）：PタグとNタグを区別せず抽出
\end{itemize}


\subsection{病名タグ付けの原則}
\label{annoprinciple}

病名タグ付けは，\ref{annoaim}節に挙げた指針を反映し，下記の原則に基づいて行った．

\eenumsentence{\label{annopri}
\item 名詞で表現される病名に対してのみタグを付与する
\item Pタグを付与するのは患者が罹患したと医師が判断した病名（陽性所見）とする
}

\noindent
原則(\ex{0}a)は，指針(I, II)を反映している．症例報告において，当該の報告を記述した医師によって病名の表現の仕方や表記法が異なるため，そのような表記の揺れに対して，非医療従事者であっても言語的な特徴からタグ付け範囲の決定をすることができる基準を設ける必要がある．そこで，タグ付け対象を名詞（サ変動詞の語幹も名詞に含めることとする）に限定することによって，統一的なタグ付けを目指した．

原則(\ex{0}b)は，指針(III)を踏まえている．症例報告には，実際に患者が罹患していると医師が判断していない病名が多く含まれている．この点を明示化するために，患者が罹患したと医師が判断したと考えられる病名にはPタグを付与することで，それ以外の病名と区別した．

次節では各原則が実際のタグ付けにおいてどのように実現されるかを述べる．


\subsection{タグ付けの単位}

原則(\ref{annopri}a)に示したように本コーパスでは，タグ付け対象を名詞に限定することで，非医療従事者によるタグ付け単位の判断の統一化を図っている．これは，症例報告において以下のような表記の揺れが散見されるためである．

\eenumsentence{\label{kidney}
\item 腎機能低下が見られた
\item 腎機能が低下していた
\item 腎機能が高度に障害されていた
}

\noindent
「腎機能低下」はICDコード(N289)を有する症状である．しかし，症例報告には(\ref{kidney})に例示したように，様々な表現の仕方で，同一の事象が記述されている．このような表記揺れを過不足ない単位で医療知識の無いアノテーターが全て採取することは極めて困難である．また，仮に全ての表記揺れを統一的な単位でタグ付けすることができたとしても，そのような表記揺れは病名コーディングの段階で，頻度の少なさからコーディング対象外となってしまうことが予想される．

以降，4.4.1節から4.4.7節では具体的にどのような表現をタグ付け単位として認定したかを詳細に述べる．


\subsubsection{複合名詞}
\label{fukugomeishi}

複合名詞は，1つの名詞として扱い，まとめてタグ付け対象とする．

\eenumsentence{
\item[] \textbf{複合名詞の例}
\item  \ps 軽度網膜血管炎\pe
\item \ps AFP高値\pe
\item \ps 腎機能異常\pe
\item \ps 全身倦怠感著明\pe
\item \ps 両側肺門リンパ節腫大\pe
\item \ps ｃｌａｓｓ Ｖ腺癌\pe }

また，病名そのものではなくても，患者の症状を表す特定の語彙を含んだものについてもタグ付け対象とする．
\eenumsentence{
\item[]\textbf{患者の症状を伴う特定の語彙を含む複合名詞の例}
\item \ps 血痰程度\pe  ~[〜程度]
\item \ps 皮膚病変痂皮傾向\pe  ~[〜傾向]
\item \ps 壊疽部\pe  ~[〜部]
\item \ps 腫瘤辺縁\pe  ~[〜辺縁]
\item \ps 項部硬直陽性\pe ~ [〜陽性（陰性）]}


\subsubsection{英語表記・略号}

英語表記やアルファベットによる略記も名詞として扱い，タグ付け対象とする．

\eenumsentence{
\item[]\textbf{英語表記・略号の例}
\item \ps ｃａｒｃｉｎｏｉｄ ｔｕｍｏｒ\pe ~[英語表記]
\item \ps ＡＩＰ\pe ~[英語略記]} 


\subsubsection{修飾句}

本コーパスでは，以下のような修飾句を形成する表現についてはタグ付け対象外とする．

\eenumsentence{
\item[]\textbf{タグ付け対象としない修飾句の例}
\item \underline{急性肝炎様に}\ps ＡＩＨ\pe を発症した \item \underline{ポリープ状の}\ps 腫瘍\pe を認め
\item \underline{肉芽腫性の}\ps 炎症\pe}

ただし，以下のように，「に」や「の」等の助詞が介入せず，複合名詞となっている場合は，原則\ref{fukugomeishi}に示したように，合わせてタグを付与する．

\eenumsentence{
\item[]\textbf{助詞の介入しない修飾句を伴う複合名詞の例}
\item \ps 急性肝炎様症状\pe
\item \ps ポリープ状腫瘍\pe
\item \ps 肉芽腫性炎症\pe
}


\subsubsection{動詞}

本コーパスでは，以下のような動詞が表す症状はタグ付け対象外とする．
\eenumsentence{
\item[] \textbf{タグ付け対象としない動詞の例}
\item 両足が\underline{痛み}，右膝が\underline{腫れてきた}
\item 皮膚はいずれも\underline{硬くなった}
\item 夜はなかなか\underline{寝つけない}，とのこと}

ただし，サ変動詞の語幹については，それ単体で病名を表す名詞と認定できるものに限ってタグを付与する．

\eenumsentence{
\item[] \textbf{病名を表す名詞と認定できるサ変動詞の語幹の例}
\item \underline{\mbox{\ps 狭窄\pe している}}と考えられた
\item \underline{\mbox{\ps 腎機能低下\pe する}}
}


\subsubsection{セパレーション}

中黒（・），スラッシュ（/），ハイフン（-）や，読点（，）をはさむ場合は，その前後が独立した名詞の場合，それぞれを別の名詞として個別にタグを付与する．一方，前部ないし後部がもう一方と連結して複合名詞を作る場合は，当該記号を挟んで1つのタグを付与する．


\eenumsentence{
\item[]\textbf{分割された前後が独立した名詞として認定できる例}
\item[] \ps 血痰\pe ・\ps 下血\pe も出現した}

\eenumsentence{
\item[] \textbf{前部または後部がもう一方と連結する例}
\item \ps ウイルス性，細菌性肺炎\pe 疑いあり[ウイルス性肺炎＋細菌性肺炎]
\item \ns 腸蠕動音低下，亢進\ne ともになし． [腸蠕動音低下＋腸蠕動音亢進]
\item \ps 下咽頭、気管、甲状腺浸潤\pe 、\ps 頚部リンパ節転移\pe と診断され[下咽頭湿潤＋気管湿潤＋甲状腺湿潤]
}


「および」「ならびに」といった表現は中黒やスラッシュと同様に扱う．
\eenumsentence{
\item[] \textbf{「および」「ならびに」が使用されている例}
\item \ps 体幹および四肢運動失調\pe などを認めた。
[体幹運動失調＋四肢運動失調]
\item \ps 結節性ならびに小浸潤性陰影\pe を認めた。
[結節性陰影＋小湿潤性陰影]}


\subsubsection{丸括弧}

丸括弧で囲まれた言い換えの表現がある場合は，個別にタグを付与する．
\enumsentence{
\textbf{丸括弧による言い換え表現の例}

\ps 胃食道逆流症\pe （\ps ＧＥＲＤ\pe ）
}


\subsubsection{特殊記号を含む名詞}

症例報告においては，患者の症状を表すために医師の間で慣習的に使用されている記号が現れることがある．そのような記号は，複合名詞を構成する一部として解釈し，まとめてタグ付けする．

\eenumsentence{
\item[]\textbf{「上昇／低下」の意味で「↑／↓」が使用されている例}
\item \ps ＩｇＡ２８００↑\pe \\~~（IgA高値は慢性肝疾患や感染症等を示す血液検査所見）
\item  \ps 皮膚ツルゴール↓\pe  \\~~（皮膚ツルゴール低下は脱水症、特に低張性脱水症）
}

\eenumsentence{
\item[]\textbf{「陽性／陰性」という意味で「(+)／($-$)」が使用されている例}
\item  \ps 項部硬直(+)\pe
\item 検尿も\ns 蛋白($-$)\ne 、\ps 潜血(+)\pe であった
}


\subsection{タグの種類決定}
\label{tagdecision}

症例報告に登場する病名には，医師が実際に患者に認めたものだけでなく，検査の結果否定された病名や一般論において登場する病名，患者の症状とは関係のない複合名詞の一部として登場するものが多く存在する．本コーパスでは，そのような表現に対応するために，\ref{tagtype}節に挙げた3種のタグ（Pタグ，Nタグ，SKIPタグ）をアノテーションに用いる．本節では，具体的にどのような表現に各タグを付与するかを述べる．


\subsubsection{患者の症状以外の病名を含む複合名詞}

患者の症状としてではなく，施設名，手術名，検査名といった複合名詞の一部に含まれた病名にはタグを付与しない．
\eenumsentence{
\item[] \textbf{患者の症状を表さない病名を含む複合名詞の例}
\item かかりつけの■■■内科\underline{リウマチ}科クリニックより当院紹介受診となった．
\item \underline{左下肢静脈瘤}手術を行った．
\item 細菌培養、\underline{膠原病}検査を行い１週間経過観察 }


\subsubsection{まだ発症していない病名}

実際には，まだ発症していないが，今後患者に発症が予想されている病名にはNタグを付与する．

\eenumsentence{
\item[]\textbf{発症が予想されている病名の例}
\item \ns 気道閉塞\ne の危険が高く
\item \ns 肺塞栓症\ne の発症が危惧された
}


\subsubsection{家族歴}

家族歴（患者の家族が罹患したことのある症状）は，患者が実際に罹患していない病名であるため，Nタグを付与する．

\eenumsentence{
\item[]\textbf{家族歴の例}
\item 母が\ns 高脂血症\ne
\item 長兄、祖母にも\ns 大動脈疾患\ne の既往歴があり}

なお，患者本人の既往歴（過去に患っていた症状）に関しては，患者の罹患した病名であるため，Pタグを付与する．
\enumsentence{
\textbf{患者の既往歴の例}

XX歳時に\ps 胃潰瘍\pe のため胃亜全摘術\underline{既往歴}がある。
}


\subsubsection{罹患が疑われている病名}

罹患が疑われている病名に関しては，同一文内で陰性であることが示されている場合に限りNタグを付与し，それ以外はPタグを付与する．

\eenumsentence{
\item[] \textbf{同一文内で罹患が否定されている例}
\item \ns 脳血管障害\ne を\underline{疑い}ＣＴ・ＭＲＩを施行したが異常所見を\underline{認めなかった}。
\item \ns 抗酸菌感染症\ne を\underline{疑い}喀痰抗酸菌検査を施行したが\underline{陰性}で、外来での厳重な経過観察とした。
}

\eenumsentence{
\item[]\textbf{同一文内で罹患が否定されていない例}
\item 臨床経過より、アミオダロンによる\ps 薬剤性肺障害\pe を\underline{疑った}。
\item 喘息既往や血液検査から\ps 好酸球性肉芽腫性多発血管炎\pe を\underline{疑った}。
}

また，疑いを表す述部の例としては以下のものが挙げられる．
\eenumsentence{
\item[]\textbf{疑いを表す述部を伴う例}
\item バルサルバ負荷によるＴＭＦの変化、肺静脈血流と流入血流左室内伝播速度を観察したところ、いずれも\ps 左室拡張障害\pe を\underline{示唆する}結果であった。

\item モニター心電図上、心拍数２００回／ｍｉｎ程度の\ps ｗｉｄｅ ＱＲＳ ｔａｃｈｙｃａｒｄｉａ\pe を認めており、\ps 心室頻拍\pe と\underline{考え}、マグネゾール１Ａを静注後に\ns 頻拍\ne は停止した。

\item ■■月■■日縦隔腫瘍摘出し\ps ｇａｎｇｌｉｏｎｅｕｒｏｍａ\pe と診断。良性で全身病態に関連少ないと判断し、\ps ＧＢＳ\pe を\underline{想定し}、免疫吸着を行った。

\item \ps 脳卒中\pe が\underline{疑われる}\ps 神経症状\pe を認めたため脳ＭＲＩを施行、右小脳・右脳幹に比較的最近に発症したと思われる\ps 脳梗塞所見\pe を認めた。

\item \ps ヘパリン起因性血小板減少症\pe の\underline{可能性を考え}抗ヘパリン-ＰＦ４複合体抗体を測定したところ陽性であった。

\item \ps 悪性腫瘍\pe も\underline{否定できない}ため、診断目的でエコー下肝生検を施行。}



\subsubsection{治癒表現}

治癒を表す表現が伴っている病名については，症状や疾患が完全に消失したことが明示されている場合のみNタグを付与する．
\eenumsentence{
\item[]\textbf{完全に消失したことが分かる治癒表現を伴う例}
\item  \ns リンパ腫所見\ne は\underline{消失し}ており
\item \ns 血尿\ne は\underline{陰性化し}}

なお，症状・疾患が完全に消失したことが明示されていない場合はPタグを付与する．
\eenumsentence{
\item[]\textbf{症状・疾患が完全に消失したことが判断できない例}
\item \ps 腫瘤\pe は\underline{ほぼ消失し}ていた
\item \ps 発疹\pe も\underline{消退傾向}となり
\item \ps 心不全症状\pe の\underline{軽快}を認めた
\item 腸管壁の\ps 肥厚\pe は\underline{改善し}た
}

「寛解」「完全寛解」「奏効」「完全奏効」という用語は，癌の徴候が消失しただけであり，完全な治癒を表すわけではないため，これらを伴う病名にはPタグを付与する．


\subsubsection{一般論に見られる病名}

症例報告に見られる病名には，個別のケースについて言及しているのではなく，これまでに得られている知見の一般的記述の中に登場するものが多く存在する．また，そのような一般論は，本文末尾に記述されることが極めて多い．本研究におけるタグ付け作業は，\ref{flow}節で述べたように，自動タグ付けデータを修正する形で実施したため，本文末尾の一般論に含まれる病名に予め付与されたタグを1つ1つ人手で削除する作業は非効率的である．そのため，タグ付け作業ではSKIPタグを設け，本文末尾の一般論の直前にこれを付すことで，それ以降のテキストに付されたタグを無視するようにした．
\eenumsentence{
\item[]\textbf{本文末尾に登場する一般論の例}
\item ...その後徐々にＡＬＴは低下し、ウィルス量も低下したが、\ps 肝不全\pe からの回復には至っておらず、現在も治療中である。\sk\underline{近年ではステロイドフリーの化学療法や、他の免疫抑制剤でも、免疫抑制の回復期におこるＨＢＶの再活性化が数多く報告されている。また劇症化症例においては肝炎発症後のラミブジン投与では効果に乏しく、予後も不良である。化学療法に伴うＨＢＶの再活性化、劇症肝炎はいかなる化学療法においても引き起こす可能性があり、ＨＢｅ抗原やキャリアの肝予備能に関わらず、ラミブジンの予防投与をすることが必要と考える。}
\item ...薬物的除細動は合部調律が続き、その後洞調律となり、薬物療法を行って整脈を維持出来た。\sk \underline{長年に渡り心房細動が続き、左心房の拡大がかなり拡大している症例でも心筋シンチ検査を行い、その所見から、除細動が可能かの判定に役立てる事が出来ると思われた。}
}

なお，本文末尾以外に登場する一般論については，患者に実際に見られた症例とは区別して，Nタグを付与することとした．
\eenumsentence{
\item[]\textbf{本文末尾以外に登場する一般論の例}
\item \underline{\mbox{\ns 平滑筋肉腫\ne は、進行又は}再発症例では有効な治療法が確立されておらず、その予後も不良であるのが現状である。}今回我々はＧｅｍｃｉｔａｂｉｎｅ／\linebreak
Ｄｏｃｅｔａｘｅｌの化学療法にて予後の改善が得られた後\ps 腹膜原発平滑筋肉腫肝転移\pe の１例を経験したので報告する。...}


\subsection{作業者間一致率}

本節でこれまで述べてきた，病名タグ付けの基準の妥当性を調査するため，
実際に作業に従事した10名
のうち2名（非医療従事者）がランダムに抽出された100件の症例報告を対象に行ったタグ付け結果について，一致率の評価を行った．
評価は一方の作業者の作業結果を正解，もう一方の結果をシステムの出力結果とみなし，再現率(recall)，精度(precision)，F値を算出した．
正解か否かについては，タグ種類とタグ範囲が共に一致した場合に正解，それ以外は全て不正解とした．
結果を表\ref{tagconc}に示す．

\begin{table}[b]
\caption{タグ付与についての作業者間一致率}
\label{tagconc}
\input{05table04.txt}
\vspace{3\Cvs}
\end{table}

まず，病名に関するタグ（Pタグ，Nタグ）付与の不一致の原因について述べる．
Pタグについては，「菲薄化」「心室細動」などの医学用語に関する知識の差が原因とみられる不一致がみられた．
一方，Nタグについては，Pタグに比べ一致率が低くなる傾向がみられた．
また，作業者間でSKIPタグの範囲が異なる場合，その範囲のPタグとNタグは一方で作業対象となるが，もう一方ではSKIPタグの範囲内として処理されることになり，必ず不一致が生じる．このため，Pタグ，Nタグの一致率はSKIPタグの一致率にも影響される．

SKIPタグについては一致率が顕著に低い値となった．不一致の場合，同一の症例報告に対し，両方の作業者がSKIPタグを付与しているものの，その範囲が異なっている例が散見された．そのような例を，原因とともに(\ref{skip_kanja}), (\ref{skip_symbol})に示す．
\clearpage
\eenumsentence{
	\item[] \textbf{一般論や考察部分とも，患者に関しての言及とも捉えることが可能で判断が分かれる場合}
	\item[a.] 考察：不明熱にて発症し、確定診断まで難渋した症例を経験した。 \sk Ａｂｉｏｔｒｏｐｈｉａ　ｄｅｆｅｃｔｉｖａは...
    \item[b.] \sk 考察：不明熱にて発症し、確定診断まで難渋した症例を経験した。Ａｂｉｏｔｒｏｐｈｉａ　ｄｅｆｅｃｔｉｖａは...
\label{skip_kanja}
}
\eenumsentence{
	\item[] \textbf{位置がほぼ一致しているが，開始時点の見出しの扱いに相違が見られる場合}
	\item[a.] 【考察】\sk 透析患者における悪性リンパ腫の報告は少ない。...
    \item[b.] \sk 【考察】透析患者における悪性リンパ腫の報告は少ない。...
\label{skip_symbol}
}

\noindent
このように，何をもって一般論・考察の開始とするかについては判断が難しいと考えられ，今後ガイドラインの検討を要する．
また，見出しの取扱いについてもガイドラインの修正が必要である．


両作業者が同一の範囲にPタグもしくはNタグを付与した場合についても同様に，一方の作業者の結果を正解，もう一方の作業者の結果を出力とみなし評価した（表\ref{tagrange}）．なお，SKIPタグについてはPタグやNタグと同一範囲に付与された例は見られなかった．結果として，F値が98.6と高い一致率を示した．

\begin{table}[t]
\caption{タグ範囲が一致した場合の作業者間タグ種類一致率}
\label{tagrange}
\input{05table05.txt}
\end{table}


\section{病名コーディング}
\label{sectioncoding}

病名コーディングとは，前節で述べた病名タグ付けの作業によって症例報告の文章中から抽出された症状や疾患を表す表現に対して，ICDコードと標準病名を属性として付与する作業である．なお，病名コーディングは，Pタグが付与された表現のみを対象とする．この作業は，先の病名タグ付けとは異なり，医療知識を有する医療従事者が行った．

本研究では，コーパスの作成にあたり3名の医療従事者（以下，「{\bf 作業者}」と呼ぶ）が病名コーディングの作業を担当した．
コーディングにあたっては，3名の作業者が意見を交換しつつ，Pタグが付与された表現に対して可能な限りICDコードを付与することを目指し，コーディングを実施した．
本節では，病名コーディング作業の基本的な手順，およびコーディング作業にあたっての留意点について述べる．


\subsection{コーディング作業の手順}
\label{codingprocedure}

病名コーディングの作業には万病辞書を用いた．万病辞書とは，
奈良先端科学技術大学院大学が開発しているデータベースであり，ICDコードと，それに対応する標準病名が記載されている\footnote{http://www.mednlp.jp/dic-ja.html}．コーディング作業は，Pタグが付与された表現と，万病辞書に記載された項目との一致を利用して行った．

具体的なコーディング作業の流れは次の通りである．Pタグが付与された表現について，まず，全文一致検索による自動コーディング処理を行い，そこでコーディング処理がされなかったものについては，作業者が人手によるコーディングを行った．詳細な手順を以下に述べる．


\subsubsection{自動コーディング}

Pタグが付与された全ての表現を万病辞書で全文一致検索する．万病辞書の記載に全文一致する項目が見つかった場合，その項目に対応するICDコードを付与する．


\subsubsection{人手によるコーディング}

人手によるコーディングは，(I)全文一致検索に基づくコーディングと，(II)部分一致検索に基づくコーディングの2段階に分かれる．それぞれの手順を以下に述べる．
\begin{enumerate}
\item[(I)] {\bf 全文一致検索に基づくコーディング}
\end{enumerate}

先の自動コーディング処理による全文一致検索の取りこぼしを補うため， Pタグが付与された表現のうち，略語や英語を伴う表現をパラフレーズしながら万病辞書で検索を行う．全文一致する項目が見つかった場合，そのICDコードを付与する．


例えば，(\ref{fullmatch})では``Wegener''という英語表記が用いられている．この語は，「ウェゲナー」あるいは「ウェジナー」と読まれることもあるため，「ウェゲナー」もしくは「ウェジナー」としても検索を行う．
\enumsentence{\label{fullmatch}
\underline{\mbox{Wegener}} （ウェゲナー，ウェジナー）肉芽腫（M313：多発血管炎性肉芽腫症）

}

\begin{enumerate}
\item[(II)] {\bf 部分一致検索に基づくコーディング}
\end{enumerate}

Pタグが付与された表現について，万病辞書と全文一致する項目がみられない場合，部分的に一致する項目を検索したうえで，対応するICDコードを付与する．部分検索は，Pタグを付与された表現が最も多くの修飾語を含む状態から始め，万病辞書内の適切な項目に一致するまで，段階的に修飾語を省略しながら実施する．万病辞書と部分的に一致する項目が見つかった場合，その段階で検索を終了する．

例えば，「LQT2型QT延長症候群」という表現は，万病辞書内に全文一致する項目が存在しない．そこで「LQT2型」という修飾語を省略し，「QT延長症候群」で万病辞書を検索することで，対応するICDコードである「I490：QT延長症候群」を見つけることができる．なお，「LQT2型」は遺伝子の型別を表すと解釈できるため，病名は「遺伝性QT延長症候群」とする．

\eenumsentence{
\item 「\underline{\mbox{LQT2型}}QT延長症候群」で検索 → 一致なし
\item 「QT延長症候群」で検索 → I490：QT延長症候群
}


また， タグ付けの段階で欠損したと考えられる情報を補完することで対応するICDコードの特定が可能になる場合は，情報を補完してコーディングを行った．例えば，(\ref{supplement})は病名の一部が欠けた状態で抽出された表現である．この場合，まず「グレン症候群」で検索を行い，部分一致した項目である「シェーグレン症候群」のICDコードを付与した．

\enumsentence{\label{supplement}
グレン症候群（M350：\underline{シェーグレン}症候群）
}

修飾語の有無がコーディングに影響する疾患名や病名も存在するため，部分一致の検索を行う際には特に留意する必要がある（\ref{codprecision}節参照）．なお，部分一致検索にあたって修飾語を省略する際は，表\ref{codingpartition}のように修飾語が表す意味のカテゴリごとに区分を設けた．

\begin{table}[t]
\caption{修飾語を伴う病名の例「重症熱性血小板減少症候群（A938：重症熱性血小板症）」}
\label{codingpartition}
\input{05table06.txt}
\end{table}


\subsection{コーディング作業の指針}
\label{codingattention}

本節では，コーディング作業における具体的な指針について，実例を挙げながら述べる．


\subsubsection{表記のゆれ}

Pタグが付与された表現の中には，同じ疾患や症状を表すものであっても異なる表記で出現するものがある．例えば，「R91：胸部異常陰影」というICDコードに対応する表現は，(\ref{glass})のようにさまざまな表記で現れる．このような場合は，表記の異なりを捨象してすべて同一のICDコードを付与した．

\enumsentence{\label{glass}
｛スリガラス／すりガラス／スリガラス状／すりガラス状／スリガラス様｝陰影
}


\subsubsection{ウェブ上の情報の利用}

Pタグが付与された表現の中には，略語で表記されたものや希少疾患，作業者に馴染みが薄い病名など，一見するとコーディングが難しいものがある．(\ref{internet})に例を示す．
\eenumsentence{\label{internet}
\item 電撃性紫斑病（D692：紫斑病）
\item ペットボトル症候群（E872：ケトアシドーシス）
}
このような表現についても可能な限りICDコードを付与するために，ウェブサイトの情報を参考にすることもあった．なお，ウェブサイトの情報の利用頻度にはそれぞれの作業者の間で個人差があった．

なお，インターネット上の情報を参照するにあたり，情報の信頼性についても考慮した．特に，公的機関のウェブサイトや，日本内科学会症例検索システム「症例くん」\footnote{http://www.naika.or.jp/meeting/endaikensaku/}，または検索上位のウェブサイトを参考に，最も妥当であると考えられるICDコードを付与した．


\subsubsection{コーディングの精度}
\label{codprecision}

同じ病名を含む表現であっても，修飾語の有無によって対応するICDコードが異なることがある．そのような場合は最も妥当な分類に対応するICDコードを付与するように留意した．例えば，(\ref{modifier})に挙げたような修飾語は，コーディングに影響する．(\ref{memai})はその具体例である．また，(\ref{cancermod})のように，癌に関わる表現は，「術後」や「再発」などの語の有無によって対応するICDコードが異なることがある．

\enumsentence{\label{modifier}
二次性，心因性，1型・2型，原発性，中枢性，家族性，遺伝性，細菌性，完全性，再発性，本態性，疾患部位を表す表現など
}

\eenumsentence{\label{memai}
\item H814：\underline{心血管性}めまい
\item H811：\underline{体位性}めまい
\item T752：\underline{低音性}めまい
\item F456：\underline{心因性}めまい
}

\eenumsentence{\label{cancermod}
\item C169：早期胃癌
\item Z080：早期胃癌\underline{術後}
\item C761：乳癌術後胸壁\underline{再発}
\item C798：乳癌術後胸壁\underline{転移}
}


\subsubsection{複数コーディング}
\label{multiplecoding}

ある1つのPタグが付与された表現に対して，複数のICDコードや病名が対応すると考えられる場合，最大2つまでICDコードおよび病名を付与した．

\eenumsentence{\label{2coding}
\item 嘔気嘔吐（R11：嘔気・嘔吐症）
\item 脂肪肝合併2型糖尿（K760：脂肪肝・E11：2型糖尿病）
\item 呼吸障害（J060：呼吸困難・J969：呼吸不全）
\item 全身関節痛（M2550：多発性関節症・M2559：関節痛）
}


(\ref{2coding}a, \ref{2coding}b)のように，2つの語が並列されて1つの表現を構成している場合は，それぞれの単語について万病辞書の検索を行ったうえで，対応するICDコードおよび病名を2つまで付与する．
また，(\ref{2coding}c)のように，病状の程度を表す表現の意味が曖昧で，病状の重症度が特定できない場合は，対応すると考えられるICDコードを最大2つまで付与する．
(\ref{2coding}d)のように，作業者の間でコーディングについて意見が分かれ，協議の結果1つのICDコードに断定できなかった場合，最大2つまでICDコードを付与する．


なお，Pタグが付与された1つの表現に対して，3つ以上のICDコードが対応すると考えられる場合は，その表現をコーディングの対象外とする．(\ref{codexclusion})はコーディング対象外とされた表現の例である．

\eenumsentence{\label{codexclusion}
\item 血管炎
\item 血栓
\item 肉芽腫
}

作業者間での意見の相違と，その解決方法については，\ref{codingworksproblem}節にて改めて詳述する．


\subsubsection{医学的知識の利用}
\label{knowledgebasedcoding}

コーディングを行う際には，医学的知識を利用して表現の意味を解釈しなければならない場合がある．そのような場合は，解釈を補った上でコーディングを行った．

ある検査の異常な結果を表す表現には，その検査異常に対応するICDコードを付与する．

\eenumsentence{\label{examresult}
\item 動脈血ガス（R798：血液ガス値異常）
\item 膵性胸水（R848：胸水検査異常）
\item 陰性T波（R943：心電図異常）
}
ある検査で陽性の反応が出たことを示す表現の場合も，その検査結果に対応するICDコードを付与する．
\enumsentence{\label{virus}
胸水結核菌\underline{陽性}（R845：胸水結核菌陽性）
}

表現中の医学用語を解釈することで対応するICDコードが同定できる場合は，そのICDコードを付与する．例えば(\ref{fukujin})では「副腎外」という語が用いられているが，副腎外という人体の部位は存在しないため，「異所性」を含む病名を付与する．

\enumsentence{\label{fukujin}
\underline{副腎外}褐色細胞腫（D447：\underline{異所性}褐色細胞腫）
}

病状の程度を含む表現は，病状の程度を解釈し，それに応じて対応するICDコードを付与する．

\eenumsentence{\label{codkidney}
\item 腎機能障害（N289：腎機能低下）
\item 腎障害（N289：腎障害）
\item 急性腎障害（N289：腎障害）
\item 腎病変（N289：腎疾患）
\item 腎機能異常（R944：腎機能検査異常）
\item 軽度腎機能障害（N289：腎機能低下）
}

疾患を特定できる臨床所見を表す表現には，対応する疾患のICDコードを付与する．

\eenumsentence{\label{tokutei}
\item 骨破壊（M0690：関節リウマチ）
\item ニボー像（K567：イレウス）
}

症状を表す表現であっても，対応するICDコードが存在する場合は，そのコードを付与する．

\eenumsentence{\label{shoujou}
\item 脱水（E86：脱水症）
\item めまい（R42：めまい）
}


\subsubsection{コーディング対象外の表現}
\label{nospecification}

以下に挙げる表現は，コーディングの対象外とした．

\eenumsentence{
\item[] \textbf{患者に生じている疾患，症状を表さない表現}
\item 急性期
\item ステージII
\item 予後不良
}

\eenumsentence{
\item[] \textbf{細胞変性などを表す表現}
\item ○○変化
\item ○○浸潤
\item 形態異常
}

\eenumsentence{
\item[] \textbf{病変部位を1つに特定できない表現}
\item 多発潰瘍
\item 嚢胞
\item 基礎疾患
}



\eenumsentence{
\item[] \textbf{意味が漠然としており，対応するICDコードが推測できない表現}
\item 拡張
\item 貯留
\item 多発病変
\item 偶発症
}

\eenumsentence{
\item[] \textbf{部分一致検索で対応項目が見つからず，ICDコードを推測できない表現}
\item 症
\item 壁運動障害
\item 嚢胞状
}


\eenumsentence{
\item[] \textbf{検査所見を表す表現（「R91: 胸部異常陰影」に対応する表現を除く）}
\item ○○状陰影
\item 狭窄所見
\item 壁肥厚
\pagebreak
\item low density area
\item 異常集積
}


\subsection{病名コーディングの具体的作業}

本節では，コーディング作業の具体的な内容について述べる．特に，作業者間でのコーディング作業の分担およびコーディングの結果について詳しく述べる．


\subsubsection{コーディング作業の分担}

病名のコーディングは，コーディング対象データの総数13,207件のうち，自動コーディング処理がされた4,603件を除いた8,604件のコーディングを3名の作業者が担当した．
この8,604件のうち，出現頻度が5,055回から30回までの，1,071件の表現については，3名全員がコーディングを行った．残りの7,533件については，3名がそれぞれ分担して個別にコーディングを行った．ただし，判断に迷う場合は3名で協議しながらコーディングを実施した．


\subsubsection{コーディングの統一作業}

上述の通り，高頻度の表現（出現頻度5,055回から30回の1,071件）のコーディングは3名の作業者全員が行ったものであるため，3名の間でコーディングの判断が分かれる部分もあった．この1,071件のコーディングについては3名で協議を行い，最終的なコーディングを決定した．最終的なコーディングは，以下の基準にしたがって決定した．

\eenumsentence{\label{codunify}
\item
1つのPタグが付与された表現に対し，3名全員がコーディングの対象外と判断した場合は，その表現をコーディング対象外とする．

\item
1つのPタグが付与された表現に対し，3名全員が同一のICDコードを付与した場合は，そのICDコードを採用する．

\item
作業者の間でコーディングについて見解の相違があった場合は， 協議を行い，統一したICDコードを付与する．
}

最終的なコーディング決定に至る手順は次の通りである．(I) 作業者各自が行ったコーディングの結果を照らし合わせた後，(II) 作業者間で意見の対立がある部分について協議し，(III)最終的なコーディングを決定した．

\noindent {\bf (I) 作業者各自が行ったコーディング結果の照合}

\begin{table}[t]
\caption{コーディングの照合結果}
\label{d}
\input{05table07.txt}
\end{table}

まず，それぞれの作業者が個別に行ったコーディングの結果を照合した．この時点で，(\ref{codunify})の基準に従い
3名の作業者間でコーディング結果が一致した場合，コーディングを確定した．結果を表\ref{d}に示す．

また，作業者間のコーディングの一致率(\%)を以下の式によって求めた．
\[
 \frac{\mbox{作業者間のコーディングの一致数}}{\mbox{コーディングされた表現数}}\times 100
\]
結果を表\ref{codmatch}に示す．表\ref{codmatch}では便宜上それぞれの作業者を$h_{1}$, $h_{2}$, $h_{3}$と表記する．表\ref{codmatch}から，3名の作業者全員のコーディングを対照すると，7割程度の一致がみられたことがわかる．

\begin{table}[t]
\caption{コーディング作業の一致率}
\label{codmatch}
\input{05table08.txt}
\end{table}

\noindent {\bf (II) 作業者間での協議}

3名の間でコーディングについて見解の相違がみられた場合，協議を行ったうえで最終的なコーディングを決定した（\ref{codingworksproblem}節参照）．

\noindent {\bf (III) 最終的に決定したコーディング結果}

作業者間での協議の結果，最終的に決定したコーディングの件数を表\ref{c}に示す．

\begin{table}[t]
\caption{最終的に決定したコーディングの結果}
\label{c}
\input{05table09.txt}
\end{table}


\subsection{コーディング作業の問題点}

本節では，実際に病名コーディング作業を行った結果，明らかになった問題点について述べる．具体的な問題点としては，ICDコードそのものが抱える問題（\ref{icdproblem}節）と，3名の作業者間での意見の対立によって生じた問題（\ref{codingworksproblem}節）の2点がある．以下，それぞれについて述べる．


\subsubsection{ICDコードそのものが抱える問題}
\label{icdproblem}

病名コーディングの作業を行う中で，ICDコードの分類や表記が抱える問題が示唆された．この問題は，ICDコードそのものが原因であるため，コーディング作業者の努力だけでは解決することができなかった．今後の課題といえる．

まず，ICDコードが，どのような基準によって分類されているか不明確なため，Pタグを付与された表現に対応するICDコードの検索や同定が困難になることがあった．例えば，(\ref{codsimilar})は，類似した病名に対応するが異なる分類をもつICDコードの例である．

\eenumsentence{\label{codsimilar}
\item N40：前立腺\underline{症}
\item N429：前立腺\underline{障害}
}

また，さまざまな部位に発生すると考えられる疾患ではあるが，特定の部位についてのICDコードしか存在しないため，推測によるコーディングをしなければならない場合があった．

\eenumsentence{
\item 伸展不良（Q344：\underline{軟産道}伸展不良）
\item 側副血行（Q258：\underline{主要大動脈肺動脈}側副血行路）
}

ICDコードに対応する病名の表記にゆれがあり，検索が困難になることがあった．

\eenumsentence{
\item 「癌」と「がん」
\item 「嚢胞」と「のう胞」
}


\subsubsection{作業者間での意見の対立によって生じた問題}
\label{codingworksproblem}

コーディング作業は，3名の作業者が行ったものであるため，意見の相違が生じることもあった．この問題に対しては，作業者間で協議を行うことによって解決を試みた．本節では，作業者間の意見の相違から生じた問題と，その解決法について述べる．

具体的な問題としては，(I) Pタグが付与された表現のコーディング可否についての問題と，(II) Pタグが付与された表現にどのICDコードを付与するかという2つの問題が生じた．

\noindent {\bf (I) コーディング可否の問題}

あるPタグが付与された表現をコーディングの対象とみなすかどうかという基準について，3名の作業者の間で意見が分かれることがあった．本コーパスの目的からすると，Pタグが付与された表現には可能な限りコーディングをすることが望ましい．しかし，作業者の主観的な推測によって，本来コーディングの対象外である表現にまでコーディングをするようなことは避けなければならない．

例えば，作業者の中には，(\ref{indirect})に挙げた表現には対応するICDコードの存在が推測できるため，コーディング可能であるという意見があった（カッコ内はコーディング候補）．しかし，これらの表現は，ある疾患や症状の発生を推測する手掛かりになりうる表現ではあるものの，患者に生じている疾患や症状そのものを示す表現ではない．そこで，このような場合はコーディングの対象外と判断した

\eenumsentence{\label{indirect}
\item 転移（C80：転移性腫瘍）
\item 単核球（B270：EBウイルス伝染単核症，B279：伝染性単核症）
\item 止血困難（R58：出血）
}

画像所見を表す表現に対しても，可能な限りコーディングを施した．ただし，コーディングの対象は，実際に患者にその症状が生じていることが明らかな表現に限った．
例えば，(\ref{tumor})に挙げた「腫瘤影」や「腫瘤陰影」という表現は，患者の身体に腫瘤が存在することを示唆するため，「R229：腫瘤」のICDコードが対応するという意見があった．しかし，「腫瘤影」や「腫瘤陰影」という表現は，実際に患者の身体に腫瘤が存在がしているかどうかにかかわらず，腫瘤を疑わせる影が認められるだけの場合でも用いることができる．これに対して，「腫瘤形成」や「腫瘤病変」といった表現は，医師が患者を診察した結果，腫瘤が存在することを確認した場合に用いられる．したがって，最終的に「腫瘤影」と「腫瘤陰影」は，実際に患者の身体に腫瘤が存在していることが明らかではない表現と判断して，コーディングの対象外とした．

\eenumsentence{\label{tumor}
\item 腫瘤影（コーディング対象外）
\item 腫瘤陰影（コーディング対象外）
\item 腫瘤像（R229：腫瘤）
\item 腫瘤形成（R229：腫瘤）
\item 腫瘤病変（R229：腫瘤）
}


なお，異常陰影を表す表現も画像所見であるが，「R91：胸部異常陰影」のみICDコードが存在するため，胸部の陰影を表すと解釈できる表現についてはコーディングを行った．

\enumsentence{
スリガラス陰影（R91：胸部異常陰影）
}

\noindent {\bf (II) 対応するICDコードの問題}

Pタグが付与された表現の中には，作業者によって，どのICDコードを付与するか見解が分かれたものがあった．そのような場合，3名の作業者で協議したのち，統一したICDコードを付与するか，統一できない場合は2つまでICDコードを付与した．(\ref{majority})は多数意見を採用した例である．なお，以下では3名の作業者をそれぞれ$h_{1}$, $h_{2}$, $h_{3}$と表記し，それぞれが行ったコーディング結果をカッコ内に例示する．


\enumsentence{\label{majority}
心窩部不快感（R198：心窩部不快）
\item $h_{1}$, $h_{2}$, $h_{3}$：（R198：心窩部不快，R198：心窩部不快，R908：胸部不快）
}
なお，ICDコード付与の判断にあたっては，必ずしも多数意見を採用するのではなく，特に重要と思われるものであれば少数意見も採用した．(\ref{minority})はその例である．

\enumsentence{\label{minority}
虚血性小腸炎（K559：虚血性腸炎）
\item $h_{1}$, $h_{2}$, $h_{3}$：（K529：小腸炎，K529：小腸炎，K559：虚血性全腸炎）
}

また，1つの表現に対応するICDコードを 1 つに断定できない場合は，\ref{multiplecoding}節に示した基準に依拠して，2つまでICDコードを付与した．

\enumsentence{
呼吸障害（J060：呼吸困難・J969：呼吸不全）
\item $h_{1}$, $h_{2}$, $h_{3}$：（R060：呼吸困難，J969：呼吸不全，R060：呼吸困難）
}



\section{応用システム：病名抽出器の構築}

ここまで，医療テキストコーパスの構築方法について述べてきたが，
本節ではこのコーパスを用いた応用システムの可能性について議論する．
本コーパスの最も素朴な応用は，このコーパスを学習データとして類似症例検索システムや診断支援システムといった，様々な高次の応用システムで利用可能な
病名抽出器を作ることである．以下では，タグ付けされていない医療テキストから自動で病名を抽出する病名抽出器の概要について述べる．
なお，前節までは疾患名・症状名などを区別してきたが，本節では4節でタグ付け対象とされていたものを単に\textbf{病名}と呼ぶことにする．


\subsection{病名抽出器の処理}
\label{subsection:病名抽出器の処理}

前節までに説明した医療テキストコーパスを教師データとして用いて，病名を自動で抽出する病名抽出器を開発した．以下では，本病名抽出器の処理方法について述べる．
提案する病名抽出器は以下の2つの処理を同時に行う．

\begin{enumerate}
\renewcommand{\labelenumi}{}
\item 事象認識 (ER): 医療テキストにおける病名および疾患名を識別する．
これは，一般的な固有表現認識タスクと類似した処理である．以降，この処理を\textbf{ER} (Entity Recognition) とも呼ぶ．
\item 陽性／陰性 (P/N) 分類：テキスト中の PタグとNタグの区別を行うタスクである．以降，この処理を\textbf{P/N分類}と呼ぶ．
\end{enumerate}
病名抽出器の2つの処理は，4節で説明したアノテーションによる病名タグと対応している．
タグの学習にあたっては，文字単位で事象認識と事象の事実性判別を同時に系列ラベリングの問題として解いた．一般的に，医療テキストには長く複雑な複合名詞（例えば，「傍大動脈リンパ節郭清」など）や，ひらがなのみからなる医療用語（例えば，「びまん」など）が多く出現することにより，形態素解析の誤りがしばしば発生する．
そのため，病名抽出器では，単語単位ではなく，より頑健な文字ベースでの解析 \cite{asahara}を採用した．
図\ref{wordCRF}に文字ベースでの系列ラベリングと単語ベースでの系列ラベリングの違いを示す．


事実性の判定に関しては，これまでにも多くの先行研究があるが \cite{kitagawa,matsuda}，本研究では一般的かつ実装が簡易な手法でコーパスの規模と精度の関係を調査するため，事象認識のラベルとして事実性を表現した．
通常，事実性判定（P/N分類）は事象認識の後に適用される．しかし，P/N分類に必要な情報はERで必要な情報と重複する部分も多い．例えば，「〜が認められる」「〜が認められない」は，ともに病名出現の大きな手がかりであるとともに，P/N分類の手がかりにもなる．このため，ERとP/N分類の2タスクを1つに融合する方式を採用した．

\begin{figure}[b]
\begin{center}
\includegraphics{25-1ia5f2.eps}
\end{center}
\hangcaption{提案する病名抽出器による医療テキストからの病名抽出の例，ならびに，単語ベースの系列ラベリングと文字ベースの系列ラベリング（本病名抽出器で適用）の比較}
\label{wordCRF}
\end{figure}


\subsection{実験}

\ref{subsection:病名抽出器の処理}節では，医療テキストコーパスの応用システムとして，病名抽出器の処理方法について述べた．
以下では，実際に病名抽出器を用いて症例報告に自動タグ付けを行い，精度について評価を行った．
まず，教師データにはタグ付けにより病名に対してPタグ，Nタグが付与された500件の症例からなるコーパスを用いた．
なお，本タスクは病名抽出を目的としているため，コーパスのSKIPタグを削除し，本来SKIPタグがあった箇所以降も通常のPタグ，Nタグの基準によってタグ付けを行った．
前処理として，初めにテキストデータを文に分解し，一般の固有表現抽出の手法にしたがって，文字単位で開始(B), 内側(I), 外側(O) のIOB2ラベルを付与した （図\ref{wordCRF}）．
系列ラベリングの学習にはCRF\footnote{http://taku910.github.io/crfpp/}を用いた．
表\ref{CRF}にCRFで用いた文字ベースの特徴テンプレートを示す．
特徴として表層文字と文字種（漢字，ひらがな，カタカナ，英数字）のみを用いた．
ウィンドウサイズは前方2文字，後方5文字に設定した．
後方のウィンドウサイズを大きく設定したのは，P/N分類の手がかりとなる，否定に関わる述語が病名の後方に現れるためである．

\begin{table}[b]
\caption{文字ベースCRFにおける特徴テンプレート}
\label{CRF}
\input{05table10.txt}
\end{table}

評価は500件の症例報告を用いた10分割交差検証で行い，結果はERとP/N分類を個別に評価した．表\ref{ERの結果}にERの結果，表\ref{PN}にPタグ，Nタグのそれぞれの抽出性能を示す．評価はCoNLL2000\footnote{https://www.clips.uantwerpen.be/conll2000/}で提供されたツールを用いた．比較のために単語ベースCRFでの結果も並記する．

\begin{table}[t]
\caption{病名抽出器によるERの精度}
\label{ERの結果}
\input{05table11.txt}
\end{table}

\begin{table}[t]
\caption{P/N 分類の精度}
\label{PN}
\input{05table12.txt}
\end{table}

結果としては，ER, P/N分類いずれにおいても，若干であるが文字ベースによる手法が単語ベースによる手法の性能を上回った．
ERについては85.0以上の高い精度であり，Pタグについても80.0以上の高い精度での抽出に成功している．
一方，Nタグについては，文字ベースでも55.0と低い精度であった（いずれも評価指標はF値）．
この原因の1つとしては，Pタグに比べてNタグの出現頻度が低いことが考えられる．
また，もう1つの原因として，陰性であると判断するためには，設定よりも大きな文脈を要する場合があり，CRFではこれが困難であることが挙げられる．

本医療テキストコーパスを利用し，いかにNタグを高い精度で捉えられるかが今後の課題の1つである．
なお，本システムはウェブサイト\footnote{http://sociocom.jp/parser.html} にて配布している．


\section{おわりに}

本稿では，自然言語処理による電子カルテからの情報抽出に必須となる，病名がアノテーションされたコーパスの開発について述べた．
また，実際にアノテーターが作業した際の問題を，一致率を含め議論を行った．
さらに，コーパスを用いて構築した病名抽出器を題材に，コーパスの応用可能性について議論した．
本稿のアノテーション仕様が，今後の医療分野におけるコーパス開発の一助となることを祈念する．


\acknowledgment

本研究の一部は国立研究開発法人日本医療研究開発機構（AMED）の臨床研究等ICT基盤構築研究事業：
総合診療医の診療支援及び診療業務効率化の支援基盤構築に関する研究（課題番号：16930323）の支援によって行われた．
また，本論文の内容の一部は，言語処理学会第23回年次大会で発表したもので
ある\cite{aramaki2017NLP}．




\bibliographystyle{jnlpbbl_1.5}
\begin{thebibliography}{}

\bibitem[\protect\BCAY{Aramaki, Miura, Tonoike, Ohkuma, Mashuichi, \BBA\
  Ohe}{Aramaki et~al.}{2009}]{Aramaki2009text2table}
Aramaki, E., Miura, Y., Tonoike, M., Ohkuma, T., Mashuichi, H., \BBA\ Ohe, K.
  \BBOP 2009\BBCP.
\newblock \BBOQ Text2table: Medical Text Summarization System Based on Named
  Entity Recognition and Modality Identification.\BBCQ\
\newblock In {\Bem Proceedings of the Workshop on Current Trends in Biomedical
  Natural Language Processing}, \mbox{\BPGS\ 185--192}. Association for
  Computational Linguistics.

\bibitem[\protect\BCAY{Aramaki, Morita, Kano, \BBA\ Ohkuma}{Aramaki
  et~al.}{2014}]{mednlp11}
Aramaki, E., Morita, M., Kano, Y., \BBA\ Ohkuma, T. \BBOP 2014\BBCP.
\newblock \BBOQ Overview of the NTCIR-11 MedNLP-2 Task.\BBCQ\
\newblock In {\Bem Proceedings of the 11th NTCIR Conference}, \mbox{\BPGS\
  147--154}.

\bibitem[\protect\BCAY{Aramaki, Morita, Kano, \BBA\ Ohkuma}{Aramaki
  et~al.}{2016}]{mednlp12}
Aramaki, E., Morita, M., Kano, Y., \BBA\ Ohkuma, T. \BBOP 2016\BBCP.
\newblock \BBOQ Overview of the NTCIR-12 MedNLPDoc Task.\BBCQ\
\newblock In {\Bem Proceedeings of the 12th NTCIR Conference on Evaluation of
  Information Access Technologies}, \mbox{\BPGS\ 71--75}.

\bibitem[\protect\BCAY{荒牧\JBA 岡久\JBA 矢野\JBA 若宮\JBA 伊藤}{荒牧 \Jetal
  }{2017}]{aramaki2017NLP}
荒牧英治\JBA 岡久太郎\JBA 矢野憲\JBA 若宮翔子\JBA 伊藤薫 \BBOP 2017\BBCP.
\newblock 大規模医療コーパス開発に向けて.\
\newblock \Jem{言語処理学会第23回年次大会発表論文集}, \mbox{\BPGS\ 1200--1203}.
  言語処理学会.

\bibitem[\protect\BCAY{Asahara \BBA\ Matsumoto}{Asahara \BBA\
  Matsumoto}{2003}]{asahara}
Asahara, M.\BBACOMMA\ \BBA\ Matsumoto, Y. \BBOP 2003\BBCP.
\newblock \BBOQ Japanese Named Entitiy Extraction with Redundant Morphological
  Analysis.\BBCQ\
\newblock In {\Bem Proceedings of HLT-NAACL 2003}, \mbox{\BPGS\ 8--15}.

\bibitem[\protect\BCAY{Bouchet, Bodenreider, \BBA\ Kohler}{Bouchet
  et~al.}{1998}]{Bouchet1998}
Bouchet, C., Bodenreider, O., \BBA\ Kohler, F. \BBOP 1998\BBCP.
\newblock \BBOQ Integration of the Analytical and Alphabetical ICD10 in a
  Coding Help System. Proposal of a Theoretical Model for the ICD
  Representation.\BBCQ\
\newblock {\Bem Medinfo 1998}, {\Bbf 9}  (1), \mbox{\BPGS\ 176--179}.

\bibitem[\protect\BCAY{Fabry, Baud, Ruch, Le~Beux, \BBA\ Lovis}{Fabry
  et~al.}{2003}]{Fabry2003}
Fabry, P., Baud, R., Ruch, P., Le~Beux, P., \BBA\ Lovis, C. \BBOP 2003\BBCP.
\newblock \BBOQ A Frame-based Representation of ICD-10.\BBCQ\
\newblock {\Bem Studies in Health Technology and Informatics}, {\Bbf 95},
  \mbox{\BPGS\ 433--438}.

\bibitem[\protect\BCAY{科学技術振興機構研究開発戦略センター}{科学技術振興機構研究開発戦略センター}{2017}]{研究開発の俯瞰報告書2017}
科学技術振興機構研究開発戦略センター \BBOP 2017\BBCP.
\newblock 研究開発の俯瞰報告書：ライフサイエンス・臨床医学分野 （2017 年）.\
\newblock 技術資料, 国立研究開発法人科学技術振興機構.

\bibitem[\protect\BCAY{Kelly, Goeuriot, Suominen, Schreck, Leroy, Mowery,
  Velupillai, Chapman, Martinez, Zuccon, \BBA\ Palotti}{Kelly
  et~al.}{2014}]{CLEF2014}
Kelly, L., Goeuriot, L., Suominen, H., Schreck, T., Leroy, G., Mowery, D.~L.,
  Velupillai, S., Chapman, W.~W., Martinez, D., Zuccon, G., \BBA\ Palotti, J.
  \BBOP 2014\BBCP.
\newblock \BBOQ Overview of the ShARe/CLEF eHealth Evaluation Lab 2014.\BBCQ\
\newblock In {\Bem Information Access Evaluation: Multilinguality,
  Multimodality, and Interaction}, \lowercase{\BVOL}\ 8685, \mbox{\BPGS\
  172--191}. Springer, Heidelberg; New York; Dordrecht; London.

\bibitem[\protect\BCAY{北川\JBA 小町\JBA 荒牧\JBA 岡崎\JBA 石川}{北川 \Jetal
  }{2015}]{kitagawa}
北川善彬\JBA 小町守\JBA 荒牧英治\JBA 岡崎直観\JBA 石川博 \BBOP 2015\BBCP.
\newblock インフルエンザ流行検出のための事実性解析.\
\newblock \Jem{言語処理学会第 21 回年次大会発表論文集}, \mbox{\BPGS\ 218--221}.

\bibitem[\protect\BCAY{松田\JBA 吉田\JBA 松本\JBA 北}{松田 \Jetal
  }{2016}]{matsuda}
松田紘伸\JBA 吉田稔\JBA 松本和幸\JBA 北研二 \BBOP 2016\BBCP.
\newblock Twitterを用いた病気の事実性解析及び知識ベース構築.\
\newblock In {\Bem Proceedings of the 30th Annual Conference of the Japanese
  Society for Artificial Intelligence}, \mbox{\BPGS\ 1--4}.

\bibitem[\protect\BCAY{Morita, Kano, Ohkuma, Miyabe, \BBA\ Aramaki}{Morita
  et~al.}{2013}]{mednlp10}
Morita, M., Kano, Y., Ohkuma, T., Miyabe, M., \BBA\ Aramaki, E. \BBOP
  2013\BBCP.
\newblock \BBOQ Overview of the NTCIR-10 MedNLP Task.\BBCQ\
\newblock In {\Bem Proceedings of the 10th NTCIR Conference}, \mbox{\BPGS\
  696--701}.

\bibitem[\protect\BCAY{Uzuner}{Uzuner}{2008}]{i2b2}
Uzuner, O. \BBOP 2008\BBCP.
\newblock \BBOQ Second i2b2 Workshop on Natural Language Processing Challenges
  for Clinical Records.\BBCQ\
\newblock In {\Bem AMIA Annual Symposium Proceedings}, \mbox{\BPGS\
  1252--1253}.

\bibitem[\protect\BCAY{WHO}{WHO}{1992}]{ICD10}
WHO \BBOP 1992\BBCP.
\newblock {\Bem ICD10: International Statistical Classification of Diseases and
  Related Health Problems}.
\newblock World Health Organization.
\newblock \texttt{http://www.who.int/classifications/icd/en/}.

\bibitem[\protect\BCAY{Yamada, Aramaki, Imai, \BBA\ Ohe}{Yamada
  et~al.}{2010}]{ICDyamada}
Yamada, E., Aramaki, E., Imai, T., \BBA\ Ohe, K. \BBOP 2010\BBCP.
\newblock \BBOQ Internal Structure of a Disease Name and Its Application for
  ICD Coding.\BBCQ\
\newblock {\Bem Studies in Health Technology and Informatics}, {\Bbf 160}  (2),
  \mbox{\BPGS\ 1010--1014}.

\end{thebibliography}


\begin{biography}
\bioauthor{荒牧　英治}{
2000年京都大学総合人間学部卒業．2005年東京大学大学院情報理工系研究科博士課程修了．博士（情報理工学）．以降，東京大学医学部附属病院特任助教を経て，奈良先端科学技術大学院大学特任准教授．医療情報学，自然言語処理の研究に従事．
}

\bioauthor{若宮　翔子}{
2013年兵庫県立大学大学院環境人間学研究科博士後期課程修了．博士（環境人間学）．以降，京都産業大学コンピュータ理工学部研究員を経て，2015年より奈良先端科学技術大学院大学博士研究員．ソーシャル・コンピューティングに関する研究に従事．情報処理学会会員．
}

\bioauthor{矢野　　憲}{
2009年広島大学大学院工学研究科情報工学専攻博士後期課程修了．博士（工学）．以降，大阪大学臨床医工学融合研究教育センター技術補佐員，福岡大学工学部ポストドクター，国際電気通信基礎技術研究所研究技術員を経て，2016年より奈良先端科学技術大学院大学博士研究員．機械学習，自然言語処理に関する研究に従事．情報処理学会，電子情報通信学会，人工知能学会各会員．
}

\bioauthor{永井　宥之}{
2017年京都大学大学院人間・環境学研究科修士課程修了．修士（人間・環境学）．現在，同大学院博士後期課程在学中．専門は日本語学，認知言語学．日本認知言語学会会員．
}

\bioauthor{岡久　太郎}{
2016年京都大学大学院人間・環境学研究科修士課程修了．修士（人間・環境学）．現在，同大学院博士後期課程在学中．専門は認知言語学．コミュニケーション研究，マルチモーダル研究．日本語用論学会，日本社会言語科学会各会員．}

\bioauthor{伊藤　　薫}{
2012年京都大学大学院人間・環境学研究科修士課程修了．修士（人間・環境学）．現在，奈良先端科学技術大学院大学研究員．自然言語処理に関する研究に従事．専門は認知言語学，談話・テクスト言語学．言語処理学会，日本認知言語学会，日本語用論学会各会員．
}

\end{biography}


\biodate




\end{document}
