\documentclass[japanese,other]{jnlp_3.6}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{30}
\Number{1}
\Month{March}
\Year{2023}
%%%%\Issuetitle{「　　　　」特集号}

\received{2005}{1}{2}
\revised{2006}{3}{4}
\rerevised{2006}{5}{6}
\accepted{2006}{7}{8}

\setcounter{page}{250}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{解説：Factual Accuracy is not Enough: Planning Consistent Description Order for Radiology Report Generation}
\jauthor{西埜　　徹\affiref{Author_1}}
\etitle{Factual Accuracy is not Enough: Planning Consistent Description Order for Radiology Report Generation}
\eauthor{Toru Nishino\affiref{Author_1}} 

\headauthor{西埜}
\headtitle{Planning Consistent Description Order for Radiology Report Generation}

\affilabel{Author_1}{富士フイルム株式会社}{Fujifilm Corporation}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

本解説記事では，著者らが EMNLP2022 で発表した論文 ``Factual Accuracy is not Enough: Planning Consistent Description Order for Radiology Report Generation''について，研究の背景や経緯を踏まえつつ解説する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{論文の概要}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1 and 2
\begin{figure}[b]
\begin{minipage}[t]{213pt}
\includegraphics{30-1ia26f1.pdf}
\caption{単純X線検査と造影CT検査のレポートの比較．}
\label{fig1}
\end{minipage}
\hfill
\begin{minipage}[t]{190pt}
\begin{center}
\includegraphics{30-1ia26f2.pdf}
\end{center}
\caption{プランニング読影レポート生成の概要．}
\label{fig:planning}
\end{minipage}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

本研究は単純X線画像やCT画像などの医用画像を入力し，自動で画像の特徴を説明する文章を生成する「読影レポート自動生成」の研究である．
読影レポートとは，医師が検査画像中の異常所見を目視で確認し，異常部や正常部などの詳細を文章で表現したものである．
読影レポートは検査異常の情報を伝達する重要な手段であるが人手作成の負担が高く，読影レポート生成は近年広く研究されている \cite{jing2018automatic}．
しかし，先行研究の大半が単純X線検査を対象とした研究であり，CT や MRI など他の読影検査への適用可能性については手つかずであった．
また，ここ最近の読影レポート生成における共通課題は生成文書の内容適切性の改善である．医療分野において正しく検査画像中の所見を含んだレポートの生成は極めて重要であり，内容の一致度に基づく報酬を導入した強化学習 \cite{miura2021improving} や，読影知識を反映したグラフを活用した適切性改善 \cite{zhang2020radiology} などの研究が盛んに行われている．
しかし，読影レポート生成において適切性以外の課題に着目した研究はあまり行われていない．
CT など単純X線検査以外へ読影レポート生成技術を応用する際，適切性以外の別の課題が存在するのではないか，という問題意識が本研究の着想の背景である．

本論文では，レポート生成の対象を単純X線検査だけでなく肝臓の CT 検査へ拡大した上で，読影レポートの内容の適切性の改善に限らず記述順をも改善する手法を提案した．
肝臓がんの検査を含む多くの CT 検査では \textbf{造影 CT} 検査が実施されている．単純X線検査では撮影回数は1回きりである一方，造影 CT 検査では造影剤を飲んだ状態で複数回連続して撮影し，異常箇所の写り方の時系列順の変遷を確認する．この撮影タイミングを \textbf{時相} と呼ぶ．
図 \ref{fig1} に例示されるように，造影CTでは異常箇所の変遷をレポートに記載する．
故に，欧州放射線学会 \cite{esr_2021} が推奨する通り，ただ正しい情報を書くだけに限らず正しい記述順でのレポート文章の作成が重要となる．
読影レポート生成技術の応用範囲を単純X線検査から広げるには造影 CT などへの対応が必須と考え，適切性に加え記述順の改善を本研究の目的とした．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{提案手法概要}

一般に読影レポート生成の研究では画像から直接レポートを生成する \textbf{End-to-End 文章生成}のアプローチが取られている．
本研究では検査画像からまず``腫瘤:あり''や``濃染.増大''などの性状タグを抽出し，その後性状タグからレポートを生成する\textbf{Data-to-Text 文章生成}の手法を採用した．
加えて中間表現となる性状タグをレポートでの文章の記述順を表現した \textbf{プラン} として扱うプランニング文章生成 \cite{ma2019key} の手法を取った．
プランニング生成手法の概略を図 \ref{fig:planning} に示す．
プランは文章の記述内容と記述順を設計したものであり，プランを設計する文章計画器，設計されたプランに基づき文章を生成する文章生成器の2段階を踏まえ入力情報から文章を生成する．
先行研究では Data-to-Text 文章生成で問題とされてきた \textbf{Hallucination （幻覚）}，つまり誤った不適切な記述が生成されてしまう問題が緩和され，適切性が改善したと報告されている \cite{moryossef2019step}．
中間表現で適切な記述順・内容を表現したプランを作成することにより，生成文章における適切性・記述順の改善が見込まれる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 3
\begin{figure}[t]
\begin{center}
\includegraphics{30-1ia26f3.pdf}
\end{center}
\caption{提案手法 \textbf{Coordinated Planning-based text generation (CoPlan)} の概要．}
\label{fig:proposed}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

しかしプランニング文章生成には，前段のモデルのエラーが後段に伝搬する \textbf{エラー伝搬}の課題が報告されている \cite{shen2020neural}．
前段にあたる文章計画器で誤った推論がなされると，当然後段の文章生成器も誤った文章を生成するのである．
このエラー伝搬問題への対処として本研究では \textbf{Coordinated Planning-based text generation (CoPlan)} を提案した．
CoPlan の手法概要を図 \ref{fig:proposed} に示す．CoPlan は最終的に生成される文章の適切性ないしは記述順を評価し，より質の高い文が生成されるよう前段のモデルへとフィードバックする機構である．CoPlanは2つの並列する手法から構成される．

\noindent
\textbf{CoPlan in Reinforcement Learning (CoPlan (RL))} 
文章計画器の\textbf{学習時}において，最終的に生成されるレポートの品質を報酬として強化学習を行う手法である．
エラー伝搬問題の最大の要因は，文章計画器と文章生成器とで独立して学習が行われる点にある．そこで CoPlan (RL) では最終的に出力される文章の品質を文章評価器で定量化し，この定量化されたスコアを1段目の文章計画器を強化学習する報酬として活用する．
最終出力文章の品質を報酬として利用することで文章計画器の学習時に文章生成の品質を考慮できるため，エラー伝搬問題の影響を緩和できる．

\noindent
\textbf{CoPlan in Beam Search (CoPlan (BS))} 
文章計画器の\textbf{推論時}において，最終的に生成されるレポートの品質をスコアとしてプランの探索・選択を行う手法である．
CoPlan (BS) は最終的に出力される文章の品質を文章評価器で定量化し，この定量化されたスコアを1段目の文章計画器の推論時にビームサーチのスコアに加える手法である．
最終出力結果を基に推論時の1段目のエラーを推定し，エラーの少ないプランの選択により生成されるプランの質を改善できる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{評価実験}

本研究では日本語造影CTレポートおよび
\pagebreak
英語単純X線レポート \cite{johnson2019mimic} の2データセットにおいて，Data-to-Text 文章生成部分だけの性能評価および画像からレポートを生成するモデル全体の End-to-End の性能評価実験を実施した．
提案手法 CoPlan の実効性は Data-to-Text 文章生成部分だけを日本語レポートで評価するだけでも示すことができる．
だが，ほぼ全ての先行研究は英語単純X線レポートで実施されており，先行研究に対する優位性や提案手法の汎用性を示すには複数モダリティでの評価および既存手法との比較が必要と考え，このように 2つのデータセットでの End-to-End 評価実験を追加で実施した．
加えて本研究では読影レポート生成でよく用いられる評価指標である BLEU や BERTScore \cite{bertscore}, CheXpert \cite{irvin2019chexpert} ベースの適切性評価指標に加え，記述順評価指標である Content Ordering score (CO) \cite{wiseman2017challenges} を生成レポートの記述順に関する品質改善の検証に導入している．加えてより信頼できる実験結果の検証のために人手評価を実施した．

Data-to-Text 実験の結果では，CoPlan (BS) およびCoPlan (RL) それぞれの有効性を示している．加えて先行研究との比較である End-to-End 実験の結果では，BLEU4 では他手法に比べ劣るが適切性および記述順の改善が示されている．
実験設定および実験結果については原論文を参照していただきたい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{終わりに}

本稿では EMNLP2022 に採択された著者の論文について，着想の背景に重点をおいて解説した．本論文は自然言語処理分野で近年注目されている読影レポート自動生成の研究の実際の医療現場への適用を見据えた研究であり，記述順という実用化に向け課題となった新たな切り口を主眼においた論文である．今後は医療現場の声やデータから課題を掘り起こしつつ，さらなる実応用を目指していきたい．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本研究にあたり数多の助言を頂きました共著者，関係者の皆様に感謝申し上げます．
また日本語データセットの提供に協力くださった共同研究先病院の皆様，およびデータセットの整備に尽力されたアノテータの皆様にも改めて感謝申し上げます．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{26refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{西埜　　徹}{%
2018年　東京大学大学院博士前期課程 修了．同年，富士ゼロックス株式会社 入社．2022年4月より富士フイルム株式会社に移籍し，自然言語処理の研究者として研究開発に従事．
}
\end{biography}



\end{document}



