\documentclass[japanese]{jnlp_3.8}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{array}
\usepackage{hangcaption_jnlp}
\usepackage{multirow}
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%\usepackage{tabularx}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{31}
\Number{4}
\Month{December}
\Year{2024}
%%%%\Issuetitle{「　　　　」特集号}

\received{2024}{5}{1}
\revised{2024}{8}{1}
\accepted{2024}{9}{11}

\setcounter{page}{1717}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{応用システム論文}
\jtitle{日本語ニュース記事要約支援に向けたドメイン特化事前学習済みモデルの構築と活用}
\jauthor{石原祥太郎\affiref{Author_1} \and 村田　栄樹\affiref{Author_2} \and 中間　康文\affiref{Author_3} \and 高橋　寛武\affiref{Author_3}}
\jabstract{%
本稿では，日本語ニュース記事の要約支援を目的とする，ドメイン特化事前学習済みモデルを用いた編集支援システムについて報告する．具体的には実社会のシステム要件を整理し，既存技術を組み合わせて開発した編集支援システムを，有用性を評価するための検証項目と共に提示する．第一に，特有の文体を再現する目的で「日経電子版」のニュース記事を用いてT5の事前学習とファインチューニングを行い，学習コーパスのサイズが小さいにもかかわらず，見出しと3行要約の生成タスクで一般的なモデルを上回る性能を確認した．次に，発生し得る幻覚の特徴を明らかにするために，構築したドメイン特化T5の出力を定量的・定性的に分析した．最後に，クリック率を予測するドメイン特化BERTも含め，編集システム全体の有用性を議論した．
\renewcommand{\thefootnote}{}
\footnote[0]{本稿の一部は，筆者らの既発表文献\cite{石原2022,ishihara2022ctr}をもとに構成した．}
\renewcommand{\thefootnote}{\arabic{footnote}}
}
\jkeywords{ニュース要約，事前学習済みモデル，編集支援}

\etitle{Building and Leveraging Domain-specific Pre-trained Models to Support Japanese News Summarization}
\eauthor{Shotaro Ishihara\affiref{Author_1} \and Eiki Murata\affiref{Author_2} \and Yasufumi Nakama\affiref{Author_3} \and Hiromu Takahashi\affiref{Author_3}} 
\eabstract{%
This study presents an editing support system based on domain-specific pre-trained models to support the summarization of Japanese news articles. Specifically, we organized the real-world system requirements and presented an editing support system developed by combining existing technologies and the evaluation points to be investigated. First, we pre-trained and fine-tuned T5 models on Japanese financial news corpora to reproduce a specific writing style and observed that they outperformed general models in the headline and three-line summary generation tasks, despite the smaller size of the training corpus. Second, we quantitatively and qualitatively analyzed the hallucinations of the domain-specific T5 models to reveal the characteristics of the generated hallucinations. Finally, the usefulness of the overall system, including domain-specific BERT models for predicting click-through rates, was discussed.
}
\ekeywords{News Summarization, Pre-trained Models, Editing Support}

\headauthor{石原，村田，中間，高橋}
\headtitle{日本語ニュース記事要約支援に向けたドメイン特化事前学習済みモデルの構築と活用}

\affilabel{Author_1}{株式会社日本経済新聞社}{Nikkei Inc.}
\affilabel{Author_2}{早稲田大学}{Waseda University．株式会社日本経済新聞社のインターンとして関わった.}
\affilabel{Author_3}{独立研究者}{Independent researcher．株式会社日本経済新聞社の業務委託の枠組みで関わった．}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

BERT \cite{devlin-etal-2019-bert}に代表される\emph{事前学習済みモデル (Pre-trained Models)}の躍進は，自然言語処理領域に大規模なコーパスでの事前学習と下流タスクでのファインチューニングからなる新しい枠組みをもたらしている \cite{Zhou2023-en,Zhao2023-hy}.
BERTの後続として，異なるアーキテクチャ（GPT-2 \cite{Radford2019LanguageMA}やT5 \cite{JMLR:v21:20-074}）や事前学習手法の改善（{RoBERTa} \cite{Liu2019-vu}や{DeBERTa} \cite{he2021deberta}）などが次々と提案された．
{GPT-3} \cite{NEURIPS2020_1457c0d6}など，より大規模に事前学習された言語モデルは大規模言語モデル (Large  Language Models; LLMs) とも呼ばれ，パラメータ更新なしでも多種多様なタスクに対応できると報告されている．
ChatGPT\footnote{\url{https://openai.com/blog/chatgpt}}の登場を一つの契機に，社会的な認知や実応用の拡大も急速に進んでいる．

事前学習済みモデルの重要性にもかかわらず，産業応用で重要となる個別ドメインへの特化に関する議論は未成熟である．
既存の文献 \cite{araci2019finbert,kim-etal-2021-changes,Wu2023-mb,SUZUKI2023103194}では，ドメイン特化事前学習済みモデルの構築方法と，時に大規模な一般モデルを凌駕する固有タスクでの性能向上が報告されている．
しかしこれらの研究は，実際の産業応用の事例を十分に提示しておらず，ドメイン特化事前学習済みモデルに対する研究者・実務家の見積もりや期待を曖昧にしてしまう．

本稿ではドメイン特化事前学習済みモデルの産業応用として，日本語金融ニュース記事を要約する編集支援システムの開発事例を報告する．
ここでは日本語金融ニュース記事をドメインとして定義した．
日本語金融ニュース記事の要約の自動生成は，ニュースメディアにおける編集者の労働負荷の軽減に寄与する．
ニュースメディアには独自の表記規定が数多く存在するため，汎用的なモデルによる出力では不十分な場合がある．
ドメイン特化事前学習済みモデルを構築し利用することで，より用途に適したシステムを実現できる可能性があると考えた．

この編集支援システムは日本語の文章（記事の本文）を入力とし，20文字程度の\emph{見出し}と，3文からなる\textbf{3行まとめ}の2種類の要約を出力する．
要約を生成するのは日本語金融ニュース記事で事前学習されたT5で，2種類の要約それぞれに対してファインチューニングされている．
事前学習とファインチューニングには，日本語金融ニュース記事が掲載されている「日経電子版」\footnote{\url{https://www.nikkei.com/}}のデータセットを用いた．
表\ref{tab:example}に示す通り，このデータセットの一部の記事には本文・見出し・3行まとめが含まれている\footnote{\ref{tab:example}に示す例は\url{https://www.nikkei.com/article/DGXMZO55567600T10C20A2TL1000/}から引用した．}．
編集支援システムでは，入力に忠実ではない出力が生成される\emph{幻覚}\cite{10.1145/3571730}への対応として，編集者による選択や後処理を想定している \cite{Ishihara2021-tw}．
複数候補の生成も可能で，それぞれの生成結果のクリック率を予測する機能を備えている．
クリック率予測のためには，日経電子版のデータセットで事前学習・ファインチューニングされたBERTを構築した \cite{ishihara2022ctr}．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[b]
\input{21table01.tex}%
\caption{日本語金融ニュース記事の例．本文から，見出しと3行まとめの2種類の要約を生成する．}
\label{tab:example}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[b]
\input{21table02.tex}%
\caption{本研究におけるシステム要件，実装と有用性を評価するための検証項目，検証方法の対応表．}
\label{tab:implementation}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

本稿の主要な貢献の一つは，日本語金融ニュース記事の要約に焦点を当て，ドメイン特化事前学習済みモデルが優れた価値を発揮する具体的な事例を提示することである．
最初に，実際の編集現場の要請に基づくシステム要件を整理した上で，既存技術を組み合わせて開発した編集支援システムの全体像と4つの検証項目を示す（\ref{sec: implementation}節）.
続く4～6節では，表\ref{tab:implementation}に示す通り，システム要件に紐づく検証項目を調査する．
第1に，日本語金融ニュース記事で事前学習・ファインチューニングされたT5が，事前学習コーパスのサイズが小さいにもかかわらず，2種類の要約で一般的な日本語T5より優れた性能を発揮すると報告する（\ref{sec: experiments}節）.
第2に，3行まとめ生成にファインチューニングしたT5の出力を定性・定量的に分析し，発生する幻覚の特徴を明らかにする（\ref{sec: discussion}節）.
第3に，開発した編集支援システム全体の有用性の一端を示すため，クリック率予測の定量評価と，後編集を含む機能への定性評価について述べる（\ref{sec: overall}節）．
なおクリック率予測に向けたBERTの開発については\cite{石原2022,ishihara2022ctr}の内容を含んでいる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}
\label{sec: related}

本節では関連研究を概観し，本研究の立ち位置を明確化する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{編集支援システム}

ニュース要約は伝統的に広く研究されており \cite{Allahyari2017-tu,El-Kassas2021-js}，編集支援に貢献する可能性を秘めている．
例えば\citeA{Wu2020-ey}は，編集者特有の文体で見出しを生成するモデルの学習方法を提案した．
\cite{akash-etal-2023-shironaam}は，ベンガル語の見出し生成において，画像・トピック・カテゴリなどの補助情報が役立つと報告した．
\citeA{10.1145/3543507.3583375}は，生成された見出しの幻覚を検出する枠組みを提示した．

しかし，編集支援システムという文脈での議論は限定的である．
\citeA{murao-etal-2019-case}は，ニューラルネットワークによるニュース要約を編集支援の枠組みで報告した初めての事例である．
彼らは，日本語のニュース記事プラットフォーム「Yahoo! JAPAN」\footnote{\url{https://www.yahoo.co.jp/}} のデータセットを用いてencoder-decoderモデル \cite{Bahdanau2014-sp}を学習した．
我々の研究は，ニューラルネットワークの中でも事前学習済みモデルの枠組みを導入したものである．
\citeA{Shi2022-dc}はドメイン特化事前学習済みモデルを開発し編集支援システムに組み込んだ事例だが，ニュース要約は扱っていない．
日本経済新聞社による要約技術の産業応用に，上場企業が発表する決算データから業績発表記事を自動生成する「決算サマリー」\footnote{\url{https://www.nikkei.com/promotion/collaboration/qreports-ai/}}があるが，ニューラルネットワークを用いない抽出型要約を採用している\cite{isonuma-etal-2017-extractive}ため，生成の流暢性に課題が残る．
具体的には，入力の決算短信に含まれる各文に付与した重要度が高い文を出力に用いる仕組みとなっており，日本語金融ニュース記事特有の文体とは異なる可能性がある．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{ドメイン特化事前学習済みモデル}

事前学習済みモデルの高い汎用性が認知される中，ドメイン特化事前学習済みモデルの開発も進んでいる．
例えば，金融 \cite{araci2019finbert,Wu2023-mb,SUZUKI2023103194}・医療 \cite{shin-etal-2020-biomegatron,10.1093/bioinformatics/btz682,10.1093/bib/bbac409}・学術 \cite{Taylor2022-ep}・法律 \cite{chalkidis-etal-2020-legal,10.1145/3462757.3466088}・非英語 \cite{Zeng2021-il,kim-etal-2021-changes,Su2022-nd,ishihara-etal-2022-semantic}を題材にした文献が報告されている．
特に我々の研究と関連度の高い例として，FinBERT \cite{araci2019finbert}は少ない事前事前学習コーパスでも，2つの金融センチメント分析タスクで優れた結果を示した．
500億パラメータのBloombergGPT \cite{Wu2023-mb}は，一般的なタスクで性能を低下させることなく，金融固有のタスクで良好な結果を得た．
\citeA{SUZUKI2023103194}は様々な設定で金融関連文書を用いたドメイン特化事前学習済みモデルを構築・評価した．
金融関連文書には，日本語の決算短信や有価証券報告書に加えて，金融ニュース記事が含まれている．

しかし，既存のドメイン特化事前学習済みモデルに関する研究報告には，具体的な産業応用の事例はほとんど含まれていない．
本研究では，日本語金融ニュース記事に特化した事前学習済みモデルを開発するだけでなく，具体的な要件を持つ編集支援システムに組み込み，定量的な分析結果や知見を報告する．
ドメインが異なる類似の研究として，韓国語の事前学習済みモデルを開発した\citeA{kim-etal-2021-changes}や，医療ノート作成支援システムを構築した\citeA{knoll-etal-2022-user}があり，両者とも具体的な洞察を提供している．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{編集支援システムの開発}
\label{sec: implementation}

本節ではドメイン特化事前学習済みモデルを用いた編集支援システムについて述べる．
具体的には，最初にシステム要件を説明した後，2種類の要約を生成するT5とクリック率を予測するBERTの構築方法，そしてこれらを組み込んだシステム全体の実装を報告する．
最後に表\ref{tab:implementation}に示す通り，システムの要件と実装を踏まえ，有用性を評価するための検証項目と検証方法を提示する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{システム要件}
\label{subsec: Problem}

本研究のタスクは，日本語金融ニュース記事の要約である．
日本経済新聞社のような伝統的なニュースメディアでは，本文を書く記者と，内容に応じて見出しや3行まとめを作成する編集者との役割分担が存在する．
ニュースの要約には，読解力・背景の理解・独特の文体への対応など高度な能力が求められる．
日本経済新聞社には約1,500人のジャーナリスト（記者と編集者）が在籍し，日経電子版に1日1,000本の記事を配信している．
編集支援システムが貢献できる余地は大きい．

本研究は，要約候補の自動生成による編集支援を目的としている．
この編集支援システムには，いくつかの重要な要件が挙げられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{特有の文体の再現}

編集作業の負荷は，生成された要約を修正せずに使用できるかに依存する．
要約には，抽出的要約と抽象的要約の2つの方式がある．
前者は日本語でも伝統的に研究されてきたが，不自然な生成になると指摘されている \cite{hirao-etal-2009-syntax,harashima-kurohashi-2012-flexible,hasegawa-etal-2017-japanese}．
本研究ではより流暢な生成を期待し，ニューラルネットワークによる抽象的要約を採用し，さらにドメイン特化事前学習済みモデルを用いた文体の獲得を試みた．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{性能と運用コスト}

現実世界の産業応用では，性能と運用コストの両面が重要視される．
アーキテクチャや学習に用いるコーパスのサイズは，ストレージや推論などの運用コストに影響する．
そのため，より小規模の事前学習コーパスで優れた性能が得られることは実用上の価値を持つ．
ドメイン特化事前学習済みモデルは特定のドメインに絞るため，一般的なモデルに比べて事前学習コーパスが小規模になる．
\citeA{ishihara-etal-2022-semantic}は，時系列での事前学習コーパス内の単語の意味変化と，構築した{RoBERTa}の性能変化に相関があると分析した．
事前学習コーパスの分析から事前学習済みモデルの時系列性能変化を監視する目的でも，事前学習コーパスが小規模であることは利点となる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{忠実性}

ニュースは入力に忠実な要約が要求される領域で，幻覚の問題は注意深く監視する必要がある．
編集支援システムで用いるドメイン特化事前学習済みモデルでどの程度の幻覚が発生するか，発生する幻覚にどのような特徴があるかを把握することは，重要な論点となる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{システム全体の有用性}

編集支援システム全体の有用性の検証も必要である．
自動生成された要約は幻覚を含む可能性があるため，編集者が出力を確認する過程を想定するのが望ましい．
編集者はたとえ幻覚が存在しなくとも，常に生成された要約を受け入れるわけではない．
例えばニュースがより多くの読者に届くよう，見出しを魅力的にするための後編集の需要もある．
本研究では見出しの魅力度を測る一つの機能として，クリック率予測のためのBERTを組み込んだ．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{T5の事前学習・ファインチューニング}
\label{subsec:t5}

2種類の要約を生成するT5を独自に事前学習・ファインチューニングした．
システム要件のうち，特有の文体の再現と低い運用コストの実現を見込んでいる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{事前学習}

日経電子版のデータセットから，創刊日の2010年3月23日から2021年12月31日までに公開された記事の本文を事前学習に利用した．
記事の性質や権利の問題で一部は対象外とし，コーパスのサイズはCSV形式で3.37~GBだった．
事前学習のライブラリにはHugging FaceのTransformers \cite{wolf-etal-2020-transformers}を利用し\footnote{TransformersとTensorFlowのバージョンはそれぞれ4.11と2.5である}，ドキュメント\footnote{\url{https://github.com/huggingface/transformers/tree/v4.11.0/examples/flax/language-modeling}}に従ってハイパーパラメータを設定した．
具体的にはエポック数を20，学習率を0.005，バッチサイズを64，重み減衰 \cite{loshchilov2018decoupled}を0,01とし，最適化アルゴリズムにはAdafactor \cite{Shazeer2018-tu}を用いた．
トークナイザは，ユニグラム言語モデル \cite{kudo-2018-subword}を採用した．
このトークナイザはコーパスから直接語彙を生成できるため，日本語や中国語のように単語間に明示的な空白を持たない言語で特に有用である．
語彙サイズは32,000とした．
計算資源には8つのA100 GPUsを備えるAmazon EC2 P4 インスタンスを用いた．
このT5は\texttt{t5-base-japanese-nikkei}と命名した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{見出し生成へのファインチューニング}

日経電子版のデータセットから，2021年に発行された記事の本文・見出しの対を抽出した．
日本語のニュース要約に関する先行研究 \cite{yamada-etal-2021-transformer}を参考に，本文と見出しの名詞が1つ以上一致する記事のみを採用した．
加えて，箇条書きやインタビュー形式の記事など，要約に不適切な記事を除外するなどの絞り込みを実施した．
期間は事前学習に用いたデータセットと一部重なるが，事前学習では正解となる見出しは用いていない．
データセットは，訓練（1～10月）・検証（11月）・評価（12月）のそれぞれの用途に分割した．
サイズはそれぞれ，118,807・11,439・11,599だった．
ファインチューニングでは，Transformersライブラリで用意されているスクリプト\footnote{\url{https://github.com/huggingface/transformers/tree/v4.11.0/examples/pytorch/summarization}}を学習率0.00005の設定で利用した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{3行まとめ生成へのファインチューニング}

日経電子版のデータセットから，記事の本文・3行まとめの対を抽出した．
データセットは，訓練（～2022年7月）・検証（2022年8月～12月）・評価（2023年1～9月）で分割し，サイズはそれぞれ1,319・446・685だった．
日経電子版のデータセットには十分な量の3行まとめが含まれていなかったため，ドメイン外の一般的な日本語ニュース要約コーパスとして「livedoorニュース」から構築したデータセット\footnote{\url{https://github.com/KodairaTomonori/ThreeLineSummaryDataset}}も用意した．
2014～2016年の間に公開された約10万の本文・3行まとめの対が含まれている．
訓練・検証・評価セットのサイズはそれぞれ101,448・667・685だった．
ファインチューニングの設定は見出し生成と同様とした．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{BERTの事前学習・ファインチューニング}
\label{subsec:bert}

先行研究\cite{ishihara2022ctr}に従い，クリック率を予測するBERTを事前学習・ファインチューニングした．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{事前学習}

日経電子版のデータセットから，
\pagebreak
2013年9月21日～2019年9月20日に公開された記事の本文を事前学習に利用した．
T5と同様に，記事の性質や権利の問題で一部は対象外とした．
学習率は0.00005，バッチサイズは32で，トークナイザには語彙サイズ32,000のByte-Pair Encoding \cite{sennrich-etal-2016-neural}を採用した．
このBERTは\texttt{bert-base-japanese-nikkei}と命名した．

\texttt{bert-base-japanese-nikkei}の有用性は，日経電子版とlivedoorニュースの記事を対象にしたカテゴリ分類の性能で確認した．
日経電子版のデータセットでは，2010年3月23日～2021年12月31日に公開された記事を対象にカテゴリを予測した．
データセットは次の2通りに分割し，それぞれ正答率を計測した．
livedoorニュースのデータセットでは，層化分割の正答率を測った．
\begin{description}
    \setlength{\parskip}{0cm} % 段落間
    \setlength{\itemsep}{0cm} % 項目間
    \item [層化分割] カテゴリの比率が同様になるように訓練・開発・評価セットを6:2:2で分割
    \item [時系列分割] 訓練・開発・評価セットを2017年以前・2018～2019年・2020年以降で分割
\end{description}

一般的な日本語ウェブコーパスで事前学習された2つのBERT\footnote{\url{tohoku-nlp/bert-base-japanese-v2}}$^{,}$\footnote{\url{nlp-waseda/roberta-base-japanese}}と比較した結果，日経電子版のデータセットに対しては\texttt{bert-base-japanese-nikkei}でファインチューニングしたモデルが最良の結果を示した（表\ref{tab:category-classification}）．
livedoorニュースのデータセットでも，優れた結果となった．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 3
\begin{table}[t]
\input{21table03.tex}%
\hangcaption{日経電子版のデータセットを用いたカテゴリ分類の正答率の比較．太字は最良の値を示す．一般的な日本語モデルと比べて，\texttt{bert-base-japanese-nikkei}と\texttt{t5-base-japanese-nikkei}が優れた結果を示した．}
\label{tab:category-classification}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{クリック率予測へのファインチューニング}

クリック率のデータは日経電子版のアクセスログから取得できるが，個々の記事のクリック率は一般的に記事の表示位置の影響を大きく受けている\cite{10.1145/1076034.1076063}ため，訓練セットの構築には工夫が必要である．
単純にクリック率のデータをそのまま用いると，見出しやサムネイル画像など記事本体の情報よりも，表示位置を重視する予測モデルが作成される懸念がある．
この位置バイアスの影響を含むデータからクリック率を予測するモデルを構築する方法として，ランク学習の枠組みが研究されている\cite{10.1145/3018661.3018699,10.1145/3159652.3159732}．

\citeA{ishihara2022ctr}では，ランク学習の中でも2つ組のデータで損失を計算するペアワイズ学習の枠組みを用いて，\texttt{bert-base-japanese-nikkei}をファインチューニングした．
日経電子版のデータセットのうち，2020年9月1日～2021年8月31日に公開された記事から抜粋した19,842記事を訓練セット構築に利用した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[b]
\begin{center}
\includegraphics{31-4ia21f1.pdf}
\end{center}
\hangcaption{位置バイアスを考慮したペアワイズの訓練セットの構築方法．クラスタリングで記事の本文の埋め込み表現からクラスタ番号を付与し，表示位置とクラスタ番号で記事の集合の候補を作成する．最後に，それぞれの集合内で重複を許容して2組を抽出する．}
\label{fig:ctr}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

具体的な訓練セットの構築方法を図\ref{fig:ctr}に示す．
最初にデータの類似性を測るため各記事をベクトル化し，クラスタリングでそれぞれの記事にクラスタ番号を付与する．
各記事はそれぞれの見出しを文書とみなした上でTF-IDF \cite{Ramos03}でベクトル化し，クラスタリングにはk-means++ \cite{10.5555/1283383.1283494}を用いた．
次に表示位置とクラスタ番号を用いて，2つ組として取り出すための記事の集合の候補を絞り込む．
表示位置とクラスタ番号を軸に全ての記事を集合に分割し，記事数が2個以上かつ最大集合サイズ未満の集合のみを候補とする．
ここでハイパーパラメータとして最大集合サイズを設定しているのは，記事数が過度に多い集合が存在すると学習用データセット全体の多様性が損なわれると考えたためである．
最後に，それぞれの集合内で重複を許容して2つ組を抽出し，訓練セットとして利用した．

2つ組の正答率の大小を当てる問題に取り組むため，モデル構築時の損失関数として，次の式で表されるマージン損失(Margin Ranking Loss)\footnote{\url{https://pytorch.org/docs/1.6.0/generated/torch.nn.MarginRankingLoss.html}}を利用する．
$$L(x, y)= \max(0, − y(x_1−x_2) + \rm{margin})$$
ここで$x$は二つの入力 ($x_1, x_2$) であり，$y$は$x_1 > x_2$の場合に1，$x_1 < x_2$の場合に$-1$を取る．
マージン損失では，入力の片方がもう片方よりも少なくともあるmarginの分だけ大きくなるようにモデルを学習する．
marginはハイパーパラメータである．

ファインチューニングされたBERTは，単体の文章に対してクリック率を予測する．
この予測の相対値を用いることで，よりクリックされやすい文章を選ぶための判断材料となると期待される．
表\ref{tab:attention}のように，参考情報としてBERTの注意機構の重みを可視化する仕組みも用意した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 4
\begin{table}[t]
\input{21table04.tex}%
\hangcaption{BERTの注意機構の重みが大きい箇所を太字で示した結果．ペアワイズの予測クリック率と共に示すことで，編集者の後編集を補助する狙いがある．}
\label{tab:attention}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{システムの全体像}
\label{subsec:system}

2種類の要約を生成するT5とクリック率を予測するBERTを組み込み，図\ref{fig:demo}に示す編集支援システムを実装した．
文章を入力し，生成時のハイパーパラメータ\footnote{\url{https://huggingface.co/docs/transformers/v4.42.0/en/main_classes/text_generation}}や，含める・含めない単語\footnote{\url{https://huggingface.co/blog/constrained-beam-search}}を設定できる．
編集者は複数の候補を予測クリック率と共に確認でき，必要に応じて修正して最終的な成果物を決定する．
編集支援システムのインタフェース開発には，Streamlit\footnote{\url{https://streamlit.io/}}を用いた．
編集支援システムはAmazon Web Services (AWS)上にデプロイし，日本経済新聞社のメールアドレスでログインできる認証・認可の仕組みを導入し2022年6月に公開した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[t]
\begin{center}
\includegraphics{31-4ia21f2.pdf}
\end{center}
\hangcaption{開発された見出し生成のための編集支援システムのスクリーンショット．モード (Mode) を切り替えることで3行まとめを生成できる．利用者は生成時に左サイドバーのハイパーパラメータを調整できる．入力は要約対象の文章（必須）と，生成に含める単語と除外する単語（任意）である．補助機能として，クリック率を予測するBERTが組み込まれている．編集支援システムは常に更新されており，本稿で言及された全ての機能を常に備えているわけではない．}
\label{fig:demo}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{検証項目と検証方法}

本稿では表\ref{tab:implementation}の通り，システム要件に紐づく形で，次の4つの検証項目を調査する．
ドメイン特化T5による要約生成とドメイン特化BERTによるクリック率予測は，それぞれ独立に性能を検証する．
理想的にはシステム全体の評価として両者を利用した検証も重要と考えられるが，編集者を介す操作になるため定量評価に十分なデータを収集するのが難しく，今後の展望となる．
ニュース記事要約で編集者の後処理に関する先行研究\cite{Ishihara2021-tw}では，要約候補を単純に選択するだけでなく，候補の加筆修正や複数候補の組み合わせが想定されている．
これらの多様な編集者の操作を考慮する場合，クリック率予測を要約生成の評価に組み込む方法は自明ではない．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{特有の文体の再現：ドメイン特化事前学習済みモデルによる要約生成で特有の文体が再現されるか？}

本研究では特有の文体の再現を目的に，ドメイン特化事前学習済みモデルを構築した．
ドメイン特化事前学習済みモデルが一般的なモデルと比べて特有の文体を再現するか確認するため，出力と編集者による要約との文字列の一致率を計測・比較する（\ref{sec: experiments}節）．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{性能と運用コスト：ドメイン特化事前学習済みモデルによる要約生成は性能と運用コストのバランスが良いか？}

本研究ではドメイン特化事前学習済みモデルを用いることで，小規模の事前学習コーパスで高い性能が得られると期待した．
上述の文字列の一致率の計測に際し，事前学習コーパスのサイズによる運用コストも確認する（\ref{sec: experiments}節）．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{忠実性：ドメイン特化事前学習済みモデルによる要約生成で発生する幻覚はどの程度か，特徴はあるか？}

編集支援システムで用いるドメイン特化事前学習済みモデルで発生する幻覚の特徴を把握しておく必要がある．
本研究ではドメイン特化事前学習済みモデルによる生成結果を人手でアノテーションし，幻覚の特徴を定性・定量的に分析する（\ref{sec: discussion}節）．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{システム全体の有用性：クリック率予測や後編集などの機能を含め，システム全体は有用性があるか？}

編集支援システム全体の有用性の検証も重要である．
本研究では，システムの一機能であるクリック率予測の性能を実データを用いて定量評価し，さらにシステム展開後の反響・動向から後編集を含む機能への定性評価を実施する（\ref{sec: overall}節）．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{検証1：見出し・3行まとめの要約生成}
\label{sec: experiments}

本節では2種類の要約生成という固有タスクで，ドメイン特化事前学習済みモデルが優れた性能を発揮することを示す．
比較対象の事前学習済みモデルには，一般的な日本語の事前学習済みT5（\texttt{sonoisa/t5-base-japanese}\footnote{\url{https://huggingface.co/sonoisa/t5-base-japanese}}および\texttt{megagonlabs/t5-base-japanese-web}\footnote{\url{https://huggingface.co/megagonlabs/t5-base-japanese-web}}）を選んだ．
どちらも，一般的な日本語ウェブコーパスで事前学習されている．
さらに，事前学習済みモデルを活用した外部APIとしてAzure OpenAI Service モデルの \texttt{gpt-3.5-turbo}（\texttt{2023-07-01-preview}版）も利用した．
外部APIではファインチューニングは実施せず，推論のみに用いた．
外部APIに与えるプロンプトはJP Language Model Evaluation Harnessを参考\footnote{\url{https://github.com/Stability-AI/lm-evaluation-harness/blob/effdbeaf742e74ea1787871e99272c12146ba346/lm_eval/tasks/ja/xlsum_ja.py}}に「与えられたニュース記事を要約してください。」とした．
要約例を与えない設定（ゼロショット）と，3例与える設定（3ショット）および6例与える設定（6ショット）の計3通りの性能を報告する\footnote{なお日経電子版を対象に大規模言語モデルの性能を評価した研究\cite{白井2024}では，例の数を変えた場合にも大きな性能の違いは確認されなかった．}．
主要な評価指標は，文字列の一致度で計算されるROUGE \cite{lin-2004-rouge}を用いた．
比較条件を揃えるため，計算時には全ての文を文字単位に分割した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{見出し生成}

\texttt{t5-base-japanese-nikkei}を見出し生成にファインチューニングして構築したモデルは，より大きなコーパスで事前学習された一般的なT5よりも優れた結果を示した（表\ref{tab:headline}）．
さらに，文章生成で人手評価と高い相関を持つ指標であるMAUVE \cite{pillutla2021mauve}でも，T5の中で最良の結果となった．
\texttt{gpt-3.5-turbo}と比べても，高い性能が確認された．
ただし\texttt{gpt-3.5-turbo}の実験では，推論時間の都合で評価セット11,599記事から1,000記事を抜粋した．
プロンプトを「与えられたニュース記事の見出しを付けてください。」や「与えられたニュース記事を1文で20文字以下に要約してください。」に変更した場合も，性能の大きな変化はなかった．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 5
\begin{table}[b]
\input{21table05.tex}%
\hangcaption{日経電子版のデータセットを用いた見出し生成の性能．太字は最良の値を示す．事前学習コーパスのサイズが小さいもかかわらず，\texttt{t5-base-japanese-nikkei}からファインチューニングしたモデルは全てのROUGE指標で最良だった．\texttt{gpt-3.5-turbo}と比べても優れた値となっている．}
\label{tab:headline}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 6
\begin{table}[b]
\input{21table06.tex}%
\hangcaption{日本経済新聞記事オープンコーパスを用いた見出し生成の性能．太字は最良の値を示す．\texttt{t5-base-japanese-nikkei}からファインチューニングしたモデルが全てのROUGE指標で最良だった．}
\label{tab:headline-open}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

「日本経済新聞記事オープンコーパス」\cite{浅原2023}を用いた場合も，\texttt{t5-base-japanese-\linebreak nikkei}からファインチューニングしたモデルが全てのROUGE指標で\texttt{gpt-3.5-turbo}を上回った（表\ref{tab:headline-open}）．
日本経済新聞記事オープンコーパスは，「日本経済新聞」の朝夕刊に2013年1～2月に掲載された96記事で構成され，見出しと本文の情報を含む．
データセット冒頭の6件を要約例に用いる訓練セットとして除外し，残りの90件を評価セットとした．
実験設定は表\ref{tab:headline}と同様，要約例を与えないゼロショットと，データセット冒頭3件を与える3ショット，6件を与える6ショットの計3種類を試した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 7
\begin{table}[b]
\input{21table07.tex}%
\hangcaption{日経電子版とlivedoorニュースのデータセットを用いた3行まとめ生成の性能．太字は最良の値を示す．学習と評価の両者に日経電子版由来の3行まとめを用いた場合，事前学習コーパスのサイズが小さいもかかわらず，\texttt{t5-base-japanese-nikkei}から日経電子版のデータセットでファインチューニングしたモデルが全てのROUGE指標で最良であった．エポック数は検証セットに対する損失を観測しながら決定し，学習セットが日経電子版由来の場合は15，liverdoorニュース由来の場合は2となった．}
\label{tab:three-line}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{3行まとめ生成}

\texttt{t5-base-japanese-nikkei}を3行まとめ生成にファインチューニングして構築したモデルを，他のモデルと比較した結果を表\ref{tab:three-line}に示す．
{T5での比較では，詳細な分析のため2種類の訓練データを用意した．}
第1に，日経電子版由来の3行まとめを用いてファインチューニングと評価の両者を実施した．
第2に，よりサイズの大きいlivedoorニュース由来の3行まとめでファインチューニングし，日経電子版由来の3行まとめで評価した．
{livedoorニュースは，本研究でドメイン外に当たる一般的な日本語ニュース記事で構成される．}

第1の設定では，\texttt{t5-base-japanese-nikkei}からファインチューニングしたモデルが全てのROUGE指標で最良であった．
事前学習とファインチューニングの両者で，最終的な評価と同一のドメインのデータセットを用いたためだと推察できる．
一方で第2の設定では，\texttt{t5-base-japanese-nikkei}からファインチューニングしたモデルは，その他の2モデルに劣る性能を示した．
要因として，評価とドメインが異なるlivedoorニュース由来の3行まとめでT5をファインチューニングしていることが挙げられる．
第2の設定では全てのモデルで，第1の設定と比べてROUGE指標の値が悪かった．
3行まとめのデータセットのサイズは，livedoorニュース由来で101,448，日経電子版由来で1,319である．
たとえ少量でも，ドメインが一致したデータセットを用いてファインチューニングする重要性が確認された．

{\texttt{gpt-3.5-turbo}と比べても，\texttt{t5-base-japanese-nikkei}から日経電子版のデータセットでファインチューニングしたモデルの性能が上回った．
\texttt{gpt-3.5-turbo}（3ショット）の結果は，livedoorニュースのデータセットでファインチューニングしたモデルよりも高い結果だった．
プロンプトを「与えられたニュース記事を3文で要約してください。」に変更した場合も，性能の大きな変化はなかった．
}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{検証2：幻覚の分析}
\label{sec: discussion}

本節では，\texttt{t5-base-japanese-nikkei}をファインチューニングして構築したモデルにおける幻覚について分析した結果を報告する．
幻覚が生じやすい長い文章を生成する3行まとめ生成を対象とし，ファインチューニングには十分な量があるlivedoorニュース由来の3行まとめを用いた．
表\ref{tab:three-line}で示した通り，ファインチューニングにlivedoorニュース，評価に日経電子版を用いた設定ではROUGE指標の値が悪化している．
すなわち，より幻覚が発生しやすい設定で出力を分析した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{幻覚の傾向}

具体的には，日経電子版のデータセットから2023年4月10日の「日本経済新聞」の朝刊に掲載された97本の記事を抽出し，各記事に対して3つの異なる要約を生成し分析した．
幻覚の種類を区別するため，次に示す\citeA{cao-etal-2022-hallucinated}の4分類を採用した．
\begin{description}
  \setlength{\parskip}{0cm}
  % \setlength{\itemsep}{0cm}
  \item [non-hallucination] 入力に対して矛盾がない生成．
  \item [intrinsic hallucination] 入力に対して矛盾がある生成．
  \item [extrinsic non-factual hallucination] 入力のみでは矛盾か否か判断できない情報があり，その情報が事実ではない生成．
  \item [extrinsic factual hallucination] 入力のみでは矛盾か否か判断できない情報があり，その情報が事実である生成．
\end{description}

図\ref{fig:hallucination}に示す通り，297件中116件で何らかの幻覚が確認された．
表\ref{tab:hallucination}に，intrinsic hallucination（上）とextrinsic non-factual hallucination（下）の幻覚を含む要約例を示す．
上の例では入力に対して忠実ではない主語「グーグル日本法人」が，下の例では入力にない情報として事実とは異なる黒田東彦氏の名前が生成された．
黒田東彦氏の名前が生成されたのは，事前学習に用いたコーパスの大半の期間で日本銀行の総裁を務めていたためだと考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 3
\begin{figure}[p]
\begin{center}
\includegraphics{31-4ia21f3.pdf}
\end{center}
\hangcaption{97の記事からそれぞれ生成された3つの要約に対する幻覚の分析．297件中116件に何らかの幻覚が確認された．一つの記事の複数箇所で幻覚が発生している場合もある．}
\label{fig:hallucination}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 8
\begin{table}[p]
\vspace{-0.5\Cvs}
\input{21table08.tex}%
\hangcaption{intrinsic hallucination（上）とextrinsic non-factual hallucination（下）の幻覚を含む要約の例．上の例では，入力に対して忠実ではない主語「グーグル日本法人」が生成された．下の例では入力にない情報として，事前学習に用いたコーパスの大半の期間で日本銀行の総裁を務めていた黒田東彦氏の名前が生成されたが，これは事実とは異なる．}
\label{tab:hallucination}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 4
\begin{figure}[p]
\vspace{-0.5\Cvs}
\begin{center}
\includegraphics{31-4ia21f4.pdf}
\end{center}
\hangcaption{幻覚の有無 (1，0) ごとの箱ひげ図．幻覚を含む場合，含まない場合と比較して，生成時の平均情報量が有意に大きかった．}
\label{fig:hallucination_boxplot}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

幻覚を含む場合，含まない場合と比較して，生成時の平均情報量（エントロピー）が有意に大きいことも分かった（図\ref{fig:hallucination_boxplot}）．
平均情報量の平均値は，幻覚を含む116件で1.36，含まない181件で0.999だった．
等分散性を仮定したスチューデントのt検定を実施したところ，p値は$1.93E-6$，自由度は289でt値は4.85だった．
ここで入力$\mathcal{X}$に対して出力トークン列$\hat{\mathcal{Y}}=\langle w_1,...,w_i,...,w_m \rangle$が得られる際の平均情報量$H$を，次の式で定義した．
\begin{align*}
    H(\hat{\mathcal{Y}}|\mathcal{X}) &= \mathbb{E}[-\log \text{Pr}(\hat{\mathcal{Y}}|\mathcal{X})] \\
    &= \mathbb{E}\left[-\sum_{w_i \in \hat{\mathcal{Y}}} \log \text{Pr}(w_i|\mathcal{X},w_{<i})\right], \nonumber
\end{align*}
同様の現象は先行研究\cite{xiao-wang-2021-hallucination,Kadavath2022-sf,li-etal-2023-web}でも報告されており，次に生成するべき情報が曖昧な際に幻覚が起きやすいことを示唆している．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{カテゴリ別のファインチューニング・評価}

幻覚が起きる条件をより詳細に分析するため，図\ref{fig:hallucination2}のようにファインチューニングと評価のためのデータセットをカテゴリ別に分割した．
最初に，\ref{subsec:t5}節と同様にlivedoorニュースのデータセットから本文・3行まとめの対を取得し，カテゴリが経済・スポーツ・ITに該当する対をそれぞれ4,283個ずつ取り出した．
次に日経電子版のデータセットで事前学習された\texttt{t5-base-japanese-nikkei}をファインチューニングして，3種類のモデルを得た．
最後に，日経電子版のデータセットからカテゴリが経済・スポーツ・ITに該当する記事を50本ずつ用いて，それぞれのモデルの出力における幻覚を分類した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 5
\begin{figure}[b]
\begin{center}
\includegraphics{31-4ia21f5.pdf}
\end{center}
\hangcaption{カテゴリ別のデータセットを用いた幻覚の分析．3種類のモデルを3行まとめ生成のためにファインチューニングし，3種類の日経電子版のデータセットで評価した．}
\label{fig:hallucination2}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

全体的な傾向として，学習と評価のカテゴリが一致している場合に，幻覚が少なかった（表\ref{tab:hallucination_cat}）．
non-hallucinationの割合は，カテゴリ一致で0.700に対しカテゴリ不一致で0.611と減少している．
intrinsic-hallucinationの割合は，カテゴリ一致で0.220に対しカテゴリ不一致で0.259と増加した．
これはカテゴリが一致している方が，語彙やパターンへの慣れが多く，次に生成するべき情報が曖昧になりづらいためだと考えられる．
ただしスポーツのカテゴリの記事を用いたモデルでは，全体的な傾向とは異なる結果が得られた．
この要因として，日経電子版のデータセットという経済中心の記事で事前学習をしている点が挙げられる．
事前学習の時点からカテゴリ分けしたデータセットを用いることで，より詳細に傾向を分析できる可能性がある．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 9
\begin{table}[b]
\input{21table09.tex}%
\hangcaption{カテゴリ別にファインチューニング（学習）・評価したモデルにおける幻覚の分類割合．ファインチューニングと評価のカテゴリが一致している場合，不一致の場合に比べて幻覚を含まない (non-hallucination) 割合が多かった．}
\label{tab:hallucination_cat}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 10
\begin{table}[b]
\input{21table10.tex}%
\hangcaption{カテゴリ別にファインチューニングしたモデルにおけるextrinsic non-factual hallucinationを含む要約例．スポーツの記事でファインチューニングしたモデルでは，ハンドボールの話題にもかかわらず，サッカーのリーグ名称である「Jリーグ」という単語が生成された．}
\label{tab:hallucination2}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

一方でカテゴリが一致する記事では，ファインチューニングの影響で，入力のみでは矛盾か否か判断できない情報（extrinsic non-factual hallucinationまたはextrinsic factual hallucination）が生成される例も確認された．
表\ref{tab:hallucination2}に示した要約例では，スポーツのカテゴリの記事でファインチューニングしたモデルでextrinsic non-factual hallucinationが発生した．
これはスポーツのカテゴリの記事にハンドボールと比較してサッカーの話題が多かったためと推察できる．
ファインチューニング時にカテゴリ分けをしていないモデルでは，同様の幻覚は現れなかった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{検証3：システム全体の有用性}
\label{sec: overall}

本節では，編集支援システム全体の有用性を検証する．
具体的には，まずシステムの一機能であるクリック率予測の性能を実データを用いて{定量}評価し，さらにシステム展開後の反響・動向{から後編集を含む機能への定性評価を実施する}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{クリック率予測の{定量評価}}

{最初に，ファインチューニングする事前学習済みモデルの違いによる性能を調査した．
具体的には\texttt{bert-base-japanese-nikkei}と，一般的な日本語ウェブコーパスで事前学習されたBERT\footnote{\url{https://huggingface.co/tohoku-nlp/bert-base-japanese}}を比較した．
ここでは訓練セット用に準備した19,842記事のクリック率を目的変数として，回帰モデルを構築した．
訓練セットから半分を検証セットとして切り出し，4エポック学習した際の二乗平均平方根誤差 (RMSE) を計測したところ，\texttt{bert-base-japanese-nikkei}で優れた結果が得られた（表\ref{tab:ctr-prediction}）．
}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 11
\begin{table}[b]
\input{21table11.tex}%
\hangcaption{クリック率予測の性能の比較．個別の記事のクリック率への回帰では，一般的な日本語モデルと比べて\texttt{bert-base-japanese-nikkei}で優れた結果となった．さらにペアワイズ学習での訓練で，個別の記事のクリック率への回帰と比べて高い正答率が得られた．}
\label{tab:ctr-prediction}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

次に事前学習済みモデルを\texttt{bert-base-japanese-nikkei}で固定し，\ref{subsec:bert}節で述べたペアワイズ学習の有用性を調査した．
ここでは，実際のアクセスログのペアワイズ比較結果を用いて評価{セットを構築}した．
具体的には，複数の見出しを読者に出し分け，多腕バンディット\cite{Katehakis1987-fj}を用いてクリック率の大きい選択肢を多く表示しながら，統計的に有意に差がついた段階で検証を打ち切る仕組みを導入した\cite{Sawa20}．
{2020年9月～2021年9月にこの仕組みが実施された記事のうち，見出しを対象とする50記事（25対）を利用した．}

{\texttt{bert-base-japanese-nikkei}を用いて個別の記事のクリック率への回帰でファインチューニングしたモデルは，25対のうち14対のクリック率の大小を予測でき，正答率は0.560となった．
ペアワイズ学習では\texttt{margin}を0.5に固定し，最大集合サイズは\{10, 20, 30, 40, 50\}，クラスタサイズは\{1000, 1500, 2000, 2500, 3000, 3500\}の$5\times6$通りの組み合わせで性能を評価した．
ハイパーパラメータごとの正答率を表\ref{tab:hyperparam}に示す．
ペアワイズ学習でファインチューニングしたモデルは，正答率の平均が0.590（標準偏差0.074）で，多くの組み合わせで回帰よりも高い値となった．
}
ハイパーパラメータの組み合わせのうち，正答率が0.72と最も高かった設定を最終的に編集支援システムに採用した．
このとき最大集合サイズは30で，クラスタサイズは2500だった．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 12
\begin{table}[t]
\input{21table12.tex}%
\hangcaption{\texttt{bert-base-japanese-nikkei}をペアワイズ学習でファインチューニングしたモデルのハイパーパラメータごとの正答率．}
\label{tab:hyperparam}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{システム展開後の反響・動向}

構築した編集支援システムは\ref{subsec:system}節で述べた通り，2022年6月に日本経済新聞社向けに公開し{，}編集者・記者・ソフトウェアエンジニア・データサイエンティスト・役員など幅広い属性の社員に利用された．
システム展開後の主要な反響として，要約品質の高さへの驚きと，その上での後編集の必要性が挙げられる．
抽出型要約と比べて抽象型要約では流暢な生成が可能であると伝わった他，一定割合で幻覚が発生するため出力を編集者が確認{し後編集}する必要があるといった意見が寄せられた．
{本稿で述べた編集支援システムの有用性の一端を示す事例として，2023年11月に日本経済新聞社から，記事の要約に事前学習済みモデルを活用\footnote{本稿で述べた編集支援システムがそのまま利用されているわけではない．なおシステム全体の有用性を測る手法の一つに利用者へのアンケート調査などがあるが，既に本稿で述べた編集支援システムそのものとは異なるシステムが導入されているため，展開当時を想定した適切な評価の収集が難しいと判断した．}する際には出力が事実に即さない記述・誇張・誤解を招く表現がないかなどを編集者が確認し，必要に応じて修正する運用になっていると示された\footnote{\url{https://www.nikkei.com/article/DGXZQOFM105AK0Q3A011C2000000/}}．}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{結論}
\label{sec: conclusion}

本研究ではドメイン特化事前学習済みモデルの産業応用として，日本語金融ニュース記事を要約する編集支援システムの開発事例を紹介した．
既存研究がドメイン特化事前学習済みモデルによる性能改善を報告している中，本研究の主張な貢献は，現実世界の具体的なシステム要件や実装と共に，ドメイン特化事前学習済みモデルが優れた価値を発揮するユースケースを提示した点である．
具体的には，ドメイン特化事前学習済みモデルの事前学習・ファインチューニングの詳細と共に，編集支援システムの全体像を紹介し，\ref{subsec: Problem}節で述べたシステム要件に関して次の知見を報告した．
\begin{description}
  \setlength{\parskip}{0cm}
  % \setlength{\itemsep}{0cm}
  \item [\S 1 特有の文体の再現] ドメイン特化事前学習済みモデルを用いることで，編集者による要約との文字列の一致度合いが高くなった（\ref{sec: experiments}節）．
  \item [\S 2 性能と運用コスト] ドメイン特化事前学習済みモデルは，事前学習コーパスのサイズが小さくとも高い性能を発揮した（\ref{sec: experiments}節）．
  \item [\S 3 忠実性] 3行まとめ生成にファインチューニングしたT5は，297件中116件の割合で幻覚を含む文章を生成し，編集者による確認を前提としたシステムの必要性が示唆された．幻覚を含む場合は生成時の平均情報量が有意に大きいという特徴も分かった（\ref{sec: discussion}節）．
  \item [\S 4 システム全体の有用性] 一機能であるクリック率予測のためのBERTは，実データと照らし合わせて平均0.59の正答率でクリック率の大小を予測できた．システム展開後の反響・動向からは，後編集も含めたシステム全体の有効性が示唆された（\ref{sec: overall}節）．
\end{description}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{今後の展望}

モデルやデータセットの拡充は，今後の展望の一つである．
T5やBERTよりも大規模なモデルを用いることで，より高性能な処理が実現できる可能性がある．
編集者による出力の改訂履歴を記録することも，今後のシステムの改良に有益である \cite{laban-etal-2020-summary,10.5555/3495724.3495977}．
近年はLLMsのファインチューニングにおいて，人間のフィードバックの価値が注目されている \cite{Ouyang2022-lr}.
将来的には\citeA{murao-etal-2019-case}のように編集支援システムによる編集者の行動変容も明らかにしたいと考えている．
幻覚の分類を考慮した検知の仕組みの導入も想定している．
単に幻覚か否かにとどまらず，発生要因を詳細に分析することで，より高性能な検知を実現できる可能性がある．
幻覚を含む場合は生成時の平均情報量が有意に大きいという特徴も，検知に活用できると考えている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{倫理的注釈}

本研究で使用した日経電子版のデータセットは，日本経済新聞社内で適切な手段で入手した．
アクセスログのデータも，利用規約や社内規定に基づき利用した\footnote{\url{https://www.nikkei.com/lounge/privacy/}}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本研究の推進に当たり，日本経済新聞社の多くの方々にご協力いただきました．
\pagebreak
T5の事前学習やファインチューニングでは，AWS Japanによる技術的な支援をいただきました．
お礼申し上げます．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\begingroup
\addtolength{\baselineskip}{0.25pt}
\bibliography{21refs}
\endgroup


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{石原祥太郎}{%
日本経済新聞社日経イノベーション・ラボ上席研究員．2017年東京大学工学部システム創成学科卒業．2017年より株式会社日本経済新聞社に入社し，現在は自然言語処理や機械学習の研究開発に従事．
}

\bioauthor{村田　栄樹}{%
2023年早稲田大学基幹理工学部情報通信学科卒業．現在は同大学院修士課程学生として自然言語処理の研究を行う．2023年に株式会社日本経済新聞社にてインターンシップを実施．
}

\bioauthor{中間　康文}{%
2021年慶應義塾大学大学院理工学研究科開放環境科学専攻修士課程修了．2021年より株式会社リクルートに入社，業務の傍ら独立研究者として自然言語処理等に関する研究開発を行っている．
}

\bioauthor{高橋　寛武}{%
2021年名古屋大学情報学部自然情報学科卒業．2021年より株式会社リクルートに入社，業務の傍ら独立研究者として自然言語処理に関する研究開発を行っている．
}

\end{biography}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\biodate



\end{document}

