\documentclass[japanese]{jnlp_3.6}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
\usepackage{array}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
\usepackage{multirow}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{30}
\Number{2}
\Month{June}
\Year{2023}
%%%%\Issuetitle{「　　　　」特集号}

\received{2022}{9}{29}
\revised{2023}{1}{12}
\accepted{2023}{2}{14}

\setcounter{page}{489}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{ExtraPhrase: 生成型要約のための効率的データ拡張}
\jauthor{Mengsay Loem\affiref{Author_1}\and 高瀬　　翔\affiref{Author_1} \and 金子　正弘\affiref{Author_1} \and 岡崎　直観\affiref{Author_1}}

\jabstract{%
大量の訓練データを用いたニューラルモデルは生成型要約タスクにおいて高い性能を達成している．しかしながら，大規模な並列コーパスの構築はコストの観点から容易ではない．これを解決するため，本研究では生成型要約タスクの疑似訓練データを低コストで効果的に構築する手法として\textbf{ExtraPhrase}を提案し，訓練データを拡張する．ExtraPhraseは文圧縮と言い換えの2つのモジュールで疑似訓練データを構築する．文圧縮では入力テキストの主要部分を獲得し，言い換えではその多様な表現を得る．実験を通して，ExtraPhraseは生成型要約タスクの性能を向上させ，逆翻訳や自己学習などの既存の訓練データ拡張手法を上回ることを確認した．また，ExtraPhraseは，学習データが著しく少ない場合でも大きな効果が発揮できることを示した．
\renewcommand{\thefootnote}{}
\footnote[0]{本論文の内容は NAACL SRW 2022に採択されたものを拡張したものである\cite{loem-etal-2022-extraphrase}．}
\renewcommand{\thefootnote}{\arabic{footnote}}
}
\jkeywords{データ拡張，要約，言い換え}


\etitle{ExtraPhrase: Efficient Data Augmentation for \\Abstractive Summarization}
\eauthor{Mengsay Loem\affiref{Author_1} \and Sho Takase\affiref{Author_1} \and Masahiro Kaneko\affiref{Author_1} \and Naoaki Okazaki\affiref{Author_1}} 
\eabstract{%
Neural models trained on large amounts of parallel data have achieved impressive performance in abstractive summarization tasks. However, constructing large-scale parallel corpora can be expensive and challenging. In this work, we introduce a low-cost and effective strategy called ExtraPhrase to augment training data for abstractive summarization tasks. ExtraPhrase constructs pseudo training data with two modules: sentence compression and paraphrasing. We extract major parts of an input text with sentence compression and obtain its diverse expressions with paraphrasing. Through experiments, we show that ExtraPhrase improves the performance of abstractive summarization tasks by more than 0.50 points in ROUGE scores compared to the setting without data augmentation. ExtraPhrase also outperforms existing methods such as back-translation and self-training. We also show that ExtraPhrase is significantly effective when the amount of genuine training data is remarkably small, i.e., in a low-resource setting. Moreover, ExtraPhrase is more cost-efficient than existing approaches.
}
\ekeywords{Data Augmentation, Summarization, Paraphrase}

\headauthor{Loem，高瀬，金子，岡崎}
\headtitle{ExtraPhrase: 生成型要約のための効率的データ拡張}

\affilabel{Author_1}{東京工業大学}{Tokyo Institute of Technology}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}
\label{sec:introduction}

ニューラルエンコーダ・デコーダは，機械翻訳や自動要約などの様々な系列変換タスクにおいて顕著な性能を達成している\cite{DBLP:journals/corr/BahdanauCB14,rush-etal-2015-neural,NIPS2017_3f5ee243}．
近年の研究においてニューラルネットワークを用いた手法の性能は訓練データ量に対数比例することが指摘されており\cite{NEURIPS2020_1457c0d6}，系列変換タスクにおいても高い性能を達成するためには，大規模な並列コーパスが必要である\cite{koehn-knowles-2017-six}．
本稿では，生成型要約タスクにおけるニューラルエンコーダ・デコーダの性能を向上させるために，訓練データを拡張することに取り組む．

人手による並列コーパスの構築はコストが高いため，既存研究では疑似訓練データを自動的に構築する方法が検討されている．
疑似訓練データを構築する方法としては，逆翻訳\cite{sennrich-etal-2016-improving}が広く用いられている．
翻訳タスクにおける逆翻訳では，翻訳先の言語の文から翻訳元の言語の文を生成するモデルを学習し，得られたモデルを翻訳先の言語のコーパスに適用し，翻訳元の言語の疑似コーパスを生成する．
また，機械翻訳以外にも，文法誤り訂正\cite{kiyono-etal-2019-empirical}や要約\cite{parida-motlicek-2019-abstract}タスクにおいても，逆翻訳が利用されている．
しかしながら，この逆翻訳手法を要約タスクに適用する場合にモデルは，要約から原文を生成する必要があるため，要約タスクにおける逆翻訳は本質的に非合理的である（付録\ref{sec:appendix-backtranslation}）．

Heら\cite{He2020Revisiting}は，自己学習が機械翻訳や要約タスクの性能を向上させることを示した．
自己学習では教師モデルを学習し，そのモデルを入力側のコーパスに適応し，出力側の疑似コーパスを生成する．
逆翻訳が非合理的な処理であったのに対し，自己学習による疑似要約の生成は合理的である．
しかしながら，自己学習を適用した場合，多様な要約の生成が困難であると指摘されている\cite{gu2018non}．
これらの問題に加え，自己学習や逆翻訳において高品質な疑似データを得るためには，大量の訓練データで教師モデルや逆翻訳モデルを学習しておく必要があるため，データ構築のコストが高い．

そこで，本研究では生成型要約の疑似訓練データを構築する新たなアプローチとして抽出型要約と言い換えの組み合わせによる手法 (Extraction and Paraphrasing; \textbf{ExtraPhrase}) を提案する．
ExtraPhraseの抽出型要約では，原文の統語構造を基に，ヒューリスティックな手法で重要な部分を要約として残し，原文を圧縮する．
このため，逆翻訳や自己学習と異なり，疑似訓練データ作成のためだけにニューラルモデルを構築する必要がない．
圧縮された要約に対し，既存のモデルを活用した言い換え手法を適用し，多様な疑似要約を得る．

本研究では見出し生成タスクと文書要約タスクで実験を行う．
実験を通して，ExtraPhraseによる疑似訓練データは両タスクにおいて性能を向上させることを確認した．
具体的には，疑似データを用いることにより両タスクのROUGE F1スコアが0.50以上向上した．
提案手法は真の訓練データが少ない低リソースの設定においても頑健であることが確認された（\ref{sec:appendix-lowresource}節）．
また，生成された疑似データの性質を分析し（\ref{sec:pseudo-diversity}節），提案手法による疑似データの生成が従来手法より効率的であることを示した（\ref{sec:pseudo-efficiency}節）．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{提案手法: ExtraPhrase}
\label{sec:proposed-method}

\ref{sec:introduction}節で述べたように，提案手法は抽出型要約の手法である文圧縮と言い換えの 2 つのモジュールから構成される．
以降では，提案手法の抽出型要約を文圧縮と呼ぶことにする．
図\ref{fig:proposed-method}に提案手法の概要を示す．
提案手法は単文を入力とし，その文に対応する疑似要約文を生成する．
複数の文からなる文書の場合は，各文に対して独立に文圧縮と言い換えを行い，その出力を連結することより，疑似要約を作成する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[b]
\begin{center}
\includegraphics{30-2ia8f1.pdf}
\end{center}
\caption{提案手法による疑似データの生成過程の例．}
\label{fig:proposed-method}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{文圧縮}
\label{sec:proposed-extractive}

文圧縮のモジュールでは，原文の中から重要な部分を獲得する．
先行研究ではルールベースの手法\cite{dorr-etal-2003-hedge}，構文木から重要部分を検出するアプローチ\cite{filippova-altun-2013-overcoming}，ニューラルネットワークを用いた手法\cite{filippova-etal-2015-sentence,kamigaito-etal-2018-higher}などの圧縮方法が提案されている．
本研究では，コストの少ない手法，すなわち，新たにモデルを構築する必要のない手法として，与えられた文の構文木を基に文圧縮を行う．

本研究では，文の重要な部分は与えられた文の構文木の根付き部分木であると定義する．
まず，与えられた文を係り受け解析し，その係り受け木を得る．
次に，係り受け木の深いノード，すなわち，末端に近いノードを刈り，元の構文木よりも深さの小さい根付き部分木を得る．
本手法では部分木の深さによって，出力要約の長さ（単語数）を調整することができる．
最後に，圧縮された根付き部分木を元の文の語順に従って線形化し，与えられた文の要約を得る．
図\ref{fig:proposed-method}の下段（左）に本モジュールで行われる処理の例を示す．
この例では，係り受け木の深さの半分より深いノードを刈り，根付き部分木を得る．
本研究では，文書要約において，先頭の3文を抽出したうえで，その3文に対して上記の処理を適用し，その出力を連結したものを文書の圧縮された要約とする．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{言い換え}
\label{sec:proposed-paraphrasing}

文圧縮で得られた要約は原文に含まれる単語のみで構成されている．
要約の多様性を高めるために要約に言い換えの手法を適用する．
高品質なニューラル機械翻訳モデルが公開されているため，言い換えには機械翻訳モデルを用いたアプローチ\cite{mallinson-etal-2017-paraphrasing}を採用する．
具体的には，ある文を別の言語に翻訳し，その翻訳文を元の言語に翻訳するという折り返し翻訳を行うことで言い換え表現を得る方法である．
このアプローチは様々な言い換えを生成できるため，データ拡張として利用する研究もある\cite{wei2018fast}．
そこで，この言い換えのモジュールでは，圧縮された要約に，一般に公開されているニューラル機械翻訳モデルを適用し，翻訳された文章を逆翻訳モデルによって元の言語に翻訳する．
文圧縮と同様に，要約に複数の文が含まれる場合は，各文に対して1つずつ言い換えを生成する．
図\ref{fig:proposed-method}の右下段に本モジュールの処理の例を示す．
この例では，圧縮された要約をドイツ語に翻訳し，翻訳された文を元の英語に翻訳する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[b]
\input{08table01.tex}%
\caption{データセットの統計．}
\label{tab:datasets}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験}
\label{sec:experiment}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{データセット}
\label{sec:exper-dataset}

ExtraPhraseの効果を調べるため，見出し生成と文書要約の2つの要約タスクで実験を行った．
表\ref{tab:datasets}はデータセットの統計を示している．
見出し生成タスクではGigawordデータセット\cite{rush-etal-2015-neural}を用いた．
このデータセットには，英語Gigawordコーパスから抽出された約380万の文書の1文目と見出し文の対が訓練データとして含まれる．
本実験では，訓練セット，検証セット，およびテストセットの分割はRushら\cite{rush-etal-2015-neural}の設定と同じものを使用した．
文書要約タスクでは，広く利用されているCNN/DailyMailデータセット\cite{sennrich-etal-2016-neural}を用いた．
このデータセットには，CNNとDailyMailのウェブサイトから抽出されたニュース記事と要約の28万対が訓練データとして含まれている．
両データセットにおいて，Byte Pair Encoding \cite{sennrich-etal-2016-neural}を用い，入力側と出力側で語彙を共有した，サイズ32,000の語彙セットを構築した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{比較手法}
\label{sec:comparison-method}

既存研究で提案されてきた代表的な訓練データ拡張手法との比較を行った．
疑似データの構築は各データセットの訓練データをもとに行った．
なお，Caswellら\cite{caswell-etal-2019-tagged}に従い，全ての疑似訓練データについて，入力の先頭に\verb|<Pseudo>|の特殊トークンを付加した．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{オーバーサンプリング}
訓練データから原文書と要約の対をサンプリングし，訓練データに追加した．
すなわち，この手法で構築される訓練データには，真の訓練データのみが含まれている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{逆翻訳}
真の訓練データを用いて，要約から原文を生成するニューラルエンコーダ・デコーダの学習を行った．
次に，このモデルを訓練データ内の要約に適用し，対応する原文書を生成した．
生成された原文書と真の要約の対を疑似訓練データとして使用した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{自己学習}
各真の訓練データを用いて，原文書から要約を生成するニューラルエンコーダ・デコーダを学習した．
次に，訓練データの原文をニューラルエンコーダ・デコーダに入力し，対応する要約を生成した．
真の原文書と生成された要約の対を疑似訓練データとして使用した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{ExtraPhrase}
各訓練データに対して提案手法のExtraPhraseを適用した．
\ref{sec:proposed-method}節で説明したように，提案手法は文単位で疑似要約を生成した．
ニューラルエンコーダ・デコーダでは先頭の数文を入力とすることが多いことにならい，文書要約タスクでは，原文書に含まれる冒頭の3文(Lead-3)を提案手法への入力とし，各文の要約を元の順序で連結して原文書の要約とした．
文圧縮での係り受け解析には，spaCy\footnote{\url{https://spacy.io/}}を使用した．
本実験では，文圧縮のモジュールにおいて，入力文の係り受け木の深さの半分より深いノードを刈った．
言い換えでは，Ngら\cite{ng-etal-2019-facebook}が構築した英独・独英翻訳モデル\footnote{\url{https://github.com/pytorch/fairseq/tree/main/examples/translation}}を使用した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{エンコーダ・デコーダ}
\label{sec:exper-encdec}

本実験では，ニューラルエンコーダ・デコーダモデルとして，Transformer \cite{NIPS2017_3f5ee243}を用いた．
各生成要約のモデルに加えて，逆翻訳手法の逆翻訳モデルと自己学習手法の教師モデルもTransformerを使用した．
モデルの設定として，\citeA{NIPS2017_3f5ee243}に記載されているTransformer-baseの設定を採用した．
この設定は，機械翻訳に関する研究において広く用いられている\cite{NIPS2017_3f5ee243,ott-etal-2018-scaling}．
詳細には，fairseq\footnote{\url{https://github.com/pytorch/fairseq}}\cite{ott-etal-2019-fairseq}の実装を実験に利用し，学習時のハイパーパラメータは既存研究\cite{NIPS2017_3f5ee243}で使われている設定を用いた．
詳細な設定は付録 \ref{sec:appendix-hyper}に示されている．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[b]
\input{08table02.tex}%
\caption{見出し生成タスクにおけるROUGE F1スコア．丸括弧の中は真の訓練事例数を示す．}
\label{table:main-result-headline}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 3
\begin{table}[b]
\input{08table03.tex}%
\caption{文書要約タスクにおけるROUGE F1スコア．丸括弧の中は真の訓練事例数を示す．}
\label{table:main-result-docsum}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{結果}
\label{sec:main-result}

表\ref{table:main-result-headline}と\ref{table:main-result-docsum}に，見出し生成タスクと文書要約タスクにおける真の訓練データのみを用いた場合と，各データ拡張手法を用いた場合のROUGEスコア\cite{lin-2004-rouge}を示す．
オーバーサンプリングは拡張を行わない場合よりも高いスコアを達成した．
この結果は，訓練データ量が増えるほど，重複した学習事例であってもニューラルエンコーダ・デコーダの性能が向上することを示唆している．
逆翻訳と自己学習は拡張を行わない場合よりも性能は高いが，オーバーサンプリングと同程度のスコアであった．
これらの結果は，性能改善は両者が生成する疑似データの品質ではなく，訓練データの増加によってもたらされたことを示唆している．
逆翻訳と自己学習は疑似データの生成に別のモデルを学習する必要があるため，そのコストを考慮するとオーバーサンプリングが優れている．
一方，見出し生成と文書要約の両方のタスクで，ExtraPhraseは他のデータ拡張手法よりも高い性能を達成した．
見出し生成タスクにおいて，ExtraPhraseによるデータ拡張は，データ拡張を行わない場合から，全てのROUGEスコアで$0.50$ポイント以上を向上させた．
ExtraPhraseは，逆翻訳と自己学習の既存の拡張法と比較し，ROUGE-1とROUGE-Lでは要約性能の向上幅が小さいが，ROUGE-2スコアで性能の大幅な向上が見られた．
文書要約において，提案手法によるデータ拡張は，拡張を行わない場合と比較して全てのROUGEスコアを有意に向上させた\footnote{スチューデントのt検定で$p < 0.05$．}．
これらの結果から，ExtraPhraseはオーバーサンプリング，逆翻訳，自己学習を含む既存のデータ拡張手法よりも，生成型要約タスクのための疑似データを構築するのに有効であると言える．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 4
\begin{table}[b]
\input{08table04.tex}%
\caption{見出し生成タスクにおけるアブレーション．丸括弧の中は真の訓練事例数を示す．}
\label{table:analysis-headline}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 5
\begin{table}[t]
\input{08table05.tex}%
\caption{文書要約タスクにおけるアブレーション．丸括弧の中は真の訓練事例数を示す．}
\label{table:analysis-docsum}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{分析}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{アブレーション}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{文圧縮と言い換えの効果}

表\ref{table:analysis-headline} (a) と表\ref{table:analysis-docsum} (a) において，「w/o 言い換え」と「w/o文圧縮」は，\ref{sec:proposed-method}節で述べた文圧縮のみと言い換えのみを適用し，疑似要約を得た手法である．
見出し生成タスクでは，「w/o 言い換え」は拡張なしの設定よりも高い性能を達成した．
また，小さな差ではあるが，ROUGE-1，ROUGE-Lにおいて，「w/o 言い換え」はExtraPhraseよりも高いスコアを示した．
「w/o 文圧縮」は，ExtraPhraseと比較してROUGE-1およびROUGE-Lのスコアは同等であるが，ROUGE-2のスコアは低下した．
この結果から，見出し生成タスクにおいて，文圧縮と言い換えの各モジュールが性能の向上に貢献したと考えられる．

文書要約において，冒頭の3文を提案手法を適用せずに疑似要約として扱う場合の結果を，表\ref{table:analysis-docsum}の「Lead-3による拡張」に示した．
表\ref{table:analysis-docsum}により，「w/o 言い換え」と「w/o 文圧縮」の場合は，「Lead-3による拡張」よりも高いスコアを達成した．
これらの結果から，文書要約タスクにおいても，ExtraPhraseの各モジュールが要約性能の向上に貢献していることを示唆している．
また，表\ref{table:analysis-docsum} (a) の比較から，各モジュールのみを用いた場合は，ExtraPhraseより性能が低い．
そのことから，ExtraPhraseは，各モジュールを単独で使用した場合よりも優れていることを示唆している．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{文圧縮率の効果}

本節では，ExtraPhraseの文圧縮モジュールにおける圧縮率，すなわち，枝刈りの深さが性能に与える影響を調べた．
文圧縮の圧縮率を変化させ，疑似要約を生成した際の実験結果を表\ref{table:analysis-headline} (b) と表\ref{table:analysis-docsum} (b) に示した．
見出し生成と文書要約の両タスクにおいて，圧縮率が$0.5$の場合が一番高い性能が達成した．
圧縮率が$0.3$の場合は，$0.5$の場合より性能が低く，拡張なしの場合と同等の結果が確認された．
この低い性能は，圧縮率が小さい枝刈りでは非常に短い疑似要約が出力されることによるものと考えられる．
本手法の文圧縮モジュールでは，単文を入力としているため，$0.3$のような小さい圧縮率で枝刈りした際には，構文木の根周辺のみが残され，疑似要約の質低下に影響すると考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{疑似訓練事例数の効果}

本節では，ExtraPhraseの疑似訓練事例数による要約性能への影響を調べた．
疑似データを増やすため，ExtraPhraseの言い換えモジュールでの機械翻訳の各ステップにおいて，翻訳モデルに複数の候補翻訳文を出力させ，一つの原文に対し，複数の疑似要約を取得した．
表\ref{table:analysis-headline}(c) と表\ref{table:analysis-docsum}(c)には，疑似訓練事例数を4倍にするために，言い換えモジュールの折り返し翻訳の各翻訳フェーズにおいて，2best翻訳の出力を用いることで，4つの疑似要約を得た「4best翻訳」が示されている．
表\ref{table:analysis-headline}(c) と表\ref{table:analysis-docsum}(c) から，「4best翻訳」により疑似訓練事例数を4倍にした際，見出し生成と文書要約の両方のタスクにおいて，「1best翻訳」の場合より高い性能が確認された．
この結果から，疑似訓練事例の増加が性能の向上に貢献していることを示唆している．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{低リソース設定}
\label{sec:appendix-lowresource}

ExtraPhraseは，疑似訓練データを生成するためにニューラルモデルを訓練する必要がないため，真の訓練データの量が少ない場合でも，頑健であると予想される．
この仮説を調べるために，低リソースな訓練データの設定で実験を行った．
見出し生成タスクと文書要約タスクの各訓練セットから，1千件の事例を抽出した．
抽出された事例は，真の訓練データとし，残りの事例を疑似データの生成に利用した．
比較手法と実験設定は\ref{sec:experiment}節と同様である．

表\ref{table:lowresource-gigaword-result}と\ref{table:lowresource-cnndm-result}に，見出し生成タスクと文書要約タスクにおける各手法のROUGE F1スコアを示す．
両タスクにおいて，オーバーサンプリングは拡張なしを上回る性能を示した．
このように，重複した学習データはニューラルエンコーダ・デコーダモデルの性能を向上させた．
この結果は，\ref{sec:main-result}の結果と整合性がある．
表\ref{table:lowresource-gigaword-result}により，見出し生成では，逆翻訳がオーバーサンプリングより高いスコアを達成した．
また，表\ref{table:lowresource-cnndm-result}により，文書要約では自己学習がオーバーサンプリングより優れていることが分かった．
この結果は，適切なタスクに適用すれば，既存のアプローチがオーバーサンプリングよりも効果的である可能性を示している．
一方，ExtraPhraseは両タスクにおいて他の手法より有意に高い性能を発揮した．
よって，ExtraPhraseは真の訓練データの量が少ない場合にも有効であることが分かった．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 6
\begin{table}[b]
\input{08table06.tex}%
\caption{低リソース設定における見出し生成タスクの結果．丸括弧の中は真の訓練事例数を示す．}
\label{table:lowresource-gigaword-result}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 7
\begin{table}[b]
\input{08table07.tex}%
\caption{低リソース設定における文書要約タスクの結果．丸括弧の中は真の訓練事例数を示す．}
\label{table:lowresource-cnndm-result}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{疑似データの多様性}
\label{sec:pseudo-diversity}

\ref{sec:introduction}節で述べたように，ExtraPhraseは自己学習より多様な要約を生成するために言い換えを行っている．
この効果を検証するために，自己学習と提案手法により生成された疑似要約を比較する．
表\ref{table:bleu-bert}は各訓練データにおける真の要約と生成された疑似要約のBLEUスコアを示している．
また，意味的類似性の指標としてF1ベースのBERTScore \cite{DBLP:journals/corr/abs-1904-09675}も示している．
この表から，自己学習とExtraPhraseのBERTScoreは高いことがわかる．
この結果は生成された要約が真の要約と意味的に類似していることを意味する．
このことから，いずれの方法で生成された要約も疑似データとして意味的に適していると言える．

一方，ExtraPhraseのBLEUスコアは自己学習のスコアよりも低い．
この結果は，自己学習と比較して提案手法が真の要約と異なるフレーズを多く含んだ疑似要約を生成していることを示している．
すなわち，提案手法で構築した訓練データは自己学習よりも多様な要約を含むことが分かる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 8
\begin{table}[b]
\input{08table08.tex}%
\caption{生成された疑似要約の真の要約に対するBLEUとF1 BERTScores． }
\label{table:bleu-bert}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 9
\begin{table}[b]
\input{08table09.tex}%
\caption{生成された疑似要約の真の要約に対するBLEUとF1 BERTScores． }
\label{table:aws-cost}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{疑似データ生成の効率}
\label{sec:pseudo-efficiency}

ExtraPhraseは公開されている翻訳モデルをそのまま用いることができるため，逆翻訳や自己学習のように翻訳・生成モデルを学習する必要はない．
そのため，既存手法と比較すると低コストで疑似データを構築できる．
表\ref{table:aws-cost}は各疑似データの構築手法の所要時間\footnote{消費時間は1GPUの場合で計算している．}を示す．
また，クラウドコンピューティングサービスであるAmazon EC2を用いて疑似データを構築した場合に必要な費用も示している．
表\ref{table:aws-cost}から，逆翻訳と自己学習はモデルの学習に多くの時間を要することがわかる．
一方，ExtraPhraseでは学習を必要としないため，他の手法と比較して1/10以下の金額で疑似データを構築できる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}

系列変換タスクのデータ拡張手法として，逆翻訳と自己学習は広く使われている手法である\cite{sennrich-etal-2016-improving,kiyono-etal-2019-empirical,He2020Revisiting}．
Sennichら\cite{sennrich-etal-2016-improving}は，出力側の言語のデータから入力側の言語に翻訳して疑似データを生成し，機械翻訳の訓練データを拡張する逆翻訳アプローチを提案した．
Edunovら\cite{edunov-etal-2018-understanding}は，機械翻訳のための大規模なモノリンガル設定における逆翻訳アプローチの有効性を報告した．
また，Hoangら\cite{hoang-etal-2018-iterative}は，逆翻訳を複数回繰り返し適用する反復逆翻訳手法を紹介した．
逆翻訳は機械翻訳において有効なアプローチであるが，\ref{sec:introduction}節で述べたように，要約タスクに適用するのは非現実的である．
自己学習では，真の訓練データでモデルを学習し，それを応用して疑似データを生成する．
Zhangら\cite{zhang-zong-2016-exploiting}は，ニューラル機械翻訳用の並列コーパスを拡張するために自己学習を適用した．
Heら\cite{He2020Revisiting}は，自己学習において，デコード中にドロップアウトをノイズとして用いるノイズ自己学習を導入した．
これらの研究では，自己学習は機械翻訳や要約タスクにおいて有効な手法と報告されているが，多様な疑似データを生成することは困難である\cite{gu2018non}ため，性能の向上に限界がある．

他のデータ拡張法として，訓練データとの差異が小さい摂動を用いて性能改善を行う手法はある\cite{kobayashi-2018-contextual}．
Takaseら\cite{takase-kiyono-2021-rethinking}は，単語ドロップアウトや単語置換のような単純な手法は敵対的摂動よりも効率的に性能を向上させられることを示した．
これらの摂動は本研究の提案手法と独立しているため，組み合わせることでさらに性能向上が期待できる．

近年の研究においては，大規模な事前学習モデルを利用することにより要約の性能が向上することが報告されている\cite{lewis-etal-2020-bart,JMLR:raffel-T5,zhang-pegasus}．
しかしながら，BART \cite{lewis-etal-2020-bart}やT5 \cite{JMLR:raffel-T5}などの汎用事前学習モデルを利用する場合，要約タスクに合わせたファインチューニングが必要であり，そのために学習データを準備する必要がある．
PEGASUS \cite{zhang-pegasus}のような要約タスクに特化した事前学習モデルを用いる場合でも，事前学習とファインチューニングの学習データが必要である．
このような状況において，提案手法は，事前学習モデルのファインチューニングを行う学習データを拡張する手法として用いることができる．
また，提案手法は構文木を用いているため，事前学習モデルの対象言語やドメインに依存せず柔軟に適用できる．

提案手法では文圧縮の手法が用いられている．
Dorrら\cite{dorr-etal-2003-hedge}は言語学的に動機づけられたヒューリスティックを用いたルールベースの文圧縮手法を提案した．
Filippovaら\cite{filippova-altun-2013-overcoming}は訓練データから重要な部分木を学習する教師あり文圧縮法を提案した．
また，近年ではニューラルネットを用いた文圧縮の研究も行われている\cite{filippova-etal-2015-sentence,kamigaito-etal-2018-higher}．
本研究では教師ありモデルや学習コーパスを必要としない，文の構文木に基づくルールベースの手法を採用し文の圧縮を行った．
Nikolovら\cite{nikolov-hahnloser-2020-abstractive}は要約の教師なし手法として文の抽出と言い換えを組み合わせたアプローチを提案した．
本研究の目的は疑似訓練データを構築することであり，新しい教師なし手法を提案することではない．

提案手法は圧縮された要約に対して言い換えを行い，疑似データの多様性を高めている．
Bolshakovら\cite{10.1007/978-3-540-27779-8_27}は辞書に基づき単語を同義語に置き換えることで，言い換えを行う手法を提案した．
最近では，言い換えタスクを系列変換タスクとして定式化することにより，ニューラルベースの言い換え生成を行う手法が提案されている\cite{prakash-etal-2016-neural}．
また，機械翻訳モデルを用いた折り返し翻訳による言い換え文生成も提案されている\cite{mallinson-etal-2017-paraphrasing}．
近年は高性能な機械翻訳モデルは公開されているため，本研究では言い換え生成の手法として折り返し翻訳を採用した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

本研究では，生成型要約タスクのための疑似データを生成する新しい手法を提案した．
提案手法は文圧縮と言い換えの2つのモジュールから構成される．
文圧縮により入力の重要な部分を獲得し，言い換えにより多様な表現を得る．
実験の結果，提案手法は逆翻訳や自己学習の疑似データ生成手法と比較して，より効果的であることが示された．
また，提案手法は疑似データ生成において追加でモデルを学習する必要がないため，他の手法に対して，コストの面でも優れていることを示した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\appendix

\section{逆翻訳による疑似データ}
\label{sec:appendix-backtranslation}
\ref{sec:introduction}節で述べたように，生成型要約タスクにおける逆翻訳アプローチは，要約から原文を復元する必要があるため，本質的に不可能である．
そこで，逆翻訳により生成された原文の性質を調べた．

表\ref{table:rouge-BT}は，逆翻訳により生成された原文の長さ（トークン数）の比率と差とを示す．
生成された原文は元の原文より短いことが分かる．
この結果は，逆翻訳が真の原文の情報を完全に復元できていないことを示している．
つまり，要約から原文を生成することが難しいことを意味している．

また，逆翻訳により生成された原文が真のデータに対応しているかを調べるために，真の原文を正解と見なした場合のROUGEスコアを表\ref{table:rouge-BT}に示す．
文書要約の場合，ROUGEスコアは極めて低くなっている．
この結果からも，逆翻訳は原文の生成に失敗していることがわかる．

一方，見出し生成のROUGEスコアは文書要約のROUGEスコアと比較して高い．
この結果は，逆翻訳は要約から原文の核となる部分を復元できる可能性を示している．
見出し生成タスクは，与えられた文章から見出しを生成するタスクであるため，要約（見出し）には原文の主要な部分が含まれていることが多い．
このような性質が高いROUGEスコアの要因になっていると考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 10
\begin{table}[b]
\input{08table10.tex}%
\hangcaption{逆翻訳により生成された原文と真の原文とのROUGE F1スコア．比率と差 は，生成された原文と真の原文に含まれるトークン数の比較である．}
\label{table:rouge-BT}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 11
\begin{table}[b]
\input{08table11.tex}%
\caption{要約と逆翻訳で用いられたTransformerモデルの構成．}
\label{table:transformer-config}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験設定の詳細}
\label{sec:appendix-hyper}

本研究では，要約モデルと逆翻訳モデルでTransformer (base) \cite{NIPS2017_3f5ee243}のアーキテクチャを用いた．
モデルの詳細な構成を表\ref{table:transformer-config}に示す．
また，学習時の詳細な設定を表\ref{table:training-config-giga}と表\ref{table:training-config-cnndm}に示す．
各設定は，4枚のGPUで実施した実験を想定している．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 12
\begin{table}[t]
\input{08table12.tex}%
\caption{見出し生成タスクにおけるデータ拡張なしとデータ拡張あり場合の学習設定．}
\label{table:training-config-giga}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 13
\begin{table}[t]
\input{08table13.tex}%
\caption{文書要約タスクにおけるデータ拡張なしとデータ拡張あり場合の学習設定．}
\label{table:training-config-cnndm}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本研究の一部は，JSPS科研費19H01118およびJP21K17800 の助成を受けたものです．
本研究成果の一部は，独立行政法人情報通信研究機構 (NICT) の委託研究 (No.~225) により得られたものです．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{08refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor[:]{Mengsay Loem}{%
2022 年東京工業大学情報理工学院情報工学系卒業．同年4月より情報
理工学院情報工学系知能情報コース修士課程に在学中．
}
\bioauthor{高瀬　　翔}{%
2012 年東北大学工学部卒業．2014 年東北大学大学院情報科学研究科博士前期課程修了．
2017 年東北大学大学院情報科学研究科博士後期課程修了．博士（情報科学）．
NTT コミュニケーション科学基礎研究所でのリサー チアソシエイト，東京工業大学での研究員，東京工業大学情報理工学院助教を経て，2022 年 10 月よりシニアリサーチャーとしてLINE株式会社に所属．
言語処理学会，ACL 各会員．
}
\bioauthor{金子　正弘}{%
2016 年北見工業大学工学部情報システム工学科卒業．同年，首都
大学東京（現東京都立大学）システムデザイン研究科博士前期課程に進学．2018 年博士前期課程
修了．同年，首都大学東京システムデザイン研究科博士後期課程に進学．2019
年より日本学術振興会特別研究員 (DC2) を経て，2021 年博士後期課程修了．
博士（情報科学）．同年より東京工業大学情報理工学院研究員．現在に至る．
}
\bioauthor{岡崎　直観}{%
2007 年東京大学大学院情報理工学系研究科博士課程修了．東京大
学大学院情報理工学系研究科・特任研究員，東北大学大学院情報科学研究科
准教授を経て，2017 年 8 月より東京工業大学情報理工学院教授．言語処理学
会，人工知能学会，情報処理学会，ACL 各会員．
}

\end{biography}


\biodate


\end{document}

