\documentclass[japanese]{jnlp_3.3}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
\usepackage[dvipdfmx]{pict2e}
%%%%\usepackage{array}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{28}
\Number{2}
\Month{June}
\Year{2021}
%%%%\Issuetitle{「　　　　」特集号}

\received{2020}{8}{3}
\revised{2020}{12}{1}
%%%%\rerevised{2006}{5}{6}
\accepted{2021}{1}{17}

\setcounter{page}{350}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{不要文削除によるデータ拡張に関する研究}
\jauthor{大内　智仁\affiref{Author_1} \and 田伏　正佳\affiref{Author_1}}
\jabstract{%
 近年インターネット上の情報量は指数関数的に増加している．そのため，自動要約システム技術は必要不可欠なものとなってくると思われる．自動要約システムを構築するには要約コーパスが必要となる．しかし，多量の要約コーパスを作成するには人手が必要となりコストがかかってしまう．そこで，本研究では自動要約システムにおけるデータ拡張として，記事に対して，最も重要度の低い文を除去する手法を提案する．本研究では，Pointer-Generatorモデルにおいて提案手法の効果を検証した．また，本研究の比較対象として，文書分類において用いられたデータ拡張手法であるEDA (Easy Data Augmentation Techniques) や，Luhn，LexRankを用いた手法で実験を行った．Pointer-Generatorモデルで用いたコーパスはCNN/Daily Mail datasetであり，トータルで，287,226記事存在する．本研究では， 287,226記事の他に，57,000記事，28,000記事において比較実験した．結果は，EDAやLuhn，LexRankを用いた手法では拡張せずに元の記事だけで学習する手法（拡張なし手法）よりも悪くなることがあったが，提案手法は全ての記事数において拡張なし手法よりも良い結果となった．
}
\jkeywords{自動要約，data augmentation，Pointer-Generator モデル，EDA}

\etitle{The Effectiveness of Data Augmentation by Removing Unimportant sentence}
\eauthor{Tomohito Ouchi\affiref{Author_1} \and Masayoshi Tabuse\affiref{Author_1}} 
\eabstract{%
 In recent years the amount of information on the Internet has increased exponentially．Consequently, automatic article summarisation technology will be indispensable．In this study, we propose a data augmentation method for an automatic summarisation system．The proposed method removes the least important sentence in an article．We used a topic model to determine the importance of sentences in articles. The Luhn and LexRank methods were used as comparative methods for determining the importance of sentences in articles. Additionally, we used Easy Data Augmentation (EDA) techniques as the comparison method for this study. EDA is a data augmentation method applied to document classification．A comparative experiment was performed using input datasets with 28,000, 57,000, and 287,226 articles．The Luhn and LexRank methods always produced the worst results, while EDA sometimes performed worse than the baseline method without a data augmentation. The proposed method performed the best in all cases．
}
\ekeywords{Automatic Summarization, Data Augmentation, Pointer-Generator Model, EDA}

\headauthor{大内，田伏}
\headtitle{不要文削除によるデータ拡張に関する研究}

\affilabel{Author_1}{京都府立大学}{Kyoto Prefectural University}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

近年，全世界のインターネット上の情報量は指数関数的に増加しており\cite{Worldwide}，2010年から2024年まで年平均29\%で成長し，2024年には143ZBに達すると予想されている．また，テキストデータに関しても，2018年の全世界のWebサイト数は16億程度であったのに対して2021年現在においては18億程度\cite{Websites}と，3年で2億程度増えていることからこれからもどんどん増えていくことが予想される．このような状況のなかで，インターネットの情報を取捨選択する必要性は高まっており，自動要約の技術が必須となってくる．しかし，実用段階に至っている自動要約システムの多くが，元の文章から要約文を抽出するだけに終わっている．これは抽出型要約といわれており，問題点として，指示語の指す情報の不明確さ，不必要な接続詞の存在，文同士の不自然なつながりなどがあげられる．しかし，抽出型要約システムによっては，要約をする元の文章だけで学習できる場合があり，必ずしも要約の文章が必要とならないことがある．その場合，抽出型要約は，データ整備のコストはあまりかからない．一方で，抽出型要約に対して生成型要約というものがある．生成型要約の多くは，Encoder-Decoderモデルを基本として作られている．この方法でシステムを作る際，学習には，要約をする元の文章と要約の文章のペアが多く必要となる．さらに，例えば，日本語の論文の要約システムを作るとすれば，日本語の論文とその要約文のデータセットが必要となる．このシステムの学習に，ニュース記事の要約データセットを用いることはできない．なぜなら，文章の体裁が全く違うからである．このように，特定のドメイン・言語で大規模データセットを作るのは困難である．本研究では，様々な長さの文章に対して複数の要約文を生成する要約システムに焦点を当て，学習のためのデータセットに対してデータ拡張の効果を検証した．まず，Encoderで，入力文章を固定長のベクトルに変換し，Decoderでその固定長のベクトルから，一単語ずつ生成していく．生成する際には，一単語ずつ，学習に使った語彙の中から選んで要約を作る．初期のころは，Decoder側で使われる語彙集合から，単語を選んでいたが，のちに，Copy Mechanism \cite{Gu_2016}が提案され，Encoder側の単語をコピーして生成する機構が提案された．これによって，特定の文章にしかでてこない単語（固有名詞など）を生成することを可能にした．また，生成された要約文に同じフレーズが繰り返される問題を解決するためにCoverage Mechanism \cite{Tu_2016}が提案された．本研究では，データ拡張の検証としてこのCopy MechanismとCoverage Mechanismを組み合わせたPointer-Generatorモデル\cite{See_2017}を使用した．学習のためのデータセットとして，日本語では，Livedoor Newsを用いた三行要約がある\cite{Kodaira_2018}が，本研究では，様々な長さの文章に対して複数の要約文を生成する要約システムでのデータ拡張の検証を目指しており，採用しなかった．また，出力長制御を考慮した見出し生成モデルのための大規模コーパス(JNC, JAMUL) \cite{Hitomi_2019}では，見出し生成を目的としており，これも採用しなかった．英語では，CNN/Daily Mail Dataset \cite{Hermann_2015}や，Cornell Newsroom \cite{Grusky_2018}，Gigaword \cite{Napoles_2012}などのデータセットが整備されている．このデータセットは，人手の要約が付いており，様々な長さの要約をする文章があり，複数文要約にもなっている．そこで，本研究では，データセットとしてCNN/Daily Mail Datasetを用い，少ないデータでもデータ拡張することで効果的に自動要約システムを作ることができないかということに着目した．既存の自然言語処理におけるデータ拡張手法を以下に示す．

1. 同義語・類義語で置き換える

2. 類似度を計算して置き換える

3. 反意語で置き換える

4. 文章内の語と語を入れ替える

5. ランダムに削除する

6. Back Translationを用いて文章を水増しする

本研究においてデータ拡張の比較対象として用いたEDA(Easy Data Augmentation Techniques) \cite{Wei_2019}は，1と4と5に該当する.  2の類似度を計算するには，教師なしクラスタリングや単語埋め込み行列などを使う．単語埋め込み行列には，word2vec \cite{Mikolov_2013}，GloVe \cite{Pennington_2014}，fastText \cite{Bojanowski_2017}などがある．6のBack Translation \cite{Edunov_2018}は，機械翻訳におけるデータ拡張手法である．しかし，いずれの手法も文書分類システムや機械翻訳システムで効果が確かめられているだけであり，自動要約システムでは効果を検証されていない．一方，画像処理分野では，少ないデータでも効果的に画像処理ができるデータ拡張の方法がある．具体的には，以下の9つがある．

1. 水平・垂直方向に画像をシフトする

2. 水平方向・垂直方向に画像を反転させる

3. 回転させる（回転角度はランダムの場合あり）

4. 明度を変える

5. ズームインする・ズームアウトする

6. 画像の一部をくり抜く，削除する

7. 背景色を変える

8. 背景を置き換える

9. Mixup・CutMix

ここで説明するMixupとCutMixでは，カテゴリを表すラベルを1（あり）か0（なし）ではなく，連続量で表す．例えば，犬であるかないか（1か0）ではなく，犬である可能性が高い（例えば，0.8）という風に表す．Mixupは，二枚の画像とラベルを組み合わせて一つのデータに合成する\cite{Zhang_2018}．例えば，犬0.4猫0.6といったラベルの画像は各画素値を犬0.4猫0.6の比率で合成した画像になる．CutMixは，複数の画像の一部を切り取ってつなぎ合わせて1枚の入力画像にするデータ拡張である\cite{Yun_2019}．ラベルの表し方は，合成した画像中のそれぞれのラベルの付いた画像の面積比となる．例えば，犬と猫の面積比が1:3であるならば，犬0.25猫0.75というラベルとなる．MixupやCutMix以外の手法では，元画像だけでデータ拡張が行える．我々は，これらの手法の内，背景を置き換えるという拡張手法に着目し，データ拡張手法を提案する. 具体的には，要約する文章において，不要文を取り除き，文章の大意を損なわない拡張文章を作ることでデータ拡張を行う． 


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}

自動要約システムに関連する研究は，大別して抽出型要約と生成型要約の二つの種類がある．以下の三つの節でそれぞれの要約とデータ拡張の関連研究について説明する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{抽出型要約}

一つ目は，抽出型要約である．これは，要約元の文章から重要な部分を抽出して行う要約で，文単位のものから，フレーズ，単語単位まである．複数文書要約においては，同じような内容の部分を抽出しないように，冗長性を考慮した要約にする必要がある．抽出型要約でよく使われる手法としては，Graph Base手法とFeature Base手法，Topic Base手法などがある．

Graph Base手法でよく用いられるアルゴリズムとしてTextRank \cite{Mihalcea_2004}が挙げられる．これは，Google検索で用いられているPageRank手法\cite{Page_1998}をもとに，自然言語に適用したものである．

PageRankでは，あるページが人気の高いページから多くリンクされていればいるほどそのページは重要度が高いとしている．TextRankは相互に関連度の高い語句は重要度が高いという仮定に基づき語句を選択する手法である．このTextRankの派生にLexRank \cite{Erkan_2004}がある．本研究において提案手法に対する比較手法としてLexRankを用いたデータ拡張を行う．以降，この比較手法をDA-LexRankと呼ぶ（このDAはData Augmentationからとった）．

Feature Base手法は，文の特徴を定義して，その特徴による重みづけを行うことで文選択を行うものである．本研究では，単語の位置と頻度の情報を元に文の重要度を測る手法\cite{Luhn_1958}を用いてデータ拡張を行い提案手法に対する比較手法とする．以降，この比較手法をDA-Luhnと呼ぶ．

Topic Base手法は，トピックモデル\cite{Blei_2003}を用いて，各文においてトピックの出現確率が高いものから文を選択するという手法である．文におけるトピック分布は，文においてTF-IDF値を求め，それから，トピック分布の事前分布であるディリクレ分布を推定することで得られる．本研究では，重松らの研究\cite{Shigematsu_2012}をもとにトピックモデルを用いて文の重要度を決めた．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{生成型要約}

二つ目は，生成型要約である．これは，要約元の文章と要約の対応関係を学習させ，未知の文章が入力されたときに，要約を生成するというものである．ここで，生成するというのは，入力文章から文，フレーズ，単語を抽出するのではなく，一から要約を生成するというものである．生成の仕方は，生成確率の高い単語をひとつずつ選んでいき，文章の終わりを示すトークンが選ばれたときに，生成を終了するというものである．抽出型要約に比べて自然な文が生成される可能性が高いが，二つの課題がある．

一つ目の課題は，要約元の文章と要約のペアになったデータ作成の困難さである．要約元の文章だけなら用意できるが，要約は，人による介入が必要となりコストがかかってしまう．人によっても要約の仕方は変わり，また，どれくらいの長さにするかも変わってくる．そのため，厳密にデータを作ろうとすると，要約の基準を定めなければならない．また，機械翻訳では，翻訳元の文数と翻訳先の文数は等しくなるが，自動要約では，要約の文数に対して，要約元の文数はその数倍の量になることが多い．したがって，できるかぎり少ないデータで効率よく自動要約システムを作ることが求められる． 

二つ目の課題は，自動要約タスクの定義の曖昧性である．機械翻訳においては，入力された文の内容を過不足なく翻訳することがタスクの定義の正解として設定できるが，自動要約に関しては，どの程度要約するのがタスクの定義の正解なのかはタスクの目的による．実用段階となると，そのタスクで求められている程度の要約ができればいいということになる．このように，タスクによって求められる正解が変わってくるという意味で，データ作成の困難さがある．その難しさから，生成型要約の研究が始まった当初は，ニュース記事の1文目を入力してタイトルを生成するというタスクに限定して研究が行われた．このタスクは通称見出し生成タスクと呼ばれる．また，Encoder-Decoderモデルを初めて導入した論文にABS (Attention Based Summarization)がある \cite{Rush_2015}．これを皮切りに，深層学習を用いた自動要約システムの研究が盛んになった．そして，2017年には，CNN/Daily Mail Datasetを用いたPointer-Generatorモデル(See, Liu, and Manning 2017)が開発された．今までは，Encoder-DecoderモデルにAttentionモデルを加えたものが主流であったが，記事特有の固有名詞などがうまく生成できないという問題があった．そこで，Encoder側の単語をコピーするか，Decoder側の語彙から選ぶかを確率で決めるというCopy Mechanismが開発された \cite{Gu_2016}．しかし，このメカニズムで生成された要約は，同じフレーズを繰り返してしまうという問題があった．これを解決するために，以前選ばれた単語を選ばれにくくするCoverage Mechanism \cite{Tu_2016}というものが開発された．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{既存のデータ拡張手法}

自然言語処理におけるデータ拡張に関する研究はいくつかある．多くは，文書分類に適用したもので，そのうちの一つがEDA \cite{Wei_2019}である．また，機械翻訳におけるデータ拡張手法として，Back Translation \cite{Edunov_2018} がある．Back Translationとは，まず，入力ソースと出力ソースのデータから，翻訳モデルと逆翻訳モデルを作る．次に，入力ソースが存在しない出力ソースから，逆翻訳モデルで，入力ソース（疑似データ）を作るというものである．したがって，本来のデータに加えて，逆翻訳した入力ソースと出力ソースができ，データ拡張を行うものである．Edunovらの研究\cite{Edunov_2018}によって機械翻訳のベンチマークを大幅に更新したことが確認された．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{データ拡張}

この章では，本研究において用いたデータ拡張について説明する．3.1節では，本研究で提案した手法を，3.2節では，それに対して比較する対象の手法を説明する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{提案手法}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{トピックモデル}

潜在的意味解析は文書のもつ話題や分野など「潜在的な意味カテゴリ」を解析する手法\cite{Blei_2003}である．この「潜在的な意味カテゴリ」を潜在的なトピック，または単にトピックと呼び，文書内の複数の単語の共起性によって創発されると考える．トピックモデルは，文書に隠れた潜在的なトピックを推定するモデルである．特にLDA (Latent Dirichlet Allocation)は，一つの文書に複数の潜在的なトピックが存在すると仮定し，そのトピック分布をディリクレ分布としてモデル化する．単語などを表層的と表現するならば，トピックは，単語と違って表面には現れないので潜在的と表現できる．潜在的なトピック分布にディリクレ分布を仮定することから，潜在的ディリクレ配分法と呼ばれる．

例えば，「貴景勝　実戦稽古再開　カド番で臨む７月場所　自分の攻めを意識」という文があったとする．人はこの文を見て相撲に関する文書であることを理解できる．文書中に相撲という言葉は出てこないにもかかわらずである．よって，単語は単に存在しているのではなく，潜在的なトピックから生成され，それぞれの文書はその文書がもつ複数のトピックに応じて出現しやすい単語集合で構成されていると考える．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{文の重要度の決め方}

トピックモデルを用いた文の重要度の決め方は，重松らの研究\cite{Shigematsu_2012}を参考にした．今回用いたトピックモデルには，LDA手法を用いた．また，本研究で用いたモジュールはgensimのバージョン3.7.3を利用した．トピックモデルは，一つの文書が複数のトピックからなることを仮定した言語モデルの一つである．また，それぞれのトピックは出現単語分布を持つ．文$s$の重要度$i_s$の決め方は次のようになる．

1. 文を構成している単語$w$のトピック$t$における出現確率$p(w|t)$と文$s$におけるトピックtの出現確率$q(t|s)$の積を算出

2. 文を構成している全ての単語$W$で総和

3. 文長の平方根$\sqrt{|s|}$で割る

4. 全てのトピック$T$において総和する

式で表すと以下の通りとなる．
\begin{equation}
i_s=\sum_{t\in T}\sum_{w\in W} { \frac{ p(w|t)q(t|s) }{ \sqrt{|s|} }} 
\end{equation}

この手法は，文を構成している主要なトピックにおいて出現確率の高い単語が多く含まれているときにスコアが高くなる． 


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{処理の手順}

我々は，画像処理におけるデータ拡張の考え方をもとに，文章から不要文を削除するデータ拡張の方法を用いてデータ拡張の効果を検証した．画像処理におけるデータ拡張の一種である「背景の差し替え」における背景を，自動要約システムにおける入力文章の不要な部分に置き換え，入力文章から不要な部分を取り除いたものを新たな入力文章とした．入力文章から不要文を取り除くことは，画像処理における背景の除去（無背景に置き換えること）に対応する．他の背景に置き換える，つまり不要文を他の文に置き換えることは，今後の課題として検討するべきである．また，この方法で生成される拡張データは，不要文を除くだけなので意味的に破綻した文章が生み出される可能性は少ないといえる．本研究の提案手法は，具体的に，以下の手順をとる．

\begin{itemize}
\item[1.]英語のWikipediaのデータからトピックモデルを作る．Wikipediaのデータを選んだ理由は多くの項目を解説しており，内容に偏りが少ないためである．今回の実験では，トピック数を100と設定し，20文書以上かつ全記事（287,226記事）の1割以下の文書で使われた語に限定した．トピック数を決める際にChangらの研究\cite{Chang_2009}を参考にした．この研究では，Wikipediaにおいてトピック数を50，100，150とおきLDA手法を含む三つの手法で実験している．LDA手法においてはトピック数が150のときが最もパフォーマンスが高かった．しかし，150で実験すると各文が持つトピックの重なりが少なくなり，各文の重要度がうまく計算できないと思われたため本研究ではトピック数を100に減らした．
\item[2.]1.で作成したトピックモデルを用いて，各文章Sにおける各文sの重要度$i_s$をスコアとして算出する
\item[3.]重要度$i_s$の最も低い文を取り除き，拡張データEとする
\end{itemize}
アルゴリズムを図示すると，図1のようになる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[t]
\input{02fig01.tex}
\caption{提案手法の疑似コード}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{比較手法}

本研究では，提案手法の比較対象として，EDA \cite{Wei_2019}と，Feature Base手法である，単語の位置と頻度の情報を元に文の重要度を測る手法\cite{Luhn_1958}を用いたデータ拡張手法(DA-Luhn)と，Graph Base手法であるLexRankを用いたデータ拡張手法(DA-LexRank)を用いた．以下では，EDAと，DA-Luhn，DA-LexRankについて説明する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{EDA}

EDAは極性分類やレビュー推定などの文書分類におけるタスクにおいて，データ拡張を行った方法である．中間ベクトルにノイズを加えるなどのデータ拡張ではなく，記事自体を変えるデータ拡張として，EDAを比較手法として選んだ．拡張手法の概要は以下となる．

\begin{itemize}
\item[(1)] Synonym Replacement (SR) \\
ある単語を同義語に置き換える
\item[(2)] Random Insertion (RI) \\
ある単語の同義語を記事のランダムな位置に挿入する
\item[(3)] Random Swap (RS) \\
ランダムな二つの単語を入れ替える
\item[(4)] Random Deletion (RD) \\
ランダムな単語を削除する
\end{itemize}

EDAでは，上記の四つの手法を行う頻度を記事に使われている延べの単語数にハイパーパラメータ $\alpha$ を掛けて求めている．この研究では，訓練記事数が5,000以上だと $\alpha$ の値は0.1に設定しているので本研究でもそれに倣った．また，EDAの論文\cite{Wei_2019}によると，一つの記事に対する拡張する記事の数を4にしたときが最も良い結果が出たということで，本研究でもそれに倣った．EDAをPointer-Generatorモデル\cite{See_2017}に適用して，提案手法との比較検討を行った．本研究では，EDAの各手法(SR, RI, RS, RD)と，文章ごとに各手法をランダムに選択した手法（以降，この手法をEDAと呼ぶ）を比較手法とした．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{DA-Luhn}

単語の位置と頻度の情報を元に文の重要度を測る手法\cite{Luhn_1958}では，まず，対象とする文章のうち，ストップワードでない頻出単語のトップ100単語を重要単語とし，重要単語の文章中の位置を調べる．次に，重要単語同士の距離が4以下のものを一つのクラスタとしてクラスタリングする．そして，クラスタ内の重要単語数の二乗の値を，クラスタの最初の単語と最後の単語の距離で割った値を，そのクラスタのスコアとする． 最終的に各クラスタのスコアの最大値がその文のスコアになる．そのスコアを用いて，不要文（最小スコアの文）を除去するデータ拡張手法がDA-Luhnとなる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{DA-LexRank}

LexRankは，多くの文と類似する文や重要な文と類似する文は重要な文と考え，文章同士のTF-IDFベクトルのコサイン類似度から遷移確率行列を求め，遷移確率行列に滞在確率ベクトルをかけたものが滞在確率ベクトルになるような滞在確率ベクトルを求める．このときの滞在確率ベクトルが文の重要度となる．そして，文の重要度を用いて，不要文（最小スコアの文）を除去するデータ拡張手法がDA-LexRankとなる．今回の実験では，コサイン類似度が0.1以上のものは全て1とし，更新前の滞在確率ベクトルと更新後の滞在確率ベクトルの差のノルムが0.1以下になったときを収束条件とした．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{Pointer-Generatorモデル}

この章では，本研究において使用した自動要約システムであるPointer-Generatorモデル\cite{See_2017}について説明する．そのために必要な知識として，Encoder-Decoderモデル，Attentionモデルについても説明する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{Encoder-Decoder+Attentionモデル}

図2がLSTM Encoder-Decoder+Attentionモデルの概要図になる． LSTM (Long Short Term Memory) は\cite{Hochreiter_1997}を参照されたい．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[b]
\begin{center}
\includegraphics{28-2ia2f2.pdf}
\end{center}
\caption{LSTM Encoder-Decoder+Attentionモデルの概要図}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

${\mbox{\boldmath $x$}}(\tau)$は$\tau$番目の単語を指す．Encoderは，$T$個の単語から成り立っており，Decoder側でt番目の単語の隠れベクトル${\mbox{\boldmath $h_{dec}$}}(t)$を算出する場合を表している．${\mbox{\boldmath $h_{dec}$}}(t)$の算出の仕方は，以下の式による．
\begin{equation}
{\mbox{\boldmath $h_{dec}$}}(t)=f({\mbox{\boldmath $h_{dec}$}}(t-1),{\mbox{\boldmath $y$}}(t-1),{\mbox{\boldmath $c$}}(t))
\end{equation}

${\mbox{\boldmath $c$}}(t)$は以下の式によって求められる．
\begin{equation}
{\mbox{\boldmath $c$}}(t)=\sum_{\tau=1}^T {\mbox{\boldmath$\alpha$}}_\tau(t){\mbox{\boldmath $h_{dec}$}}(\tau)
\end{equation}

つまり，この${\mbox{\boldmath $\alpha$}}_{\tau}(t)$が，Encoder側のそれぞれの単語をどれくらいデコーダー側に伝えるかの割合を表している．
\begin{equation}
{\mbox{$w$}}_\tau(t)=f({\mbox{\boldmath $h_{dec}$}}(t-1),{\mbox{\boldmath $h_{enc}$}}(\tau))
\end{equation}
なる${\mbox{$w$}}_\tau(t)$を用いて，
\begin{equation}
{\mbox{$\alpha$}}_{\tau}(t)=\frac{ exp({\mbox{$w$}}_\tau(t)) }{ \sum_{\rho=1}^T exp({\mbox{$w$}}_\rho(t)) }=softmax({\mbox{$w$}}_\tau(t) )
\end{equation}
と表される．この${\mbox{$w$}}_\tau(t)$が最適化されるべきパラメータである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{Pointer-Generatorモデル}

Pointer-Generatorモデルについて説明する．Pointer-GeneratorモデルはEncoder-Decoder + Attentionモデルに，Copy MechanismとCoverageMechanismを追加したモデルである．概要図は図3の通りとなる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 3
\begin{figure}[b]
\begin{center}
\includegraphics{28-2ia2f3.pdf}
\end{center}
\caption{Pointer-Generatorモデルの概略図\protect\cite{See_2017}}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

このモデルは以下の手順で処理を行う．

\begin{itemize}
\item[1.] 入力テキスト(Source Text)を，双方向LSTMでエンコードする．可変長の長さのデータを固定長のベクトルになおす．（赤色箇所）
\item[2.] EncorderLSTMでAttention Mechanism（青色箇所）を用いて，単語生成確率（黒色箇所）を求める．
\item[3.] デコード部分(Partial Summary)における単語の生成確率分布(Vocabulary Distribution)に，エンコード部分におけるAttentionの値(Attention Distribution)を加算する(Copy Mechanism) (Final Distribution)．
Copy Mechanismによって，モデルの出力語彙には含まれない単語を生成することが可能となる．
\item[4.] Final Distributionから最終的に生成する単語を選択
\item[5.] 2.〜4. を繰り返して，逐次的に単語を生成．文章の終わりを表すトークンが選ばれたら，そこで，デコード（要約）は終了する
\end{itemize}

Coverage Mechanismを使うときは，2.の時点において以下の処理を行う．

\begin{itemize}
\item[　]以前Attentionの値が大きかったところは，Attention値を減衰させる．これには，現在注目しているEncoderの単語以前のAttentionを総和したCoverage Vectorを導入する．また，それをAttention Distribution（Encoderに入力された全語彙のAttention分布）の式に加える．そして，最終的な損失に，現在のAttentionかCoverage Vectorの低い方を加える．そうすることで，Attentionの方が低いときは，現在の単語のAttentionが減衰するように学習され，Coverage Vectorの方が低いときは，現在の単語が重要ということなので，それまでのAttentionが減衰するように学習する．
\end{itemize}

この処理を行うことで，できるだけ入力文章全体の情報を用いて要約を生成するようにする．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験条件}

この章では，本研究における実験条件について述べる．5.1節では，パラメータ設定と，デコードする（要約を生成する）ときに使うビームサーチについて説明する．5.2節ではEarly Stoppingについて説明する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{パラメータ設定}

本研究では，データセットにCNN/Daily Mail Dataset (DeepMind Q\&A Dataset)を用いた．このデータセットは，訓練データが287,226記事，検証データが13,368記事，テストデータが11,490記事存在する．データ拡張の効果を見るために，287,226記事の他に，約1/5の記事数である 57,000記事と，約1/10の記事数である28,000記事で実験を行った．隠れ層のベクトルサイズは256に設定し，埋め込みベクトルサイズは128に設定した．ドロップアウトは使っていない．バッチサイズは8に設定した． Pointer-Generatorモデル(See, Liu, and Manning 2017) （以降この論文を原論文と呼ぶ）では，バッチサイズが16となっているため，同じ記事数学習するためには，二倍の学習回数が必要となる．要約を生成する部分には，ビームサーチを使用した．貪欲法では，単語を生成するときに，最も生成確率の高い単語をひとつ選ぶのに対し，ビームサーチでは，上位K個までの生成単語を保持しながら処理を進めていく．そして最終的にできた複数の要約に対して，それぞれの単語の生成確率を掛け，最も高いものを最終的な生成要約とした．今回の実験では，Kの値は4に設定している．語彙数は50,000に，学習率は0.15に設定した．原論文では，エンコードする際に，入力記事の最初から400単語のみを用いて，学習していたが，提案手法の場合，取り除かれる不要文が最初から400単語以内にない場合，文を取り除いた効果が無くなってしまうので，入力記事全ての単語を用いて学習した．具体的には，入力単語数に，入力記事の中の最大単語数である2,380を用いた．また，最適化アルゴリズムはAdaGradを用いた．これらのパラメータを表1に示した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[t]
\input{02table01.tex}
\caption{パラメータ設定}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{Early Stopping}

Early Stoppingというのは，通常，各エポックの検証誤差（学習したモデルを使って，学習データ以外の検証データを入力して得られた要約と参照要約との生成確率の誤差）をモニタリングし，ある一定のエポック数が進んでも，検証誤差が下がらなかったところで学習を終了するというものである．Ouchiらの研究\cite{Ouchi_2019}では90,000記事，45,000記事，において提案手法と拡張なし手法の比較を行っているが，異なる記事数における学習回数の決定法について考察をしていなかった．具体的には，90,000記事，45,000記事が全記事に対して約1/3，1/6の記事数になるということから，学習回数も287,226記事のときの1/3，1/6回にしていた．それに対し本研究では，モデルや訓練記事数に応じた学習回数を決定する方法としてEarly Stoppingを採用した．訓練データ数287,226記事，57,000記事，28,000記事それぞれで，各手法において検証誤差をモニタリングし，どれだけのエポック数をモニタリングすればよいかを決定した．モニタリングするエポック数については，最小の検証誤差を出したエポック数の2倍までモニタリングする（例えば，5エポックで検証誤差が最小なら10エポックまでモニタリングしてそれでも最小値が更新されなければ，5エポックのモデルを採用する）．デコード（要約）に使うモデルは，誤差が最小となったときのモデルを使うことにする．我々は，Coverage Mechanismにおいては，Coverage Lossを用いて，各ステップにおいてモニタリングした． 


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験}

6.1節では，評価に用いた尺度を，6.2節，6.3節では拡張なし手法，提案手法，SR，RI，RS，RDについて，Early Stoppingの条件を変えた比較実験を述べ，6.4節，6.5節では6.3節の実験2に対して，記事数を変えて比較実験をした結果を載せた．6.6節では，さらに比較対象として，DA-Luhn，DA-LexRank，EDAを加えて実験をした結果を載せた．6.7節では，生成した要約例を載せた．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{評価尺度}

本研究では，評価尺度にROUGEを用いた\cite{Lin_2004}．ROUGEは，参照要約と生成要約の単語の一致率を見るものである．本研究における参照要約は，CNN/Daily Mail Dataset (DeepMind Q\&A Dataset)において人が作った要約である．本研究では，ROUGE-1，ROUGE-2，ROUGE-Lを用いた．ROUGE-1，ROUGE-2は，それぞれユニグラム，バイグラムの一致率，ROUGE-Lは，最長共通部分列の文長に対する割合で測る．参照要約をA B C Dとし，生成要約をA B C X Yとすると，例えば，ROUGE-1の再現率は，3/5で，適合率は，3/4である．ROUGE-2では，要約をバイグラムに直さなければならないので，参照要約は，(A B)，(B C)，(C D)，生成要約は，(A B)，(B C)，(C X)，(X Y)となるので，再現率は，2/4で，適合率は，2/3となる．また，それぞれのROUGEの測り方として，再現率と適合率とF値を用いる．再現率は，参照要約がどれだけ生成要約に含まれているか，つまり，参照要約の単語をどれだけ生成できたかをみるもので，適合率は，生成要約がどれだけ参照要約に含まれているかを考えるものである．F値は再現率と適合率を両方考慮したもので，式(6)で表される．
\begin{equation}
F値=\frac{ 2 \times Recall \times Precision}{Recall + Precision }
\end{equation}

ただし，$Recall$は再現率，$Precision$は適合率を表す．$Recall$，$Precision$の計算式はそれぞれ式(7)，式(8)となる．
\begin{gather}
Recall=\frac{参照要約と生成要約の一致単語数もしくは一致単語長 }{生成要約の単語数 } \\[1ex]
Precision=\frac{参照要約と生成要約の一致単語数もしくは一致単語長 }{参照要約の単語数 }
\end{gather}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{原論文とCoverage Mechanismの条件を揃えた比較実験（実験1）}

本実験では，学習記事数を最大記事数である287,226記事にして実験を行った．Copy Mechanismに関しては，Early Stoppingで，検証誤差が最小となるようなエポックを見つけた．Coverage Mechanismについては，原論文に倣って，6,000回とした．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{結果}

表2に結果を示す．

原論文とCoverage Mechanismの条件を揃えた条件では，提案手法が最も良くなり，EDAのRD (Random Deletion)手法が最も悪い結果となった．続いて，RI (Random Insertion)，SR (Synonym Replacement)，拡張なし手法，RS (Random Swap)，そして提案手法の順番に良くなっていった． 

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[t]
\input{02table02.tex}
\caption{学習記事数287,226のF値 (Copy Mechanism: Early Stopping, Coverage Mechanism: 6,000)}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{考察}

Coverage Mechanismは6,000回と固定したが，あくまで拡張なし手法において最適な回数である可能性もあるので，実験2では，Coverage Mechanismに関して，Early Stoppingを用いることで，手法に限らず，自動的に決定する手法をとった．実験1の条件下では，提案手法が最も良い結果となり，拡張なし手法に比べて，スコアが0.055良くなっている．本実験の拡張なし手法と原論文との違いは大きく二つある．まず入力単語数を原論文では400単語と限定していたのに対し，本研究では限定をなくした．二つ目は，Early Stoppingを用いたところである．これは，他の記事数で実験したり，他の手法で比べる際に学習回数をヒューリスティックに決めるのを避けるために必要なことであった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{学習回数を全てEarly Stoppingで決定した比較実験（実験2）}

本実験では，実験1と同じく学習記事数を最大記事数である287,226記事にして実験を行った．Copy Mechanismに関しては，Early Stoppingで行い，Coverage MechanismについてもEarly Stoppingで行った．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{結果}

表3に結果を示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 3
\begin{table}[t]
\input{02table03.tex}
\hangcaption{学習記事数287,226のF値 (Copy Mechanism: Early Stopping, Coverage Mechanism: Early Stopping)}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

提案手法が最も良い結果となり，EDAのRS (Random Swap)が最も悪い結果となり，続いて，RD (Random Deletion)，SR (Synonym Replacement)，RI (Random Insertion)，拡張なし手法，そして提案手法の順に良くなっていった． 


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{考察}

本実験ではCoverage MechanismにおいてもCopy mechanismと同様にEarly Stoppingを用いた．結果からみると，提案手法が最も良い結果となった．提案手法は拡張なし手法に比べて，スコアが0.016程度良くなっている．実験1と実験2を比べてみると，拡張なし手法は若干であるが良くなっている．提案手法をみると，少し悪くなっている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{57,000記事におけるデータ拡張効果の検証実験（実験3）}

本実験では，学習記事数を最大の約1/5の57,000記事にして，実験2と同様，Copy Mechanism，Coverage Mechanismの両方でEarly Stoppingを用いた．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{結果}

表4に結果を示す．

提案手法が最も良い結果となりRS (Random Swap)が最も悪い結果となった．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 4
\begin{table}[b]
\input{02table04.tex}
\hangcaption{学習記事数57,000のF値 (Copy Mechanism: Early Stopping, Coverage Mechanism: Early Stopping)}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{考察}

RS (Random Swap)，拡張なし手法，RD (Random Deletion)，RI (Random Insertion)，SR (Synonym Replacement)，そして提案手法の順番に値が良くなっている．提案手法は拡張なし手法に比べて，スコアが0.0251良くなっている．RI (Random Insertion)とSR (Synonym Replacement)は拡張なし手法よりも良くなった．このことから，提案手法に関して287,226記事のときよりもデータ拡張の効果が大きくなったということが言える．また，EDAのうちRS以外は全て拡張なし手法よりも良い結果となった．少ない記事の方がデータ拡張の効果が出ることは，EDAの論文(Wei and Zou 2019)でも報告されている．これは，多くの記事を学習した方が偏りが少なくなり，データ拡張の効果が出にくいことによると思われる．今回の例だと，57,000記事は学習の偏りが多くなり，データ拡張によってデータの複雑性を増すことにより汎化性能が高まったものと思われる．さらに，本実験で言うと，提案手法がEDAの各手法よりも汎化性能を上げるのに有用であったと言える．拡張なし手法に比べて提案手法の方が拡張した分，データは増えているが，学習データを増やせることがデータ拡張手法のメリットであり，学習回数が増える可能性についてはEarly Stoppingで自動化されているのでデータ拡張手法の効果を検証する上で問題ではないと考える． 


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{28,000記事におけるデータ拡張効果の検証実験（実験4）}

本実験では，学習記事数を最大記事数の約1/10である28,000記事にして，実験を行った．Copy Mechanism，Coverage Mechanismの学習回数の決め方は実験2と同じとした．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{結果}

表5に結果を示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 5
\begin{table}[b]
\input{02table05.tex}
\hangcaption{学習記事数28,000のF値 (Copy Mechanism: Early Stopping, Coverage Mechanism: Early Stopping)}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

本実験でも提案手法が最もよい結果となり，SR (Synonym Replacement)で最も悪い結果となった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{考察}

RS (Random Swap)，拡張なし手法，RI (Random Insertion)，RD (Random Deletion)，提案手法，SR (Synonym Replacement)の順番に良くなった．提案手法は，拡張なし手法に比べて，スコアが0.0115良くなった．EDAの手法は，拡張なし手法よりも良くなることもあれば，悪くなることもあった．しかし，提案手法は常に拡張なし手法よりも良い結果を出していた．今回の実験では，SR手法が最も良い結果となっている． 

実験2から実験4までをみると，どれもRS手法が一番悪い結果となっている．一方で，実験1に関しては，提案手法を除いて最も良い結果となっている．RS手法は，ランダムに二つの単語を入れ替えてデータ拡張する手法で，EDAの他の3手法より最も意味的に破綻した文章を作ってしまう可能性がある．そのため，実験2から実験4ではRS手法が最も悪い結果になったものと思われる．実験1に関しては，Coverage Mechanismの学習回数を6,000回として固定して学習しており，他の実験よりも多い回数になっている．そのため，他の実験に比べ全体の文脈をより考慮した形となり，多少文が破綻しても影響が少なかったのではないかと思われる．逆に，SR手法は，全体的にEDA手法の中で最も良い結果を出している．その理由として，SR手法は，同義語に入れ替えるものなので，意味的に最も影響の少ない手法となっているためであると考えられる．残りのRI手法とRD手法は，前者の二つの手法の中間に位置する．RI手法は，ある単語の同義語をランダムな位置に挿入する方法で，RD手法は，ランダムな単語を削除する方法で，いずれも同じ単語数だけ文章全体に影響を与えるという意味で同程度の効果が表れたものと思われる．

提案手法よりもEDA手法全体が悪くなった原因としては，EDAの場合は，特に意味のない単語を挿入したりや単語が入れ替わってしまい意味が取れなくなったり，重要な単語が消されてしまう可能性があることにより汎化性能を上げる効果よりも正しく学習できなかった影響のほうが大きかったと思われる．その点で，提案手法は，不要文を削除するだけなので文章全体の意味が取れなくなることもなく，さらに重要なところが削除されることもないのでデータ拡張による悪い影響は少なく効果がEDAより表れていたものと考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{提案手法，DA-Luhn，DA-LexRank，EDAの比較実験（実験5）}

本実験では，記事数287,226，Copy Mechanism，Coverage Mechanismの学習回数の決め方は実験2と同じとした．そして，本実験ではさらに，DA-Luhn，DA-LexRank，EDAの方法でデータ拡張して学習させた結果も載せた．また，DA-Luhn，DA-LexRank手法と提案手法における不要文抽出の評価実験も行った．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 6
\begin{table}[b]
\input{02table06.tex}
\hangcaption{学習記事数287,226のF値 (Copy Mechanism: Early Stopping, Coverage Mechanism: Early Stopping). 全手法で比較．}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 7
\begin{table}[b]
\input{02table07.tex}
\caption{各手法とROUGEを用いた手法で一致した文の数}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{結果}

表6, 7に結果を示す．

新たに加えた三手法(DA-Luhn, DA-LexRank, EDA)のどの手法も拡張なし手法，提案手法，EDAの各手法(SR, RI, RS, RD)に及ばなかった．表8においては，ROUGEを用いて，要約と最もROUGE-1のF値の高かった文を最重要文とし，要約とのROUGE-1のF値の最も低かった文もしくは，ROUGE-1のF値が0になった文集合を不要文または不要文群とした．そして，提案手法に用いたトピックモデルとDA-LexRankで用いたLexRankとDA-Luhnで用いたLuhnを使って最重要文と不要文を抽出し，一致した文の数を調べた． 


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{考察}

DA-Luhnが最も悪い結果となり，続いて，DA-LexRank，EDA,  RS (Random Swap)，RD (Random Deletion)，SR (Synonym Replacement)，RI (Random Insertion)，拡張なし手法，そして提案手法の順に良くなっていった．この結果から，データ拡張をするために行う文の重要度決めに用いるのは，DA-LuhnやDA-LexRankよりもトピックモデルを用いた提案手法の方が効果があることを確認した．実際，表8を見てもわかるとおり，提案手法を用いた場合の方が，不要文，最重要文とも一致度は高い．ROUGEを使って不要文削除を行えばいいのではないかということも考えられるが，ROUGEはあくまで単語の一致率を見ているので単語がひとつも一致しない文はスコアが0になる．したがって，スコアが0の文同士の重要度の差は生まれない．本研究では，不要文として一文を削除することにしているが， ROUGEだとスコアがどちらも0で差が生まれない場合に一文を選ぶことができないため本研究では扱わなかった．また，EDAは，組み合わせて使うよりもそれぞれの手法を用いた方がデータ拡張の効果が表れやすいことが確認できた．DA-Luhnがトピックモデルを用いたときよりも拡張の効果が表れなかった原因として，DA-Luhnでは，単語の位置と頻度だけを考慮しており，一方で，トピックモデルはTF-IDF行列からトピック分布の事前分布であるディリクレ分布を推定するため，各文章のトピック分布を評価することができる点にあると思われる．次にDA-LexRankがトピックモデルを用いたときよりも拡張の効果が表れなかった原因として考えられるのは，トピックモデルでは，TF-IDF行列から推定したトピックを用いているので，carとautomobileといった同じ意味でも異なる単語を捉えられる．そのようなトピックの観点がDA-LexRankにはなかったことが文の重要度を決めるときに影響を及ぼし，トピックモデルより悪い結果になったものと思われる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 4
\begin{figure}[t]
\input{02fig04.tex}
\caption{ROUGE-1のF値が最大になる場合（要約のみ）}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 5
\begin{figure}[t]
\input{02fig05.tex}
\caption{ROUGE-1のF値が最小になる場合（要約のみ） }
\vspace{-0.5\Cvs}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{生成した要約例}

本文と生成した要約例を付録に載せる．要約例は，拡張なし手法で生成した要約と提案手法で生成した要約とを比較するため，参照要約とのROUGE-1のF値をもとに，実験1において提案手法で生成した要約と参照要約とのROUGE-1のF値が最大になる場合（付録1），最小になる場合（付録2），中央値になる場合（付録3）の三つの場合の要約元文，参照要約，拡張なし手法での要約，提案手法での要約を示した．また，図4〜6は，そのうち要約例だけ示す．


ROUGE-1のF値が最大になる場合（図4）は，参照要約が4文あるが，拡張なし手法モデルはそのうち最初の2文だけ正解している．提案手法は4文とも正解している．ROUGE-1のF値が最小になる場合（図5）は，どちらの手法も正解には程遠いが，``jamal bryant'' というこの文章にしか出てこない固有名詞に対して，うまく生成できているのがわかる．提案手法の方は，文が繰り返されており，Coverage Mechanismがうまく働いていないことがわかる． ROUGE-1のF値が中央値をとる場合（図6）は，どちらの手法も最初の一文だけうまく生成できているのがわかる．総合すると，若干ではあるが提案手法の方が全体として良い要約になっているものと思われる． 

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 6
\begin{figure}[t]
\input{02fig06.tex}
\caption{ROUGE-1のF値が中央値をとる場合（要約のみ） }
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

本研究では，自然言語処理におけるデータ拡張の手法を提案し，自動要約システムPointer-Generatorモデル\cite{See_2017}の場合で，データ拡張の効果があることを示した．また，比較実験により，自動要約システムにおいて汎化性能を出すためには，EDAの各手法およびそれらを組み合わせた手法よりも提案手法の方が効果があることが確認できた．さらに，本研究では，重要度の低い文を取り出す方法として，抽出型要約の3手法（トピックモデル，DA-Luhn，DA-LexRank）で比較実験したが，実験5の結果からトピックモデルの場合が最も不要文抽出の一致度は高かった．したがって，データ拡張の効果もトピックモデルの場合が最も良かった．より少ない学習記事においてデータ拡張の効果が大きく現れるのではないかと考えていたが，実験結果からは，57,000記事のときに一番効果が表れていた．しかし，少なすぎるとデータ拡張の効果が少なくなることがわかった．今回は，一番重要度の低い文を取り除いた文章を拡張記事データとして水増しすることでデータ拡張を行った．しかし，元の文章の長短に関わらず，一文しか取り除いていないので，今後の課題として，文章の長さに応じて取り除く文の数を変えるといった拡張が考えられる．また，重要度の低い文を取り除くのではなく，重要度の高い文を残すというやり方も考えられる．最近の研究では，BERTを使った自動要約システムも考えられている \cite{Liu_2019}．このように，Pointer-Generatorモデルだけでなく最先端のモデルにも提案手法が有効であるか試していく必要性がある．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.6}
\bibliography{02refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\vspace{1.3\Cvs}
\noindent{\large\bf 付録1}

\noindent
ROUGE-1のF値が最大になる場合
\vspace{-0.5\Cvs}

%%%%\fbox{\parbox{14cm}{
\noindent\begin{picture}(420,0)\put(0,0){\line(1,0){420}}\put(0,0){\line(0,-1){170}}\put(420,0){\line(0,-1){170}}\end{picture}

\begingroup
\setlength{\leftskip}{0.5zw}\setlength{\rightskip}{0.5zw}
\setlength{\parindent}{0pt}
要約元の文章

``april 8 , 2015 . after a report on headlines concerning the u.s. and cuba , cnn student news gives some perspective on california 's historic drought : its effects are becoming more likely to ripple across the nation . there 's been a flu outbreak in chicago -- but not one that affects humans . and a proposed tunnel would connect denmark and germany via an undersea road and rail line . on this page you will find today 's show transcript and a place for you to request to be on the cnn student news roll call . transcript . click here to access the transcript of today 's cnn student news program . please note that there may be a delay between the time when the video is available and when the transcript is published . cnn student news is created by a team of journalists who consider the common core state standards , national standards in different subject areas , and state standards when producing the show . roll call . for a chance to be mentioned on the next cnn student news , comment on the bottom of this page with your school name , mascot , city and state . we will be selecting schools from the comments of the previous show . you must be a teacher or a student age 13 or older to request a mention on the cnn student news roll call ! thank you for using cnn student news !''

参照要約

this page includes the show transcript .

use the transcript to help students with reading comprehension and vocabulary .

at the bottom of the page , comment for a chance to be mentioned on cnn student news .

you must be a teacher or a student age 13 or older to request a mention on the cnn student news roll call .

生成要約（拡張なし手法coverage 6000回）

this page includes the show transcript .

use the transcript to help students with reading comprehension and vocabulary .

use the weekly newsquiz to test your knowledge of stories you saw on cnn student news .

生成要約（提案手法coverage 6000回）

this page includes the show transcript .

use the transcript to help students with reading comprehension and vocabulary .

at the bottom of the page , comment for a chance to be mentioned on cnn student news .

you must be a teacher or a student age 13 or older to request a mention on the cnn student news roll call .

%%%%}}
\endgroup
\vspace{-0.5\Cvs}

\noindent\begin{picture}(420,0)\put(0,0){\line(1,0){420}}\put(0,0){\line(0,1){357}}\put(420,0){\line(0,1){357}}\end{picture}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\vspace{1.3\Cvs}
\noindent{\large\bf 付録2}

\noindent
ROUGE-1のF値が最小になる場合
\vspace{-0.5\Cvs}

%%%%\fbox{\parbox{14cm}{
\noindent\begin{picture}(420,0)\put(0,0){\line(1,0){420}}\put(0,0){\line(0,-1){136}}\put(420,0){\line(0,-1){136}}\end{picture}

\begingroup
\setlength{\leftskip}{0.5zw}\setlength{\rightskip}{0.5zw}
\setlength{\parindent}{0pt}
要約元の文章

``please , not even a demonstration . freddie gray 's family had asked there be quiet on baltimore 's streets the day they laid him to rest . and above all , no violence . raging hordes turned a deaf ear to that on monday . but a handful of people repeated the family 's message . they became criers in the desert against countless young people flinging rocks at police , breaking windows , looting and setting fires . the peacemakers -- clergy , gray 's family and brave residents -- placed themselves in the rioters ' way . their message was the same . `` i want them all to go back home , '' said rev. jamal bryant . `` it 's disrespect to the family . the family was very clear -- 
\linebreak\begin{picture}(0,0)\put(-4.5,9){\line(0,-1){571}}\put(415.5,9){\line(0,-1){571}}\end{picture}%
we 've been saying it all along -- today there was absolutely no protest , no demonstration , '' he said . but the messengers were a finger in a dam that quickly crumbled , as rowdy groups swelled into a full urban riot . it overshadowed the message peaceful protesters delivered on prior days -- justice for gray . the 25-year-old african-american man died from spinal injuries after being arrested earlier this month . the early fits of violence came in the afternoon , about the time mourners left gray 's memorial services blocks away , rev. bryant said . they bumped right into it . `` for us to come out of the burial and walk into this is absolutely inexcusable , '' he said . he did not want to see it spread to downtown baltimore , where some rioters said it would , and organized people to stand in the way . `` we have a line of gentlemen from the nation of islam to build a human wall , as well as men from the christian church making that human wall , '' he said . but as crowds turned into multitudes , the intervention became a drop in the bucket by compare , and police lines were also no match . as officers in riot gear receded , flames engulfed cars and stores and roared out of apartment buildings into the night sky . a senior living facility under construction by a baptist church burned to the ground . the blazes stretched the fire departments ' resources , as at least 30 trucks deployed . looters streamed into a cvs , bodegas and liquor stores and walked out with what they could carry . a young man in a blue sweatshirt tried to talk people down by himself . he walked up to cnn correspondent miguel martinez , as a store nearby was being looted . it later went up in flames . the man , who did n't say his name , was disgusted at what was happening in his neighborhood and disappointed in the police response to rioting . there was a line of police down the street , not far away . `` they could have moved down here to stop it , '' he told martinez . the gray family 's lawyers , again , put the family 's wish out to the public that there be no protests that day , let alone violence . it 's marring the cause and hope for change that may have 
come out of the investigation into freddie gray 's death , said family attorney mary koch . `` that 's just disintegrated into just looking at baltimore city and thinking that the city is the city of violence , '' she said . against all odds , a handful of individuals kept trying to stop it . a tall , adult man walked up to a young man who was confronting riot police. he slung an arm over his shoulder , turned him back around in the other direction and marched him away from police lines . but as they strolled past a crowd , a young man behind them hurled a stone at police , putting his whole body into the throw . at least one young man paid the price for his participation , when his mother turned up to spank him home . before running cameras , she slapped him in the head again and again , driving him away from the crowd , as she cursed . police commissioner anthony batts later thanked her . `` i wish i had more parents that took charge of their kids out there tonight , '' he said . after night fell , giving way to a 
\linebreak\begin{picture}(0,0)\put(-4.5,9){\line(0,-1){571}}\put(415.5,9){\line(0,-1){571}}\end{picture}%
10 p.m. curfew for juveniles , robert valentine stood alone with his back to a line of police in riot gear . he shooed away young people tempted to approach them . `` go ! step your -- ss away ! '' `` i 'm just a soldier , '' said valentine . he told cnn 's joe johns that he was a veteran of the vietnam war . young people had no business on the streets , he said . `` they need to be in their home units studying and doing something with their lives . '' even baltimore members of the crips and bloods , two street gangs renowned for drug dealing and extensive violent crime -- and for killing each other -- came together with others who condemned the rage that swept through their neighborhoods . `` the guys who pulled me aside are self-identifying as crips and say they do n't approve of whats happening . ` this is our community , ' '' wrote baltimore sun reporter justin fenton on his confirmed twitter account . gangs members joined community leaders and gray 's family for a press conference monday night on the stage at new shiloh baptist church , which had held gray 's funeral . an announcer thanked them for coming to the church . the gangs have signed a peace deal and are uniting to push against police lines in protests , according to a report by the daily beast . rev. bryant also mentioned their peace treaty . but police say the gangs ' purpose goes much further -- that they and another gang called the black guerilla family plan to ` take out ' law enforcement officers , police said . `` this is a credible threat . '' the gangs are consistently pursued by the fbi . at the end of the day , gray 's family had the last word on the violence at the press conference . it was n't good . `` to see that it turned into all this violence and destruction , i am appalled , '' said richard shipley , gray 's stepfather . `` i want y' all to get justice for my son , but do n't do it like this here , '' said gray 's mother gloria darden , who wore a t-shirt with her son 's photo . `` i do n't think that 's for freddie , '' his twin sister fredericka gray said . `` i think the violence is wrong . '' after 
had been bitterly marred by the rioting . murphy asked for a show of hands in the church audience of people who had experienced police brutality or personally knew someone who did . all but a few hands went up .''

参照要約

gray 's family asked there be no protests ; they condemned violence .

community leaders and brave residents got in between rioters and police .

生成要約（拡張なし手法coverage 6000回）

`` i want them all to go back home , '' rev. jamal bryant tells cnn 's rev. jamal bryant .

the gangs have signed a peace deal and are uniting to push against police lines .

the gangs are consistently pursued by the fbi .

生成要約（提案手法coverage 6000回）

`` i want them all to go back home , '' rev. jamal bryant says .

`` i want y' all to get justice for my son , '' `` i 'm just a soldier , '' stepfather says .

`` i want y' all to get justice for my son , but do n't do it like this is for freddie , '' stepfather says .


%%%%}}
\endgroup
\vspace{-0.5\Cvs}

\noindent\begin{picture}(420,0)\put(0,0){\line(1,0){420}}\put(0,0){\line(0,1){51}}\put(420,0){\line(0,1){51}}\end{picture}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\vspace{1.3\Cvs}
\noindent{\large\bf 付録3}

\noindent
ROUGE-1のF値が中央値をとる場合
\vspace{-0.5\Cvs}

%%%%\fbox{\parbox{14cm}{ 
\noindent\begin{picture}(420,0)\put(0,0){\line(1,0){420}}\put(0,0){\line(0,-1){442}}\put(420,0){\line(0,-1){442}}\end{picture}

\begingroup
\setlength{\leftskip}{0.5zw}\setlength{\rightskip}{0.5zw}
\setlength{\parindent}{0pt}

要約元の文章

``britain bucked the trend of western nations by increasing spending on foreign aid last year while others imposed savage cuts . more than half the members of a group of 28 industrialised nations reduced their aid budget between 2013 and 2014 , a report found . britain 's failure to follow suit -- thanks to a target imposed by david cameron -- means that its overseas aid spending of 0.7 per cent of national income is double the average level of the other nations in the group known as the development assistance committee . a target set by david cameron -lrb- pictured at a rally this week -rrb- has left britain unable to follow other countries in reducing their aid budget between 2013 and 2014 . out of every \# 100 spent by these western nations on overseas aid , no less than \# 14 now comes from the uk . overall across these 28 countries aid budgets fell by 0.5 per cent in real terms , according to the report by the organisation for economic co-operation and development . despite this , the uk increased its spend by 1.2 per cent to \# 11.7 billion in 2014 . it comes on top of even larger increases in previous years . france slashed its aid budget by 9.2 per cent to \# 6.2 billion , the fourth successive decrease . japan 's was cut by 15.3 per cent to \# 5.5 billion . australia cut its foreign aid by 7.2 per cent to \# 2.5 billion , while cash-strapped spain cut its funding by 20.3 per cent to \# 1.1 billion . the uk 's aid budget is now nearly double france 's and ten times the level in spain . in total , 15 members of the dac cut foreign aid , including belgium , italy , norway , poland and portugal . britain was one of 13 countries which increased its budget despite the straitened times . these included germany , the us and new zealand . trade , not aid : conservative mp peter bone . surprisingly , greece , which is dependent on bailouts from the eu and the imf , put up its aid budget by 6.8 per cent . last night tory peter bone , who is standing for re-election as mp for wellingborough , said : ` when we have seen cuts at home , people find it very strange that we can give away so many billions of pounds a year , half of which we do n't even control who it goes to . ` people are telling me on the doorstep during this campaign that we should cut the amount we spend on overseas aid , and increase opportunities for poorer countries to trade with the eu -- trade , not aid , is what we need . what this report shows is that other governments recognise the fact that we have got to look after our own country first , and ensure aid is better targeted . ' britain 's aid budget may need to rise by at least \# 500million in future years , because changes in eu accounting rules make it harder to meet the 0.7 per cent target . the development assistance committee was set up by the oecd which represents richer countries . the oecd 
report , 2014 global outlook on aid , shows that britain is one of only five members of the dac to meet the target of spending 0.7 per cent of national income on aid along with sweden , luxembourg , norway and denmark . the average oecd member spends just 0.39 per cent . in monetary terms , the uk now has the second highest aid budget in the world behind the us which spends \# 19.6 billion . but that is just 0.19 per cent of its national income . france spends 0.36 per cent , and germany 0.41 per cent . the 28 dac members spent a total of \# 81billion on aid last year -- a record figure , but down in real terms . it means the uk 's budget of \# 11.7 billion is a seventh of the entire total for the western world . max lawson , of oxfam , praised britain and criticised countries which have cut their aid budgets . ` aid saves lives , ' he said . ` what we 're seeing is shameful indifference on the part of many of the world 's richest nations . ` their leaders are breaking with impunity the solemn promise they made to help make poverty history . '\,''

参照要約

more than half of members of group of industrial nations reduced aid .

but britain failed to follow suit - thanks to target imposed by mr cameron .

its overseas spending is double the average level of other nations in group .


生成要約（拡張なし手法coverage 6000回）

more than half the members of a group of 28 industrialised nations reduced their aid budget between 2013 and 2014 , a report found .

britain 's failure to follow suit means that its overseas aid spending of 0.7 per cent of national income is double the average level of the other nations .

overall across these 28 countries aid budgets fell by 0.5 per cent in real terms .

生成要約（提案手法coverage 6000回）

more than half the members of a group of 28 industrialised nations reduced their aid budget between 2013 and 2014 .

out of every \# 100 spent by these western nations on overseas aid , no less than \# 14 now comes from the uk .

despite this , the uk increased its spend by 1.2 per cent to \# 11.7 billion in 2014 .

%%%%}}
\endgroup
\vspace{-0.5\Cvs}

\noindent\begin{picture}(420,0)\put(0,0){\line(1,0){420}}\put(0,0){\line(0,1){563}}\put(420,0){\line(0,1){563}}\end{picture}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{大内　智仁}{%
2017年京都府立大学生命環境学部環境・情報科学科卒業．2019年同大学大学院生命環境科学研究科環境科学専攻修了．同年同大学大学院生命環境科学研究科環境科学専攻博士後期課程に進学．
}
\bioauthor{田伏　正佳}{%
1983年神戸大学理学部物理学科卒業．1985年同大学大学院理学研究科修士課程修了．1988年同大学大学院自然科学研究科博士課程修了．学術博士．1992年宮崎大学工学部助手．1999年同大学助教授．2003年京都府立大学人間環境学部助教授．2019年同大学教授．機械学習，コンピュータビジョン，自然言語処理に興味を持つ．
}

\end{biography}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\biodate




\end{document}
