\documentclass[japanese]{jnlp_3.8}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{array}
\usepackage{hangcaption_jnlp}
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%%追加パッケージ
%%%%\usepackage{comment} %コメントアウト用
%%%%\usepackage{adjustbox} %表の調整用
\usepackage{arydshln} %表の破線
\usepackage{booktabs} %表の横線
%%%%\usepackage{amsmath} %数式
%%%%\usepackage{amssymb} %数式
\usepackage{bm}
%%%%\usepackage{mathrsfs} %数式：花文字
%%%%\usepackage{xcolor} % カラーパッケージの読み込み
%%%%% 新しいコマンドの定義
%%%%% 文字色を赤にするコマンド
%%%%\newcommand{\redtext}[1]{\textcolor{red}{#1}}
\usepackage{multirow} %表ぶち抜き
%%%%%subcaptionパッケージ
%%%%\makeatletter
%%%%\def\caption@documentclass{elsarticle}%
%%%%\makeatother
%%%%\usepackage[hang,small,bf]{caption}
%%%%\usepackage[subrefformat=parens]{subcaption}
%%%%\captionsetup{compatibility=false}
%%%%%subcaptionの参照にかっこを付ける
%%%%\captionsetup[subfigure]{labelformat=simple}
%%%%\renewcommand{\thesubfigure}{(\alph{subfigure})}
%%%%%subcaptionパッケージ終
%%%%%tag用パッケージ
\newcommand{\semsim}[1]{$\langle$SIM#1$\rangle$}
\newcommand{\lexsim}[1]{$\langle$BLEU#1$\rangle$}
%追加パッケージ終
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\usepackage{hhline}

\Volume{31}
\Number{4}
\Month{December}
\Year{2024}
%%%%\Issuetitle{「　　　　」特集号}

\received{2024}{3}{1}
\revised{2024}{6}{1}
\accepted{2024}{7}{3}

\setcounter{page}{1458}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{意味と表層の類似度を制御可能な言い換えによるデータ拡張}
\jauthor{小笠　雄也\affiref{Author_1} \and 梶原　智之\affiref{Author_2} \and 荒瀬　由紀\affiref{Author_3}}
\jabstract{%
表層が大きく異なる言い換えはデータ拡張に有益である一方，その生成は難しいことが知られている．本論文では，デコーダにサンプリングを適用した折り返し翻訳により生成する多様な疑似言い換えから表層が大きく異なる言い換えペアを抽出することで学習コーパスを構築し，所望の言い換えを生成可能なモデルを実現した．さらに意味および表層の類似度を指定するタグを入力文の先頭に付けるというシンプルな仕組みにより，これらの類似度を制御する．対照学習および事前学習済み言語モデルのpre-fine-tuningにおいてデータ拡張を行い，提案手法の有効性を確認した．さらに (1)言い換えの適切な類似度はdownstream taskに大きく依存すること，(2) 様々な類似度の言い換えが混在するとdownstream taskに悪影響を与えることを明らかにした．
\renewcommand{\thefootnote}{}
\footnote[0]{本論文の内容の一部は，情報処理学会 第$256$回自然言語処理研究発表会 \cite{ogasa-2023nl}およびThe 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation: LREC-COLING 2024 \cite{ogasa-2024-lrec-coling}で報告したものである．}
\renewcommand{\thefootnote}{\arabic{footnote}}
}
\jkeywords{類似度制御可能な言い換え生成，言い換えコーパス}

\etitle{Data Augmentation by Paraphrasing with \\ Controllable Semantic and Lexical Similarities}
\eauthor{Yuya Ogasa\affiref{Author_1} \and Tomoyuki Kajiwara\affiref{Author_2} \and Yuki Arase\affiref{Author_3}} 
\eabstract{%
Paraphrases that exhibit significant surface differences are valuable for data augmentation, yet their generation is known to be challenging. In this study,  we develop a model capable of generating such desired paraphrases employing a straightforward mechanism to manage similarity: tags denoting semantic and lexical similarities are affixed to the beginning of input sentences. We compile a training corpus by selecting paraphrase pairs with distinct surface characteristics from a variety of pseudo-paraphrases generated via round-trip translation.  Experimental results demonstrate the efficacy of our approach through data augmentation in contrastive learning and pre-fine-tuning of pretrained language models. Additionally, our findings indicate that ($1$) achieving an appropriate level of paraphrase similarity largely depends on the downstream task and ($2$) a mixture of paraphrases exhibiting varying degrees of similarity adversely affects downstream task performance.
}

\ekeywords{Controllable Paraphrase Generation, Paraphrase Corpus}

\headauthor{小笠，梶原，荒瀬}
\headtitle{意味と表層の類似度を制御可能な言い換えによるデータ拡張}

\affilabel{Author_1}{大阪大学大学院情報科学研究科}{Graduate School of Information Science and Technology, Osaka
University}
\affilabel{Author_2}{愛媛大学大学院理工学研究科}{Graduate School of Science and Engineering, Ehime University}
\affilabel{Author_3}{東京工業大学情報理工学院}{School of Computing, Tokyo Institute of Technology}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[b]
\begin{center}
\includegraphics{31-4ia2f1.pdf}
\end{center}
%%%%\label{rt_heat}
%%%%\label{paranmt_heat}
%%%%\label{paracotta_heat}
%%%%\label{sim95bleu05}
\hangcaption{各言い換え生成手法による文対の意味・表層類似度の分布（意味類似度はfine-tuningした事前学習済みモデルで，表層類似度はSentence BLEUで測定）．セルの色が濃くなるほど，対応する意味・表層の類似度の文対の比率が高い．}
\label{similarity}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\section{はじめに}
\label{instruction}

言い換え生成 \cite{zhou-bhat-2021-paraphrase}は入力文の意味を保持しながら表現が異なる文を生成するタスクである．
言い換え生成は様々なdownstream taskに貢献する．
特に，生成した言い換えにより疑似的に訓練データを増やすデータ拡張は，主要なアプリケーションの$1$つである\cite{wei2018fast,jolly-etal-2020-data,gao-etal-2020-paraphrase,effendi-etal-2018-multi}．
表層が大きく異なる言い換えは，データ拡張において重要である \cite{qian-etal-2019-exploring}
一方，表層を大きく変化させることで文の意味的な類似性が損なわれやすいため，その生成は困難である \cite{bandel-etal-2022-quality}．
図\ref{similarity}は，疑似言い換え生成手法のひとつである折り返し翻訳 \cite{mallinson-etal-2017-paraphrasing,Kajiwara_Miura_Arase_2020}で生成した文対
\footnote{\ref{simcse_chapter}節で用いる，英語版Wikipediaを折り返し翻訳し生成した文対に対して測定．}
と既存の言い換えコーパスであるParaNMT-50M \cite{wieting-gimpel-2018-paranmt}およびParaCotta \cite{aji-etal-2021-paracotta}に含まれる言い換え文対の意味類似度と表層類似度の分布\footnote{
記号を除去したのちに$4$語以上からなる文対を$5$万文対ずつランダムサンプリングした．意味・表層類似度の測定方法の詳細は，\ref{sim_bleu_metric}節で説明．}をヒートマップで可視化したものである．
図\ref{similarity}から，折り返し翻訳およびParaCottaでは，意味類似度は高いが，表層も近い文対が多くを占めることが分かる．
ParaNMT-50Mでは，表層が大きく異なるが，意味的に乖離しており言い換えとみなせないものも多い．
これらの既存手法では，表層が大きく異なる言い換え生成は難しいといえる．

さらに，本論文では\ref{simcse_chapter}節および\ref{stilts_chapter}節で，データ拡張に適する意味・表層の類似度はタスクに依存し，様々な類似度の言い換えが混在するとデータ拡張に悪影響を及ぼすことを実験的に示した．
これらの実験結果は，言い換え生成における類似度制御が重要であることを示している．
しかし，意味的類似度と表層的類似度の直接的な制御が可能である言い換え生成の先行研究は存在しない．

そこで本研究では英語を対象とし，(1) 表層が大きく異なる言い換えを実現し，かつその生成において (2) ユーザが意味と表層の類似度を直接的に制御できる手法を提案する．
具体的には，サンプリングに基づくデコードによる折り返し翻訳を用いて大量に生成した文対から，意味類似度が高く表層類似度が低い文対を抽出することで，言い換え生成モデルの訓練コーパスを構築する．
そして言い換え文対の意味・表層類似度を示すタグ \cite{johnson-etal-2017-googles}を用い，事前学習済み系列変換モデルをfine-tuningすることにより類似度制御可能な言い換え生成を実現する．
本モデルでは推論時に，言い換えの類似度をタグを用いて容易に指定できる．
%%%%図\ref{sim95bleu05}は提案手法が高い意味類似度かつ，
    図\ref{similarity}(d) は提案手法が高い意味類似度かつ，
低い表層類似度の言い換えを生成できることを示している．


また，本論文では提案手法の内的評価と外的評価を行った．
内的評価では，指定したタグに合致した意味・表層の類似度の言い換えが出力できるかを確認した．
また，タグの埋め込み表現に関する分析により，$2$種類のタグが表す意味・表層の類似度の差が大きいほどタグの埋め込み表現間のユークリッド距離も大きくなることを明らかにした．
外的評価では，対照学習 \cite{gao-etal-2021-simcse,liu-etal-2021-fast}，事前学習済み言語モデルのpre-fine-tuning  \cite{DBLP:journals/corr/abs-1811-01088,arase-tsujii-2019-transfer}に対するデータ拡張の効果を検証した．
結果，提案手法によるデータ拡張がdownstream taskの性能を向上させた．
さらに，訓練済みモデルおよびモデルによって生成した$8,700$万文対の表層が大きく異なる言い換えコーパスを公開した\footnote{\url{https://github.com/Ogamon958/ConPGS}}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}

本研究では，表層が大きく異なるかつ，ユーザが意味・表層の類似度を直接的に制御できる言い換え生成を行う．
本節ではまず，表層的に異なる言い換え生成を促進する先行研究について紹介する．
次に，特定の類似度の言い換えを収集・生成することを目的とした先行研究を紹介する．
これは本研究で，意味類似度が高く表層類似度が低い文対を抽出し，言い換え生成モデルの訓練コーパスを構築するためである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{表層的に異なる言い換え生成を促進する研究}

表層が異なる言い換え生成を促進する方法として，語彙の多様性 \cite{Hu_Rudinger_Post_Van_Durme_2019,niu-etal-2021-unsupervised,zeng-etal-2019}や構文の多様性 \cite{hosking-lapata-2021-factorising,chen-etal-2019-controllable,bao-etal-2019-generating,iyyer-etal-2018-adversarial,yang-etal-2022-gcpg,goyal-durrett-2020-neural}に注目した様々な手法が提案されている．
その他のアプローチには，複数の言い換え生成モデルを用いた強化学習 \cite{qian-etal-2019-exploring}，条件付きGAN \cite{cao-wan-2020-divgan}，潜在表現の摂動 \cite{Gupta_Agarwal_Singh_Rai_2018}，キーワードとスタイルを指定しながらのドロップアウトの適用 \cite{chen-etal-2022-mcpg}，単語の削除や文分割の前処理によって学習コーパスの多様性を高める手法 \cite{maddela-etal-2021-controllable}がある．
また\citeA{martin-etal-2022-muss}はwebから大規模な疑似言い換えコーパスを自動収集して言い換えモデルの訓練を行っており，表層が多様な言い換え生成を促進する効果が期待される．
これらの先行研究のアプローチでは，ユーザは言い換えの類似度を制御することが難しいという課題がある．
本論文では，意味・表層の類似度に関するタグを用いるというユーザが制御しやすい方法で表層的に大きく異なる言い換え生成を促進する．

意味・構文・語彙の類似度の制御を行うことで表層が大きく異なる言い換えを生成する研究 \cite{bandel-etal-2022-quality}も存在する．
\citeA{bandel-etal-2022-quality}の手法では，各入力文に基づき，期待される言い換えの意味・構文・語彙類似度を推定する．
さらに，「オフセット」と呼ばれる値をユーザが設定し，入力文から推定された類似度に加えることで生成する言い換えの最終的な類似度を決定する．
しかしながら，この手法では最終的な類似度が入力文に大きく依存し，直接的な制御をできない．
対して，本論文の手法では意味類似度と表層類似度をユーザが直接設定するため，生成する言い換えの類似度を直接的に制御できる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{特定の類似度の言い換えの収集・生成を目的とする研究}

ParaCotta \cite{aji-etal-2021-paracotta}は， Sentence BLEUが低い折り返し翻訳ペアを選択することで言い換え文対を収集している．
%%%%しかし，図\ref{rt_heat}で示したように，
    しかし，図\ref{similarity}(a) で示したように，
単純な折り返し翻訳では表層的に異なる言い換えが生成されにくい．
\citeA{Chowdhury_Zhuang_Wang_2022}は特定のtranslation edit rate \cite{snover-etal-2006-study}の値を持つコーパスを用いて，\citeA{meng-etal-2021-conrpg}は特定の類似度のコーパスを用いて，それぞれ系列変換モデルの学習を行う．
これらの先行研究で構築されたモデルは，類似度制御機構をもたず，ユーザが求める類似度の言い換えを生成できない．
対して，本研究では生成する言い換えの類似度を制御可能なモデルを構築する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[b]
\begin{center}
\includegraphics{31-4ia2f2.pdf}
\end{center}
\caption{類似度制御可能な言い換え生成モデルの構築の概要}
\label{constraint_maker}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{類似度制御可能な言い換え生成}

提案手法の概要を図\ref{constraint_maker}に示す．
本手法ではまず意味・表層類似度をタグとして付与 \cite{johnson-etal-2017-googles}した訓練コーパスを構築する．
次に，タグを使った類似度制御可能な言い換え生成ができるように，事前学習済み系列変換モデルをfine-tuningする．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{意味・表層類似度推定}
\label{sim_bleu_metric}

\textgt{意味類似度}はfine-tuningした事前学習済みモデルで推定する．
モデルの学習には，$2$文間の意味に関する類似度のラベル付きコーパスを用いる．
\textgt{表層類似度}は$2$文間のSentence BLEU \cite{papineni-etal-2002-bleu}により推定する．
この指標は，言い換えコーパスの語彙の類似度（多様性） \cite{chen-dolan-2011-collecting,tian-etal-2017-ecnu,jiang-etal-2020-neural}を評価する際一般的に用いられる．
意味類似度と表層類似度は，$[0,100]$に正規化する．
なお，微細な表記ゆれが類似度推定に影響することを避けるため，類似度推定の前に入力文と出力文の双方において記号除去を行う．
具体的には，アルファベット，数字，空白文字，コンマ，ピリオド以外の記号を除去する．
また，すべての大文字を小文字に変換する．


本研究では，意味類似度が$70$より大きく表層類似度が$45$以下の文対を，表層が大きく異なる言い換えとする．
意味類似度と表層類似度を$5$単位で区切り，前者のタグとして\semsim{70}，\semsim{75}，\semsim{80}，\semsim{85}，\semsim{90}，\semsim{95}の$6$種類，後者のタグとして\lexsim{0\_5}，\lexsim{10}，\lexsim{15}，\lexsim{20}，\lexsim{25}，\lexsim{30}，\lexsim{35}，\lexsim{40}の$8$種類を使用する．
例えば\semsim{70}のタグは，文対の意味類似度が$70$より大きく$75$以下であることを表す．
なお，表層類似度が$0$以上$10$以下となる文対が少なかったため，まとめて\lexsim{0\_5}のタグを付与した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{様々な類似度の文対の生成と表層が大きく異なる言い換えの抽出}
\label{trans}

折り返し翻訳は言い換えを自動生成する一般的な手法の一つである．
%%%%しかし，単純なビームサーチを用いた折り返し翻訳では，図\ref{rt_heat}に示した通り，
    しかし，単純なビームサーチを用いた折り返し翻訳では，図\ref{similarity}(a) に示した通り，
言い換えの表層類似度が高くなりやすい．
そこで，デコーダのソフトマックス計算に温度を適用（式 (\ref{sampling})）しながら，Top-$k$サンプリングを採用し，様々な類似度の文対を生成する．
\begin{equation}
\label{sampling}
\text{Softmax}(\bm{z})_i=\frac{\exp(\bm{z}_i/T)}{\sum_j \exp(\bm{z}_j/T)}
\end{equation}
$\bm{z}$はデコーダの最終隠れ層の出力ベクトル，$T$はトークンの出力確率分布を制御する温度である．また，$i$は対応するトークンのインデックスを表す．
温度$T$が大きいほど，ソフトマックスを計算した結果得られる値の分布が小さくなり，出力確率が各トークンに等しく割り当てられる．
したがって，温度とTop-$k$サンプリングを組み合わせると，翻訳モデルは多様なトークンを出力する． 
しかし本手法では，意味が乖離しすぎており言い換えと認められない文対も生成されてしまう．
そこで様々な類似度の文対を大量に生成し，\ref{sim_bleu_metric}節に基づく類似度推定を行い，
表層が大きく異なる言い換えのみを抽出する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{訓練コーパスの構築}
\label{sec:corpus}

\citeA{Kajiwara_Miura_Arase_2020}に従い英独・独英の折り返し翻訳を行う．
翻訳器には，\citeA{ng-etal-2019-facebook}によって訓練されたTransformer \cite{vaswani-2017}に基づく英独翻訳器\footnote{\url{https://huggingface.co/facebook/wmt19-en-de}}および独英翻訳器\footnote{\url{https://huggingface.co/facebook/wmt19-de-en}}を用いた．
Top-$k$サンプリングの$k$と温度$T$を定めるために，$k=\{10, 20, 30, 40\}$，$T=\{1.0, 2.0, 3.0, 4.0\}$を候補値として探索した．
候補値を変更しながら文対の生成を行い，意味類似度と表層類似度の分布を確認した．
さらに，生成した文対から数文を抽出し，流暢性，意味・表層類似度に関して手作業による分析を行った．
分析の結果，$(k,T) = (20,3.0),(30,2.0)$の$2$つの組み合わせを用いることにした．
これは，上記$2$つの組み合わせの値では，意味類似度が高く，表層類似度が低い文対が多く生成されており，不自然な文の割合が小さかったためである．
さらに，原言語$\rightarrow$目的言語，目的言語$\rightarrow$原言語，それぞれの方向で$2$種類の組み合わせの値を用いることで，$1$つの入力文から$4$つの文対を得られるようにした．

折り返し翻訳の入力文として，WikiMatrix \cite{schwenk-etal-2021-wikimatrix}の英独対訳コーパスおよびNewsCrawl \cite{akhbardeh-EtAl:2021:WMT}からサンプルした約$3,000$万の英文を用いて，
\ref{trans}節の方法により折り返し翻訳を行い，約$1.2$億の様々な類似度の文対を生成した．
生成した文対すべてについて意味・表層類似度を推定し，表層が大きく異なる言い換えを抽出した．
その後，意味類似度タグ$6$種類と表層類似度タグ$8$種類の組み合わせ，計$48$種類の文対の数が均等になるように，
訓練データ$500$万文対，検証データ$2,700$文対，テストデータ$2,700$文対をサンプルした．
なお，\lexsim{0\_5}のタグが使われている文対は，表層類似度が0--10であり，他のタグと比較し範囲が$2$倍であるため，$2$倍の数の文対をサンプルした．
表\ref{train_data}に構築した訓練コーパスの例を示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[t]
\input{02table01.tex}%
\caption{類似度制御可能な言い換え生成モデルの訓練コーパスの例}
\label{train_data}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{言い換えモデルの構築}
\label{quality_define}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{意味類似度推定モデル}
DeBERTaV3 \cite{he2023debertav}\footnote{\url{https://huggingface.co/microsoft/deberta-v3-large}}をSTS-B (Semantic Textual Similarity Benchmark) \cite{cer-etal-2017-semeval}でfine-tuningして意味類似度推定モデルを構築した\footnote{予備実験により，DeBERTaV3がBERT \cite{devlin-2019-bert}およびRoBERTa \cite{DBLP:journals/corr/abs-1907-11692}と比べて，検証データで高い性能を示した．なお意味類似度推定モデルは訓練コーパスのラベリングにのみ使用され，言い換え生成モデル自体とは独立である．}．
また，Sentence-BERT \cite{reimers-2019-sentence-bert}のCross-Encoderのアーキテクチャを用いた．
初期シードによって性能が変動するため，シードを変えながら$10$回訓練を行った．
$10$個のモデルの中で検証データで最も高い性能を示したものを意味類似度推定モデルとした\footnote{採用した意味類似度推定モデルは検証データで0.928，テストデータで0.924のスピアマンの相関係数を示した．}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{類似度制御可能な言い換え生成モデル}
系列変換モデルであるBART\footnote{\url{https://huggingface.co/facebook/bart-base}}を\ref{sec:corpus}節で構築したコーパスによりfine-tuningすることでモデルを構築した\footnote{類似度タグはBARTの語彙に追加した．}．
推論時には，意味類似度タグと表層類似度タグを入力し，希望する類似度の言い換えを生成できる．
言い換えのデコードにはビーム幅$5$のビームサーチを用い，入力の$0.75$倍から$1.5$倍のトークン数になるように出力長を制限した．
学習時のバッチサイズは訓練，検証ともに$128$，
最適化アルゴリズムには，AdamW \cite{loshchilov2018decoupled}を用い，
学習率は$5$e-$6$とした\footnote{$5$e-$6$，$1$e-$5$，$2$e-$5$の中で，検証データにおける損失が最も小さかった．}．
訓練が$1$エポック終了する度に，検証データで損失を評価し，$5$回連続改善が見られなくなった時に訓練を終了した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{類似度制御可能な言い換え生成に関する内的評価}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{生成した言い換えの定性的分析}
\label{sec:analysis_generated_examples}

%%%%図\ref{sim95bleu05}，図\ref{sim95bleu20}，図\ref{sim95bleu40}は
    図\ref{similarity}(d)，図\ref{model_similarity}(a)，図\ref{model_similarity}(b) は
\semsim{95} \lexsim{0\_5}，\semsim{95} \lexsim{20}，\semsim{95} \lexsim{40} のタグを指定した場合に，類似度制御可能な言い換え生成モデルにおいて生成された言い換えの意味・表層類似度の分布を示す．
セルの色が濃くなるほど対応する意味や表層の類似度を持つ言い換えの比率が高くなる．
英語版Wikipediaからサンプルした$5$万文について，それぞれのタグを用いて言い換えを生成し，類似度を\ref{sim_bleu_metric}節で説明した方法で推定した\footnote{ただし，記号を除去したのちに$4$語以上の文対に対して類似度を推定．$4$語未満の文対では表層類似度の指標となっているBLEUが$0$になってしまうため．}．
$3$種類の図ではいずれも，最も色の濃いセルが指定されたタグに近い類似度を表しており，提案手法が意味・表層類似度の制御性を保持していることを示している．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 3
\begin{figure}[b]
\begin{center}
\includegraphics{31-4ia2f3.pdf}
\end{center}
%%%%\label{sim95bleu20}
%%%%\label{sim95bleu40}
\caption{類似度制御可能な言い換え生成モデルによる言い換えの意味・表層類似度の関係}
\label{model_similarity}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

表\ref{output_good_example}は類似度制御可能な言い換えモデルにより生成された意味や表層類似度が異なる言い換えである．
意味類似度タグが\semsim{95}の出力文は，文の意味を維持しながら表層類似度タグに従った多様な表現である．
一方，意味類似度タグが\semsim{70}の出力文に注目すると，$1$番目の例では，``leg''という表現が``ankle''に変換されており，入力文にはなかった``the French Open''の情報が追加されている．
また，$2$番目の例では，``group''という表現が``victim''と具体化されている．
上記のような表層の変化によって，意味類似度を少し下げた言い換えとなっている．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[t]
\input{02table02.tex}%
\hangcaption{類似度制御可能な言い換え生成モデルによる出力例（入力文はCNN-Daily Mail \protect\cite{see-etal-2017-get}よりサンプル）}
\label{output_good_example}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{表層が大きく異なる言い換えコーパスの構築}
\label{diverse_corpus}
類似度制御可能な言い換え生成モデルを用いて，$8,700$万文対の表層が大きく異なる言い換えからなる大規模な英語コーパスを構築した．
原文にはWiki40-B \cite{guo-etal-2020-wiki}の英文を使用した．
前処理として，pycld3\footnote{\url{https://github.com/bsolomon1124/pycld3}}
を用いて言語の識別を行い，$10$から$100$単語の英文を抽出した．
意味類似度タグには，\semsim{80}，\semsim{85}，\semsim{90}，\semsim{95}を，表層類似度タグには\lexsim{0\_5}，\lexsim{10}，\lexsim{15}，\lexsim{20}を用いた．
すなわち合計で$16$種類のタグによる言い換えがコーパスには含まれる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{生成した言い換えの定量的評価}
\label{model_evaluate}

本節では，類似度制御可能な言い換え生成モデルが入力タグ通りの類似度の言い換えができるかを\ref{sec:corpus}節で自動生成したテストデータセットを用いて評価する．
このデータセットは，折り返し翻訳に温度とTop-$k$サンプリングを組み合わせた手法により構築されている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{評価方法}
\label{sec:metric}

本実験では意味類似度と表層類似度タグのすべての組み合わせに関して評価を行う．
評価は，目的とする類似度と実際に推定された類似度との差の絶対値$d$によって行う．
具体的には式 (\ref{error_calculation}) で計算され，意味類似度に関する差と表層類似度に関する差についてそれぞれ計算する．
タグが表す類似度が，類似度の大きさ$5$を閾値として離散化されていることを考慮した式になっている．
\newpage
\begin{eqnarray}
\label{error_calculation}
    d = \left \{
    \begin{array}{ll}
        x-(\alpha+5) & (x > \alpha+5) \\
        0 & (\alpha \le x \le \alpha+5) \\
        \alpha -x & (x<\alpha)
    \end{array}
    \right.
\end{eqnarray}
$\alpha$は入力タグの類似度である．
例えば，\semsim{70}がタグに使われている場合，$\alpha=70$である．
また，$x$は入力文と出力文の推定された類似度である．
$d$は，「目的類似度」と「実際に推定された類似度」の差が小さいほど$0$に近づき，差が大きいほど大きな値を取る．
このとき類似度は\ref{quality_define}節で述べた意味・表層類似度推定モデルにより自動評価する．
\ref{sim_bleu_metric}節と同様に，類似度の推定時は入力文と出力文の記号を除去する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 4
\begin{figure}[b]
\begin{center}
\includegraphics{31-4ia2f4.pdf}
\end{center}
%%%%\label{sim_evaluate}
%%%%\label{bleu_evaluate}
\caption{目的とする類似度と実際に推定された類似度の差との絶対値}
\label{similarity_evaluate}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{実験結果と考察}
\label{sec:model_result}

%%%%意味類似度に関する評価を図\ref{sim_evaluate}に，
    意味類似度に関する評価を図\ref{similarity_evaluate}(a) に，
%%%%表層類似度に関する評価を図\ref{bleu_evaluate}に示す．
    表層類似度に関する評価を図\ref{similarity_evaluate}(b) に示す．
図\ref{similarity_evaluate}は，入力タグ別に誤差$d$の平均をヒートマップにしたものであり，
セルの赤色が薄くなるほど誤差$d$が$0$に近く，濃くなるほど大きいことを表している．
%%%%図\ref{sim_evaluate}から，
    図\ref{similarity_evaluate}(a) から，
目的意味類似度が高い（\semsim{85}以上）とき， 意味類似度に関する誤差$d$は$6.0$以下に収まっている．
しかし，目的意味類似度が低い箇所においては誤差$d$は大きい．
この結果は意味類似度が高い場合，適切な意味類似度の文を出力できるが，低い場合は難しいことを示している．
要因は，目的意味類似度が低くなるにつれ，出力として妥当な範囲が広がるため，言い換え生成モデルの学習が難しくなることであると考えられる．
%%%%図\ref{bleu_evaluate}から，
    図\ref{similarity_evaluate}(b) から，
表層類似度に関する誤差$d$はすべてのセルで$2.0$から$6.0$の間に収まっており，目的となる表層類似度となる言い換えがタグの種類によらず概ね出力できている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{タグの埋め込み表現の分析}
\label{sec:tag_merge}

本節では，タグの埋め込み表現に関する分析を行う．
タグの埋め込みについては順序関係を考慮するような学習は行っていないが，類似度が近いタグは似た埋め込み表現を持つだろうか？
さらに，類似度タグの埋め込み表現が加法構成性を持っていれば，既存のタグの埋め込み表現から，疑似的なタグを作成できる可能性がある．
これらの仮説を検証するため，タグの埋め込み表現に関する$2$種類の実験を行い，どのような関係性があるかを考察する．
$1$つ目の実験では，タグの埋め込み同士のユークリッド距離の測定を行い，類似度と埋め込み間の距離に相関があるかを検証する．
$2$つ目の実験では，複数のタグの埋め込み表現の平均から，別の種類のタグによる言い換えを生成できるかを評価する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{タグの埋め込み表現間の距離}
\label{sec:tag_distance}

図\ref{tag_distance}はタグの埋め込み表現間のユークリッド距離を表している．
図中の各行は基準となるタグ，各列は該当するタグの類似度からどの程度乖離したタグと比較しているかを表している．
例えば，\semsim{70}の行の$+10$の列の値$0.718$は，\semsim{70}と\semsim{80}の埋め込み表現のユークリッド距離を表している．
図から，意味類似度，表層類似度のタグともに類似度の差が大きいほどユークリッド距離も大きくなっている．
さらに，タグ間のユークリッド距離と$2$種類のタグが表す類似度の差（$+5$など）に関してピアソンの相関係数を測定した．
結果，意味類似度のタグに関する相関係数は$0.945$，表層類似度のタグに関する相関係数は$0.960$となり，$2$種類のタグが表す類似度の差とタグの埋め込み表現のユークリッド距離には強い正の相関がある．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 5
\begin{figure}[b]
\vspace{-0.5\Cvs}
\begin{center}
\includegraphics{31-4ia2f5.pdf}
\end{center}
%%%%\label{tag_distance_sim}
%%%%\label{tag_distance_bleu}
\caption{タグの埋め込み表現間のユークリッド距離}
\label{tag_distance}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{タグの埋め込み表現の加法性}

本節では，
\pagebreak
$2$種類のタグの埋め込み表現の平均を新たなタグ埋め込みとして利用できるか検証する．
具体的には図\ref{tag_figure}に示すように，$2$種類のタグの中間に当たる類似度の（学習済みの）タグ埋め込み (learned\_tag) と，それぞれのタグ埋め込みを平均して得たベクトル (average\_tag) を用いて生成した言い換えを比較する．
Average\_tagの設定における入出力文間の類似度と，learned\_tagの設定における入出力文間の類似度の差分の絶対値を評価指標とする．
図\ref{tag_figure}の例では意味類似度を\semsim{95}とし，表層類似度に関するaverage\_tagでは\lexsim{10}と\lexsim{40}のタグの埋め込み表現の平均を新たなタグとみなし，入力文とともに類似度制御可能な言い換え生成モデルに入力する．
また，learned\_tagとして\lexsim{10}と\lexsim{40}の中間である\lexsim{25}を入力する場合と比較している．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 6
\begin{figure}[b]
\begin{center}
\includegraphics{31-4ia2f6.pdf}
\end{center}
\caption{タグの埋め込み表現の加法性の実験の概要図}
\label{tag_figure}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

表\ref{tag_calculate}にCNN-Daily Mailの英文11,490文を用い，各文に対する評価値の平均を計算した結果を示す．
結果から，全体的に差分は小さく，average\_tagによってlearned\_tagと同程度の類似度の言い換えが生成できることが示される．
さらに，実験した$4$種類の例においていずれも，average\_tagによってlearned\_tagと$80\%$以上の文が同じとなっている．
$1$行目と$2$行目，$3$行目と$4$行目をそれぞれ比較すると，意味類似度と表層類似度共に類似度が離れたタグの平均を取るほうが差分の値が大きい．
Average\_tagとlearned\_tag間のユークリッド距離が大きい，すなわち両者の埋め込みの違いが大きくなったことから，出力にも違いが生じやすくなったと考えられる．
これは完全一致した文数が減少したことからも示唆される．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 3
\begin{table}[t]
\input{02table03.tex}%
\hangcaption{タグの埋め込みの加法性の実験結果．意味類似度に関する評価指標を差分（意味），表層類似度に関する指標を差分（表層）と表記．また，average\_tagによる疑似的なタグの埋め込み表現とlearned\_tagの埋め込み表現のユークリッド距離も\ref{sec:tag_distance}節と同様に測定し，タグ間の距離とした．さらに，average\_tagによる出力とlearned\_tagによる出力が一致した文の割合も計測した．}
\label{tag_calculate}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{対照学習に対する効果}
\label{simcse_chapter}

本節では文埋め込みモデルの対照学習における提案手法によるデータ拡張の効果を検証する．
そこで提案手法を，当技術の代表的な手法であるSimCSE \cite{gao-etal-2021-simcse}に適用した\footnote{類似度制御可能な言い換え生成モデル構築の前処理に軽微な変更を加えたため，\cite{ogasa-2023nl}と実験結果が一部異なっている．}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{SimCSEの学習と評価手法}

SimCSEでは，入力文と近い意味を持つ文（正例）の埋め込みが近づき，異なる意味を持つ文（負例）の埋め込みが離れるよう事前学習済みモデルのfine-tuningを行う．
SimCSEは，生コーパスか自然言語推論タスクのために構築されたNLIコーパスのいずれかを使用して実施できる．
生コーパスを用いる場合，事前学習済みモデルに同じ文を$2$回入力し異なるDropoutを適用した埋め込みのペアを正例とし，負例はミニバッチからサンプルした文を用いる．
NLIコーパスを用いるSimCSEでは，含意関係を持つ文対を正例，矛盾関係を持つ文対を負例とする．

本実験ではSimCSEの実験設定に従い，生コーパスとして英語版Wikipediaからサンプルした$100$万文を，NLIコーパスとして
MNLI \cite{williams2018broad}およびSNLI \cite{bowman-etal-2015-large}からサンプリングした約$28$万文対からなるコーパスを用いてBERT-base\footnote{\url{https://huggingface.co/bert-base-uncased}}のfine-tuningを行った．
SimCSEの実装は著者らによって公開されているプログラム\footnote{\url{https://github.com/princeton-nlp/SimCSE}}を用いた．

STS$12$-$16$ \cite{agirre-etal-2012-semeval,agirre-etal-2013-semeval,agirre-etal-2014-semeval,agirre-etal-2015-semeval,agirre-etal-2016-semeval}，STS-B，およびSICK-R \cite{marelli-etal-2014-sick}の$7$種類のテストセットを用いて，SimCSEによる対照学習の効果を教師なしSTSタスクにより評価した．
評価指標は，各文対の埋め込み間のコサイン類似度により計算された推定類似度と人手の類似度ラベル間のスピアマンの順位相関係数 ($\rho$) である．
SimCSEの訓練における初期シードによる性能への影響を考慮し，シードを変えつつ訓練および評価した$5$回の結果の平均スコアとその$95\%$信頼区間を本論文では報告する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{データ拡張}
\label{simcse_aug}

生コーパスを用いるSimCSEでは，生成した言い換えを正例として使用した．
NLIコーパスを用いるSimCSEでは，オリジナルのNLIコーパスに含まれる正例と負例について言い換え生成を行い，得られた文対をコーパスに追加した．
SimCSEでは，同じ意味を表す文埋め込みを正例として学習を行うため，意味類似度が特に高い言い換えが適切であると仮定した．
そこで提案手法である類似度制御可能な言い換え生成モデルに使用するタグは，意味類似度は\semsim{95}に固定し，表層類似度は\lexsim{0\_5}，\lexsim{20}，\lexsim{40}からそれぞれ一つ組み合わせて入力した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{比較手法}

代表的な言い換え生成手法として，折り返し翻訳によるデータ拡張 (RTT) およびPAWS \cite{zhang-etal-2019-paws}でファインチューニングを行ったT5 \cite{2020t5} (T5-PAWS) \cite{feng-etal-2023-pretraining}\footnote{\url{https://huggingface.co/Vamsi/T5_Paraphrase_Paws}}と比較する．
RTTでは\ref{trans}節と同じ翻訳モデルを使用し，デコード設定は提案手法と同一とした．さらに\citeA{martin-etal-2022-muss}によってwebから収集された大規模な疑似言い換えコーパスによって訓練された言い換え生成モデル\footnote{\url{https://dl.fbaipublicfiles.com/muss/muss_en_mined.tar.gz}}とも比較する\footnote{\citeA{martin-etal-2022-muss}ではこの言い換えモデルをさらにテキスト平易化に適用しているが，本実験ではwebから収集したコーパスで言い換え生成を事前訓練したモデルを用いる．}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験結果と考察}
\label{simcse_results_chapter}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{文間類似度推定における効果}
表\ref{simcse_result}は，SimCSEを生コーパスおよびNLIコーパスで訓練したモデルのSTSでの性能評価を示しており，$1$行目は，データ拡張を行わないオリジナルのSimCSEを再現したものである．
生コーパスを用いた場合，提案手法は\lexsim{20}の表層類似度タグで最高の平均スコアを達成した．
また，その他のタグにおいてもオリジナルのSimCSEの平均スコアを上回っている．
一方，比較手法であるRTTやT5-PAWS，\citeA{martin-etal-2022-muss}では，オリジナルのSimCSEよりも平均スコアが悪化した．
NLIコーパスを用いる場合，表層類似度は最も小さい\lexsim{0\_5}が最高性能となっており，生コーパスを用いる場合とは異なっている．
以上の結果は，データ拡張における適切な類似度がタスク依存であることを示唆している．
類似度のタスク依存性については\ref{stilts_chapter}節において詳しく考察する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 4
\begin{table}[t]
\input{02table04.tex}%
\hangcaption{STSテストセットにおけるスピアマンの順位相関係数$\rho \times 100$（提案手法では意味類似度タグは\semsim{95}に固定，下の行は$95\%$信頼区間）}
\label{simcse_result}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{データ拡張の倍率に応じた効果}
次に，データ拡張の倍率による効果を検証する．
具体的には，NLIコーパスを用いたSimCSEで言い換え文対をさらに追加することにより，コーパスサイズをより大きくする．
言い換えを増やすために，ビームサーチにおける上位$N$個の出力を得ることによって複数の言い換えを生成する．
図\ref{simcse_augmentation_graph}は実験結果のグラフである．
横軸は，元のNLIコーパスのサイズに対する拡張されたコーパスの倍率を表している．
縦軸は，BERTのSimCSE訓練後のSTSタスクで測定されたスピアマンの順位相関係数の平均を示している．
実線はNLIコーパスすべて (full-sized)，破線はNLIコーパスの前半半分 (half-sized) からデータ拡張を行った結果である．
また，異なる表層類似度タグを用いて生成された$3$種類の言い換えを$1$つのコーパスとしてマージする設定 (Merge) も評価した．
なおT5-PAWSについては，表\ref{simcse_result}のNLIコーパスにおける実験結果で他の手法より低い性能であったため，以降の分析では除外する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 7
\begin{figure}[t]
\begin{center}
\includegraphics{31-4ia2f7.pdf}
\end{center}
\caption{SimCSEのデータ拡張倍率の影響}
\label{simcse_augmentation_graph}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

全体として，提案手法によるデータ拡張はRTTや\citeA{martin-etal-2022-muss}によるスコアをほとんどの設定で上回っていることが確認できる．
また，図\ref{simcse_augmentation_graph}から以下の$2$つの考察ができる．
(1) 異なる表層類似度を持つ言い換えが混在することは有害である．
様々な表層類似度を持つ言い換えを組み合わせることで，性能がさらに向上するという仮定があった．
しかし，興味深いことに，この仮定はほとんどの設定で成立しない．
この現象は，コーパスの多様性と一貫性のバランスに関係していると考えられる．
更なる調査が今後の課題である．
(2) データ拡張の倍率が高くなるとスコアは改善しなくなる．
特に，推奨されるデータ拡張の倍率はオリジナルのコーパスのサイズに依存し，表層類似度に関係なくコーパスすべてを用いた設定では$5$倍前後，コーパス半分のサイズの設定では$2$倍になる（\lexsim{40}は除く）．
また，半分のサイズでは言い換えを増やすとスコアの低下が早まる傾向があることが確認できる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{生成した言い換えの多様性}
本節では，提案手法により生成する言い換えの多様性とSimCSEの学習に対する効果について詳しく分析する．
本分析では，オリジナルのNLIコーパス，比較手法，提案手法で$3$種類の表層類似度タグ（意味類似度タグは\semsim{95}）を用いて生成した言い換えによるコーパスの多様性を測定した．
具体的には，ペア間の平均Sentence BLEU，語彙サイズ，事前学習済みGPT-2 \cite{radford2019language}\footnote{\url{https://huggingface.co/gpt2}}で計算したperplexityを用いた．
Perplexity はコーパスの言語的多様性を測定するために，\citeA{ellison-kirby-2006-measuring}や\citeA{gamallo-etal-2017-perplexity}等の既存研究でも広く使われている指標である．
Perplexityが低いとき，\textbf{コーパス全体}における言語的多様性が低くなる．
また，Sentence BLEUは低いとき，\textbf{言い換え文対間}の表層が大きく異なる．

表\ref{simcse_consider_diversity}に結果を示す．
表の$1$行目はオリジナルのNLIコーパスを表している．
$2$行目は折り返し翻訳により，$3$行目は\citeA{martin-etal-2022-muss}によって，$4$行目以降は，提案手法でNLIコーパスの各文を言い換えることより構築されたコーパスである．
平均STSスコアの列は，各コーパスでBERTを訓練した後のSTSタスクで測定されたスピアマンの順位相関係数の平均である．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 5
\begin{table}[t]
\input{02table05.tex}%
\caption{NLIコーパスとその言い換えにおける多様性とSTSの平均スコア}
\label{simcse_consider_diversity}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

提案手法の言い換えによって訓練された全てのSimCSEモデル (\lexsim{0\_5},\lexsim{20}，\\ \lexsim{40}) は，
オリジナルのSimCSEのスコアやRTT，\citeA{martin-etal-2022-muss}によるスコアを上回った．
表\ref{simcse_consider_diversity}
から，RTTにより生成された言い換えと比較を行うと，提案手法の言い換えはSentence BLEUとperplexityが低い．
一方\citeA{martin-etal-2022-muss}と比較した場合，提案手法の$3$つの言い換えはperplexityが低く，Sentence BLEUは同程度である．
語彙サイズについては提案手法がいずれの手法より顕著に大きい．
以上より，SimCSEを改善するためには，言い換え文対間の表層と言語的多様性が影響すると考えられるが，結論を得るにはさらなる調査が必要であり，今後の課題である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{Pre-fine-tuningへの効果}
\label{stilts_chapter}

本節では，事前学習済み言語モデルのpre-fine-tuningのためのデータ拡張について，類似度制御可能な言い換え生成の効果を検証する．
具体的には， \citeA{DBLP:journals/corr/abs-1811-01088}が提案したSupplementary Training on Intermediate Labeled-data Tasks (STILTs) に，提案手法を適用する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{STILTsの学習と評価手法}

Pre-fine-tuningは，fine-tuningを行う前に追加学習を行うことでdownstream taskにおける事前学習済み言語モデルの性能を向上させる手法である \cite{DBLP:journals/corr/abs-1811-01088,arase-tsujii-2019-transfer}．
\citeC{DBLP:journals/corr/abs-1811-01088}は，
QQP\footnote{\url{https://www.quora.com/q/quoradata/}}，MNLI，SNLIなど$4$種類のコーパスとBERT-large，GPT \cite{radford2018improving}，ELMo \cite{peters-etal-2018-deep}の$3$種類のモデルの組み合わせの中で，
MNLIコーパスを用いたBERT-largeでのpre-fine-tuningが，STILTsにおいて最も高性能であることを示した．

Pre-fine-tuningを行ったBERTの性能評価はGLUEベンチマークに含まれる$8$種類のタスク\footnote{WNLIタスクには問題が指摘されているため評価から除外する (\url{https://gluebenchmark.com/faq})．}によって行う．
$8$種類のタスクには，文法が正しいかを判定するCoLA \cite{warstadt-etal-2019-neural}，二値の感情分析を行うSST-2 \cite{socher2013recursive}，言い換え認識のMRPC \cite{dolan2005automatically}とQQP
，STS-B，含意関係認識のMNLI，QNLI \cite{rajpurkar2016squad}\footnote{Phang et al. は古いバージョンであるQNLIv1を用いていたが，本実験ではより新しいQNLIv2を用いた．}，およびRTE \cite{bentivogli2009fifth}が含まれる．
CoLAはマシューズの相関係数，MRPCとQQPはF1スコア，STS-Bはピアソンの相関係数，その他のタスクではaccuracyを評価指標とする．
評価は，GLUEベンチマークの評価サーバ\footnote{\url{https://gluebenchmark.com/leaderboard}}で行う．

訓練コーパスに含まれる文（対）数が$10,000$より多いタスク (SST，QQP，MNLI，QNLI) に関しては$3$エポックの訓練を行う．
ただしpre-fine-tuningでMNLIコーパスを用いるため，MNLIはfine-tuningをスキップする．
一方，BERT-largeでは訓練コーパスのサイズが小さい場合に学習が不安定になることが知られている \cite{devlin-2019-bert}．
そこでCoLA，MRPC，STS-B，RTEについては，
訓練を$10$エポックとし，初期シードを変えながら$5$回実験を行い，検証セットでのスコアが中央値であったモデルを用いて評価する\footnote{ \citeC{DBLP:journals/corr/abs-1811-01088}の設定では，$20$個の初期シードを試し最高性能のモデルを選択した．実験結果の再現性を高めるため，本実験では中央値のモデルを評価に用いた．}．
Pre-fine-tuningやfine-tuningの学習率は$2$e-$5$，バッチサイズは$32$とする．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{データ拡張}

MNLIコーパスの訓練セットを類似度制御可能な言い換え生成モデルを用いて拡張し，STILTsと同様の設定でpre-fine-tuningを行った\footnote{ただし訓練時間を短縮するため，バッチサイズのみ$24$から$32$に変更した．}．
言い換えは\ref{simcse_aug}節のNLIコーパスと同様の方法で生成した．
GLUEベンチマークに含まれる各タスクについて，適切な意味・表層類似度の設定は自明でない．
そこで意味類似度タグは\semsim{70}，\semsim{80}，\semsim{95}の$3$種類，表層類似度タグは\lexsim{0\_5}，\lexsim{20}，\lexsim{40}の$3$種類を組み合わせた
$3 \times 3 = 9$通りの設定でそれぞれ言い換えを生成し，データ拡張を行った．
本実験においても，折り返し翻訳によるデータ拡張を行う場合 (RTT)，PAWSでファインチューニングを行ったT5 (T5-PAWS)，\citeA{martin-etal-2022-muss}と比較を行った．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験結果と考察}

表\ref{stilts_result_table}に，BERTを直接fine-tuningした場合 (BERT-FT)，STILTs，RTT，T5-PAWS，\citeA{martin-etal-2022-muss}と提案手法の性能を示す．
提案手法については最も高い性能となった意味・表層類似度タグとその結果を示している（最高性能のタグが複数ある場合はその内の一つを掲載）．
表\ref{stilts_result_table}より，提案手法は$5$種類のタスクでSTILTsを，$8$種類のタスクでRTTを上回っている．
さらに，T5-PAWSを$5$種類のタスクで，\citeA{martin-etal-2022-muss}を$7$種類のタスクで上回っている．
このように提案手法では，全体としては比較手法を上回るタスクが多い結果となった．
さらにRTT, T5-PAWS, \citeA{martin-etal-2022-muss}ではSTILTsを改善するタスクはそれぞれ$1$種類，$4$種類，$3$種類であった．
これらの結果から，提案手法で類似度を制御することによって様々なタスクに適したデータ拡張を行えることが示された．
また，タスクごとに最適な意味類似度と表層類似度が異なっていることは，適切なタグのタスク依存性を示している．
したがって，言い換え生成における類似度制御は重要である．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 6
\begin{table}[b]
\input{02table06.tex}%
\caption{GLUEベンチマークのサーバで計算されたテストセットのスコア}
\label{stilts_result_table}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


図\ref{bert_on_stilts_heatmap}に，STILTsと提案手法の性能比較を，タスクごとにヒートマップで示す．
縦軸が表層類似度，横軸が意味類似度を表している．
また，青色はスコアの改善，赤色はスコアの悪化，灰色はSTILTsと同等のスコアを表している．
SST-2，MNLI-mm，RTEには濃い青色のセルが存在し，提案手法によるデータ拡張でSTILTsを改善している．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 8
\begin{figure}[t]
\begin{center}
\includegraphics{31-4ia2f8.pdf}
\end{center}
\caption{STILTsを基準とした提案手法の性能}
\label{bert_on_stilts_heatmap}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\textbf{提案手法によるデータ拡張が効果的であったタスク}は，MRPCやRTEのように，タスク自体の訓練コーパスが小さく，pre-fine-tuningで行うMNLIと同種のタスクであった．
これは \citeA{arase-tsujii-2019-transfer}の実験と一致している．
同様にQNLIに関しても，MNLIと同種のタスクであったため効果的であったと考えられる．
また，提案手法はMNLI-mmにおいてもSTILTsの性能を上回っている．
MNLI-mmでは，fine-tuning時のコーパスとジャンルが異なる文を検証セットやテストセットとして用いている．
MNLI-mmで最良であった表層類似度は最も小さい\lexsim{0\_5}であったことから，言語表現の多様性を増したMNLIコーパスによるSTILTsがBERTの頑健性を向上し，MNLI-mmの改善につながったと考えられる．
同様の効果がSST-2にもあったと推察される．
感情分析タスクであるSST-2はMNLIとは関連が薄いが，言語表現の多様性を増したMNLIコーパスによるBERTの頑健性の向上は，SST-2の改善に資するものであったと考えられる．

\textbf{提案手法によるデータ拡張の効果が小さかったタスク}は，MNLI-m，QQPのようにfine-tuningのコーパスが大きいものである．
これらはfine-tuningのみで十分な転移学習が可能だと考えられる \cite{arase-tsujii-2019-transfer}．
また，STS-Bについては，提案手法はBERTより高い性能を示したが，STILTsを上回ることはなかった．
文の文法的正しさを判定するCoLAでは，すべての手法でBERTより性能が低下していた．
これは，CoLAがpre-fine-tuningのタスクであるMNLIと内容が大きく異なるためであると推測される．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

本研究では表層が大きく異なる言い換え生成を可能とするモデルを構築し，さらにタグによる直接的な類似度制御を実現した．
提案手法によるデータ拡張が対照学習およびpre-fine-tuningによる事前学習済みモデルの性能改善に貢献することを実験的に示し，言い換え生成における類似度制御の重要性を明らかにした．
また提案手法はタグによって，言い換えにおける意味・表層の類似度を概ね制御できることを示した．

今後は，テキスト平易化 \cite{sun-etal-2023-exploiting}やスタイル変換 \cite{Kajiwara_Miura_Arase_2020}などの言い換え生成タスクへの応用を検討している．
訓練コーパスが少量のみであるこれらのタスクにおいて，データ拡張を行うことで性能改善を目指す．
さらに提案手法をテキスト平易化やスタイル変換に適するよう訓練するアプローチも検討する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本研究はLINE株式会社およびJSPS科研費 JP21H03564の助成を受けたものです．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{02refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{小笠　雄也}{%
$2023$年大阪大学工学部電子情報工学科卒業，同年大阪大学大学院情報科学研究科マルチメディア工学専攻に進学，現在に至る．自然言語処理に関する研究に従事．
}

\bioauthor{梶原　智之}{愛媛大学大学院理工学研究科講師．$2013$年長岡技術科学大学工学部電気電子情報工学課程卒業．$2015$年同大学大学院工学研究科修士課程修了．$2018$年首都大学東京大学院システムデザイン研究科博士後期課程修了．博士（工学）．$2018$年より大阪大学データビリティフロンティア機構の特任助教，$2021$年より愛媛大学大学院理工学研究科の助教を経て，$2024$年より現職．情報処理学会，人工知能学会，言語処理学会，ACL各会員．}

\bioauthor{荒瀬　由紀}{%
$2006$年大阪大学工学部電子情報エネルギー工学科卒業．
$2007$年同大学院情報科学研究科博士前期課程，$2010$年同博士後期課程修了．
博士（情報科学）．
同年，北京のMicrosoft Research Asiaに入社，自然言語処理に関する研究開発に従事．
$2014$年より大阪大学大学院情報科学研究科准教授，$2024$年より東京工業大学情報理工学院教授，現在に至る．
言語処理学会理事，Association for Computational Linguistics Member At-large．
言い換え表現認識と生成，言語学習支援技術に興味を持つ．
}

\end{biography}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\biodate




\clearpage






















\clearpage


















\end{document}

