\documentclass[japanese]{jnlp_3.6}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
\usepackage{array}
\usepackage{multirow}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
\usepackage{booktabs}
%%%%\usepackage{color}
%%%%\renewcommand\UrlFont{\rmfamily}
\newcommand{\argmax}{\mathop{\rm arg~max}\limits}
%%%%\newcommand{\red}[1]{\textcolor{red}{#1}}
%%%%\newcommand\blfootnote[1]{%
%%%%  \begingroup
%%%%  \renewcommand\thefootnote{}\footnote{#1}%
%%%%  \addtocounter{footnote}{-1}%
%%%%  \endgroup
%%%%}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{30}
\Number{3}
\Month{September}
\Year{2023}
%%%%\Issuetitle{「　　　　」特集号}


\received{2023}{2}{1}
\revised{2023}{4}{28}
\accepted{2023}{5}{31}

\setcounter{page}{991}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{編集操作予測に基づく語彙制約付きデコーディングによる\\テキスト平易化の難易度制御}
\jauthor{舌　　達也\affiref{Author_1} \and 梶原　智之\affiref{Author_2} \and 荒瀬　由紀\affiref{Author_1}}
\jabstract{%
テキスト平易化の難易度制御は,目標難易度に応じて文を平易化することで，言語学習支援に貢献する技術である．このタスクに対する既存手法には，入力を大幅に言い換える学習が困難である問題と柔軟な文生成が難しい問題がある．提案手法では，平易な出力文に出現させる単語の制約と，出現させない単語の制約を作成し，それらによって難易度を制御しつつテキスト平易化を行う．制約は，文中の各単語に対する編集操作予測，難易度判定，難解な単語の平易な言い換えにより作成する．提案手法は，正・負の制約を用いることで言い換えを促進しつつ，系列変換モデルで柔軟に文を生成するため，既存手法の問題を解決できる．評価実験によって，提案手法が文法性を損なったり，文の意味を大幅に欠落させることなく目標とする難易度に応じたテキスト平易化を実現できることを確認した．
\renewcommand{\thefootnote}{}
\footnote[0]{本論文の内容の一部は，Workshop on Text Simplification, Accessibility, and Readability (TSAR-2022) \cite{zetsu-2022}で報告したものである．}
\renewcommand{\thefootnote}{\arabic{footnote}}
}
\jkeywords{テキスト平易化，テキストの難易度制御，語彙制約，言い換え生成}
\etitle{Controllable Text Simplification Using Lexically Constrained Decoding Based on Edit Operation Prediction}
\eauthor{Tatsuya Zetsu\affiref{Author_1} \and Tomoyuki Kajiwara\affiref{Author_2} \and Yuki Arase\affiref{Author_1}} 
\eabstract{%
In this study, we propose a method for controllable text simplification using lexically constrained decoding. Currently existing methods often leave out the difficult words in the output sentences and need more flexibility in sentence generation. The proposed method creates constraints for identifying words that should not appear in simple output sentences and those that should appear in output sentences. Three elements are involved in creating the constraints: edit operation prediction for each word in the sentence, difficulty determination based on a word-level lexicon, and replacement word identification. Then, a seq2seq (sequence-to-sequence) model based on lexical constraints simplifies text while controlling the difficulty level of the output sentence. The proposed method can simplify text according to the target difficulty level without losing grammatical correctness or disturbing the meaning of sentences.
}
\ekeywords{Controllable Text Simplification, Lexical Constraint, Paraphrase Generation}

\headauthor{舌，梶原，荒瀬}
\headtitle{編集操作予測に基づく語彙制約付きデコーディングによるテキスト平易化の難易度制御}

\affilabel{Author_1}{大阪大学大学院情報科学研究科}{Graduate School of Information Science and Technology, Osaka University}
\affilabel{Author_2}{愛媛大学大学院理工学研究科}{Graduate School of Science and Engineering, Ehime University}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

テキスト平易化 \cite{shardlow-2014}とは，難解な文の意味を保持しつつ文法や語彙を変更し，平易な文に変換する言い換え生成タスクの一種である．
この技術は，構文解析，文書要約，情報抽出，機械翻訳などの他の自然言語処理タスクの性能改善のために使われている \cite{chandrasekar-1996,xu-2009,evans-2011,stajner-2016}．
また，子供や言語学習者への言語学習支援 \cite{watanabe-2009,allen-2009}や，失読症の人々への文章読解支援 \cite{canning-2000}にも役立てられている．
本研究では英語母語話者に対する言語教育支援 \cite{petersen-2007,watanabe-2009,allen-2009}を目的として，難易度制御可能なテキスト平易化に取り組む．
インプット仮説 \cite{krashen-1985}では，学習者の言語能力は，僅かに高い水準の教材で学習することで効果的に向上し，学習意欲を削ぐような過度に難易度の高い教材では向上しにくいとされている．
そのため言語学習の教材は，学習者の言語能力や読解力に合わせて複雑な語彙や構文が少ないテキストに変換して作成される \cite{crossley-2007}．
しかしその作業負荷は高く，教員の負担となっている．
そこで適切な難易度の文を自動生成するために，多段階の難易度付きパラレルコーパスであるNewselaコーパス\footnote{\url{https://newsela.com/data/}} \cite{xu-2015}を用いて，目標とする難易度に合致した平易な文を生成する，テキスト平易化の難易度制御 \cite{scarton-2018,nishihara-2020,agrawal-2021,yanamoto-2022}が研究されている．

テキスト平易化は，文中の単語やフレーズに「削除」や「置換」の編集操作を施すことで実現される．
また言語教育への応用を目的とした場合，文構造を複雑にし，文の難易度を上げる要因となる付加的な情報，すなわち文の主意に対する枝葉の情報，については省略することを許容する．
本研究では難易度をK$12$に基づき幼稚園の年長から高等学校$3$年生までの$13$年間の学年に対応するものとする．
表\ref{tbl:example}に本研究で用いるNewselaから抜粋したテキスト平易化の例を示す．
ここではK$12$における$12$年生（高校$3$年生）向けのテキストを$7$年生（中学$1$年生）や$5$年生（小学$5$年生）向けに平易に書き換えている．
$7$年生向けのテキストにおける\textbf{areas}や\textbf{emotion}は，$5$年生向けのテキストではそれぞれより平易な\textbf{parts}や\textbf{feelings}に「置換」されている．
また$12$年生向けのテキストにおいて，付加的な情報である\textbf{noticeable}や\textbf{according to [...] Biobehavioral Reviews}は，$7$年生および$5$年生向けのテキストでは省略されている．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[t]
\input{05table01.tex}%
\caption{Newselaにおける学年に応じたテキスト平易化の例}
\label{tbl:example}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

深層学習に基づくテキスト平易化の手法には，ニューラル系列変換モデルを用いて文を生成する生成ベースのアプローチ \cite{nisioi-2017,zhang-2017,kriz-2019,martin-2022}がある．
生成ベースのアプローチには，文全体を柔軟に言い換える利点がある．
しかし入力文と出力文が同一言語というタスクの性質上，機械翻訳とは異なり，入力文を大幅に言い換える学習が難しく，積極的な言い換えを行いづらいという問題がある．

一方，もう一つのアプローチとして各単語に対して編集操作を適用して入力文を言い換える編集ベースのアプローチ \cite{alva-2017,dong-2019,kumar-2020}がある．
編集ベースのアプローチでは，各単語に対して行う操作が明示的であるため，生成ベースのアプローチの問題点である保守性は改善されるが，文全体を柔軟に言い換えることは難しい.

生成ベースおよび編集ベースを組み合わせたハイブリッドなアプローチ \cite{kajiwara-2019,agrawal-2021,dehghan-2022}は，語彙に関する制約を生成ベースのモデルに与えることで，各アプローチの利点を活かす．
ハイブリッドなアプローチでは，出力を避ける負の語彙制約として難解な単語を選択し平易な文を生成するが，平易な単語の出力を促す正の語彙制約を適用する試みは行われていない．
正の語彙制約も用いることで，負の語彙制約のみを用いる場合よりも，難解な文から平易な文への言い換えを促進すると期待できる．

そこで本研究では，テキスト平易化の難易度制御の品質を向上させるために，ハイブリッドなアプローチに対し正・負両方の語彙制約を導入する.
具体的には，目標とする難易度と編集操作の予測に基づき，出力文に出現させない単語の制約（負の制約）と出力文に出現させる単語の制約（正の制約）を作成する．
またこれらを用いて，正・負両方の語彙制約を事前訓練済み系列変換モデルに導入し，積極的かつ柔軟な文生成を促進させる.

Newselaコーパス \cite{xu-2015}とNewsela-Autoコーパス \cite{jiang-2020}を用いた英語のテキスト平易化における評価実験の結果，提案手法が平易性に関する評価指標と制御性に関する評価指標を向上させることを確認できた.
また，人手評価を行った結果，比較手法よりも，文法的に正しく，入力文の意味が保たれた文を生成できることを確認した．
これは，提案手法の編集操作予測に基づく制約によって，文法的に正しい文構造や意味を保つことに寄与する単語の出力を促せているからだと考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{テキスト平易化に対するアプローチ}

テキスト平易化は，同一言語内の翻訳タスクと見なすことができるため，機械翻訳モデルが適用されてきた．
従来は統計的機械翻訳モデルによるアプローチ \cite{specia-2010,wubben-2012,xu-2016,kajiwara-2016}が用いられていたが，近年の研究ではニューラルネットワークを用いた生成ベースまたは編集ベースのアプローチや，それらを組み合わせたハイブリッドなアプローチが取られている．

生成ベースのアプローチは，ニューラル系列変換モデルを用いて平易な文を生成するアプローチである．
 \citeA{nisioi-2017} はパラレルコーパスを用いてニューラル機械翻訳モデルの学習を行い，生成ベースのアプローチをテキスト平易化に導入した.
DRESS \cite{zhang-2017}は，文の同義性，文法性，平易性を報酬とした深層強化学習を用いてテキスト平易化を行う手法である．
また，MUSS \cite{martin-2022}は，Webから自動収集した言い換え文対で事前訓練済み系列変換モデルであるBART \cite{lewis-2020}をファインチューニングする手法である．

一方，別のアプローチとして，入力文中の各単語に対して編集操作を適用する編集操作ベースのアプローチがある．
 \citeA{alva-2017}は，入力文中の各単語に対して必要な編集操作を，Bidirectional Long Short Term Memoryを用いて予測した．
このアプローチでは，「置換」，「保持」，「削除」の編集操作を入力文の各単語に適用して言い換えることにより平易な文を生成する．
EditNTS \cite{dong-2019}は，データのソートなどの一般的なタスクを達成するための実行プログラムの生成を学習するニューラルネットワークモデルであるNeural Programmer-Interpreter \cite{reed-2015}を用いて，編集操作列を生成し入力文に適用する手法である．
また， \citeA{kumar-2020}は，文法性や同義性，平易性を考慮しながら編集操作を繰り返し適用する手法を提案した．

生成ベースと編集ベースを組み合わせたアプローチは,語彙制約を生成ベースのモデルに与えることでそれぞれの利点を活かす．
 \citeA{kajiwara-2019}は，ハードな語彙制約手法として，難解な単語の出力を避けるデコーディング手法を提案している．
 \citeA{agrawal-2021}は，入力文中の難解な単語に「削除」の編集操作を施したものに基づき，非自己回帰型系列変換モデルで制約を強制しないソフトな語彙制約による平易化を行っている．
また， \citeA{dehghan-2022}は入力文に「削除」の編集操作を施したものと，事前訓練済み系列変換モデルによる入力文の言い換えを出力候補として，その中から平易な文として適切なものを選択する．
本研究では，ハイブリッドなアプローチに対しソフトな語彙制約を導入し，難解な単語の出力を避けながら平易な単語の出力を促す.


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{難易度を考慮したテキスト平易化}

テキスト平易化の言語学習支援への応用を考慮すると，ただ難解な文から平易な文へ変換するだけでなく，学習者に応じて適切な難易度に文を変換することが求められる．
 \citeA{scarton-2018}は，Newselaを用いて，K12に基づく$2$学年から$12$学年までの$11$段階の難易度を考慮し，難易度に応じて文単位で出力を制御する．
具体的には，入力文の先頭に目標とする難易度のラベルを付与した系列を系列変換モデルに入力することで，目標難易度に応じて出力する．
これにより，難易度を考慮しながらテキスト平易化を行い，自動評価指標であるBLEU \cite{papineni-2002}およびSARI \cite{xu-2016}を改善させた．
また， \citeA{nishihara-2020}は文単位ではなく単語単位で難易度を考慮した出力の制御手法を提案している．
まず，難解な単語は難解な文に出現しやすいという仮定のもと，Newselaから単語単位の難易度を推定し単語難易度辞書を構築する．
そして，損失計算の際に単語難易度に応じて各単語に重み付けをする手法や，推論の際に難解な単語を生成しないようにする手法で，出力文の制御を行う．
本研究では， \citeA{nishihara-2020}と同様にコーパスから単語難易度辞書を構築して制約を作成した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{語彙制約}

語彙制約とは，系列変換モデルのデコーダに対し語彙に関する制約を加えることで出力を制御する手法である．
特定の単語を出力に出現させる正の語彙制約は，対象に関する専門用語や事前知識が存在するテキスト生成タスクにおいて有効性が示されている．
Grid Beam Search \cite{hokamp-2017}は，専門用語を考慮する機械翻訳において通常のビームサーチを拡張して語彙に関する制約を加えることで正の語彙制約を行う．
また， \citeA{anderson-2017}は同様の手法で，画像キャプション生成において，画像内の物体を表す単語に関して正の語彙制約を行う．
一方，特定の単語を出力に出現させない負の語彙制約は，言い換え生成タスクにおいて有効性が示されている．
 \citeA{hu-2019}は，負の語彙制約を適用した言い換え生成によって訓練データを拡張することで，テキストからある仮説が推論されるかどうかを判定する自然言語推論タスクと，ある質問に対して解答を抽出する質問応答タスクにおいてモデルの性能を改善させている．

高速かつ正・負両方の制約を適用できる柔軟な語彙制約手法として， \citeA{lu-2021}はNeuroLogic Decodingを提案している．
この手法は，系列変換モデルへの変更を必要としないソフトな語彙制約を考慮したデコーディング手法であり，あらゆる系列変換タスクに応用可能である．
出力生成の各ステップにおいて，与えられた制約が満たされているかどうかを表す制約状態と生成確率に基づいて出力単語を決定する．
本研究では，正・負両方の制約を作成する手法を提案し，NeuroLogic Decodingをテキスト平易化に導入する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{提案手法}
\label{sec:proposed-method}

提案手法の概要を図~\ref{fig:constraint_generator}に示す．
まず入力文の各単語に対して編集操作の予測（\ref{sec:edit-label}節）と難易度の判定（\ref{sec:identify-level}節）を行う．
そして必要に応じて語彙選択（\ref{sec:select-simple}節）を行い，テキスト平易化にNeurologic Decodingによる語彙制約を導入するための正の語彙制約と負の語彙制約を作成する．
\subsection{単語の編集操作予測}
\label{sec:edit-label}
提案手法では，まず入力文の各単語に対してどのような編集操作を行うべきか予測する．
編集操作は，「削除」，「置換」，「保持」の$3$種類とし，予測器にはBERT \cite{devlin-2019}を用いて各単語に対して$3$値分類を行なって編集操作を予測する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[b]
\begin{center}
\includegraphics{30-3ia5f1.pdf}
\end{center}
\caption{提案手法の構成}
\label{fig:constraint_generator}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

入力文にどのような編集操作が必要かは，目標難易度によって変わると考えられる．
そこで，BERTの入力は入力文の文頭に目標難易度を示すラベルを特殊記号として付加したものとする\footnote{例えば，「$<\bf{3}>$ However, a lot of people are also concerned.」のように付加する．}．
ファインチューニングのための正解ラベルとして，各単語に必要な編集操作を付与したコーパスを人手で作成するのはコストが高い．
したがって正解ラベルは，同一言語内の単語アラインメント手法 \cite{lan-2021}を用いて自動的に作成する．
このモデルを用いて，訓練用コーパスと検証用コーパスの入力文と正解文に対し，単語アラインメントを得る．
入力文の各単語に対し，正解文に対となる単語がない，つまり元の単語が削除されているとき，その単語の正解ラベルを「削除」とする．
正解文に対となる単語があるとき，さらにそれが元の単語と同じなら，その単語の正解ラベルを「保持」とする．
また同様に，正解文に対となる単語があり，かつ元の単語と異なるなら，その単語の正解ラベルを「置換」とする．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{辞書に基づく難易度判定}
\label{sec:identify-level}

難易度判定では， \citeA{nishihara-2020}の難解な単語は難解な文に出現しやすいという仮定に基づき，入力文の各単語が難解かどうかを各難易度におけるTF (Term Frequency) を用いて判定する．
ここで用いるデータセットには，各文に難易度$l\in \{0,1,...,L\}$が付与されているとする．

まず，訓練用コーパスの難易度$l$の文に出現する語彙$V_{l}$を作成する．
$n_{l}(w)$を$V_{l}$における単語$w$の出現回数とすると，単語$w$の難易度$l$におけるTFは
\begin{equation}
\label{probability_of_occurrence}
    \textrm{TF}(w,l)=\frac{n_{l}(w)}{\sum_{w'\in V_{l}}n_{l}(w')}
\end{equation}
で求められる．
難易度$l$においてTFが最も高い時，その単語の難易度を$l$とする．
つまり，各難易度の単語集合の辞書$D_{l}$を式\ref{difficulty_of_word}で定義する．
\begin{equation}
\label{difficulty_of_word}
    D_{l} = \{w|\argmax_{k\in \{0,1,...,L\}}\textrm{TF}(w,k)=l\}
\end{equation}
次に，構築した難易度辞書を用いて入力文中の各単語が難解かどうか判定する．
各単語が目標とする文の難易度よりも高い難易度の辞書に含まれる時，その単語は「難解」であるとする．

この難易度辞書に基づく難易度判定を入力文の全ての単語に適用する．
そして，表\ref{tbl:decide-constraint}で示す規則により各単語を制約にするか否かを決定する．
単語が「難解」かつ予測された編集操作が「削除」の時，その単語を負の語彙制約とする（表\ref{tbl:decide-constraint}，セル[6]）．
さらに，単語が「難解」かつ予測された編集操作が「置換」の時，その単語を負の語彙制約とし，その平易な言い換えを正の語彙制約とする（表\ref{tbl:decide-constraint}，セル[4]）．
平易な言い換えは，次節で説明する方法で選択する．
単語が「平易」かつ予測された編集操作が「保持」の時，その単語を正の語彙制約とする（表\ref{tbl:decide-constraint}，セル[2]）．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[t]
\input{05table02.tex}%
\caption{提案手法における制約の決定方法} 
\label{tbl:decide-constraint}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

なお，単語が「平易」にも関わらず予測された編集操作が「置換」，「削除」の場合や，単語が「難解」にも関わらず予測された編集操作が「保持」の場合（表\ref{tbl:decide-constraint},セル[1,3,5]），編集操作の予測結果と難易度辞書による難易度判定が競合しているといえる．
これらの単語に対する編集操作は，一般的な語彙の言い換えや省略に対応すると考えられるため，テキスト平易化の難易度制御のための制約として適切であるとは考えにくい．
従って，これらの単語は正・負いずれの制約にもせず，出力するか否かは系列変換モデルに委ねる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{平易な単語の選択}
\label{sec:select-simple}

語彙選択では，「難解」かつ予測された編集操作が「置換」（表\ref{tbl:decide-constraint},セル[4]）である単語$w$の平易な言い換えを選択する．
平易な単語の候補$w'$は，難易度が目標難易度$l$以下の辞書に含まれる単語とする．
テキスト平易化は，文の意味を保持しつつ平易な表現を得るタスクであるため，言い換えは元の単語と意味が類似している単語が相応しいと考えられる．

意味的な類似性の判定には，RoBERTa \cite{liu-2019}を用いる．
意味的な類似性の判定では，$2$つの単語を入力とし，意味的な類似度を出力するというタスクで，RoBERTaをファインチューニング \cite{yoshinaka-2022}する．
ファインチューニングには，言い換えに関する大規模データPPDBに収録されている，単語間の同義性のラベル付きデータ\footnote{\url{http://paraphrase.org/#/download}} \cite{pavlick-2015}を用いる．
$1$エポックごとに，検証用データで損失を評価し，7回改善が見られなくなったところでファインチューニングを終了する．

$w$と$w'$に対して，RoBERTaによりスコアを測り，最もスコアが高い単語を$w$の言い換えとする．
難解な単語を負の制約とするため，言い換えにおける元の単語は負の制約とする．
また，平易な単語を正の制約とするため，言い換えた単語は正の制約とする．

このようにして作成した制約を用いて，Neurologic Decodingによる語彙制約を行う．
なお，これら制約はNeurologic Decodingによって強制されるわけではないため，モデルは文の自然さを考慮しながら編集操作予測の情報を利用して文を生成する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{評価実験}

本章では，評価実験の設定およびその結果について議論する．
\ref{sec:exp_settings}節では，本実験で用いたデータセット，評価指標，実装方法，比較手法を示す．
\ref{sec:exp_auto_eval}節では，各手法の出力に対して自動評価を行った結果を示す．
\ref{sec:exp_human_eval}節では，各手法の出力に対して人手評価を行った結果を示す．
\ref{sec:exp_eval_constraint}節では，提案手法で作成した制約の分析を行った結果を示す．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験設定}
\label{sec:exp_settings}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{データセット}

評価用データセットには，既存手法でしばしば用いられているNewselaおよびNewselaの改良版であるNewsela-Auto \cite{jiang-2020}を用いる\footnote{テキスト平易化におけるもう一つの代表的なデータセットとしてWiki-Auto \cite{jiang-2020}があるが，難易度が「難解」と「平易」のみの$2$段階であり，本実験には適さないため除外する．}．
それぞれのコーパスにおいて，各記事にはK12に基づく$2$学年から$12$学年までの$11$段階の難易度が付与されている．
本実験では既存研究に従い，各文の難易度をその文が含まれる記事の難易度とみなす \cite{scarton-2018,nishihara-2020}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{評価指標}

本実験では，
\pagebreak
EASSE \cite{alva-2019}を用いてSARI，Flesch-Kincaid Grade Level (FKGL) ，文長 (Len) を評価する．
SARIはテキスト平易化の評価指標であり，入力文に対して追加された単語 (Add)，入出力間で保持された単語 (Keep)，入力文から削除された単語 (Del) のF値の平均を計算する．
FKGLは，出力文に対して単語数と音節数からアメリカ合衆国の教育制度における学年を推定する．
制御性の観点では，FKGLおよびLenは出力文と正解文との差分が少なければ,そのモデルが優れていると言える．
また，提案手法の平易化の制御性を評価するために，先行研究 \cite{agrawal-2021}と同じく，出力文と正解文のFKGL間のPearson's correlation coefficient (PCC) ，Mean Squared Error (MSE) ，Accuracy (ACC) を測る．
ACCは，出力文と正解文のFKGLの差が$1$以内である出力文の割合である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{手法の実装}

系列変換モデルとして，HuggingFace Transformers\footnote{\url{https://github.com/huggingface}} \cite{wolf-2020}を用いて，事前学習済み系列変換モデルBART-Base\footnote{\url{https://huggingface.co/facebook/bart-base}} \cite{lewis-2020}をファインチューニングする．
BARTは，エンコーダとデコーダの両方で$768$次元の$6$層の隠れ層と，$12$個の注意ヘッドを持つ．
語彙サイズは，$50,265$である．
正則化には埋め込み層および隠れ層にて確率$0.1$でドロップアウトを適用する．
最適化アルゴリズムには，Adam \cite{kingma-2014}を用いて，$20$エポック学習する．
$1$エポックごとに，検証用データセットでSARIを評価し，最も優れたものを最終的なモデルとする．

また，編集操作予測モデルとして，HuggingFace Transformersを用いて，BERT-Base\footnote{\url{https://huggingface.co/bert-base-uncased}} \cite{devlin-2019}をファインチューニングする．
BERT-Baseは，$768$次元の$12$層の隠れ層と，$12$個の注意ヘッドを持つ．
事前学習に用いられた語彙のサイズは$30,522$である．
ファインチューニングには，\ref{sec:proposed-method}章で作成した正解ラベルを用いる．
$1$エポックごとに，検証用コーパスでF1スコアを評価し，$3$回改善が見られなくなったところでファインチューニングを終了する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{比較手法}

本実験では，生成ベース，編集ベース，ハイブリッドなアプローチのそれぞれ代表的な手法と提案手法を比較する．
生成ベースの手法として，文の同義性，文法性，平易性を報酬とした深層強化学習を用いるDRESS \cite{zhang-2017}，テキスト平易化における最先端手法であり，Webから自動収集した言い換え文対でBARTをファインチューニングするMUSS \cite{martin-2022}を用いる．
編集ベースの手法として，Neural Programmer-Interpreterを用いてend-to-endで入力文に編集操作を適用するEditNTS \cite{dong-2019}，文法性や同義性，平易性を考慮しながら編集操作を繰り返し適用する手法 \cite{kumar-2020}を用いる．
ハイブリッドな手法として，難解な単語の出力を避けるデコーディングを行う手法 \cite{kajiwara-2019}，入力文中の難解な単語に「削除」の編集操作を施したものに基づき非自己回帰型系列変換モデルで文を生成する手法 \cite{agrawal-2021},入力文に「言い換え」と「削除」の編集操作を施し，「言い換え」の過程で事前訓練済み系列変換モデルによって文を生成する手法 \cite{dehghan-2022}を用いる．
これらの既存手法について，実験設定が本論文と異なるものについては著者実装を用いて再現した．
また，評価指標の計算の仕方が異なるものは著者の公開した出力を用いて再評価した．
実験設定・評価設定が本論文と同じものについては，結果を論文から引用した．

提案手法のアブレーション実験として，NewselaおよびNewsela-Autoの訓練データを用いてファインチューニングしたBART（提案手法から語彙制約を除いたモデルに該当）と比較する．
また，提案手法における理想的な編集操作，すなわち編集操作予測の正解ラベルで作成した制約を用いた場合の結果である提案手法 (Oracle)とも比較する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 3
\begin{table}[b] 
\input{05table03.tex}%
\hangcaption{Newselaにおける実験結果: $^\dagger$ は著者によって公開された出力を用いて，EASSEで評価した値, $^\star$ は著者らによる公開実装を用いて再現した出力を評価した値, $^\ddagger$ は本実験と同一の設定で行われた実験結果を論文から引用した値であることを示す．}
\label{tbl:newsela_score}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験結果}
\label{sec:exp_auto_eval}

NewselaとNewsela-Autoの評価実験の結果をそれぞれ表\ref{tbl:newsela_score}と表\ref{tbl:newsela-auto_score}に示す.
$3$段に分かれている各手法において，上段が生成ベースのアプローチ，中段が編集ベースのアプローチ，下段がハイブリッドなアプローチである．
Newselaにおいて，提案手法は平易性に関する評価指標であるSARIおよび制御性に関する評価指標であるPCCとMSEで最も高い精度を達成した．
さらに，Oracleは全ての評価指標で先行研究および提案手法を上回っている．
また，Newsela-Autoにおいて，提案手法はSARIおよびMSEで最も良い結果を達成した．

表\ref{tbl:example_output}に提案手法を用いて作成された制約と，それに基づく語彙制約による出力例を示す．
$1$つ目の例では，入力文にはconcernedという単語が出現しているのに対し，正解文ではworriedという単語に置き換わっている．
しかし，BARTではconcernedが残っており，単語の置き換えができていない．
提案手法では，入力文から正の制約としてworried，負の制約としてconcernedを選択することで，
単語が置き換えられており，積極的な言い換えが行われていることが分かる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 4
\begin{table}[b] 
\input{05table04.tex}%
\caption{Newsela-Autoにおける実験結果: 既存手法は著者らによる公開実装を用いて再現した性能である．}
\label{tbl:newsela-auto_score}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 5
\begin{table}[b] 
\input{05table05.tex}%
\caption{提案手法に基づくモデルの出力例}
\label{tbl:example_output}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

$2$つ目の例では，入力文と正解文で主語が異なっており，文構造が変化している．
入力文にはenforceという単語とexpectという単語が出現しているのに対し，正解文にはhave toという句が出現している．
しかし，BARTではenforceとexpectが残っており，文構造が変化していない．
提案手法では，入力文から負の制約としてenforceとexpectを選択している．
この制約を用いて語彙制約を行うと，enforceとexpectを出力しないように文生成することで文構造が変化しており，柔軟な平易化が行われている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{人手評価}
\label{sec:exp_human_eval}

出力文に対して文法性，同義性，平易性の$3$項目の人手評価を行った．
Newsela-Autoからランダムに抽出した$60$文の入力文に対して，学年$2$ （小学校$2$年生），学年$5$ （小学校$5$年生），学年$8$ （中学校$2$年生）の異なる$3$つの対象学年に向けた平易化を行い，$180$文の出力文を生成した．
Newsela-AutoにおけるSARIが提案手法に次いで高く（表\ref{tbl:newsela-auto_score}），テキスト平易化の難易度制御を行なっている \cite{agrawal-2021}を比較手法とする．
先行研究と提案手法の出力文について，Amazon Mechanical Turkの$5$人のワーカーに各項目の評価を依頼した\footnote{付録にワーカーの募集条件および依頼文を記載している．}．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 6
\begin{table}[b] 
\input{05table06.tex}%
\hangcaption{人手評価の結果: 文法性，同義性の平均値と各学年の平易性の平均順位，$^\star$は比較手法と有意な差があることを示す．}
\label{tbl:human_eval}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

人手評価の結果を表\ref{tbl:human_eval}に示す．
文法性および同義性の評価値は，$5$段階の絶対値であるため，全文に対してその平均値を計算した．
平易性の評価値は平易さの順位であるため，対象学年ごとの平均順位を計算した．
学年$2$に向けた出力文の平易さが$1$位で，学年$8$に向けた出力文が$3$位となることが理想的である．
なお，難易度の制御は，出力文の流暢性が高く，文として自然な場合にのみ妥当な判断が可能と考えられるため，流暢性の低い出力文の順位は平均順位の計算から除外した．
具体的には，文法性の評価値の平均が$2$以上のものに絞って平易性の評価値を計算した．
各項目について，提案手法と\cite{agrawal-2021}の平均値が等しいという帰無仮説の下で，有意水準を$5\%$とし，ウィルコクソンの符号順位検定を行った．
その結果，文法性と同義性の$p$値はそれぞれ$1.86 \times 10^{-6}$，$9.96 \times 10^{-3}$となり，有意差が確認された．
一方，平易性はいずれの学年についても有意差はなかった．
したがって，提案手法は文法性と同義性の平均値において先行研究を上回り，平易性に関しては先行研究と同等の制御ができていることが示された．
これは，既存手法の制約が「削除」の編集操作のみを考慮しているのに対し，提案手法の「削除」および「保持」の編集操作予測に基づく制約が，文法的に正しい文構造や意味を保つことに寄与する単語の出力を促せているからだと考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{作成した制約に関する分析}
\label{sec:exp_eval_constraint}

表\ref{tbl:newsela_score}と表\ref{tbl:newsela-auto_score}で示されたように，理想的な編集操作を用いているOracleと予測した編集操作を用いる提案手法の間に，ほとんどの評価指標で大きな差が生じている．
これは，編集操作予測の精度が低いために適切でない制約を選択しているからだと考えられる．
よって，作成した制約の適切さと編集操作予測モデルの分析を行う．

作成した正・負の制約に関して，以下の式で適合率を計算し，その結果を表\ref{tbl:CR_score}に示す．
\begin{align*}
    \mbox{正の制約の適合率} & = \frac{\mbox{正解文に存在する正の制約の数}}{\mbox{正の制約の総数}}\\[1ex]
    \mbox{負の制約の適合率} & = \frac{\mbox{正解文に存在しない負の制約の数}}{\mbox{負の制約の総数}}
\end{align*}
NewselaとNewsela-Autoの両方において，負の制約に比べて正の制約の適合率が低い．
適切な正の制約を作成できなければ，語彙制約によって正解文との一致率が下がり，平易性や制御性が損なわれてしまうと考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 7
\begin{table}[b] 
\input{05table07.tex}%
\caption{作成した制約の評価}
\label{tbl:CR_score}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 8
\begin{table}[b] 
\input{05table08.tex}%
\caption{編集操作予測器の性能評価}
\label{tbl:EP_score}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

次に，本研究で構築した編集操作予測モデルが，編集操作を適切に予測できているかを調べる．
表\ref{tbl:EP_score}に，各データセットにおける予測したラベルと正解ラベルとのprecision, recall, F1を示す．
性能評価から，編集操作予測の精度は高いとは言えず，特に置換の予測ができていない．
これは，NewselaとNewsela-Autoにおいて，「置換」が行われる頻度が低いためと考えられ，実際にそれぞれの全ラベルのうち置換ラベルの割合は$12.6\%$，$6.2\%$となっている．

作成した制約の評価と編集操作予測モデルの性能評価の結果から，「置換」ラベルの予測精度の低さにより正の制約の品質に課題があることが明らかとなった．
従って，編集操作の予測精度の向上が今後の課題である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

本研究では，テキスト平易化における編集操作の予測に基づき，出力文に出現させない単語の制約（負の制約）と出力文に出現させる単語の制約（正の制約）を作成する手法を提案した．
そして，正・負両方の語彙制約を系列変換モデルに導入し，積極的かつ柔軟に，難易度の制御が可能なテキスト平易化を行った．

評価実験の結果，提案手法の正・負両方の語彙制約を用いた平易化によって，平易性と制御性の自動評価で比較手法を凌ぐ性能を達成した．
また人手評価でも文法性や同義性において比較手法を上回った．
一方で，本研究で作成した編集操作予測モデルの性能が十分とは言えず，特に置換すべき単語の予測に課題があることを確認した．
また，本研究では単語単位の制約のみを系列変換モデルに与えているが，平易化はしばしばフレーズ単位でも行われる．
よって，編集操作予測の性能向上やフレーズ単位での制約をモデルに与えることが今後の課題である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本研究は厚生労働科学研究費補助金AC事業JPMW21AC5001の助成を一部受けたものです.


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{05refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\appendix

人手評価（\ref{sec:exp_human_eval}節）において，アノテーションの品質を保証するために，HITの承認数が$1,000$件以上であること，承認率が$98\%$以上であること，アメリカ合衆国在住であることの$3$つの条件を設けて，ワーカーを募集した．
文法性，同義性評価の依頼文と平易性評価の依頼文をそれぞれ図\ref{fig:mturk_gram_mean}と図\ref{fig:mturk_simp}に示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[t]
\begin{center}
\includegraphics{30-3ia5f2.pdf}
\end{center}
\caption{文法性，同義性評価の依頼文}
\label{fig:mturk_gram_mean}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 3
\begin{figure}[t]
\begin{center}
\includegraphics{30-3ia5f3.pdf}
\end{center}
\caption{平易性評価の依頼文}
\label{fig:mturk_simp}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{舌　　達也}{2022年大阪大学工学部電子情報工学科卒業，同年大阪大学大学院情報科学研究科マルチメディア工学専攻に進学．現在に至る．自然言語処理
の研究に従事．}

\bioauthor{梶原　智之}{愛媛大学大学院理工学研究科助教．2013年長岡技術科学大学工学部電気電子情報工学課程卒業．2015年同大学大学院工学研究科修士課程修了．2018年首都大学東京大学院システムデザイン研究科博士後期課程修了．博士（工学）．大阪大学データビリティフロンティア機構の特任助教を経て，2021年より現職．情報処理学会，人工知能学会，言語処理学会，ACL各会員．}

\bioauthor{荒瀬　由紀}{2006年大阪大学工学部電子情報エネルギー工学科卒業．2007年同大学院情報科学研究科博士前期課程，2010年同博士後期課程修了．博士（情報科学）．同年，北京の Microsoft Research Asia に入社，自然言語処理に関する研究開発に従事．2014年より大阪大学大学院情報科学研究科マルチメディア工学専攻准教授，現在に至る．言い換え表現認識と生成，言語学習支援技術に興味を持つ．}

\end{biography}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\biodate






\clearpage






\clearpage

















\end{document}


