\documentclass[japanese]{jnlp_3.7}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
\usepackage{array}
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
\usepackage{booktabs}         
%%%%\usepackage{adjustbox}
%%%%\usepackage{amssymb}
\usepackage{multirow}
\usepackage{udline}
%%%%\renewcommand\UrlFont{\rmfamily}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{31}
\Number{2}
\Month{June}
\Year{2024}
%%%%\Issuetitle{「　　　　」特集号}

\received{2023}{11}{1}
\revised{2024}{2}{8}
\accepted{2024}{3}{6}

\setcounter{page}{590}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{MATCHA：専門家が平易化した記事を用いた \\ やさしい日本語パラレルコーパス}
\jauthor{宮田　莉奈\affiref{Author_1} \and 惟高　日向\affiref{Author_1} \and 山内　洋輝\affiref{Author_1} \and 柳本　大輝\affiref{Author_1} \and \\ 梶原　智之\affiref{Author_1} \and 二宮　　崇\affiref{Author_1} \and 西脇　靖紘\affiref{Author_2}}
\jabstract{%
本研究では，テキスト平易化のための日本語パラレルコーパスを構築し，公開した．本タスクにおける既存の日本語コーパスとしては，非専門家によって構築されたものが訓練に使用されており，専門家によって構築された高品質かつ大規模なものは存在しない．我々は，専門家により平易化された記事に対して人手で文アライメントを行うことで，大規模な文単位のパラレルコーパスを構築した．人手評価の結果，専門家によって平易化されたパラレルコーパスは，非専門家が平易化したものに比べて多様な平易化操作を含んでいることが明らかになった．また，我々の構築したパラレルコーパスは，流暢かつ意味を保持した平易化が行われていることを確認した．
}
\jkeywords{テキスト平易化, パラレルコーパス, 日本語}

\etitle{MATCHA: Parallel Corpus for Japanese Text Simplification Based on Professionally Simplified Articles}
\eauthor{Rina Miyata\affiref{Author_1} \and Hyuga Koretaka\affiref{Author_1} \and Hiroki Yamauchi\affiref{Author_1} \and Daiki Yanamoto\affiref{Author_1} \and \\
	Tomoyuki Kajiwara\affiref{Author_1} \and Takashi Ninomiya\affiref{Author_1} \and Yasuhiro Nishiwaki\affiref{Author_2}} 
\eabstract{%
In this study, we construct and release a Japanese parallel corpus for text simplification. Existing Japanese corpora for this task have been constructed by non-experts, and there is no high-quality, large-scale corpus constructed by experts. We constructed a large-scale parallel corpus at the sentence-level by manually sentence alignment on articles that had been simplified by experts. Our human evaluation revealed that parallel corpora that were simplified by experts contained a more diverse set of simplification operations than those by non-experts. We also found that our parallel corpus is fluently and adequately simplified.
}
\ekeywords{Text Simplification, Parallel Corpus, Japanese}

\headauthor{宮田，惟高，山内，柳本，梶原，二宮，西脇}
\headtitle{専門家が平易化した記事を用いたやさしい日本語パラレルコーパス}


\affilabel{Author_1}{愛媛大学大学院理工学研究科}{Graduate School of Science and Engineering, Ehime University}
\affilabel{Author_2}{株式会社MATCHA}{MATCHA inc.}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle

\renewcommand{\thefootnote}{}
\footnote[0]{本論文の内容の一部は，人工知能学会第37回全国大会 \cite{koretaka-2023}で報告したものである．}
\renewcommand{\thefootnote}{\arabic{footnote}}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

やさしい日本語とは，語彙や文法に制限を加えた，外国人や高齢者など多くの人にとってわかりやすい日本語のことである．
現在の日本では，多様な国籍の在留外国人約300万人\footnote{\url{https://www.moj.go.jp/isa/content/001381744.pdf}}が生活しており，このような日本語非母語話者に対する情報伝達の手段として，やさしい日本語の活用およびやさしい日本語へのテキスト平易化の技術 \cite{alva-manchego-etal-2020-data}が期待されている．
テキスト平易化とは，文の意味を保持しつつ，難解な文を平易に言い換えるタスクのことである．
テキスト平易化は，非母語話者 \cite{wreo15332}や子ども \cite{belder-2010,kajiwara-2013}，失語症などの言語障害を持つ人々 \cite{1998Practical,Dyslexia,autism}の文章読解を支援し，他の自然言語処理タスク \cite{chandrasekar-etal-1996-motivations,Silveira2012EnhancingMS,stajner-popovic-2016-text}の性能を改善する．
近年の研究では，テキスト平易化を同一言語内の機械翻訳の問題として扱い \cite{alva-manchego-etal-2020-data}，難解な文と平易な文からなるパラレルコーパスを用いて，系列変換モデル \cite{vaswani-2017}を訓練する．
本研究では，日本語を対象に，テキスト平易化モデルを訓練および評価するためのパラレルコーパスを構築する．

パラレルコーパスに基づくデータ駆動のテキスト平易化は，英語を中心にドイツ語 \cite{klaper-etal-2013-building,sauberli-etal-2020-benchmarking}やイタリア語 \cite{brunato-etal-2016-paccss}など多くの言語で研究されている．
英語では，非母語話者向けのSimple Wikipediaや専門家によって子供向けに書かれたニュース記事から，文アライメントによって自動構築されたパラレルコーパス \cite{coster-kauchak-2011-simple,xu-etal-2015-problems,jiang-etal-2020-neural}が公開されている．
日本語では，学生やクラウドワーカにより平易化されたSNOW\footnote{\url{https://www.jnlp.org/GengoHouse/snow/t15}} \cite{maruyama-yamamoto-2018-simplified,katsuta-yamamoto-2018-crowdsourced}や，テキスト平易化の専門家によって平易化されたJADES\footnote{\url{https://github.com/naist-nlp/jades}} \cite{hayakawa-etal-2022-jades}がある．
SNOWは，教科書などの日本語文\footnote{\url{http://www.edrdg.org/wiki/index.php/Tanaka_Corpus}}を，非専門家が文単位で平易化した大規模なパラレルコーパスである．
SNOWの平易化は，作者らによって定義された基礎語彙2,000語\footnote{\url{https://www.jnlp.org/GengoHouse/list/語彙}}に基づくため，この語彙で網羅できない表現については，却ってわかりにくい言い回しが見られる．
そのため，SNOWに含まれる低品質な文対を除外するパラレルコーパスフィルタリング \cite{hatagaki-etal-2022-parallel}が研究されている．
JADESは，WMT20 \cite{barrault-etal-2020-findings}日英ニュース翻訳タスクの検証・評価用サブセットを，専門家が文単位で平易化した小規模なパラレルコーパスである．
表~\ref{tab:corpus_kind}に示すように，既存の日本語テキスト平易化パラレルコーパスには，高品質かつ大規模なコーパスは存在しない．

本研究では，高品質かつ大規模な日本語のテキスト平易化パラレルコーパスを構築するために，日本語のWeb記事とその専門家による平易化版の記事対から人手で文アライメントをとる．
我々が構築したテキスト平易化パラレルコーパスの1.6万文対について分析したところ，本コーパスは既存の大規模コーパスであるSNOWよりも多様な平易化操作を含み，専門家が構築したJADESよりも解釈性と正確性の高い平易化が行われていることを確認できた．
また，MATCHAで訓練したテキスト平易化モデルは，SNOWで訓練したモデルに比べて，解釈性と正確性の高い平易化ができることを確認した．
本研究で構築した日本語のテキスト平易化パラレルコーパスMATCHAはGitHub\footnote{\url{https://github.com/EhimeNLP/matcha}}で公開した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[t]
\input{11table01.tex}%
\caption{日本語テキスト平易化コーパスの特徴}
\label{tab:corpus_kind}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}\label{sec:previous}

テキスト平易化のためのパラレルコーパスの構築には，大きく2種類の方法がある．
一方は所与の文を人手で平易に書き換える方法で，他方は難解\footnote{以降，パラレルコーパスのうち，相対的に難しい方を難解な記事や文，相対的に易しい方を平易な記事や文と呼ぶ}な記事と平易な記事の記事対の中から文アライメントによって意味的に対応する難解文と平易文の文対を抽出する方法である．
前者はコストが高いため，主に数千文対の規模の評価用コーパスの構築 \cite{xu-etal-2016-optimizing,scarton-etal-2018-simpa,alva-manchego-etal-2020-asset}に用いられる．
後者は比較的低コストであるため，英語 \cite{coster-kauchak-2011-simple,xu-etal-2015-problems,jiang-etal-2020-neural}・ドイツ語\cite{klaper-etal-2013-building,sauberli-etal-2020-benchmarking}・イタリア語 \cite{brunato-etal-2016-paccss}など，多くの言語においてテキスト平易化の訓練用パラレルコーパスを構築するために採用されている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{他言語のテキスト平易化コーパス}\label{sec:previous_corpus}

英語では，Wikipedia \cite{coster-kauchak-2011-simple}やNewsela \cite{xu-etal-2015-problems}のパラレルコーパスが，TF-IDFに基づく自動的な文アライメントによって構築されている．
また，深層学習を用いて文アライメントを改善した高品質かつ大規模版のWiki-AutoやNewsela-Auto \cite{jiang-etal-2020-neural}も公開されている．

英語以外の言語においては，ドイツ語では障害者向けのWebサイト \cite{klaper-etal-2013-building}やニュース記事 \cite{sauberli-etal-2020-benchmarking}から，文アライメントによってテキスト平易化のパラレルコーパスが構築されている．
イタリア語では，Webテキストに対するリーダビリティ測定 \cite{brunato-etal-2016-paccss}によって難解なテキストと平易なテキストを分類した上で，自動的な文アライメントによってテキスト平易化のパラレルコーパスが構築されている．

本研究でも同様に，難解な記事と平易な記事の対を用いてテキスト平易化パラレルコーパスを構築する．
しかし，先行研究とは異なり，本研究では訓練用コーパスを含む全ての文アライメントを人手で行い，高品質なパラレルコーパスを構築する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{日本語のテキスト平易化コーパス}\label{sec:ja_simp_corpora}

日本語のテキスト平易化コーパスにはSNOW \cite{maruyama-yamamoto-2018-simplified,katsuta-yamamoto-2018-crowdsourced}およびJADES \cite{hayakawa-etal-2022-jades}がある．
SNOWは，教科書や歌詞などの文で構成される田中コーパス$^4$の日本語文を，学生やクラウドワーカなどの非専門家が文単位で平易化して構築したパラレルコーパスである．
SNOWの平易化は，作者らによって定義された基礎語彙2,000語$^5$に基づくため，この基礎語彙で網羅できない表現については，却ってわかりにくい言い回しが見られる．
例えば，「エミリーは夕食に\textbf{豆腐}をたべた。」を「エミリーは夕食に\textbf{水につけた植物で作った白く柔らかいもの}を食べた。」と書き換えている例がある．

JADESは，WMT20 \cite{barrault-etal-2020-findings}日英ニュース翻訳タスクの検証・評価用サブセットの一部を，専門家が文単位で平易化して構築した小規模なパラレルコーパスである．
平易文の難易度としては，日本語能力試験\footnote{\url{https://www.jlpt.jp/}}の旧3級を基準として採用している．
これは，日本語非母語話者が日常的なコミュニケーションの際に必要となる，基本的な日本語を理解できる難易度で，CEFR (Common European Framework of Reference for Languages)のB1級に相当する．

表~\ref{tab:corpus_kind}にも示したように，既存の日本語テキスト平易化パラレルコーパスには，高品質と大規模を両立したコーパスは存在しない．
本研究では，専門家による平易化に基づき，日本語のテキスト平易化のための高品質かつ大規模なパラレルコーパスを構築する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{MATCHAコーパスの構築}\label{sec:matcha}

本研究では図~\ref{fig:matcha}のように，訪日観光客向けメディアMATCHA\footnote{\url{https://matcha-jp.com/}}から，日本語のテキスト平易化のための高品質なパラレルコーパス（MATCHAコーパス）を構築する．
以降，\ref{sec:simple}節ではMATCHAのやさしい日本語の記事について，\ref{sec:preprocess}節では前処理について，
\pagebreak
\ref{sec:alignment}節では文アライメントについて，それぞれ説明する．
なお，前処理および文アライメントは，本稿の著者である4人の大学生（日本語母語話者）が作業した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[t]
\begin{center}
\includegraphics{31-2ia11f1.pdf}
\end{center}
\caption{MATCHAコーパスと文アライメントの概要}
\label{fig:matcha}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{やさしい日本語の記事について}\label{sec:simple}

MATCHAは，日本を訪れる旅行者に向けて，観光・グルメ・文化など，日本の情報を紹介する記事をWeb上に掲載している．
MATCHAの記事は日本語だけでなく，英語や中国語など10言語で書かれており，専門家\footnote{日本語教育能力検定試験に合格後，海外で日本語教師として勤務．}によって書かれたやさしい日本語の記事も含まれる．
MATCHAのやさしい日本語記事は，日本語能力試験新4級相当（旧3級相当）の文法や単語を用いて，通常の日本語記事を書き換えて作成されている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{記事の前処理}\label{sec:preprocess}

本研究では，2015年4月から2023年3月までの8年間に公開されたMATCHAの記事のうち，タイトルおよび本文のテキストを用いて，日本語のテキスト平易化のためのパラレルコーパスを構築する．
まず，同じ内容について書かれた（URLに含まれる記事IDが一致する）日本語の記事およびやさしい日本語の記事の対を抽出し，以下の前処理を施す．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{記号の削除}
HTMLタグ，空白文字，本文中に含まれる装飾記号（●, ■, □, ・, ／, ※）を削除した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{文分割}
本文のテキストに対して「。」「？」「！」の文末記号の後に改行を入れ，自動的に文分割を行った．
ただし，括弧内のテキストには文分割を適用しなかった．
また，改行の次の単語が助詞となる場合にも文分割を適用しなかった．
これは例えば「～してみたい！という人は～」というテキストにおいて「！」の位置で文分割するのは適切ではないと考えたためである．
ここで，品詞の判定にはMeCab (IPADIC)\footnote{\url{https://taku910.github.io/mecab/}} \cite{kudo-etal-2004-applying}を使用した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{スタイルの調整}
以下の1から4を人手で行い，最後に5を自動的に実行した．
なお，この作業は4人の作業者が分担して進めたが，誤字の認定や例文の認定は作業者によって判断が揺れ得るため，1から3は全作業者の同意を得てから実行した．
\begin{enumerate}
    \item 誤字脱字の修正
    \item 注釈記号や段落番号を削除\footnote{文単位の平易化を扱う本研究では文外の情報を参照しない．}
    \item 例文を鉤括弧で囲む
    \item 漢字の読み仮名を削除
    \item 本文のうち，文末記号を含まない文を削除
\end{enumerate}
また，無作為に選択した10記事対（1,123文）について，これらの前処理の作業者間の一致率を適合率および再現率によって評価した．
その結果，全ての作業者間において0.95以上のF値であり，一貫した基準で前処理を実施できていることを確認した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[t]
\input{11table02.tex}%
\caption{スタイル調整の具体例（\underline{\bf{下線}}は追加する修正，\protect\sol{\bf{取り消し線}}は削除する修正を表す）}
\label{tab:edit_format}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

表~\ref{tab:edit_format}に，スタイル調整の具体例を示す．
誤字脱字がある場合は修正し，不要な括弧や注釈記号，読み仮名は削除し，文中の例文には括弧を付与した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{文アライメント}\label{sec:alignment}

難解な記事と平易な記事の対の中から，意味的に対応する文対を人手で抽出し，
\pagebreak
文単位のパラレルコーパスを構築する．
文アライメントの概要については，図\ref{fig:matcha}に示す．
なお，平易な記事が難解な記事を書き換えて作成されていることをふまえて，作業者は難解文を起点として対応する平易文を探す．
ここで，書き換えは文単位で行われているわけではないため，全ての難解文に対して意味的に完全に対応する平易文が存在するわけではないことに注意されたい．
そこで，英語の先行研究 \cite{hwang-etal-2015-aligning,kajiwara-komachi-2016-building,jiang-etal-2020-neural}に従い，完全一致および部分一致の両方の文アライメントをとる．
また，同じ理由で，難解文と平易文の対応関係が1文対1文になるとは限らないため，文の分割（1対n, $n>1$）および融合（m対1, $m>1$）も考慮する．
ただし，本研究では文単位のテキスト平易化を対象とするため，複数文同士の対応（m対n）は扱わない．
なお，文アライメントの選択肢が複数存在する場合は，記事中の文の相対位置が近い方を選択する．

無作為に選択した5記事対（難解文223文，平易文280文）について，文アライメントの作業者間の一致率をFleiss' kappa \cite{fleiss-1971-kappa}を用いて計算した．
その結果，一致率は$\kappa = 0.90$であり，一貫した基準で文アライメントを実施できていることを確認できた．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 3
\begin{table}[b]
\input{11table03.tex}%
\hangcaption{コーパスの統計情報（文の平均文字数，文の平均単語数，単語難易度については，常に他のコーパスとの統計的有意差（ウェルチ検定における$p<0.05$）が認められた．）}
\label{tab:statistics}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{MATCHAコーパスの分析}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{統計情報}

表~\ref{tab:statistics}に，SNOW，JADESおよびMATCHAのコーパスの統計情報を示す．
前処理として，全ての英数字や記号，カタカナを半角に変換し，ルールベースの文分割\footnote{\url{https://github.com/wwwcojp/ja_sentence_segmenter}}およびMeCab (IPADIC)による単語分割を実施した．
なお，MATCHAは完全一致$11,847$件のうち$11,000$件および部分一致$5,098$件のうち$5,000$件を無作為に選択してコーパスを構築した．

まず語彙サイズに注目すると，平易化によってSNOWとJADESの語彙サイズが大幅に減少している一方で，MATCHAの平易文は語彙サイズ\footnote{MATCHAは多くの固有名詞を含むが，IPADIC以外の辞書を単語分割に用いるなどの特別な処理はしていない．}が大きい．
これは，SNOWとJADESは基礎語彙を用いるなどの語彙制限を行っているが，MATCHAは厳密に語彙を制限していないためであると考えられる．

文の平均文字数および平均単語数, 平均文節数からは，JADESが長文であり，SNOWが短文であることがわかる．
この差はドメインの違いに起因すると考えられる．
また，平易化によってJADESとMATCHAの文長が短くなる一方で，SNOWは長くなっている．
これは，SNOWの語彙制限が影響していると考えられる．
SNOWでは語彙制限により，\ref{sec:ja_simp_corpora}節で例示した「豆腐→水につけた植物で作った白く柔らかいもの」のように，単語から長いフレーズへの言い換えが起こり，平易化に伴う文長の増加を引き起こしている．

単語難易度は，内容語の出現頻度の対数順位を文ごとに平均した値であり，英語の先行研究 \cite{alva-manchego-etal-2020-asset}で用いられている分析手法である．
この値が小さいほど，より平易な単語を使用していると解釈できる．
なお，本研究ではfastText\footnote{\url{https://fasttext.cc/docs/en/crawl-vectors.html}} \cite{bojanowski-etal-2017-enriching}の語彙が頻度順に並んでいることを利用して，これを計算した．
平易化によってSNOWの単語難易度が上昇している一方で，専門家によって平易化されたJADESおよびMATCHAはより平易な単語が使われている．

なお，SNOWにおける基礎語彙2,000語への語彙制限が単語難易度に影響を与えているかどうかを確認するために，SNOWの基礎語彙および各コーパスの平易文中の単語が，fastTextの単語頻度順位の中でどのように分布しているのかを表すヒストグラムを図\ref{fig:element_word_rank}に示す．どのコーパスも同様の頻度分布で単語が使用され，特にSNOWの基礎語彙2,000語は高頻度領域に集中していることから，SNOWの語彙制限が単語難易度の推定に悪影響を与えている可能性は低い．平易文の単語難易度は，アノテータの質によって影響を受けることが示唆される．

表~\ref{tab:alignment-type}に，各コーパスにおける文アライメントの種類ごとの割合を示す．
SNOWおよびJADESは難解文から平易文に文単位で書き換えているため，部分一致の文対は存在しない．
一方で，MATCHAは約3割が部分一致である．
また，JADESおよびMATCHAはSNOWよりも1対nの文アライメントの割合が多い．
これは，JADESやMATCHAには文長の長い難解文が含まれるため，これを効果的に平易化するために文分割が積極的に行われているからだと考えられる．
m対1も含めて，JADESやMATCHAはSNOWよりも文単位の大域的な変換を豊富に含むことが示唆される．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[t]
\begin{center}
\includegraphics{31-2ia11f2.pdf}
\end{center}
\caption{fastTextの単語頻度順位における平易文中の単語の分布}
\label{fig:element_word_rank}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 4
\begin{table}[t]
\input{11table04.tex}%
\caption{文アライメントの種類の内訳}
\label{tab:alignment-type}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{人手評価}
\label{sec:corpus_human_eval}

各コーパスの完全一致の文対の中から200文対ずつを無作為に選び，
\pagebreak
平易化操作の出現回数を数えた結果を表~\ref{tab:operation_result}に示す．
ここで，平易化操作には，語句の挿入・語句の削除・単語の置換という語彙に関する変換と，並び替え・文分割・文融合という構文に関する変換が含まれる．また，語彙と構文の両方に関係する句の置換も扱う．
SNOWの平易化操作が語句の置換に集中している一方で，JADESやMATCHAには語句の挿入や削除，並び替えや文分割など，多様な変換が含まれることがわかる．
なお，短い難解文に対しては，語句の削除や文分割が起こりにくいと考えられるため，最も文長の短いSNOWに合わせて，難解文の平均単語数が11となるように制限した評価も行った．
短い文に対しても同様に，SNOWが語句の置換を中心とする平易化を行っている一方で，JADESやMATCHAは文分割以外の多様な変換を行っている．
SNOWを平易化した非専門家は語句の置換を中心に行い，JADESやMATCHAを平易化した専門家は多様な平易化操作を行っていることが示唆される．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 5
\begin{table}[t]
\input{11table05.tex}%
\hangcaption{200文対ごとに含まれる平易化操作の出現回数．上段は各コーパスの全体から，下段は最も短いSNOWに合わせて難解文の平均単語数が11となるように，それぞれ無作為抽出した文対を対象とする．}
\label{tab:operation_result}
\vspace{-0.75\Cvs}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

コーパスの品質評価のために，同様に選んだ200文対を，3人のアノテータによって解釈性・正確性・平易性の観点から人手評価した．
これらのアノテータは，著者ではない日本語母語話者の大学生である．
人手評価には，機械翻訳の人手評価に用いられる解釈性（5点満点）および正確性（7点満点）の評価基準 \cite{sudoh-2021}を用い，さらに以下の平易性（5点満点）の評価基準を追加した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{文意解釈性（5点満点）}
\begin{enumerate}
\item 何を伝達しようとしているかが理解できない箇所がある
\item 表記や文法の誤り，表現の問題でしっかり読まないと伝達内容が理解できない
\item 表記や文法の誤りがあるが，伝達内容の理解は容易
\item 文法的に正しいが，不自然な表現がある
\item 文法的に正しく，言葉遣いも自然である
\end{enumerate}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{文意正確性（7点満点）}
\begin{enumerate}
\item 文意が理解できず，正確性評価に値しない
\item 参照文と無関係な内容が伝達されている
\item 参照文と矛盾する内容が伝達されている
\item 参照文と矛盾とまではいかないが重要な情報の誤りや過不足があり文意の重大な誤解が起こり得る
\item 参照文と文意に若干の齟齬はあるが，大きな誤解を招くほどではない
\item 参照文と文意に僅かな違いがあるが，ほぼ誤解の心配はない
\item 参照文と文意が同一と考えて差し支えない
\end{enumerate}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{平易性（5点満点）}
\begin{enumerate}
\item 原文と無関係な内容であり，評価に値しない
\item 原文よりも理解しにくい
\item 原文と理解しやすさに変わりがない
\item 原文よりも僅かに理解しやすい
\item 原文よりも理解しやすい
\end{enumerate}

評価結果の平均値を表~\ref{tab:corpus_eval_result}に示す．
MATCHAは解釈性および正確性が他のコーパスよりも顕著に高く，日本語の言い換えとしての品質が高いことがわかる．
これは，専門家によって書かれた記事の中から，我々が誤字脱字を修正した上で注意深く文アライメントを行った成果である．
JADESも専門家が携わっているが，こちらは解釈性や正確性を犠牲に平易性を重視しているのが対照的である．
このことから，解釈性および正確性と平易性の間にはトレードオフの関係があることが示唆される．
平易性に関して，JADESでは充分に平易な原文をコーパスから除外しているため，相対的な平易性の差が表れやすいことも要因のひとつである．
SNOWはMATCHAと同等の平易性を持つものの，解釈性および正確性の観点ではMATCHAほどの品質ではないと言える．
各評価指標においての平均順位を考慮すると，表\ref{tab:corpus_kind}の「言い換えの品質」に示したように，MATCHA $>$ SNOW $>$ JADESの順で高品質なコーパスであると言える．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 6
\begin{table}[t]
\input{11table06.tex}%
\hangcaption{{コーパス品質の人手評価（解釈性と平易性は5段階評価，正確性は7段階評価．\textbf{太字}は最高値である．$^{\dagger}$は\textbf{太字}とその他の統計的有意差（Bootstrap検定における$p<0.05$）が認められたことを示す．}）}
\label{tab:corpus_eval_result}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

人手評価における評価者間の一致度をQuadratic Weighted Kappa \cite{cohen-1968}を用いて計算した結果を表\ref{tab:corpus_result_qwk}に示す．
全ての観点において，全ての評価者間で$\kappa > 0.4$の中程度の一致を確認できた．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 7
\begin{table}[t]
\input{11table07.tex}%
    \caption{コーパス人手評価における評価者間の一致度 (Quadratic Weighted Kappa)}
    \label{tab:corpus_result_qwk}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{評価実験}

本実験では，本研究で構築したMATCHAおよび既存の大規模な日本語テキスト平易化コーパスであるSNOW \cite{maruyama-yamamoto-2018-simplified,katsuta-yamamoto-2018-crowdsourced}を用いてテキスト平易化モデルを訓練し，それらの性能を評価する．
既存の小規模な日本語テキスト平易化コーパスであるJADES \cite{hayakawa-etal-2022-jades}は評価用に使用する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験設定}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{データセット}

データセットの規模を表\ref{tab:dataset}に示す．
まず，検証用および評価用データについて説明する．
MATCHAの検証用および評価用データは，完全一致の文対の中からそれぞれ$500$件ずつを無作為に抽出した．
先行研究 \cite{hatagaki-etal-2022-parallel}に従い，SNOWはマルチリファレンス部分の$100$文対を評価用に，その他から無作為抽出した$2,000$文対を検証用に用いた．
JADESについては，全てを評価用データとして使用し，検証用データにはMATCHAおよびSNOWの検証用データを合わせた$2,500$文対を用いた．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 8
\begin{table}[b]
\input{11table08.tex}%
    \caption{モデルとデータセットの構成}
    \label{tab:dataset}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

次に，モデルと訓練データについて説明する．
MATCHA-10kは，MATCHAの完全一致の文対のみを用いて訓練したモデルである．
MATCHA-15kは，MATCHAコーパスの全体を用いて訓練したモデルである．
SNOW-15kは，訓練データ量を合わせた比較のために，SNOWの訓練用データの中からMATCHAコーパスと同じく$15,000$文対を無作為に抽出して訓練したモデルである．
SNOW-82kは，SNOWの検証用データと評価用データ以外の文対を全て用いて訓練したモデルである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{モデル}

テキスト平易化モデルは，マスク言語モデリングによって事前訓練された日本語BART (BART-base v2)\footnote{\url{https://nlp.ist.i.kyoto-u.ac.jp/?BART日本語Pretrainedモデル}} \cite{lewis-2020}を，それぞれの訓練データ上でファインチューニングして構築した．
BARTの訓練には，fairseqツールキット \cite{ott-2019}を使用した．
訓練の設定は基本的に公式の設定に従うが，early stoppingを採用し，検証用データのクロスエントロピー損失が5回連続で改善しない場合に訓練を終了した．
また，学習率は$\{2e-5, 3e-5, 4e-5, 5e-5\}$の中から検証用データにおける損失が最低となる値を採用した．
前処理は，全角化を施し，Juman++ v2.0.0-rc3\footnote{\url{https://github.com/ku-nlp/jumanpp}} \cite{Morita-2015,Tolmachev-2018}による単語分割の後に，BARTに付属のSentencePiece \cite{sentencepiece}モデルを用いてサブワード分割を行った．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{評価指標}

テキスト平易化モデルの性能は，EASSE\footnote{\url{https://github.com/feralvam/easse}} \cite{alva-manchego-etal-2019-easse}を用いてSARI \cite{xu-etal-2016-optimizing}を評価した．
SNOWのみ7種類ずつの参照文を持つマルチリファレンスであることに注意されたい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験結果}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{自動評価による実験結果}\label{sec:model_auto_eval}

自動評価の結果を表\ref{tab:sari}に示す．
まず，ドメイン内の評価用データに対して各ドメインのモデルが高い性能を達成すること，訓練データ量が多い方が高い性能を達成することがわかる．
次に，同じ訓練データ量のMATCHA-15kおよびSNOW-15kの比較から，ドメイン外のJADESにおいてより高い性能を達成したMATCHAがより高品質な訓練データであることが示唆される．
一方で，MATCHA-15kとSNOW-82kを比較すると，より大規模なSNOW-82kがJADESにおいて最高性能を示した．
また，MATCHAの2モデルの間ではMATCHA-15kの方が高い性能を達成したことから，部分一致の文対も訓練に含め，訓練データ量を増やすことが重要であることがわかる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 9
\begin{table}[b]
\input{11table09.tex}%
    \hangcaption{SARIによる自動評価の結果{（MATCHA-15kについて，$^{\dagger}$はMATCHA-10k, $^{\ddagger}$はSNOW-15kとの統計的有意差（Bootstrap検定における$p<0.05$）が認められたことを示す．\textbf{太字}は最高値である．）}}
    \label{tab:sari}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{人手評価による実験結果}

詳細な品質評価のために，各コーパスから均等に合計200件を無作為抽出し，3人のアノテータによって \ref{sec:corpus_human_eval}節と同様に解釈性・正確性・平易性の人手評価を実施した．
表~\ref{tab:model_eval_result}に示す評価結果から，解釈性と正確性においてはMATCHAで訓練したテキスト平易化モデルが高い性能を達成することがわかる．
これは，表~\ref{tab:corpus_eval_result}に示したとおり，訓練データの性質を反映し，MATCHAで訓練したモデルが解釈性および正確性のより高い平易化を実現できたと考えられる．
MATCHAの2モデルの間では，完全一致の文対のみで訓練したMATCHA-10kモデルの方が解釈性および正確性に秀でている一方で，平易性に関しては部分一致の訓練データも含むMATCHA-15kモデルの方が優れている．
同じ訓練データ量のMATCHA-15kおよびSNOW-15kの比較からは，全ての観点においてMATCHAで訓練したモデルの方が高性能であることがわかる．
このことから，MATCHAコーパスで訓練したモデルは，\ref{sec:corpus_human_eval}節で言及した解釈性および正確性と平易性の間のトレードオフを，少なくとも同規模の訓練データを用いる設定では，克服できていることがわかる．
一方で，大規模なSNOWの全体で訓練したモデルは，平易性に関して最高性能を達成した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 10
\begin{table}[t]
\input{11table10.tex}%
\hangcaption{モデル品質の人手評価（解釈性および平易性は5段階，正確性は7段階評価．\textbf{太字}は最高値である．$^{\dagger}$は\textbf{太字}とその他の統計的有意差（Bootstrap検定における$p<0.05$）が認められたことを示す．）}
\label{tab:model_eval_result}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 11
\begin{table}[t]
\input{11table11.tex}%
    \caption{モデル人手評価における評価者間の一致度 (Quadratic Weighted Kappa)}
    \label{tab:result_qwk}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\ref{sec:corpus_human_eval}節と同様に，人手評価における評価者間の一致度をQuadratic Weighted Kappa \cite{cohen-1968}を用いて計算した結果を表\ref{tab:result_qwk}に示す．
全ての観点において，全ての評価者間で$\kappa > 0.4$の中程度の一致を確認できた．
また，解釈性においては，$\kappa > 0.6$のかなりの一致が見られた．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

本稿では，新しい日本語のテキスト平易化パラレルコーパスMATCHAについて説明した．
我々は，専門家が平易化した記事の対から人手で文アライメントをとることによって，$16,000$文対の大規模かつ高品質なテキスト平易化パラレルコーパスを構築した．
本コーパスを分析したところ，既存の日本語テキスト平易化パラレルコーパスと比較して，より多様な平易化操作を含み，より流暢かつ意味を保持しながら平易化された文を収録できていることが明らかになった．
また，MATCHAコーパスを用いて訓練したテキスト平易化モデルは，コーパスの特性を反映し，既存のコーパスを用いて訓練したモデルよりも高品質なテキスト平易化を実現できた．

しかし，より大規模な既存コーパスを用いて訓練したモデルの方が，生成文の平易性に関しては高い人手評価を得た．今後の課題として，大規模言語モデル \cite{brown-2020}の活用やデータ拡張 \cite{kajiwara-2020}の適用などによって，コーパスサイズの問題を克服したい．また，元の記事が多言語で記述されていることを利用し，英語など他言語の文とも文アライメントをとり言語横断のテキスト平易化パラレルコーパス \cite{marchisio-etal-2019-controlling,agrawal-carpuat-2019-controlling,tani-etal-2022-benchmark}へと拡張したい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本研究は，愛媛大学と株式会社MATCHAの共同研究の成果をまとめたものであり，内閣府総合科学技術・イノベーション会議の戦略的イノベーション創造プログラム (SIP) 第3期「統合型ヘルスケアシステムの構築」（研究推進法人：JST）の助成を受けて実施されたものです．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{11refs}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{宮田　莉奈}{2024年愛媛大学工学部工学科卒業．同年同大学大学院理工学研究科に進学．現在に至る．自然言語処理の研究に従事．}
\bioauthor{惟高　日向}{2023年愛媛大学工学部工学科卒業．同年同大学大学院理工学研究科に進学．現在に至る．自然言語処理の研究に従事．}
\bioauthor{山内　洋輝}{2023年愛媛大学工学部工学科卒業．同年同大学大学院理工学研究科に進学．現在に至る．自然言語処理の研究に従事．}
\bioauthor{柳本　大輝}{2023年愛媛大学工学部工学科卒業．同年同大学大学院理工学研究科に進学．現在に至る．自然言語処理の研究に従事．}
\bioauthor{梶原　智之}{愛媛大学大学院理工学研究科講師．2013年長岡技術科学大学工学部電気電子情報工学課程卒業．2015年同大学大学院工学研究科修士課程修了．2018年首都大学東京大学院システムデザイン研究科博士後期課程修了．博士（工学）．2018年より大阪大学データビリティフロンティア機構の特任助教，2021年より愛媛大学大学院理工学研究科の助教を経て，2024年より現職．情報処理学会，人工知能学会，言語処理学会，ACL各会員．}
\bioauthor{二宮　　崇}{1996年東京大学理学部情報科学科卒業．1998年同大学大学院理学系研究科修士課程修了．2001年同大学大学院理学系研究科博士課程修了．同年より科学技術振興事業団研究員．2006年より東京大学情報基盤センター講師．2010年より愛媛大学大学院理工学研究科准教授，2017年同教授．博士（理学）．言語処理学会，アジア太平洋機械翻訳協会，情報処理学会，人工知能学会，電子情報通信学会，日本データベース学会，ACL各会員．}
\bioauthor{西脇　靖紘}{株式会社MATCHA取締役CTO．2008年静岡大学情報学部情報社会学科卒業．2009年早稲田大学大学院国際情報通信研究科修士課程修了．Coltテクノロジーサービス株式会社，株式会社サイバーエージェントを経て，2021年より現職．}
\end{biography}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\biodate



\end{document}

