    \documentclass[japanese]{jnlp_2.1}
\usepackage{jnlpbbl_1.3}
\usepackage[dvipdfm]{graphicx}
\usepackage{amsmath}
\usepackage{array}

\usepackage{cancel}
\newcommand{\argmax}{}
    \newcommand{\pprm}[1]{}
    \newcommand{\ppadd}[1]{}

\Volume{25}
\Number{2}
\Month{March}
\Year{2018}

\received{2017}{9}{21}
\accepted{2017}{11}{30}

\setcounter{page}{223}

\jsubject{論文}
\jtitle{平易なコーパスを用いないテキスト平易化}
\jauthor{梶原　智之\affiref{TMU} \and 小町　　守\affiref{TMU}}
\jabstract{
難解なテキストと平易なテキストからなる大規模な単言語パラレルコーパスを用いて，テキスト平易化が活発に研究されている．しかし，英語以外の多くの言語では平易に書かれた大規模なコーパスを利用できないため，テキスト平易化のためのパラレルコーパスを構築するコストが高い．そこで本研究では，テキスト平易化のための大規模な疑似パラレルコーパスを自動構築する教師なし手法を提案する．我々の提案するフレームワークでは，リーダビリティ推定と文アライメントを組み合わせることによって，生コーパスのみからテキスト平易化のための単言語パラレルコーパスを自動構築する．統計的機械翻訳を用いた実験の結果，生コーパスのみを用いて学習した我々のテキスト平易化モデルは，平易に書かれた大規模なコーパスを用いて学習した従来のテキスト平易化モデルと同等の性能で平易な同義文を生成できた．
}
\jkeywords{テキスト平易化，疑似パラレルコーパス，リーダビリティ推定，文アライメント}

\etitle{Text Simplification without Simplified Corpora}
\eauthor{Tomoyuki Kajiwara\affiref{TMU} \and Mamoru Komachi\affiref{TMU}} 
\eabstract{
Several studies on automated text simplification are based on a large-scale monolingual parallel corpus constructed from a comparable corpus comprising complex text and simple text. However, constructing a parallel corpus for text simplification is expensive as large-scale simplified corpora are not available in many languages other than English. Therefore, we propose an unsupervised method that automatically builds a pseudo-parallel corpus to train a text simplification model. Our framework combines readability assessment and sentence alignment and automatically constructs a text simplification corpus from only a raw corpus. Experimental results show that a statistical machine translation model trained using our corpus can generate simpler synonymous sentences performing comparably to models trained using a large-scale simplified corpus.
}
\ekeywords{Text Simplification, Pseudo-parallel Corpus, Readability Assessment, Sentence Alignment}

\headauthor{梶原，小町}
\headtitle{平易なコーパスを用いないテキスト平易化}

\affilabel{TMU}{首都大学東京}{Tokyo Metropolitan University}


\begin{document}
\maketitle


\section{はじめに}
\label{sec:introduction}

難解なテキストの意味を保持したまま平易に書き換えるテキスト平易化は，言語学習者や子どもをはじめとする多くの読者の文章読解を支援する．
近年，テキスト平易化を同一言語内の翻訳問題と考え，統計的機械翻訳を用いて入力文から平易な同義文を生成する研究 \cite{specia-2010,zhu-2010,coster-2011b,coster-2011a,wubben-2012,stajner-2015a,stajner-2015b,goto-2015}が盛んである．
しかし，異言語間の機械翻訳モデルの学習に必要な異言語パラレルコーパスとは異なり，テキスト平易化モデルの学習に必要な単言語パラレルコーパスの構築はコストが高い．
これは，日々の生活の中で対訳（異言語パラレル）データが大量に生産および蓄積されるのとは異なり，難解なテキストを平易に書き換えることは自然には行われないためである．
そのため，公開されておりテキスト平易化のために自由に利用できるのは，English Wikipedia\footnote{http://en.wikipedia.org}とSimple English Wikipedia\footnote{http://simple.wikipedia.org}から構築された英語のパラレルコーパス \cite{zhu-2010,coster-2011a,hwang-2015}のみであるが，Simple English Wikipediaのように平易に書かれた大規模なコーパスは英語以外の多くの言語では利用できない．

そこで本研究では，任意の言語でのテキスト平易化を実現することを目指し，生コーパスから難解な文と平易な文の同義な対（テキスト平易化のための疑似パラレルコーパス）を抽出する教師なし手法を提案し，獲得した疑似パラレルコーパスと統計的機械翻訳モデルを用いて英語および日本語でのテキスト平易化を行う．
図~\ref{fig:abstract}に示すように，我々が提案するフレームワークでは，リーダビリティ推定と文アライメントの2つのステップによって生コーパスからテキスト平易化のための疑似パラレルコーパスを構築する．
大規模な生コーパスには，同一の（あるいは類似した）イベントや事物に対する複数の言及や説明が含まれると期待でき，それらからは同義や類義の関係にある文対を得ることができるだろう．
さらに我々はリーダビリティ推定によって難解な文と平易な文を分類するので，生コーパスから難解な文と平易な文の同義な対を抽出することができる．

\begin{figure}[t]
\begin{center}
\includegraphics{25-2ia3f1.eps}
\end{center}
\caption{疑似パラレルコーパスと統計的機械翻訳モデルを用いたテキスト平易化}
\label{fig:abstract}
\end{figure}

我々は2つの設定で提案手法の効果を検証した．
まず先行研究と同様に，難解なテキストと平易なテキストのコンパラブルコーパスからテキスト平易化のためのパラレルコーパスを構築した．
我々の提案する文アライメント手法は難解な文と平易な文のアライメント性能を改善し，高品質にテキスト平易化コーパスを構築できた．
さらに，我々のコーパスで学習したモデルは従来のコーパスで学習したモデルよりもテキスト平易化の性能も改善できた．
次に，コンパラブルコーパスを利用しない設定で，生コーパスのみからテキスト平易化のための疑似パラレルコーパスを構築し，フレーズベースの統計的機械翻訳モデルを用いてテキスト平易化を行った．
平易に書かれた大規模コーパスを使用しないにも関わらず，疑似パラレルコーパスで学習したモデルは従来のコーパスで学習したモデルと同等の性能で平易な同義文を生成することができた．

本研究の貢献は次の2つである．
\begin{itemize}
  \item 単語分散表現のアライメントに基づく文間類似度を用いて，難解な文と平易な文の文アライメントを改善した．
  \item 生コーパスのみから教師なしで擬似パラレルコーパスを自動構築し，これがコンパラブルコーパスから得られる従来のパラレルコーパスと同等に有用であることを確認した．
\end{itemize}
これまでは，人手で構築された難解な文と平易な文のパラレルコーパス\footnote{https://newsela.com/data/} \cite{xu-2015}，平易に書かれた大規模なコーパス (Simple English Wikipedia)，文間類似度のラベル付きデータ\footnote{http://ixa2.si.ehu.es/stswiki/index.php/Main\_Page} \cite{agirre-2012,agirre-2013,agirre-2014,agirre-2015}，言い換え知識\footnote{https://www.seas.upenn.edu/{\textasciitilde}epavlick/data.html} \cite{ganitkevitch-2013,pavlick-2015,pavlick-2016}などの言語資源が豊富に存在する英語を中心にテキスト平易化の研究が進められてきたが，本研究ではこれらの外部知識を利用することなく生コーパスのみからテキスト平易化のための疑似パラレルコーパスを自動構築し，統計的機械翻訳を用いたテキスト平易化における有用性を確認した．
生コーパスは多くの言語で大規模に利用できるので，今後は本研究の成果をもとに多くの言語でテキスト平易化を実現できるだろう．

本稿の構成を示す．
2節では，関連研究を紹介する．
3節では，生コーパスから擬似パラレルコーパスを構築する提案手法を概説する．
4節では，テキスト平易化のための文アライメントとして，単語分散表現のアライメントに基づく文間類似度推定手法を提案する．
続いて，5節から7節で実験を行う．
まず5節では，4節の提案手法を評価し，テキスト平易化のための最良の文アライメント手法を決定する．
6節では，3節から5節に基づき，英語の疑似パラレルコーパスを構築し，テキスト平易化を行う．
7節では，同様に日本語の疑似パラレルコーパスを構築し，テキスト平易化を行う．
最後に8節で，本研究のまとめを述べる．


\section{関連研究}
\label{sec:related_work}

\subsection{統計的機械翻訳を用いたテキスト平易化}

2010年以降，統計的機械翻訳を用いたテキスト平易化の研究が盛んである．
特に英語では，English WikipediaとSimple English Wikipediaをコンパラブルコーパスと考え，ここから抽出された単言語パラレルコーパス \cite{zhu-2010,coster-2011a,hwang-2015}とフレーズベースの統計的機械翻訳モデルを用いたテキスト平易化 \cite{zhu-2010,coster-2011b,coster-2011a,wubben-2012,stajner-2015a}が盛んに研究されている．
\citeA{coster-2011a}は，標準的なフレーズベースの統計的機械翻訳ツールMoses \cite{koehn-2007}を用いて英語のテキスト平易化を行った．

本研究でも，同じくMosesを用いてテキスト平易化を行うが，我々は任意の言語でのテキスト平易化を実現することを目的に，Simple English Wikipediaに頼ることなくEnglish Wikipediaのみから構築する疑似パラレルコーパスでモデルを学習する．


\subsection{テキスト平易化のための単言語パラレルコーパス}

これまでに3種類の英語のテキスト平易化のための単言語パラレルコーパスが，English WikipediaとSimple English Wikipediaの文アライメントによって構築されている．
\citeA{zhu-2010}は，文をTF-IDFベクトルとして表現し，そのベクトル間のコサイン類似度を用いて初めてテキスト平易化のための単言語パラレルコーパス\footnote{https://www.ukp.tu-darmstadt.de/data/sentence-simplification/simple-complex-sentence-pairs/}を構築した．
\citeA{coster-2011a}は，TF-IDFベクトル間のコサイン類似度に加えて文の出現順序を考慮することで，より高精度にテキスト平易化コーパス\footnote{http://www.cs.pomona.edu/{\textasciitilde}dkauchak/simplification/}を構築した．
しかし，Zhu et al.やCoster and Kauchakの手法では，異なる単語間の類似度を考慮していない．
難解な表現から平易な表現への書き換えが頻繁に行われるテキスト平易化タスクにおいては，異なる単語間の類似度も適切に測定したい．
\citeA{hwang-2015}は，国語辞典の見出し語と定義文中の単語の共起を用いて，異なる単語間の類似度も考慮してテキスト平易化コーパス\footnote{http://ssli.ee.washington.edu/tial/projects/simplification/}を構築した．

本研究では，単語分散表現を用いることで辞書などの外部知識に頼らず異なる単語間の類似度を考慮する文アライメントを行う．


\subsection{文間類似度推定}

文間の意味的類似度を計算するSemantic Textual Similarity (STS) タスク \cite{agirre-2012,agirre-2013,agirre-2014,agirre-2015}では，単語分散表現の成功を受け，異なる単語間の類似度を考慮する手法が提案されている．
SemEval-2015のSTSタスク \cite{agirre-2015}では，word2vec \cite{mikolov-2013a}の単語分散表現やPPDB: paraphrase database \cite{ganitkevitch-2013}の言い換えを用いた単語アライメントに基づく教師あり学習の手法 \cite{sultan-2015,hanig-2015,han-2015}が上位を独占している．
同じくword2vecの単語分散表現のアライメントに基づく教師なしの文間類似度計算手法 \cite{song-2015,kusner-2015}も提案されている．

文間類似度のラベル付きデータを必要としないこれらの教師なし手法は，テキスト平易化のための単言語パラレルコーパスの自動構築にも応用できる．


\subsection{リーダビリティ推定}

テキストの可読性を評価するリーダビリティ尺度としては，Flesch Reading Ease Formula \cite{flesch-1948}やFlesch-Kincaid Grade Level \cite{kincaid-1975}がよく知られている．
これらはいずれも，単語数と音節数を用いてリーダビリティを計算する．
また，単語数に加えて難解な表現が出現する割合を考慮するDale-Chall Readability Formula \cite{chall-1995}や言語モデルに基づく手法 \cite{collins-2004}も提案されている．
これらの研究は英語を対象としているが，リーダビリティ尺度は言語ごとに開発されており，例えば日本語では\citeA{shibasaki-2010}，\citeA{sato-2011}，\citeA{fujita-2015b}の研究がある．

本研究ではシンプルなリーダビリティ尺度を採用するが，我々の提案するフレームワークに基づいて，リーダビリティ推定のステップには任意のリーダビリティ尺度を適用できる．


\subsection{テキスト平易化の評価}

統計的機械翻訳を用いたテキスト平易化 \cite{specia-2010,zhu-2010,coster-2011b,coster-2011a,wubben-2012,stajner-2015a,stajner-2015b,goto-2015}では，機械翻訳のための評価尺度であるBLEU \cite{papineni-2002}による自動評価が一般的である．
BLEUではリファレンスとの比較によって出力文の意味や文法の正しさを評価するが，テキスト平易化では入力文よりも平易な文を出力したいため，入力文と出力文の比較も行いたい．

本研究では，テキスト平易化のために新たに提案されたSARI \cite{xu-2016}による自動評価も行う．
SARIは入力文と出力文とリファレンスの3つを用いる自動評価尺度であり，特に平易さの観点でBLEUよりも人手評価との相関が高いことが知られている．

\begin{figure}[b]
\begin{center}
\includegraphics{25-2ia3f2.eps}
\end{center}
\caption{品質推定を用いた生コーパスからの疑似パラレルコーパス構築}
\label{fig:framework}
\end{figure}


\section{生コーパスから疑似パラレルコーパスを構築するためのフレームワーク}
\label{sec:raw2parallel}

本研究では，生コーパスからテキスト平易化のための疑似パラレルコーパスを自動構築するフレームワークを提案する．
これは，より一般的には図\ref{fig:framework}のように説明できる．
生コーパスから無作為に抽出した2つの文に対して，タスクに応じた品質推定を行い，一定以上の尤度を持つ文対を擬似パラレルコーパスとして抽出する．
品質推定 \cite{stajner-2016}とは入力文と出力文の比較によってリファレンスなしで出力文を評価する技術の総称であり，テキストからのテキスト生成タスク，特に機械翻訳 \cite{callisonburch-2012,bojar-2013,bojar-2014,bojar-2015,bojar-2016}を中心に研究されている．
図\ref{fig:framework}に戻ると，品質推定のステップでは言い換え生成であれば2文間の同義性を評価し，文圧縮であれば2文間の同義性および文Aに対する文Bの圧縮率を評価し，応答文生成であれば文Aを質問文として文Bの応答文らしさを評価する．
このように，タスクごとの品質推定を高精度に実現できれば，このフレームワークを用いてタスクに応じた疑似パラレルコーパスを生コーパスから抽出できる．

本研究では，テキスト平易化のための疑似パラレルコーパスを構築したい．
テキスト平易化は意味を保持したまま平易に書き換えるタスクなので，図\ref{fig:framework}における品質推定のステップでは，各文の難易度および2文間の同義性を評価する．
我々は文の難易度を評価するために，各言語で開発されているリーダビリティ尺度を用いる．
各文に対してリーダビリティ推定を行い，絶対的あるいは相対的なリーダビリティの高低がわかれば，続いてリーダビリティの低い難解な文とリーダビリティの高い平易な文の同義性を評価する．
一般に長い文よりも短い文の方が読みやすいので，テキスト平易化では難解な表現から平易な表現への言い換えの他に，重要ではない表現の省略も頻繁に行われる \cite{xu-2015}．
そのため，テキスト平易化における同義性は，言い換えタスクのような相互に置換可能な「同義性」には限定されない．
そこで我々は，\ref{sec:sentence_alignment}節で説明する意味的文間類似度を用いて2文間の同義性を評価する．
最終的に，難解な文と平易な文の対であり，かつ類似度が高い文対のみをテキスト平易化のための擬似パラレルコーパスとして採用する．


\section{単語分散表現のアライメントに基づく文間類似度を用いた文アライメント}
\label{sec:sentence_alignment}

難解な文と平易な文の同義性を評価するために，我々は単語分散表現のアライメントに基づく4種類の文間類似度の計算手法を提案する．
\ref{subsec:ave_alignment}節から\ref{subsec:hun_alignment}節で説明する手法は，\citeA{song-2015}によって提案された単語分散表現のアライメントに基づく文間類似度の計算手法を本タスクに応用するものである．
\ref{subsec:wmd_alignment}節のWord Mover's Distance \cite{kusner-2015}も，単語分散表現のアライメントに基づく文間類似度の計算に用いることができる．


\subsection{Average Alignment}
\label{subsec:ave_alignment}

文$x$と文$y$の間の全ての単語の組み合わせについて単語間類似度を計算し，
それらの$|x||y|$個の単語間類似度を平均して文間類似度$S_{ave}(x,y)$を求める．
\pagebreak
\begin{equation}
	S_{ave}(x,y) = \frac{1}{|x||y|} \sum_{i=1}^{|x|} \sum_{j=1}^{|y|} \phi(x_i,y_j)
\end{equation}
ここで，$x_i$および$y_j$は，それぞれ文$x$および文$y$に含まれる単語を表す．
また，$\phi(x_i,y_j)$は単語$x_i$と単語$y_j$の間の単語間類似度を表し，本研究ではコサイン類似度を用いる．


\subsection{Maximum Alignment}
\label{subsec:max_alignment}

Average Alignmentは単語分散表現に基づく文間類似度として直感的であるが，同義の文対を考えても全ての単語の組み合わせについて単語間類似度が高くなるとは考えにくく，多くの単語間類似度は$0$に近い値を取るノイズになると考えられる．
そこで文$x$に含まれる各単語$x_i$に対して最も類似度が高い文$y$中の単語$y_j$を選択し，それらの$|x|$個の単語の組み合わせについてのみ計算した単語間類似度$\phi(x_i,y_j)$を平均して$S_{asym}(x,y)$を求める．
$S_{asym}(x,y)$は非対称なスコアであるため，$S_{asym}(x,y)$と$S_{asym}(y,x)$の平均値を用いて対称な文間類似度$S_{max}(x,y)$を計算する．
\begin{align}
	S_{asym}(x,y) & = \frac{1}{|x|} \sum_{i=1}^{|x|} \max_j \phi(x_i,y_j) \\
	S_{max}(x,y) & = \frac{1}{2} (S_{asym}(x,y) + S_{asym}(y,x))
\end{align}


\subsection{Hungarian Alignment}
\label{subsec:hun_alignment}

Average AlignmentおよびMaximum Alignmentは，それぞれ多対多および多対一の単語アライメントに基づく文間類似度である．
本節では$x$および$y$の2文を単語をノードとする2部グラフとして考え，一対一の単語アライメントに基づく文間類似度を定義する．
この2部グラフは，単語間類似度$\phi(x_i,y_j)$を重みとする重み付きの辺を持つ重み付き完全2部グラフである．
この完全2部グラフの最大マッチングを求めることで，単語間類似度の総和を最大化する一対一の単語アライメントを得ることができる．
2部グラフの最大マッチング問題は，Hungarian法 \cite{kuhn-1955}を用いて解くことができる．
そこで文$x$に含まれる各単語$x_i$に対してHungarian法によって文$y$中の単語$h(x_i)$を選択し，それらの$|x|$個の単語の組み合わせについて計算した単語間類似度を平均して文間類似度$S_{hun}(x,y)$を求める．
\begin{equation}
	S_{hun}(x,y) = \frac{1}{\min(|x|,|y|)} \sum_{i=1}^{|x|} \phi(x_i,h(x_i))
\end{equation}


\subsection{Word Mover's Distance}
\label{subsec:wmd_alignment}

Word Mover's Distance \cite{kusner-2015}も，単語の分散表現を用いた多対多の単語アライメントに基づく文間類似度の計算に用いることができる．
Word Mover's Distanceは，文$x$から文$y$へと単語を輸送する輸送問題を解くEarth Mover's Distance \cite{rubner-1998}の特殊な場合に相当する．
\begin{align}
	S_{wmd}(x,y) & =  1 - \mathrm{WMD}(x,y) \\
	\mathrm{WMD}(x,y) & = \min \sum_{u=1}^{n} \sum_{v=1}^{n} \mathcal{A}_{uv} \psi(x_u,y_v) \\
\begin{split}
	\mathrm{subject\;to:\;} \sum_{v=1}^n \mathcal{A}_{uv} &= \frac{1}{|x|} freq(x_u) \\
	                        \sum_{u=1}^n \mathcal{A}_{uv} &= \frac{1}{|y|} freq(y_v)
\end{split}
\nonumber
\end{align}
ここで，$\psi(x_u,y_v)$は単語$x_u$と単語$y_v$の間の単語間非類似度（距離）を表し，本研究ではユークリッド距離を用いる．
また，$\mathcal{A}_{uv}$は文$x$中の単語$x_u$から文$y$中の単語$y_v$への輸送量を表す行列であり，$n$は語彙数，$freq(x_u)$は文$x$中での単語$x_u$の出現頻度である．


\section{実験1: 難解な文と平易な文のアライメント}
\label{sec:intrinsic_evaluation}

本節では，難解な文と平易な文の組に対してパラレルおよびノンパラレルの2値分類を行い，単語分散表現のアライメントに基づく文間類似度の有効性を評価する．

\subsection{実験設定}

\citeA{hwang-2015}は，English WikipediaとSimple English Wikipediaから抽出した67,853文対に対して以下の4つのラベルを人手で付与したデータを公開している．
\begin{itemize}
  \item {\it Good}：2文間の意味が等しい（277文対）
  \item {\it Good Partial}：一方の文が他方を含意する（281文対）
  \item {\it Partial}：部分的に関連する（117文対）
  \item {\it Bad}：無関係（67,178文対）
\end{itemize}

我々はこの評価用データセットを用いて，以下の2つの設定で，文間類似度によって各文対をパラレルデータとノンパラレルデータに2値分類する．
\begin{itemize}
  \item {\it G vs. O}：{\it Good}のラベル付きデータのみをパラレルデータとする
  \item {\it G+GP vs. O}：{\it Good}と{\it Good Partial}の2つのラベル付きデータをパラレルデータとする
\end{itemize}

評価には，Hwang et al.と同じく以下の2つの尺度を用いる．
\begin{itemize}
  \item MaxF1：F1スコアの最大値
  \item AUC-PR：Precision-Recall曲線（PR曲線）上のArea Under the Curve
\end{itemize}

比較手法には，English WikipediaとSimple English Wikipediaからテキスト平易化のためのパラレルコーパスを構築する \citeA{zhu-2010}，\citeA{coster-2011a}およびHwang et al.の3つの先行研究に加えて，Additive Embeddings \cite{mikolov-2013b}を用いる．
Additive Embeddingsは，単語アライメントを使用しない比較手法であり，単語の分散表現を足し合わせることによって文の分散表現を構成し，コサイン類似度によって文間類似度を計算する．

単語分散表現に基づく文間類似度計算のために，我々は公開されている学習済みの単語分散表現\footnote{https://code.google.com/archive/p/word2vec/}を用いる．
これは，Google News dataset上でword2vec \cite{mikolov-2013a}のCBOWモデルによって学習された300次元の単語分散表現である．

提案手法のうち，Average Alignment，Maximum AlignmentおよびHungarian Alignmentについては，\citeA{song-2015}にならって単語アライメントのノイズ除去を行った．
\ref{subsec:max_alignment}節でも述べたが，同義の文対$(x,y)$を考えても全ての単語対について単語間類似度が高くなるとは考えにくく，どの単語アライメントの手法を用いても単語間類似度が低いにも関わらず対応付けられてしまう単語対が存在する．
このようなノイズとなる単語対の影響を抑えるため，我々は$\phi(x_i,y_j) > \theta$の単語間類似度を持つ単語対$(x_i,y_j)$のみを用いて単語アライメントを行った．
この閾値$\theta$はMaxF1を最大化するように選択し，Average Alignmentについては{\it G vs. O}の分類時に$0.89$，{\it G+GP vs. O}の分類時に$0.95$，Maximum Alignmentについては{\it G vs. O}の分類時に$0.28$，{\it G+GP vs. O}の分類時に$0.49$，Hungarian Alignmentについては{\it G vs. O}の分類時に$0.98$，{\it G+GP vs. O}の分類時に$0.98$を採用した．


\subsection{実験結果}

パラレルデータとノンパラレルデータの2値分類の結果を表~\ref{tab:binary_classification}に示す．
{\it Good}とその他の2値分類においては多対多の単語アライメントに基づくWord Mover's Distanceが最も高い性能を示した．
また，{\it Good+Good Partial}とその他の2値分類においては多対一の単語アライメントに基づくMaximum Alignmentが最も高い性能を示した．
なお，Maximum Alignmentは{\it Good}とその他の2値分類においても3つの先行研究よりも高い性能を示した．

図~\ref{fig:good_vs_others}および図~\ref{fig:partial_vs_others}に，パラレルデータとノンパラレルデータの2値分類におけるPrecision-Recall曲線を示す．
図~\ref{fig:partial_vs_others}の{\it Good+Good Partial}とその他の2値分類において，太実線のMaximum Alignmentが他の単語分散表現に基づく文間類似度計算手法よりも高い性能を示した．

\begin{table}[t]
\caption{パラレルデータとノンパラレルデータの2値分類精度}
\label{tab:binary_classification}
\input{03table01.tex}
\end{table}

\begin{figure}[t]
\noindent
\begin{minipage}[b]{.5\textwidth}
\begin{center}
\includegraphics{25-2ia3f3.eps}
\end{center}
\caption{{\it G vs. O}の2値分類におけるPR曲線}
\label{fig:good_vs_others}
\end{minipage}
\begin{minipage}[b]{.5\textwidth}
\begin{center}
\includegraphics[width=180pt]{25-2ia3f4.eps}
\end{center}
\caption{{\it G+GP vs. O}の2値分類におけるPR曲線}
\label{fig:partial_vs_others}
\end{minipage}
\end{figure}

\ref{sec:raw2parallel}節で述べたように，テキスト平易化タスクでは省略も頻繁に行われる．
そこで，テキスト平易化のための単言語パラレルコーパスには，対応する難解な文と平易な文が同義である{\it Good}の文対だけでなく，難解な文が平易な文の意味を含意する{\it Good Partial}の文対も含めることが重要である．
そのため，{\it Good+Good Partial}とその他の2値分類において最も高い性能を示すMaximum Alignmentが，テキスト平易化のための単言語パラレルコーパス構築に最も適した文間類似度の計算手法であると言える．

図~\ref{fig:max_alignment}および図~\ref{fig:hun_alignment}から，Maximum Alignmentでは(genus, genus)と(species, genus)のような多対一の単語アライメントが可能であるが，Hungarian Alignmentには(as, genus)や(tree, is)のような誤った単語アライメントが見られる．
機能語は色々な単語とある程度の単語間類似度を持つため，Hungarian Alignmentにおける一対一の制約は厳しすぎる．
また，Maximum Alignmentは多対一の単語アライメントを許すので，フレーズと単語の言い換えも上手く捉えられる．

\begin{figure}[t]
\noindent
\begin{minipage}[b]{.5\textwidth}
\begin{center}
\includegraphics{25-2ia3f5.eps}
\end{center}
\caption{Maximum Alignmentによる単語アライメント}
\label{fig:max_alignment}
\end{minipage}
\begin{minipage}[b]{.5\textwidth}
\begin{center}
\includegraphics{25-2ia3f6.eps}
\end{center}
\caption{Hungarian Alignmentによる単語アライメント}
\label{fig:hun_alignment}
\end{minipage}
\end{figure}


\section{実験2: 英語のテキスト平易化}
\label{sec:english_experiment}

Simple English Wikipediaのような平易に書かれた大規模コーパスは英語以外の多くの言語では利用できないため，本研究では生コーパス (English Wikipedia) からテキスト平易化のための疑似パラレルコーパスを構築し，それを用いてフレーズベースの統計的機械翻訳モデルを訓練することによってテキスト平易化を実現する．

本節では，平易に書かれた大規模コーパスが利用できる英語での実験によって，文アライメント手法の改善によるテキスト平易化の性能の変化を確認する．
また，平易なコーパスに頼らない疑似パラレルコーパスから訓練されたモデルが，既存のパラレルコーパスから訓練されたモデルに匹敵する性能を発揮できることを示す．


\subsection{疑似パラレルコーパスの構築}
\label{subsec:pseudo_parallel_corpus}

\ref{sec:raw2parallel}節で述べたように，我々はリーダビリティ推定と文アライメントによって各文対に対してテキスト平易化のための品質推定を行い，コーパスに含める文対を選抜する．


\subsubsection{生コーパス}

まず，生コーパスを用意する．
本研究では，English Wikipedia\footnote{https://dumps.wikimedia.org/enwiki/20160501/}の各記事に対してWikiExtractor\footnote{https://github.com/attardi/wikiextractor/}を用いた本文抽出とNLTK 3.2.1\footnote{http://www.nltk.org/}を用いたトークナイズを行い，10単語以上の6,283,703文を対象とした．


\subsubsection{リーダビリティ推定}

次に，英文のリーダビリティ推定のために，我々は英語のテキスト平易化 \cite{zhu-2010,bingel-2016}でよく利用されるFlesch Reading Ease Formula \cite{flesch-1948}を用いる．
Flesch Reading Ease Formulaでは，$\alpha$を単語数，$\beta$を1単語あたりの平均音節数として，文のリーダビリティを次のように定義する．
\begin{equation}
	Flesch Reading Ease = 206.835 - 1.015 \alpha - 84.6 \beta
\end{equation}
Flesch Reading Ease Formulaで計算されたリーダビリティスコアは，おおよそ0以上100以下の値を取り，$[60, 70)$を標準レベルとして，高いほど読みやすい平易な文であることを意味する．

そこで我々は，English Wikipediaから抽出した6,283,703文を以下のように分割した．
\begin{itemize}
  \item 難解なサブコーパス：$[0, 60)$のリーダビリティスコアを持つ3,689,227文
  \item 平易なサブコーパス：$[60, 100]$のリーダビリティスコアを持つ2,358,921文
  \item リーダビリティを測定不能として棄却：数百単語の長文や箇条書きなど，0未満または100を超えるリーダビリティスコアを持つ235,555文
\end{itemize}


\subsubsection{文アライメント}

我々は\ref{sec:intrinsic_evaluation}節で最も高い性能を示したMaximum Alignmentを用いて全ての難解な文と平易な文の組み合わせに対して文間類似度を計算した．
単語分散表現には，\ref{sec:intrinsic_evaluation}節と同じく公開されている学習済みのCBOWモデル\footnote{https://code.google.com/archive/p/word2vec/}を使用した．
ノイズを軽減するために単語間類似度が0.5以上の単語対のみを単語アライメントに使用し，文間類似度が0.5以上である2,072,572文対を抽出して英語のテキスト平易化のための疑似パラレルコーパスを構築した．


\subsection{疑似パラレルコーパスの妥当性}

図~\ref{fig:readability}に，English WikipediaとSimple English Wikipediaの文のリーダビリティの分布を示す．
縦軸は各リーダビリティスコアの文数を正規化したものであり，各ヒストグラムの面積が1となる．
Flesch Reading Ease Formulaに基づくリーダビリティスコアの60未満の範囲では，難解なコーパスであるEnglish Wikipediaの文が出現する割合が高い．
同じく，60以上の範囲では平易なコーパスであるSimple English Wikipediaの文が出現する割合が高い．
よって，本研究で難解な文と平易な文を分割した閾値60の基準も妥当であると言える．
また，English Wikipediaには難解な文が多いとは言え，全ての文が難解なわけではないこともわかる．
そのため，English Wikipediaから平易な文を抽出することで，平易な文書に頼ることなく平易なサブコーパスを得ることができる．

\begin{figure}[b]
\noindent
\begin{minipage}[b]{.5\textwidth}
\begin{center}
\includegraphics{25-2ia3f7.eps}
\end{center}
\caption{リーダビリティの分布}
\label{fig:readability}
\end{minipage}
\begin{minipage}[b]{.5\textwidth}
\begin{center}
\includegraphics{25-2ia3f8.eps}
\end{center}
\caption{疑似パラレルコーパスの品質}
\label{fig:analysis}
\end{minipage}
\end{figure}

図~\ref{fig:analysis}に，我々が構築した疑似パラレルコーパスの文間類似度ごとの同義性の品質を示す．
{\it Good}，{\it Good Partial}，{\it Partial}および{\it Bad}の各ラベルは，\ref{sec:intrinsic_evaluation}節の実験設定と対応しており，\citeA{hwang-2015}に準ずるものである．
文間類似度の範囲ごとに100文対を無作為抽出し，合計500文対を2人のアノテータが評価した．
各文対に4つのラベルのうちの1つを割り当てたところ，アノテータ間の一致率はピアソンの相関係数で0.629と十分に高かった．
この同義性に関する人手評価から，文間類似度が高くなるにつれて無関係な{\it Bad}の文対が減少し，同義な{\it Good}の文対が増加していることがわかる．
また，一方の文が他方を含意する{\it Good Partial}の文対は文間類似度$[0.9, 1.0)$の範囲でのみ減少しているが，これは難解な文と平易な文の文長に関係している．
文間類似度$[0.8, 0.9)$の範囲では，難解な文の平均文長は平易な文の平均文長よりも約3語長い．
しかし，文間類似度$[0.9, 1.0)$の範囲では，その差は1語未満である．
文長の近い文対では意味的な包含関係が成立しにくく，文間類似度の高い文対は同義になりやすいと考えられる．

\begin{table}[b]
\caption{English Wikipediaから構築したテキスト平易化のための疑似パラレルコーパスの例}
\label{tab:corpus_example}
\input{03table02.tex}
\end{table}

表~\ref{tab:corpus_example}に，我々が構築したテキスト平易化のための疑似パラレルコーパスの例を示す．
{\it Good}の文対には，難解な語句から平易な語句への言い換え (precipitation→rainfall) の例が見られる．
{\it Good Partial}の文対には省略の例が見られる．
{\it Partial}の文対は，同義関係や含意関係ではないが，共通する語句や関連する語句を含み，関連する内容について書かれている．

English Wikipediaを分割した難解なサブコーパスと平易なサブコーパスの組は，English WikipediaとSimple English Wikipediaの組とは異なりコンパラブルコーパスではない．
そのため，図~\ref{fig:analysis}に示したように，同義や含意の関係にある文対の割合は多くはない．
しかし，本研究ではフレーズベースの統計的機械翻訳を用いてテキスト平易化を行うため，以下の3つの理由でこの問題の影響は少なく，雑音の多い文対からでも重要な知識を獲得できる．
\begin{itemize}
\item テキスト平易化は同一言語内の翻訳問題であるため，入力文に含まれる多くの単語をそのまま出力できる（変換しないことが正解である）．そのため，異言語間の翻訳問題とは異なり，適切な変換対が少量しか得られないことが致命的な問題にはならない．
\item フレーズベースの統計的機械翻訳では，フレーズ単位の変換対を学習する．難解なフレーズとその言い換えである平易なフレーズの組は，同義や含意の関係にある文対からだけではなく，類義の関係にある文対からも得ることができる．
\item フレーズベースの統計的機械翻訳では，最終的に言語モデルによるリランキングを行うため，雑音の多いフレーズペアを獲得していても，平易な言い換えとして適切なフレーズペアをその中に含むことができれば適切な平易文が得られる．
\end{itemize}


\subsection{実験設定}
\label{subsec:experimental_setup}

我々は生コーパスのみから構築したテキスト平易化のための疑似パラレルコーパスの有効性を調査するために，フレーズベースの統計的機械翻訳を用いてテキスト平易化モデルを学習し，Simple English Wikipediaを使って構築された既存のテキスト平易化のためのパラレルコーパスを用いて学習したモデルとの比較を行う．
本研究では，テキスト平易化を難解な文から平易な文への翻訳問題と考え，対数線形モデルを用いてモデル化する．
\begin{equation}
\begin{split}
	\hat{s} &= \argmax_{simple} P(simple|complex) \\
	        &= \argmax_{simple} P(complex|simple) P(simple) \\
	        &= \argmax_{simple} \sum_{m=1}^{M} \lambda_m h_m(simple,complex)
\end{split}
\end{equation}
対数線形モデルでは$M$個の素性関数$h_m(simple,complex)$および各素性の重み$\lambda_m$を考え，翻訳確率$P(simple|complex)$をモデル化する．
テキスト平易化の場合は，入力の難解な文に対して素性関数の重み付き線形和を最大化する平易な文$\hat{s}$を探索する問題を考える．
素性関数としては，フレーズの平易化モデル$\log P(complex|simple)$や言語モデル$\log P(simple)$などを用いる．

我々はフレーズベースの統計的機械翻訳ツールであるMoses 2.1 \cite{koehn-2007}を使用し，パラレルコーパスからの単語アライメントの獲得にはGIZA++ \cite{och-2003}を用いた．
また，KenLM \cite{heafield-2011}を用いて各パラレルコーパスの平易側の文から5-gram言語モデルを構築した．
テストデータには，\citeA{xu-2016}によって公開されているマルチリファレンスのパラレルコーパス\footnote{https://github.com/cocoxu/simplification}を使用した．
これは，English Wikipediaから抽出された難解な350文に対して，それぞれ8人が平易な同義文を付与したものである．
本研究では，このマルチリファレンスのパラレルコーパスを用いてFlesch Reading Ease (FRE)，BLEU \cite{papineni-2002}およびSARI \cite{xu-2016}による自動評価を行った．
なお，トレーニングデータからはテストデータに含まれるEnglish Wikipediaの文を除外した．

\begin{table}[b]
\caption{英語のテキスト平易化の実験結果}
\label{tab:experimental_result}
\input{03table03.tex}
\end{table}
\begin{table}[b]
\caption{疑似パラレルコーパスの文対数と性能の変化}
\label{tab:threshold_result}
\input{03table04.tex}
\end{table}


\subsection{実験結果}
\label{subsec:experimental_result}

表~\ref{tab:experimental_result}および表~\ref{tab:threshold_result}にフレーズベースの統計的機械翻訳を用いたテキスト平易化の実験結果を示す．
Baselineは，書き換えを行わず入力文をそのまま出力する弱いベースラインである．
Zhu et al. corpus\footnote{https://www.ukp.tu-darmstadt.de/data/sentence-simplification/simple-complex-sentence-pairs/}，Coster and Kauchak corpus\footnote{http://www.cs.pomona.edu/{\textasciitilde}dkauchak/simplification/}およびHwang et al. corpus\footnote{http://ssli.ee.washington.edu/tial/projects/simplification/}は，我々の実験設定と同じくフレーズベースの統計的機械翻訳ツールMosesによってテキスト平易化を行うが，難解なコーパス (English Wikipedia) と平易なコーパス (Simple English Wikipedia) の両方を用いて構築されたパラレルコーパスをトレーニングに使用する．
Our parallel corpus\footnote{https://github.com/tmu-nlp/sscorpus}は，同じくEnglish WikipediaとSimple English Wikipediaのコンパラブルコーパスを用いるが，\ref{subsec:max_alignment}節のMaximum Alignmentによって構築したテキスト平易化のためのパラレルコーパスをトレーニングに使用する強いベースラインである．
Our pseudo-parallel corpusは我々の提案手法であり，生コーパスのみを用いて構築したテキスト平易化のための疑似パラレルコーパスを使用する．


\subsubsection{語彙数}

我々のパラレルコーパスや既存の他のパラレルコーパスでは，難解なコーパスの方が平易なコーパスよりも語彙数が多い．
これは，Simple English Wikipediaが850語の基本語彙を用いるというガイドラインに従って書かれているためである．
850語の制約が厳密に守られているわけではないとはいえ，Simple English Wikipediaの語彙の方が少なくなっている．
しかし，我々の疑似パラレルコーパスでは，文間類似度の高い100万文対までは難解なコーパスの語彙数の方が少ない．
これは，文間類似度を用いて貪欲に文アライメントを取るため，同じ文が繰り返し使用される場合があるからである．
例えば10万文の疑似パラレルコーパスでは，平易なコーパスの異なり文数が25,817であるのに対して，難解なコーパスの異なり文数は3,674である．


\subsubsection{平均文長}

我々のパラレルコーパスは既存の他のパラレルコーパスよりも難解なコーパスと平易なコーパスの文長の差が大きく，English WikipediaとSimple English Wikipediaの全体の平均文長（25.1および16.9）に近い．
これは，Maximum Alignmentが文長に関わらず適切に文間類似度を計算できていることを意味する．


\subsubsection{平易化規則数（フレーズテーブルのエントリ数）}

10万文や50万文の部分に注目すると，我々の疑似パラレルコーパスは得られる規則が少ない．
これは類似度の低い文対ほど多くの平易化が実施されるためである．
例えば，Zhu et al. corpusや我々のパラレルコーパスには，0.5以上の類似度の文対が含まれている．
一方，疑似パラレルコーパスには，10万文で0.94以上，50万文で0.79以上の類似度の文対しか含まれていない．
同じ10万文や50万文で比較したときには我々の疑似パラレルコーパスでは類似度の高い文対が多くなり，平易化のバリエーションは少ない．
しかし，疑似パラレルコーパスは大量に用意できるため，最終的には十分な量の規則を獲得することができる．


\subsubsection{FRE: Flesch Reading Ease（リーダビリティ）}

疑似パラレルコーパスを用いて学習したモデルでも，入力文よりもリーダビリティの高い文を出力できた．
平易な大規模コーパスを使用していないにも関わらず，文間類似度の上位200万文を用いて学習した場合には，Simple English Wikipediaを使って学習した場合と同等の59を超えるリーダビリティを持つ文を出力することができた．


\subsubsection{BLEUおよびSARI}

FREが出力文のみを用いてリーダビリティのみを評価するのに対して，BLEUは出力文とリファレンスの両方を，SARIは入力文と出力文とリファレンスの全てを用いて文法や意味も評価する．
\citeA{xu-2016}は，BLEUがGrammarやMeaningの観点で人手評価との相関が高く，SARIがSimplicityの観点で人手評価との相関が高いことを報告しており，テキスト平易化のために提案されたSARIはGrammar/Meaning/Simplicityの全てのバランスが取れた自動評価尺度であると結論付けている．
表~\ref{tab:experimental_result}によると，BLEUはBaselineが最も高い．
これは，入力文を何も変換しない場合には意味も文法も損なわれないためである．
完全に意味を保持することはできないため，平易化の操作を加えることによってリーダビリティが向上する一方でBLEUは低下してしまう．
BLEUを高く保ちつつリーダビリティのより高い文を出力することが良い平易化である．

我々のパラレルコーパスを用いて学習したモデルは，SARIで最高性能を達成した．
他の先行研究との違いは文アライメントの手法であり，\ref{sec:intrinsic_evaluation}節の内的評価の結果と同様にMaximum Alignmentの有効性が確認できた．

疑似パラレルコーパスを用いて学習したモデルでは，文間類似度の上位150万文を使った場合にSARIが最大となった．
平易な大規模コーパスを利用しないにも関わらず，先行研究のパラレルコーパスを用いて学習したモデルと同等の性能を発揮することができた．
また，このときのBLEUも先行研究と同等であり，入力文の文法や意味を保持した文を出力することができた．


\subsubsection{テキスト平易化の例}

表~\ref{tab:simplification_example}に，フレーズベースの統計的機械翻訳を用いたテキスト平易化の例を示す．
疑似パラレルコーパスを用いて学習したモデルは，Reference 1と同様に不要な表現``both''を省略し，Reference 2や3と同様に難解な表現``numerous''を平易な表現``many''に言い換えた．
比較手法の中には，難解な表現``extremely''から平易な表現``very''への言い換えも見られた一方で，``world''など必要以上の省略も見られた．

\begin{table}[t]
\caption{英語のテキスト平易化の例}
\label{tab:simplification_example}
\input{03table05.tex}
\end{table}


\section{実験3: 日本語のテキスト平易化}
\label{sec:japanese_experiment}

提案手法が言語やコーパス (English Wikipedia) に依存しないことを確認するために，本節では日本語の均衡コーパスを用いた実験を行う．


\subsection{疑似パラレルコーパスの構築}
\label{subsec:japanese_pseudo_parallel_corpus}

\ref{subsec:pseudo_parallel_corpus}節と同じく，
リーダビリティ推定と文アライメントによって生コーパスからテキスト平易化のための疑似パラレルコーパスを構築する．
生コーパスには現代日本語書き言葉均衡コーパス (BCCWJ)  \cite{maekawa-2010}を，リーダビリティ推定には文中の各単語の単語難易度\footnote{https://github.com/tmu-nlp/simple-jppdb} \cite{kajiwara-2017}の平均値をそれぞれ使用した．
この単語難易度は，571,023語の日本語の単語に3段階（1：初級，2：中級，3：上級）の難易度が自動的に付与されたものである．
Maximum Alignmentの文アライメントに使用する単語分散表現は，word2vec \cite{mikolov-2013a}のCBOWモデルをBCCWJ上で学習した．
ノイズを軽減するために単語間類似度が0.5以上の単語対のみを単語アライメントに使用し，文間類似度が0.6以上である470,885文対を抽出して日本語のテキスト平易化のための疑似パラレルコーパスを構築した．


\subsection{実験設定}
\label{subsec:japanese_experimental_setup}

\ref{subsec:experimental_setup}節の英語の実験と同じ設定で，フレーズベースの統計的機械翻訳モデルを用いてテキスト平易化を行った．
テストデータには，Web\footnote{https://matcha-jp.com/}から収集した2,000文対を使用した．
収集したデータは難解なテキストと平易なテキストからなるコンパラブルコーパスである．
Maximum Alignmentの文間類似度が$[0.75, 1.0)$の範囲の各文対について，2人のアノテータが \citeA{hwang-2015}に準ずる4つのラベル ({\it Good}，{\it Good Partial}，{\it Partial}，{\it Bad}) のうちの1つを割り当てたところ，アノテータ間の一致率はピアソンの相関係数で0.769と十分に高かった．
テストデータとして使用するのは，2人のアノテータがいずれも{\it Good}または{\it Good Partial}のラベルを付与した2,000文対である．


\subsection{実験結果}
\label{subsec:japanese_experimental_result}

表~\ref{tab:japanese_experimental_result}に，フレーズベースの統計的機械翻訳を用いた日本語のテキスト平易化の実験結果を示す．
日本語ではテキスト平易化のためのパラレルコーパスが公開されていないため，書き換えを行わず入力文をそのまま出力する弱いベースラインのみと比較する．
疑似パラレルコーパスを用いて学習したモデルは，いずれもSARIにおいてBaseline（入力文）よりも高い性能を示した．
英日の実験結果から，我々は提案手法が言語やコーパスに依存せず有効であることを確認できた．
なお，表~\ref{tab:experimental_result}の英語の実験結果に比べて全体にBLEUが低いのは，シングルリファレンスのテストデータで評価を行っているためである．

\begin{table}[t]
\caption{日本語のテキスト平易化の実験結果}
\label{tab:japanese_experimental_result}
\input{03table06.tex}
\end{table}
\begin{table}[t]
\caption{日本語のテキスト平易化の例}
\label{tab:japanese_example}
\input{03table07.tex}
\end{table}

表~\ref{tab:japanese_example}に，日本語のテキスト平易化の例を示す．
疑似パラレルコーパスで訓練したテキスト平易化モデルは，難解な表現``定休日''から平易な表現``休みの日''などの言い換えを漏らしているものの，難解な表現``電話で聞く''から平易な表現``電話をする''などの言い換えや，ガ格とニ格の並び替えに成功した．


\section{おわりに}
\label{sec:conclusion}

本稿では，フレーズベースの統計的機械翻訳モデルを用いる生コーパスのみからのテキスト平易化について述べた．
提案手法では，平易に書かれた大規模なコーパスや言い換え知識などの外部知識に頼らず，生コーパスのみを用いてリーダビリティと文間類似度によってテキスト平易化のための疑似パラレルコーパスを構築する．
我々が提案した単語分散表現のアライメントに基づく文間類似度は，外部知識に頼ることなく難解な単語と平易な単語の単語間類似度を考慮することができ，従来の文間類似度よりも文長に頑健なため，テキスト平易化コーパスを構築するための文アライメントに適した手法である．
フレーズベースの統計的機械翻訳を用いたテキスト平易化の実験結果は，疑似パラレルコーパスを用いて学習したモデルが，平易な大規模コーパスを用いて学習する先行研究のモデルと同等の性能で入力文を平易な同義文に変換できることを示した．

これまでは，豊富な言語資源が存在する英語を中心にテキスト平易化の研究が進められてきたが，生コーパスは英語以外の多くの言語でも大規模に利用できるので，今後は多くの言語でテキスト平易化が実現できるだろう．

また，パラレルコーパスは文圧縮や応答文生成などの他のテキストからのテキスト生成タスクにおいても有用な言語資源である．
日本語など，英語以外の言語の単言語パラレルコーパスが不足している現状を考えると，本研究で提案した疑似パラレルコーパスの自動構築手法は，これらのタスクにおいても有望である．


\acknowledgment
本研究は首都大学東京傾斜的研究費（全学分）学長裁量枠戦略的研究プロジェクト戦略的研究支援枠「ソーシャルビッグデータの分析・応用のための学術基盤の研究」から部分的な支援を受けた．\\


\bibliographystyle{jnlpbbl_1.5}
\begin{thebibliography}{}

\bibitem[\protect\BCAY{Agirre, Banea, Cardie, Cer, Diab, Gonzalez-Agirre, Guo,
  Lopez-Gazpio, Maritxalar, Mihalcea, Rigau, Uria, \BBA\ Wiebe}{Agirre
  et~al.}{2015}]{agirre-2015}
Agirre, E., Banea, C., Cardie, C., Cer, D., Diab, M., Gonzalez-Agirre, A., Guo,
  W., Lopez-Gazpio, I., Maritxalar, M., Mihalcea, R., Rigau, G., Uria, L.,
  \BBA\ Wiebe, J. \BBOP 2015\BBCP.
\newblock \BBOQ SemEval-2015 Task 2: Semantic Textual Similarity, English,
  Spanish and Pilot on Interpretability.\BBCQ\
\newblock In {\Bem Proceedings of the 9th International Workshop on Semantic
  Evaluation}, \mbox{\BPGS\ 252--263}.

\bibitem[\protect\BCAY{Agirre, Banea, Cardie, Cer, Diab, Gonzalez-Agirre, Guo,
  Mihalcea, Rigau, \BBA\ Wiebe}{Agirre et~al.}{2014}]{agirre-2014}
Agirre, E., Banea, C., Cardie, C., Cer, D., Diab, M., Gonzalez-Agirre, A., Guo,
  W., Mihalcea, R., Rigau, G., \BBA\ Wiebe, J. \BBOP 2014\BBCP.
\newblock \BBOQ SemEval-2014 Task 10: Multilingual Semantic Textual
  Similarity.\BBCQ\
\newblock In {\Bem Proceedings of the 8th International Workshop on Semantic
  Evaluation}, \mbox{\BPGS\ 81--91}.

\bibitem[\protect\BCAY{Agirre, Cer, Diab, \BBA\ Gonzalez-Agirre}{Agirre
  et~al.}{2012}]{agirre-2012}
Agirre, E., Cer, D., Diab, M., \BBA\ Gonzalez-Agirre, A. \BBOP 2012\BBCP.
\newblock \BBOQ SemEval-2012 Task 6: A Pilot on Semantic Textual
  Similarity.\BBCQ\
\newblock In {\Bem *SEM 2012: The 1st Joint Conference on Lexical and
  Computational Semantics -- Volume 1: Proceedings of the Main Conference and
  the Shared Task, and Volume 2: Proceedings of the 6th International Workshop
  on Semantic Evaluation}, \mbox{\BPGS\ 385--393}.

\bibitem[\protect\BCAY{Agirre, Cer, Diab, Gonzalez-Agirre, \BBA\ Guo}{Agirre
  et~al.}{2013}]{agirre-2013}
Agirre, E., Cer, D., Diab, M., Gonzalez-Agirre, A., \BBA\ Guo, W. \BBOP
  2013\BBCP.
\newblock \BBOQ *SEM 2013 shared task: Semantic Textual Similarity.\BBCQ\
\newblock In {\Bem 2nd Joint Conference on Lexical and Computational Semantics,
  Volume 1: Proceedings of the Main Conference and the Shared Task: Semantic
  Textual Similarity}, \mbox{\BPGS\ 32--43}.

\bibitem[\protect\BCAY{Bingel \BBA\ S{\o}gaard}{Bingel \BBA\
  S{\o}gaard}{2016}]{bingel-2016}
Bingel, J.\BBACOMMA\ \BBA\ S{\o}gaard, A. \BBOP 2016\BBCP.
\newblock \BBOQ Text Simplification as Tree Labeling.\BBCQ\
\newblock In {\Bem Proceedings of the 54th Annual Meeting of the Association
  for Computational Linguistics}, \mbox{\BPGS\ 337--343}.

\bibitem[\protect\BCAY{Bojar, Buck, Callison-Burch, Federmann, Haddow, Koehn,
  Monz, Post, \mbox{Soricut}, \BBA\ Specia}{Bojar et~al.}{2013}]{bojar-2013}
Bojar, O., Buck, C., Callison-Burch, C., Federmann, C., Haddow, B., Koehn, P.,
  Monz, C., Post, M., \mbox{Soricut}, R., \BBA\ Specia, L. \BBOP 2013\BBCP.
\newblock \BBOQ Findings of the 2013 Workshop on Statistical Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 8th Workshop on Statistical Machine
  Translation}, \mbox{\BPGS\ 1--44}.

\bibitem[\protect\BCAY{Bojar, Buck, Federmann, Haddow, Koehn, \mbox{Leveling},
  Monz, Pecina, Post, Saint-Amand, Soricut, Specia, \BBA\ Tamchyna}{Bojar
  et~al.}{2014}]{bojar-2014}
Bojar, O., Buck, C., Federmann, C., Haddow, B., Koehn, P., \mbox{Leveling}, J.,
  Monz, C., Pecina, P., Post, M., Saint-Amand, H., Soricut, R., Specia, L.,
  \BBA\ Tamchyna, A. \BBOP 2014\BBCP.
\newblock \BBOQ Findings of the 2014 Workshop on Statistical Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 9th Workshop on Statistical Machine
  Translation}, \mbox{\BPGS\ 12--58}.

\bibitem[\protect\BCAY{Bojar, \mbox{Chatterjee}, Federmann, Graham, Haddow,
  Huck, Jimeno~Yepes, Koehn, Logacheva, Monz, Negri, Neveol, Neves, Popel,
  Post, Rubino, Scarton, Specia, Turchi, Verspoor, \BBA\ Zampieri}{Bojar
  et~al.}{2016}]{bojar-2016}
Bojar, O., \mbox{Chatterjee}, R., Federmann, C., Graham, Y., Haddow, B., Huck,
  M., Jimeno~Yepes, A., Koehn, P., Logacheva, V., Monz, C., Negri, M., Neveol,
  A., Neves, M., Popel, M., Post, M., Rubino, R., Scarton, C., Specia, L.,
  Turchi, M., Verspoor, K., \BBA\ Zampieri, M. \BBOP 2016\BBCP.
\newblock \BBOQ Findings of the 2016 Conference on Machine Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 1st Conference on Machine Translation},
  \mbox{\BPGS\ 131--198}.

\bibitem[\protect\BCAY{Bojar, \mbox{Chatterjee}, \mbox{Federmann},
  \mbox{Haddow}, Huck, Hokamp, Koehn, Logacheva, Monz, Negri, Post, Scarton,
  Specia, \BBA\ Turchi}{Bojar et~al.}{2015}]{bojar-2015}
Bojar, O., \mbox{Chatterjee}, R., \mbox{Federmann}, C., \mbox{Haddow}, B.,
  Huck, M., Hokamp, C., Koehn, P., Logacheva, V., Monz, C., Negri, M., Post,
  M., Scarton, C., Specia, L., \BBA\ Turchi, M. \BBOP 2015\BBCP.
\newblock \BBOQ Findings of the 2015 Workshop on Statistical Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 10th Workshop on Statistical Machine
  Translation}, \mbox{\BPGS\ 1--46}.

\bibitem[\protect\BCAY{Callison-Burch, Koehn, Monz, Post, \mbox{Soricut}, \BBA\
  Specia}{Callison-Burch et~al.}{2012}]{callisonburch-2012}
Callison-Burch, C., Koehn, P., Monz, C., Post, M., \mbox{Soricut}, R., \BBA\
  Specia, L. \BBOP 2012\BBCP.
\newblock \BBOQ Findings of the 2012 Workshop on Statistical Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 7th Workshop on Statistical Machine
  Translation}, \mbox{\BPGS\ 10--51}.

\bibitem[\protect\BCAY{Chall \BBA\ Dale}{Chall \BBA\ Dale}{1995}]{chall-1995}
Chall, J.\BBACOMMA\ \BBA\ Dale, E. \BBOP 1995\BBCP.
\newblock {\Bem Readability Revisited: The New Dale-Chall Readability Formula}.
\newblock Cambridge, MA: Brookline Books.

\bibitem[\protect\BCAY{Collins-Thompson \BBA\ Callan}{Collins-Thompson \BBA\
  Callan}{2004}]{collins-2004}
Collins-Thompson, K.\BBACOMMA\ \BBA\ Callan, J.~P. \BBOP 2004\BBCP.
\newblock \BBOQ A Language Modeling Approach to Predicting Reading
  Difficulty.\BBCQ\
\newblock In {\Bem Proceedings of the Human Language Technology Conference of
  the North American Chapter of the Association for Computational Linguistics},
  \mbox{\BPGS\ 193--200}.

\bibitem[\protect\BCAY{Coster \BBA\ Kauchak}{Coster \BBA\
  Kauchak}{2011a}]{coster-2011b}
Coster, W.\BBACOMMA\ \BBA\ Kauchak, D. \BBOP 2011a\BBCP.
\newblock \BBOQ Learning to Simplify Sentences Using Wikipedia.\BBCQ\
\newblock In {\Bem Proceedings of the Workshop on Monolingual Text-To-Text
  Generation}, \mbox{\BPGS\ 1--9}.

\bibitem[\protect\BCAY{Coster \BBA\ Kauchak}{Coster \BBA\
  Kauchak}{2011b}]{coster-2011a}
Coster, W.\BBACOMMA\ \BBA\ Kauchak, D. \BBOP 2011b\BBCP.
\newblock \BBOQ Simple English Wikipedia: A New Text Simplification Task.\BBCQ\
\newblock In {\Bem Proceedings of the 49th Annual Meeting of the Association
  for Computational Linguistics: Human Language Technologies}, \mbox{\BPGS\
  665--669}.

\bibitem[\protect\BCAY{Flesch}{Flesch}{1948}]{flesch-1948}
Flesch, R. \BBOP 1948\BBCP.
\newblock \BBOQ A New Readability Yardstick.\BBCQ\
\newblock {\Bem Journal of Applied Psychology}, {\Bbf 32}, \mbox{\BPGS\
  221--233}.

\bibitem[\protect\BCAY{藤田\JBA 小林\JBA 南\JBA 杉山}{藤田 \Jetal
  }{2015}]{fujita-2015b}
藤田早苗\JBA 小林哲生\JBA 南泰浩\JBA 杉山弘晃 \BBOP 2015\BBCP.
\newblock 幼児を対象としたテキストの対象年齢推定方法.\
\newblock \Jem{認知科学}, {\Bbf 22}  (4), \mbox{\BPGS\ 604--620}.

\bibitem[\protect\BCAY{Ganitkevitch, Van~Durme, \BBA\
  Callison-Burch}{Ganitkevitch et~al.}{2013}]{ganitkevitch-2013}
Ganitkevitch, J., Van~Durme, B., \BBA\ Callison-Burch, C. \BBOP 2013\BBCP.
\newblock \BBOQ PPDB: The Paraphrase Database.\BBCQ\
\newblock In {\Bem Proceedings of the 2013 Conference of the North American
  Chapter of the Association for Computational Linguistics: Human Language
  Technologies}, \mbox{\BPGS\ 758--764}.

\bibitem[\protect\BCAY{Goto, Tanaka, \BBA\ Kumano}{Goto
  et~al.}{2015}]{goto-2015}
Goto, I., Tanaka, H., \BBA\ Kumano, T. \BBOP 2015\BBCP.
\newblock \BBOQ Japanese News Simplification: Task Design, Data Set
  Construction, and Analysis of Simplified Text.\BBCQ\
\newblock In {\Bem Proceedings of MT Summit XV}, \mbox{\BPGS\ 17--31}.

\bibitem[\protect\BCAY{Han, Martineau, Cheng, \BBA\ Thomas}{Han
  et~al.}{2015}]{han-2015}
Han, L., Martineau, J., Cheng, D., \BBA\ Thomas, C. \BBOP 2015\BBCP.
\newblock \BBOQ Samsung: Align-and-Differentiate Approach to Semantic Textual
  Similarity.\BBCQ\
\newblock In {\Bem Proceedings of the 9th International Workshop on Semantic
  Evaluation}, \mbox{\BPGS\ 172--177}.

\bibitem[\protect\BCAY{H{\"{a}}nig, Remus, \BBA\ de~la Puente}{H{\"{a}}nig
  et~al.}{2015}]{hanig-2015}
H{\"{a}}nig, C., Remus, R., \BBA\ de~la Puente, X. \BBOP 2015\BBCP.
\newblock \BBOQ ExB Themis: Extensive Feature Extraction from Word Alignments
  for Semantic Textual Similarity.\BBCQ\
\newblock In {\Bem Proceedings of the 9th International Workshop on Semantic
  Evaluation}, \mbox{\BPGS\ 264--268}.

\bibitem[\protect\BCAY{Heafield}{Heafield}{2011}]{heafield-2011}
Heafield, K. \BBOP 2011\BBCP.
\newblock \BBOQ KenLM: Faster and Smaller Language Model Queries.\BBCQ\
\newblock In {\Bem Proceedings of the 6th Workshop on Statistical Machine
  Translation}, \mbox{\BPGS\ 187--197}.

\bibitem[\protect\BCAY{Hwang, Hajishirzi, Ostendorf, \BBA\ Wu}{Hwang
  et~al.}{2015}]{hwang-2015}
Hwang, W., Hajishirzi, H., Ostendorf, M., \BBA\ Wu, W. \BBOP 2015\BBCP.
\newblock \BBOQ Aligning Sentences from Standard Wikipedia to Simple
  Wikipedia.\BBCQ\
\newblock In {\Bem Proceedings of the 2015 Conference of the North American
  Chapter of the Association for Computational Linguistics: Human Language
  Technologies}, \mbox{\BPGS\ 211--217}.

\bibitem[\protect\BCAY{梶原\JBA 小町}{梶原\JBA 小町}{2017}]{kajiwara-2017}
梶原智之\JBA 小町守 \BBOP 2017\BBCP.
\newblock \BBOQ Simple PPDB: Japanese.\BBCQ\
\newblock \Jem{言語処理学会第23回年次大会発表論文集}, \mbox{\BPGS\ 529--532}.

\bibitem[\protect\BCAY{Kincaid, Fishburne~Jr., Rogers, \BBA\ Chissom}{Kincaid
  et~al.}{1975}]{kincaid-1975}
Kincaid, J.~P., Fishburne~Jr., R.~P., Rogers, R.~L., \BBA\ Chissom, B.~S. \BBOP
  1975\BBCP.
\newblock \BBOQ Derivation of New Readability Formulas (Automated Readability
  Index, Fog Count and Flesch Reading Ease Formula) for Navy Enlisted
  Personnel.\BBCQ\
\newblock In {\Bem Technical Report, Defence Technical Information Center
  Document}, \mbox{\BPGS\ 8--75}.

\bibitem[\protect\BCAY{Koehn, Hoang, Birch, Callison-Burch, Federico, Bertoldi,
  Cowan, Shen, Moran, Zens, Dyer, Bojar, Constantin, \BBA\ Herbst}{Koehn
  et~al.}{2007}]{koehn-2007}
Koehn, P., Hoang, H., Birch, A., Callison-Burch, C., Federico, M., Bertoldi,
  N., Cowan, B., Shen, W., Moran, C., Zens, R., Dyer, C., Bojar, O.,
  Constantin, A., \BBA\ Herbst, E. \BBOP 2007\BBCP.
\newblock \BBOQ Moses: Open Source Toolkit for Statistical Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 45th Annual Meeting of the Association
  for Computational Linguistics Companion Volume Proceedings of the Demo and
  Poster Sessions}, \mbox{\BPGS\ 177--180}.

\bibitem[\protect\BCAY{Kuhn}{Kuhn}{1955}]{kuhn-1955}
Kuhn, H.~W. \BBOP 1955\BBCP.
\newblock \BBOQ The Hungarian Method for the Assignment Problem.\BBCQ\
\newblock {\Bem Naval Research Logistics Quarterly}, {\Bbf 2}, \mbox{\BPGS\
  83--97}.

\bibitem[\protect\BCAY{Kusner, Sun, Kolkin, \BBA\ Weinberger}{Kusner
  et~al.}{2015}]{kusner-2015}
Kusner, M., Sun, Y., Kolkin, N., \BBA\ Weinberger, K. \BBOP 2015\BBCP.
\newblock \BBOQ From Word Embeddings to Document Distances.\BBCQ\
\newblock In {\Bem Proceedings of The 32nd International Conference on Machine
  Learning}, \mbox{\BPGS\ 957--966}.

\bibitem[\protect\BCAY{Maekawa, Yamazaki, Maruyama, Yamaguchi, Ogura, Kashino,
  Ogiso, Koiso, \BBA\ Den}{Maekawa et~al.}{2010}]{maekawa-2010}
Maekawa, K., Yamazaki, M., Maruyama, T., Yamaguchi, M., Ogura, H., Kashino, W.,
  Ogiso, T., Koiso, H., \BBA\ Den, Y. \BBOP 2010\BBCP.
\newblock \BBOQ Design, Compilation, and Preliminary Analyses of Balanced
  Corpus of Contemporary Written Japanese.\BBCQ\
\newblock In {\Bem Proceedings of the 7th International Conference on Language
  Resources and Evaluation}, \mbox{\BPGS\ 1483--1486}.

\bibitem[\protect\BCAY{Mikolov, Chen, Corrado, \BBA\ Dean}{Mikolov
  et~al.}{2013a}]{mikolov-2013a}
Mikolov, T., Chen, K., Corrado, G.~S., \BBA\ Dean, J. \BBOP 2013a\BBCP.
\newblock \BBOQ Efficient Estimation of Word Representations in Vector
  Space.\BBCQ\
\newblock In {\Bem Proceedings of Workshop at the International Conference on
  Learning Representations}.

\bibitem[\protect\BCAY{Mikolov, Sutskever, Chen, Corrado, \BBA\ Dean}{Mikolov
  et~al.}{2013b}]{mikolov-2013b}
Mikolov, T., Sutskever, I., Chen, K., Corrado, G.~S., \BBA\ Dean, J. \BBOP
  2013b\BBCP.
\newblock \BBOQ Distributed Representations of Words and Phrases and Their
  Compositionality.\BBCQ\
\newblock In {\Bem Advances in Neural Information Processing Systems},
  \mbox{\BPGS\ 3111--3119}.

\bibitem[\protect\BCAY{Och}{Och}{2003}]{och-2003}
Och, F.~J. \BBOP 2003\BBCP.
\newblock \BBOQ Minimum Error Rate Training in Statistical Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 41st Annual Meeting of the Association
  for Computational Linguistics}, \mbox{\BPGS\ 160--167}.

\bibitem[\protect\BCAY{Papineni, Roukos, Ward, \BBA\ Zhu}{Papineni
  et~al.}{2002}]{papineni-2002}
Papineni, K., Roukos, S., Ward, T., \BBA\ Zhu, W.-J. \BBOP 2002\BBCP.
\newblock \BBOQ BLEU: A Method for Automatic Evaluation of Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of 40th Annual Meeting of the Association for
  Computational Linguistics}, \mbox{\BPGS\ 311--318}.

\bibitem[\protect\BCAY{Pavlick \BBA\ Callison-Burch}{Pavlick \BBA\
  Callison-Burch}{2016}]{pavlick-2016}
Pavlick, E.\BBACOMMA\ \BBA\ Callison-Burch, C. \BBOP 2016\BBCP.
\newblock \BBOQ Simple PPDB: A Paraphrase Database for Simplification.\BBCQ\
\newblock In {\Bem Proceedings of the 54th Annual Meeting of the Association
  for Computational Linguistics}, \mbox{\BPGS\ 143--148}.

\bibitem[\protect\BCAY{Pavlick, Rastogi, Ganitkevitch, Van~Durme, \BBA\
  Callison-Burch}{Pavlick et~al.}{2015}]{pavlick-2015}
Pavlick, E., Rastogi, P., Ganitkevitch, J., Van~Durme, B., \BBA\
  Callison-Burch, C. \BBOP 2015\BBCP.
\newblock \BBOQ PPDB 2.0: Better Paraphrase Ranking, Fine-grained Entailment
  Relations, Word Embeddings, and Style Classification.\BBCQ\
\newblock In {\Bem Proceedings of the 53rd Annual Meeting of the Association
  for Computational Linguistics and the 7th International Joint Conference on
  Natural Language Processing}, \mbox{\BPGS\ 425--430}.

\bibitem[\protect\BCAY{Rubner, Tomasi, \BBA\ Guibas}{Rubner
  et~al.}{1998}]{rubner-1998}
Rubner, Y., Tomasi, C., \BBA\ Guibas, L.~J. \BBOP 1998\BBCP.
\newblock \BBOQ A Metric for Distributions with Applications to Image
  Databases.\BBCQ\
\newblock In {\Bem Proceedings of the 6th International Conference on Computer
  Vision}, \mbox{\BPGS\ 59--66}.

\bibitem[\protect\BCAY{佐藤}{佐藤}{2011}]{sato-2011}
佐藤理史 \BBOP 2011\BBCP.
\newblock 均衡コーパスを規範とするテキスト難易度判定.\
\newblock \Jem{情報処理学会論文誌}, {\Bbf 52}  (4), \mbox{\BPGS\ 1777--1789}.

\bibitem[\protect\BCAY{柴崎\JBA 玉岡}{柴崎\JBA 玉岡}{2010}]{shibasaki-2010}
柴崎秀子\JBA 玉岡賀津雄 \BBOP 2010\BBCP.
\newblock 国語科教科書を基にした小・中学校の文章難易度学年判定式の構築.\
\newblock \Jem{日本教育工学会論文誌}, {\Bbf 33}  (4), \mbox{\BPGS\ 449--458}.

\bibitem[\protect\BCAY{Song \BBA\ Roth}{Song \BBA\ Roth}{2015}]{song-2015}
Song, Y.\BBACOMMA\ \BBA\ Roth, D. \BBOP 2015\BBCP.
\newblock \BBOQ Unsupervised Sparse Vector Densification for Short Text
  Similarity.\BBCQ\
\newblock In {\Bem Proceedings of the 2015 Conference of the North American
  Chapter of the Association for Computational Linguistics: Human Language
  Technologies}, \mbox{\BPGS\ 1275--1280}.

\bibitem[\protect\BCAY{Specia}{Specia}{2010}]{specia-2010}
Specia, L. \BBOP 2010\BBCP.
\newblock \BBOQ Translating from Complex to Simplified Sentences.\BBCQ\
\newblock In {\Bem Proceedings of the 9th International Conference on
  Computational Processing of the Portuguese Language}, \mbox{\BPGS\ 30--39}.

\bibitem[\protect\BCAY{{\v{S}}tajner, Bechara, \BBA\ Saggion}{{\v{S}}tajner
  et~al.}{2015a}]{stajner-2015a}
{\v{S}}tajner, S., Bechara, H., \BBA\ Saggion, H. \BBOP 2015a\BBCP.
\newblock \BBOQ A Deeper Exploration of the Standard PB-SMT Approach to Text
  Simplification and its Evaluation.\BBCQ\
\newblock In {\Bem Proceedings of the 53rd Annual Meeting of the Association
  for Computational Linguistics and the 7th International Joint Conference on
  Natural Language Processing}, \mbox{\BPGS\ 823--828}.

\bibitem[\protect\BCAY{{\v{S}}tajner, Calixto, \BBA\ Saggion}{{\v{S}}tajner
  et~al.}{2015b}]{stajner-2015b}
{\v{S}}tajner, S., Calixto, I., \BBA\ Saggion, H. \BBOP 2015b\BBCP.
\newblock \BBOQ Automatic Text Simplification for Spanish: Comparative
  Evaluation of Various Simplification Strategies.\BBCQ\
\newblock In {\Bem Proceedings of the International Conference Recent Advances
  in Natural Language Processing}, \mbox{\BPGS\ 618--626}.

\bibitem[\protect\BCAY{{\v{S}}tajner, Popovi{\'{c}}, Saggion, Specia, \BBA\
  Fishel}{{\v{S}}tajner et~al.}{2016}]{stajner-2016}
{\v{S}}tajner, S., Popovi{\'{c}}, M., Saggion, H., Specia, L., \BBA\ Fishel, M.
  \BBOP 2016\BBCP.
\newblock \BBOQ Shared Task on Quality Assessment for Text
  Simplification.\BBCQ\
\newblock In {\Bem LREC 2016 Workshop \& Shared Task on Quality Assessment for
  Text Simplification}, \mbox{\BPGS\ 22--31}.

\bibitem[\protect\BCAY{Sultan, Bethard, \BBA\ Sumner}{Sultan
  et~al.}{2015}]{sultan-2015}
Sultan, M.~A., Bethard, S., \BBA\ Sumner, T. \BBOP 2015\BBCP.
\newblock \BBOQ DLS$@$CU: Sentence Similarity from Word Alignment and Semantic
  Vector Composition.\BBCQ\
\newblock In {\Bem Proceedings of the 9th International Workshop on Semantic
  Evaluation}, \mbox{\BPGS\ 148--153}.

\bibitem[\protect\BCAY{Wubben, van~den Bosch, \BBA\ Krahmer}{Wubben
  et~al.}{2012}]{wubben-2012}
Wubben, S., van~den Bosch, A., \BBA\ Krahmer, E. \BBOP 2012\BBCP.
\newblock \BBOQ Sentence Simplification by Monolingual Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 50th Annual Meeting of the Association
  for Computational Linguistics}, \mbox{\BPGS\ 1015--1024}.

\bibitem[\protect\BCAY{Xu, Callison-Burch, \BBA\ Napoles}{Xu
  et~al.}{2015}]{xu-2015}
Xu, W., Callison-Burch, C., \BBA\ Napoles, C. \BBOP 2015\BBCP.
\newblock \BBOQ Problems in Current Text Simplification Research: New Data Can
  Help.\BBCQ\
\newblock {\Bem Transactions of the Association for Computational Linguistics},
  {\Bbf 3}, \mbox{\BPGS\ 283--297}.

\bibitem[\protect\BCAY{Xu, Napoles, Pavlick, Chen, \BBA\ Callison-Burch}{Xu
  et~al.}{2016}]{xu-2016}
Xu, W., Napoles, C., Pavlick, E., Chen, Q., \BBA\ Callison-Burch, C. \BBOP
  2016\BBCP.
\newblock \BBOQ Optimizing Statistical Machine Translation for Text
  Simplification.\BBCQ\
\newblock {\Bem Transactions of the Association for Computational Linguistics},
  {\Bbf 4}, \mbox{\BPGS\ 401--415}.

\bibitem[\protect\BCAY{Zhu, Bernhard, \BBA\ Gurevych}{Zhu
  et~al.}{2010}]{zhu-2010}
Zhu, Z., Bernhard, D., \BBA\ Gurevych, I. \BBOP 2010\BBCP.
\newblock \BBOQ A Monolingual Tree-based Translation Model for Sentence
  Simplification.\BBCQ\
\newblock In {\Bem Proceedings of the 23rd International Conference on
  Computational Linguistics}, \mbox{\BPGS\ 1353--1361}.

\end{thebibliography}


\begin{biography}
\bioauthor{梶原　智之}{
2013年長岡技術科学大学工学部電気電子情報工学課程卒業．2015年同大学大学院工学研究科修士課程電気電子情報工学専攻修了．同年，首都大学東京大学院システムデザイン研究科博士後期課程情報通信システム学域に進学，現在に至る．自然言語処理の研究に従事．情報処理学会，人工知能学会，言語処理学会各学生会員．
}
\bioauthor{小町　　守}{
2005年東京大学教養学部基礎科学科科学史・科学哲学分科卒業．2007年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了．2008年より日本学術振興会特別研究員 (DC2) を経て，2010年博士後期課程修了．博士（工学）．同年より同研究科助教を経て，2013年より首都大学東京システムデザイン学部准教授．大規模なコーパスを用いた意味解析および統計的自然言語処理に関心がある．情報処理学会，人工知能学会，言語処理学会，ACL各会員．
}

\end{biography}




\biodate





\end{document}
