\documentclass[japanese,tombow]{jnlp_3.2}
\usepackage{jnlpbbl_1.4}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{gentombow}
\settombowbleed{5mm}
%%%%\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%\usepackage{bm}
%%%%\usepackage{multirow}
\usepackage{booktabs}
\usepackage{amssymb}
%%%%\usepackage{latexsym}
%%%%\usepackage{adjustbox}
%%%%\usepackage{color}
%%%%\def\hl#1{\textcolor{black}{#1}}
    \def\hl#1{#1}
%%%%\def\hlv#1{\hl{#1}\vspace{-2mm}}
%%%%\def\eqref#1{式~(\ref{#1})}
\def\tabref#1{表\ref{#1}}
\def\figref#1{図\ref{#1}}
\def\sref#1{\ref{#1}\hl{章}}
\def\secref#1{\ref{#1}節}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


\Volume{27}
\Number{4}
\Month{December}
\Year{2020}
%%%%\Issuetitle{「　　　　」特集号}

\received{2020}{4}{23}
\revised{2020}{7}{31}
%%%%\rerevised{2006}{5}{6}
\accepted{2020}{8}{31}

\setcounter{page}{801}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{日本語の語彙平易化のための言語資源の整備}
\jauthor{梶原　智之\affiref{IDS} \and 西原　大貴\affiref{IST} \and 小平　知範\affiref{ULI} \and 小町　　守\affiref{TMU}}
\jabstract{
本研究では，日本語の語彙平易化のために，評価用データセット・辞書・実装や評価を支援するツールキットの3種類の言語資源を整備する．我々は既存の小規模な単語難易度辞書をもとに単語難易度の推定器を訓練し，大規模な日本語の単語難易度辞書および難解な単語から平易な単語への言い換え辞書を自動構築する．本研究で構築する評価用データセットを用いた評価実験によって，この辞書に基づく語彙平易化システムが高い性能を達成することを示す．我々のツールキットは，辞書の他，語彙平易化パイプラインにおける主要な手法を実装しており，これらの手法を組み合わせたシステムの構築および構築したシステムの自動評価の機能を提供する．
}
\jkeywords{語彙平易化，単語難易度}

\etitle{Language Resources for Japanese Lexical Simplification}

\eauthor{Tomoyuki Kajiwara\affiref{IDS} \and Daiki Nishihara\affiref{IST} \and Tomonori Kodaira\affiref{ULI} \and \\ Mamoru Komachi\affiref{TMU}}

\eabstract{
This study introduces three language resources for Japanese lexical simplification: 1) an evaluation dataset, 2) lexica, and 3) a toolkit that can be used to develop and benchmark Japanese lexical simplification systems. The word complexity lexicon adopted in this study was automatically expanded using a classifier trained on a small word complexity lexicon created by Japanese language teachers. Based on this word complexity estimator, simplified word pairs were extracted from a large-scale synonym lexicon, and a simplified synonym lexicon that is useful for lexical simplification was developed. In addition, a Python library, which implements automatic evaluation and key methods in each subtask to ease the construction process of a lexical simplification pipeline, was developed. The experimental results on the developed evaluation dataset revealed that the proposed method, which is based on the developed lexicon, achieves the highest performance of Japanese lexical simplification. \footnote[0]{本論文の内容の一部は，ACL 2016 Student Research Workshop \cite{kodaira-2016a}，言語処理学会第22回年次大会 \cite{kodaira-2016b}，言語処理学会第23回年次大会 \cite{kajiwara-2017}，The 12th International Conference on Language Resources and Evaluation \cite{nishihara-2020}で報告したものである．}
}
\ekeywords{Lexical Simplification, Word Complexity}

\headauthor{梶原，西原，小平，小町}
\headtitle{日本語の語彙平易化のための言語資源の整備}

\affilabel{IDS}{大阪大学データビリティフロンティア機構}{Institute for Datability Science, Osaka University}
\affilabel{IST}{大阪大学大学院情報科学研究科}{Graduate School of Information Science and Technology, Osaka University}
\affilabel{ULI}{株式会社ユーザーローカル}{User Local Inc.}
\affilabel{TMU}{東京都立大学大学院システムデザイン研究科}{Graduate School of Systems Design, Tokyo Metropolitan University}




%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
% =====================================================
\section{はじめに}\label{sec:intro}
% =====================================================

近年，言語学習者 \cite{petersen-2007}や子ども \cite{belder-2010}を対象に，テキストを平易に書き換えるテキスト平易化 \cite{shardlow-2014,alva-2020}の研究が注目を集めており，特に難解な語句を平易な語句に言い換える語彙平易化 \cite{paetzold-2017b}が英語を中心に研究されている．
語彙平易化では，入力文の文法構造を保持したまま，難解な語句を文脈に応じて平易な語句に言い換える．
この技術は，言語学習者や子どもの文章読解支援に応用されるだけでなく，機械翻訳 \cite{stajner-2016}をはじめとする他の自然言語処理応用タスクの前処理としても有用である．

本タスクは，平易に書かれたコーパス (Simple English Wikipedia\footnote{http://simple.wikipedia.org/})，難解な文と平易な文のパラレルコーパス \cite{zhu-2010}，難解な語句から平易な語句への言い換え辞書 \cite{pavlick-2016}，評価用データセット \cite{specia-2012}やツールキット \cite{paetzold-2015}など，言語資源が豊富な英語を中心に研究されてきた．
しかし，日本語ではこれらの語彙平易化のための言語資源が充分に整備されていない．

語彙平易化は，以下の4つのサブタスク \cite{shardlow-2014}を通して実現される．
\begin{itemize}
\item 難解語の検出：入力文中のどの単語が難解かを判定し，語彙平易化の対象単語を決定する．
\item 言い換え候補の生成：対象単語の同義語を文脈を考慮せずに広く収集する．
\item 言い換え候補の選択：文脈を考慮して，対象単語の言い換えを選択する．
\item 難易度に基づく並び替え：候補を平易な順に並び替え，最も平易な言い換えを出力する．
\end{itemize}
\figref{fig:pipeline}に示すように，これらは単語の難易度推定に関するタスクと語彙的換言に関するタスクに大別できる．
本研究では，単語の難易度推定に関する「難解語の検出」および「難易度に基づく並び替え」のサブタスクに焦点を当て，日本語の語彙平易化のための言語資源\footnote{https://sites.google.com/site/moguranosenshi/projects/lexical-simplification}を構築する．

本研究の貢献は次の3つである．
\begin{itemize}
\item 日本語の語彙平易化のための評価用データセットを改良した．
\item 大規模な日本語の単語難易度辞書および難解→平易の言い換え辞書を構築した．
\item 日本語の語彙平易化システムを構築するためのツールキットを公開した．
\end{itemize}

本稿の構成を示す．
2\hl{章}では，言語資源を中心に語彙平易化の関連研究を紹介する．
3\hl{章}では，先行研究 \cite{kajiwara-2015}で構築した日本語の語彙平易化のための評価用データセットを改良する．
4\hl{章}では，単語の難易度を推定する分類器を訓練し，大規模な日本語の単語難易度辞書を構築する．
また，この分類器をもとに，難解な単語と平易な単語の言い換え辞書も構築する．
5\hl{章}では，3\hl{章}で構築した評価用データセットの上で，4\hl{章}で構築した辞書に基づく語彙平易化システムの性能を評価する．
最後に6\hl{章}で，本研究のまとめを述べる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[t]
\begin{center}
\includegraphics{27-4ia4f1.eps}
\end{center}
\caption{語彙平易化の流れ}
\label{fig:pipeline}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


% =====================================================
\section{関連研究}\label{sec:rerated_work}
% =====================================================

本\hl{章}では，言語資源を中心に語彙平易化の関連研究を紹介する．


% ==============================
\subsection{語彙平易化のための評価用データセット}\label{subsec:dataset}
% ==============================

語彙平易化のための初期の評価用データセットとして，SemEval-2007の語彙的換言タスク \cite{mccarthy-2007}の評価用データセット\footnote{http://www.dianamccarthy.co.uk/task10index.html}に難易度を付与したものがある．
語彙的換言タスクは，文脈中で対象単語と置換可能な単語を見つけるタスクである．
語彙的換言タスクの評価用データセットでは，201種類の対象単語（内容語）について，\hl{各単語を含む10種類ずつの文}が英語の均衡コーパスから抽出されている．
注釈者は英語母語話者5名であり，文脈を考慮しつつ対象単語の言い換えを最大3つずつ付与している．
SemEval-2012の語彙平易化タスク \cite{specia-2012}では，この言い換えリストを難易度の観点から英語非母語話者5名がランキングしたデータセット\footnote{https://www.cs.york.ac.uk/semeval-2012/task1/}が公開された．
LSeval\footnote{http://people.cs.kuleuven.be/\~{}jan.debelder/lseval.zip} \cite{belder-2012}も，SemEval-2007の語彙的換言タスクのデータセットに難易度ランキングを付与した語彙平易化のための評価用データセットである．
ただし，LSevalでは，Simple English WikipediaのBasic English単語リスト\footnote{https://simple.wikipedia.org/wiki/Wikipedia:Basic\_English\_combined\_wordlist}などを参考に充分に平易な単語を対象単語から除外し，43種類の対象単語についての言い換えリストをクラウドソーシングを用いてランキングした．

SemEvalやLSevalとは異なり，LexMTurk\footnote{https://cs.pomona.edu/\~{}dkauchak/simplification/} \cite{horn-2014}では対象単語の平易な言い換えを直接収集した．
English Wikipediaから抽出した500文に各1単語の対象単語が設定されており，クラウドソーシングで50人の注釈者が文脈を考慮した平易な言い換えを付与した．
対象単語には，English WikipediaとSimple English Wikipediaのパラレルコーパス \cite{coster-2011}のうち，難解文中の平易に書き換えられた単語が選ばれている．

近年の語彙平易化の研究 \cite{paetzold-2017a,qiang-2019}では，LSevalとLexMTurkを組み合わせたBenchLS\footnote{http://ghpaetzold.github.io/data/BenchLS.zip} \cite{paetzold-2016a}やNNSeval\footnote{http://ghpaetzold.github.io/data/NNSeval.zip} \cite{paetzold-2016b}が利用されている．
BenchLSはLSevalとLexMTurkを組み合わせてスペルミスなどを修正した929件のデータセットであり，NNSevalはBenchLSから難解な言い換えを削除した239件のデータセットである．

日本語では，語彙平易化のための評価用データセットとして，SNOW E4\footnote{http://www.jnlp.org/SNOW/E4} \cite{kajiwara-2015}が公開されている．
これは，LSevalと同様に，まず語彙的換言のための評価用データセットを構築し，言い換えリストを難易度の観点からランキングして作られた2,330件のデータセットである．
しかし，LSevalとは異なりドメインが新聞記事に限定されていることや，LexMTurkとは異なり\hl{文}中に対象単語以外にも難解な表現が出現することなど，いくつかの問題があるため，本研究ではこれを改良して新しい評価用データセットを構築する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[t]
\caption{難解な文と平易な文のパラレルコーパスの一覧}
\label{tab:parallel}
\input{04table01.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


% ==============================
\subsection{難解な文と平易な文のパラレルコーパス}\label{subsec:corpus}
% ==============================

English WikipediaとSimple English Wikipediaを難解なテキストと平易なテキストのコンパラブルコーパスと考え，文アライメントによって自動構築されたテキスト平易化のためのパラレルコーパス\hl{（\tabref{tab:parallel}）}がある．
初期の研究 \cite{zhu-2010,coster-2011}では，TF-IDFによって重み付けされたBag-of-Words表現の余弦類似度によって難解な文と平易な文のパラレルコーパスが構築された．
近年の研究 \cite{hwang-2015,kajiwara-2016}では，辞書や単語分散表現に基づく単語間の類似度を考慮した文アライメントが利用されている．
また，英語のニュースを記者が平易に書き換えたNewsela \cite{xu-2015}は，テキスト平易化のための高品質なパラレルコーパスである．
英語の語彙平易化では，これらのパラレルコーパスを用いて，難解な単語から平易な単語への言い換え規則を獲得する手法 \cite{horn-2014,paetzold-2017a}が提案されている．

日本語では，SNOW T15\footnote{http://www.jnlp.org/SNOW/T15} \cite{maruyama-2018}およびSNOW T23\footnote{http://www.jnlp.org/SNOW/T23} \cite{katsuta-2018}のやさしい日本語コーパスが公開されている．
SNOW T15は，日英対訳コーパス\footnote{https://github.com/odashi/small\_parallel\_enja}の日本語側を著者らが2,000語\footnote{http://box.jnlp.org/easy-japanese/words2}のやさしい日本語へ書き換えた5万文対のパラレルコーパスである．
SNOW T23は，SNOW T15と同様に，クラウドソーシングによってやさしい日本語へ書き換えた3.5万文対のパラレルコーパスである．
本研究では，英語の先行研究と同様に，これらのパラレルコーパスを用いて日本語の語彙平易化を行う．


% ==============================
\subsection{単語難易度辞書または言い換え辞書}\label{subsec:ppdb}
% ==============================

大規模な言い換え辞書PPDB\footnote{http://paraphrase.org} \cite{ganitkevitch-2013,pavlick-2015b}のうち，難解な語句から平易な語句への言い換えのみを抽出したSimple PPDB\footnote{http://www.seas.upenn.edu/\~{}nlp/resources/simple-ppdb.tgz} \cite{pavlick-2015a,pavlick-2016}が語彙平易化のために利用されている．
\citeA{pavlick-2016}は，文字数・単語数・頻度・品詞・単語分散表現などを素性とするロジスティック回帰モデルを訓練し，言い換え対のどちらの語句がより平易かを推定する分類器を構築した．
この分類器は，言い換え辞書から抽出された3,758対の語句に対してクラウドソーシングでどちらがより平易かを注釈付けしたデータセットを用いて訓練された．
この分類器をPPDBに適用し，450万対の難解→平易の言い換えがSimple PPDBとして公開されている．

\citeA{maddela-2018}は，Google 1T Ngram Corpus\footnote{https://catalog.ldc.upenn.edu/LDC2006T13}のうち高頻度な15,000単語に対して，11人の英語非母語話者が6段階の難易度 (Very Complex/Simple, Complex/Simple, Moderately Complex/Simple) を付与した単語難易度辞書\footnote{ https://github.com/mounicam/lexical\_simplification}を構築した．
そして，\citeA{pavlick-2016}の素性に単語難易度を加えた素性を用いて，ニューラルネットワークに基づく難易度の推定器を訓練し，1,000万対を超える大規模な難解→平易の言い換え辞書を公開した．

日本語では，\hl{日本語学習者向けに作成された}日本語能力試験出題基準語彙表\footnote{http://www7a.biglobe.ne.jp/nifongo/data/}や日本語教育語彙表\footnote{http://jhlee.sakura.ne.jp/JEV.html}を，単語難易度辞書として利用できる．
日本語能力試験出題基準語彙表では\hl{，教科書などから選定された約8,000単語について，日本語教育の専門家が4段階（1級から4級まで）の難易度を付与している．
4級が150時間程度の日本語学習を想定した初歩的な800語，3級が300時間程度の日本語学習を想定した基本的な1,500語，2級が600時間程度の日本語学習を想定したやや高度な6,000語，1級が900時間程度に日本語学習を想定した高度な1万語，というのが目安である．
日本語教育語彙表では，教科書および現代日本語書き言葉均衡コーパス\cite{maekawa-2010}から選定された約18,000単語について，日本語教師5名が6段階（初級前半・後半，中級前半・後半，上級前半・後半）の難易度を付与している．}
本研究では，収録語数の多い日本語教育語彙表\hl{（\tabref{tab:jev_example}）}を用いて単語難易度の推定器を訓練し，より大規模な単語難易度辞書を自動構築する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[t]
\caption{日本語教育語彙表の例}
\label{tab:jev_example}
\input{04table02.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


% ==============================
\subsection{語彙平易化システム}\label{subsec:lexical_simplification}
% ==============================

語彙平易化の初期の研究 \cite{devlin-1998,belder-2010}では，WordNet \cite{miller-1995}から対象単語の同義語リストを獲得し，その中で最も高頻度な単語を対象単語と置換した．
これは単純なアプローチであるが，以降の多くの手法も，候補の獲得（\figref{fig:pipeline}の語彙的換言タスク）およびランキング（\figref{fig:pipeline}の単語の難易度推定タスク）の2つのステップ\footnote{対象単語は評価用データセットにおいて与えられるため，\figref{fig:pipeline}における難解語の検出は実施しない手法が多い．}からなる．

言い換え候補の獲得手法は，辞書に基づく手法・パラレルコーパスに基づく手法・分布類似度に基づく手法の3つに大別できる．
辞書に基づく手法は，\citeA{devlin-1998}のWordNetに始まり，近年では単語だけでなく句も扱えるSimple PPDB \cite{pavlick-2016}が利用されている．
パラレルコーパスに基づく手法では，\citeA{horn-2014}が難解な文と平易な文からなるテキスト平易化のためのパラレルコーパスを用いて，GIZA++ \cite{och-2003}の単語アライメントによって言い換え候補を獲得した．
分布類似度に基づく手法は，Biran, Brody, and Elhadad \citeyear{biran-2011}がWordNetの同義語の中から文脈ベクトル間の余弦類似度によって言い換え候補を選択しており，近年の研究 \cite{glavas-2015,paetzold-2016b}ではword2vec \cite{mikolov-2013}などの単語分散表現間の余弦類似度によって言い換え候補を獲得している．
最新の研究 \cite{qiang-2019}では，文脈を考慮する単語分散表現BERT \cite{devlin-2019}を用いて言い換え候補を獲得している．

言い換え候補のランキング手法は，頻度に基づく手法と平均ランキングに基づく手法に大別できる．
頻度に基づく手法は，\citeA{devlin-1998}の1-gram頻度に始まり，近年では\hl{文脈（対象単語の周辺単語）}も考慮する5-gram頻度 \cite{paetzold-2016b}が利用されている．
平均ランキングに基づく手法では，\citeA{glavas-2015}が単語類似度（対象単語と言い換え候補の単語分散表現間の余弦類似度）・文脈類似度（対象単語の周辺単語と言い換え候補の単語分散表現間の余弦類似度）・1-gram頻度・5-gram頻度のそれぞれで言い換え候補をランキングし，その平均順位が最も高い候補を選択した．
最新の研究 \cite{qiang-2019}では，\citeA{glavas-2015}の平均ランキングのうち，文脈類似度と5-gram頻度（言語モデルスコア）をBERT \cite{devlin-2019}のマスク言語モデルによって改良した平均ランキングが提案されており，英語の語彙平易化において最高性能を達成している．

英語では，これらの各手法を実装した語彙平易化システムを構築するためのツールキット\footnote{http://ghpaetzold.github.io/LEXenstein/} \cite{paetzold-2015}が公開されている．
本研究では，これらの言い換え候補の獲得手法およびランキング手法を実装した日本語の語彙平易化システムを構築するためのツールキットを公開し，我々の評価用データセット上での各手法の性能を比較する．


% =====================================================
\section{日本語の語彙平易化のための評価用データセットの改良}\label{sec:dataset}
% =====================================================

本\hl{章}では，日本語における既存の語彙平易化の評価用データセット \cite{kajiwara-2015}の課題を整理し，それらを改良した新しい評価用データセット\footnote{https://github.com/KodairaTomonori/EvaluationDataset}を構築する．


% ==============================
\subsection{既存の評価用データセット}\label{subsec:previous_dataset}
% ==============================

日本語の語彙平易化の評価用データセットであるSNOW E4 \cite{kajiwara-2015}は，SemEval \cite{specia-2012}およびLSeval \cite{belder-2012}の英語の語彙平易化の評価用データセットと同じく，語彙的換言タスクのデータセットにおける同義語リストを難易度でランキングすることによって構築されている．
以下に，データセットの構築手順を示す．

\begin{description}
\item[(1)対象単語の選定] 新聞記事から抽出した2,330文について，それぞれ1単語の内容語を語彙平易化の対象単語として選定した．
\item[(2)言い換え候補の生成] クラウドソーシングを用いて文ごとに5人の注釈者を雇用し，文脈を考慮して対象単語の言い換え候補を収集した．
\item[(3)言い換え候補の選択] 手順(2)とは別の5人の注釈者を用意し，過半数が適切な言い換えであると評価した言い換え候補のみを残した．
\item[(4)難易度に基づく並び替え] 5人の注釈者が，手順(3)の言い換え候補を平易な順にランキングした．それぞれの注釈者は全ての言い換え候補に重複なく順位を割り当て，最終的に5人の平均順位によってひとつのランキングに統合した．
\end{description}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 3
\begin{table}[t]
\caption{SNOW E4データセットにおける語彙平易化の例}
\label{tab:previous_dataset}
\input{04table03.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

表~\ref{tab:previous_dataset}に，SNOW E4データセットの例を示す．
言い換え候補の中には，対象単語「じきに」が含まれ，これは4番目に平易な単語である．
この例では，システムが「もうすぐ」「すぐに」「ただちに」のいずれかを出力できれば正解となる．

表~\ref{tab:datasets}に，英語の先行研究も含めた語彙平易化の評価用データセットの特性を示す．
英語の先行研究と比較したときに，日本語の語彙平易化の評価用データセットであるSNOW E4には以下の3つの課題があることがわかる．

\begin{description}
\item[課題(1)テキストのドメインが限定されている] SemEval \cite{specia-2012}やLSeval \cite{belder-2012}は均衡コーパス \cite{sharoff-2006}からテキストを抽出しており，多様なドメインを網羅している．一方で，SNOW E4は新聞記事からテキストを抽出しており，ドメインが限定されている．
\item[課題(2)対象単語を平易化しても\hl{文}中に難解語が残る] LexMTurk \cite{horn-2014}では，テキスト平易化のための難解文と平易文からなるパラレルコーパスにおける平易化された単語とその文脈を用いて語彙平易化のデータセットを構築している．対象単語以外の単語は難解文と平易文の間で共通のため，これらは充分に平易な表現であると考えることができる．\citeA{specia-2012}が指摘しているように，難解な表現は難解な\hl{文}中で出現し，平易な表現は平易な\hl{文}中で出現するのが自然だと考えられるため，語彙平易化の文脈（対象単語以外の単語）は平易な表現で構成されることが理想である．SNOW E4では，文脈の難易度が考慮されていないため，表~\ref{tab:previous_dataset}の「雪渓」のように，対象単語を平易化しても\hl{文}中に難解な表現が残ってしまう．
\item[課題(3)難易度ランキングに同順が考慮されていない] LSeval \cite{belder-2012}では，各注釈者が言い換え候補を平易な順に並び替える際に，同程度の難易度の単語を同順にまとめることを認めている．一方で，SNOW E4では注釈者は全ての単語に異なる難易度を割り当てる．表~\ref{tab:previous_dataset}の「もうすぐ」と「すぐに」のように，同程度の難易度の言い換え候補がある場合，これは注釈者間でのランキングの一貫性を損なう原因となる．
\end{description}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 4
\begin{table}[t]
\caption{語彙平易化の評価用データセットの特性}
\label{tab:datasets}
\input{04table04.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


% ==============================
\subsection{評価用データセットの改良}\label{subsec:our_dataset}
% ==============================

\secref{subsec:previous_dataset}で挙げた3つの課題を解決するために，(1)対象単語の選定および(4)難易度に基づく並び替えのステップを改良し，新\hl{たに}日本語の評価用データセットを構築した．
クラウドソーシング\footnote{http://www.lancers.jp/}を用いて注釈者を雇用するが，過去の作業承認率が95\%以上である注釈者のみを選んだ．


% ==========
\subsubsection{対象単語の選定}\label{subsubsec:target_selection}
% ==========

課題(1)に対処するために，我々は現代日本語書き言葉均衡コーパス \cite{maekawa-2010}から文を抽出した．
なお，長文や短文を避けるために，形態素数を7から35までに制限した．

課題(2)に対処するために，対象単語のみが難解である文を選択した．
本研究では，日本語教育語彙表$^{20}$ \cite{sunakawa-2012}における上級の単語を難解語とした．

その他の手順は基本的にSNOW E4に従った．
対象単語として，名詞・動詞・形容詞・形容動詞・副詞・サ変名詞・サ変動詞の7つの品詞を扱った．
なお，複合語の一部を置き換えると意味を保持できない場合が多いので，対象単語が複合語の一部である場合はその文を除外した．
日英の先行研究 \cite{specia-2012,belder-2012,kajiwara-2015}に従い，各対象単語に対して10種類の\hl{文}を扱った．
以上の条件を満たすように品詞ごとに30種類の対象単語を無作為に選択し，合計2,100文（7品詞$\times$30単語$\times$10\hl{文}）を選定した．


% ==========
\subsubsection{言い換え候補の生成および選択}\label{subsubsec:paraphrase_acquisition}
% ==========

SNOW E4に従い，クラウドソーシングを用いて5人の注釈者を雇用し，文脈を考慮して対象単語の言い換えを収集した．
その後，別の5人の注釈者を雇用し，過半数が適切な言い換えであると評価した言い換え候補のみを残した．
\hl{なお，適切な言い換え候補が得られない文がある場合，その対象単語は全てデータセットから除外した．
これによって9単語$\times$10文を除外し，次節では残りの2,010文について難易度に基づく並び替えを行った．}

\hl{適切な言い換え候補が得られなかった例には「～実にバラエティーに富んでいる」の「富む」に対する「豊富」「豊か」のような候補がある．
棄却された候補の多くは，意味的には対象単語と対応するものの，対象単語の周辺の語句との接続が悪く置換できない例であった．
これらは，単語単位ではなく，「バラエティーに富んでいる」のような句の単位で言い換えるのが適切であり，今後の課題である．
なお，他の文においては「起業精神に富む若い不動産業者によって～」の「富む」に対する「あふれる」「満ち溢れる」など，適切な言い換え候補が得られていた．}

SNOW E4では，各対象単語に対して平均4.5単語の言い換え候補が付与された．
本研究でも，言い換え候補の生成および選択のステップは同様の作業を行ったため，平均4.3単語と同程度の言い換え候補が付与された．
言い換え候補の選択ステップにおける注釈の一致率 (Fleiss' Kappa) は，SNOW E4では$\kappa = 0.664$，本研究では$\kappa = 0.669$と，同程度で概ね一致していた．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 5
\begin{table}[t]
\caption{我々のデータセットにおける語彙平易化の例}
\label{tab:our_dataset}
\input{04table05.tex}
\vspace{-0.5\Cvs}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


% ==========
\subsubsection{難易度に基づく並び替え}\label{subsubsec:complexity_ranking}
% ==========

クラウドソーシングで文ごとに5人の注釈者を雇用\footnote{\hl{同一の注釈者が複数文の注釈を行う場合があり，合計で140人の注釈者を雇用した．}}し，文脈を考慮して対象単語および言い換え候補を平易な順に並び替えた．
課題(3)に対処するために，同程度の難易度である単語は同順にまとめた．
難易度に基づく並び替えステップにおけるスピアマンの順位相関\footnote{\hl{Belder and Moens (2012) と同様に計算し，2,010文$\times$5人分の相関係数を平均して，ひとつの相関係数を求めた．}}は，SNOW E4では$\rho = 0.332$だが，同順を考慮する改良により本研究では$\rho = 0.5\hl{75}$と大幅に改善された．
\hl{また，データセットの品質改善のために，LSeval \cite{belder-2012}で実施されているように，信頼度の低い注釈者を除外した．
本研究では，ランキングから注釈者の信頼度を推定できるMatsui, Baba, Kamishima, and Kashima \citeyear{matsui-2014}の手法を用いて，除外する注釈者を選択した．
そして，信頼度が平均値よりも0.05以上低い注釈者（140人中の9人）を除外した．
これによって，並び替えステップにおけるスピアマンの順位相関は，$\rho = 0.602$に更に改善された．
最終的に，SemEval \cite{specia-2012}やSNOW E4 \cite{kajiwara-2015}と同様に，複数人のランキングを平均\footnote{\hl{Matsui et al. (2014) は，注釈者の能力を考慮して複数のランキングから統合ランキングを推定する手法を提案している．ただし本研究では，Matsui法によって得られた統合ランキングよりも，Matsui法で検出した信頼度の低い注釈者を除いた状態での平均ランキングの方が，各注釈者との高い相関を得た．}}して統合ランキングを求めた．}

表~\ref{tab:our_dataset}に，本研究で構築したデータセットの例を示す．
言い換え候補の中には，対象単語「専ら」が含まれ，これは「偏に」とともに3番目に平易な単語である．
この例では，システムが「主に」または「ひたすら」を出力できれば正解となる．


% =====================================================
\section{日本語の語彙平易化のための辞書の構築}\label{sec:dictionary}
% =====================================================

本\hl{章}では，日本語の語彙平易化のために，2つの大規模な辞書\footnote{https://github.com/Nishihara-Daiki/lsj}を構築する．
まず\secref{subsec:word_dict}では，日本語教育語彙表$^{20}$ \cite{sunakawa-2012}を教師データとして単語の難易度を推定する分類器を訓練する．
そして，この分類器を用いて語彙全体に対して単語の難易度を推定し，大規模な日本語の単語難易度辞書を構築する．
次に\secref{subsec:synonym_dict}では，この分類器を大規模な日本語の言い換え辞書に適用し，難解な単語から平易な単語への言い換え辞書を構築する．


% ==============================
\subsection{単語難易度辞書の構築}\label{subsec:word_dict}
% ==============================

日本語の単語難易度辞書である日本語教育語彙表は，日本語教師によって構築された高品質な単語難易度辞書であるが，人手で構築されているため収録語数が少ない．
本研究では，語彙平易化をはじめとする自然言語処理タスクでの利用を想定して，日本語教育語彙表をもとに\hl{，}より大規模な日本語の単語難易度辞書を自動構築する．


% ==========
\subsubsection{提案手法}\label{subsubsec:word_dict_method}
% ==========

大規模な日本語の単語難易度辞書を構築するために，日本語教育語彙表の3段階の難易度（初級・中級・上級）を推定する多クラス分類器を訓練する．
本研究では，品詞\hl{・語種}・文字頻度・単語頻度・単語分散表現の\hl{5}種類の素性を用いる．
文字頻度の素性としては，単語を構成する各文字の頻度のうち，最大値および最小値を利用する．
なお，英語の先行研究 \cite{pavlick-2016,maddela-2018}で利用されている文字数の情報も素性として検討したが，日本語の単語難易度の推定には貢献しなかった．


% ==========
\subsubsection{実験設定}\label{subsubsec:word_dict_setting}
% ==========

文字と単語の頻度を数えるために，日本語Wikipedia\footnote{https://dumps.wikimedia.org/jawiki/20190801/}を利用した．
WikipediaはWikiExtractor\footnote{https://github.com/attardi/wikiextractor}で本文を抽出し，MeCab \cite{kudo-2004}とIPADIC-2.7.0を用いて単語分割した．
複数のコーパスから単語頻度を数えることが単語難易度の推定に貢献することが知られている \cite{kajiwara-2018}ので，本研究ではWikipediaの他に，現代日本語書き言葉均衡コーパス \cite{maekawa-2010}の単語頻度リスト\footnote{https://pj.ninjal.ac.jp/corpus\_center/bccwj/freq-list.html}を併用した．
品詞\hl{および語種}は現代日本語書き言葉均衡コーパスの単語頻度リストに登録されている情報を利用した．
単語分散表現は新聞記事約800万記事を用いて訓練された朝日新聞単語ベクトル\footnote{https://cl.asahi.com/api\_data/wordembedding.html}の300次元のSkip-gramモデル \cite{mikolov-2013}を利用した．
なお，Skip-gramモデルとともに公開されているCBOWモデル \cite{mikolov-2013}およびGloVeモデル \cite{pennington-2014}も検討したが，Skip-gramが最高性能を達成した．

日本語教育語彙表を8:1:1の割合で訓練・検証・評価セット\hl{（\tabref{tab:jev}）}に分割して実験した．
\tabref{tab:jev}の未知語は，素性抽出に利用したWikipedia・現代日本語書き言葉均衡コーパス・朝日新聞単語ベクトルの共通語彙に含まれない単語である．
\hl{未知語の内訳は，7割が「運転免許証」「おはようございます」などの複合語や定型句，2割が「天ぷら／天麩羅」のような表記ゆれであった．}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 6
\begin{table}[t]
\caption{日本語教育語彙表の単語\hl{種類}数}
\label{tab:jev}
\input{04table06.tex}
\vspace{1\Cvs}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

分類器にはSVM\footnote{https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVC.html}のRBFカーネルを利用し，Cとgammaのパラメータには\{0.001, 0.01, 0.1, 1.0, 10.0\}の中から検証セットで最高の性能を達成する組み合わせを選んだ．
なお，分類器としてランダムフォレストおよび多層パーセプトロンも検討したが，SVMが最高性能を達成した．

\hl{比較のために，Ranking SVM\footnote{https://www.cs.cornell.edu/people/tj/svm\_light/svm\_rank.html}\cite{joachims-2006}を用いたランキング学習も試した．素性はSVMと同じとし，Cのパラメータは\{0.0001, 0.001, 0.01\}から検証セットを用いて探索した．}


% ==========
\subsubsection{実験結果}\label{subsubsec:word_dict_result}
% ==========

評価セットにおける単語難易度推定の\hl{性能}を\tabref{tab:word_dict_experiment}に示す．
\hl{5}種類の素性を考慮する提案手法が，個別の素性のみを考慮する比較手法\hl{やランキング学習に基づく手法}よりも高い\hl{Accuracy}および\hl{低いMean Absolute Error}を達成した．
また，\tabref{tab:word_dict_experiment}\hl{中}段のアブレーション分析からは，いずれの素性を除いても性能が低下することから，全ての素性がそれぞれ性能改善に貢献していることがわかった．


% ==========
\subsubsection{辞書の構築}\label{subsubsec:word_dict_construction}
% ==========

本実験の素性抽出に利用したWikipedia・現代日本語書き言葉均衡コーパス・
\pagebreak
朝日新聞単語ベクトルの共通語彙である\hl{67,901}単語について単語難易度を推定し，
大規模な日本語の単語難易度辞書を構築した．
\tabref{tab:word_dict_example}に辞書の例を\hl{，\tabref{tab:diff}に辞書の規模を}示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 7
\begin{table}[t]
\caption{単語難易度推定の\hl{性能評価}}
\label{tab:word_dict_experiment}
\input{04table07.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 8 and 9
\begin{table}[t]
\begin{minipage}[t]{0.4\textwidth}
\begin{center}
\caption{単語難易度辞書の例}
\label{tab:word_dict_example}
\input{04table08.tex}
\end{center}
\end{minipage}
\begin{minipage}[t]{0.58\textwidth}
\begin{center}
\caption{単語難易度辞書の規模の比較}
\label{tab:diff}
\input{04table09.tex}
\end{center}
\end{minipage}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


% ==============================
\subsection{平易な言い換え辞書の構築}\label{subsec:synonym_dict}
% ==============================

英語の先行研究であるSimple PPDB \cite{pavlick-2015a,pavlick-2016,maddela-2018}に倣って，大規模な言い換え辞書のうち難解な表現から平易な表現への言い換えのみを抽出した語彙平易化のための言い換え辞書を自動構築する．
本研究では，\secref{subsec:word_dict}で構築した難易度推定器が単語を対象としているため，難解な単語から平易な単語への言い換え対のみを扱う．
フレーズへの拡張は今後の課題である．


% ==========
\subsubsection{提案手法}\label{subsubsec:synonym_dict_method}
% ==========

単語対の難易度推定のために，各単語対$\{{\kern0pt}単語1, 単語2\}$を「単語1の方が難解」「単語2の方が難解」「同じ難易度」の3クラスに分類する．
各単語の難易度は，\secref{subsec:word_dict}で構築した分類器を用いて推定する．
そして，上級→中級・上級→初級・中級→初級のいずれかの関係にある単語対を「単語1の方が難解」に分類する．
同様に，中級→上級・初級→中級・初級→上級のいずれかの関係にある対は「単語2の方が難解」に分類し，その他の対は「同じ難易度」に分類する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 10
\begin{table}[t]
\caption{日本語教育語彙表からサンプリングした単語対数}
\label{tab:jev_pair}
\input{04table10.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


% ==========
\subsubsection{実験設定}\label{subsubsec:synonym_dict_setting}
% ==========

素性および分類器に関する実験設定は\secref{subsubsec:word_dict_setting}と共通である．
単語対における難易度推定の性能を評価するため，\tabref{tab:jev_pair}に示すように，\tabref{tab:jev}の評価セットから無作為に抽出した1千単語対を用いる．
ただし，これらの単語対は難易度のみを考慮して集めており，言い換え対ではない．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 11
\begin{table}[tb]
\caption{単語対の難易度推定の\hl{性能評価}}
\label{tab:synonym_dict_experiment}
\input{04table11.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


% ==========
\subsubsection{実験結果}\label{subsubsec:synonym_dict_result}
% ==========

単語対の難易度推定の分類\hl{性能}を\tabref{tab:synonym_dict_experiment}に示す．
\secref{subsubsec:word_dict_result}の実験結果と同じく，\hl{5}種類の素性を考慮する提案手法が，最頻クラスのベースラインや個別の素性のみを考慮する比較手法よりも高い\hl{Accuracyおよび低いMean Absolute Error}を達成した．
また，\tabref{tab:synonym_dict_experiment}下段のアブレーション分析からは，いずれの素性を除いても性能が低下することから，全ての素性がそれぞれ性能改善に貢献していることがわかった．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 12
\begin{table}[tb]
\caption{平易な言い換え辞書の\hl{規模と}例}
\label{tab:synonym_dict_example}
\input{04table12.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


% ==========
\subsubsection{辞書の構築}\label{subsubsec:synonym_dict_construction}
% ==========

大規模な日本語の言い換え辞書
\footnote{https://ahcweb01.naist.jp/old/resource/jppdb/} \cite{mizukami-2014}
のうち，難解な単語から平易な単語への言い換え対のみを抽出し，語彙平易化のための言い換え辞書を構築した．
\tabref{tab:synonym_dict_example}に，辞書の例を示す．
抽出した平易な言い換えは58,738単語対であった．


% =====================================================
\section{日本語の語彙平易化のためのツールキットの構築}\label{sec:toolkit}
% =====================================================

本\hl{章}では，英語の先行研究であるLEXenstein$^{22}$ \cite{paetzold-2015}に相当する，語彙平易化の代表的な手法を日本語向けに調整して実装したツールキット{\kern0pt}$^{28}$について説明する．
このPythonライブラリを用いることで，日本語の語彙平易化システムを構築し，\sref{sec:dataset}の評価用データセットにおける性能を自動評価することができる．
ただし，語彙平易化の対象単語はデータセットの入力として与えられるため，難解語の検出は扱わない．

\secref{subsec:tool_generation}では，\figref{fig:pipeline}の言い換え候補の生成および言い換え候補の選択に相当する言い換え候補の獲得手法について説明する．
次に，\secref{subsec:tool_ranking}では，\figref{fig:pipeline}の難易度に基づく並び替えに相当する言い換え候補のランキング手法について説明する．
最後に，\secref{subsec:tool_experiment}では，各手法の性能を評価する．


% ==============================
\subsection{言い換え候補の獲得}\label{subsec:tool_generation}
% ==============================

\secref{subsec:lexical_simplification}で述べたように，言い換え候補の獲得は，辞書に基づく手法・パラレルコーパスに基づく手法・分布類似度に基づく手法の3つに大別できる．
本ツールキットでは，このいずれかの手法を用いて言い換え候補を獲得する．

\begin{description}
\item[辞書に基づく手法・パラレルコーパスに基づく手法] 辞書に基づく手法 \cite{devlin-1998,belder-2010,pavlick-2015a,pavlick-2016,maddela-2018}およびパラレルコーパスに基づく手法 \cite{horn-2014}を扱うために，言い換えの単語対を記述したタブ区切りテキストを入力として受け取る．
\item[分布類似度に基づく手法] 分布類似度に基づく手法 \cite{glavas-2015,paetzold-2016b,qiang-2019}を扱うために，word2vec形式\footnote{https://code.google.com/archive/p/word2vec/}の単語分散表現またはTransformers形式\footnote{https://github.com/huggingface/transformers}のBERTモデルを入力として受け取る．
\end{description}


% ==============================
\subsection{言い換え候補のランキング}\label{subsec:tool_ranking}
% ==============================

\secref{subsec:lexical_simplification}で述べたように，候補のランキングは，頻度に基づく手法と平均ランキングに基づく手法に大別できる．
本ツールキットでは，このいずれかの手法を用いて平易な同義語を選択する．

\begin{description}
\item[頻度に基づく手法] 頻度に基づく手法 \cite{devlin-1998,belder-2010,specia-2012,paetzold-2016b}を扱うために，ARPA形式の$N$-gram言語モデルを入力として受け取る．先行研究 \cite{paetzold-2016b}に従い，例えば5-gram言語モデルを利用する際には，対象単語の前後2単語ずつを文脈として利用する．
\item[平均ランキングに基づく手法] 平均ランキングに基づく手法 \cite{glavas-2015,qiang-2019}を扱うために，word2vec形式の単語分散表現・ARPA形式の$N$-gram言語モデル・タブ区切りテキスト形式の単語頻度辞書を入力として受け取る．\citeA{qiang-2019}の平均ランキング\footnote{ただし，BERTはサブワード単位で分割されており他の手法が対象とする分割単位と異なるため，\citeA{qiang-2019}のランキング手法は \citeA{qiang-2019}の候補獲得手法との組み合わせでのみ使用できる．}を扱うためには，Transformers形式のBERTモデルも入力する．
\end{description}


% ==============================
\subsection{評価実験}\label{subsec:tool_experiment}
% ==============================

語彙平易化の代表的な手法を日本語化し，\sref{sec:dataset}の評価用データセットにおける性能を評価する．


% ==========
\subsubsection{候補の獲得手法の評価}\label{subsubsec:eval_candidate}
% ==========


\begin{description}
\item[Simple PPDB] 辞書に基づく \citeA{pavlick-2016}の手法に相当する．\sref{sec:dictionary}で構築した平易な言い換え辞書を用いて言い換え候補を獲得する．
\item[GIZA++] パラレルコーパスに基づく \citeA{horn-2014}の手法に相当する．SNOW T15$^{11}$およびSNOW T23$^{12}$の8.5万文対のやさしい日本語コーパス \cite{maruyama-2018,katsuta-2018}を用いて，GIZA++ \cite{och-2003}によって単語アライメントをとり，言い換え候補を獲得する．
\item[word2vec] 分布類似度に基づく \citeA{glavas-2015}の手法に相当する．朝日新聞単語ベクトル$^{30}$の300次元のSkip-gramモデル \cite{mikolov-2013}を用いて，対象単語との余弦類似度が高い順に10単語の言い換え候補を獲得する．
\item[BERT] 分布類似度に基づく \citeA{qiang-2019}の手法に相当する．日本語BERT\footnote{https://github.com/cl-tohoku/bert-japanese, (BERT-base\_mecab-ipadic-bpe-32k\_whole-word-mask)}を用いて，対象単語をマスクしたマスク言語モデルのスコアが高い順に10単語の候補を獲得する．
\end{description}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 13 and 14
\begin{table}[t]
\begin{minipage}[t]{0.6\textwidth}
\begin{center}
\caption{候補の獲得手法の評価}
\label{tab:experiment_candidate}
\input{04table13.tex}
\end{center}
\end{minipage}
\begin{minipage}[t]{0.39\textwidth}
\begin{center}
\caption{ランキング手法の評価}
\label{tab:experiment_ranking}
\input{04table14.tex}
\end{center}
\end{minipage}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

先行研究 \cite{paetzold-2016a,paetzold-2016b,paetzold-2017b}に従い，評価指標としてPotential・Precision・Recall・F1スコアの4つを用いる．
Potentialとは，1単語以上の正解単語\footnote{本タスクの正解単語とは対象単語の言い換えであり，この段階では難易度は考慮しない．}を言い換え候補として獲得できた事例の割合である．

\tabref{tab:experiment_candidate}に，候補の獲得手法の評価の結果を示す．
BERTは，4手法の中で唯一文脈を考慮して候補を獲得するため，多くの評価指標において最高性能を達成した．
GIZA++は，文脈を考慮しないものの同義性の高い候補を獲得するため，Precisionが高い．
word2vecは，必ずしも同義とは限らない類義語を候補として獲得するため，Precisionが低い．
\hl{Simple PPDBは，大規模な辞書を用いるため，Recallが高い．}


% ==========
\subsubsection{ランキング手法の評価}\label{subsubsec:eval_ranking}
% ==========

言い換え候補として正解セットが与えられる設定で，以下の2つのランキング手法を評価する．

\begin{description}
\item[5-gram言語モデル] 頻度に基づく \citeA{paetzold-2016b}の手法に相当する．日本語Wikipedia$^{29}$をMeCab \cite{kudo-2004}とIPADIC-2.7.0を用いて単語分割し，KenLM \cite{heafield-2011}によって5-gram言語モデルを訓練する．
\item[平均ランキング] 平均ランキングに基づく \citeA{glavas-2015}の手法に相当する．朝日新聞単語ベクトル$^{32}$の300次元のSkip-gramモデル \cite{mikolov-2013}を用いて単語類似度および文脈類似度のランキングを作り，日本語Wikipediaを用いて1-gram頻度および5-gram頻度のランキングを作り，これら4つの平均ランキングを使用する．
\end{description}

先行研究 \cite{specia-2012,paetzold-2016b,paetzold-2017b}に従い，評価指標としてTRankを用いる．
TRankとは，1位にランキングされた候補が対象単語よりも平易な言い換えである事例の割合である．

\tabref{tab:experiment_ranking}に，ランキング手法の評価の結果を示す．
1-gram頻度や単語類似度など，5-gram頻度以外の情報も考慮する平均ランキングがより高い性能を達成した．
\hl{なお，\sref{sec:dataset}で説明したとおり，我々の評価用データセットは現代日本語書き言葉均衡コーパスをもとに作られているため，本評価は書き言葉に関する語彙平易化の評価であることに注意されたい．}


% ==========
\subsubsection{パイプライン評価}\label{subsubsec:eval_pipeline}
% ==========

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 15
\begin{table}[t]
\caption{語彙平易化のパイプライン評価}
\label{tab:experiment_pipeline}
\input{04table15.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\secref{subsubsec:eval_candidate}および~\secref{subsubsec:eval_ranking}の各手法を組み合わせ，語彙平易化の総合的な性能を評価する．
ここで，word2vecで候補を獲得し平均ランキングでランキングを行う手法は，英語の先行研究である{\sc Light-LS} \cite{glavas-2015}に相当する．
語彙平易化のサーベイ論文 \cite{paetzold-2017b}では，英語のベンチマークにおいて{\sc Light-LS}が最高のAccuracyを達成している．
また，BERTで候補を獲得し平均ランキングでランキングを行う手法は，英語の語彙平易化における最新の研究であるBERT-LS \cite{qiang-2019}に相当する．
本研究でも，BERT-LSの平均ランキングは \citeA{qiang-2019}と同じく，BERT \cite{devlin-2019}のマスク言語モデルによる改良版を用いる．

先行研究 \cite{horn-2014,glavas-2015}に従い，評価指標として\hl{Changed Proportion}・Precision・\hl{Accuracy}の3つを用いる．
\hl{Changed Proportionは，システムが書き換えを行った事例の割合である．}
Precisionは，システムが書き換えを行った事例のうち，出力単語が正解単語集合（平易な言い換え）に含まれる割合である．
\hl{Accuracyは，システム出力の単語が正解単語集合に含まれる事例の割合であり，Changed ProportionとPrecisionの積で計算される．}

\tabref{tab:experiment_pipeline}に，パイプライン評価の結果を示す．
\secref{subsubsec:eval_candidate}の実験結果と同様に，文脈を考慮して候補を獲得するBERT-LSが最高のAccuracyを達成した．
サブワード単位で処理を行うBERT-LSは未知語の問題がないため，Changed Proportionも満点である．
一方で，Precisionの観点では我々の言い換え辞書に基づくSimple PPDB（平均ランキング）が最高性能を達成した．
Simple PPDBでは単語難易度の推定によって平易な言い換えを候補に含められるため，\hl{辞書の網羅性ではBERT-LSに及ばないものの，}書き換えを行った場合には正しく平易な言い換えを出力できる．
ランキング手法に着目すると，Simple PPDBによる候補獲得に対しては平均ランキングが，GIZA++による候補獲得に対しては5-gram言語モデルのランキングが高い性能を示したため，候補獲得の手法ごとに相性の良いランキング手法を選ぶ必要がある．


% =====================================================
\section{おわりに}\label{sec:outro}
% =====================================================

本研究では，日本語の語彙平易化のために，3種類の言語資源を整備した．
まず\sref{sec:dataset}では，評価用データセットを改良した．
多様なドメインを対象に，対象単語と文脈との難易度の一貫性および単語難易度アノテーションの一貫性を改善した．
次に\sref{sec:dictionary}では，語彙平易化のための辞書を構築した．
単語難易度の推定器をもとに，大規模な単語難易度辞書および難解な単語から平易な単語への言い換え辞書を自動構築した．
最後に\sref{sec:toolkit}では，語彙平易化システムを実装するためのツールキットを構築した．
本ツールキットを用いることで，言い換え候補の獲得およびランキングの2ステップからなる語彙平易化システムを構築し，性能を自動評価することができる．
評価実験の結果，文脈を考慮して言い換え候補を獲得するBERTに基づく手法が最高のAccuracyを達成し，本研究で構築した辞書に基づく手法が最高のPrecisionを達成した．

\hl{
本研究を含む語彙平易化の研究の多くは，クラウドソーシングを用いて構築された評価用データセットで実験している．
しかし，クラウドソーシングで雇用できる注釈者は，基本的には英語／日本語を母語とする大人であり，学習者や子どもなどの語彙平易化の主な対象者ではない．
そのため，本研究を含む語彙平易化システムの多くは，対象言語を母語とする大人のための語彙平易化システムである．
実際のターゲットユーザによる難易度ランキングを収集し，それに適した語彙平易化システムを開発することが，今後の課題である．
また，句の難易度推定や句の平易化など，より広い単位への拡張にも取り組みたい．
}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.5}
\bibliography{04refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{梶原　智之}{%
2013年長岡技術科学大学工学部電気電子情報工学課程卒業．2015年同大学大学院工学研究科修士課程修了．2018年首都大学東京大学院システムデザイン研究科博士後期課程修了．博士（工学）．同年より大阪大学データビリティフロンティア機構特任助教．自然言語処理の研究に従事．情報処理学会，人工知能学会，言語処理学会各会員．}

\bioauthor{西原　大貴}{%
2019年大阪大学工学部電子情報工学科卒業．同年大阪大学大学院情報科学研究科マルチメディア工学専攻に進学．現在に至る．自然言語処理の研究に従事．}

\bioauthor{小平　知範}{%
2016年首都大学東京システムデザイン学部システムデザイン学科卒業．2018年同大学大学院システムデザイン研究科博士前期課程修了．修士（工学）．}

\bioauthor{小町　　守}{%
2005年東京大学教養学部基礎科学科科学史・科学哲学分科卒業．2007年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了．2008年より日本学術振興会特別研究員 (DC2) を経て，2010年博士後期課程修了．博士（工学）．同年より同研究科助教を経て，2013年より首都大学東京\hl{（2020年より東京都立大学に名称変更）}システムデザイン学部准教授．大規模なコーパスを用いた意味解析および統計的自然言語処理に関心がある．情報処理学会，人工知能学会，言語処理学会，ACL各会員．}
\end{biography}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\biodate



\end{document}

