\documentclass[japanese]{jnlp_3.5}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
\usepackage[multi]{otf}
\usepackage{array}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%\usepackage{array,multirow}
%%%%\usepackage{graphicx}
\usepackage{bm}
%%%%%\usepackage{amsmath}
%%%%%\usepackage{amsfonts}
%%%%\usepackage{url}
%%%%%\usepackage{nidanfloat}
%%%%\usepackage{algorithmic, algorithm}
%%%%\usepackage{comment}
%%%%%\usepackage{CJKutf8}
%%%%%\usepackage{pxCJKutf8}
%%%%\usepackage{pxCJKutf8,CJKspace,CJKpunct}
%%%%\usepackage{amsmath}
%%%%\usepackage{amssymb}
%%%%\usepackage{amsfonts}
%%%%\usepackage{color}
%%%%\usepackage{soul}
%%%%\usepackage{cjkhl}
%%%%%\renewcommand{\cjkhl}{\cjkhl{yellow}}
%%%%\newcommand{\HL}{\cjkhl{yellow}}
%%%%%\newcommand{\HL}[1]{\hl{\mbox{#1}}}
\usepackage {arydshln}
%%%%\usepackage{subfig}
%%%%\usepackage[format=plain,font=small]{caption}
%%%%\newcommand{\mulcol}{\multicolumn}
%%%%\renewcommand{\u}{\underline}
\renewcommand{\b}{\textbf}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


\Volume{29}
\Number{1}
\Month{March}
\Year{2022}
%%%%\Issuetitle{「　　　　」特集号}

\received{2021}{6}{29}
\revised{2021}{9}{30}
%%%%\rerevised{2006}{5}{6}
\accepted{2021}{11}{6}

\setcounter{page}{112}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{単語分割と後段モデルの損失値を用いた同時最適化}
\jauthor{平岡　達也\affiref{titech} \and 高瀬　　翔\affiref{titech} \and 内海　　慶\affiref{denso} \and 欅　　惇志\affiref{denso} \and 岡崎　直観\affiref{titech}}
\jabstract{%
本稿では，後段モデルと単語分割器を同時に学習することで，後段モデルに適切な単語分割を獲得する新たな手法を提案する．提案手法では，後段モデルを学習する際に得られる教師信号との損失値を用いて単語分割器の学習を行う．これにより，提案手法は損失値が計算できるあらゆる後段モデルに対して制限なく使用することができ，さまざまな自然言語処理のタスクで単語分割の最適化を行うことができる．さらに，提案手法はすでに学習済みの後段モデルに対しても，後処理として単語分割を最適化することで，後段モデルの処理性能を底上げすることができる．そのため，提案手法は自然言語処理のさまざまな場面で利用することが可能である．実験を通して，提案手法が3言語の文書分類タスクで性能の向上に貢献することを確認した．また，8言語対での機械翻訳タスクにおいても，提案手法が性能向上に寄与することを確認した．
}
\jkeywords{単語分割，トークン化，文書分類，機械翻訳}

\etitle{
Joint Optimization of Word Segmentation and Downstream Model using Downstream Loss}
\eauthor{Tatsuya Hiraoka\affiref{titech} \and Sho Takase\affiref{titech} \and Kei Uchiumi\affiref{denso} \and \\
	Atsushi Keyaki\affiref{denso} \and Naoaki Okazaki\affiref{titech}}
\eabstract{%
We propose a novel method to find an appropriate tokenization for a given downstream model by jointly optimizing a tokenizer and the model. The proposed method has no restriction except for using loss values computed by the downstream model to train the tokenizer, and thus, we can apply the proposed method to various NLP task. Moreover, the proposed method can explore the appropriate tokenization to improve the performance for an already trained model as post-processing. Therefore, the proposed method is applicable to various situations. We evaluated whether our method contributes to improving performance on text classification in three languages and machine translation in eight language pairs. Experimental results show that our proposed method improves the performance by determining appropriate tokenizations.
}
\ekeywords{Word Segmentation, Tokenization, Text Classification, Machine Translation}

\headauthor{平岡，高瀬，内海，欅，岡崎}
\headtitle{単語分割と後段モデルの損失値を用いた同時最適化}

\affilabel{titech}{東京工業大学}{Tokyo Institute of Technology}
\affilabel{denso}{デンソーアイティーラボラトリ}{Denso IT Laboratory, Inc.}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}
\label{sec:intro}

自然言語で記述された文を単語の系列に変換する単語分割は，さまざまな自然言語処理タスクにおいて，その性能に影響を与える重要な処理である\cite{peng2015named,peng2016improving,sennrich2016neural,he2017f,pranav20202kenize,bollegala2020language}．
従来の自然言語処理では，ルールを用いた単語分割手法 \cite{koehn2007moses}や，辞書を用いた単語分割手法 \cite{kudo2006mecab,morita2015morphological,tolmachev2018juman,takaoka18sudachi}，ニューラルネットワークを用いた教師あり学習による単語分割手法 \cite{yang2017neural,cai2017fast,yang2018subword}，教師なし単語分割手法 \cite{goldwater2006contextual,goldwater2009bayesian,mochihashi2009bayesian,sennrich2016neural,kudo2018sentencepiece}などの，さまざまな方法で単語分割が行われている．
また，後段モデルの性能が向上するような適切な単語分割は，後段タスクによって異なることがこれまでの研究から分かっている \cite{xu2008bayesian,chang2008optimizing,nguyen2010nonparametric,domingo2018much,hiraoka2019stochastic,gowda2020finding}．
さらに，\citeA{hiraoka2020optimizing}の実験結果から，適切な単語分割が後段モデルの構造にも依存することが示唆されている．
これらの研究から，後段タスクや後段モデルに応じて，適切な単語分割を選択することが，後段モデルの性能の向上に繋がると期待される．
しかしながら，従来の自然言語処理において単語分割処理は後段モデルとは独立している場合が多く\footnote{固有表現抽出タスクにおいては，単語分割と固有表現抽出をマルチタスク学習として同時に学習することで性能向上が得られると報告されている \cite{peng2016improving}．}，さまざまな単語分割を用いて後段モデルを学習し，その性能を評価しなければ，後段モデルに適切な単語分割を決定することができない．
可能な単語分割の候補ごとに新たに後段モデルを学習し，評価するという探索方法には多くの時間や計算資源が必要となるため，現実的とは言えない．

近年の研究では，後段タスクや後段モデルに基づいて単語分割を最適化する手法 \cite{xuanli2020dynamic,hiraoka2020optimizing}が提案されているが，既存手法はいずれも使用用途が特定のタスクに限定されている．
\citeA{xuanli2020dynamic}は，機械翻訳などのSequence-to-Sequenceタスクにおいて，学習データを用いて単語分割を最適化するDynamic Programming Encoding (DPE)を提案した．
しかし，DPEによる単語分割の最適化には学習データのみを利用しており，機械翻訳タスクのための後段モデルであるエンコーダー・デコーダーのパラメータを単語分割の最適化に用いていない．
そのため，DPEは後段モデルに応じて単語分割を最適化することはできない．
\citeA{hiraoka2020optimizing}は，単語分割を後段タスクに最適化する際に，後段モデルのパラメータを用いるOpTokを提案した．
しかしながら，OpTokは入力文の文ベクトルを用いて単語分割の最適化を行うため，文書分類タスクにしか適用することができず，機械翻訳タスクなどの多くの自然言語処理のタスクに応用することはできない．
このように，現在の自然言語処理において，さまざまな後段タスクや後段モデルに適用可能な単語分割の最適化手法は存在していない．

本稿では，さまざまな自然言語処理タスクに利用可能な，単語分割\footnote{本稿で取り扱う単語分割は厳密にはTokenization（トークン化）であり，分割後のトークンは単語やサブワードになるとは限らない．しかしながら，日本語の自然言語処理の文脈でトークン化ということばが広く浸透しているとは言えないため，わかりやすさのために本稿では文を部分文字列に分割することを単語分割と呼ぶ．}と後段モデルの同時最適化の新たな手法を提案する．
提案手法は，複数の単語分割を用いて後段モデルの損失値を計算し，その損失値をもとに後段モデルに適切な単語分割を優先的に選択できるように単語分割器を更新する．
提案手法による単語分割器の更新には後段モデルの損失値のみを用いるため，提案手法はさまざまな自然言語処理のタスクやモデルに適用することができる．
さらに，提案手法によって単語分割を学習済みの後段モデルに対して最適化することで，後段モデルが学習済みであっても，その性能を向上させることが可能である．
本稿では，学習済みの後段モデルに対して単語分割を最適化する処理を後処理としての単語分割の最適化と呼ぶ．
このように，提案手法は後段モデルが未学習の場合であっても，学習済みの場合であっても用いることができるため，自然言語処理のさまざまな場面で利用可能な手法である．

本研究では複数言語を対象とした文書分類タスクと機械翻訳タスクを用いて実験を行った．
実験結果から，文書分類タスクと機械翻訳タスクの双方において，提案手法が既存の単語分割の最適化手法の性能を上回ることを確認した．
また，サブワード正則化 \cite{kudo2018subword,provilkov2019bpe}を用いて学習を行った後段モデルに対して，後処理として単語分割を最適化することで，その性能の向上を実現できることを確認した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{提案手法}
\label{sec:proposed_method}

提案手法は，単語分割器と後段モデルの2つから構成され，これらを後段タスクに対して同時に最適化する．
本章ではまず，入力が1文である場合の提案手法の学習方法について説明する（\ref{sec:optimizing_tokenization}節）．
次に，提案手法で使用する単語分割器の学習（\ref{sec:nulm_tokenizer}節）と後段モデルの学習（\ref{sec:model_loss}節）について説明する．
最後に，機械翻訳タスクのように入力として複数の文を用いるタスクでの学習方法について説明する（\ref{sec:multi_sentences}節）．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{後段モデルの損失値を用いた単語分割器の最適化}
\label{sec:optimizing_tokenization}

提案手法の単語分割器（\ref{sec:nulm_tokenizer}節）はニューラルネットワークで構成されており，文$s$を語彙$V$に含まれる単語$w$の系列$s'=w_1,...,w_I$に分割する．
ここで$I$は系列の長さである．
この単語分割処理において，提案手法の単語分割器は次の損失値を最小化するように学習を行う．
\begin{align}
{\mathcal L}_{s'} &= q(f(s'), z) \label{eq:nulm_loss}
\end{align}
ここで$f(s')$は後段モデルで，
\pagebreak
単語分割済みの文$s'$を入力として受け取り，後段タスクに応じた出力を行う．
また，$q(f(\cdot), z)$は後段タスクに応じた損失関数で，後段モデルの出力と教師信号$z$を入力として受け取り，損失値を出力する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[b]
\vspace{-1\Cvs}
\begin{center}
\includegraphics{29-1ia5f1.pdf}
\end{center}
\hangcaption{ 提案手法による$N$-best単語分割（\ref{sec:nulm_tokenizer}節）を用いた単語分割器の学習に使用する損失値$\mathcal{L}_s$と，単語分割のサンプリング（\ref{sec:model_loss}節）を用いた後段モデルの学習に使用する損失値$\mathcal{L}_{\tilde{s'}}$の計算方法の概要．実線矢印は誤差逆伝播を行う計算パスを表す．}
\label{fgr:model_outline}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

図\ref{fgr:model_outline}に提案手法の概要を示した．
${\rm argmin}_{s'}(q(f(s'), z))$を満たすような単語分割を決定するために，提案手法では後段モデルの性能が向上するような単語分割に対して高い確率を与えるように単語分割器を更新する．
具体的には，学習に用いる文$s$に対する$N$個の単語分割の候補$s'_1,...,s'_n,...s'_N$を求め，それぞれの単語分割を用いて後段モデルの損失値${\mathcal L}_{s'_n}$を計算する．
以下のように，それぞれの単語分割に対応する損失値を，各単語分割の確率$p(s'_n)$で重み付けることで損失値の重み付き和を計算し，単語分割器の学習に用いる．
\begin{align}
a_n &= \frac{p(s'_n)}{\sum_{m=1}^{N}{p(s'_m)}} \label{eq:weight}\\
{\mathcal L}_s &= \sum_{n=1}^{N}{a_n{\mathcal L}_{s'_n}} \label{eq:total_loss}
\end{align}

本研究では，$N$個の単語分割の候補として，入力文に対する$N$-best単語分割を用いる．
\pagebreak
上記の式において，各$N$-best単語分割に対応する損失値${\mathcal L}_{s'_1},...,{\mathcal L}_{s'_N}$を，総和が1になるようにノーマライズした各単語分割の確率で重みづけを行う．
この損失値の重み付き和${\mathcal L}_s$を用いて単語分割器を最適化することで，単語分割器は後段モデルに適切な単語分割，すなわち後段モデルの損失値が低くなるような単語分割に対して高い確率を与えるように学習される．

提案手法において，式(\ref{eq:nulm_loss})の後段モデル$f(\cdot)$や損失関数$q(f(\cdot), \cdot)$には，あらゆる関数を用いることができる．
そのため，提案手法は自然言語処理のさまざまな後段タスクや後段モデルに対して適用可能である．
例えば文章分類タスクの場合であれば，後段モデル$f(\cdot)$として単語分割済みの文から文ラベルを予測するニューラルネットワークを用い，損失関数$q(f(\cdot), \cdot)$として後段モデルが予測したラベルと正解ラベルとの交差エントロピー誤差関数を用いることができる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{NULMを用いた単語分割器}
\label{sec:nulm_tokenizer}

本研究では，単語分割器としてニューラルユニグラム言語モデル (NULM) を用いる．
NULMでは，ある単語$w$のユニグラム確率$p(w)$を単語分散表現${\bm v}_w$から次のように計算する．
\begin{align}
d_w &= \mathrm{MLP}({\bm v}_w)  \label{eq:mlp_in_langmodel} \\
p(w) &= \frac{\mathrm{exp}(d_w)}{\sum_{\hat w \in V}\mathrm{exp}(d_{\hat w})} \label{eq:token_prob}
\end{align}
ここで${\rm MLP}(\cdot)$は多層パーセプトロンである．
NULMの語彙$V$は，あらかじめ適度な規模で初期化する．
例えば，既存の教師なし単語分割手法であるSentencePiece \cite{kudo2018sentencepiece}やBPE \cite{sennrich2016neural}，辞書ベースの単語分割手法であるMeCab \cite{kudo2006mecab}などを用いて，語彙を初期化する．
語彙に含まれない文字については，未知語トークンとして取り扱う\footnote{本研究では未知語トークンのユニグラム確率には微小な値 ($10^{-10}$) を設定した．}．
また，単語分割の確率$p(s')$は次のように，単語分割に含まれる単語のユニグラム確率の積として計算する．
\begin{equation}
\label{eq:sent_prob}
p(s') =\prod_{w \in s'}p(w)
\end{equation}

式(\ref{eq:total_loss})を用いた学習を行う際には，文$s$の可能な単語分割候補の確率に対してForward-DP Backward-A*アルゴリズム \cite{nagata1994stochastic}を適用することで$N$-best単語分割を得ることができる\footnote{文に含まれる文字数$J$と単語の最大長$M$について$O(JM)$で$N$-best解を得ることができる．}．
推論時には，ビタビアルゴリズム \cite{viterbi1967error}で$1$-best単語分割を求めて，後段モデルへと入力する．
なお，英語のようにスペース記号で単語境界が明示された系列が入力される場合は，単語境界を跨いだ単語分割は行わない．
また，推論時にもForward-DP Backward-A*アルゴリズムを用いることで，$N$-best単語分割を用いた推論も可能であり，機械翻訳タスクにおいては$N$-bestデコーディング\cite{kudo2018subword}が可能である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{単語分割のサンプリングを用いた後段モデルの学習}
\label{sec:model_loss}

後段モデルを学習する時には，単語分割器の学習と同様に，式(\ref{eq:total_loss})で計算した損失値${\mathcal L}_s$に対して誤差逆伝播法を適用すれば良い．
しかし，単純に${\mathcal L}_s$に対して誤差逆伝播法を用いると，メモリ使用量が莫大になるという問題がある．
これは，$N$-bestの単語分割候補を用いる場合に，計算グラフを繋いだ状態で$N$個の後段モデルの各パラメータの更新に関する情報を保持する必要があるためである．

そこで，図\ref{fgr:model_outline}に示すように，${\mathcal L}_s$を用いた後段モデルのパラメータ更新は行わず，新たに単語分割$\tilde{s'}$を1つサンプリングして後段モデルの学習に用いる．
具体的には${\mathcal L}_{\tilde{s'}} = q(f(\tilde{s'}), z)$に対して誤差逆伝播法を適用することで，後段モデルの更新を行う．
すなわち，提案手法ではNULMのみを学習するための損失値と，後段モデルのみを学習するための損失値の和${\mathcal L}_s + {\mathcal L}_{\tilde{s'}}$を最終的な損失値とし，これを最小化する．
提案手法では学習途中のNULMのパラメータを用いたサブワード正則化による後段モデルの学習を行うことで，計算グラフを保持した状態で同時に$N$個のモデルを処理する必要がなくなる．
サブワード正則化を用いることで，メモリ効率の観点で軽量な学習が行えるだけでなく，後段モデルが未知の入力に対して頑健になるように学習することができる \cite{kudo2018subword,hiraoka2019stochastic,provilkov2019bpe}．

単語分割$\tilde{s'}$を選択するために，式(\ref{eq:sent_prob})のNULMによる単語のユニグラム確率の積を用いて，\\$p(\tilde{s'})^\alpha/\sum_{k=1}^{K}{p(s'_k)^\alpha}$からサンプリングを行う \cite{kudo2018subword}．
ここで，$\alpha \in \mathbb{R}^+$は分割の多様性を制御するためのハイパーパラメータであり，$\alpha$を小さく設定するほど一様に近い分布から単語分割をサンプリングする事になる．
また，$K$はサンプリングに使用する単語分割の候補数を表すハイパーパラメータで，$K=\infty$の場合はForward Filtering Backward Sampling \cite{scott2002bayesian,mochihashi2009bayesian}を用いたサンプリングを行う\footnote{文に含まれる文字数$J$と単語の最大長$M$について$O(JM)$でサンプリングが可能である．}．

サブワード正則化による後段モデルの学習は，メモリ効率の良い学習と，頑健な後段モデルの学習に貢献するだけでなく，提案手法の単語分割器の学習における$N$-best単語分割の多様性を向上させることにも間接的に貢献する．
後段モデルを$N$-best単語分割で学習する場合，毎学習エポックで似たような単語分割候補に対して後段モデルの最適化が行われるため，特定の単語分割を用いた時の損失値のみが低下しやすくなる．
これにより，NULMは特定の単語分割のみに高い確率を与えるように更新され，単語分割が局所解から抜け出しにくくなってしまう．
後段モデルの学習にサブワード正則化を用いることで，後段モデルの学習が特定の単語分割に偏ることを防ぎ，単語分割が局所解に陥りにくくすることができる．

提案手法がベースとしている\citeA{hiraoka2020optimizing}では，この局所最適解に陥ってしまう問題を解消するために，語彙の一部をサンプリングした制約付き語彙を用いていた．
一方で本研究では後段モデルに用いるサブワード正則化を用いることが間接的に単語分割の多様性をもたらすため，先行研究で使用した制約付き語彙を使用せずに多様な単語分割を学習に用いることができる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{複数入力文を用いた学習}
\label{sec:multi_sentences}

ここまでは，提案手法への入力が1文となる場合に限定して説明を行った．
しかし，含意関係認識タスクや機械翻訳タスクなどの後段タスクでは，複数の文を同時に後段モデルへと入力する必要がある．
そこで，本節では複数文を提案手法に用いる場合について説明する．

複数文を用いて単語分割器を学習するための損失値を計算する時は，1つの文について$N$-best単語分割を用い，それ以外の文については単語分割のサンプリングを行う．
例として，機械翻訳タスクのように，ソース文とターゲット文の2文を後段モデルに入力し，ソース側とターゲット側のそれぞれについて単語分割器を学習する場合を考える．
機械翻訳タスクでは，ソース文を後段モデルの入力として用い，ターゲット文を後段モデルの教師信号として使用する．
ソース文$s$とターゲット文$t$の単語分割を，それぞれ$s'$，$t'$と表す．
ソース側の単語分割器を学習する場合には，ソース文$s$の$N$-best単語分割の各単語分割$s'_n$と，サンプリングしたターゲット文の単語分割$\tilde{t'}$を用いて，損失値${\mathcal L}_{s'_n}=q(f(s'_n), \tilde{t'})$を計算し，式(\ref{eq:total_loss})による重み付き和$\mathcal{L}_{s}$を最小化する．
同様にしてターゲット側の単語分割器も，サンプリングしたソース文の単語分割$\tilde{s'}$と，ターゲット文の$N$-best単語分割の各単語分割$t'_n$を用いて${\mathcal L}_{t'_n}=q(f(\tilde{s'}), t'_n)$とその重み付き和$\mathcal{L}_{t}$を計算し，これによって学習を行うことができる．

複数文を用いて後段モデルを学習する際には，単純に各文の単語分割をサンプリングして用いる．
すなわち，機械翻訳タスクの場合であれば，ソース文とターゲット文のそれぞれの単語分割をサンプリングして計算した損失値${\mathcal L}_{\tilde{s'}, \tilde{t'}}=q(f(\tilde{s'}), \tilde{t'})$に対して誤差逆伝播法を用いることで，後段モデルの学習を行う．
あるミニバッチ$B \ni (s, t)$を用いて学習を行う時には，以下の損失値に対して最小化を行う．
\begin{equation}
\mathcal{L} = \sum_{(s,t) \in B}{\mathcal{L}_{s}+\mathcal{L}_{t}+\mathcal{L}_{\tilde{s'}, \tilde{t'}}}.
\end{equation}
機械翻訳タスクにおいて，ソース側のNULMを学習するときの概要を図\ref{fgr:model_outline_multi}に示した．
同様にして，ターゲット側のNULMの学習も説明することができる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[t]
\begin{center}
\includegraphics{29-1ia5f2.pdf}
\end{center}
\hangcaption{入力として2文を用いる機械翻訳タスクにおける，ソース側のNULMを学習するための損失値$\mathcal{L}_s$の計算方法の概要．$s$, $t$はそれぞれソース文とターゲット文であり，実線矢印は誤差逆伝播を行う計算パスを表す．}
\label{fgr:model_outline_multi}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験}
\label{sec:experiments}

提案手法が複数の後段タスクに適用可能であることを調べるために，本研究では先行研究 \cite{xuanli2020dynamic,hiraoka2020optimizing,hiraoka2021optimizing}に倣い，文書分類タスクと機械翻訳タスクでの実験を行う．
実験では，特定タスクにおいて単語分割を最適化する既存の手法と提案手法を比較する．
具体的には，文書分類タスクにおける単語分割の最適化手法としてOpTok \cite{hiraoka2020optimizing,hiraoka2021optimizing}，機械翻訳タスクにおける単語分割の最適化手法としてDPE \cite{xuanli2020dynamic}をそれぞれ比較対象として用い，提案手法の性能と比較する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{文書分類}
\label{sec:exp_tc}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{実験設定}

提案手法が複数言語の文書分類タスクで有効であることを示すために，3言語のデータセットで実験を行う．
Weibo(Zh)\footnote{\url{https://github.com/wansho/senti-weibo}}，Twitter(Ja) \cite{suzuki2019filtering}\footnote{\url{http://www.db.info.gifu-u.ac.jp/data/Data_5d832973308d57446583ed9f}}，Twitter(En)\footnote{\url{https://www.kaggle.com/c/twitter-sentiment-analysis2}}は，それぞれ中国語，日本語，英語のショートテキストSNS上での感情分析データセットである．
Genre(Zh/Ja/En)とRating(Zh/Ja/En)は，中国語，日本語，英語のE-commerceサイトの商品レビューデータセットから作成したタスクで，それぞれレビューから商品のジャンルを予測するタスクと，レビューのレートを予測するタスクである．
中国語はJD.com \cite{zhang2015daily}\footnote{\url{http://yongfeng.me/dataset/}}，日本語は楽天市場 \cite{rakuten}，英語はAmazon \cite{he2016ups}\footnote{\url{http://jmcauley.ucsd.edu/data/amazon/}}によるデータセットをそれぞれ使用した．
さらに，入力として2文を必要とする実験設定として，SNLI \cite{bowman2015large}を用いた実験を行う．
文書分類タスクで使用する各データセットの前処理は，先行研究 \cite{hiraoka2020optimizing,hiraoka2021optimizing}と同じ方法を用いた．

文書分類タスクにおける比較手法として，SentencePiece (SP) \cite{kudo2018sentencepiece}とOpTok \cite{hiraoka2020optimizing}を用いる．
OpTokは本研究がベースとしている手法で，$N$-bestの単語分割候補の文ベクトルを用いて，文書分類タスクに対して単語分割を最適化する手法である．
SentencePieceについては，サブワード正則化を用いて学習を行う設定(SP+R)も比較対象として用いる．
サブワード正則化では，文書分類タスクの学習時に言語モデルを用いて単語分割をサンプリングし，複数の単語分割を考慮した学習を行う．
各手法の評価時には，$1$-bestの単語分割を用いる．

文書分類タスクの学習に用いる後段モデルには，先行研究 \cite{hiraoka2020optimizing,hiraoka2021optimizing}の実験設定と合わせるために，BiLSTMエンコーダーによる文書分類器を用いる\footnote{文書分類タスクの実験には，先行研究に用いた実験コードを使用した．\url{https://github.com/tatHi/optok}}．
提案手法とOpTokの語彙$V$とNULMのユニグラム確率の初期化には，学習済みのSentencePieceのモデルを使用\footnote{先行研究 \cite{hiraoka2020optimizing,hiraoka2021optimizing}と同様，NULMとSentencePieceのユニグラム言語モデルのKLダイバージェンスの最小化によって初期化する．}し，すべての手法で同じ語彙を用いて比較を行う．
使用する語彙の規模は，Twitter(Ja)とTwitter(En)のみ16,000単語，その他は32,000単語とした．
提案手法とOpTokで用いる単語分割の候補数は$N=3$とし，サブワード正則化に用いるハイパーパラメータは$\alpha=0.2$，$K=\infty$と設定した．
SNLIコーパスについては，前提 (premise) と仮説 (hypothesis) の双方について同じNULMを用い，\ref{sec:multi_sentences}節で説明した複数文に対する単語分割の最適化方法を用いて提案手法の学習を行った．
30エポックの学習を行い，開発データで性能が最大となるモデルの評価データにおける性能を評価する．

先行研究 \cite{hiraoka2020optimizing,hiraoka2021optimizing}では，言語モデルの性質を維持するための損失関数を加えることでOpTokの性能が向上することを報告している．
提案手法でも同様に性能が向上すると期待されるが，先行研究の実験と設定を合わせるために言語モデルの性質を維持するための損失関数は使用しない．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{実験結果}

文書分類タスクでの実験結果を表\ref{tbl:tc_results}に示した．
実験結果より，提案手法はすべてのデータセットにおいてSentencePieceと，サブワード正則化を用いた設定よりも高い性能であることが確認された．
ここから，単語分割の最適化を行わない場合の学習に対する提案手法の優位性が示される．
また，提案手法は10データセットのうち8つのデータセットで，既存手法であるOpTokの性能を上回ることが確認された．
残りの2つのデータセットについても，提案手法の性能はOpTokの性能に大きく劣らない性能であることが確認された．
これらの結果から，提案手法は文書分類タスクにおける有効な単語分割の最適化手法として，既存手法と代替可能であることが示唆される．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[t]
\input{05table01.tex}
\hangcaption{文書分類タスクにおける各手法の性能（F1値，5回試行の平均）．SPとRはそれぞれ，SentencePieceとサブワード正則化を表す．太字は手法間での最大値を表す．SP+RとOpTokの値については，先行研究\protect\cite{hiraoka2020optimizing,hiraoka2021optimizing}の実験結果から引用した．}
\label{tbl:tc_results}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

提案手法が多くのデータセットでOpTokの性能を上回る原因として，後段モデルの学習方法が提案手法とOpTokで異なる点が挙げられる．
OpTokにおける後段モデルの学習では，後段モデルへの入力として$N$-bestの単語分割候補に対応する文ベクトルの重み付き和を用いている．
しかし，推論時には$1$-bestの単語分割のみを用いるために，入力のベクトルの性質が学習時と推論時で異なるものになっており，これが後段モデルの推論に悪影響を与えていると考えられる．
一方で，提案手法における後段モデルの学習では，サブワード正則化と同様にサンプリングによって選択した1つの単語分割のみを用いるため（\ref{sec:model_loss}節），学習時と推論時のどちらでも一貫して1つの単語分割のみが後段モデルに入力される．
これによって，提案手法はOpTokに比べて効果的に後段モデルの推論を行うことができ，性能の向上がもたらされたと考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{機械翻訳}
\label{sec:exp_mt}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{実験設定}

提案手法が複数のタスクで有効であることを調べるために，文書分類タスクに加えて機械翻訳タスクでも実験を行う．
本研究では，IWSLTデータセットとWMTデータセットを用いて，ドイツ語(De)，ベトナム語(Vi)，中国語(Zh)，アラビア語(Ar)，フランス語(Fr)，ハンガリー語(Hu)，ルーマニア語(Ro)のそれぞれと，英語(En)との8言語対での実験を行う．
機械翻訳タスクの既存研究に倣い \cite{cui2020university,huo2020diving,wu2020tencent}，前処理として中国語のデータについてはJieba\footnote{\url{https://github.com/fxsjy/jieba}}による事前単語分割を行い，その他の言語に対してはMoses Tokenizer\footnote{\url{https://github.com/moses-smt/mosesdecoder}}を用いて事前単語分割を行った．
機械翻訳の評価を行う際には，単語分割を復元するデトークナイズを行ってから，SacreBLEU \cite{post2018call}による評価を行った．


本実験では，事前単語分割済みのデータに対してSentencePiece (SP)，DPE \cite{xuanli2020dynamic}，提案手法のそれぞれで単語分割を行い，機械翻訳モデルの学習を行う．
文書分類タスクと同様に，サブワード正則化(SP+R)を用いた機械翻訳モデルの学習手法\cite{kudo2018subword}もベースラインとして比較する．
DPEはSequence-to-Sequenceモデルに特化した単語分割の最適化手法で，ソース文の情報を用いてターゲット文の単語分割を調整する手法である．
本研究の実験ではDPEの公式実装\footnote{\url{https://github.com/xlhex/dpe}}を使用した．

機械翻訳タスクで使用する後段モデルとして，Transformer \cite{vaswani2017attention}のFairseq \cite{ott2019fairseq}による実装を用いる．
IWSLTデータセットについてはTransformer (small)を使用し，すべての言語に対して語彙の規模を16,000単語としてSentencePieceによる単語分割を行った．
WMTデータセットについてはTransformer (base)を使用し，単語分割に用いる語彙の規模はすべての言語に対して32,000単語とし，SentencePieceによる単語分割を行った．
文書分類タスクでの実験設定と同様に，提案手法のNULMの初期化にはSentencePieceによって獲得された単語分割と言語モデルを使用する．
また，比較対象であるDPEによる単語分割器の学習にも，提案手法と同様にSentencePieceでの単語分割を初期値として用いる．
SentencePiece，DPE，提案手法の各手法は同じSentencePieceによって獲得された語彙を用いるため，語彙の規模による不平等はない．
サブワード正則化に用いるハイパーパラメータは先行研究 \cite{kudo2018subword}に倣い，IWSLTデータセットでは$\alpha=0.2$，WMTデータセットでは$\alpha=0.5$とした．
また，データセットにかかわらず，単語分割のサンプリングを行う際の単語分割の候補数は$K=\infty$とした．
提案手法の単語分割の最適化に使用する単語分割の候補数は，IWSLTデータセットでは$N=8$，WMTデータセットでは$N=3$と設定した．
100エポックの学習を行い，開発データで性能が最大となるモデルの評価データにおける性能を評価する．
推論時にはビームサーチを使用し，ビーム幅は5とした．

DPEはターゲット側の単語分割のみを最適化する手法であるため，先行研究 \cite{xuanli2020dynamic}での実験設定と同様にソース側の単語分割にはサブワード正則化のためにSentencePieceによる単語分割のサンプリングを用いた学習を行う．
提案手法はソース側とターゲット側の双方の単語分割の最適化に利用することができるため，ソース側のみに提案手法を用いた場合，ターゲット側のみに提案手法を用いた場合，ソース側とターゲット側の双方に提案手法を用いた場合の3種類の実験設定を用意した．
また，提案手法をソース側，ターゲット側のどちらか一方にのみ使用する場合は，もう片方の言語にはサブワード正則化のためにSentencePieceによる単語分割のサンプリングを用いた学習を行った．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{実験結果}

機械翻訳タスクにおける各手法の実験結果を表\ref{tbl:mt_results}に示した．
実験結果より，16言語対のうち15言語対での機械翻訳タスクにおいて，提案手法を使用した場合に最も性能が高くなることが確認された．
さらに，この15言語対のうち10言語対において，提案手法をターゲット側言語のみに使用する設定 (SP+R/Ours) が最高性能となることが示された．
また，単語分割の最適化の既存手法であるDPEをターゲット側に使用した設定 (SP+R/DPE) と比較すると，同様にターゲット側の単語分割のみを最適化する提案手法 (SP+R/Ours) は，16言語対のうち15言語対で高い性能であることが確認された．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[b]
\input{05table02.tex}
\hangcaption{IWSLTデータセットとWMTデータセットを用いた機械翻訳タスクでの実験結果（BLEU値，3回試行の平均）．表上部にソース側とターゲット側に使用した単語分割手法をそれぞれ示した．SRとRはそれぞれSentencePieceとサブワード正則化を表す．太字は手法間での最高値を表す．}
\label{tbl:mt_results}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

両側言語にサブワード正則化を用いるベースライン (SP+R/SP+R) と比較すると，提案手法をソース側言語のみに使用する設定 (Ours/SP+R) だと14言語対，ターゲット側言語のみに使用する設定 (SP+R/Ours) だと16言語対すべて，両側に使用する設定 (Ours/Ours) だと13言語対で，ベースラインの性能を上回っている．
ここから，提案手法をターゲット側のみに使用する設定が，安定して性能の向上に貢献することが示された．
一方で，提案手法をソース側とターゲット側の双方に用いた設定は，多くの言語において大きな性能の向上に繋がらないことがわかった．
これは，提案手法を用いてソース側とターゲット側の両側の言語の単語分割を同時に最適化することが難しく，性能の向上が得られなかったためだと考えられる．
機械翻訳タスクにおいて，提案手法を用いてソース側とターゲット側の双方を最適化して性能の向上を得る方法については，\ref{sec:both_enc_dec}節でさらに詳細に分析する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{後処理としての単語分割の最適化}
\label{sec:post_optimization}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験設定}

\ref{sec:optimizing_tokenization}節で述べた通り，提案手法における後段モデルにはあらゆる関数が使用できるため，後段モデルが学習済みであっても提案手法を適用して単語分割の最適化を行うことができる．
本節では，学習済みの後段モデルに対して提案手法を適用し，後処理として単語分割を最適化することで，性能の更なる向上が得られることを確認する．
具体的には，式(\ref{eq:total_loss})における${\mathcal L}_s$を用いて，後段モデルのパラメータは更新せずに提案手法の単語分割器 (NULM) のみを学習したときの性能の向上について検証する．

後処理としての単語分割の最適化の効果を確かめるために，文書分類タスクのうち感情分析データセットと，機械翻訳タスクのうちIWSLTデータセットを用いて実験を行う．
学習済みの後段モデルを作成するために，文書分類タスクではBiLSTMエンコーダーを用いた文書分類器，機械翻訳タスクではTransformer (small)をそれぞれ，\ref{sec:experiments}章での実験と同じ設定で学習する．
なお，文書分類タスクと機械翻訳タスクの両方において，後段モデルはサブワード正則化を用いて学習する．
文書分類タスクでは30エポック，機械翻訳タスクでは100エポックの学習を行った時点でのモデルを，学習済みの後段モデルとして扱う．
学習済みの後段モデルに対して提案手法を適用し，後段モデルのパラメータは更新せず，単語分割の更新のみをさらに5エポック学習し，単語分割の最適化による性能の向上が得られるかを確認する．
学習済みの後段モデルのパラメータは更新しないため，機械翻訳タスクにおいては，ソース側の単語分割のみを最適化することで，推論時の性能が向上するかを確かめる．
文書分類タスクにおいては，既存手法であるOpTokも同様に後処理としての単語分割の最適化を行えるため，ベースラインとして比較する．

またTwitter(Ja)データセットでは，SentencePieceによる単語分割以外でも提案手法が有効であることを調べるために，日本語で広く使用される辞書ベースの単語分割器MeCab \cite{kudo2006mecab}を用いた実験を行う．
この実験では，MeCab (IPADIC) による単語分割を用いて後段モデルを30エポック学習した後に，5エポックの単語分割の最適化を行う．
後段モデルの学習にはサブワード正則化を用いない．
提案手法とOpTokで使用するNULMの初期状態として，MeCabで単語分割を行った学習データの頻度数え上げによるユニグラム言語モデルを用いた．
また，学習データにおいて頻度が1である単語はすべて未知語トークンに置換した．

Twitter(En)データセットでは，大規模な事前学習モデルに提案手法が適用可能であることを調べるために，BERT \cite{devlin2018bert}を用いた実験を行う．
この実験では，文書分類タスクの学習に用いるBiLSTMエンコーダーを$\mathrm{BERT}_\mathrm{base}$\footnote{HuggingFaceが配布している事前学習モデルを利用した: \url{https://github.com/huggingface/transformers}}に置き換え，後段モデルに対して30エポックのファインチューニングを行ってから5エポックの単語分割の最適化を行う．
MeCabの実験と同様，後段モデルの学習にはサブワード正則化を使用せず，NULMの初期状態にはBERTに同梱されているWordPieceによる学習データの単語分割から頻度数え上げで作成したユニグラム言語モデルを用いた．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 3
\begin{table}[b]
\input{05table03.tex}
\hangcaption{学習済みの後段モデル（学習済み）と，後処理として単語分割を最適化した場合（学習済み→OpTok，学習済み→Ours）の文書分類タスク（Sentiment，F1値）と機械翻訳タスク (IWSLT15，BLEU) での性能．「学習済み」はSentencePiece，MeCab，BERTのWordPieceによる単語分割を使用し，文書分類タスクで30エポック，機械翻訳タスクで100エポックの学習をそれぞれ行った後段モデルである．SentencePieceによる後段モデルの学習にはサブワード正則化を使用した．OpTokとOursは，学習済みの後段モデルに対して後処理としての単語分割の最適化をそれぞれの手法で5エポック学習した時の性能である．太字は手法間での最高値を表す．}
\label{tbl:post_proc}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験結果}

後処理として単語分割を最適化した時の各手法の実験結果を表\ref{tbl:post_proc}に示した．
表において，「学習済み」は文書分類タスクで30エポック，機械翻訳タスクで100エポックの学習を行った時点での後段モデルの性能を示す．
また，「学習済み→OpTok」と「学習済み→Ours」はそれぞれ，学習済みの後段モデルに対してOpTokと提案手法それぞれで5エポックの単語分割の最適化を行ったときの性能を表す．
実験結果より，提案手法による単語分割の最適化を行うことで，既に学習済みの後段モデルよりも性能が向上することが示された．
文書分類タスクにおいては，既存手法のOpTokと提案手法はどちらも後処理としての単語分割の最適化によって性能の向上が得られ，提案手法は日本語と英語のデータセットにおいてOpTokの性能を上回ることが確かめられた．
機械翻訳タスクにおいても，提案手法による単語分割の最適化によって，安定して学習済みの後段モデルの性能を向上させることが示された．

また，単語分割器にMeCabを用いた実験設定でも，提案手法によって性能の向上が得られることが確認された．この結果から，日本語で広く用いられる辞書ベースの単語分割器を用いて学習した後段モデルであっても，提案手法によって性能の向上が得られることが示された．
さらに，BERTを用いた実験でも提案手法による性能向上が得られ\footnote{後処理ではなく，\ref{sec:exp_tc}節のように単語分割器とBERTを用いた後段モデルを同時に最適化する実験はOpTokに関する既存研究 \cite{hiraoka2020optimizing,hiraoka2021optimizing}で行われている．ここから，提案手法もOpTokと同様に，BERTを用いた場合であっても後段モデルと単語分割の最適化が可能であると考えられる．}，提案手法はSentencePieceやサブワード正則化を用いない方法で学習された後段モデルであっても，後処理として単語分割の最適化を行い，性能向上に寄与することがわかった．

これらの結果から，後段モデルが学習済みであり，学習可能なパラメータがない状態であっても，単語分割を調整することでその性能を底上げすることができ，提案手法を用いることで適切な単語分割が得られることがわかった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{分析}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{ソース側とターゲット側の単語分割双方の最適化}
\label{sec:both_enc_dec}

機械翻訳タスクにおける\ref{sec:exp_mt}節での実験結果から，提案手法を用いてソース側とターゲット側の双方の単語分割を同時に最適化すると，片側のみに提案手法を用いた場合に比べて性能が劣ることが示された．
この結果は，機械翻訳タスクにおけるソース側言語とターゲット側言語で適切な単語分割の粒度が異なり，同時に最適化を行うことが難しいことに起因すると考えられる．
本節では，機械翻訳タスクにおいてソース側とターゲット側双方の単語分割を最適化しつつ，安定した性能の向上を得るための学習の戦略を3つ用意し，比較を行う．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{Src$\rightarrow$Tgt} 100エポックの学習のうち，前半の50エポックはソース側のNULMのみを更新し，ターゲット側のNULMは更新しない．後半の50エポックではソース側のNULMのパラメータを更新せず，ターゲット側のNULMのみを更新する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{Tgt$\rightarrow$Src} Src$\rightarrow$Tgtの戦略とは逆に，前半の50エポックでターゲット側のNULMを学習し，後半の50エポックでソース側のNULMを学習する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{Random} ミニバッチごとに，ソース側とターゲット側のNULMを確率0.5でランダムに選択し，選択された片方のみのNULMを更新する．\\
いずれの学習戦略においても，後段モデルである機械翻訳モデルは単語分割器と同時に最適化し，全体で100エポックの学習が行われる．

それぞれの学習戦略を用いたときの機械翻訳タスクでの実験結果を表\ref{tbl:exp_both}に示した．
表においてBothは，ソース側とターゲット側の双方の単語分割を同時に最適化する実験設定で，表\ref{tbl:mt_results}におけるOurs/Oursの数値を引用したものである．
実験結果より，ソース側のNULMを学習してからターゲット側のNULMを学習する戦略 (Src$\rightarrow$Tgt) を用いることで，両側の単語分割を最適化しつつ，安定して性能の向上が得られることがわかった．
特に，Vi-En，En-Vi，Zh-Enの3言語対での実験では，Src$\rightarrow$Tgtの戦略を用いることで\ref{sec:exp_mt}節での実験（表\ref{tbl:mt_results}）で示した最高性能値を上回ることが示された．
一方で，ターゲット側のNULMを学習してからソース側のNULMを学習する戦略 (Tgt$\rightarrow$Src) は，3言語対で性能が両側を同時に最適化する方法 (Both) に劣り，ソース側とターゲット側の単語分割の最適化の順番が重要であることが示唆される．
さらに，学習するNULMをミニバッチごとにランダムに選択する戦略 (Random) の性能も，両側を同時に最適化する方法 (Both) に劣る性能であった．
ここから，ランダムに選択した片側のみのNULMを更新するだけでは性能向上が得られず，片側ずつ順番に学習を行うことの重要性が示唆される．
これらの結果から，機械翻訳タスクにおいてソース側言語とターゲット側言語の双方の単語分割を最適化するときには，ソース側のNULMを学習してからターゲット側のNULMを学習する，段階的な学習戦略を用いることで，性能の向上が得られることが示された．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 4
\begin{table}[t]
\input{05table04.tex}
\hangcaption{ソース側とターゲット側の双方の単語分割を最適化するための各戦略のIWSLT15データセットでの機械翻訳タスクの性能（BLEU値，3回試行の平均）．Bothは表\ref{tbl:mt_results}におけるOurs/Oursの実験設定の数値を引用したものである．太字は実験設定間での最高値を表す．}
\label{tbl:exp_both}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

また，ソース側のNULMをあらかじめ学習してから固定し，ターゲット側の学習を行うことで性能が向上するという結果から，学習の終盤でソース側の単語分割が変更されることが性能の低下に繋がっていると考えられる．
ここから，ソース側の単語分割が学習を通して大きく変わる傾向にあり，学習を不安定にさせていることが示唆される．
機械翻訳タスクにおいて，実際に最適化された単語分割の粒度については\ref{sec:granularity_mt}節で分析する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{文書分類タスクで最適化された単語分割}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{獲得された単語分割}

本節では，文書分類タスクにおいて提案手法で最適化を行った単語分割の分析を行う．
単語分割の分析には，英語のレビューデータについてのジャンル予測タスクとレート予測タスクを用いる．
これらのデータセットは，どちらも同じAmazonデータセットから作成されており，同じコーパスに対してジャンル予測タスクとレート予測タスクの2つのタスクが設定されている．
そのため，タスクによって同じコーパスに対して異なる単語分割を学習しているかを調べることができる．
既存手法のOpTokと提案手法を用いて最適化した単語分割の例と，これらの初期値であるSentencePieceによる単語分割の例を表\ref{tbl:seg_tc}に示した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 5
\begin{table}[t]
\input{05table05.tex}
\hangcaption{文書分類タスクにおける，手法ごとの単語分割の例．手法間で異なる単語分割が見られる箇所を太字で示した．}
\label{tbl:seg_tc}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

表\ref{tbl:seg_tc}より，提案手法によって最適化された単語分割は，ベースとしているOpTokで最適化した単語分割と似た傾向となることが確認できる．
例えば，OpTokと提案手法はどちらも，ジャンル予測のタスクでのみ単語``episodes''の接尾辞``-s''を切り離している．
``episode''という単語は``Movies\_and\_TV''ジャンルに特徴的な単語であるため，接尾辞を切り離すことでタスクに特化した単語分割を使用するように学習したと考えられる．
ここから，提案手法と既存手法はどちらもタスクに特化した単語分割を学習できていることが示唆される．

ジャンル予測タスクにおいて，提案手法はOpTokとは異なり``seasons''という単語の接尾辞を分割し，``season-s''と学習している．
レート予測タスクでは，OpTokが``like-d''と過去を表す接尾辞を分割する一方で，提案手法は分割を行わずに``liked''という単語をそのまま使用している．
これらの差は，OpTokと提案手法で使用している損失関数が異なることや，得られる結果が後段モデルのパラメータの初期値やミニバッチ学習の順序に依存することに起因する．
また，提案手法はOpTokと比較して，レート予測タスクにおいて単語を細かく分割しない傾向にあることが分かっている（\ref{sec:granularity_tc}節）．
これは，後段モデルの損失値に重み付けを行う提案手法と，文ベクトルに重み付けを行うOpTokとの構造的な差に起因すると考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{単語分割の粒度}
\label{sec:granularity_tc}

表\ref{tbl:seg_tc}に示した単語分割の例から，
\pagebreak
提案手法とOpTokのそれぞれで最適化した単語分割は，初期状態のSentencePieceの単語分割に比べて，接尾辞を区切るなどの操作によって短い単語を多く使う傾向にあることがわかる．
つまり，短い単語を多く使うことで，最適化後の単語分割は元の単語分割に比べて単語数が多くなる傾向にある．
そこで，単語分割の最適化によって単語分割済みの文に含まれる単語数がどの程度多くなったかを，中国語，日本語，英語のレビューデータセットを用いて調べる．
表\ref{tbl:length_tc}に，初期状態であるSentencePieceの単語分割に含まれる単語数を1.0とした時の，各手法で最適化を行った単語分割に含まれる単語数の割合を示した．
比較には，学習データに含まれる全文の単語分割を用いる．
この表において1.0を超える値は，最適化された単語分割の単語数が初期状態よりも多いことを示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 6
\begin{table}[b]
\input{05table06.tex}
\hangcaption{文書分類タスクにおける，既存手法OpTokと提案手法による単語分割の粒度．各手法の使用したSentencePieceによる単語分割の長さを1.0とした時に，最適化された単語分割の長さが学習データ全体でどの程度長くなったかの割合を示す．1.0以上の数値は，初期値の単語分割よりも系列長が長くなっている（細かい粒度で分割を行っている）ことを表す．}
\label{tbl:length_tc}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

表\ref{tbl:length_tc}より，すべてのデータセットにおいて提案手法とOpTokによって最適化された単語分割は，どちらも初期状態であるSentencePieceの単語分割に比べて単語数が増えていることがわかる．
また，英語のデータセットで最適化された単語分割は，中国語や日本語に比べて単語分割の長さの増加率が小さいことが確認された．
これは，英語における意味を持つ単語の単位が中国語や日本語よりも長く，細かく区切ることで意味が失われてしまうためであると考えられる．

さらに，提案手法とOpTokのどちらの手法でも，ジャンル予測タスクで最適化された単語分割はレート予測タスクで学習された単語分割よりも単語数が多くなっており，単語分割の最適化の傾向が双方で似ていることが示唆される．
この傾向は，ジャンル予測タスクとレート予測タスクの特徴や，ラベルの数に関係していると考えられる．
表\ref{tbl:seg_tc}に示したように，提案手法はラベルに特徴的な単語の接尾辞などを切り離すことで，効果的な予測を行えるように単語分割を学習する．
ジャンル予測タスクはレート予測タスクに比べてラベルの数が多く，ラベルごとに特徴的な単語も比較的多いため，文中の多くの単語に対して接尾辞の分割操作が働き，単語数が多くなっていると考えられる．
一方でレート予測タスクにおけるラベルの特徴語の多くは，ポジティブ・ネガティブのそれぞれの極性に対応する単語である．
そのため，レート予測タスクでは特徴語の種類がジャンル予測タスクに比べて少なく，接尾辞の分割操作の頻度も少なくなることで，文全体の単語数が抑えられていると考えられる．

また，すべての言語のレート予測タスクにおいて，提案手法による単語分割の単語数はOpTokを下回ることが確認された．
つまり，レート予測タスクにおいて提案手法はOpTokに比べて単語を短く切らない傾向がある．
OpTokでは，単語分割の候補それぞれの文ベクトルに対して単語分割の確率で重み付けを行うため，単語分割の確率が後段モデルに入力される情報に影響を与える．
そのため，ラベルに特徴的な単語を含む単語分割の文ベクトルの情報をより多く得るために，その単語分割の確率を向上させるような学習が働く．
これにより，ラベルに特徴的な単語のユニグラム確率が大きく向上し，結果として細かい粒度での単語分割を行う傾向につながる．
一方で提案手法は，後段モデルの損失値に重み付けを行うため，単語分割の確率が後段モデルの入力に影響を与えない．
そのため，ラベルに特徴的な単語のユニグラム確率を大きく向上させる傾向がOpTokよりも弱く，このような単語分割の粒度の差として表れていると考えられる．
特にレート予測タスクのように，ラベルと特徴語の関係が強いタスクにおいて，この構造上の差が単語分割の粒度として顕著に表れたと推測される．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{機械翻訳タスクで最適化された単語分割}
\label{sec:tokenization}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{獲得された単語分割}

本節では，機械翻訳タスクにおいて提案手法で最適化を行った単語分割について分析を行う．
表\ref{tbl:seg_example}に，SentencePieceによる単語分割と，DPEと提案手法のそれぞれで最適化を行った単語分割の例を示した．
分析ではIWSLT15データセットの中国語・英語ペアを使用し，それぞれの手法による英語側の単語分割の比較を行う．
DPEはターゲット側の単語分割を最適化する手法であるため，中英翻訳ペアでのみ比較を行う．
また提案手法については，英語側のみの単語分割を最適化し，中国語側の最適化は行わずに学習したものを用いる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 7
\begin{table}[b]
\input{05table07.tex}
\hangcaption{SentencePiece，DEP，提案手法のそれぞれによる英中・中英翻訳での英語側の単語分割の比較．手法間で単語分割が異なる部分を太字で示した．}
\label{tbl:seg_example}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%表\ref{tbl:seg_example_src}はソース側の英語の文における，
    表\ref{tbl:seg_example}aはソース側の英語の文における，
SentencePieceによる初期状態の単語分割と，提案手法によって最適化を行った単語分割の比較である．
表より，提案手法はSentencePieceによる単語分割に比べて単語を短く区切る傾向があることがわかる．
例えば，``don''を``do-n''，``have''を``hav-e''，``hours''を``hour-s''と区切っており，語根から接尾辞を分割する傾向が見られる．
これは，文書分類タスクにおいて最適化を行った単語分割の例（表\ref{tbl:seg_tc}）と同様の傾向である．

%%%%表\ref{tbl:seg_example_tgt}では，
    表\ref{tbl:seg_example}bでは，
ターゲット側の英語の文における，SentencePieceによる初期状態の単語分割と，DPEと提案手法それぞれによって最適化を行った単語分割の比較を示した．
表より，ソース側の単語分割と比べて，提案手法はターゲット側の文の単語分割を細かく区切らないことが確認できる．
例えば提案手法は，SentencePieceによる単語分割``separate-d''を``separat-ed''と分割し直しているが，文全体の単語数は変わっていない．
機械翻訳タスクにおける既存の単語分割の最適化手法であるDPEと比較すると，提案手法は過去の接尾辞``-ed''を分割するという点で，似た傾向を持つ．
しかし，DPEが``a-way''という分割を用いるのに対して提案手法はSentencePieceと同様に``away''と細かく区切らないなど，提案手法は系列長が長くなるような分割を避ける傾向にあることがわかった．
これは，DPEと異なり提案手法が後段モデルの損失値を直接学習に用いており，系列長が長くなることでデコーダーによる生成が難しくなることを避けているためだと考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 8
\begin{table}[b]
\input{05table08.tex}
\hangcaption{IWSLTデータセットにおいて，SentencePieceによる初期状態の単語分割に含まれる単語数を1.0としたときの，DPEと提案手法それぞれで最適化を行った単語分割に含まれる単語数の割合．EncoderとDecoderはそれぞれ機械翻訳タスクの学習に用いた単語分割手法を表，SP+RはSentencePieceによるサブワード正則化を用いた設定を表す．}
\label{tbl:analysis_length}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{単語分割の粒度}
\label{sec:granularity_mt}

機械翻訳タスクにおける各比較手法による単語分割の粒度を調べるために，\ref{sec:granularity_tc}節と同様に，単語分割済みの文に含まれる単語数の比較を行う．
表\ref{tbl:analysis_length}に，SentencePieceによる初期状態の単語分割に含まれる単語数を1.0とした時の，DPEと提案手法それぞれで最適化を行った単語分割に含まれる単語数の割合を示した．
比較には，IWSLTデータセットの学習データに含まれる全文の単語分割を用いる．
表において，1.0を超える値は初期状態の単語分割よりも単語数が増えていることを表す．

表\ref{tbl:analysis_length}より，ソース側言語に対して提案手法で最適化を行った単語分割に含まれる単語数は，初期状態のSentencePieceによる単語分割よりも増えていることがわかる．
%%%%ここから，表\ref{tbl:seg_example_src}の例にある通り，
    ここから，表\ref{tbl:seg_example}aの例にある通り，
提案手法はコーパス全体でソース側の単語を細かい単位に分割していることがわかる．

一方で，ターゲット側言語に対して提案手法で最適化を行った単語分割に含まれる単語数は，初期状態の単語分割に比べてわずかに短くなる傾向がある．
ここから，提案手法はソース側の単語分割の最適化とは異なり，初期状態の単語分割の単語数を維持しながらターゲット側言語の単語分割を調整していることが示唆される．
これは，単語を短く区切ることでターゲット側言語の系列長が長くなり，デコーダーによる生成が難しくなることを提案手法が避けているためだと考えられる．
英中翻訳においては，他の翻訳ペアとは異なり，提案手法はターゲット側の中国語の単語分割を初期状態よりも短く区切り，系列長を長くすることが確認された．
中国語は表意文字を用いるため1文字が持つ情報が表音文字を用いる英語に比べて多く，中国語の1文に含まれる文字数は英語よりも少なくなる．
そのため，提案手法はソース側の英語の単語分割の粒度と揃えるために，ターゲット側の中国語の単語分割を細かく区切るように学習されたと考えられる．

提案手法と比較して，単語分割の最適化の既存手法であるDPEによる単語分割の粒度は，言語ごとに傾向が異なることがわかる．
提案手法がユニグラム言語モデルとビタビアルゴリズムというシンプルな単語分割器の構成を持っているのに対し，DPEはTransformerと特殊なデコード用のアルゴリズムを用いた単語分割を行うため，提案手法よりも単語分割の自由度が高い．
さらに，DPEはターゲット側の単語分割を生成する際に，ソース側の単語分割をTransformerに入力することで直接考慮することができる．
一方で，提案手法がターゲット側の単語分割を生成する際には，両側言語を用いて学習したNULMを用いるため，ソース側の単語分割を直接考慮することはできない．
そのため，DPEの単語分割は言語ごとの影響を受けやすく，単語分割の粒度も言語によって異なったものになると考えられる．
提案手法は単語分割の自由度という点において，DPEよりも制約が大きいが，\ref{sec:exp_mt}節での実験から機械翻訳タスクでの性能はDPEよりも高いことがわかっている．
NULMはユニグラム言語モデルであるため，文脈に応じて単語分割を変化させることができないが，これはコーパス全体で一貫した単語分割を行うことができるという利点でもある．
機械翻訳タスクでの性能向上は，こうした提案手法の性質が寄与していると考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{最適化された単語分割の異なるタスクへの転用}

\ref{sec:post_optimization}章の実験では，単語分割の最適化のみでも後段モデルの性能の向上が得られることを確認した．
このように，後段タスクや後段モデルの性質に応じて単語分割を調整する提案手法は，単語分割のドメイン適応の手法と捉えることができる．
そこで本節では，提案手法によって最適化を行った単語分割が，後段タスクや後段モデルに特化したものになっているかを調べる．
具体的には，ある後段タスクに対して最適化を行った単語分割を，本来目的としていたものとは異なるタスクに転用した時の性能を調査する．

分析のために，文書分類タスクの実験で使用したジャンル予測タスクとレート予測タスクを利用する．
これらのデータセットは，同一のレビューコーパスから2つの異なる後段タスクを作成しているため，後段モデルに対する単語分割の影響のみを比較することができる．

\ref{sec:post_optimization}章での実験と同様に，それぞれの後段タスクにおいて，SentencePieceとサブワード正則化によって後段モデルを学習する．
30エポックの学習を終えた後段モデルのパラメータを固定し，同じタスクを用いて提案手法による単語分割の最適化を5エポック行う．
その後，最適化を行った単語分割を本来の後段モデルと，異なる後段タスクで学習を行った後段モデルに適用し，性能の評価を行う．

例えばジャンル予測タスクを用いて後段モデルを学習した後に，その後段モデルを用いて単語分割をジャンル予測タスクに最適化する．
この単語分割を用いて，ジャンル予測タスクで学習した後段モデルと，レート予測タスクで学習した後段モデルのそれぞれの評価を行い，その性能を確認する．
提案手法が後段タスクに特化したものになっているのであれば，本来の目的であるジャンル予測タスクでの性能が，レート予測タスクの性能よりも高くなるはずである．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 9
\begin{table}[b]
\input{05table09.tex}
\hangcaption{最適化に用いたタスクとは異なるタスクに単語分割を転用した場合の後段モデルの性能．後段モデルはSentencePieceによるサブワード正則化で学習済みのものを用い，単語分割はパラメータを固定した後段モデルを用いて学習した．評価タスクごとの最大性能を太字で示した．}
\label{tbl:cross_task}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

表\ref{tbl:cross_task}に，中国語，日本語，英語のレビューデータセットでの実験結果を示した．
例えば1行目は，JD.comデータセットのGenreタスクで学習を行った後段モデルについて30エポックの学習を行ったモデル (SP+R)，Genreタスクで5エポックの単語分割の最適化を行ったモデル (SP+R→Genre)，Ratingタスクで5エポックの単語分割の最適化を行ったモデル (SP+R→Rating) それぞれの性能を示している．

表\ref{tbl:cross_task}に示した実験結果より，すべての言語のレビューデータセットにおいて，後段モデルの学習と単語分割の最適化に用いた後段タスクが同じ場合が，初期状態の単語分割を使った場合や異なるタスクを用いた場合よりも性能が高くなることが確認された．
ここから，提案手法によって後段タスクや後段モデルに特化した単語分割が得られていることが示唆される．
また，異なるタスクで学習した単語分割を用いた場合であっても，初期状態の単語分割よりも後段モデルの性能が向上する場合があることが確認された．
この結果は，ジャンル予測タスクとレート予測タスクで横断的に有効な単語分割が存在することを示唆している．
特にレート予測タスクで最適化した単語分割をジャンル予測タスクに転用したすべての場合で，後段モデルの性能が初期状態の単語分割よりも向上している．
ここから，レート予測タスクに最適な単語分割が，部分的にジャンル予測タスクにも有効であることを示している．
一方でジャンル予測タスクに最適化した単語分割は，レート予測タスクには転用しにくいことが示された．
これは，ジャンル予測タスクに有効な単語がラベルごとに特徴的であり，単語分割の粒度も大きく変わることから（\ref{sec:granularity_tc}節），レート予測タスクに有効な単語分割と重複する部分が少なくなるためだと考えられる．

また，後段モデルと単語分割の学習に同じタスクを用いる実験設定は\ref{sec:post_optimization}章の実験設定と同じであり，その性能はいずれも初期状態の単語分割を用いた時よりも向上している．
ここから，提案手法は感情分析タスクだけではなく，レビューデータセットを用いた文書分類タスクであっても後処理としての単語分割の性能向上が得られることが確認される．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{ハイパーパラメータ$N$の影響}

提案手法では，NULMの更新のために$N$-bestの単語分割候補を使用しており，$N$はハイパーパラメータとして設定している．
本節では，このハイパーパラメータ$N$が後段タスクに与える影響について分析する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 3
\begin{figure}[b]
\begin{center}
\includegraphics{29-1ia5f3.pdf}
\end{center}
%%%%\label{fgr:various_n_tc}
%%%%\label{fgr:various_n_mt}
\hangcaption{文書分類タスクと機械翻訳タスクにおけるハイパーパラメータ$N$による性能の差．それぞれ表\ref{tbl:tc_results}，表\ref{tbl:mt_results}で報告した値からの差を示す．}
\label{fgr:various_n}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

分析のために，\ref{sec:experiments}章での実験設定とは異なる$N$を用いて文書分類タスクと機械翻訳タスクの実験を行う．
%%%%それぞれのタスクでの実験結果を図\ref{fgr:various_n_tc}と図\ref{fgr:various_n_mt}に示した．
    それぞれのタスクでの実験結果を図\ref{fgr:various_n}aと図\ref{fgr:various_n}bに示した．
図では，\ref{sec:experiments}章での実験で使用した$N$を用いた時の性能を0.0とし，異なる$N$を用いた時の性能との差を示した．
つまり，文書分類タスクでは$N=3$の基準として表\ref{tbl:tc_results}の値を用い，機械翻訳タスクでは$N=8$の基準として表\ref{tbl:mt_results}の値を用いた．

文書分類タスクとして，\ref{sec:exp_tc}節での実験から中国語，日本語，英語の感情分析タスクを用いてハイパーパラメータ$N$の影響を調査する．
また，提案手法がベースとする先行研究OpTok \cite{hiraoka2020optimizing}についても同様の分析を行っているため，その数値を引用して図に示した．
%%%%図\ref{fgr:various_n_tc}の結果より，
    図\ref{fgr:various_n}aの結果より，
文書分類タスクにおいて，ハイパーパラメータ$N$は提案手法を用いた後段モデルの性能に大きな影響を与えないことが示された．
さらに，日本語と英語のデータセットについては，より大きな$N$を用いることで性能が上昇する傾向があることが示された．
一方で中国語のデータセットでは，$N$を大きくすることが性能の低下につながることが確認された．
これは，単語境界をスペース記号で明記する英語や，複数の文字種を用いる日本語に比べて，スペース記号を用いず単一の文字種で記述を行う中国語の単語分割には多くの曖昧性があるためだと考えられる．
つまり，中国語において大きな$N$を設定することで単語分割候補の多様性が高くなり，後段モデルの学習が安定しなくなると考えられる．

既存研究であるOpTok \cite{hiraoka2020optimizing}に対して同様の実験を行った値と比較すると，提案手法は$N$に対して頑健であることがわかる．
\ref{sec:exp_tc}節で述べた通り，OpTokは後段モデルの学習に$N$-bestの単語分割候補それぞれの文ベクトルの重み付き和を用いている一方で，提案手法はサンプリングされた一つの単語分割のみを用いることで，学習時と推論時の設定の乖離を防いでいる．
そのため提案手法においては，ハイパーパラメータ$N$の値が後段モデルの学習に直接与える影響が小さくなっており，異なる$N$に対して安定した性能が得られていると考えられる．
この結果より，提案手法は異なる$N$を用いた場合でも性能が安定しているという点において，先行研究 \cite{hiraoka2020optimizing}よりも優れていると言える．

機械翻訳タスクでの分析には，IWSLT15データセットのベトナム語から英語への翻訳ペアを用い，
%%%%実験結果を図\ref{fgr:various_n_mt}に示した．
    実験結果を図\ref{fgr:various_n}bに示した．
実験結果より，提案手法による単語分割の最適化をターゲット側のみに用いた設定 (SP-Ours) においては，ハイパーパラメータ$N$が性能に与える影響は小さいことが確認された．
\ref{sec:granularity_mt}節での分析で見たように，提案手法によるターゲット側の単語分割の最適化では，その粒度は初期状態から大きく変わらない．
そのため，単語分割の候補数$N$を増やしても，変わらず初期状態の単語数に似た単語分割が選択されるために，ターゲット側に対する$N$の影響が大きくならないと考えられる．

一方で，提案手法をソース側のみに使用した設定 (Ours-SP) では，$N$を大きくすることで性能が向上することがわかった．
\ref{sec:tokenization}節での分析から，機械翻訳タスクにおいて提案手法はソース側の単語分割を大きく変更する性質があることがわかっている．
そのため，$N$を大きくすることで学習中に使用できる単語分割の候補が増え，より広い探索空間からタスクに適した単語分割を選択できるようになり，性能が向上すると考えられる．
また，この傾向は同様にエンコーダーを用いる文書分類タスクにおけるハイパーパラメータ$N$に関する傾向とも一致する．

機械翻訳タスクにおいて，両側の言語の単語分割を最適化する設定 (Ours-Ours) では，$N$を大きくすることでわずかに性能が低下することが示された．
両側の単語分割を同時に最適化する場合は，より大きな$N$を設定することでソース側の単語分割が学習中に大きく変わり，デコーダー側の単語分割や後段モデルの学習が不安定になるためであると考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}

自然言語処理において，後段タスクに応じて適切な単語分割を獲得するための試みは，主に機械翻訳分野で研究されてきた．
\citeA{niessen2004statistical}と\citeA{goldwater2005improving}は，人手で作成した言語学的な情報を用いることで，統計的機械翻訳の性能が向上するような適切な単語分割の指標を作成した．
また，機械翻訳におけるソース文とターゲット文のアラインメント情報を活用することで，適切な単語分割を自動で獲得する方法についても研究されている \cite{xu2008bayesian,chung2009unsupervised,nguyen2010nonparametric}．

近年の研究では，後段タスクに応じた適切な単語分割をニューラルネットワークを用いて学習するための手法が提案されている．
\citeA{gowda2020finding}は，ニューラルネットワークを用いた機械翻訳タスクにおける適切な単語分割の粒度の分析を行った．
\citeA{salesky2020optimizing}では，BPE \cite{sennrich2016neural}によるトークンのマージ操作を，検証データでの機械翻訳モデルの性能を参考にして停止する手法 (Incremental-BPE) を提案している．
本研究は後段モデルである機械翻訳モデルの情報を用いて単語分割を決定するという点で\citeA{salesky2020optimizing}と類似しているが，Incremental-BPEは単語分割の候補がBPEのマージ操作の順番に依存しており，単語分割の探索範囲が狭い．
提案手法は与えられた語彙の中から自由に単語分割を選択することができる点において，Incremental-BPEとは異なる．
\citeA{xuanli2020dynamic}は，機械翻訳タスクに特化した単語分割手法であるDynamic Programming Encoding (DPE)を提案した．
DPEは，機械翻訳モデルとは別に単語分割を行うためのTransformerを用意し，ソース文を用いてターゲット文の単語分割を生成する手法である．
DPEはニューラルネットワークを用いて単語分割の最適化を行う点で提案手法と類似しているが，DPEによる単語分割の最適化には後段モデルの情報が使われていない．
提案手法は後段モデルの情報を用いて直接単語分割器の更新を行う点でDPEとは異なる．
さらに，提案手法は機械翻訳のようなSequence-to-Sequenceタスク以外であっても適用可能である点でDPEとは異なる．

\citeA{hiraoka2020optimizing}，\citeA{hiraoka2021optimizing}では，文書分類タスクにおいて単語分割器と後段モデルを同時に最適化する手法 (OpTok) を提案した．
本研究ではOpTokのアイディアをベースとして，機械翻訳のような複数のタスクで単語分割の最適化を行えるように拡張を行った．
さらに，提案手法とOpTokは後段モデルの学習方法が異なっている．
OpTokでは複数の単語分割候補の文ベクトルを単語分割の確率で重みづけることで，後段モデルと単語分割器を同時に更新していた．
一方で提案手法では，単語分割器のみを複数の単語分割候補に対応する損失値の重み付き和で学習し，後段モデルはサンプリングした1つの単語分割のみで学習を行う．
本稿では実験を通して，提案手法による学習方法がOpTokよりも有効であることを示した．

提案手法の後段モデルの学習には，単語分割のサンプリングを行う．
これはサブワード正則化として知られている学習テクニックである．
\citeA{kudo2018subword}はユニグラム言語モデルをベースとした単語分割モデルであるSentencePiece\cite{kudo2018sentencepiece}を用いて単語分割をサンプリングし，機械翻訳モデルの学習に用いることで性能が向上することを報告した．
\citeA{provilkov2019bpe}はBPE \cite{sennrich2016neural}によるマージ操作にドロップアウトを適用することで，サブワード正則化をBPEの枠組みで使用できるように拡張した．
また，\citeA{hiraoka2019stochastic}はサブワード正則化が文書分類タスクでも有効であることを示し，サンプリングをスケジューリングすることで性能の向上が得られることを示した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

本稿では，後段モデルや学習データなどの後段タスクの情報を用いて単語分割を最適化する新たな手法を提案した．
提案手法は複数の単語分割候補を後段モデルに入力し，それぞれに対応する損失値を用いて単語分割器の更新を行う．
文書分類タスクと機械翻訳タスクにおける実験を通して，提案手法が既存の単語分割手法や単語分割の最適化手法を上回る性能であることを確認した．
提案手法では，後段モデルの損失値のみを用いて単語分割器を更新するため，様々な自然言語処理のタスクで利用可能である．

提案手法は単語分割器の学習のために$N$-bestの単語分割候補を用いた推論が必要であり，一般的な後段モデルの学習に比べて時間的なコストがかかる\footnote{\ref{sec:exp_tc}節におけるTwitter(En)データセットでの実験における学習処理では，1秒あたりの平均処理文数がSP: 1,181文，SP+R: 995文，OpTok: 181文，提案手法：225文である．SPやSP+Rで使用しているSentencePieceがC++の実装で，OpTokや提案手法で用いている分割アルゴリズムがPythonによる実装であるため正確な比較はできないが，処理速度の問題は実応用の観点から看過できない．}という課題がある．
今後はこうした課題の解決に加え，固有表現抽出タスクや質問応答タスクのように，より単語分割境界が重要となるようなタスクにおいても提案手法が有効であるかを調査していく．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

この成果は，国立研究開発法人新エネルギー・産業技術総合開発機構 (NEDO) の委託業務 (JPNP18002) の結果得られたものです．
また本論文の内容の一部はFindings of ACL: ACL-IJCNLP 2021に採択されたものです\cite{hiraoka2021joint}．
本研究では，国立情報学研究所のIDRデータセット提供サービスにより楽天グループ株式会社から提供を受けた「楽天データセット」 (\url{https://doi.org/10.32130/idr.2.0}) を利用しました．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.6}
\bibliography{05refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{平岡　達也}{%
2017年早稲田大学教育学部卒業．2019年奈良先端科学技術大学院大学情報科学研究科卒業，修士（工学）．同年4月より東京工業大学情報理工学院博士後期課程に在学中．言語処理学会，ACL各会員．
}

\bioauthor{高瀬　　翔}{%
2012年東北大学工学部卒業．2014年東北大学大学院情報科学研究科博士前期課程修了．2017年東北大学大学院情報科学研究科博士後期課程修了．博士（情報科学）．NTTコミュニケーション科学基礎研究所でのリサーチアソシエイト，東京工業大学での研究員を経て，2020年4月より東京工業大学助教．自然言語処理の研究に従事．言語処理学会，ACL各会員．
}

\bioauthor{内海　　慶}{%
2006年筑波大学大学院図書館情報学メディア研究科博士前期課程修了．修士（情報学）．同年～2013年ヤフー株式会社にて自然言語処理の研究開発に従事．2013年株式会社デンソーアイティーラボラトリ入社．2021年現在，同社在職中．自然言語処理の研究に従事．言語処理学会会員．
}

\bioauthor{欅　　惇志}{%
株式会社デンソーアイティーラボラトリアソシエイトリサーチャ．博士（工学）．2014 年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了．2012～2014 年日本学術振興会特別研究員(DC2)．2013 年マイクロソフト・リサーチアジアリサーチインターン．2014～2019 年東京工業大学情報理工学院助教．2016～2017 年シンガポール国立大学客員研究員．ACM，電子情報通信学会，日本データベース学会，言語処理学会，人工知能学会各会員．
}

\bioauthor{岡崎　直観}{%
2007年東京大学大学院情報理工学系研究科博士課程修了．東京大学大学院情報理工学系研究科・特任研究員，東北大学大学院情報科学研究科准教授を経て，2017年8月より東京工業大学情報理工学院教授．言語処理学会，人工知能学会，情報処理学会，ACL各会員．
}

\end{biography}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\biodate




\end{document}

