\documentclass[japanese]{jnlp_1.4}
\usepackage{jnlpbbl_1.3}
\usepackage[dvipdfm]{graphicx}
\usepackage{amsmath}
\usepackage{array}

\usepackage{ascmac}

\Volume{24}
\Number{5}
\Month{December}
\Year{2017}

\received{2017}{6}{1}
\revised{2017}{8}{4}
\accepted{2017}{9}{5}

\setcounter{page}{705}

\jtitle{nwjc2vec: 国語研日本語ウェブコーパスから構築した\\
	単語の分散表現データ}
\jauthor{新納　浩幸\affiref{Author_1} \and 浅原　正幸\affiref{Author_2} \and 古宮嘉那子\affiref{Author_1} \and 佐々木　稔\affiref{Author_1}}
\jabstract{
我々は国語研日本語ウェブコーパスと word2vec を用いて単語の分散表現を構築し，その分散表現のデータを nwjc2vec と名付けて公開している．本稿では nwjc2vec を紹介し，nwjc2vec の品質を評価するために行った2種類の評価実験の結果を報告する．第一の評価実験では，単語間類似度の評価として，単語類似度データセットを利用して人間の主観評価とのスピアマン順位相関係数を算出する．第二の評価実験では，タスクに基づく評価として，nwjc2vec を用いて語義曖昧性解消及び回帰型ニューラルネットワークによる言語モデルの構築を行う．どちらの評価実験においても，新聞記事7年分の記事データから構築した分散表現を用いた場合の結果と比較することで，nwjc2vec が高品質であることを示す．
}
\jkeywords{分散表現，国語研日本語ウェブコーパス，word2vec}

\etitle{nwjc2vec: Word Embedding Data Constructed from NINJAL Web Japanese Corpus}
\eauthor{Hiroyuki Shinnou\affiref{Author_1} \and Masayuki Asahara\affiref{Author_2} \and Kanako Komiya\affiref{Author_1} \and Minoru Sasaki\affiref{Author_1}} 
\eabstract{
We constructed word embedding data (named as 'nwjc2vec') using the NINJAL Web Japanese Corpus and word2vec software, and released it publicly. In this report, nwjc2vec is introduced, and the result of two types of experiments that were conducted to evaluate the quality of nwjc2vec is shown. In the first experiment, the evaluation based on word similarity is considered. Using a word similarity dataset, we calculate Spearman's rank correlation coefficient. In the second experiment, the evaluation based on task is considered. As the task, we consider word sense disambiguation (WSD) and language model construction using Recurrent Neural Network (RNN). The results obtained using the nwjc2vec were compared with the results obtained using word embedding constructed from the article data of newspaper for seven years. The nwjc2vec is shown to be high quality.
}
\ekeywords{Word Embedding, NINJAL Web Japanese Corpus, word2vec}

\headauthor{新納，浅原，古宮，佐々木}
\headtitle{nwjc2vec: 国語研日本語ウェブコーパスから構築した単語の分散表現データ}

\affilabel{Author_1}{茨城大学工学部情報工学科}{Department of Computer and Information Sciences, Ibaraki University}
\affilabel{Author_2}{人間文化研究機構 国立国語研究所}{National Institute for Japanese Language and Linguistics}



\begin{document}
\maketitle


\section{はじめに}

一般に，自然言語処理システムでは単語を何らかの数値ベクトルとして表現する必要がある．
単純にベクトル化する方法としては one-hot 表現がある．これは単語の種類数が $N$ の場合，
$N$ 次元ベクトルを用意し，単語 $w$ が $i$ 番目の種類の単語であれば，
$N$ 次元ベクトルの $i$ 番目だけを 1 に，他は 0 にして $w$ をベクトル化する方法である．
one-hot 表現によるベクトル化は単にベクトル化しただけであり，
ベクトル間の関係はその単語間のなんらかの関係を反映しているわけではない．
処理の意味を考えれば，単語のベクトルはその単語の意味を表し，
ベクトル間の関係は，単語の意味の関係を反映したものになっていることが望ましい．
このような背景下で，Mikolov は word2vec を発表し\cite{Mikolov1,Mikolov-2013}，単語の意味を低次元密なベクトルとして
表現する分散表現が大きな成功を収めた．
その後，自然言語処理の様々なタスクにおいて，分散表現が導入され，既存のシステムを改善している．
また同時に近年，自然言語処理の分野でも深層学習の利用が活発だが，
そこでは単語のベクトル化に分散表現が用いられる\cite{okazaki}．
つまり，現在，自然言語処理システムにおける単語のベクトル化には
分散表現を用いることが一般的な状況となっている．

分散表現は，単語分割されたコーパス\footnote{日本語の場合，'mecab-Owakati' により，
容易にテキストコーパスを word2vec の入力形式に変換できる．}
があれば word2vec\footnote{https://github.com/svn2github/word2vec} 
や GloVe\footnote{https://nlp.stanford.edu/projects/glove/} などの公開されているツールを
用いて簡単に構築できる．また深層学習で利用する場合は，ネットワークの一部として分散表現を学習できる．
このため分散表現のデータ自体の品質に関心が持たれることは少ない．
ただし分散表現を利用したシステムでは，
分散表現の品質がそのシステムの精度に大きな影響を与えている．
また深層学習では，学習時間や得られるモデルの品質の観点から，
分散表現を学習時に構築するよりも，既存の学習済みの分散表現を用いる方が望ましい．

このような観点から容易に利用できる高品質の分散表現データがあれば，
様々な自然言語処理システムの構築に有益であることは明らかである．
以上の潜在的な需要に応えるために我々は国語研日本語ウェブコーパス（以下，NWJC）\cite{asahara2014archiving}を利用して分散表現を構築し，
それを  nwjc2vec と名付けて公開している\footnote{http://nwjc-data.ninjal.ac.jp/}．
NWJC は約 258 億語からなるコーパスである．
1年分の新聞記事中のプレーンな文のデータが約 2,050 万語\footnote{2008年度の毎日新聞記事から，文としてなりたつと考えられる
ものを抽出し，unidic を基に形態素解析したものから算出した．}であることを考えると，
NWJC は 1,200年分以上の新聞記事に相当し，超大規模コーパスといえる．
そのためそのコーパスから構築された nwjc2vec が高品質であることが期待できる．

本稿では nwjc2vec を紹介するとともに，
nwjc2vec の品質を評価するために行った二種類の評価実験の結果を報告する．
第一の評価実験では，単語間類似度の評価として，単語類似度データセットを利用して
人間の主観評価とのスピアマン順位相関係数を算出する．
第二の評価実験では，タスクに基づく評価として，nwjc2vec を用いて語義曖昧性解消及び
回帰型ニューラルネットワーク（Recurrent Neural Network, 以下 RNN）による言語モデルの構築を行う．
なおここでの言語モデルとは確率的言語モデルであり単語列に対する確率分布を意味する．
構築した言語モデルはパープレキシティにより評価できるので，その評価値により
構築の基になった分散表現データを評価する．
どちらの評価実験においても，新聞記事7年分の記事データから構築した分散表現を用いた場合の結果と比較することで，
nwjc2vec が高品質であることを示す．


\section{nwjc2vec の構築}

\subsection{NWJC}

NWJC はウェブを母集団とし， 100 億語規模を目標として
構築した日本語コーパスである．
ウェブアーカイブの構築で用いられる Heritrix-3.1.1\footnote{http://webarchive.jira.com/wiki/display/Heritrix/Heritrix/}クローラを運用することで，
1年間，3か月おきに，固定した約1億URLのウェブページを収集している．
得られたウェブページは nwc-toolkit-0.0.2\footnote{https://github.com/xen/nwc-toolkit}を用いて，日本語文抽出と
正規化を行う．
コピーサイトの問題を緩和するために，文単位の単一化（文の異なりを用いる）を行った．
アノテーションはすべて自動解析を用い，形態論情報，および係り受け情報を付与している．形態素解析には形態素解析器MeCab-0.996\footnote{https://taku910.github.io/mecab/}とUniDic-2.1.2\footnote{http://unidic.ninjal.ac.jp/}を使用し，係り受け解析には係り受け解析器CaboCha-0.69\footnote{https://taku910.github.io/cabocha/}とUniDic主辞規則
\footnote{CaboCha コンパイル時に {\tt ./configure --with-posset=UNIDIC} と指定することで，
解析器の主辞規則を \mbox{UniDic} 品詞体系に適応することができる．}を使用した．

収集したデータを研究者に提供することが求められているが，
著作権の問題があり，収集したデータをそのまま外部の研究者に提供することは難しい．
そこで，文字列のみならず，形態論情報や係り受け構造に基づく検索系を構築し，
例文とともに元データが含まれる URL へのリンクを含めて提示するサービスを構築した
\cite{Asahara-2016-bonten}．

このサービスから利用可能なデータは，2014年10--12月期収集データ（NWJC-2014-4Qデータ）に基づく．
基礎統計は表\ref{table1}のとおりである．

\begin{table}[b]
\caption{基礎統計: NWJC-2014-4Qデータ}
\label{table1}
\input{03table01.txt}
\end{table}


\subsection{word2vec による分散表現の構築}

表1に示した NWJC-2014-4Q データを用いて分散表現データを構築する．
分散表現データの構築には word2vec\footnote{https://github.com/svn2github/word2vec}の CBOWモデルを用いた．
表\ref{table2}に word2vec 実行時の各種パラメータを示す\footnote{これらのパラメータは word2vec のソースと
一緒に配布される demo-word.sh に記載されているパラメータである．NWJC に特化してチューニングした値ではない．
nwjc2vec の構築に要する時間は高性能マシンを用いても3週間以上であるため，他のパラメータとの比較は行っていない．}．

\begin{table}[b]
\caption{word2vec の実行時のパラメータ}
\label{table2}
\input{03table02.txt}
\end{table}

分散表現の学習に利用するコーパスは単語分割されている必要がある．
ここではこの単語として，
書字形出現形のみを使ったwordと，形態論情報
\footnote{unidic-mecab\_kana-accent-2.1.2のdicrcに記載の素性26種．}を含めた mrph の 2種類
を用意し，それぞれの単語単位に対してモデルを構築した．


\subsection{nwjc2vec}

上記により構築できた 2つのモデルのうち特に有用であるのは形態論情報を含めた分散表現である．
このモデルの分散表現を nwjc2vec と名付けて公開している．

nwjc2vec は柔軟な利用が可能なように，分散表現をテキストファイルの形式で保存している．
1行は 1 形態素に相当し，以下の形式になっている．

\vspace{0.3\Cvs}
\begin{center}
\begin{minipage}{150pt}
\begin{screen}
形態素  \verb|e_1|  \verb|e_2|  ・・・  \verb|e_200|
\end{screen}            
\end{minipage}
\end{center}
\vspace{0.7\Cvs}

\verb|e_i| がその形態素の分散表現の\verb|i|次元目の値である．例えば，以下は「意味」に対応する
分散表現である．

\vspace{0.3\Cvs}
\begin{center}
\begin{minipage}{330pt}
\small
\begin{screen}
意味,名詞,普通名詞,サ変可能,*,*,*,イミ,意味,意味,イミ,意味,イミ,漢,*,*,*, -10.491043 -2.121982 -3.084628  $\cdots$   4.024705 3.570072 12.781445
\end{screen}            
\end{minipage}
\end{center}
\vspace{0.7\Cvs}

つまり ``意味,名詞,普通名詞,サ変可能,*,*,*,イミ,意味,意味,イミ,意味,イミ,漢,*,*,*,'' が1 形態素である．
またベクトル値は word2vec の出力値をそのまま書き出しており，大きさ\footnote{本論文ではベクトルの「大きさ」をベクトルの「L2-ノルム」の意味で用いている．}
を 1 とする正規化はされていない．

nwjc2vec 全体としては 1,738,455 形態素からなる\footnote{そのテキストファイルは header の1行を含め 1,738,456 行である．}．
書字形出現形は 1,541,651 種類存在するので，書字形出現形が同じでも形態論情報が異なるものが多数存在する．
従来の単語分散表現は書字形出現形を形態素としたものが一般的であり，その場合，
品詞の違いによる別単語を同一の分散表現にしているという明らかな欠点がある．
nwjc2vec ではその欠点を回避できている．

\begin{table}[b]
\caption{品詞別の形態素数}
\label{myhinshi}
\input{03table03.txt}
\end{table}

大分類の品詞別の形態素数を頻度順に\mbox{表\ref{myhinshi}}にまとめる．
etc は半角英単語などの未知語であり，語彙素の付与に失敗しているものである．

次に\mbox{表\ref{myhinshi}}の etc 以外の分散表現のベクトルの大きさを調べた．
平均は 9.261，標準偏差は 9.641, 中央値は 5.105 であった．
またベクトルの大きさを 0.1 刻みに丸め，その頻度分布を調べた．
結果を\mbox{図\ref{myhindo2}}に示す．

\begin{figure}[b]
\begin{center}
\includegraphics{24-5ia3f1.eps}
\end{center}
\caption{分散表現ベクトルの大きさの頻度分布}
\label{myhindo2}
\end{figure} 

参考として，ベクトルの大きさとその単語の関係を調べた．
ベクトルの大きさの小数点以下を切り捨て，大きさ 3，15，75
\footnote{この3つの数値は，ベクトルの大きさは 3 が最頻出であったことから選んだ．}
の単語をランダムに 10 個取り出した．その結果を表\ref{w-len}に示す．
ここから明確な特徴を示すことはできないが，
頻度が小さな単語はそのベクトルも小さく，頻度が大きな単語はそのベクトルも
大きいという傾向があると考えられる．

\begin{table}[b]
\caption{ベクトルの大きさと単語の関係}
\label{w-len}
\input{03table04.txt}
\end{table}


\section{評価実験}

一般に分散表現の評価法には単語間類似度の観点からのものと，分散表現を用いたタスクの精度の観点からのものが
存在する．単語間類似度から nwjc2vec を評価したものとして，
分類語彙表との対応をみた評価が報告されている\cite{asahara-nwjc}．
そこでは主観的な評価ではあるが，nwjc2vec が高品質であることが示されている．
ここでは更に定量的な評価を行うために，単語類似度データセットを利用する．
またタスクの精度の観点としては，語義曖昧性解消と言語モデル構築という2つのタスクから評価を行う．
どちらの評価実験においても，新聞記事7年分の記事データから構築した分散表現を用いた場合の結果と比較することで，
nwjc2vec が高品質であることを示す．


\subsection{比較のための分散表現 mai2vec の構築}

nwjc2vec との比較のために，新聞記事 7年分から分散表現を構築する．
用いたコーパスは毎日新聞'93年度版から '99年度版の7年分の記事であり，
そこから見出しや表内の文字列等を取り除き，文として認められるものだけを取り出した．
取り出した文は 6,791,403 文であった．これを MeCab-0.996 と UniDic-2.1.2 を用いて分かち書きし，
これを word2vec にかけることで分散表現を構築した．この分散表現データをここでは mai2vec と名付ける．
word2vec 実行時の各種パラメータは nwjc2vec を構築したもの（\mbox{表\ref{table2}}）と合わせた．
最終的に得られた mai2vec の形態素数は 132,509 であった．


\subsection{単語間類似度による評価}

分散表現を単語間類似度の観点から評価する方法として，単語類似度データセットを利用する方法がある．
単語類似度データセットは用意された単語ペアに対して，複数の人間が主観的にその類似度を付けたものである．
複数人の類似度の平均を，その単語ペアの類似度とみなす．

単語類似度データセット中の単語ペアの類似度を，分散表現データを用いて算出する．
データセットに記されている類似度が高い単語ペアに対しては，
分散表現データも高い類似度を算出し，低い単語ペアに対しては分散表現データも低い類似度を算出するというように，
データセット内に記された類似度と分散表現が算出する類似度に相関があれば，
その分散表現データの単語間類似度が概ね正しいと考えられる．
この相関の算出には一般にスピアマン順位相関係数が用いられる．

ここでは首都大学東京の小町研究室が以下で公開している単語類似度データセットを利用する．
このデータセットは形容詞，副詞，名詞及び動詞の4つの単語類似度データセットからなる．
10人のアノテータにより各単語ペアに対して 11段階（0 から 10）の類似度が付与されている．

\vspace{0.5\Cvs}
\begin{center}
https://github.com/tmu-nlp/JapaneseWordSimilarityDataset
\end{center}
\vspace{0.5\Cvs}

このデータセット中の単語ペアのうち mai2vec と nwjc2vec の両方に登録されている単語ペアだけを
評価に利用した．利用した単語ペア数を表\ref{wdsim-tab}に示す．

\begin{table}[t]
\caption{単語類似度データセット中の利用した単語ペア数}
\label{wdsim-tab}
\input{03table05.txt}
\end{table}

上記の単語ペアに対して mai2vec あるいは nwjc2vec から類似度を求め\footnote{類似度は両者のベクトルの大きさを 1 に正規化し，そららの余弦（この場合，内積）から求めた．}，
形容詞，副詞，名詞及び動詞の各データセットに対して，スピアマン順位相関係数を算出した．
結果を表\ref{wdsim-kekka}に示す．

\begin{table}[t]
\caption{単語間類似度の実験結果}
\label{wdsim-kekka}
\input{03table06.txt}
\end{table}

全てのデータセットにおいて nwjc2vec は mai2vec よりも評価値が高く，
単語間類似度の観点では mai2vec よりも品質が高いと言える．


\subsection{タスクに基づく評価}

\subsubsection{語義曖昧性解消タスク}

分散表現を用いて，教師あり学習による語義曖昧性解消を行う．語義曖昧性解消に分散表現を用いる手法には 
Sugawara が提案した手法\cite{sugawara}を用いる．
Sugawara の手法は語義曖昧性解消に対して通常設定する素性群（基本素性と呼ぶ）の他に
対象単語の前後2単語の分散表現を素性として加えるというものである．

例えば以下の文を考える．語義曖昧性解消の対象単語は「意味」であり，単語区切りを ``/'' で示す．

\begin{screen}
\begin{verbatim}
江戸/時代/の/庶民/たち/が/そこ/に/新た/な/意味/の/付与/を/おこなっ/て/き/た/。
\end{verbatim}
\end{screen}

標準的な教師あり学習の手法では「意味」の前後の文脈情報（例えば前後に現れる自立語や直前の品詞など）を
素性で表す．これが基本素性となる．この基本素性をベクトル表現したものを  $V$  とする．
Sugawara 手法は対象単語の前後2単語，つまり「新た」「な」「の」「付与」の 4単語の分散表現
 $V_{新た}$，$V_{な}$，$V_{の}$，$V_{付与}$ を $V$ に結合させ，
それを新たな上記文の素性ベクトルとして教師あり学習を行うというものである．

ここでの実験では分散表現の差異を明確にするために基本素性を利用せずに，
前後2単語の分散表現（上記例では $V_{新た}$，$V_{な}$，$V_{の}$，$V_{付与}$）だけを
結合させた素性ベクトルを用いることにする．
各分散表現を求める際に nwjc2vec あるいは mai2vec を利用する．

ただし nwjc2vec の形態素には形態論情報が付与されているが，ここでは大分類の品詞だけを用いることにした．
例えば上記文では，形態素解析時に各単語に大分類の品詞名を付与し，以下のような形に直すことで
分散表現を求めている．

\begin{screen}
\begin{verbatim}
江戸-名詞/時代-名詞/の-助詞/庶民-名詞/たち-接尾辞/が-助詞/そこ-代名詞/に-助詞/新た-形状詞/な-助動詞/意味-名詞/の-助詞/付与-名詞/を-助詞/おこなっ-動詞/て-助詞/き-動詞/た-助動詞/。-補助記号
\end{verbatim}
\end{screen}

語義曖昧性解消のデータセットとしては SemEval-2 の日本語辞書タスク\cite{semeval-2010}のデータセットを用いる．
このタスクでは 50単語の対象単語が設定され，各対象単語に対して，50用例の訓練データと50用例のテストデータが
与えられている．各対象単語に対して訓練データで分類器を学習し，その単語のテストデータにより分類器の正解率を測る．
そして50単語に対する正解率の平均によって評価を行う．

実験結果を表\ref{mykekka1}に示す．表中の baseline は SemEval-2 でのベースラインである．
表中の mai2vec は分散表現 mai2vec から素性ベクトルを作る手法である．
表中の nwjc2vec は分散表現 nwjc2vec から素性ベクトルを作る手法である．
どちらの場合も分散表現のベクトルは大きさを 1 に正規化している．
また大きさを 1 に正規化せずに，word2vec から求まった値を直接使った場合を
mai2vec-0 と nwjc2vec-0 により示した．
ベースラインも含め，いずれのシステムも学習アルゴリズムとしては線形の 
SVM\footnote{https://www.csie.ntu.edu.tw/~cjlin/libsvm/}を用いた．

\begin{table}[t]
\caption{平均正解率(\%)}
\label{mykekka1}
\input{03table07.txt}
\end{table}

nwjc2vec が最も高い正解率を出しており，nwjc2vec が高品質であると考えられる．
また分散表現のベクトルの大きさは 1 に正規化して利用した方がよいことも確認できる．


\subsubsection{RNN による言語モデル構築}

RNN は時系列データを処理する深層学習のモデルである．
様々な応用があるが，最も典型的な応用は言語モデルの構築である．
時刻 $t$ の入力データを，文 $s$ 内の $t$ 番目の単語 $w_t$ とし，
その教師データを次に現れる単語 $w_{t+1}$ とすることで言語モデルが学習できる．

ここでは RNN の拡張版である Long Short-Term Memory（以下 LSTM）\cite{gers2000learning}を用いる．
言語モデルを学習する LSTM の時刻 $t$ 時の入出力を表したネットワークを\mbox{図\ref{rnn}}に示す．
時刻 $t$ で単語 $w_t$ が入力され，それを $w_t$ の分散表現のベクトルに変換し，
その分散表現のベクトルをLSTM ブロックに入力する．LSTM ブロックでは次の時刻 $t + 1$ への LSTM ブロックへ
 $w_0$ から $w_t$ の単語列の情報を圧縮したベクトル $h_t$ と記憶セル $c_t$ を
渡す．同時に $y_t$ を出力し，それを線形作用素 $W$ で one-hot 形式のベクトルに直すことで
次に現れる単語を予測する．学習時には $W y_t$ と $w_{t+1}$ との誤差からネットワークの重みを学習する．

\begin{figure}[b]
\begin{center}
\includegraphics{24-5ia3f2.eps}
\end{center}
\caption{LSTM の時刻 $t$ 時の入出力}
\label{rnn}
\end{figure} 

上記ネットワークでは， $w_t$ をその分散表現のベクトルに変換するが，その変換，つまり $w_t$ の分散表現自体を
LSTM 内で学習している．その際，学習対象の分散表現の初期値は通常ランダムな値を設定する．
しかしこの初期値に既存の分散表現のデータを利用することも可能である．
あるいは，分散表現を学習対象から外し，分散表現への変換は既存の分散表現のデータを利用する形でも良い．

ここでの実験では分散表現の品質の比較を目的としているために，
分散表現を学習対象から外し，分散表現への変換は評価対象の分散表現データを利用する形で実験を行う．
つまり分散表現への変換に mai2vec を用いて構築した言語モデル(mai2vec-lm)，
及び分散表現への変換に nwjc2vec を用いて構築した言語モデル(nwjc2vec-lm)を比較することで nwjc2vec を評価する．
また参考として分散表現を LSTM 内で学習して構築した言語モデル(base-lm)も評価する．
言語モデルの評価にはパープレキシティを用いる．

言語モデルの学習用のコーパスとしては 
現代日本語書き言葉均衡コーパス\cite{maekawa2014balanced}の
Yahoo! ブログと Yahoo! 知恵袋から取り出した 7,330文のうち
7,226文を学習用コーパス，104文を評価用コーパスとした．
1 epoch\footnote{一つの学習用データ（ここでは 7,226文）を何回繰り返して学習させたかの単位．} 
毎に構築した言語モデルのパープレキシティを表\ref{rnn-tb}と図\ref{rnn-fg}に示す．

\begin{table}[b]
\vspace{-0.5\Cvs}
\caption{エポック毎のパープレキシティ}
\label{rnn-tb}
\input{03table08.txt}
\end{table}

\begin{figure}[b]
\begin{center}
\includegraphics{24-5ia3f3.eps}
\end{center}
\caption{分散表現の違いによる言語モデルのパープレキシティ}
\label{rnn-fg}
\vspace{-0.5\Cvs}
\end{figure} 

mai2vec-lm と nwjc2vec-lm は base-lm よりもパープレキシティが低く，
言語モデルの学習には分散表現への変換を同時に学習するよりも，
既存の分散表現を利用した方がよいと言える．
また nwjc2vec-lm は mai2vec-lm よりもパープレキシティが低く，nwjc2vec の方が mai2vec よりも品質が高いと言える．


\section{考察}

単語間類似度に基づく評価実験では，mai2vec も nwjc2vec もスピアマン順位相関係数の値自体は低かった．
ただし nwjc2vec は mai2vec よりも明らかに評価値が高く，少なくとも mai2vec よりも
品質が高いと言える．
分類語彙表との対応をみた実験\cite{asahara-nwjc}からも単語間類似度の精度は良く，
しかもタスクに基づく評価実験から mai2vec もかなり品質が高いことがうかがえるため，
nwjc2vec は単語間類似度の観点からは高品質であると考える．

タスクに基づく評価実験では，語義曖昧性解消でも言語モデルの構築でも nwjc2vec は
mai2vec よりも良い値を出したが，その差はわずかであった．
ただし品質の差は数値の差以上のものがあると考えられる．

まず語義曖昧性解消では SemEval-2 の日本語辞書タスクのデータを用いたが，
このタスクは baseline がかなり高く，通常のリソースを使う限りでは baseline を
超えることは困難である．
実際に SemEval-2 の参加システムで baseline を超える正解率を出したシステムはなかった．
また新納はこのタスクにおいて様々なシソーラスの情報を試したが，
baseline を 0.2\% 以上改善できるものはなかった\cite{shinnou}．
そこではシソーラスの粒度を混合して利用することで 77.28\% まで改善しているが，
nwjc2vec はこの値よりも 0.43\% 高い．
Yamaki は wikipedia から構築した分散表現と独自の手法を利用して，
77.10\% の正解率を出したが\cite{yamaki}，この値は mai2vec と同程度である．
mai2vec も nwjc2vec も baseline を超えているので，どちらの分散表現も
かなり品質は高いといえるが，nwjc2vec は mai2vec よりも 0.64\% 高い．
この 0.64\% の差はなかなか埋めることができないものである．

次に言語モデルを用いたここでの実験では，未知語の問題を避けていることを注記したい．
ここで利用した学習用コーパスと評価用コーパスには
mai2vec および nwjc2vec のどちらにも未知語が存在しないように，
どちらかに未知語が存在する場合は，その文を予めコーパスから取り除いている．
初期のコーパス（175,302単語，異なり単語数 15,082単語）では 
mai2vec を用いた場合の未知語は 7,424単語（異なり数 3,204単語）存在したが，
nwjc2vec を用いた場合の未知語は 404単語（異なり数 324単語）であり，大きな差がある．
本実験において，学習用コーパスあるいは評価用コーパス内の
分散表現データにおける未知語の出現が，構築できる言語モデルに
どの程度悪影響を与えるかは不明である．
ただし明らかに未知語の出現により評価値は悪くなるはずであり，
この点から nwjc2vec と mai2vec の品質の差は更にあると考えられる．

最後に nwjc2vec の fine-tuning について述べる．
あるモデルの学習を行う際に，訓練データが少量しかないことは通常起こりえる．
このとき別の訓練データから学習された既存のモデルが利用できれば，
手持ちの少量の訓練データからその既存のモデルを自分の用途に調整することができる．
これを fine-tuning という．
分散表現も fine-tuning が可能であるため，nwjc2vec の存在意義は更に高い．

この点を確認するため，分散表現の学習プログラム\footnote{window の幅は 5 単語，Negative Sample の個数は 20単語，
モデルは SkipGram を用いた．}を作成し\cite{shinnou-book}，
その分散表現の初期値を nwjc2vec に設定し，学習用コーパスとしては
mai2vec の基になったコーパスから 30万文をランダムに取り出したものを用いて nwjc2vec の fine-tuning を行った．
得られた分散表現を用いて，前章で行った LSTM による言語モデルの学習を再度行った．
学習用コーパスと評価用コーパスも前章のものと同じである．
結果を\mbox{表\ref{rnn-tb2}}と\mbox{図\ref{rnn-fg2}}に示す．
各 epoch 後に学習できた言語モデルのパープレキシティは fine-tuning による分散表現を用いたものの方が
優れており，fine-tuning の効果が確認できる．

\begin{table}[t]
\caption{fine-tuning の効果}
\label{rnn-tb2}
\input{03table09.txt}
\end{table}

\begin{figure}[t]
\begin{center}
\includegraphics{24-5ia3f4.eps}
\end{center}
\caption{fine-tuning による言語モデルのパープレキシティ}
\label{rnn-fg2}
\end{figure} 


\section{おわりに}

本稿では我々が構築，公開している日本語単語の分散表現のデータ nwjc2vec を紹介した．
nwjc2vec は超大規模コーパスである国語研日本語ウェブコーパスから word2vec を用いて構築した
分散表現のデータである．
ここでは nwjc2vec の品質を評価するため 2種類の評価実験を行った．
第一の評価実験では単語間類似度の評価として，単語類似度データセットを利用して
人間の主観評価とのスピアマン順位相関係数を算出した．
第二の評価実験では，タスクに基づく評価として，nwjc2vec を用いて語義曖昧性解消及び
回帰型ニューラルネットワークによる言語モデルの構築から nwjc2vec の評価を行った．
二つの評価実験から nwjc2vec が高品質であることが示された．
今後は nwjc2vec の fine-tuning の可能性を調査したい．


\acknowledgment

本研究の一部は
国語研コーパス開発センター「超大規模コーパス」プロジェクト(2011--\linebreak
2015)
・コーパス開発センター共同研究プロジェクト「コーパスアノテーションの拡張
・統合・自動化に関する基礎研究」(2016--2021)
・新領域創出型共同研究プロジェクト「all-words WSD システムの構築及び分類
語彙表と岩波国語辞典の対応表作成への利用」(2016--2017)
によるものです．



\bibliographystyle{jnlpbbl_1.5}
\begin{thebibliography}{}

\bibitem[\protect\BCAY{Asahara, Kawahara, Takei, Masuoka, Ohba, Torii, Morii,
  Tanaka, Maekawa, Kato, \BBA\ Konishi}{Asahara
  et~al.}{2016}]{Asahara-2016-bonten}
Asahara, M., Kawahara, K., Takei, Y., Masuoka, H., Ohba, Y., Torii, Y., Morii,
  T., Tanaka, Y., Maekawa, K., Kato, S., \BBA\ Konishi, H. \BBOP 2016\BBCP.
\newblock \BBOQ `BonTen'---Corpus Concordance System for `NINJAL Web Japanese
  Corpus'.\BBCQ\
\newblock In {\Bem Proceedings of COLING 2016, the 26th International
  Conference on Computational Linguistics: System Demonstrations}, \mbox{\BPGS\
  25--29}.

\bibitem[\protect\BCAY{Asahara, Maekawa, Imada, Kato, \BBA\ Konishi}{Asahara
  et~al.}{2014}]{asahara2014archiving}
Asahara, M., Maekawa, K., Imada, M., Kato, S., \BBA\ Konishi, H. \BBOP
  2014\BBCP.
\newblock \BBOQ Archiving and Analysing Techniques of the Ultra-large-scale
  Web-based Corpus Project of NINJAL, Japan.\BBCQ\
\newblock {\Bem Alexandria: The Journal of National and International Library
  and Information Issues}, {\Bbf 25}  (1--2), \mbox{\BPGS\ 129--148}.

\bibitem[\protect\BCAY{浅原\JBA 岡}{浅原\JBA 岡}{2017}]{asahara-nwjc}
浅原正幸\JBA 岡照晃 \BBOP 2017\BBCP.
\newblock nwjc2vec:『国語研日本語ウェブコーパス』に基づく単語の分散表現データ.\
\newblock \Jem{言語処理学会第 23 回年次大会発表論文集}, \mbox{\BPGS\ 94--97}.

\bibitem[\protect\BCAY{Gers, Schmidhuber, \BBA\ Cummins}{Gers
  et~al.}{2000}]{gers2000learning}
Gers, F.~A., Schmidhuber, J., \BBA\ Cummins, F. \BBOP 2000\BBCP.
\newblock \BBOQ Learning to Forget: Continual Prediction with LSTM.\BBCQ\
\newblock {\Bem Neural Computation}, {\Bbf 12}  (10), \mbox{\BPGS\ 2451--2471}.

\bibitem[\protect\BCAY{Maekawa, Yamazaki, Ogiso, Maruyama, Ogura, Kashino,
  Koiso, Yamaguchi, Tanaka, \BBA\ Den}{Maekawa
  et~al.}{2014}]{maekawa2014balanced}
Maekawa, K., Yamazaki, M., Ogiso, T., Maruyama, T., Ogura, H., Kashino, W.,
  Koiso, H., Yamaguchi, M., Tanaka, M., \BBA\ Den, Y. \BBOP 2014\BBCP.
\newblock \BBOQ Balanced Corpus of Contemporary Written Japanese.\BBCQ\
\newblock {\Bem Language Resources and Evaluation}, {\Bbf 48}  (2),
  \mbox{\BPGS\ 345--371}.

\bibitem[\protect\BCAY{Mikolov, Chen, Corrado, \BBA\ Dean}{Mikolov
  et~al.}{2013a}]{Mikolov-2013}
Mikolov, T., Chen, K., Corrado, G., \BBA\ Dean, J. \BBOP 2013a\BBCP.
\newblock \BBOQ Efficient Estimation of Word Representations in Vector
  Space.\BBCQ\
\newblock In {\Bem ICLR Workshop Paper}.

\bibitem[\protect\BCAY{Mikolov, Sutskever, Chen, Corrado, \BBA\ Dean}{Mikolov
  et~al.}{2013b}]{Mikolov1}
Mikolov, T., Sutskever, I., Chen, K., Corrado, G.~S., \BBA\ Dean, J. \BBOP
  2013b\BBCP.
\newblock \BBOQ Distributed Representations of Words and Phrases and Their
  Compositionality.\BBCQ\
\newblock In {\Bem Advances in Neural Information Processing Systems},
  \mbox{\BPGS\ 3111--3119}.

\bibitem[\protect\BCAY{岡崎}{岡崎}{2016}]{okazaki}
岡崎直観 \BBOP 2016\BBCP.
\newblock
  言語処理における分散表現学習のフロンティア（〈特集〉ニューラルネットワーク研究のフロンティア）.\
\newblock \Jem{人工知能：人工知能学会誌}, {\Bbf 31}  (2), \mbox{\BPGS\
  189--201}.

\bibitem[\protect\BCAY{Okumura, Shirai, Komiya, \BBA\ Yokono}{Okumura
  et~al.}{2011}]{semeval-2010}
Okumura, M., Shirai, K., Komiya, K., \BBA\ Yokono, H. \BBOP 2011\BBCP.
\newblock \BBOQ On SemEval-2010 Japanese WSD Task.\BBCQ\
\newblock \Jem{自然言語処理}, {\Bbf 18}  (3), \mbox{\BPGS\ 293--307}.

\bibitem[\protect\BCAY{新納}{新納}{2016}]{shinnou-book}
新納浩幸 \BBOP 2016\BBCP.
\newblock \Jem{Chainer による実践深層学習}.
\newblock オーム社.

\bibitem[\protect\BCAY{新納\JBA 佐々木\JBA 古宮}{新納 \Jetal }{2015}]{shinnou}
新納浩幸\JBA 佐々木稔\JBA 古宮嘉那子 \BBOP 2015\BBCP.
\newblock 語義曖昧性解消におけるシソーラス利用の問題分析.\
\newblock \Jem{言語処理学会第 21 回年次大会発表論文集}, \mbox{\BPGS\ 59--62}.

\bibitem[\protect\BCAY{Sugawara, Takamura, Sasano, \BBA\ Okumura}{Sugawara
  et~al.}{2015}]{sugawara}
Sugawara, H., Takamura, H., Sasano, R., \BBA\ Okumura, M. \BBOP 2015\BBCP.
\newblock \BBOQ Context Representation with Word Embeddings for WSD.\BBCQ\
\newblock In {\Bem PACLING-2015}, \mbox{\BPGS\ 149--155}.

\bibitem[\protect\BCAY{Yamaki, Shinnou, Komiya, \BBA\ Sasaki}{Yamaki
  et~al.}{2016}]{yamaki}
Yamaki, S., Shinnou, H., Komiya, K., \BBA\ Sasaki, M. \BBOP 2016\BBCP.
\newblock \BBOQ Supervised Word Sense Disambiguation with Sentences
  Similarities from Context Word Embeddings.\BBCQ\
\newblock In {\Bem PACLIC-30}, \mbox{\BPGS\ 115--121}.

\end{thebibliography}



\begin{biography}

\bioauthor{新納　浩幸}{
1985年東京工業大学理学部情報科学科卒業．
1987年同大学大学院理工学研究科情報科学専攻修士課程修了．
同年富士ゼロックス，翌年松下電器を経て，
1993年より茨城大学工学部．
現在，茨城大学工学部情報工学科教授．博士（工学）．
機械学習や統計的手法による自然言語処理の研究に従事．
言語処理学会，情報処理学会，人工知能学会各会員．
}

\bioauthor{浅原　正幸}{
1998年京都大学総合人間学部卒．
2003年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了．
2004年より同大学助教．
2012年より国立国語研究所コーパス開発センター特任准教授．
現在同准教授．博士（工学）．自然言語処理・コーパス言語学の研究に従事．
情報処理学会，言語処理学会，言語学会，日本語学会各会員．
}

\bioauthor{古宮嘉那子}{
2005年東京農工大学工学部情報コミュニケーション工学科卒．
2009年同大大学院博士後期課程電子情報工学専攻修了．
博士（工学）．同年東京工業大学精密工学研究所研究員，
2010年東京農工大学工学研究院特任助教，
2014年茨城大学工学部情報工学科講師．現在に至る．
自然言語処理の研究に従事．
情報処理学会，人工知能学会，言語処理学会各会員．
}

\bioauthor{佐々木　稔}{
1996年徳島大学工学部知能情報工学科卒業．
2001年同大学大学院博士後期課程修了．博士（工学）．
2001年12月茨城大学工学部情報工学科助手．
現在，茨城大学工学部情報工学科講師．
機械学習や統計的手法による情報検索，自然言語処理等に関する研究に従事．
言語処理学会，情報処理学会各会員．
}

\end{biography}


\biodate



\end{document}
