    \documentclass[japanese]{jnlp_1.4}
\usepackage{jnlpbbl_1.3}
\usepackage[dvipdfm]{graphicx}
\usepackage{amsmath}


\Volume{24}
\Number{3}
\Month{June}
\Year{2017}

\received{2016}{11}{2}
\revised{2017}{2}{13}
\accepted{2017}{3}{31}

\setcounter{page}{447}

\jtitle{シンボルグラウンディングによる分野特有の単語分割の精度向上}
\jauthor{友利　　涼\affiref{Author_1} \and 亀甲　博貴\affiref{Author_2} \and 二宮　　崇\affiref{Author_3} \and 森　　信介\affiref{Author_4} \and 鶴岡　慶雅\affiref{Author_2}}

\jabstract{
本稿は，自動単語分割における精度向上を実現するために，非テキスト情報とその説明文に対するシンボルグラウンディングを用いた新しい単語分割法を提案する．本手法は，説明文が付与された非テキスト情報の存在を仮定しており，説明文を擬似確率的単語分割コーパスとすることで，非テキスト情報と分野固有の単語との関係をニューラルネットワークにより学習する．学習されたニューラルネットワークから分野固有の辞書を獲得し，得られた辞書を単語分割のための素性として用いることでより精度の高い自動単語分割を実現する．将棋局面が対応付けされた将棋解説文から成る将棋解説コーパスを用いて実験を行い，シンボルグラウンディングにより得られた辞書を用いることで単語分割の精度が向上することが確認できた．
}
\jkeywords{シンボルグラウンディング，単語分割，辞書}

\etitle{Improvement in Domain Specific Word Segmentation \\
  by Symbol Grounding}
\eauthor{Suzushi Tomori\affiref{Author_1} \and Hirotaka Kameko\affiref{Author_2} \and Takashi Ninomiya\affiref{Author_3} \and Shinsuke Mori\affiref{Author_4} \and Yoshimasa Tsuruoka\affiref{Author_2}} 
\eabstract{
We propose a novel framework for improving a word segmenter using information acquired from symbol grounding. The framework uses a dataset consisting of pairs of non-textual information and a commentary. We generate a pseudo-stochastically segmented corpus from the commentaries, and then build a neural network to predict relationships between non-textual information and the words. We generate a domain specific term dictionary by using the neural network for word segmenter. We applied our method to game records of Japanese chess with commentaries. The experimental results show that the accuracy of a word segmenter can be improved by incorporating the generated dictionary.
}
\ekeywords{Symbol Grounding, Word Segmentation, Dictionary}

\headauthor{友利，亀甲，二宮，森，鶴岡}
\headtitle{シンボルグラウンディングによる分野特有の単語分割の精度向上}

\affilabel{Author_1}{京都大学大学院情報学研究科}{Graduate School of Informatics, Kyoto University}
\affilabel{Author_2}{東京大学工学系研究科}{Graduate School of Engineering, The University of Tokyo}
\affilabel{Author_3}{愛媛大学大学院理工学研究科 電子情報工学専攻}{Graduate School of Science and Engineering, Ehime University}
\affilabel{Author_4}{京都大学学術情報メディアセンター}{Academic Center for Computing and Media Studies, Kyoto University}


\begin{document}
\maketitle




\section{はじめに}

近年，インターネットなどからテキストとそれに紐づけられた非テキスト情報
を大量に得ることができ，画像とそのキャプションや経済の解説記
事とその株価チャートなどはwebなどから比較的容易に入手することができる．し
かし，テキストと非テキスト情報を対応させる研究の多くは，画像から自然言語を出力
する手
法\cite{Farhadi:2010:PTS:1888089.1888092,Yang:2011:CSG:2145432.2145484,rohrbach13iccv}
のように非テキスト情報から自然言語を出力することを目的としている．Kiros
らは非テキスト情報を用いることにより言語モデルの性能向上を示し
た\cite{icml2014c2_kiros14}．

本稿では，非テキスト情報を用いた自動単語分割について述べる．本稿で
は，日本語の単語分割を題材とする．単語分割は単語の境界が曖昧な言語にお
いてよく用いられる最初の処理であり，英語では品詞推定と同等に重要な処理
である．情報源として非テキスト情報とテキストが対応したデータが大量に必
要になるため，本研究では将棋のプロの試合から作られた将棋の局面と将棋解
説文がペアになったデータ\cite{A.Japanese.Chess.Commentary.Corpus}を用
いて実験を行う．似た局面からは類似した解説文が生成されると仮定し，
非テキスト情報である将棋の局面からその局面に対応した解説文の部分文字列
をニューラルネットワークモデルを用いて予測し，その局面から生成されやす
い単語を列挙する．列挙された単語を辞書に追加することで単語分割の精度を
向上させる．

\begin{figure}[b]
\begin{center}
\includegraphics{24-3ia6f1.eps}
\end{center}
\caption{提案手法の概観}
\label{fig-overview}
\end{figure}

本手法は3つのステップから構成される（図\ref{fig-overview}）．まず，将棋
の局面と単語候補を対応させるために生テキストから単語候補を生成する．単
語候補は将棋解説文を擬似確率的分割コーパスを用いて部分単語列に分割する
ことで得られる．次に，生成した単語候補と将棋の局面をニューラルネットワー
クを用いて対応させることでシンボルグラウンディングを行う．最後にシンボ
ルグラウンディングの結果を用いて将棋解説文専用の辞書を生成し，自動単語分割
の手法に取り入れる．

本稿の構成は以下の通りである．まず2章で単語の候補を取り出すために確率
的単語分割コーパスを用いる手法について述べる．3章で将棋解説文と局面が
対応しているデータセットのゲーム解説コーパスについて触れ，シンボルグラウ
ンディングとして単語候補と将棋局面を対応させる手法の説明を行う．4章で
はベースラインとなる自動単語分割器について述べたあと，非テキスト情報を
用いた単語分割として，シンボルグラウンディングの結果を用いて辞書を生成し，
単語分割器を構築する手法を述べる．5章で実験設定と実験結果の評価と考察
を行い，6章で本手法と他の単語分割の手法を比較する．最後に7章で本稿をま
とめる．




\section{確率的単語分割コーパス}

本研究では将棋の局面とその言語表現をシンボルグラウンディングの対象とし，将
棋解説文専用の辞書を獲得する．本章では，辞書獲得のために用いる確率的単語
分割コーパス\cite{DBLP:conf/interspeech/MoriT04}について説明する．確率
的単語分割コーパスは文字列の分割境界が確率的に与えられたコーパスであり，確
率的単語分割コーパスを用いることでコーパスに出現する各単語の期待頻度を
計算することができる．しかし，辞書に追加するための単語候補を確率的単語分
割コーパスから選択するためには，コーパスに出現するほとんどす
  べての文字列を単語候補として期待頻度を計算する必要があり，語彙サイズ
  が非常に大きくなり，高い計算コストを要する．そのため，本研究では擬似的
な確率的単語分割コーパス\cite{stocha_seg_corpus}を用いる．


\subsection{確率的単語分割コーパス}

確率的単語分割コーパスは生テキストコーパス$C_r$ （以下，文字列
$x^{n_r}_1$として表す）と境界の分割確率$P_i$の組み合わせで定義される．
ここで$P_i$はある文字$x_i$と$x_{i+1}$の間に分割境界が存在する確率であ
る．この分割確率は$x_i$と$x_{i+1}$の周辺の文字列を参照したロジスティッ
ク回帰モデル\cite{Fan:2008:LLL:1390681.1442794}により推定される．ただ
し，ここで用いるロジスティック回帰モデルは人手で単語分割したコーパスを
用いて学習される．コーパスの最初の文字の前と最後の文字の後は分割確率を
1とする($P_0=P_{n_r}=1$)．確率的単語分割コーパスで推定される単語の期待
頻度$f_r(\mbox{\boldmath $w$})$は以下で計算される．
\begin{align}
  f_r(\mbox{\boldmath $w$}) &=\sum_{i \in O}{P_i\left\{\prod^{k-1}_{j=1}{(1-P_{i+j})}\right\}P_{i+k}} \\
  O &=\{i \ | \ x^{i+k}_{i+1} = \mbox{\boldmath $w$}\} \nonumber
\end{align}
ここで，$O$はテキストの単語候補となりうる部分文字列$x^{i+k}_{i+1}$における$i$の集合である．


\subsection{擬似確率的単語分割コーパス}

確率的単語分割コーパスを用いた単語の期待頻度の推定は非常に高い時間的・
空間的計算コストを要する．そのため，本研究では，確率的単語分割コーパス
から直接単語の期待頻度を推定するのではなく，擬似確率的単語分割コーパス
\cite{stocha_seg_corpus}と呼ばれる具体的に単語分割が付与されたコーパス
を用いて単語の期待頻度を推定する．

疑似確率的単語分割コーパスは，確率的単語分割コーパスにより定義される確
率分布に従って単語分割を行うことにより得られる．具体的には，確率的単語
分割コーパスの各文に対し，その文に与えられた確率分布に従って単語分割を
行うことで，単語分割文の生成を行う．ただし，同じ文に対して1度だけ単語分
割文を生成するのではなく，複数回単語分割を行い，複数の単語分割文を生成
する．この手法はサンプリングの一種であり，より多くの単語分割文を生成す
ることで，より良く確率的単語分割コーパスを近似する．生成された疑似確率
的単語分割コーパスは陽に単語分割がされているため容易に各単語の期待頻度
を推定することができる．次の手続きは，確率的単語分割コーパスから擬似確
率的単語分割コーパスを生成する具体的な手続きを表す．
\begin{itemize}
\item For $i$ = 1 to $n_r - 1$
  \begin{enumerate}
  \item $x_i$を出力
  \item $0 < p < 1$となる$p$をランダムに生成
  \item if $p < P_i$: 単語境界を出力 \\ otherwise: 何も出力しない
  \end{enumerate}
\end{itemize}
上記のプロセスを$m$回繰り返し，$x_i$と$x_{i+1}$の分割境界の数を$m$で割
ることで$P_i$の推定値を得ることができる．ここで$m \to \infty$とすると，
大数の法則より$P_i$と$P_i$の推定値の誤差が0になることが保証される．



\section{シンボルグラウンディング}

本稿では，将棋の局面とその言語表現をシンボルグラウンディングの対象と
する．後述する実験では，ゲーム解説コーパス
\cite{A.Japanese.Chess.Commentary.Corpus}を用いる．本研究の手法は素性設
計を除いて分野特有ではないので，画像とその説明文の組み合わせ
\cite{regneri13tacl}など他の種類のデータにも適用可能である．


\subsection{ゲーム解説コーパス}

将棋は2人で行うボードゲームで，お互いに自分の駒を動かしながら相
手の玉の駒を取ることを目的とする．将棋の大きな特徴として，取った相手の
駒は自分の持ち駒として使うことができることや一部の駒は相手の敵陣に入
るなど特定の条件を満たした場合に駒を裏返して別の動きに変えることができ
ることが挙げられる．

多くのプロ棋士間での対局は，他のプロ棋士により指し手の評価やその局面の
状況，次の指し手の予想などが解説されている．ゲーム解説コーパスの各解説
文には，対象とする局面が対応しており，ほとんどの解説文は局面に対するコ
メントをしているが局面に関係のないコメント（対局者に関する情報など）が
少量含まれる．


\subsection{グラウンディング}

将棋局面$S_i$ $(i=1,\ldots,n)$とその解説文$C_i$の大量のペアを学習セットと
し，将棋局面$S_i$は素性ベクトル$f(S_i)$に変換して用いる．ここで$n$は学
習セットに含まれる局面の数である．まず，$C_i$から擬似確率的単語分割コー
パス$C'_i$を生成する．$C'_i$は$m$個のコーパス$C'_{ij}$ $(j=1,\ldots,m)$を
含んでおり，それぞれのコーパスは同じ解説文から成るが，異なる単語分割が
与えられている（本実験では$m=4$とした）．次に将棋局面の素性ベクトル
$f(S_i)$を入力として用いて$C'_{i}$の単語を予測するモデルを3層のフィー
ドフォワードニューラルネットワークで構築する．隠れ層の次元数は100とし，
活性化関数には標準シグモイド関数を用いる．出力は$d$次元の実数値ベクト
ル（$d$は単語候補の総数）であり，実数値ベクトルのそれぞれの要素はある特
定の単語候補に対応しており，解説文にその単語候補が含まれている
確率を出力する．学習の際には解説文にその単語候補が含まれて
いれば$1$，含まれていなければ$0$とし，損失関数として2乗誤差を用
いる．つまり，将棋局面からその解説文の単語候補の
Bag-of-Wordsを3層のニューラルネットワーク用いて予測することでグラウ
ンディングを行う．

将棋局面の素性はコンピュータ将棋プログラムの激指
\cite{Tsuruoka02game-treesearch}によるゲーム木探索の素性や結果，評価の一部を用い
た．本実験では以下の素性を用いた．
\begin{description}
  \item[\ a:] 将棋の駒の位置
  \item[\ b:] 持ち駒
  \item[\ c:] {\bf a}と{\bf b}の組み合わせ
  \item[\ d:] その他ヒューリスティックな素性
\end{description}
    {\bf c}は，2駒関係（ある2つの駒の位置関係）や3駒関係などであり，{\bf  d}
    のヒューリスティックな素性の例として，駒の価値に関する素性や玉の危
    険度に関する素性などがある．将棋局面の素性の多くは{\bf a}, {\bf  b}, {\bf c}であり，次元数では$94.7\%$，発火数では$87.9\%$を占めている．

一般のシンボルグラウンディングとは違い，解説文から作られた擬似確率的単
語分割コーパスに出現する単語の候補は，正しい単語文字列と正しく分割され
ていない文字列が含まれる．それらの正しく分割されていない文字列は正しい
単語文字列よりも出現する確率が低いと推測できる．似た局面からは同じ文字
列が出現しやすいと仮定すると，ニューラルネットワークを用いたモデルでは，
それらの局面と正しく分割されていない文字列は強い関係を結ぶことができず，
出力する値は正しい単語文字列よりも小さくなると推測される．


\section{シンボルグラウンディングの結果を用いた単語分割}
\label{sec:WS_SG}

この章ではベースラインとなる自動単語分割とシンボルグラウンディングの結
果を用いた単語分割について述べる．


\subsection{ベースラインとなる単語分割}

さまざまな日本語の単語分割手法や形態素解析手法があるが，品詞情報なしで
新しい単語を追加することができる唯一の単語分割手法である点予測に基づく
手法\cite{Neubig:2011:PPR:2002736.2002841}を採用する．

点予測による単語分割の入力は分割されてない文字列$x=x_1,\ldots,x_{n_r}$である．
この単語分割器はサポートベクターマシン
\cite{Fan:2008:LLL:1390681.1442794}を用いて単語境界があれば$P_i=1$なけ
れば$P_i=0$として境界を推定する．このときの素性は周辺の6文字から文字
$n$-gramと文字種$n$-gram ($n=1,2,3$)を用いる．また，もし周辺の文
字$n$-gramが辞書の文字列と一致した場合にはそれも素性として用いる．


\subsection{非テキスト情報を用いた自動単語分割器の学習}

非テキスト情報を自動単語分割に用いる最初の試みとして，非テキスト情報と
関連性の高い単語候補を加えた辞書を生成する手法を提案する．非テキスト情報
から単語候補を予測するニューラルネットワークを構築することでシンボルグラウ
ンディングを行う．構築されたニューラルネットワークを用いることで非テキ
スト情報と関連する単語候補を取得できる．例えば将棋の場合，局面と局面か
ら生成される解説文の単語は強い関連があり，似た局面からは同じ単語が生成
される可能性が高いと考える．つまり，非テキスト情報と強い関連の単語候補
を選ぶことで良い辞書を作ることができる．

辞書生成のために，シンボルグラウンディングの結果として将棋局面$S_i$か
ら$d$次元の実数値ベクトルを計算し単語候補のスコアを得る．本稿では，
単語候補のスコアから以下の 3 つの方法で辞書を生成する．
\begin{description}
  \item[sum] すべての局面の$d$次元の実数値ベクトルの和をとり，上位
    $R\%$の単語を辞書に追加する．
  \item[max] すべての局面の$d$次元の実数値ベクトルの要素の最大値を取り，上位$R\%$の単語を辞書に追加する．
  \item[each] 各局面の$d$次元の実数値ベクトルの上位$R\%$の単語を辞書に追加する．
\end{description}

例えば，以下のように局面$S_1, S_2$から計算される単語候補[四間，間，間
  飛，飛，飛車]の$5$次元の実数値ベクトルがあり，その上位
$40\%$の単語候補を辞書に加えるとする．
\begin{itemize}
 \item $S_1$から計算される単語候補のベクトル$[1.4, 1.5, 0.2, 0.5, 3.8]$
 \item $S_2$から計算される単語候補のベクトル$[4.9, 0.8, 0.1, 0.9, 3.2]$
\end{itemize}
{\bf sum}では$S_1, S_2$から計算される単語候補のベクトルの要素を足しあ
わせた$[6.3, 2.3, 0.3, 1.4, 7.0]$について上位$40\%$の
単語候補である「四間」と「飛車」を辞書に加える．{\bf max}ではそれぞれ
の要素の最大値からなるベクトル$[4.9, 1.5, 0.2, 0.9, 3.8]$から「四間」
と「飛車」を辞書に加える．{\bf each}では$[1.4, 1.5, 0.2, 0.5, 3.8]$と
$[4.9, 0.8, 0.1, 0.9, 3.2]$のそれぞれの上位$40\%$の単語候補
「間」「飛車」と「四間」「飛車」を辞書に追加する．この時すでに辞書に登
録されている単語候補（この場合は「飛車」）は二重に登録しない．

最後に，それぞれの方法で生成された辞書を用いて自動単語分割器の再学習を行う．



\section{評価}

\ref{sec:WS_SG}章で述べた提案手法の効果を検証するために自動単語分割の実
験を行った．提案手法の効果を検証するために，シンボルグラウンディングに
より獲得された辞書を用いる場合（提案手法）と用いない場合を比較した．


\subsection{コーパス}

\begin{table}[b]
\caption{コーパスの概要}
\label{tab_Corpus}
\input{06table01.txt}
\end{table}

表\ref{tab_Corpus}は今回の実験で用いたコーパスの詳細を示している．コー
パスは，シンボルグラウンディングのためのコーパス（シンボルグラウンディン
グ用コーパス）と自動単語分割のための訓練/開発/テストコーパスから成る．

シンボルグラウンディング用コーパスは，33,151組の将棋局面と将棋解説文か
ら成る．ただし，シンボルグラウンディング用コーパスの将棋解説文には単語
分割が付与されていない．この将棋解説文から疑似確率的単語分割コーパスを
生成し，シンボルグラウンディングの学習（ニューラルネットワークの学習）を
行った．

自動単語分割のための訓練コーパスには，現代日本語書き言葉均衡コーパス
(BCCWJ) \cite{Balanced.corpus.of.contemporary.written.Japanese}と，日
経新聞(1990--2000)の一部からなる新聞記事のコーパス，英語表現辞典からな
る日常会話文のコーパスを用いた．
BCCWJの一部は学習には用いず，テストコーパスとして用いた．将棋解説文から
ランダムに抽出した 5,041 文を人手で単語分割し，これを開発コーパス
（253 文），局面なしテストコーパス（3,000 文），局面ありテストコーパス
（1,788 文）の3つに分けた\footnote{シンボルグラウンディング用コーパスと自動単語分割のための開発/テストコーパスはそれぞれ異なる将棋解説文から抽出して作成した．}．将棋解説文のための辞書は，局面ありテストコーパスに対
し提案手法を適用することで獲得する．局面なしテストコーパスは局面の情報
を持たない将棋解説文だけから成るコーパスであり，局面ありテストコーパス
から得られた辞書の汎用性を評価するために用意した．実験では，局面ありテ
ストコーパスから得られた辞書を用いて，局面なしテストコーパスの単語分割
精度を評価した．


\subsection{単語分割システム}

本実験では以下の2つの単語分割モデルを用いてその精度を評価した．

\begin{description}
  \item[ベースライン：] 単語分割のための訓練コーパスとUniDic （234,652 単
語）\footnote{http://pj.ninjal.ac.jp/corpus\_center/unidic/} を用いて学
    習されたモデル．
  \item[+擬似確率的単語分割辞書：] ベースラインで用いた言語資源に加え，擬似確率的単語コーパスから出現頻度の高い単語候補を加えた辞書を用いて学習されたモデル．
  \item[+シンボルグラウンディング：] ベースラインで用いた言語資源に加
    え，シンボルグラウンディングにより獲得された辞書を用いて学習された
    モデル．
\end{description}

ベースラインおよび提案手法のいずれにおいてもUniDicを辞書として用いた．提
案手法ではUniDicに加えて，シンボルグラウンディング用コーパスから獲得さ
れる辞書を用いる．ベースラインの単語分割モデル構築と辞書獲得のために必
要となる擬似確率的単語分割コーパスの生成にはロジスティック
回帰を用いており，表\ref{tab_Corpus}に示した自動単語分割のための訓練コー
パスを学習用に用いた．ロジスティック回帰は単語境界の確率値
$P_i$を出力し，ベースラインではこの$P_i$が0.5以上なら分割境界があると
し，擬似確率的単語分割コーパスには$P_i$の出力値をそのまま用いて生成した．この
とき$m=4$とし，擬似確率的単語分割コーパスを$4$つ生成した．

シンボルグラウンディングの手法を評価するために，擬似確率単語分割コーパ
スの単語を頻度順に並べ，その上位$R'\%$を追加した辞書を生成し，モデルを構
築した．

辞書獲得において，シンボルグラウンディングの辞書生成の手法
({\bf sum}, {\bf max}, {\bf each})と$R'$, $R$の値には開発セットの単語分割精
度（F値）
を用いて最も高くなるパラメータを採用した．擬似確率的単語分割辞書では$R'=0.074$のときに最も精度が高くなり，辞書には110単語が追加された．提案手法では，手法{\bf each}で$R=0.074$のときに最も精度が高くなり，辞書には110単語が追加された．


\subsection{結果と考察}

単語分割精度の評価尺度には以下で表される，適合率と再現率，F値を用いた．
\begin{align*}
  適合率 &= \frac{正解単語数}{システムの出力文の単語数} \\[1zh]
  再現率 &= \frac{正解数単語数}{正解文の単語数} \\[1zh]
  {\rm F}値 &= \frac{2 \cdot 適合率 \cdot 再現率}{適合率 + 再現率}
\end{align*}

表\ref{tab_result_BCCWJ}はBCCWJに対する単語分割の精度を示しており，
表\ref{tab_result_Shogi}は局面なしの将棋解説文に対する単語分割精度と局
面ありの将棋解説文に対する単語分割の精度を示している．このときの辞書は
局面ありの解説文のみを用いて生成された．BCCWJに対する単語分割精度
（表\ref{tab_result_BCCWJ}）と将棋解説文に対するの単語分割精度
（表\ref{tab_result_Shogi}）を比較すると，将棋解説文の単語分割は一般ドメ
インの単語分割より難しいことが分かる．将棋解説文には将棋特有の単語や表
現が大量に含まれるため単語分割の精度が低くなったことが考えられる．

\begin{table}[b]
\caption{BCCWJ （6,025 文）の単語分割結果}
\label{tab_result_BCCWJ}
\input{06table02.txt}
\end{table}
\begin{table}[b]
\caption{将棋解説文（4,788 文）の単語分割結果}
\label{tab_result_Shogi}
\input{06table03.txt}
\end{table}

表\ref{tab_result_Shogi}において，提案手法はベースラインや擬似確率的単
語辞書を追加した手法に比べて精度が向上しており，再現率についてはマクネ
マー検定で$1\%$の統計的有意差があった．本手法における辞書獲得は教師なし
学習にもかかわらず
自然注釈による手法\cite{liu-EtAl:2014:EMNLP}と同程度のエラー削減率を実
現できた．この結果よりシンボルグラウンディングによる単語分割は注釈付け
と同様に有用であると言える．

表\ref{tab_result_Shogi}において，ベースラインと辞書を追加した手法の適合
率と再現率を詳しくみると，再現率は適合率よりも大きく向上していることが
分かる．この結果より，正しい単語と少量の間違った単語を学習していることが
分かる．
実際に，擬似確率的単語分割辞書とシンボルグラウンディングによ
る辞書の両方には「飛車」や「同歩」，「先手」などの将棋解説文に出現する
頻度が高い単語が登録されていた． シンボルグラウンディングに
よる辞書には「休憩」や「成」など擬似確率的単語分割辞書には無い単語が追
加されており，擬似確率的単語分割辞書には「．」や「・」などのシンボルグラ
ウンディングによる辞書には存在しなかった単語が追加されていた．また，
表\ref{tab_result_BCCWJ}より本手法は一般のドメインに深刻な精度低下をも
たらさないことが分かる．

表\ref{tab_result_Shogi_NoState}と表\ref{tab_result_Shogi_State}は局面
なしの将棋解説文と局面ありの将棋解説文の単語分割精度を示している．
表\ref{tab_result_Shogi_NoState}より，辞書を追加する2つの手法において，
局面なしの将棋解説文の単語分割の精度が向上しており，生成さ
れた辞書が将棋解説文の分野に対して有効であることがわかる．この精度向上
は
高頻度で出現する将棋用語
によるものと考えられる．局面なしの将棋解説文では，擬似確率的単語分割辞書
を追加する手法が最も精度が高かった．  しかし，局面ありの将棋解説文におい
て，シンボルグラウンディングによる辞書を追加した手法が最も精度が高かった
（表\ref{tab_result_Shogi_State}）．また，局面なしの将棋解説文よりも局面あ
りの将棋解説文の方が精度向上の割合が大きい．以上より，本稿で提案する手法
は局面に対応した単語を効果的に学習できていると結論できる．

\begin{table}[b]
\caption{局面なしの将棋解説文（3,000 文）の単語分割結果}
\label{tab_result_Shogi_NoState}
\input{06table04.txt}
\end{table}
\begin{table}[b]
\caption{局面ありの将棋解説文（1,788 文）の単語分割結果}
\label{tab_result_Shogi_State}
\input{06table05.txt}
\end{table}

最後に，ニューラルネットワークを用いて将棋局面と解説文をグラウンディングする際のデータサイズを変更し，その学習曲線を図\ref{fig-curve}に示す．横軸が学習に用いる局面数であり，縦軸が将棋解説文（4,788 文）における単語分割の精度（F値）を表している．局面数が 12,000 程度で学習が収束している．

\begin{figure}[t]
\begin{center}
\includegraphics{24-3ia6f2.eps}
\end{center}
\caption{学習のデータサイズを変更したときの学習曲線}
\label{fig-curve}
\end{figure}



\section{関連研究}

本稿では日本語の単語分割を行った．単語分割の代表的な手法は隠れマルコ
フモデル\cite{Nagata:1994:SJM:991886.991920}である．また，Sproatらは類似した手法で中国語の単語分割を行った
\cite{Sproat:1996:SFW:239895.239900}.これらの手法は単語をモデルの単位
として扱っている．

近年，Neubigらはそれぞれの文字の間に単語分割があるかどうかを点予測によっ
て判定する手法\cite{Neubig:2011:PPR:2002736.2002841}を提案しており，タ
グの制約のない，文字へのBIタグのタグ付けとして解くことができる．中国語
の単語分割ではBIESタグをタグ付けし系列ラベリング問題\cite{xue2003}とし
て解く手法がある．BIESはそれぞれ単語の始まり，その続き，単語の終わり，
1文字の単語を表している．我々の予備的な実験で日本語の単語分割ではBIタ
グを用いたサポートベクターマシンはBIESタグを用いたCRFよりもわずかに精
度が高かった．これが本稿で点予測を用いた理由の1つである．しかし，本
手法はBIESタグとCRFの単語分割にも適用可能である．

本稿で述べた提案手法は教師なし学習でハイパーパラメーターを調整するため
の少量の注釈付きデータを必要とした．この観点では，この手法は自然注釈
\cite{yang-vozila:2014:EMNLP2014,jiang-EtAl:2013:ACL2013,liu-EtAl:2014:EMNLP}
に類似している．しかし，これらの研究ではハイパーテキストのタグは部分的な
注釈と見なし，部分的な注釈を含むデータを用いて学習されたCRFで単語分割の
性能を向上させた．また，Tsuboiらは大量の生のテキストから新しい単語を抽出
する手法を提案し\cite{tsuboi-EtAl:2008:PAPERS}，Moriらは類似した設定で
のオンライン手法を提案した\cite{Mori96wordextraction}．

グラウンディングに基づく教師なし単語分割には
\cite{Roy2002113,Nguyen:2010:NWS:1873781.1873873}がある．Royらは音声
情報と画像情報をグラウンディングすることにより，音声情報から単語を獲得
する手法を提案した．これは，音声信号と画像の物体の類似性を用いて，物体と
その名前を連続音声から獲得する．Nguyenらは機械翻訳のための教師なし単
語分割を提案した．分かち書きされている翻訳先の言語の単語と対応するよう
に翻訳元の言語をノンパラメトリックな手法で単語分割した．これらの研究に
対して，本稿では言語以外のモダリティを扱い，単一言語内でテキストの単語分割を行う最
初の試みとして将棋局面を用いた．


\section{終わりに}

本稿では非テキスト情報を用いた教師なし学習により辞書を生成
し，それを用いることによる自動単語分割の精度向上について述べた．単語候補
を生テキストから取り出すために，まず確率的に文を分割し，単語の候補と元の
解説文に対応する将棋局面をニューラルネットワークを用いて結びつけてシン
ボルグラウンディングを行った．最後にシンボルグラウンディングの結果を参
照しスコアの高い単語の候補を辞書に追加した．実験結果より非テキスト情報
を用いた手法はテキスト情報のみを用いた手法よりも精度が高く，非テキスト
情報を用いる手法の有効性が確認できた．
今後は，この手法を他の深層学習のモデルに適用すること
やシンボルグラウンディングの結果を分散表現として単語分割の手法
\cite{Ma2015AccurateLC}に適用，及び画像などの他の非テキスト情報を用いるこ
とが課題としてあげられる．


\acknowledgment

本研究はJSPS科研費26540190及び16K00293, 25280084の助成を受けたものである．
ここに敬意を表する．




\bibliographystyle{jnlpbbl_1.5}
\begin{thebibliography}{}

\bibitem[\protect\BCAY{Fan, Chang, Hsieh, Wang, \BBA\ Lin}{Fan
  et~al.}{2008}]{Fan:2008:LLL:1390681.1442794}
Fan, R.-E., Chang, K.-W., Hsieh, C.-J., Wang, X.-R., \BBA\ Lin, C.-J. \BBOP
  2008\BBCP.
\newblock \BBOQ LIBLINEAR: A Library for Large Linear Classification.\BBCQ\
\newblock {\Bem Journal of Machine Learning Research}, {\Bbf 9}, \mbox{\BPGS\
  1871--1874}.

\bibitem[\protect\BCAY{Farhadi, Hejrati, Sadeghi, Young, Rashtchian,
  Hockenmaier, \BBA\ Forsyth}{Farhadi
  et~al.}{2010}]{Farhadi:2010:PTS:1888089.1888092}
Farhadi, A., Hejrati, M., Sadeghi, M.~A., Young, P., Rashtchian, C.,
  Hockenmaier, J., \BBA\ Forsyth, D. \BBOP 2010\BBCP.
\newblock \BBOQ Every Picture Tells a Story: Generating Sentences from
  Images.\BBCQ\
\newblock In {\Bem Proceedings of the 11th European Conference on Computer
  Vision}, \mbox{\BPGS\ 15--29}.

\bibitem[\protect\BCAY{Jiang, Sun, L{\"{u}}, Yang, \BBA\ Liu}{Jiang
  et~al.}{2013}]{jiang-EtAl:2013:ACL2013}
Jiang, W., Sun, M., L{\"{u}}, Y., Yang, Y., \BBA\ Liu, Q. \BBOP 2013\BBCP.
\newblock \BBOQ Discriminative Learning with Natural Annotations: Word
  Segmentation as a Case Study.\BBCQ\
\newblock In {\Bem Proceedings of the 51st Annual Meeting of the Association
  for Computational Linguistics}, \mbox{\BPGS\ 761--769}.

\bibitem[\protect\BCAY{Kiros, Salakhutdinov, \BBA\ Zemel}{Kiros
  et~al.}{2014}]{icml2014c2_kiros14}
Kiros, R., Salakhutdinov, R., \BBA\ Zemel, R. \BBOP 2014\BBCP.
\newblock \BBOQ Multimodal Neural Language Models.\BBCQ\
\newblock In {\Bem Proceedings of the 31st International Conference on Machine
  Learning}, \mbox{\BPGS\ 595--603}.

\bibitem[\protect\BCAY{Liu, Zhang, Che, Liu, \BBA\ Wu}{Liu
  et~al.}{2014}]{liu-EtAl:2014:EMNLP}
Liu, Y., Zhang, Y., Che, W., Liu, T., \BBA\ Wu, F. \BBOP 2014\BBCP.
\newblock \BBOQ Domain Adaptation for CRF-based Chinese Word Segmentation using
  Free Annotations.\BBCQ\
\newblock In {\Bem Proceedings of the 2014 Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 864--874}.

\bibitem[\protect\BCAY{Ma \BBA\ Hinrichs}{Ma \BBA\
  Hinrichs}{2015}]{Ma2015AccurateLC}
Ma, J.\BBACOMMA\ \BBA\ Hinrichs, E.~W. \BBOP 2015\BBCP.
\newblock \BBOQ Accurate Linear-Time Chinese Word Segmentation via Embedding
  Matching.\BBCQ\
\newblock In {\Bem Proceedings of the 53rd Annual Meeting of the Association
  for Computational Linguistics}, \mbox{\BPGS\ 1733--1743}.

\bibitem[\protect\BCAY{Maekawa, Yamazaki, Ogiso, Maruyama, Ogura, Kashino,
  Koiso, Yamaguchi, Tanaka, \BBA\ Den}{Maekawa
  et~al.}{2014}]{Balanced.corpus.of.contemporary.written.Japanese}
Maekawa, K., Yamazaki, M., Ogiso, T., Maruyama, T., Ogura, H., Kashino, W.,
  Koiso, H., Yamaguchi, M., Tanaka, M., \BBA\ Den, Y. \BBOP 2014\BBCP.
\newblock \BBOQ Balanced Corpus of Contemporary Written Japanese.\BBCQ\
\newblock {\Bem Language Resources and Evaluation}, {\Bbf 48}, \mbox{\BPGS\
  345--371}.

\bibitem[\protect\BCAY{森\JBA 小田}{森\JBA 小田}{2009}]{stocha_seg_corpus}
森信介\JBA 小田裕樹 \BBOP 2009\BBCP.
\newblock 擬似確率的単語分割コーパスによる言語モデルの改良.\
\newblock \Jem{自然言語処理}, {\Bbf 16}  (5), \mbox{\BPGS\ 7--21}.

\bibitem[\protect\BCAY{Mori \BBA\ Nagao}{Mori \BBA\
  Nagao}{1996}]{Mori96wordextraction}
Mori, S.\BBACOMMA\ \BBA\ Nagao, M. \BBOP 1996\BBCP.
\newblock \BBOQ Word Extraction from Corpora and Its Part-of-Speech Estimation
  Using Distributional Analysis.\BBCQ\
\newblock In {\Bem Proceedings of the 16th International Conference on
  Computational Linguistics}, \mbox{\BPGS\ 1119--1122}.

\bibitem[\protect\BCAY{Mori, Richardson, Ushiku, Sasada, Kameko, \BBA\
  Tsuruoka}{Mori et~al.}{2016}]{A.Japanese.Chess.Commentary.Corpus}
Mori, S., Richardson, J., Ushiku, A., Sasada, T., Kameko, H., \BBA\ Tsuruoka,
  Y. \BBOP 2016\BBCP.
\newblock \BBOQ A Japanese Chess Commentary Corpus.\BBCQ\
\newblock In {\Bem Proceedings of the 10th International Conference on Language
  Resources and Evaluation}, \mbox{\BPGS\ 1415--1420}.

\bibitem[\protect\BCAY{Mori \BBA\ Takuma}{Mori \BBA\
  Takuma}{2004}]{DBLP:conf/interspeech/MoriT04}
Mori, S.\BBACOMMA\ \BBA\ Takuma, D. \BBOP 2004\BBCP.
\newblock \BBOQ Word n-gram probability estimation from a Japanese raw
  corpus.\BBCQ\
\newblock In {\Bem Proceedings of the 8th International Conference on Speech
  and Language Processing}, \mbox{\BPGS\ 1037--1040}.

\bibitem[\protect\BCAY{Nagata}{Nagata}{1994}]{Nagata:1994:SJM:991886.991920}
Nagata, M. \BBOP 1994\BBCP.
\newblock \BBOQ A Stochastic Japanese Morphological Analyzer Using a forward-DP
  backward-A* N-best Search Algorithm.\BBCQ\
\newblock In {\Bem Proceedings of the 15th Conference on Computational
  Linguistics}, \mbox{\BPGS\ 201--207}.

\bibitem[\protect\BCAY{Neubig, Nakata, \BBA\ Mori}{Neubig
  et~al.}{2011}]{Neubig:2011:PPR:2002736.2002841}
Neubig, G., Nakata, Y., \BBA\ Mori, S. \BBOP 2011\BBCP.
\newblock \BBOQ Pointwise Prediction for Robust, Adaptable Japanese
  Morphological Analysis.\BBCQ\
\newblock In {\Bem Proceedings of the 49th Annual Meeting of the Association
  for Computational Linguistics: Human Language Technologies}, \mbox{\BPGS\
  529--533}.

\bibitem[\protect\BCAY{Nguyen, Vogel, \BBA\ Smith}{Nguyen
  et~al.}{2010}]{Nguyen:2010:NWS:1873781.1873873}
Nguyen, T., Vogel, S., \BBA\ Smith, N.~A. \BBOP 2010\BBCP.
\newblock \BBOQ Nonparametric Word Segmentation for Machine Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 23rd International Conference on
  Computational Linguistics}, \mbox{\BPGS\ 815--823}.

\bibitem[\protect\BCAY{Regneri, Rohrbach, Wetzel, Thater, Schiele, \BBA\
  Pinkal}{Regneri et~al.}{2013}]{regneri13tacl}
Regneri, M., Rohrbach, M., Wetzel, D., Thater, S., Schiele, B., \BBA\ Pinkal,
  M. \BBOP 2013\BBCP.
\newblock \BBOQ Grounding Action Descriptions in Videos.\BBCQ\
\newblock {\Bem Transactions of the Association for Computational Linguistics},
  {\Bbf 1}  (Mar), \mbox{\BPGS\ 25--36}.

\bibitem[\protect\BCAY{Rohrbach, Qiu, Titov, Thater, Pinkal, \BBA\
  Schiele}{Rohrbach et~al.}{2013}]{rohrbach13iccv}
Rohrbach, M., Qiu, W., Titov, I., Thater, S., Pinkal, M., \BBA\ Schiele, B.
  \BBOP 2013\BBCP.
\newblock \BBOQ Translating Video Content to Natural Language
  Descriptions.\BBCQ\
\newblock In {\Bem Proceedings of the 14th International Conference on Computer
  Vision}, \mbox{\BPGS\ 433--440}.

\bibitem[\protect\BCAY{Roy \BBA\ Pentland}{Roy \BBA\
  Pentland}{2002}]{Roy2002113}
Roy, D.~K.\BBACOMMA\ \BBA\ Pentland, A.~P. \BBOP 2002\BBCP.
\newblock \BBOQ Learning Words from Sights and Sounds: A Computational
  Model.\BBCQ\
\newblock {\Bem Cognitive Science}, {\Bbf 26}  (1), \mbox{\BPGS\ 113--146}.

\bibitem[\protect\BCAY{Sproat, Gale, Shih, \BBA\ Chang}{Sproat
  et~al.}{1996}]{Sproat:1996:SFW:239895.239900}
Sproat, R., Gale, W., Shih, C., \BBA\ Chang, N. \BBOP 1996\BBCP.
\newblock \BBOQ A Stochastic Finite-state Word-segmentation Algorithm for
  Chinese.\BBCQ\
\newblock {\Bem Computational Linguistics}, {\Bbf 22}  (3), \mbox{\BPGS\
  377--404}.

\bibitem[\protect\BCAY{Tsuboi, Kashima, Mori, Oda, \BBA\ Matsumoto}{Tsuboi
  et~al.}{2008}]{tsuboi-EtAl:2008:PAPERS}
Tsuboi, Y., Kashima, H., Mori, S., Oda, H., \BBA\ Matsumoto, Y. \BBOP
  2008\BBCP.
\newblock \BBOQ Training Conditional Random Fields Using Incomplete
  Annotations.\BBCQ\
\newblock In {\Bem Proceedings of the 22nd International Conference on
  Computational Linguistics}, \mbox{\BPGS\ 897--904}.

\bibitem[\protect\BCAY{Tsuruoka, Yokoyama, \BBA\ Chikayama}{Tsuruoka
  et~al.}{2002}]{Tsuruoka02game-treesearch}
Tsuruoka, Y., Yokoyama, D., \BBA\ Chikayama, T. \BBOP 2002\BBCP.
\newblock \BBOQ Game-Tree Search Algorithm Based On Realization
  Probability.\BBCQ\
\newblock {\Bem Journal of the International Computer Games Association}, {\Bbf
  25}, \mbox{\BPG\ 2002}.

\bibitem[\protect\BCAY{Xue}{Xue}{2003}]{xue2003}
Xue, N. \BBOP 2003\BBCP.
\newblock \BBOQ Chinese Word Segmentation as Character Tagging.\BBCQ\
\newblock {\Bem The Association for Computational Linguistics and Chinese
  Language Processing}, {\Bbf 8}, \mbox{\BPGS\ 29--48}.

\bibitem[\protect\BCAY{Yang \BBA\ Vozila}{Yang \BBA\
  Vozila}{2014}]{yang-vozila:2014:EMNLP2014}
Yang, F.\BBACOMMA\ \BBA\ Vozila, P. \BBOP 2014\BBCP.
\newblock \BBOQ Semi-Supervised Chinese Word Segmentation Using Partial-Label
  Learning With Conditional Random Fields.\BBCQ\
\newblock In {\Bem Proceedings of the 2014 Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 90--98}.

\bibitem[\protect\BCAY{Yang, Teo, Daum{\'{e}}, \BBA\ Aloimonos}{Yang
  et~al.}{2011}]{Yang:2011:CSG:2145432.2145484}
Yang, Y., Teo, C.~L., Daum{\'{e}}, III, H., \BBA\ Aloimonos, Y. \BBOP
  2011\BBCP.
\newblock \BBOQ Corpus-guided Sentence Generation of Natural Images.\BBCQ\
\newblock In {\Bem Proceedings of 2011 the Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 444--454}.

\end{thebibliography}

\begin{biography}

  \bioauthor{友利　　涼}{
    2016年愛媛大学工学部卒業．
    同年より京都大学大学院情報学研究科修士課程在学．}
  \bioauthor{亀甲　博貴}{
    2015年東京大学大学院工学系研究科修士課程卒業．
    同年より同大学院博士課程在学．}
  \bioauthor{二宮　　崇}{
    2001年東京大学大学院理学系研究科情報科学専攻博士課程修了．
    同年より科学技術振興事業団研究員．
    2006年より東京大学情報基盤センター講師．
    2010年より愛媛大学大学院理工学研究科准教授，2017年同教授．
    東京大学博士（理学）．言語処理学会，情報処理学会，人工知能学会，電子情報通信学会，日本データベース学会，ACL, ACM各会員．}
  \bioauthor{森　　信介}{
    1998年京都大学大学
    院工学研究科電子通信工学専攻博士後期課程修了．同年，日本アイ・ビー・
    エム株式会社入社．2007年より京都大学学術情報メディアセンター准教
    授，2016年同教授．京都大学博士（工学）．1997年情報処理学会山下記念研
    究賞受賞．2010年，2013年情報処理学会論文賞受賞．2010年第58回電
    気科学技術奨励賞受賞．言語処理学会，情報処理学会，日本データベース学会，ACL各会員．}
    \bioauthor{鶴岡　慶雅}{
      2002年東京大学大学院工学系研究科博士課程修了．
      同年より科学技術振興事業団研究員．
      2005年マンチェスター大学研究員．
      2009年北陸先端科学技術大学院大学准教授．
      2011年より東京大学大学院 准教授．
      東京大学博士（工学）．
      言語処理学会，情報処理学会，人工知能学会，各会員．}


\end{biography}


\biodate




\end{document}
