\documentclass[japanese]{jnlp_1.4}
\usepackage{jnlpbbl_1.3}
\usepackage[dvipdfm]{graphicx}
\usepackage{amsmath}
\usepackage{array}


\def\lineB#1#2{}
\def\tabref#1{}
\def\figref#1{}


\Volume{24}
\Number{5}
\Month{December}
\Year{2017}

\received{2017}{5}{2}
\revised{2017}{7}{12}
\accepted{2017}{8}{29}

\setcounter{page}{655}

\jtitle{実世界参照による分野特有の固有表現認識の精度向上}
\jauthor{友利　　涼\affiref{Author_1} \and 二宮　　崇\affiref{Author_2} \and 森　　信介\affiref{Author_3}}
\jabstract{
本稿では，将棋の解説文に対する固有表現を題材として，テキスト情報に加えて実世界情報を参照する固有表現認識を提案する．この題材での実世界情報は，固有表現認識の対象となる解説文が言及している将棋の局面である．局面は，盤面上の駒の配置と持ち駒であり，すべての可能な盤面状態がこれによって記述できる．提案手法では，まず各局面の情報をディープニューラルネットワークの学習方法の1つであるstacked auto-encoderを用いて事前学習を行う．次に，事前学習の結果をテキスト情報と組み合わせて固有表現認識モデルを学習する．提案手法を評価するために，条件付き確率場による方法等との比較実験を行った．実験の結果，提案手法は他の手法よりも高い精度を示し，実世界情報を用いることにより固有表現認識の精度向上が可能であることが示された．
}
\jkeywords{実世界参照，ニューラルネットワーク，固有表現認識}

\etitle{Improvement in Domain-Specific Named Entity Recognition by Utilizing the Real-World Data}
\eauthor{Suzushi Tomori\affiref{Author_1} \and Takashi Ninomiya\affiref{Author_2} \and Shinsuke Mori\affiref{Author_3}} 
\eabstract{
In this paper, we propose a method that utilizes real-world data to improve named entity recognition (NER) for a particular domain. Our proposed method integrates a stacked auto-encoder (SAE) and a text-based deep neural network for achieving NER. Initially, we train the SAE using real-world data, then the entire deep neural network from sentences annotated with named entities (NEs) and accompanied by real world information.  In our experiments, we chose Japanese chess as our subject. The dataset consists of pairs of a game state and commentary sentences about it annotated with game-specific NE tags. We conducted NER experiments and verified that referring to real-world data improves the NER accuracy.
}
\ekeywords{Real World Information, Neural Network, Named Entity Recognition}

\headauthor{友利，二宮，森}
\headtitle{実世界参照による分野特有の固有表現認識の精度向上}

\affilabel{Author_1}{京都大学大学院情報学研究科}{Graduate School of Informatics, Kyoto University}
\affilabel{Author_2}{愛媛大学大学院理工学研究科電子情報工学専攻}{Graduate School of Science and Engineering, Ehime University}
\affilabel{Author_3}{京都大学学術情報メディアセンター}{Academic Center for Computing and Media Studies, Kyoto University}



\begin{document}
\maketitle


\section{はじめに}

近年，情報化技術の発展により，インターネット上やデータベース上にはテキ
ストとそのテキストに付随する実世界情報が大量に存在している．実世界情報
を用いる自然言語処理の研究として，テキストを用いて画像を検索する研究
\cite{NIPS2014_5281}や画像の解説文を生成する研究
\cite{Socher_groundedcompositional}などが行われている．また，実世界情報
を用いることで言語モデルの性能を向上させる研究
\cite{icml2014c2_kiros14}も行われており，実世界情報の活用は自然言語処理
の基礎技術の精度向上に有効だと考えられる．
そこで本稿では実世界情報とテキスト情報を素性と
して入力した際の固有表現認識を提案する．

本稿では，将棋の解説文に対する固有表現認識を題材として，テキスト情報に加え
て実世界情報を参照する固有表現認識器を提案する．固有表現とは，文書の単語列
に人名や地名など約8種類の定義
\cite{TjongKimSang:2003:ICS:1119176.1119195}
を行ったものが一般的であるが，近年では医療の専門用語を定義したバイオ固
有表現
\cite{Biomedical.Named.Entity.Recognition.Using.Conditional.Random.Fields.and.Rich.Feature.Sets}
なども提案されており，本研究では将棋解説コーパス\cite{shogi-corpus}で定
義される将棋固有表現を扱う．将棋解説コーパスは，将棋の解説文に対して単
語分割と固有表現タグが人手で与えられた注釈つきテキストデータであり，各
解説文には解説の対象となる将棋の局面情報が対応付けされている．局面は，
盤面上の駒の配置と持ち駒であり，すべての可能な盤面状態がこれによって記述で
きる．本研究では局面情報を実世界情報として用いる．提案手法では，まず各
局面の情報をディープニューラルネットワークの学習方法の1つである
stacked auto-encoder (SAE) を用いて事前学習を行う．次に，事前学習の結果をテキ
スト情報と組み合わせて固有表現を学習する．提案手法を評価するために，条
件付き確率場による方法等との比較実験を行い，実世界情報を用いることに
より固有表現認識の精度向上が可能であることを示す．将棋の固有表現認識の
精度が向上すると，文書から戦型名や囲い名などを自動的に抽出でき，将棋解説文
の自動生成のための基礎技術となる．また，一般の固有表現認識を高い精度で
行えるようになると質問応答や文の自動生成などの高度な応用の基礎技術とな
る．


\section{関連研究}

本章では，まず本研究で扱う固有表現認識について述べる．その後，実世界情
報を用いた自然言語処理の研究について述べる．最後に将棋の局面情報を用いた自
然言語処理の先行研究について述べる．


\subsection{固有表現認識}

本稿で行う固有表現認識は自然言語処理の重要な応用の一つである．一般的
な固有表現認識は，対象を新聞記事，固有表現として人名，地名，組織名等を扱っ
た研究が広く行われている
\cite{TjongKimSang:2003:ICS:1119176.1119195,Ratinov:2009:DCM:1596374.1596399}．固有表現認識は，ある
系列（単語列）の各要素（各単語）に適切なラベル列を付与する問題である系列ラ
ベリング問題として解かれることが一般的である．サポートベクターマシンや
最大エントロピーモデルなどを用いた様々な手法が提案されており
\cite{Borthwick:1999:MEA:930095,TjongKimSang:2003:ICS:1119176.1119195,Finkel:2005:INI:1219840.1219885}
，条件付き確率場 (CRF) による系列ラベリング
\cite{Lafferty:2001:CRF:645530.655813}がよく用いられる．
また，近年では深層学習を用いて解く手法が提案されており，Bi-directional LSTMを用いて解く手法がCoNLL 2003 コーパス\cite{TjongKimSang:2003:ICS:1119176.1119195}において最高精度を記録している\cite{ma-hovy:2016:P16-1}． 系列ラベリング問題として固有表現認識を解く際に，BIOタグ体系を用
いて各単語のタグを学習することが多い．BIOのB (Begin) はある固有表現の最
初の単語，I (Intermediate) は同種の固有表現の継続，O (Other) はいずれの固
有表現でもないことを意味する．固有表現が${J}$種類ある場合，固有表
現ごとにBタグとIタグが存在し，どの固有表現でもない単語にはOが対応するの
で，BIOタグ数は${2J+1}$種類存在する．各単語にはいずれか1種類のタグが付
与されるが，BIOタグ系列には接続制約がある．例えば，固有表現がI
タグから始まってはいけない．また，BIOタグ体系の他にも，同種の固有表現の終端を表すE (End) 
や1単語からなる固有表現を表すS (Single) のタグを加えたBIESOタグ体系で記述されることもある．


\subsection{実世界情報を用いた自然言語処理}

実世界情報を用いた自然言語処理の研究はいくつか存在するが，その多くは教
師なし学習を用いてマルチモーダルなベクトル表現を獲得する手法である．そ
れらに対し，本研究はテキストに付随した実世界情報を用いて固有表現認識を
直接解く．

Bruniらは，テキストのベクトルと画像のベクトル表現の一種である
Bag-of-Visual-Wordsに特異値分解 (SVD) を用いることでマルチモーダルなベク
トルを獲得する手法を提案した\cite{bruni2014}．似た手法を用いて音情報を用いた
ベクトルを獲得する研究がある\cite{lopopolo2015}．これはテキスト側のベクトルは潜在的
意味解析 (LSA) を用いて獲得し，音情報のベクトルはBag-of-Audio-Wordsを用い
た．NgiamらやSrivastava and Salakhutdinovは教師なし学習のニューラルネッ
トワークであるdeep restricted Boltzmann machinesを用いて，マルチモーダ
ルなベクトルを獲得する手法を提案した\cite{ngiam2011,srivastava2012}．これはテキストとそのテ
キストに対応した画像，またはテキストとそのテキストに対応した音情報などのペア
から学習し，隠れ層から分散表現を獲得する手法である．また，Ngiamらはマルチ
モーダルなベクトルを獲得した後，獲得したベクトルを入力として用いて，音声認
識や画像検索などの教師あり学習を行う手法を提案した\cite{ngiam2011}．Silberer and
Lapataは深層学習を用いてマルチモーダルなベクトルを獲得する手法を提案した
\cite{silberer2014}．

単語の分散表現にマルチモーダル情報を用いる研究がある．単語の分散表現と
は，自然言語処理においてよく用いられる低次元の実数値ベクトルであ
り，word2vec\ \cite{mikolov2013a,mikolov2013b}がよく用いられる．Lazaridouらはword2vecを拡張し，画像
情報と組み合わせる手法を提案した\cite{lazaridou2015}．Kiela and Clarkも同様に
word2vecを音情報と組み合わせる手法を提案した\cite{kiela2015}．


\subsection{将棋の局面を用いた自然言語処理}

Kamekoらは，将棋の局面に将棋解説文が付与された将棋解説コーパスを用い
て，ニューラルネットワークを応用した将棋解説文のための単語分割手法を提案している
\cite{kameko-mori-tsuruoka:2015:EMNLP}．この手法は，まず将棋局面情報を
入力とするニューラルネットワークを用いることで将棋用語辞書を獲得し，得
られた将棋用語辞書を用いて単語分割を行うことで単語分割の精度向上を実現
している．具体的には，将棋用語辞書を作成するために，まず確率的単語分割
手法により確率的に単語分割されたコーパスを生成する．次に，将棋局面情報を
入力とし，確率的コーパスの単語を出力とするフィードフォワード型のニュー
ラルネットワークを学習し，学習されたニューラルネットワークを用いて単語
候補をスコア付けし抽出することで，将棋用語辞書が得られる．本研究と彼
らの研究との違いは次の通りである．(1) 彼らは局面の素性に，コン
ピュータ将棋プログラムを用いて作成した複雑な素性を用いているが，本研究
では単純な駒の位置情報のみを素性として用いていること，(2) 彼らは将棋の
局面との対応により事前に獲得しておいた語彙を参照し単語分割している
が，本研究では将棋の局面との対応を直接参照して固有表現認識を行うことが
挙げられる．


\section{将棋解説コーパス}
\label{sec-corpus}

将棋は2人で行うボードゲームで $9 \times 9$ のマスの盤面と成った駒も含めて14種類の駒を用い
る．盤面上の駒の配置と持ち駒からゲームの状態に関するすべての情報が得られる
完全情報ゲームである．将棋にはプロ制度があり，日々多数のプロ間の対局が行われている．多
くの対局には，対局者以外のプロが解説を行い，その解説文がインターネットで配信されてい
る．

本稿で用いる将棋解説コーパス\cite{shogi-corpus}は，将棋の解説文に対
して単語分割と固有表現タグが人手で与えられた注釈つきテキストデータであ
る．固有表現は，将棋の解説に特化されており，
\tabref{tab-NER-tags}のように21種類が定義されている．出現割合はコーパス中に出現する各固有表現の割合を示す．実際のアノテーショ
ンは，BIO2形式であり，各単語ごとにBIOタグが1つ付与されており，タグの種
類数は43種類 ($21 \times 2 + 1 = 43$) ある．

\begin{table}[t]
\caption{将棋の固有表現の種類とその意味}
\label{tab-NER-tags}
\input{01table01.txt}
\end{table}

各解説文には，解説の対象となる局面が対応付けされており，ほとんどの解説
文は局面に関するコメントをしているが，局面に関係のないコメント（対局者に
関する情報など）も少量含まれる．局面の情報は，解説文が言及する実世界情
報とみなすことができ，これを参照することによる固有表現認識が本稿の中
心となるアイデアである．


\section{提案手法}

将棋解説文の固有表現認識を行うために用いたフィードフォワード型のニュー
ラルネットワークと実世界情報（将棋の局面）の事前学習について説明する．


\subsection{ニューラルネットワークの構成}

\figref{fig-DNN}は実世界を参照する固有表現認識のニューラルネットワーク
の全体図である．テキストの素性は，左側の入力層に$(f_1^t,f_2^t,\ldots ,f_n^t)$
として入力する．図の右下の5つの層は実世界に関するニューラルネットワーク
であり，\ $(f_1^r,f_2^r,\ldots,f_m^r)$に実世界情報の素性を入力する．図の上側の
ニューラルネットワークでテキスト情報と実世界情報を統合して固有表現認識
を行う．実世界に関するニューラルネットワークの中間層の層数については開
発データを用いて調整する\footnote{後述する実験では，中間層の層数を0層
  から5層まで変えて開発データで実験した結果，4層の場合が最も精度が高かっ
  たため，テストデータに対する実験で4層を用いて評価した．}．このネットワー
クは出力層において，注目している単語が属する各タグの確率を出力する．

\begin{figure}[t]
\begin{center}
\includegraphics{24-5ia1f1.eps}
\end{center}
\caption{実世界を参照する固有表現認識のためのディープニューラルネットワーク}
\label{fig-DNN}
\end{figure}


\subsection{実世界情報の事前学習の入力とテキストの入力}

実世界情報は，\figref{fig-DNN}の右下に示されるニューラルネットワークの入
力として参照される．本研究では実世界情報として，\figref{fig-features}に示すように
盤面上の全てのマス ($9 \times 9$)における先手と後手を区別した駒の種類
($2 \times 14$)の有無に対応する 2,268 次元 ($2{,}268 = 9 \times 9 \times 2 \times 14$) のバイナリ素性と，持ち駒を記述する先手と後手の7種類の駒の個数に対応する
14次元($14 = 7 \times 2$)の整数素性の合計 2,282 次元の素性を用いる．

\tabref{tab-text-features}に実験で用いたテキスト素性を示す．$w_{i}$
は現在着目し，タグを推定している単語であり，単語の素性には1-of-$k$
表現を用いた．$type(w)$は$w$の文字の種類，平仮名，片仮名，漢字，数字，
記号やそれらの組み合わせを表し，$pos(w)$は$w$の品詞を表す．

\begin{figure}[p]
\begin{center}
\includegraphics{24-5ia1f2.eps}
\end{center}
\caption{将棋盤面の素性}
\label{fig-features}
\end{figure}
\begin{table}[p]
\caption{タグを推定している$w_{i}$のテキスト素性}
\label{tab-text-features}
\input{01table02.txt}
\end{table}
\begin{figure}[p]
\begin{center}
\includegraphics{24-5ia1f3.eps}
\end{center}
\caption{Stacked auto-encoder}
\label{fig-SAE}
\end{figure}


\subsection{実世界情報の事前学習}
\label{sec:learning-and-labeling}

本研究では事前学習手法の一つであるSAEを用いて実世界情
報の事前学習を行う．\figref{fig-SAE}の左側のように，まず3層のニューラ
ルネットワークの入力層と出力層に同じ実世界情報を与え，入力されたベクト
ルと同じベクトルを出力として予測するニューラルネットワークを学習する．
このとき中間層の次元数を入力層よりも少ない次元数とすることで，
中間層において次元圧縮された実世界情報を得ることができる．次に
\figref{fig-SAE}の中央のように，出力層を取り除き，新しい中間層を1つ増や
したネットワークを再定義する．その後，先ほど得られた中間層（下から2層目）
のベクトルと同じベクトルを出力層で予測するニューラルネットワークを学
習する．このとき，新しく定義しなおした部分（上から3層）の重みのみを更新し
ていく．同様に，層を積み重ねることで，より深く一般化された特徴量
($a_1,a_2,\ldots,a_l$)を学習することができる．本研究では，実世界情報のみ
を用いて事前学習を行うこととする．


\subsection{テキスト情報と実世界情報の統合}
\label{sec:consolidation}

事前学習後，テキスト情報側のニューラルネットワークと実世界情報側のニュー
ラルネットワークを統合し，固有表現認識タスク用にファインチューニングを
行う．固有表現認識器のネットワークは出力層において，タグの種類数のユニッ
ト（本研究では43個）が存在する．学習の際には，テキスト側の素性とそのテキ
ストに対応する実世界情報側の素性を入力とし，各単語の正解のBIOタグの尤度
が最大になるように，\figref{fig-DNN}に示されているニューラルネットワー
ク全体が最適化される．具体的には，中間層の活性化関数には標準シグモイド
関数を用い，出力層ではソフトマックス関数を用いて各タグの確率を出力し，損
失関数には交差エントロピー誤差を用いる．したがって，固有表現認識のた
めの中間層だけでなく，事前学習された実世界情報側のニューラルネットワー
クも同時に調整される．


\subsection{最適タグ列の探索}
\label{sec:viterbi}

固有表現認識は各単語に対するBIOタグを推定することで実現されるが，各単
語ごとに確率が最も高いBIOタグを出力すると，推定した固有表現がIタグから
始まってしまう場合など，BIOタグ制約を満たさない場合がある．本研究では
BIOタグ制約を満たすために，各タグの推定確率を用いて，ビタビアルゴリズ
ムを適用し，制約を満たす遷移のみからなる確率最大のBIOタグ列を探索する．


\section{評価実験}

提案手法の有効性を確認するために，固有表現認識の実験を行った．この章で
は，まず評価の方法を説明する．その後，実験設定を説明し，それぞれの結果を提示する．


\subsection{評価の方法}

評価の方法として以下のように定義される再現率と適合率，F値を用いる（式(\ref{math:h-mean})参照）．ここで正解数は\figref{fig-eval-sample}のように，将棋解
説コーパスに出現する実際の固有表現とシステムが出力した固有表現の始点
と終点が完全に一致した数である．これらに加えて各単語のタグ一致率も調べ
た．
\begin{equation}
  \begin{split}
再現率 &= \frac{正解数}{コーパスに出現する固有表現の総数}   \\[1zh]
適合率 &= \frac{正解数}{システムが出力した固有表現の総数}   \\[1zh]
{\rm F}値 &= \frac{2 \cdot 適合率 \cdot 再現率}{適合率 + 再現率} 
\end{split}
\label{math:h-mean}
\end{equation}

\begin{figure}[b]
\begin{center}
\includegraphics{24-5ia1f4.eps}
\end{center}
\caption{評価方法}
\label{fig-eval-sample}
\end{figure}
\begin{table}[b]
\caption{将棋解説コーパスの諸元}
\label{tab-corpus}
\input{01table03.txt}
\end{table}
\begin{table}[b]
\caption{将棋盤面埋め込みに用いたニューラルネットワークの各層の次元数}
\label{tab-layers}
\input{01table04.txt}
\end{table}


\subsection{実験設定}

実験には将棋解説コーパスを用いた（\ref{sec-corpus}章参照）．
\tabref{tab-corpus}に実験で用いたコーパスの詳細を示す．まず，将棋の局面
情報のみを用いて事前学習を行い，学習されたネットワークを用いて固有表現
認識器を構築した．  \tabref{tab-layers}に局面を事前学習する際に用いた各
層の次元数を示す．今回の実験では，中間層の層数$0\sim5$層に設定し，それぞ
れの中間層での次元数は固定して実験を行った．中間層の次元数は開発セット
を用いて，F値が最も高くなるよう調整し，今回は中間層の層数を4層にした．
また，既存手法として，条件付き確率場(CRF)
\cite{Lafferty:2001:CRF:645530.655813}と実世界情報を用いないディープ
ニューラルネットワーク（テキスト情報のみを用いたディープニューラルネッ
トワーク）を提案手法と比較した．このとき従来手法と提案手法では同じテキ
スト素性を用いており，ハイパーパラメータは開発セットを用いて調整した．テ
キスト素性では各単語の品詞情報も用いるが，将棋解説コーパスは単語分割は与えられて
いるが各単語の品詞情報は与えられていない．そのため，
KyTea\footnote{http://www.phontron.com/kytea/}を用いて品詞推定を
行った．


\subsection{実験結果}

\tabref{tab-result}に実験の結果を示す．提案
手法の有効性を示すために従来手法の「CRF」（条件付き確率場），「DNN」（ディープニューラルネットワーク）を比較対象とした．「局面」は局面
の参照（\ref{sec:learning-and-labeling}，\ref{sec:consolidation}節参
照）を示しており，「DNN + 局面」は提案手法である．\tabref{tab-result}よ
り，「CRF」よりも「DNN」が精度が高く，ディープニューラルネットワークが
固有表現認識に効果的であることが分かる．また，いずれの従来手法よりも提
案手法の精度が高く，実世界情報を用いることで，「CRF」，「DNN」よりも
「DNN + 局面」の方がそれぞれ1.57ポイント，0.64ポイント高かった．提案手法のBIOタグ推
定精度は「CRF」と「DNN」の精度に対して，マクネマー検定において有意水準
$1\%$で統計的に有意差があった．これより，テキスト情報と実世界情報を用い
た提案手法の有効性が確認できる．

\begin{table}[b]
\caption{固有表現認識の結果}
\label{tab-result}
\input{01table05.txt}
\end{table}

将棋解説コーパスを詳しくみると，各単語に対するOタグ（どの固有表現でもな
い単語）の割合は約$68\%$であり，固有表現はPi （駒名）やOt （その他重要な
表現）などが多く出現する．「DNN」での出力と「DNN + 局面」の出力を比較し局面
を参照することによる精度向上を分析すると，正解はOtの単語に対し，「DNN」
では不正解でOタグを出力しているが，「DNN + 局面」では適切にOtを出力する
例が多数あり，局面を参照することにより，不正解から正解に変化した固有表現
の約$1/3$がOtに関する単語であった．例えば，「応手」や「効果」，「バリケー
  ド」などが提案手法では正しくOtと認識されていた．「と金」や「と」は歩
が成った駒を指し，提案手法では正しくPiと認識できた例があった．これは実世
界情報としてその駒に対する素性が効いていると考えられ，と金の局面素性を発火
させずに入力した際にはPiに分類する確率が低下した．また，「DNN」の適合率
に比べ，「DNN + 局面」の適合率は減少している．これは，出力が一致せず，ど
ちらの出力も不正解の固有表現が12個存在したが，そのほとんどについて「DNN」
ではOタグを出力しており，「DNN + 局面」では何らかの固有表現タグを出力し
ているためである．例えば，St （戦型名）の固有表現「橋本流」に対し，「DNN」ではOを出力し，「DNN + 局面」ではOtを出力していた．


\begin{figure}[t]
\begin{center}
\includegraphics{24-5ia1f5.eps}
\end{center}
\caption{事前学習の際，層数を変化させたときの精度（F値）}
\label{fig-analysis}
\end{figure}

局面情報を事前学習した際の
SAEの中間層の層数を変化させた場合の精度（F値）の変化を
\figref{fig-analysis}に示す．中間層0層のときは事前学習せずに局面情報を
入力とした場合の精度である．\figref{fig-analysis}より，中間層$0\sim1$層のとき
はテキスト情報のみを用いた「DNN」よりも精度が低く，中間層$2\sim5$層のときに
「DNN」よりも精度が高くなった．これより，ある程度次元圧縮された局面情報
が有効であることがわかる．

局面情報は精度を向上させたが，その差はわずかである．それは，固有表現イン
スタンスの多くはTu （手番）やPi （駒名），Po （位置）であるが，それらはテキ
ストのみの情報でも高精度で認識することができており，局面情報を加えるこ
とで精度向上が見込めるSt （戦型）やCa （囲い）のインスタンスは割合が少ない
ためと考えられる．


\section{おわりに}

本稿では，新たな固有表現認識の解法として，実世界情報の参照を提案した．
提案手法では，全体の枠組みとしてディープニューラルネットワークを用いる．
まず実世界情報だけを用いてSAEの事前学習を行い，これを
テキスト情報のみを参照する通常の固有表現認識器と統合し，統合されたニュー
ラルネットワークの再学習を行う．

実験では，将棋解説に駒の配置という実世界情報と固有表現タグが付与された
将棋解説コーパスを用いた．将棋解説コーパスに対する固有表現認識の精度評
価を行い，既存手法に対する優位性や実世界情報参照の効果を実験的に示した．

本稿で提案した実世界情報を参照する固有表現認識の手法は，将棋解説コーパ
スのように実世界情報と固有表現タグが付与されたコーパスが利用可能であれ
ば，実世界情報の素性とテキスト素性を同時に入力することができるため，他ド
メインの固有表現認識にも適用することが可能である．また，入力される実世
界情報によってはネットワークの構造を変更する必要がある（画像情報の入力
には畳み込みニューラルネットワークを用いる等）．例えば，ニュース記事とそ
れに付随した画像情報を参照することにより，一般の固有表現認識の精度向上
が期待できる．


\acknowledgment

本研究の一部は，The 54th Annual Meeting of the Association for Computational Linguistics (ACL 2016) で発表したものである\cite{tomori-ninomiya-mori:2016:P16-2}．

本研究はJSPS科研費26540190及び25280084の助成を受けたものである．
ここに謝意を表する．



\bibliographystyle{jnlpbbl_1.5}
\begin{thebibliography}{}

\bibitem[\protect\BCAY{Borthwick}{Borthwick}{1999}]{Borthwick:1999:MEA:930095}
Borthwick, A.~E. \BBOP 1999\BBCP.
\newblock {\Bem A Maximum Entropy Approach to Named Entity Recognition}.
\newblock Ph.D.\ thesis, New York, NY, USA.
\newblock AAI9945252.

\bibitem[\protect\BCAY{Bruni, Tran, \BBA\ Baroni}{Bruni
  et~al.}{2014}]{bruni2014}
Bruni, E., Tran, N.~K., \BBA\ Baroni, M. \BBOP 2014\BBCP.
\newblock \BBOQ Multimodal Distributional Semantics.\BBCQ\
\newblock {\Bem Journal of Artificial Intelligence Research}, {\Bbf 49},
  \mbox{\BPGS\ 1--47}.

\bibitem[\protect\BCAY{Finkel, Grenager, \BBA\ Manning}{Finkel
  et~al.}{2005}]{Finkel:2005:INI:1219840.1219885}
Finkel, J.~R., Grenager, T., \BBA\ Manning, C. \BBOP 2005\BBCP.
\newblock \BBOQ Incorporating Non-local Information into Information Extraction
  Systems by Gibbs Sampling.\BBCQ\
\newblock In {\Bem Proceedings of the 43rd Annual Meeting on Association for
  Computational Linguistics}, \mbox{\BPGS\ 363--370}.

\bibitem[\protect\BCAY{Kameko, Mori, \BBA\ Tsuruoka}{Kameko
  et~al.}{2015}]{kameko-mori-tsuruoka:2015:EMNLP}
Kameko, H., Mori, S., \BBA\ Tsuruoka, Y. \BBOP 2015\BBCP.
\newblock \BBOQ Can Symbol Grounding Improve Low-Level NLP? Word Segmentation
  as a Case Study.\BBCQ\
\newblock In {\Bem Proceedings of the 2015 Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 2298--2303}, Lisbon, Portugal.
  Association for Computational Linguistics.

\bibitem[\protect\BCAY{Karpathy, Joulin, \BBA\ Li}{Karpathy
  et~al.}{2014}]{NIPS2014_5281}
Karpathy, A., Joulin, A., \BBA\ Li, F.~F. \BBOP 2014\BBCP.
\newblock \BBOQ Deep Fragment Embeddings for Bidirectional Image Sentence
  Mapping.\BBCQ\
\newblock In Ghahramani, Z., Welling, M., Cortes, C., Lawrence, N., \BBA\
  Weinberger, K.\BEDS, {\Bem Advances in Neural Information Processing Systems
  27}, \mbox{\BPGS\ 1889--1897}. Curran Associates, Inc.

\bibitem[\protect\BCAY{Kiela \BBA\ Clark}{Kiela \BBA\ Clark}{2015}]{kiela2015}
Kiela, D.\BBACOMMA\ \BBA\ Clark, S. \BBOP 2015\BBCP.
\newblock \BBOQ Multi- and Cross-Modal Semantics Beyond Vision: Grounding in
  Auditory Perception.\BBCQ\
\newblock In {\Bem Proceedings of the 2015 Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 2461--2470}, Lisbon, Portugal.
  Association for Computational Linguistics.

\bibitem[\protect\BCAY{Kiros, Salakhutdinov, \BBA\ Zemel}{Kiros
  et~al.}{2014}]{icml2014c2_kiros14}
Kiros, R., Salakhutdinov, R., \BBA\ Zemel, R. \BBOP 2014\BBCP.
\newblock \BBOQ Multimodal Neural Language Models.\BBCQ\
\newblock In {\Bem Proceedings of the 31st International Conference on Machine
  Learning}, \mbox{\BPGS\ 595--603}.

\bibitem[\protect\BCAY{Lafferty, McCallum, \BBA\ Pereira}{Lafferty
  et~al.}{2001}]{Lafferty:2001:CRF:645530.655813}
Lafferty, J.~D., McCallum, A., \BBA\ Pereira, F. C.~N. \BBOP 2001\BBCP.
\newblock \BBOQ Conditional Random Fields: Probabilistic Models for Segmenting
  and Labeling Sequence Data.\BBCQ\
\newblock In {\Bem Proceedings of the 18th International Conference on Machine
  Learning}, ICML '01, \mbox{\BPGS\ 282--289}, San Francisco, CA, USA. Morgan
  Kaufmann Publishers Inc.

\bibitem[\protect\BCAY{Lazaridou, Pham, \BBA\ Baroni}{Lazaridou
  et~al.}{2015}]{lazaridou2015}
Lazaridou, A., Pham, N.~T., \BBA\ Baroni, M. \BBOP 2015\BBCP.
\newblock \BBOQ Combining Language and Vision with a Multimodal Skip-gram
  Model.\BBCQ\
\newblock In {\Bem Proceedings of the 2015 Conference of the North American
  Chapter of the Association for Computational Linguistics: Human Language
  Technologies}, \mbox{\BPGS\ 153--163}.

\bibitem[\protect\BCAY{Lopopolo \BBA\ van Miltenburg}{Lopopolo \BBA\ van
  Miltenburg}{2015}]{lopopolo2015}
Lopopolo, A.\BBACOMMA\ \BBA\ van Miltenburg, E. \BBOP 2015\BBCP.
\newblock \BBOQ Sound-based distributional models.\BBCQ\
\newblock In {\Bem Proceedings of the 11th International Conference on
  Computational Semantics}, \mbox{\BPGS\ 70--75}.

\bibitem[\protect\BCAY{Ma \BBA\ Hovy}{Ma \BBA\ Hovy}{2016}]{ma-hovy:2016:P16-1}
Ma, X.\BBACOMMA\ \BBA\ Hovy, E. \BBOP 2016\BBCP.
\newblock \BBOQ End-to-end Sequence Labeling via Bi-directional
  LSTM-CNNs-CRF.\BBCQ\
\newblock In {\Bem Proceedings of the 54th Annual Meeting of the Association
  for Computational Linguistics (Volume 1: Long Papers)}, \mbox{\BPGS\
  1064--1074}.

\bibitem[\protect\BCAY{Mikolov, Chen, Corrado, \BBA\ Dean}{Mikolov
  et~al.}{2013a}]{mikolov2013a}
Mikolov, T., Chen, K., Corrado, G., \BBA\ Dean, J. \BBOP 2013a\BBCP.
\newblock \BBOQ Efficient Estimation of Word Representations in Vector
  Space.\BBCQ\
\newblock In {\Bem arXiv preprint arXiv:1301.3781}.

\bibitem[\protect\BCAY{Mikolov, Sutskever, Chen, Corrado, \BBA\ Dean}{Mikolov
  et~al.}{2013b}]{mikolov2013b}
Mikolov, T., Sutskever, I., Chen, K., Corrado, G.~S., \BBA\ Dean, J. \BBOP
  2013b\BBCP.
\newblock \BBOQ Distributed Representations of Words and Phrases and Their
  Compositionality.\BBCQ\
\newblock {\Bem Advances in Neural Information Processing Systems}, {\Bbf 26},
  \mbox{\BPGS\ 3111--3119}.

\bibitem[\protect\BCAY{Mori, Richardson, Ushiku, Sasada, Kameko, \BBA\
  Tsuruoka}{Mori et~al.}{2016}]{shogi-corpus}
Mori, S., Richardson, J., Ushiku, A., Sasada, T., Kameko, H., \BBA\ Tsuruoka,
  Y. \BBOP 2016\BBCP.
\newblock \BBOQ A Japanese Chess Commentary Corpus.\BBCQ\
\newblock In {\Bem Proceedings of the 10th International Conference on Language
  Resources and Evaluation}, \mbox{\BPGS\ 1415--1420}.

\bibitem[\protect\BCAY{Ngiam, Khosla, Kim, Nam, Lee, \BBA\ Ng}{Ngiam
  et~al.}{2011}]{ngiam2011}
Ngiam, J., Khosla, A., Kim, M., Nam, J., Lee, H., \BBA\ Ng, A. \BBOP 2011\BBCP.
\newblock \BBOQ Multimodal Deep Learning.\BBCQ\
\newblock In {\Bem Proceedings of the 28th International Conference on Machine
  Learning}, \mbox{\BPGS\ 689--696}.

\bibitem[\protect\BCAY{Ratinov \BBA\ Roth}{Ratinov \BBA\
  Roth}{2009}]{Ratinov:2009:DCM:1596374.1596399}
Ratinov, L.\BBACOMMA\ \BBA\ Roth, D. \BBOP 2009\BBCP.
\newblock \BBOQ Design Challenges and Misconceptions in Named Entity
  Recognition.\BBCQ\
\newblock In {\Bem Proceedings of the 13th Conference on Computational Natural
  Language Learning}, CoNLL '09, \mbox{\BPGS\ 147--155}.

\bibitem[\protect\BCAY{Settles}{Settles}{2004}]{Biomedical.Named.Entity.Recognition.Using.Conditional.Random.Fields.and.Rich.Feature.Sets}
Settles, B. \BBOP 2004\BBCP.
\newblock \BBOQ Biomedical Named Entity Recognition Using Conditional Random
  Fields and Rich Feature Sets.\BBCQ\
\newblock In {\Bem Proceedings of the International Joint Workshop on Natural
  Language Processing in Biomedicine and its Applications}, \mbox{\BPGS\
  33--38}.

\bibitem[\protect\BCAY{Silberer \BBA\ Lapata}{Silberer \BBA\
  Lapata}{2014}]{silberer2014}
Silberer, C.\BBACOMMA\ \BBA\ Lapata, M. \BBOP 2014\BBCP.
\newblock \BBOQ Learning Grounded Meaning Representations with
  Autoencoders.\BBCQ\
\newblock In {\Bem Proceedings of the 52nd Annual Meeting of the Association
  for Computational Linguistics (Volume 1: Long Papers)}, \mbox{\BPGS\
  721--732}.

\bibitem[\protect\BCAY{Socher, Karpathy, Le, Manning, \BBA\ Ng}{Socher
  et~al.}{2014}]{Socher_groundedcompositional}
Socher, R., Karpathy, A., Le, Q.~V., Manning, C.~D., \BBA\ Ng, A.~Y. \BBOP
  2014\BBCP.
\newblock \BBOQ Grounded Compositional Semantics for Finding and Describing
  Images with Sentences.\BBCQ\
\newblock {\Bem Transactions of the Association for Computational Linguistics},
  {\Bbf 2}, \mbox{\BPGS\ 207--218}.

\bibitem[\protect\BCAY{Srivastava \BBA\ Salakhutdinov}{Srivastava \BBA\
  Salakhutdinov}{2012}]{srivastava2012}
Srivastava, N.\BBACOMMA\ \BBA\ Salakhutdinov, R. \BBOP 2012\BBCP.
\newblock \BBOQ Multimodal Learning with Deep Boltzmann Machines.\BBCQ\
\newblock In {\Bem Advances in Neural Information Processing Systems 25},
  \mbox{\BPGS\ 2222--2230}.

\bibitem[\protect\BCAY{Tjong Kim~Sang \BBA\ De~Meulder}{Tjong Kim~Sang \BBA\
  De~Meulder}{2003}]{TjongKimSang:2003:ICS:1119176.1119195}
Tjong Kim~Sang, E.~F.\BBACOMMA\ \BBA\ De~Meulder, F. \BBOP 2003\BBCP.
\newblock \BBOQ Introduction to the CoNLL-2003 Shared Task:
  Language-independent Named Entity Recognition.\BBCQ\
\newblock In {\Bem Proceedings of the 7th Conference on Natural Language
  Learning at HLT-NAACL 2003---Volume 4}, CoNLL '03, \mbox{\BPGS\ 142--147}.

\bibitem[\protect\BCAY{Tomori, Ninomiya, \BBA\ Mori}{Tomori
  et~al.}{2016}]{tomori-ninomiya-mori:2016:P16-2}
Tomori, S., Ninomiya, T., \BBA\ Mori, S. \BBOP 2016\BBCP.
\newblock \BBOQ Domain Specific Named Entity Recognition Referring to the Real
  World by Deep Neural Networks.\BBCQ\
\newblock In {\Bem Proceedings of the 54th Annual Meeting of the Association
  for Computational Linguistics (Volume 2: Short Papers)}, \mbox{\BPGS\
  236--242}.

\end{thebibliography}

\begin{biography}

\end{biography}

\bioauthor{友利　　涼}{
2016年愛媛大学工学部卒業．
同年より京都大学大学院情報学研究科修士課程在学．}
\bioauthor{二宮　　崇}{
2001年東京大学大学院理学系研究科情報科学専攻博士課程修了．
同年より科学技術振興事業団研究員．
2006年より東京大学情報基盤センター講師．
2010年より愛媛大学大学院理工学研究科准教授，2017年同教授．
東京大学博士（理学）．言語処理学会，情報処理学会，人工知能学会，電子情報通信学会，日本データベース学会，ACL\ 各会員．}
\bioauthor{森　　信介}{
1998年京都大学大学
院工学研究科電子通信工学専攻博士後期課程修了．同年，日本アイ・ビー・
エム株式会社入社．2007年より京都大学学術情報メディアセンター准教
授，2016年同教授．京都大学博士（工学）．1997年情報処理学会山下記念研
究賞受賞．2010年，2013年情報処理学会論文賞受賞．2010年第58回電
気科学技術奨励賞受賞．言語処理学会，情報処理学会，日本データベース学会，ACL各会員．
}

\biodate



\end{document}
