\documentclass[tombow,japanese]{jnlp_2.3}
\usepackage{jnlpbbl_1.3}
\usepackage[dvipdfm]{graphicx}
\usepackage{gentombow}
\usepackage{amsmath}
\settombowbleed{5mm}
\usepackage{hangcaption_jnlp}


\usepackage{url}
\newcommand{\figref}[1]{}
\newcommand{\tabref}[1]{}
\renewcommand\UrlFont{\rmfamily}


\Volume{26}
\Number{4}
\Month{December}
\Year{2019}

\received{2019}{7}{1}
\accepted{2019}{8}{30}

\setcounter{page}{663}

\jsubject{一般論文}
\jtitle{複単語表現を考慮した依存構造コーパスの構築と解析}
\jauthor{加藤　明彦\affiref{Author_1} \and 進藤　裕之\affiref{Author_1} \and 松本　裕治\affiref{Author_1}\affiref{Author_2}}
\jabstract{
複単語表現 (MWE) は統語的または意味的な非構成性を有する複数の単語からなるまとまりである．統語的な依存構造の情報を利用し，かつ意味理解が必要なタスクでは，単語ベースの依存構造よりもMWEを考慮した依存構造，即ち MWE を統語的な単位とする依存構造の方が好ましい．広範囲の連続MWEを依存構造で考慮するために，本稿では Ontonotes コーパスに対して新たに形容詞MWEを注釈し，複合機能語と形容詞 MWE の双方を考慮した依存構造コーパスを構築した．また，意味理解が必要なタスクでは句動詞などの非連続な出現を持ちうる MWE（動詞 MWE）の認識も重要である．依存構造の情報は動詞 MWE 認識で有効な特徴量として働くと期待されるため，本稿では連続MWEを考慮した依存構造と動詞 MWE の双方を予測する問題に取り組む．前者については以下の 3 つのモデルを検討する: (a) 連続MWE認識と，MWE を考慮した依存構造解析のパイプライン，(b) 連続MWEの範囲を依存関係ラベルとして符号化した head-initial な依存構造を解析するモデル，および (c) 連続MWE認識と上記 (b) の階層的マルチタスク学習モデルである．実験の結果，連続MWE認識ではパイプラインモデルとマルチタスクモデルがほぼ同等のF値を示し，head-initial な依存構造の解析器を 1.7 ポイント上回った．動詞MWE認識では系列ラベリングベースの認識器を上述のマルチタスクモデルに組み込むことで F 値が 1.3 ポイント向上した．}
\jkeywords{複単語表現，依存構造解析，言語資源}

\etitle{Construction and Analysis of Multiword Expression-aware Dependency Corpus}
\eauthor{Akihiko Kato\affiref{Author_1} \and Hiroyuki Shindo\affiref{Author_1} \and Yuji Matsumoto\affiref{Author_1}\affiref{Author_2}}
\eabstract{
Multiword expressions (MWEs) consist of multiple words with syntactic or semantic non-compositionality. Natural Language Processing (NLP) tasks exploiting syntactic dependency information and requiring the understanding of the meaning of texts prefer the use of MWE-aware dependency trees (MWE-DTs)---where each MWE is a syntactic unit---to word-based dependency trees. To treat various continuous MWEs as syntactic units in dependency trees, this study conducts adjective MWE annotations on the OntoNotes corpus and constructs a dependency corpus that is aware of both the functional and adjective MWEs. In NLP tasks requiring a semantic understanding, it is also important to recognize verbal MWEs (VMWEs) such as phrasal verbs, which are likely to have discontinuous occurrences. Since dependency information can be used as an effective feature in VMWE recognition, this study examines the tasks to predict both MWE-DTs and VMWEs. For MWE-DTs, it explores the following three models: (a) a pipeline model of continuous MWE recognition (CMWER) and MWE-aware dependency parsing, (b) a model to predict a word-based dependency tree that encodes MWE spans as dependency labels (the head-initial dependency parser), and (c) the hierarchical multitask learning (HMTL) model of CMWER and the model in (b). The experimental results show that the pipeline and HMTL-based models show similar F1-scores in CMWER, which are 1.7 points better than the F1-score of the head-initial dependency parser. With respect to VMWE recognition, the results show an F1 improvement of 1.3 points by integrating the sequential labeler into the above mentioned HMTL-based model.}
\ekeywords{Multiword Expressions, Dependency Parsing, Dependency Corpus}

\headauthor{加藤，進藤，松本}
\headtitle{複単語表現を考慮した依存構造コーパスの構築と解析}
\affilabel{Author_1}{奈良先端科学技術大学院大学先端科学技術研究科}{Graduate School of Science and Technology, Nara Institute of Science and Technology}
\affilabel{Author_2}{理化学研究所革新知能統合研究センター (AIP)}{RIKEN Center for Advanced Intelligence Project}



\begin{document}
\maketitle


\section{はじめに}
\label{sec:introduction}

複単語表現 (MWE) は，統語的もしくは意味的な単位として扱う必要がある，複数の単語からなるまとまりである \cite{Sag:2002}．

MWEはその文法的役割に基づいて以下の4種に分類することができる（\tabref{tab:categories_of_mwes}）:(1) 複合機能語\footnote{本稿では副詞，接続詞，前置詞，限定詞，代名詞，助動詞，to不定詞，感動詞のいずれかとして機能するMWEを複合機能語として定義する．} ({\it a number of}，{\it even though})，(2) 形容詞MWE ({\it dead on one's feet}，{\it out of business})，(3) 動詞MWE (VMWE) ({\it pick up}，{\it make a decision})，(4) 複合名詞 ({\it traffic light})．これ以降，MWEの文法的役割をMWE全体品詞と呼ぶことにする．

\begin{table}[b]
\caption{複単語表現 (MWE) の文法的役割に基づく分類}
\label{tab:categories_of_mwes}
\input{01table01.tex}
\end{table}

上記の中でも特に複合機能語は統語的な非構成性を持ちうる．即ち，構成単語の品詞列から複合機能語のMWE全体品詞が予測し難い，というケースがしばしば存在する．たとえば，``by and large'' は次の文で副詞として機能しているが，構成単語の品詞列（``IN''（前置詞または従属接続詞），``CC''（並列接続詞），``JJ''（形容詞））からこれを予測することは難しい．
\begin{quote}
{\bf \underline{By and large}}, these efforts have borne fruit.
\end{quote}

このようにMWEはしばしば非構成性を持つため，テキストの意味を自動理解する上でMWE認識は重要なタスクである \cite{newman:2012,berend:2011}．

また，統語的な依存構造の情報を利用する応用タスクにおいて，
    MWEを考慮した依存構造（\figref{fig:a_number_of}b）の方が単語ベースの依存構造（\figref{fig:a_number_of}a）よりも好ましいと考えられる．
MWEを考慮した依存構造では各MWEが統語的な単位となっているのに対し，単語ベースの依存構造ではMWEの範囲は表現されていない．MWEを考慮した依存構造の利点を享受しうる応用タスクの例としてはイベント抽出が挙げられる \cite{Bjorne2017}．イベント抽出ではイベントトリガーの検出とイベント属性値の同定が必要となるが，イベントトリガーとイベント属性値のいずれもMWEになりうる．また，イベントトリガーとイベント属性値を結ぶ依存構造上の最短経路は，しばしばイベント属性値の同定において特徴量として利用されている \cite{Li:2013}．

\begin{figure}[b]
\begin{center}
\includegraphics{26-4ia1f1.eps}
\end{center}
\hangcaption{単語ベースの依存構造とMWEを考慮した依存構造の比較．前者ではMWE (``a number of'') の範囲が表現されていないのに対して，後者ではMWEが依存構造の単位となっている．}
\label{fig:a_number_of}
\end{figure}

上述のように，MWEを考慮した依存構造解析は重要な研究課題である．そこで次にMWEを考慮した依存構造コーパスの構築方法について述べる．

伝統的に，英語の依存構造コーパスはPenn Treebank \cite{Marcus:1994}などのツリーバンク（句構造コーパス）からの自動変換によって構築されてきた．しかし既存のほとんどの英語ツリーバンクでは，MWEが句構造の部分木になっていることは保証されていない（\figref{fig:not_subtree}）．このため，句構造からの自動変換で得られた依存構造において，MWEの構成単語群を単純にマージすることによって，MWEを考慮した依存構造を得られるとは限らない（\figref{fig:a_number_of}） \cite{Kato:2016}．

本稿ではこれ以降，あるMWEが句構造の部分木になっている時，{\bf MWEが句構造と整合的である}，と記述する．コーパス中の全てのMWEの出現が句構造と整合的であるならば，我々はこれを{\bf MWEと整合的な句構造コーパス}，と記述する．

\citeA{Kato:2016} は Ontonotes 5.0 \cite{Pradhan:2007}をMWEと整合的にすることによって，MWEを考慮した依存構造コーパスを構築した．しかし\citeA{Kato:2016}は複合機能語のみを対象としており，他のMWEは取り扱っていない．

\begin{figure}[t]
\begin{center}
\includegraphics{26-4ia1f2.eps}
\end{center}
\hangcaption{MWEの範囲が句構造のいずれの部分木の範囲とも一致しない場合の例．図中の矩形はMWEの範囲を示す．}
\label{fig:not_subtree}
\end{figure}

そこで本稿では，より多くの種類のMWEをカバーするために，新たに形容詞MWEのアノテーションを行う．その上で，Ontonotesコーパスが複合機能語および形容詞MWEと整合的になるように句構造木を修正する．その後，依存構造への自動変換を行い，MWEを考慮した大規模な依存構造コーパスを構築する（\ref{sec:corpus}章）．

依存構造に新たに統合するMWEとして，形容詞MWEを選択した理由を以下に述べる．第一に，複合名詞は統語的には構成的であるため，依存構造中の単位として扱うことで得られる利点は限定的である．また，複合名詞は高い生産性を持つため，辞書マッチングによる候補抽出を行うと，十分な網羅率が得られない可能性がある．したがって，複合名詞については，辞書に依存しないコーパスアノテーションが望ましいため，形容詞MWEよりもアノテーションコストが高い．第二に，動詞MWE (VMWE) は一般に非連続な出現を持ちうるため ({\it {\bf pick} .. {\bf up}})，句構造で部分木としてまとめる事ができないケースが存在する．このため，VMWEを考慮した依存構造コーパスを構築するためには，連続MWEとは異なるアプローチが必要となる．この点は今後の課題とする．

また，文の意味理解が必要な応用タスクにおいては，句動詞など，非連続な出現を持ちうるMWE (VMWE) の認識も重要である．VMWEの認識を行う上で，連続MWEを考慮した依存構造，特に，依存構造中の動詞からparticleや直接目的語へのエッジは，有用な特徴量として利用できると期待される．そこで本研究では所与の文に対して，(i) 連続MWE（複合機能語と形容詞MWE）を考慮した依存構造，(ii) VMWEの双方を予測する問題に取り組む（\ref{sec:model}章）．

連続MWEを考慮した依存構造解析のモデルとしては，以下の3者を検討する：(a) 連続MWE認識を系列ラベリングとして定式化し，予測した連続MWEを単一ノードにマージした上で依存構造解析を行うパイプラインモデル，(b) 連続MWEの範囲と全体品詞を依存関係ラベルとして符号化し（head-initialな依存構造），単語ベースの依存構造解析を行うモデル (Single-task(parser))，そして (c) 上記 (b) および，連続MWE認識との階層的マルチタスク学習モデル (HMTL) \cite{Sanh:2018}である．HMTLでは，上位タスクのエンコーダーは，下位タスクのエンコーダーからの出力と，単語分散表現などの入力特徴量の双方を受け取る．HMTLを用いる動機を以下に述べる．連続MWEを考慮した依存構造解析は，連続MWE認識と，連続MWEを統語構造の単位とする依存構造解析とに分解できる．したがって，head-initialな依存構造の解析器を単体で学習させるよりも，連続MWE認識を下位タスクとして位置付け，下位タスクのエンコーダーが捉えた特徴量も利用した方が，解析精度が向上すると期待される．Head-initialな依存構造の解析は，Deep biaffine parser \cite{Dozat:2017}を用いて行い，連続MWE認識器としてはbi-LSTM-CNNs-CRFモデル \cite{Ma:2016}を用いる．本研究でOntonotes上に構築した，複合機能語と形容詞MWEを考慮した依存構造コーパスを用いた実験の結果，連続MWE認識については，パイプラインモデルとHMTLベースのモデルがほぼ同等のF値を示し，Single-task (parser) を，連続MWE認識のF値で約1.7ポイント上回っていることを確認した．依存構造解析については，テストセット全体およびMWEを含む文において，各手法はほぼ同等のラベルなし正解率 (UAS) を示した．一方，正解のMWEの先頭単語に着目すると，Single-task (parser) およびHMTLベースのモデルがパイプラインモデルをUASで少なくとも約1.4 ポイント上回った．また，VMWE認識については，MWEの構成単語間のギャップを扱えるように拡張したBIO方式 \cite{lrec_schneider:2014}を用いて系列ラベリングとして定式化し，(d) bi-LSTM-CNNs-CRFモデル (Single-task (VMWE)) および (e) 連続MWE認識，連続MWEを考慮した依存構造解析，Single-task (VMWE) のHMTL を検討する．VMWEのデータセットとしては，Ontonotesに対するVMWE アノテーションを用いる \cite{Kato:2018}．実験の結果，VMWE認識において，(e) が (d) に比べて，F値で約1.3ポイント上回ることを確認した．

本稿で構築した，複合機能語および形容詞MWEを考慮した依存構造コーパスはLDC2017T16\footnote{https://catalog.ldc.upenn.edu/LDC2017T16}の次版としてリリースする予定である．


\section{MWEを考慮した依存構造コーパスの構築}
\label{sec:corpus}

本章では，英語の複合機能語および形容詞MWEを考慮した依存構造コーパスの構築について述べる．本コーパスは，ツリーバンクおよびその上に付与したMWEアノテーションをもとに構築する．ツリーバンクとして，我々はOntonotes 5.0 \cite{Pradhan:2007}のWall Street Journal (WSJ) 部分を用いる．Ontonotes上のMWEアノテーションについては， \citeA{Shigeto:2013}の複合機能語アノテーションに加えて，今回新たに形容詞MWEアノテーションを行い，両者を併合する．


\subsection{複合機能語のアノテーション}
\label{sec:func_mwe_annotations}

複合機能語については， \citeA{Shigeto:2013}によるPenn Treebank \cite{Marcus:1994}のWSJ部分に対するアノテーションを用いる\footnote{本研究で新たに実施した形容詞MWEアノテーションの対象であるOntonotes 5.0のWSJ部分は，Penn TreebankのWSJ部分に含まれている．また，Shigetoらのアノテーションは固定された表現を対象としているため，複合助動詞（might have been など）は含まれていない．複合助動詞のアノテーションについては今後の課題とする．}．

\citeA{Shigeto:2013}は以下の4ステップで複合機能語のアノテーションを行っている．

\begin{enumerate}
\item 英語のWiktionary\footnote{https://en.wiktionary.org}から複合機能語を抽出することによって，MWE辞書を構築する．
\item 辞書マッチングによって，Penn Treebank上でMWEの出現候補を収集する．
\item 辞書中の各MWEについて，句構造木と品詞列をもとに，出現候補を複数のパターンに分類する．
\item 各MWEの各パターンについて，MWEとして用いられている（MWE用法）のか，あるいは字義通りの意味で用いられている（リテラル用法）のかを分類する．
\end{enumerate}


\subsection{形容詞MWEのアノテーション}
\label{sec:adj_mwe_annotations}

形容詞MWEのアノテーションについては以下の3ステップで行った．第一に，英語の
\linebreak
Wiktionaryを用いて形容詞MWEの辞書を構築した．この辞書には2,869種類の形容詞MWEが含まれる．次に，Ontonotes 5.0のWSJ部分に対して辞書マッチングを行った．この結果，304種類の形容詞MWEが，少なくとも1回，コーパス中に出現している事が確認された．第三に各MWEが，意味的な非構成性を有する語義を少なくとも一つ持つかどうかに応じて，上述の304種類の形容詞MWEを，後述する2つのグループに分割した．本研究では，Wiktionaryの語釈文の冒頭に ``idiomatic'' または ``figurative''（熟語もしくは比喩）と記載されているならば，当該の語義を，意味的な非構成性を有するものとして扱った．

\begin{enumerate}
\item 
意味的な非構成性を有する語義を少なくとも一つ持つMWE（69種類，380事例）については，各候補について語義曖昧性解消 (WSD) を行い，意味的な非構成性を有する語義に該当するかどうかに応じて，MWE用法もしくはリテラル用法へと分類した．ここでWSDに関しては以下の方針とした．まず，意味的な非構成性を有する語義が，特徴的な構文パターンに紐付いている場合には，句構造木や，MWE候補の構成単語の品詞列の情報を利用した自動アノテーションを行った\footnote{たとえば``to go'' が形容詞MWEとして用いられる場合，この2語のみで動詞句 (VP) をなすケースが支配的である（[例]: I have three more years {\it to go}.）．このため，句構造木で ``to go'' を最小被覆する部分木が ``to go'' 以外のトークンを含む場合には，リテラル用法とした．}．また，それ以外の場合には，筆者らによる人手アノテーションを行った．
\item 意味的な非構成性を有する語義を持たないMWE（235種類，1,034事例）については，以下の2ステップでアノテーションを行った．第一に，各MWE候補が句構造の部分木になっているかどうかに応じて，2つのグループ（後述のケース(A), (B)）に分割した．第二に，各MWE候補を統語的な非構成性の有無に応じて，MWE用法もしくはリテラル用法へと分類した．具体的には確率文脈自由文法 (PCFG) の，各MWE候補に関する生成規則が以下の条件を満たすならば，当該の候補をMWE用法として注釈した．
\begin{equation}
\Pr (ADJP \rightarrow t_{1} .. t_{n}) < 0.0008
\end{equation}
ここで $t_{1} .. t_{n}$ はMWE候補の構成単語の品詞列である．以下では上記の条件を $Cond_{PCFG}$ と表記する．なお，PCFGの生成規則は Ontonotes 5.0のWSJ部分の学習セット（セクション 02-21）から誘導した．
	\begin{description}
	\item[(A)]\mbox{}MWE候補が句構造の部分木になっている場合（457事例），以下の手順でアノテーションを実施した．以下では部分木の根の非終端記号をXと呼ぶことにする．
		\begin{enumerate}
		\renewcommand{\labelenumii}{}
		\setlength{\leftskip}{0.5cm}
		\item XがADJPの場合（\figref{fig:adjp}），当該のMWE候補が$Cond_{PCFG}$ を満たすならばMWE用法（\figref{fig:adjp}(a)）とし，満たさないならばリテラル用法とした（\figref{fig:adjp}(b), (c)）．
		\item XがPPの場合，当該の部分木が形容詞句として機能し，かつ，$Cond_{PCFG}$ を満たすならば，MWE用法として注釈した．
		\item XがADJPでもPPでもない場合にはリテラル用法とした．
		\end{enumerate}
	\vspace{3mm}
	\item[(B)]\mbox{} MWE候補が句構造のいずれの部分木にも該当しない場合（577事例），当該のMWE候補が形容詞句として機能し，かつ，$Cond_{PCFG}$ を満たすならば，MWE用法として注釈した（\figref{fig:mcc_or_crossing}）．
	\end{description}
\end{enumerate}

\begin{figure}[b]
\begin{center}
\includegraphics{26-4ia1f3.eps}
\end{center}
\hangcaption{MWEの範囲が，ADJPを根とする部分木に対応する例．PCFGの生成規則の確率に基づき，(a) はMWE用法として，(b)および(c)はリテラル用法として注釈する．}
\label{fig:adjp}
\end{figure}

上述した手順により，Ontonotes 5.0のWSJ部分に対して，83種類，198事例の形容詞MWEが注釈された．コーパス中に出現している形容詞MWEを構成単語の品詞列で分類したものを \tabref{tab:adj_mwe_pos_ptn}に示す．

\begin{figure}[t]
\begin{center}
\includegraphics{26-4ia1f4.eps}
\end{center}
\hangcaption{MWEの範囲が，句構造の部分木に対応しない場合の例．PCFGの生成規則の確率に基づき，(a) はMWE用法，(b)はリテラル用法として注釈する．}
\label{fig:mcc_or_crossing}
\vspace{0.5\Cvs}
\end{figure}

\begin{table}[t]
\caption{形容詞MWEの構成単語の品詞列，出現数，および具体例}
\label{tab:adj_mwe_pos_ptn}
\input{01table02.tex}
\vspace{-0.5\Cvs}
\end{table}


\subsection{MWEを考慮した依存構造コーパスの構築}
\label{sec:construction_of_mwe_aware_dep_corpus}

本研究では，複合機能語と形容詞MWEを考慮した依存構造コーパスを以下の3ステップで構築した．各手順については次節以降で詳述する．
\begin{description}
\item[(A)] 複合機能語アノテーションと形容詞MWEアノテーションの衝突を解決する．
\item[(B)] 句構造とMWEアノテーションの衝突を解決する．
\item[(C)] 句構造から依存構造への変換を行う．
\end{description}


\subsubsection{異種のMWEアノテーション間の衝突の解決}

我々はまず，複合機能語と形容詞MWEのアノテーションが，包含または重複関係にある事例を調査した．その結果，一部の形容詞MWEの範囲が，複合機能語の範囲を包含している事が分かった．たとえば以下の文において，形容詞MWEである ``out of business'' の範囲は，複合機能語である ``out of'' の範囲を包含している．
\begin{quote}
.. and putting unprofitable state-owned companies {\bf \underline{out of business}}.
\end{quote}
このような事例においては，より広い範囲のMWEアノテーションを残す形で衝突の解決を行った．この結果得られた，MWEアノテーションのコーパス統計量を \tabref{tab:fixed_mwe_aware_dep_corpus_stat}に示す．
\subsubsection{句構造とMWEアノテーションの衝突の解決}
我々は次に，句構造とMWEアノテーションの衝突を解決した．あるMWEアノテーションの範囲が，句構造のいずれの部分木にも該当しない場合，本研究では，句構造とMWEアノテーションが\textit{\textbf{衝突している}}，と表現する．

\begin{table}[b]
\caption{Ontonotes 5.0のWSJ部分に対して注釈された，複合機能語と形容詞MWEのコーパス統計量}
\label{tab:fixed_mwe_aware_dep_corpus_stat}
\input{01table03.tex}
\vspace{4pt}\small
RBは副詞，JJは形容詞，INは前置詞または従属接続詞，DTは限定詞，PRPは代名詞，TOはto不定詞，WRBはWH副詞，UHは感動詞を示す．なお，to不定詞，WH副詞，感動詞としては，``about to'', ``why not'', ``no way'' の各1種を注釈している．
\end{table}

\begin{figure}[b]
\begin{center}
\includegraphics{26-4ia1f5.eps}
\end{center}
\caption{``Multiple contiguous children'' における句構造木の修正．}
\label{fig:simple}
\end{figure}

句構造と複合機能語アノテーションの衝突は \citeA{Kato:2016}が構築したコーパスで，既に解決されている．そこで本研究では， \citeA{Kato:2016}のコーパスにおける，句構造と形容詞MWEアノテーションの衝突を，以下の2種類に分類した上で解決した \cite{Finkel:2009,Kato:2016}．

\begin{figure}[t]
\begin{center}
\includegraphics{26-4ia1f6.eps}
\end{center}
\caption{``Crossing brackets''  における句構造木の修正．}
\label{fig:complex}
\end{figure}

\begin{description}
\item[(1) Multiple contiguous children（\figref{fig:simple}）]\mbox{}\\ 
MWEの範囲が，複数の連続した部分木に対応する場合 \cite{Finkel:2009,Kato:2016}，MWEの範囲に相当する部分木群をまとめる中間ノードを挿入し，形容詞MWEであることを表す非終端記号 (``MWE\_JJ'') を付与する．
\pagebreak
\item[(2) Crossing brackets（\figref{fig:complex}）]\mbox{}\\ 
MWEの範囲が，句構造の部分木の範囲と部分重複する場合は，以下の手順でMWEを部分木としてまとめる．このケースの典型的な例として，形容詞MWEの範囲を含む部分木は，PPを根として持ち，子ノードとしてIN（前置詞または従属接続詞）とNP（名詞句）を持つ．
    このNPノードは，ネストしたNPおよびネストしたPPからなる（\figref{fig:complex}a）．
この様な事例では，形容詞MWEが，ネストしたPPの直前に出現している．この場合，MWEの範囲に相当する部分木群をまとめる中間ノードを挿入し，(1)と同様，形容詞MWEであることを表す非終端記号を付与する．
    また，ネストしたPPを，上位のPPの直下に移動させる（\figref{fig:complex}b）．
\end{description}


\subsubsection{句構造から依存構造への変換}

最後に，句構造から依存構造への変換を行う，前処理として，MWEの範囲に対応する部分木を，MWE全体品詞を親，MWEの構成単語群をアンダースコアで連結したノード (words-with-spaces) を子とする木に置換する（\figref{fig:merge_tokens_in_MWE}）．その後，句構造木をStanford basic dependency \cite{deMarneffe:2008}に従う依存構造木に変換する\footnote{句構造から依存構造への変換にはStanford CoreNLP Ver.3.9.1を利用し，変換オプションは -basic \mbox{-keepPunct} -conllx -originalDependencies とした．オプション一覧については以下のサイトを参照されたい: https://nlp.stanford.edu/software/stanford-dependencies.html．}．

\begin{figure}[t]
\begin{center}
\includegraphics{26-4ia1f7.eps}
\end{center}
\caption{MWEの単一ノードへのマージ．}
\label{fig:merge_tokens_in_MWE}
\end{figure}


\section{連続MWEを考慮した依存構造解析，およびVMWE認識を行うためのモデル}
\label{sec:model}

本章では，連続MWEを考慮した依存構造解析およびVMWE認識を行うモデルアーキテクチャーについて述べる．


\subsection{連続MWEを考慮した依存構造解析}
\label{sec:fixed_mwe_aware_parsing_model}

本研究では，連続MWEを考慮した依存構造解析を行うためのモデルとして，以下の3者を検討する．
\begin{enumerate}
\renewcommand{\labelenumii}{}
\setlength{\leftskip}{0.5cm}
\item 系列ラベリングベースの認識器が予測した連続MWEを，単一ノードにマージした上で依存構造解析を行うパイプラインモデル（\figref{fig:parser_in_pipeline}）
\item 連続MWEの範囲と全体品詞を依存関係ラベルとして符号化し（head-initialな依存構造（\figref{fig:head_initial_dependency}）），単語ベースの依存構造解析を行うモデル
\item Head-initialな依存構造の解析と連続MWE認識の階層的マルチタスク学習 \cite{Sanh:2018}（\figref{fig:mtl_simple}）
\end{enumerate}
上記の各モデルにおける入力特徴量としては，単語分散表現，ELMo表現 \cite{Peters:2018}，文字レベルのCNN \cite{Kim:2016}を用いた単語表現の3者を連結したものを利用する．

\begin{figure}[t]
\begin{center}
\includegraphics{26-4ia1f8.eps}
\end{center}
\hangcaption{パイプラインモデルにおける依存構造解析のアーキテクチャー．系列ラベリングによって予測したMWEの範囲に渡って，隠れ状態ベクトルの平均を求め，後段のMLP（多層パーセプトロン）への入力として用いる．}
\label{fig:parser_in_pipeline}
\end{figure}
\begin{figure}[t]
\begin{center}
\includegraphics{26-4ia1f9.eps}
\end{center}
\caption{Head-initialな依存構造木の例．MWEの範囲と全体品詞が依存関係ラベルとして符号化されている．}
\label{fig:head_initial_dependency}
\end{figure}

パイプラインモデルにおいて，連続MWE認識についてはbi-LSTM-CNNs-CRFモデル \cite{Ma:2016}を，依存構造解析については \cite{Dozat:2017}のDeep biaffine parserを用いる．依存構造解析器のエンコーダーには，MWEをマージする前の入力文に相当するベクトル系列を入力する．そして，エンコーダーからの出力系列において，予測した連続MWEの範囲に渡って平均を取ったものをMWEの隠れ状態ベクトルとして利用し，後段の多層パーセプトロン (MLP) への入力に用いる（\figref{fig:parser_in_pipeline}）．Deep biaffine parserからの出力は，予測したMWEをマージした文に対する依存構造である．ただし学習時は，依存構造解析器が正解の木を予測できるように，正解のMWEの範囲を利用する．テスト時は連続MWE認識器が予測したMWEの範囲を利用する．

モデル (2) で用いるHead-initialな依存構造木（\figref{fig:head_initial_dependency}）では，連続MWEの範囲と全体品詞は依存関係ラベルとして符号化され，MWEの2番目以降の構成単語は，先頭単語を主辞として持つ．

モデル (3)，すなわち，Head-initialな依存構造の解析と連続MWE認識の階層的マルチタスク学習モデル (HMTL)（\figref{fig:mtl_simple}）では，上位タスクのエンコーダーは，下位タスクのエンコーダーからの出力だけでなく，単語分散表現などの入力特徴量も合わせて受け取る (shortcut connection \cite{Sanh:2018}) ．HMTLを用いる動機を以下に述べる．連続MWEを考慮した依存構造解析は，連続MWE認識と，連続MWEを統語構造上の単位とする依存構造解析とに分解できる．したがって，head-initialな依存構造の解析器を単体で学習させるよりも，連続MWE認識タスクのエンコーダーが捉えた特徴量も依存構造解析器で利用した方が，解析精度が向上すると期待される．

\begin{figure}[t]
\begin{center}
\includegraphics{26-4ia1f10.eps}
\end{center}
\hangcaption{連続MWE認識と，連続MWEを考慮した依存構造解析の階層的マルチタスク学習のアーキテクチャー．}
\label{fig:mtl_simple}
\end{figure}

\subsection{VMWE認識}

VMWE認識については，MWEの構成単語間のギャップを扱えるように拡張したBIO方式 \cite{lrec_schneider:2014}を用いて系列ラベリングとして定式化し（\figref{fig:extended_bio}），ベースラインとして，bi-LSTM-CNNs-CRFモデル \cite{Ma:2016}を用いる．

\begin{figure}[t]
\begin{center}
\includegraphics{26-4ia1f11.eps}
\end{center}
\hangcaption{VMWEの拡張BIO方式によるアノテーション．MWEの構成単語間に別の単語が存在する場合には oタグ (small outside tag) を付与する．}
\label{fig:extended_bio}
\end{figure}
\begin{figure}[t]
\begin{center}
\includegraphics{26-4ia1f12.eps}
\end{center}
\hangcaption{連続MWE認識，連続MWEを考慮した依存構造解析，およびVMWE認識の階層的マルチタスク学習のアーキテクチャー．下層から順に，連続MWE認識，連続MWEを考慮した依存構造解析，VMWE認識のエンコーダーをスタックさせたモデルとなっている．}
\label{fig:mtl_tandem}
\end{figure}

また，VMWE認識を行う上で，連続MWEを考慮した依存構造，特に，依存構造中の動詞からparticleや直接目的語へのエッジは，有用な特徴量として利用できると期待される．そこで本稿では，連続MWE認識，連続MWEを考慮した依存構造解析，VMWE認識の階層的マルチタスク学習 (HMTL) の効果を検証する．アーキテクチャーを \figref{fig:mtl_tandem}に示す．このモデルでは，下層から順に，連続MWE認識，連続MWEを考慮した依存構造解析，VMWE認識のエンコーダーをスタックさせる．これによって，VMWE認識タスクのエンコーダーは，連続MWEを考慮した依存構造解析タスクのエンコーダーが捉えた特徴量を利用できる．また，対照実験として，連続MWE認識とVMWE認識のHMTL，連続MWEを考慮した依存構造解析とVMWE認識のHMTLについても実験を行う．


\section{連続MWEを考慮した依存構造解析，およびVMWE認識を行うモデルの評価実験}
\label{sec:experiments}

本章では，連続MWEを考慮した依存構造解析，およびVMWE認識を行うモデルの評価実験について述べる．データセットとしては，本研究でOntonotes 5.0（WSJ部分）上に構築した，複合機能語および形容詞MWEを考慮した依存構造コーパス，および，\citeA{Kato:2018}で行われた，Ontonotes 5.0（WSJ部分）に対するVMWEアノテーションを用いる．


\subsection{実験設定および実装の詳細}

データ分割については先行研究に従い，Ontonotes 5.0（WSJ部分）のセクション2-21，22，23をそれぞれ学習，開発，テストに利用した．

VMWE認識については，上述したVMWEアノテーション \cite{Kato:2018}を用いた．この中には，複数のVMWEのアノテーションが部分重複する文がまれに存在する，これらの文に対するVMWE認識は系列ラベリングとして定式化することが難しいため，該当する文をデータセットから取り除いた上で実験を行った．該当する文は学習，開発，テストのそれぞれで，30,060文中13文，1,336文中0文，1,640文中2文である．

階層的マルチタスク学習に関しては \cite{Sanh:2018}に基づき，タスクごとに別々のデータセットを保持する．そして訓練事例数に応じた確率でランダムに選択したタスクのミニバッチを利用して学習を行う．本実験では各タスクの訓練事例数はほぼ同じであるが，上述したように複数のVMWEのアノテーションが部分重複する事例を取り除いている関係上，VMWE認識タスクは，連続MWE認識タスクおよび連続MWEを考慮した依存構造解析タスクに比べ，わずかに訓練事例数が少ない．学習の停止条件は，指定したエポック数に到達するか，開発セットの評価指標が指定したエポック数に渡り改善しないという事象が発生することである (Early stopping \cite{Prechelt:1998})．

Bi-LSTM-CNNs-CRFモデルおよびDeep biaffine parserはAllenNLPライブラリ \cite{Gardner:2017}をベースとして実装した．単語分散表現の初期値としては，Glove \cite{Pennington:2014} を用いた．ELMo表現を得るためのbi-LSTMネットワークとしては，One Billion Word Benchmarkコーパス \cite{Chelba:2013}で事前学習されたモデル\footnote{以下のURLから入手した: \url{https://s3-us-west-2.amazonaws.com/allennlp/models/elmo/2x4096_512_2048cnn_2xhighway/elmo_2x4096_512_2048cnn_2xhighway_{options.json | weights.hdf5}}}を用いた．連続MWEおよびVMWEの認識に用いたbi-LSTM-CNNs-CRFモデルにおいて，ドロップアウトはbi-LSTMへの入出力に対して適用した．連続MWEを考慮した依存構造解析に利用したDeep biaffine parserにおいて，ドロップアウトはbi-LSTMへの入出力と，依存構造の主辞推定および依存関係ラベル推定に関するMLPからの出力に対して適用した．


\subsubsection{系列ラベリングの学習における負例のダウンサンプリング}

本実験で利用する，連続MWEを考慮した依存構造コーパスにおいて，多くの文は連続MWEを1つも含んでいない．実際，テストセットでは，1,640文中，1,370文において，連続MWEは出現していない．これは，``O'' (outside) タグのみからなるラベル系列（負例）に相当する．VMWEについても，データセット中の多くの文でVMWEは出現していない．このようなラベルバイアス \cite{Leevy:2018}の影響を緩和するために，系列ラベリングベースの連続MWE認識およびVMWE認識の学習時に，ミニバッチ中で，負例が正例を文数で上回る場合には，損失関数に寄与する負例の事例数が正例と同一になるように，負例のダウンサンプリングを行った．


\subsubsection{ハイパーパラメーターとモデル選択}

利用したハイパーパラメーターの一覧を \tabref{tab:hypara}に示す．連続MWE認識のモデル選択は開発セットでのF値に基づいて行った．VMWE認識および，VMWE認識を含む階層的マルチタスク学習 (HMTL) については，開発セットでVMWEのF値が最大となるモデルを選択した．連続MWEを考慮した依存構造解析および上記以外のHMTLについては，開発セットでのラベルあり正解率 (LAS) が最大となるモデルを選択した．

\begin{table}[t]
\caption{本実験で利用したハイパーパラメーターの一覧}
\label{tab:hypara}
\input{01table04.tex}
\end{table}


\subsubsection{評価方法}

連続MWE認識については，MWEの範囲に関するF値 (FUM) または，MWEの範囲と全体品詞に関するF値 (FTM) を用いて評価を行う．Head-initialな依存構造（\figref{fig:head_initial_dependency}）の解析器を用いる場合，予測した依存構造中の依存関係ラベルとして表現されている連続MWEの範囲と全体品詞を予測結果として評価を行う．

VMWE認識については，予測したタグ系列から求めた，VMWEの構成単語群に関するFUMを評価指標として用いる．

依存構造についてはラベルなし正解率 (UAS)，ラベルあり正解率 (LAS) を用いて評価を行う\footnote{UASおよびLASの計算時には，句読点は評価対象外とする．}．連続MWE認識とのパイプラインモデルの場合，依存構造解析器は，予測したMWEをマージした文に対する依存構造を推定する．そのため，依存構造中のMWE由来のノードをhead-initialに展開した依存構造を正解と比較して，UASおよびLASを算出する．


\subsection{実験結果および考察}

テストセットに対する実験結果を \tabref{tab:exp-result}に示す．表中のSingle task (parser) はhead-initialな依存構造の解析器を単独で学習させた場合の結果である．また，Pipeline (continuous MWE + parser) は連続MWE認識器が予測したMWEの範囲を単一ノードにマージした上で依存構造解析を行う手法を示す．Pipelineモデルの連続MWE認識の精度は，系列ラベリングに基づく連続MWE認識器に対するものである．次にHMTL (continuous MWE + parser) は連続MWE認識とhead-initialな依存構造解析の階層的マルチタスク学習 (HMTL) に対する結果である．一方，Single task (VMWE) はVMWE認識器を示す．HMTL (continuous MWE + VMWE) は連続MWE認識とVMWE認識のHMTL，HMTL (parser + VMWE) は，連続MWEを考慮した依存構造解析とVMWE認識のHMTL，HMTL (continuous MWE + parser + VMWE) は，連続MWE認識，連続MWEを考慮した依存構造解析，VMWE認識のHMTLに対する結果である．

\begin{table}[t]
\caption{連続MWEを考慮した依存構造解析とVMWE認識に関する，テストセットでの実験結果}
\label{tab:exp-result}
\input{01table05.tex}
\par\vspace{4pt}\small
各数値は5回の独立した実験の平均である．HMTLは階層的マルチタスク学習の略語である．
\end{table}

まず連続MWE認識については，Pipeline(continuous MWE + parser)，HMTL (continuous MWE + parser)，HMTL (continuous MWE + VMWE)がほぼ同等のFUMを示し，Single task (parser) を約1.7ポイント上回った．このことから，連続MWE認識に関しては，依存構造解析器単体でhead-initialな依存構造を予測するよりも，系列ラベリングベースの手法や，連続MWE認識と依存構造解析またはVMWE認識との階層的マルチタスク学習を用いた方が良いことが分かる．

次に依存構造解析の結果について述べる．テストセット全体に対しては，各手法はほぼ同等のラベルなし正解率 (UAS)を示した．MWEを含む文（1,640文中，270文）に関しても，各手法はほぼ同等のUASを示している．MWEを構成するトークンの総数は，テストセット全体のトークン数の約1.9 \%であるため，MWEの内部係り受けや，MWEの内外をつなぐ係り受けの精度が手法間で異なっている場合でも，全体精度には現れにくいという点には注意が必要である．そこで，正解のMWEの先頭トークンに着目すると，HMTL (continuous MWE + parser) は Pipeline (continuous MWE + parser) を UASで約1.4 ポイント，LASで約1.5 ポイント上回った．階層的マルチタスク学習モデルはパイプラインモデルと異なり，連続MWE認識の結果を決定論的に用いるのではなく，連続MWE認識のエンコーダーからの出力を依存構造解析のエンコーダーの入力特徴量として利用している．このため，階層的マルチタスク学習モデルは，連続MWE認識で生じたエラーの影響が上位の依存構造解析に及びにくいという特徴を持っており，上記の実験結果は，この考察と符合している．また，HMTL (continuous MWE + parser) はSingle task (parser) とほぼ同等のUASおよびLASを示している．前者が後者よりも高い連続MWE認識精度を示している点を考慮すると，連続MWE認識と依存構造解析の階層的マルチタスク学習が効果的に機能していると言える．各手法の性能差をさらに詳細に比較するために，正解MWEの先頭単語に関する依存構造解析の精度を，連続MWEの全体品詞別に計算した結果を \tabref{tab:breakdown}に示す．この表を見ると，複合前置詞または複合従属接続詞 (MWE-IN) の先頭単語を子に持つ係り受けエッジの推定については，連続MWE認識を含む階層的マルチタスク学習モデルが効果的である事がわかる．一方，複合副詞 (MWE-RB) の先頭単語については，Single task (parser) が最も高いUASを示しており，VMWE認識を含む階層的マルチタスク学習モデル群を少なくとも4.8ポイント上回っている．

\begin{table}[b]
\hangcaption{連続MWEの全体品詞別に見た，正解MWEの先頭単語に関する依存構造解析のテストセットでの精度}
\label{tab:breakdown}
\input{01table06.tex}
\vspace{4pt}\small
全体品詞がPRP（人称代名詞）のケース（出現数: 5）については全手法のUAS，LASが100\% のため，省略している．
\end{table}

最後にVMWE認識については，連続MWE認識タスクおよび連続MWEを考慮した依存構造解析の双方と組み合わせたHMTLを行うことで，FUMが約1.3ポイント向上した．連続MWEの範囲はHead-initialな依存構造木の内部に表現されているため，HMTL (parser + VMWE) と HMTL (continuous MWE + parser + VMWE) とで，モデルに与えている教師情報は同一である．それにも関わらず，VMWE認識のFUMで約1.0ポイントの差が見られたという結果は，間接的に連続MWE認識を行う依存構造解析タスクの学習で得られる特徴量だけでなく，系列ラベリングとして定式化した連続MWE認識タスクの学習によって得られる特徴量も与えた方がVMWE認識にとって有利であることを示唆している．また，HMTL (continuous MWE + VMWE) よりもHMTL (continuous MWE + parser + VMWE) の方がFUMで約2.5ポイント上回っているという結果は，依存構造解析器が捉えた構文情報がVMWE認識にとって有効に働いていることを示唆している．


\section{関連研究}
\label{sec:related_work}

まず，MWEを考慮した統語構造コーパスについて述べる．フランス語MWEを考慮した依存構造解析 \cite{Candito:2014}では，French Treebank \cite{french_treebank:2003}を依存構造コーパスに変換したデータセットがよく用いられている．一方，英語MWEを考慮した依存構造解析に利用できるデータセットは限られている． \citeA{lrec_schneider:2014}はEnglish Web Treebank \cite{Bies:2012}上にMWEアノテーションを行っているが，MWEの範囲が句構造の部分木に一致することは保証されていない．また，彼らのコーパスは全体で約3,800文と，依存構造解析の学習データとしては大規模とは言えない．これに対して本研究で構築したコーパスは，Ontonotes 5.0のWSJ部分全体（約37,000文）をカバーし，かつ，MWEアノテーションが句構造の部分木に一致することを保証している（\ref{sec:construction_of_mwe_aware_dep_corpus}節）．

次に，MWEを考慮した統語解析についての関連研究を紹介する．まず \citeA{Green:2013}は，MWE専用の非終端記号を用いることによって，句構造解析の中で連続MWE認識を行う手法を提案している．彼らは文脈自由文法もしくは木置換文法に基づく手法を検討している．次に \citeA{Candito:2014}は，依存構造とフランス語MWEの双方を推定するタスクに取り組んでいる．彼女らは，統語的な特異性を持たない（統語的に正則な）MWEについては，head-initialな依存構造（\ref{sec:fixed_mwe_aware_parsing_model}章）ではなく，MWE内部の統語構造を捉えたデータ表現を採用しており，解析時には，統語的に正則なMWEの内部構造も予測するモデルを検討している．彼女らの手法では，MWE認識は依存構造解析の前後，もしくは同時に行われる．第三に \citeA{Constant:2016}は，依存構造と，MWEを含む語彙的な単位 (lexical unit) の集合との同時予測に取り組んでいる．これら 2 つの構造は語彙要素 (lexical element)，即ち，トークンまたは統語的に非構成的なMWEを共有している．Lexical unitでは，各MWEは句構造に類似した木として表現されるため，ネストや非連続な出現を考慮することができる．彼らは通常の依存構造解析器を拡張した遷移ベースのシステムを用いており，スタックとバッファ上のノードの，表層形や品詞タグの組み合わせ，および，構築中の部分木や遷移履歴など．古典的な遷移ベースの依存構造解析で用いられている素性を採用している． \citeA{Constant:2016}が統語的に非構成的なMWEを考慮した依存構造と，lexical unitsの同時予測を取り扱っているのに対し，本研究は，連続MWEを統語的な単位とする依存構造と，非連続な出現を持ちうるVMWEとの同時予測に取り組んでいる．本研究では意味理解が必要なタスクで利用しやすい依存構造を提供するために，統語的に非構成的なMWEに限らず，広範囲の連続MWEを依存構造に統合している．第四に \citeA{Kato:2017,Kato:2016}は，英語のOntonotes上で複合機能語と固有表現の範囲が句構造の部分木と一致することを保証したコーパスを構築し，複合機能語と固有表現を考慮した依存構造解析の実験に利用している．モデルとしては (1) 連続MWE認識と依存構造解析のパイプライン， (2) head-initialな依存構造を単語ベースの依存構造解析器で推定するモデルの2つの手法を検討している． \citeA{Kato:2017}は，連続MWE認識を系列ラベリングとして定式化し，Conditional Random Fields (CRF) \cite{Lafferty:2001}を用いている．また，依存構造解析器としては，Arc-eager型の遷移システム \cite{Nivre:2003}を用いている．本研究は \citeA{Kato:2017}を基礎としているが，より広範囲のMWEをカバーするために，新たに形容詞MWEを注釈し， \citeA{Kato:2017}とは異なり，ニューラルネットワークベースのモデル群を検討している．また連続MWEだけでなく，非連続な出現を持ちうるVMWEの認識にも取り組んでいる．

最後にVMWEが注釈された言語資源について述べる．近年，VMWE認識のシェアードタスクがPARSEME\footnote{https://typo.uni-konstanz.de/parseme/}によって開催されており \cite{Ramisch:2018,Savary:2017}，アノテーションガイドラインと，約20言語に対する79,326事例のVMWEアノテーションが提供されている．このシェアードタスクに取り組んでいる関連研究としては
 \citeA{Klyueva:2017,Berk:2018}が挙げられる．まず \citeA{Klyueva:2017}はVMWE認識を系列ラベリングとして定式化し，双方向GRU (gated-recurrent unit)\cite{Cho:2014}を用いて解析を行っている．また， \citeA{Berk:2018}は本研究と同じくbiLSTM-CRFモデルを用いている．


\section{結論}

本研究では，複合機能語と形容詞MWEの双方を考慮した依存構造コーパスをOntonotes上に構築した．また，連続MWEを考慮した依存構造とVMWEの双方を予測する問題に取り組んだ．連続MWEを考慮した依存構造解析では以下の3つのモデルを検討した：(a) 連続MWE認識と連続MWEを考慮した依存構造解析のパイプライン，(b) 連続MWEの範囲と全体品詞を依存関係ラベルとして符号化した，単語ベースの依存構造解析 (Single-task(parser))，そして(c) 連続MWE認識とSingle-task (parser) の階層的マルチタスク学習モデル (HMTL) である．実験の結果，連続MWE認識ではパイプラインモデルとHMTLベースのモデルがほぼ同等のF値を示し，Single-task (parser) をF値で約1.7ポイント上回った．依存構造解析については，テストセット全体およびMWEを含む文において，各手法はほぼ同等のラベルなし正解率 (UAS) を示した．正解のMWEの先頭単語に着目すると，Single-task (parser) およびHMTLベースのモデルがパイプラインモデルをUASで少なくとも約1.4 ポイント上回った．VMWE認識では，系列ラベリングベースの認識器を，連続MWE認識器および連続MWEを考慮した依存構造解析器と階層的マルチタスク学習させることにより，F値が約1.3ポイント向上した．今後の課題としては (1) VMWEや，修飾語を取りうるsemi-fixed MWE \cite{Constant:2016,Morimoto:2016}の依存構造への統合， (2) 複合助動詞のOntonotesへのアノテーションおよび依存構造への統合が挙げられる．


\acknowledgment

本研究の一部はJST CREST（課題番号：JPMJCR1513）の支援を受けて行いました．また，有益なコメントをくださった査読者の皆様に感謝いたします．英文校正に関し，Enago (www.enago.jp) 社に感謝いたします．


\bibliographystyle{jnlpbbl_1.5}
\begin{thebibliography}{}

\bibitem[\protect\BCAY{Abeill{\'{e}}, Cl{\'{e}}ment, \BBA\
  Toussenel}{Abeill{\'{e}} et~al.}{2003}]{french_treebank:2003}
Abeill{\'{e}}, A., Cl{\'{e}}ment, L., \BBA\ Toussenel, F. \BBOP 2003\BBCP.
\newblock {\Bem Building a Treebank for French}, \mbox{\BPGS\ 165--187}.
\newblock Springer Netherlands, Dordrecht.

\bibitem[\protect\BCAY{Berend}{Berend}{2011}]{berend:2011}
Berend, G. \BBOP 2011\BBCP.
\newblock \BBOQ Opinion Expression Mining by Exploiting Keyphrase
  Extraction.\BBCQ\
\newblock In {\Bem IJCNLP}, \mbox{\BPGS\ 1162--1170}. Asian Federation of
  Natural Language Processing.

\bibitem[\protect\BCAY{Berk, Erden, \BBA\ G{\"{u}}ng{\"{o}}r}{Berk
  et~al.}{2018}]{Berk:2018}
Berk, G., Erden, B., \BBA\ G{\"{u}}ng{\"{o}}r, T. \BBOP 2018\BBCP.
\newblock \BBOQ Deep-BGT at PARSEME Shared Task 2018: Bidirectional LSTM-CRF
  Model for Verbal Multiword Expression Identification.\BBCQ\
\newblock In {\Bem Proceedings of the Joint Workshop on Linguistic Annotation,
  Multiword Expressions and Constructions (LAW-MWE-CxG-2018)}, \mbox{\BPGS\
  248--253}, Santa Fe, New Mexico, USA. Association for Computational
  Linguistics.

\bibitem[\protect\BCAY{Bies, Mott, Warner, \BBA\ Kulick}{Bies
  et~al.}{2012}]{Bies:2012}
Bies, A., Mott, J., Warner, C., \BBA\ Kulick, S. \BBOP 2012\BBCP.
\newblock \BBOQ English Web Treebank.\BBCQ\
\newblock {\Bem Technical Report LDC2012T13, Linguistic Data Consortium,
  Philadelphia, Pennsylvania, USA.}

\bibitem[\protect\BCAY{Bj{\"{o}}rne, Ginter, \BBA\ Salakoski}{Bj{\"{o}}rne
  et~al.}{2017}]{Bjorne2017}
Bj{\"{o}}rne, J., Ginter, F., \BBA\ Salakoski, T. \BBOP 2017\BBCP.
\newblock \BBOQ EPE 2017: The Biomedical Event Extraction Downstream
  Application.\BBCQ\
\newblock In {\Bem Proceedings of the 2017 Shared Task on Extrinsic Parser
  Evaluation (EPE 2017) at the Fourth International Conference on Dependency
  Linguistics (Depling 2017) and the 15th International Conference on Parsing
  Technologies (IWPT 2017)}, \mbox{\BPGS\ 17--24}. Association for
  Computational Linguistics.

\bibitem[\protect\BCAY{Candito \BBA\ Constant}{Candito \BBA\
  Constant}{2014}]{Candito:2014}
Candito, M.\BBACOMMA\ \BBA\ Constant, M. \BBOP 2014\BBCP.
\newblock \BBOQ Strategies for Contiguous Multiword Expression Analysis and
  Dependency Parsing.\BBCQ\
\newblock In {\Bem Proceedings of the 52nd Annual Meeting of the Association
  for Computational Linguistics (Volume 1: Long Papers)}, \mbox{\BPGS\
  743--753}. Association for Computational Linguistics.

\bibitem[\protect\BCAY{Chelba, Mikolov, Schuster, Ge, Brants, \BBA\
  Koehn}{Chelba et~al.}{2014}]{Chelba:2013}
Chelba, C., Mikolov, T., Schuster, M., Ge, Q., Brants, T., \BBA\ Koehn, P.
  \BBOP 2014\BBCP.
\newblock \BBOQ One Billion Word Benchmark for Measuring Progress in
  Statistical Language Modeling.\BBCQ\
\newblock In {\Bem INTERSPEECH}, \mbox{\BPGS\ 2635--2639}.

\bibitem[\protect\BCAY{Cho, van Merrienboer, Bahdanau, \BBA\ Bengio}{Cho
  et~al.}{2014}]{Cho:2014}
Cho, K., van Merrienboer, B., Bahdanau, D., \BBA\ Bengio, Y. \BBOP 2014\BBCP.
\newblock \BBOQ On the Properties of Neural Machine Translation:
  Encoder-Decoder Approaches.\BBCQ\
\newblock In {\Bem SSST@EMNLP}, \mbox{\BPGS\ 103--111}.

\bibitem[\protect\BCAY{Constant \BBA\ Nivre}{Constant \BBA\
  Nivre}{2016}]{Constant:2016}
Constant, M.\BBACOMMA\ \BBA\ Nivre, J. \BBOP 2016\BBCP.
\newblock \BBOQ A Transition-Based System for Joint Lexical and Syntactic
  Analysis.\BBCQ\
\newblock In {\Bem Proceedings of ACL}, \mbox{\BPGS\ 161--171}. Association for
  Computational Linguistics.

\bibitem[\protect\BCAY{Dozat \BBA\ Manning}{Dozat \BBA\
  Manning}{2017}]{Dozat:2017}
Dozat, T.\BBACOMMA\ \BBA\ Manning, C.~D. \BBOP 2017\BBCP.
\newblock \BBOQ Deep Biaffine Attention for Neural Dependency Parsing.\BBCQ\
\newblock {\Bem ArXiv}, {\Bbf abs/1611.01734}.

\bibitem[\protect\BCAY{Finkel \BBA\ Manning}{Finkel \BBA\
  Manning}{2009}]{Finkel:2009}
Finkel, R.~J.\BBACOMMA\ \BBA\ Manning, D.~C. \BBOP 2009\BBCP.
\newblock \BBOQ Joint Parsing and Named Entity Recognition.\BBCQ\
\newblock In {\Bem Proceedings of Human Language Technologies: The 2009 Annual
  Conference of the North American Chapter of the Association for Computational
  Linguistics}, \mbox{\BPGS\ 326--334}. Association for Computational
  Linguistics.

\bibitem[\protect\BCAY{Gardner, Grus, Neumann, Tafjord, Dasigi, Liu, Peters,
  Schmitz, \BBA\ Zettlemoyer}{Gardner et~al.}{2017}]{Gardner:2017}
Gardner, M., Grus, J., Neumann, M., Tafjord, O., Dasigi, P., Liu, N.~F.,
  Peters, M., Schmitz, M., \BBA\ Zettlemoyer, L.~S. \BBOP 2017\BBCP.
\newblock \BBOQ AllenNLP: A Deep Semantic Natural Language Processing
  Platform.\BBCQ\
\newblock In {\Bem Proceedings of Workshop for NLP Open Source Software
  (NLP-OSS)}, \mbox{\BPGS\ 1--6}.

\bibitem[\protect\BCAY{Green, de~Marneffe, \BBA\ Manning}{Green
  et~al.}{2013}]{Green:2013}
Green, S., de~Marneffe, M.-C., \BBA\ Manning, C.~D. \BBOP 2013\BBCP.
\newblock \BBOQ Parsing Models for Identifying Multiword Expressions.\BBCQ\
\newblock {\Bem Computational Linguistics}, {\Bbf 39}  (1), \mbox{\BPGS\
  195--227}.

\bibitem[\protect\BCAY{Kato, Shindo, \BBA\ Matsumoto}{Kato
  et~al.}{2016}]{Kato:2016}
Kato, A., Shindo, H., \BBA\ Matsumoto, Y. \BBOP 2016\BBCP.
\newblock \BBOQ Construction of an English Dependency Corpus Incorporating
  Compound Function Words.\BBCQ\
\newblock In {\Bem Proceedings of the 10th International Conference on Language
  Resources and Evaluation (LREC '16)}, \mbox{\BPGS\ 1667--1671}.

\bibitem[\protect\BCAY{Kato, Shindo, \BBA\ Matsumoto}{Kato
  et~al.}{2017}]{Kato:2017}
Kato, A., Shindo, H., \BBA\ Matsumoto, Y. \BBOP 2017\BBCP.
\newblock \BBOQ English Multiword Expression-aware Dependency Parsing Including
  Named Entities.\BBCQ\
\newblock In {\Bem Proceedings of the 55th Annual Meeting of the Association
  for Computational Linguistics (Volume 2: Short Papers)}, \mbox{\BPGS\
  427--432}, Vancouver, Canada. Association for Computational Linguistics.

\bibitem[\protect\BCAY{Kato, Shindo, \BBA\ Matsumoto}{Kato
  et~al.}{2018}]{Kato:2018}
Kato, A., Shindo, H., \BBA\ Matsumoto, Y. \BBOP 2018\BBCP.
\newblock \BBOQ Construction of Large-scale English Verbal Multiword Expression
  Annotated Corpus.\BBCQ\
\newblock In {\Bem Proceedings of the 11th International Conference on Language
  Resources and Evaluation (LREC)}, \mbox{\BPGS\ 2495--2499}, Miyazaki, Japan.
  European Language Resources Association (ELRA).

\bibitem[\protect\BCAY{Kim, Jernite, Sontag, \BBA\ Rush}{Kim
  et~al.}{2016}]{Kim:2016}
Kim, Y., Jernite, Y., Sontag, D.~A., \BBA\ Rush, A.~M. \BBOP 2016\BBCP.
\newblock \BBOQ Character-Aware Neural Language Models.\BBCQ\
\newblock In {\Bem AAAI}, \mbox{\BPGS\ 2741--2749}.

\bibitem[\protect\BCAY{Klyueva, Doucet, \BBA\ Straka}{Klyueva
  et~al.}{2017}]{Klyueva:2017}
Klyueva, N., Doucet, A., \BBA\ Straka, M. \BBOP 2017\BBCP.
\newblock \BBOQ Neural Networks for Multi-Word Expression Detection.\BBCQ\
\newblock In {\Bem Proceedings of the 13th Workshop on Multiword Expressions
  (MWE 2017)}, \mbox{\BPGS\ 60--65}, Valencia, Spain. Association for
  Computational Linguistics.

\bibitem[\protect\BCAY{Lafferty, McCallum, \BBA\ Pereira}{Lafferty
  et~al.}{2001}]{Lafferty:2001}
Lafferty, J.~D., McCallum, A., \BBA\ Pereira, F. C.~N. \BBOP 2001\BBCP.
\newblock \BBOQ Conditional Random Fields: Probabilistic Models for Segmenting
  and Labeling Sequence Data.\BBCQ\
\newblock In {\Bem Proceedings of the 18th International Conference on Machine
  Learning}, ICML '01, \mbox{\BPGS\ 282--289}, San Francisco, CA, USA. Morgan
  Kaufmann Publishers Inc.

\bibitem[\protect\BCAY{Leevy, Khoshgoftaar, Bauder, \BBA\ Seliya}{Leevy
  et~al.}{2018}]{Leevy:2018}
Leevy, J.~L., Khoshgoftaar, T.~M., Bauder, R.~A., \BBA\ Seliya, N. \BBOP
  2018\BBCP.
\newblock \BBOQ A Survey on Addressing High-class Imbalance in Big Data.\BBCQ\
\newblock {\Bem Journal of Big Data}, {\Bbf 5}, \mbox{\BPGS\ 1--30}.

\bibitem[\protect\BCAY{Li, Ji, \BBA\ Huang}{Li et~al.}{2013}]{Li:2013}
Li, Q., Ji, H., \BBA\ Huang, L. \BBOP 2013\BBCP.
\newblock \BBOQ Joint Event Extraction via Structured Prediction with Global
  Features.\BBCQ\
\newblock In {\Bem ACL}, \mbox{\BPGS\ 73--82}.

\bibitem[\protect\BCAY{Ma \BBA\ Hovy}{Ma \BBA\ Hovy}{2016}]{Ma:2016}
Ma, X.\BBACOMMA\ \BBA\ Hovy, E.~H. \BBOP 2016\BBCP.
\newblock \BBOQ End-to-end Sequence Labeling via Bi-directional
  LSTM-CNNs-CRF.\BBCQ\
\newblock {\Bem ArXiv}, {\Bbf abs/1603.01354}.

\bibitem[\protect\BCAY{Marcus, Kim, Marcinkiewicz, MacIntyre, Bies, Ferguson,
  Katz, \BBA\ Schasberger}{Marcus et~al.}{1994}]{Marcus:1994}
Marcus, M., Kim, G., Marcinkiewicz, M.~A., MacIntyre, R., Bies, A., Ferguson,
  M., Katz, K., \BBA\ Schasberger, B. \BBOP 1994\BBCP.
\newblock \BBOQ The Penn Treebank: Annotating Predicate Argument
  Structure.\BBCQ\
\newblock In {\Bem Proceedings of the Workshop on Human Language Technology},
  HLT '94, \mbox{\BPGS\ 114--119}, Stroudsburg, PA, USA. Association for
  Computational Linguistics.

\bibitem[\protect\BCAY{Marneffe \BBA\ Manning}{Marneffe \BBA\
  Manning}{2008}]{deMarneffe:2008}
Marneffe, M.-C.\BBACOMMA\ \BBA\ Manning, D.~C. \BBOP 2008\BBCP.
\newblock \BBOQ The Stanford Typed Dependencies Representation.\BBCQ\
\newblock In {\Bem Coling: Proceedings of the Workshop on Cross-Framework and
  Cross-Domain Parser Evaluation}, \mbox{\BPGS\ 1--8}.

\bibitem[\protect\BCAY{Morimoto, Yoshimoto, Kato, Shindo, \BBA\
  Matsumoto}{Morimoto et~al.}{2016}]{Morimoto:2016}
Morimoto, A., Yoshimoto, A., Kato, A., Shindo, H., \BBA\ Matsumoto, Y. \BBOP
  2016\BBCP.
\newblock \BBOQ Identification of Flexible Multiword Expressions with the Help
  of Dependency Structure Annotation.\BBCQ\
\newblock In {\Bem Proceedings of the Workshop on Grammar and Lexicon:
  Interactions and Interfaces (GramLex)}, \mbox{\BPGS\ 102--109}, Osaka, Japan.
  The COLING 2016 Organizing Committee.

\bibitem[\protect\BCAY{Newman, Koilada, Lau, \BBA\ Baldwin}{Newman
  et~al.}{2012}]{newman:2012}
Newman, D., Koilada, N., Lau, H.~J., \BBA\ Baldwin, T. \BBOP 2012\BBCP.
\newblock \BBOQ Bayesian Text Segmentation for Index Term Identification and
  Keyphrase Extraction.\BBCQ\
\newblock In {\Bem COLING}, \mbox{\BPGS\ 2077--2092}.

\bibitem[\protect\BCAY{Nivre}{Nivre}{2003}]{Nivre:2003}
Nivre, J. \BBOP 2003\BBCP.
\newblock \BBOQ An Efficient Algorithm for Projective Dependency Parsing.\BBCQ\
\newblock In {\Bem Proceedings of the 8th International Conference on Parsing
  Technologies}, \mbox{\BPGS\ 149--160}, Nancy, France.

\bibitem[\protect\BCAY{Pennington, Socher, \BBA\ Manning}{Pennington
  et~al.}{2014}]{Pennington:2014}
Pennington, J., Socher, R., \BBA\ Manning, C. \BBOP 2014\BBCP.
\newblock \BBOQ Glove: Global Vectors for Word Representation.\BBCQ\
\newblock In {\Bem Proceedings of the 2014 Conference on Empirical Methods in
  Natural Language Processing (EMNLP)}, \mbox{\BPGS\ 1532--1543}, Doha, Qatar.
  Association for Computational Linguistics.

\bibitem[\protect\BCAY{Peters, Neumann, Iyyer, Gardner, Clark, Lee, \BBA\
  Zettlemoyer}{Peters et~al.}{2018}]{Peters:2018}
Peters, M.~E., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., \BBA\
  Zettlemoyer, L.~S. \BBOP 2018\BBCP.
\newblock \BBOQ Deep Contextualized Word Representations.\BBCQ\
\newblock In {\Bem NAACL-HLT}, \mbox{\BPGS\ 2227--2237}.

\bibitem[\protect\BCAY{Pradhan, Hovy, Marcus, Palmer, Ramshaw, \BBA\
  Weischedel}{Pradhan et~al.}{2007}]{Pradhan:2007}
Pradhan, S.~S., Hovy, E., Marcus, M., Palmer, M., Ramshaw, L., \BBA\
  Weischedel, R. \BBOP 2007\BBCP.
\newblock \BBOQ OntoNotes: A Unified Relational Semantic Representation.\BBCQ\
\newblock In {\Bem Proceedings of the International Conference on Semantic
  Computing}, ICSC '07, \mbox{\BPGS\ 517--526}, Washington, DC, USA. IEEE
  Computer Society.

\bibitem[\protect\BCAY{Prechelt}{Prechelt}{1998}]{Prechelt:1998}
Prechelt, L. \BBOP 1998\BBCP.
\newblock \BBOQ Early Stopping-But When?\BBCQ\
\newblock In {\Bem Neural Networks: Tricks of the Trade, This Book is an
  Outgrowth of a 1996 NIPS Workshop}, \mbox{\BPGS\ 55--69}, London, UK, UK.
  Springer-Verlag.

\bibitem[\protect\BCAY{Ramisch \BBA\ Cordeiro}{Ramisch \BBA\
  Cordeiro}{2018}]{Ramisch:2018}
Ramisch, C.\BBACOMMA\ \BBA\ Cordeiro, S.~R. \BBOP 2018\BBCP.
\newblock \BBOQ Edition 1.1 of the PARSEME Shared Task on Automatic
  Identification of Verbal Multiword Expressions.\BBCQ\
\newblock In {\Bem Proceedings of the Joint Workshop on Linguistic Annotation,
  Multiword Expressions and Constructions (LAW-MWE-CxG-2018)}, \mbox{\BPGS\
  222--240}, Santa Fe, New Mexico, USA. Association for Computational
  Linguistics.

\bibitem[\protect\BCAY{Sag, Baldwin, Bond, Copestake, \BBA\ Flickinger}{Sag
  et~al.}{2002}]{Sag:2002}
Sag, I.~A., Baldwin, T., Bond, F., Copestake, A.~A., \BBA\ Flickinger, D. \BBOP
  2002\BBCP.
\newblock \BBOQ Multiword Expressions: A Pain in the Neck for NLP.\BBCQ\
\newblock In {\Bem Proceedings of the 3rd International Conference on
  Computational Linguistics and Intelligent Text Processing}, CICLing,
  \mbox{\BPGS\ 1--15}, London, UK, UK. Springer-Verlag.

\bibitem[\protect\BCAY{Sanh, Wolf, \BBA\ Ruder}{Sanh et~al.}{2018}]{Sanh:2018}
Sanh, V., Wolf, T., \BBA\ Ruder, S. \BBOP 2018\BBCP.
\newblock \BBOQ A Hierarchical Multi-task Approach for Learning Embeddings from
  Semantic Tasks.\BBCQ\
\newblock {\Bem ArXiv}, {\Bbf abs/1811.06031}.

\bibitem[\protect\BCAY{Savary \BBA\ Ramisch}{Savary \BBA\
  Ramisch}{2017}]{Savary:2017}
Savary, A.\BBACOMMA\ \BBA\ Ramisch, C. \BBOP 2017\BBCP.
\newblock \BBOQ The PARSEME Shared Task on Automatic Identification of Verbal
  Multiword Expressions.\BBCQ\
\newblock In {\Bem Proceedings of the 13th Workshop on Multiword Expressions
  (MWE 2017)}, \mbox{\BPGS\ 31--47}, Valencia, Spain. Association for
  Computational Linguistics.

\bibitem[\protect\BCAY{Schneider, Onuffer, Kazour, Danchik, Mordowanec, Conrad,
  \BBA\ Smith}{Schneider et~al.}{2014}]{lrec_schneider:2014}
Schneider, N., Onuffer, S., Kazour, N., Danchik, E., Mordowanec, M.~T., Conrad,
  H., \BBA\ Smith, N.~A. \BBOP 2014\BBCP.
\newblock \BBOQ Comprehensive Annotation of Multiword Expressions in a Social
  Web Corpus.\BBCQ\
\newblock In {\Bem Proceedings of the 9th International Conference on Language
  Resources and Evaluation (LREC)}, \mbox{\BPGS\ 455--461}, Reykjavik, Iceland.
  European Language Resources Association (ELRA).

\bibitem[\protect\BCAY{Shigeto, Azuma, Hisamoto, Kondo, Kose, Sakaguchi,
  Yoshimoto, Yung, \BBA\ Matsumoto}{Shigeto et~al.}{2013}]{Shigeto:2013}
Shigeto, Y., Azuma, A., Hisamoto, S., Kondo, S., Kose, T., Sakaguchi, K.,
  Yoshimoto, A., Yung, F., \BBA\ Matsumoto, Y. \BBOP 2013\BBCP.
\newblock \BBOQ Construction of English MWE Dictionary and its Application to
  POS Tagging.\BBCQ\
\newblock In {\Bem Proceedings of the 9th Workshop on Multiword Expressions},
  \mbox{\BPGS\ 139--144}, Atlanta, Georgia, USA. Association for Computational
  Linguistics.

\end{thebibliography}


\begin{biography}

\bioauthor{加藤　明彦}{2002年，東京大学理学部物理学科卒業．2004年，同大学院理学系研究科物理学専攻修士課程修了．同年，（株）システム計画研究所入社．2016年，奈良先端科学技術大学院大学情報科学研究科博士前期課程修了．現在，同大学院先端科学技術研究科情報科学領域博士後期課程在学中．}

\bioauthor{進藤　裕之}{2009年，早稲田大学先進理工学研究科博士前期課程修了．同年，NTTコミュニケーション科学基礎研究所入所．2013年，奈良先端科学技術大学院大学情報科学研究科博士後期課程修了．2014年より現在まで，奈良先端科学技術大学院大学先端科学技術研究科助教．これまで，主に自然言語処理や機械学習の研究に従事．情報処理学会，人工知能学会，言語処理学会，ACL各会員．}

\bioauthor{松本　裕治}{1977年，京都大学工学部情報工学科卒．1979年，同大学大学院工学研究科修士課程情報工学専攻修了．同年電子技術総合研究所入所．1984〜85年，英国インペリアルカレッジ客員研究員．1985〜87年，（財）新世代コンピュータ技術開発機構に出向．京都大学助教授を経て，1993年より奈良先端科学技術大学院大学教授，現在に至る．2016年9月より理研AIP知識獲得チームPI兼務．工学博士．専門は自然言語処理．情報処理学会，人工知能学会，AAAI, ACL, ACM各会員．情報処理学会フェロー．ACL Fellow．}

\end{biography}

\biodate



\end{document}
