\documentclass[tombow,japanese]{jnlp_2.3}
\usepackage{jnlpbbl_1.3}
\usepackage[dvipdfm]{graphicx}
\usepackage{gentombow}
\usepackage{amsmath}
\usepackage{array}
\settombowbleed{5mm}
\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\newcommand{\Argmax}[1]{\operatornamewithlimits{argmax}_{#1}}

\Volume{27}
\Number{2}
\Month{June}
\Year{2020}
%%%%\Issuetitle{「　　　　」特集号}

\received{2019}{8}{1}
\revised{2020}{1}{16}
%%%%\rerevised{2006}{5}{6}
\accepted{2020}{3}{3}

\setcounter{page}{329}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{多様なイベント表現を対象とした知識抽出における異なるエンコーディングモデル群の動的アンサンブル}
\jauthor{石川　　開\affiref{Author_1} \and 高村　大也\affiref{Author_2}\affiref{Author_3} \and 奥村　　学\affiref{Author_2}}
\jabstract{%
本稿は，イベント表現抽出において，テキスト中のイベント表現の多様性に対応するために，異なるエンコーティングモデル群と，入力毎に信頼度の高いエンコーディングモデルの集合を動的に選択する動的アンサンブル機構からなる新たなアンサンブル法を提案する．サブタスク毎の比較評価により，提案手法を用いたイベント情報抽出が，各エンコーディングモデルやソフト投票法をF1値で上回る事を示す．さらに，NIST TAC KBP2016およびKBP2017のイベント表現抽出の公式評価との比較評価を通じて，提案手法の有効性を示す．最後に，提案手法の様々なニューラルネットワークモデルへの適用可能性の議論を通じて，イベント表現検出における提案手法の有用性と課題を考察する．
}
\jkeywords{イベント表現，エンコーディングモデル，知識ベース構築，動的アンサンブル}

\etitle{Dynamic Ensemble of Heterogeneous Encoding Models in Knowledge Extraction of Diverse Event Expressions}
\eauthor{Kai Ishikawa\affiref{Author_1} \and Hiroya Takamura\affiref{Author_2}\affiref{Author_3} \and Manabu Okumura\affiref{Author_2}} 
\eabstract{%
In this paper, we propose a novel ensemble approach for event nugget detection that consists of heterogeneous encoding models to handle diversifying linguistic expressions of events in text and a dynamic ensemble method to obtain an ensemble of reliable models for each input token dynamically. From a set of comparative evaluations in subtasks, we show that our proposed method exceeds each encoding model and soft voting in F1-score. Moreover, we prove the effectiveness of our proposal by comparing our evaluation system with the results of NIST TAC KBP2016 and KBP2017 participants in F1-scores. Lastly, we consider the usefulness of our proposed method in event nugget detection through a series of discussions on applying proposed method to recent neural network models.}
\ekeywords{Event Expression, Encoding Model, Knowledge Construction, Dynamic \linebreak Ensemble}

\headauthor{石川，高村，奥村}
\headtitle{多様なイベント表現からの知識抽出における異なるエンコーディングモデルの動的アンサンブル}

\affilabel{Author_1}{NEC データサイエンス研究所}{Data Science Research Laboratories, NEC Corporation}
\affilabel{Author_2}{東京工業大学科学技術創成研究院未来産業技術研究所}{Laboratory for Future Interdisciplinary Research of \mbox{Science and Technology,} Institute of Innovative Research, Tokyo Institute of Technology}
\affilabel{Author_3}{産業技術総合研究所人工知能研究センター}{Artificial Intelligence Research Center, National Institute of \mbox{Advanced Industrial Science} and Technology}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%1
\section{ はじめに}

近年，通信インフラの高度化，高性能な通信機器や携帯情報端末の普及などにより，誰もが時間や場所を意識すること無く，大量のデータを安価に送受信することが可能になった．
これにより，日々大量のデータが生み出され，世界の情報流通量は加速度的に増加している．
このことは，私達の日常のコミュニケーションや知的生産活動に大きな変革をもたらしつつある．
例えばSNSが日常的なコミュニケーション手段となり，世界中の人々がオンラインで繋がる様になったことで，情報交換を通じて現在，世界中で何が起きているかが即座に分かるようになった．
また，科学技術のコミュニティでは，査読などの出版プロセスを伴わない迅速な論文公開を実現するプレプリントサーバや，数千規模の学術誌の横断的検索・閲覧を実現するオンラインデータベースの普及などのデジタル化が急速に進んでいる．

このように，情報通信技術の高度化は，様々な領域でコミュニケーションや情報流通の利便性を向上する一方で，情報爆発を加速し，様々な問題を生じている．
例えばSNSでは，不確かな情報が十分検証されずに世界中に拡散するといった脆弱性により，フェイクニュースによる選挙妨害や世論操作などの問題を生じている．
また科学技術のコミュニティでは，研究者の生産性が向上し，論文の発行部数が増加した結果，研究者が個人レベルで技術動向を網羅的に把握するのが困難になるといった問題を生じている．
これらは個別には対策が講じられつつあるが，俯瞰的な視点に立てば，情報爆発の問題はそもそも利便性と共に生じた歪みと見ることもできる．
すなわち，知的生産活動を支える現在の知識情報処理システムの多くは，その情報処理プロセスの中の高度な部分を人間が分担することを前提としている．
しかし，処理系の中に人間が介在する事は，処理量や処理速度の面で計算機に劣る人間の生理的な限界が，系全体のボトルネックとなってしまう．
つまり，情報処理プロセスへの人間の介在は，必然的に処理量や速度と，品質との間のトレードオフを生じてしまう．

この問題を根本的に解決するには，知的処理を行う情報処理技術を高度化し，人間の介在が不要な水準にまで引き上げる必要がある．
情報がテキストの場合，人の読解能力に匹敵する理解力を持つ人工的な読解能力，機械読解の実現を目指すという事になる．
この機械読解は，情報処理的な立場からは，入力テキストの言語表現を正しく解釈し，計算機上で形式的処理可能な表現に変換するタスクとして定義できる．
このような機械読解の高度化が進めば，これまで人間が行ってきた文書の内容確認の多くを自動化することができる．
例えば，金融機関の与信判断，法律事務所の証拠収集などを始めとする様々な産業分野への適用を通じて，知的生産活動の生産性が大幅に向上することが期待できる．
処理量や処理速度が格段に向上すれば，情報爆発の問題も解消することができる．

しかし，このような機械読解を実社会に適用していく際には，対象領域ごとに，現場の実務レベルの知識を機械読解用に開発する必要が生じる．
こうした知識を最初から完全に網羅的に開発することは難しい．
したがって，実際には事前に利用可能なリソースからベースラインの知識を開発し，現場への導入後に，実用を通じて不足する知識を補完していく過程で知識の網羅性を高めていくといった漸進的なアプローチが現実的と思われる．
こうした機械読解のための知識獲得のアプローチについて，DARPAの機械読解に関する研究プログラムMachine Reading (Strassel, Adams, Goldberg, Herr, Keesing, Oblinger, Simpson, Schrag, and Wright, 2010)では，既存の知識ベースの活用，コーパスからの知識抽出，論理的推論に基づく知識候補の整合性検証を相補的に組み合わせるコンセプトを提案している．
また，評価型ワークショップNIST Text Analysis Challenge (TAC)において2009年に開始されたトラックKnowledge Base Population (KBP)では，機械読解のための知識獲得技術に関する研究コミュニティを形成し，この研究領域の活動を推進する役割を果たしてきた (McNamee and Dang, 2009)．

KBPは当初，TRECの質問応答トラックQuestion Answering (Voorhees, 1999)と，NISTの研究プログラムACE (Doddington, Mitchell, Przybocki, Ramshaw, Strassel, and Weischedel, 2004; Walker, Strassel, Medero, and Maeda, 2006) の情報抽出を参考に，固有名抽出の結果を既存の知識ベースの見出しに対応付けるEntity Linkingと，固有名に対して事前に定義された属性値をテキストから抽出するSlot Fillingの2つのタスクでスタートした．
その後，何度かのマイナーなタスク変更を経て，2014年に，ACE やその後DEFT Programで開発された仕様Light ERE (Aguilar, Beller, McNamee, Durme, Strassel, Song, and Ellis, 2014) のイベントに関するアノテーションをベースに，予め定義された種類のイベント記述と属性情報をテキストから抽出するEvent タスクが新設された．
Entity LinkingタスクとEventタスクは共に機械読解のための知識構築を構成する中核的なタスクであるが，英語を対象言語として2016年と2017年の両タスクの性能水準を比較すると，Entity LinkingではF1値の最高性能が70{\%}前後に達しているのに対し，Eventタスクでは40{\%}に満たない．
このことから我々は，機械読解のための知識獲得技術を実用化する上では，性能の低いイベント表現の検出がボトルネックとなる可能性が高く，まずその性能向上に取組むべきと考えた．

本稿では，機械読解のための知識獲得の中で，イベント表現の検出を対象に技術課題を分析し，その解決のための技術的な提案を行う．
以降，2章では，本研究が提案手法の評価に用いるEvent Nugget Detectionタスクについて概説し，その定式化と技術課題について分析を行う．
3章と4章では，この技術課題を解決するための提案を行う．
3章では，多様なイベント表現から多面的にエンコーディングを求めるための異なるエンコーディングモデル群を導入し，4章では，このエンコーティングモデル群から，入力テキストのイベント表現に適したモデルを動的に選択する動的アンサンブル法を提案する．
5章と6章では，TAC KBP Event Nugget Detectionタスクの評価環境を用いて提案手法とベースライン手法の比較評価を行う．
7章では，公式評価の参加システムが用いた方式やリソースなどを踏まえて比較分析を行い，提案手法の有効性や優位性について考察する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% 2
\section{ Event Nugget Detectionタスクにおける技術課題}

本章では，機械読解のための知識獲得タスクとして，本研究で取り扱うNIST TAC KBPのEvent Nugget (EN) Detection (Mitamura, Liu, and Hovy, 2016) について概説した後，関連研究を踏まえてベースラインシステムを導入し，本タスクにおける技術課題とその解決アプローチについて述べる．
まず，KBP2016，KBP2017のEventタスクでは，Rich ERE (Song, Bies, Strassel, Ellis, Mitamura, Dang, Yamakawa, and Holm, 2016)で定義されている38種類のイベントタイプのうち，18種類が抽出対象として設定されている．
システムは，この18種類のイベントタイプのいずれかに該当するイベント表現を入力記事中から抽出し，各イベント表現の出現位置（記事ファイル名と同ファイル中の先頭文字と末尾文字のオフセット），イベントタイプ，実現性状態 (realis status) (Mitamura, Yamakawa, Holm, Song, Bies, Kulick, and Strassel, 2015; Bies, Song, Getman, Ellis, Mott, Strassel, Palmer, Mitamura, Freedman, Ji, and O'Gorman, 2016) の組み合わせ，すなわちEvent Nuggetを出力する．

このようなEvent Nugget (EN) タスクの定式化としては，無限の文脈長を考慮した系列ラベリングとして扱うのが数理的に最も一般的である．
しかし，Event Nugget Detectionタスクの場合，入力に占める対象イベント表現のトークン数の割合は低い（KBP2017の評価セットで約1/20）．
このため，系列ラベリングの出力であるラベル系列は，大半がラベル無し（BIOラベリングなら「Outside」）の列の中に疎らにイベント表現が出現する形となる．
このことから，出力のラベル系列の各ラベルは近似的に独立に決定可能と仮定すれば，トークン系列に対する系列ラベリングの問題は，トークン毎の分類という部分問題の集合に分解することが出来る．
さらに，トークンのラベルの決定に有用な情報の大半はその周辺（節内や文内）のトークン列に存在すると仮定すれば，文脈についても，有限の文脈長に制限できる事になる．
これらの近似により，ドメインやトピックごとでのラベル系列の結束性や，離れた照応関係などの文脈情報の扱いに違いが生じ，精度に影響する可能性があるが，一方で，トークン毎の分類の集合に分解することで計算が並列処理向きとなり，GPU等の並列計算環境下では大幅な処理速度の向上が期待できる．

近年，自然言語処理の幅広いタスクで，ニューラルネットワークベースの手法はベースラインとして定着しているが，KBP2016，KBP2017の参加システムを見ても，その傾向は顕著である（詳細は6.4節で後述）．
中でも，長い文脈を扱うために勾配消失問題に対処したゲート付きRNNであるLSTMやGRUを用いた系列ラベリングと，固定長の入力表現からconvolutionやpooling等で意味合成を考慮したエンコーディングを得るCNN等を用いた分類は，前述の定式化の典型例であり，性能的にも両者は拮抗している．
例えばKBP2016のEvent Nugget Detectionタスクの公式評価結果では，CNNベースのシステム(Nguyen, Cho, and Grishman, 2016a; Nguyen, Meyers, and Grishman, 2016b) がF1値で最も高い値となった．
同システムではword embedding (Mikolov, Chen, Corrado, and Dean, 2013) をベースにStanford CoreNLP (Manning, Surdeanu, Bauer, Finkel, Bethard, and McClosky, 2014) によって得られる依存構造情報やGLARF semantic parser (Meyers, Kosaka, Ji, Xue, Harper, Sun, Xu, and Liao, 2009) によって得られる意味属性を加えたエンコーディングが用いられている．
一方，同じくKBP2016の評価では，局所的な文脈のエンコードにCNNを組み合わせたBiLSTMベースのシステム (Zeng, Luo, Feng, and Zhao, 2016) が高いF1値となった．

本研究では，このような先行研究に対する理解のもと，並列処理での計算効率に優れた分類ベースの定式化に着目してイベント表現の多様性を効率的にモデル化する枠組みの提案を試みる．
評価実験では，NIST TAC KBP2016およびKBP2017のEvent Nugget Track (Mitamura et al., 2016) の公式評価と同じ条件下で評価を行う．
提案手法の有効性を明らかにするために，一般的に性能向上に寄与すると考えられる品詞，依存関係，意味情報などの解析器の出力，知識ベース等は一切用いず，word embedding (Mikolov et al., 2013) と単純なCNN (Kim, 2014; Collobert, Weston, Bottou, Karlen, Kavukcuoglu, and Kuksa, 2011) をベースに評価システムの構築を行う．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[b]
\vspace{-1\Cvs}
\begin{center}
\includegraphics{27-2ia8f1.eps}
\end{center}
\caption{本研究で扱うEvent Nugget Detectionの評価システムの処理フロー}
\label{fig1}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

ただし，提案手法においてもこれらの追加情報は容易に利用可能である．
例えば，Nguyenらのシステムをはじめ，KBP2016，KBP2017の多くのニューラルネットワークベースの参加システムに多用される，word embeddingと追加情報のエンコーディングの結合による単語エンコーディングの拡張方法があるが，この方法は提案手法においてもそのまま適用可能である．

本研究で用いる評価システムの処理フローを図1に示す．
KBP2016，KBP2017の公式評価におけるEvent Nugget Detectionタスクは，(1) 入力文書におけるイベント表現（イベントトークン）の検出，(2) 各イベント表現のイベントタイプ（全18種類）の分類，(3) 実現性状態（``$actual$''， ``$general$''， ``$others$'' の計3状態）の分類，の3つのサブタスクから構成される．
end-to-end評価では，これら3つのサブタスクの出力結果が，イベント表現毎の組 ``event nugget'' として正しいかどうかが評価される．

分類器のベースラインとしては，評価の際に提案手法の効果が分かり易いほうが望ましいため，非常にシンプルなCNNを各サブタスクに共通に用いることにする．
このモデルは，図2に示すような，単語分散表現(Mikolov et al., 2013)を用いたエンコーダとCNN (Kim, 2014) からなる二値分類器である．
畳み込みニューラルネットワークは，畳み込み層，プーリング層 (Max Pooling)，全結合層，出力層から構成され，出力層はsoftmaxによって，二値分類のそれぞれのクラスに対する確率値を推定し出力する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[b]
\begin{center}
\includegraphics{27-2ia8f2.eps}
\end{center}
\hangcaption{MW法によるトークン列のエンコーディングと畳み込みニューラルネットワークを用いた二値分類器の構成}
\label{fig2}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

ここで，CNNの適用に際しては，任意長の入力テキストから，ネットワークへの入力である固定長のトークン列（系列データ）を生成する必要がある．

この固定長のトークン列の切り出しは，Event Nugget Detectionタスクにおいては，後述の様に，(1) モデルの窓長に応じて入力の個々の表現との間で様々な親和性の高低を生じ，また，(2) 離れた語彙間の依存関係や長距離の文脈などを効率的に学習することが難しい，といった問題を生じる（以降では，「親和性」を，例えば，長い窓長のモデルを選択した場合，長い文脈や依存関係を持つイベント表現との「親和性」は高いが，短い表現との「親和性」は低い，といったように，入力の表現の特性に応じてそのモデルの有効性が相対的に変化するという意味で用いることにする）．
本研究では，このような問題に対して，異なる性質を持つエンコーディングモデル群を導入し，入力の表現との親和性が高いモデルを動的に選択するようなアンサンブル法を提案する．
次章では，まず，エンコーディングモデルを導入し，続いて動的アンサンブル法の導入を行う．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% 3
\section{異なるエンコーディングモデル}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% 3.1
\subsection{シングルウィンドウモデル}

まず始めに，エンコーディングモデルのベースラインを導入する．
本研究では先に述べたとおり，Collobertらのモデル (Collobert et al., 2011) を発展させたCNN (Kim, 2014) ベースで二値分類器を実現する．
このCNNへの入力は，word2vec (Mikolov et al., 2013) を用いて事前に学習された300次元の単語embeddingを元に，単語のエンコーディングを生成する．
さらに固定長の窓を導入し，入力系列を窓長に応じてトリミングする．
トークン列が窓長より短い場合にはzero paddingによって窓長に調整する．

この際，分類対象のトークンは，窓の中央に位置し，その周辺のトークン列を周辺文脈として扱うことで，周辺文脈情報付きのトークンのエンコーディングモデルと解釈することができる．
このような単一の固定長窓を用いる手法を，以降ではシングルウィンドウ (SW：Single Window) モデルと呼ぶ事にする．
SWモデルでは，ある検出対象トークンのニューラルネットワークへの入力は，対象トークンの前後に，それぞれ長さ $l$ のトークン列を繋げた，式 (\ref{eq1}) に示すような長さ $\mathrm{2}l+1$ のトークン列の単語ベクトルによって与えられる．
\begin{equation}
\label{eq1}
x_{-l:l}\mathrm{=\, }x_{-l}{\oplus \mathellipsis \oplus x}_{0}
\oplus \mathellipsis \oplus x_{l}
\end{equation}
ここで， $x_{i}$ は窓中の$i$番目の単語に対する $k$ 次元の単語ベクトル， $\oplus $ は結合演算子である．
原理的に，SWモデルは長い窓を設定することでより長い文脈を考慮できるが，実際には，2章で述べたように，(1) 個々の入力にあわせてモデルの窓長が変えられないため，入力によってモデルとの親和性の高低が生じ，また，(2) 離れた語彙間の依存関係や長距離の文脈などを効率的に学習することが難しい，といった問題が生じる．
そこで，我々は，これらの問題点への対応として，異なる性質を持つ複数のエンコーディングモデルを導入し，さらに，入力に応じて適切なモデルを動的に適用する枠組みを考えた．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% 3.2 
\subsection{マルチウィンドウモデルの提案}

前述の(1)の問題に対する対策として，ここでマルチウィンドウ (MW: Multi Window) モデルを提案する．
このMWモデルは，分類対象のトークンが中央に位置し，かつ長さの段階的に異なるSWモデルを複数用意し，これらの複数のエンコーディングを並列でCNNの入力層に入力するという方法である．
CNNへの入力系列は，具体的には式 (\ref{eq2}) に示すように，窓長を $\mathrm{2}l+1,\, 2l-1,\, \mathellipsis ,\, 1$ とした，$l+1$ 個のSWモデルのエンコーディングの連結で定義される．
\begin{equation}
\label{eq2}
\left\{ x_{-l:l}\mathrm{,\, }x_{-l+1:l-1}\mathrm{,\, }\mathellipsis ,\, x_{-1:1}\mathrm{,\, }x_{0} \right\}
\end{equation}
図2は，入力文から生成されたトークン列に対するMWモデルのエンコーディングを，ネットワークに入力する全体構成を示している．
図に示すように，式 (\ref{eq2}) で得られた $l+1$ 個のエンコーディング結果は1つの入力系列としてネットワークの畳み込み層に入力される．
このように，大きさの異なるウィンドウによって生成されたエンコーディング結果を並列で入力する事により，異なる窓長による分類を，1 つのモデルの中で統合的に学習する事になり，より多様な入力表現に対して親和性の高い分類器が実現でき，前述の問題(1)に対する効果が期待できる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% 3.3 
\subsection{疑似依存モデルの提案}

前述の(2)の問題に対する対策として，ここで疑似依存 (PD：Pseudo Dependency) モデルを提案する．
このPDモデルは，分類対象トークンを中央に，そこから一定距離内にある全てのトークンとの間でトークン対を生成し，この全てのトークン対を疑似的な依存関係にあるトークン対であると見なし，トークン対を並列でCNNの入力層に入力するという方法である．
CNNへの入力系列は，具体的には，分類対象トークンを中央に，およびそこから距離 $\, l$ 以内のトークンとの間でトークン対を生成し，連結することで，式(\ref{eq3})に示すような $\, 2l$ 個のエンコーディング列として定義される．
\begin{equation}
\label{eq3}
\{ x_{-l}\oplus x_{0} ,\mathellipsis , x_{-1}\oplus x_{0}, \mathellipsis ,x_{0}\oplus x_{l} \}
\end{equation}
この $\, 2l$ 個のエンコーディング結果は，MWモデルと同様に，1つの入力系列としてネットワークの畳み込み層に入力される．
このように，検出対象トークンと離れた場所のトークンとの間のトークン対に対するエンコーディングを並列で入力する事により，離れたトークン間の関係を，1 つのモデルで統合的に学習できるため，離れたトークン対を構成要素とするイベント表現が分類器によってより的確に分類できるようになり，前述の (2) の問題に対する効果が期待できる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% 4 
\section{各サブタスクにおける分類モデルの定式化}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% 4.1 
\subsection{モデルの信頼度に基づく動的アンサンブルの提案}

前章では，周辺文脈の適切な考慮の方法が対象とするイベント表現ごとに異なるという問題に対し，それぞれのイベント表現に対応するような異なる複数のエンコーディングモデルを導入した．
それぞれのエンコーディングモデルの特徴を十分に生かすためには，イベント表現の要素であるトークンと，エンコーディングモデルとの間の親和性が高くなる様なモデル選択を行うことが重要である．
このことは，例えば次のような事例から明らかである．

\vspace{0.5\Cvs}
例）``The company \underline {\textit{laid}} 10 workers \underline {\textit{off}},''

　　``Every terrorist gets \underline {\textit{arrested}} eventually.''
\vspace{0.5\Cvs}

前者の事例は，離れた二つのトークンがイベント表現 $``$\underline {\textit{laid off}}$''$ を構成するため，窓のサイズが $l\ge 3$ のPDモデル擬似依存モデルが最適な選択になると推測される．
一方，後者の事例は，単一のトークンのみからイベントタイプを推定するための情報が得られるため，窓のサイズが $\, l=0$ のSWモデルが最適な選択になると推測される．
このように，イベント表現検出においては，入力トークンとイベントタイプに応じて，最適なモデルを動的に適用できることが望ましい．

このような考えに基づき，アンサンブルの際によく用いられる従来のソフト投票 (SV：Soft Voting) 法 (Zhou, 2012) に動的なモデル選択の仕組みを組み合わせた動的アンサンブル法を提案する．
従来のソフト投票法では，入力トークン $w$ のあるクラス $c$ に関する二値分類の事後確率は次式のように推定できる．
\begin{equation}
\label{eq4}
P^{SV}{}_{c}(s \vert w) =\frac{1}{n}\sum\nolimits_{m\in M_{n}} {P_{c,\, m}(s \vert w) } 
\end{equation}
ここで，$\mathrm{M}_{n}$ は $n$ 個の二値分類モデルからなるモデル集合，$c$ はクラス集合 $\mathrm{C}$ に属するあるクラス，$s$ はクラス $c$ に関する二値分類の状態 ($s\in \{0,\, 1\}$)， $P_{c,\, m}(s \vert w) $ は入力トークン $w$ がクラス $c$ に関して状態 $s$ となる場合のモデル $m\, $による予測確率である．
ソフト投票法の場合，式から分かるように，各モデルの予測確率は入力トークン $w$ とは独立かつ均等に評価される．
このため，入力トークンと親和性の低いモデルがアンサンブルの多数を占めると，ソフト投票の結果もそれら親和性の低いモデルの予測を反映したものとなる．
したがって，ソフト投票法はそのままではイベント表現とエンコーディングの間の親和性の問題を解消することができない．

そこで，我々は，入力とエンコーディングモデルとの間の親和性の高さを評価する尺度を導入し，それによって親和性のより高いエンコーディングモデルを動的に選択する仕組みを実現する．
ここではそのような評価尺度として，音声認識等のパタン分類で一般的に用いられている信頼度の定式化をベースとする．
パタン分類における信頼度は，与えられた観測 $w$ に対するクラス $c$ をMAP (maximum a posteriori probability) 推定する際に得られる最大事後確率 $P(c \vert w) $，すなわち $\hat{c}={argmax}_{c}\, P(c \vert w) $ を満たす $P(c \vert w) $ として定式化される．
これを我々の問題設定，すなわち，あるクラス $c$ に関する正負の状態 $s$ を推定する定式化に直せば，信頼度は $\hat{s}={argmax}_{s\in \{0,\, 1\}}P_{c}(s \vert w) $ を満たす $P_{c}(s \vert w) $ となる．
さらにモデルの自由度を加えれば，クラス $c$ に関する状態 $\hat{s}$ とモデル $\hat{m}$ の推定 $\hat{s},\, \, \hat{m}={argmax}_{s\in \{0,\, 1\},\, m\in M}\, P_{c,\, m}(s \vert w) $ を満たす $P_{c,m}(s \vert w) $ と拡張することができる．
これは左辺に状態 $\hat{s}$ を含まない形で次のように表現することができる．
\begin{equation}
\label{eq5}
\hat{m}=\Argmax{m \in M}\left\{\operatornamewithlimits{max}_{s \in \{0,1\}} P_{c,\, m}(s \vert w) \right\}
\end{equation}
これはさらに，和則 $\sum\nolimits_{s\in \{0,1\}} {P_{c,\, m}(s \vert w) } \mathrm{=1}$ を用いて変数 $s\mathrm{=1}$ に固定した次式に書き換えられる．
\begin{equation}
\label{eq6}
\hat{m}= \Argmax{m \in M} \left\{\max\left[ P_{c,\, m}\left( {s=1} \vert  w\right) ,{1-P}_{c,m}\left( {s=1} \vert  w\right) \right] \right\}
\end{equation}
さらに $max$ の各評価式から $1 \mathord{\left/ {\vphantom {1 2}} \right. \kern-\nulldelimiterspace} 2$ を減算して書き換えれば次式を得る．
\begin{equation}
\label{eq7}
\hat{m}=\Argmax{m \in M} \left| P_{c,m}\left( {s=1} \vert  w\right) -1 \mathord{\left/ {\vphantom {1 2}} \right. \kern-\nulldelimiterspace} 2 \right|
\end{equation}
以上の導出から，各クラス $c$ に対する二値分類モデルの選択では， $\left| P_{c,m}({s=1} \vert w) -1 \mathord{\left/ {\vphantom {1 2}} \right. \kern-\nulldelimiterspace} 2 \right|$ をモデルの信頼度に用いれば良いことが分かった．

このようにして選択されたモデル $\hat{m}$ による事後確率を$P_{c,\, \hat{m}}(s \vert w) $ とすると，先のMAP推定は$\hat{s}=\, \, P_{c,\hat{m}}(s \vert w) $ を満たす$P_{c,\hat{m}}(s \vert w) $ を求める問題として定式化される．
以上の導出により，MAP推定をモデルアンサンブルに対して拡張すると，入力$w$，クラス $c$ ごとに，信頼度 $\left| P_{c,m}({s=1} \vert w) -1 \mathord{\left/ {\vphantom {1 2}} \right. \kern-\nulldelimiterspace} 2 \right|$ の最も高いモデル $\mathrm{\, }\hat{m}\mathrm{\, }$ を $n$ 個の二値分類モデルの集合 $\mathrm{M}_{n}$ から動的に選択する方法が導出されることが分かった．
そこで，この推定法を動的モデル選択 (DS) 法と呼ぶことにする．
DS法において，入力トークン $w$ のクラス $c$ に関する二値分類の事後確率は次式で求められる．
\begin{equation}
\label{eq8}
P^{\mathit{DS}}{}_{c}(s \vert w) =P_{c,\, \hat{m}}(s \vert w)
\end{equation}

このDS法とSV法の比較から，両者は共にモデルアンサンブルに対する事後確率集合を元に，前者は信頼度 $\left| P_{c,m}({s=1} \vert w) -1 \mathord{\left/ {\vphantom {1 2}} \right. \kern-\nulldelimiterspace} 2 \right|$ の最も高いモデル $\mathrm{\, }\hat{m}\mathrm{\, }$ に関する事後確率，後者はモデル集合 $\mathrm{M}_{n}$ の全モデルの事後確率の平均値で，それぞれアンサンブル全体の事後確率を評価していることが分かる．
このことから，さらに信頼度 $\left| P_{c,m}({s=1} \vert w) -1 \mathord{\left/ {\vphantom {1 2}} \right. \kern-\nulldelimiterspace} 2 \right|$ に関して上位 $k$ 個の二値分類モデルの集合 $M_{top\mathunderscore k} = \displaystyle{\operatornamewithlimits{arg\_top\_k}_{m \in M}} \left\{ \left| P_{c,m}({s=1} \vert w) \mathrm{-1/2} \right| \right\}$ ($\mathrm{M}_{top\mathunderscore k}{\mathrm{\subset M}}_{n}$) による事後確率の平均値を用いれば，両者を統合できることが分かる．
この手法を動的アンサンブル (DE) 法と呼ぶ．
次式から分かるように，DE法は $k=1$ の場合にDS法，$k=n$ の場合にSV法に帰着する．
\begin{equation}
\label{eq9}
P^{\mathit{DE}}{}_{c}(s \vert w) =\frac{1}{k}\sum\nolimits_{m\in M_{top\mathunderscore k}} {P_{c,\, m}(s \vert w) }
\end{equation}

以上が，信頼度に基づいてモデルアンサンブルから入力 $w$ にあったモデルを動的に選択するDE法の枠組みの導出である．
図3は，この二値分類の問題設定におけるDE法を図で示したものである．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 3
\begin{figure}[t]
\begin{center}
\includegraphics{27-2ia8f3.eps}
\end{center}
\hangcaption{異種のエンコーディングモデル群SW$(l=0)$，SW$(l=3)$，SW$(l=5)$，MW$(l=3)$，MW$(l=5)$，PD$(l=3)$， PD$(l=5)$に対する動的アンサンブル(DE)法の図解}
\label{fig3}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% 4.2 
\subsection{動的アンサンブル法を用いたイベント表現の検出}

イベント表現検出では，入力$w$に対して，各イベントタイプ $c_{e}$ に関する二値分類を適用し，モデルごとに事後確率 $P_{c_{e},\, m}(s \vert w) $ を求める．
さらに，前節で導入したDE法を適用することにより，モデルアンサンブル全体に対する事後確率 $P^{\mathit{DE}}{}_{c_{e}}(s \vert w) $ を得る．
ここで $P^{\mathit{DE}}{}_{c_{e}}({s=1} \vert w) $ が余事象の確率 $P^{\mathit{DE}}{}_{c_{e}}\left(s=0 \vert  w\right) = 1 - P^{\mathit{DE}}{}_{c_{e}}({s=1} \vert w) $ に対して大きければ（あるいは $P^{\mathit{DE}}{}_{c_{e}}({s=1} \vert w) -1/2$ の符号が正であれば），入力 $w$ はイベントタイプ $c_{e}$ のイベント表現であると判定できる．
この判定を全18種類のイベントタイプ集合 $C_{e}$ の各要素 $c_{e}\in C_{e}$ に対して実施し，1つ以上のイベントタイプ $c_{e}$ に関してイベント表現と判定される入力 $w$ を抽出することにより，イベント表現検出を実現する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% 4.3 
\subsection{動的アンサンブル法を用いたイベント表現のイベントタイプの推定}

イベントタイプ分類では，イベント表現検出においてイベント表現と判定された各入力 $w$ に対し，さらに，全18種類のイベントタイプからなる集合 $C_{e}$ から，最も該当する可能性の高いタイプ $\hat{c}_{e}$ を推定する．
ここで，DE法を適用して得られるモデルアンサンブル全体に対する事後確率 $P^{\mathit{DE}}{}_{c_{e}}({s=1} \vert w) $ を用いることで，イベント表現と判定された各入力 $w$ のタイプ $\hat{c}_{e}$ は，次式によって推定することができる．
\begin{equation}
\label{eq10}
\hat{c}_{e}=\Argmax{c_{e}\in c_{e}} \left\{ P^{\mathit{DE}}{}_{c_{e}}({s=1} \vert w) \right\}
\end{equation}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% 4.4 
\subsection{動的アンサンブル法を用いたイベント表現の実現性状態の推定}

事実性状態分類では，イベント表現検出においてイベント表現と判定された各入力 $w$ に対し，さらに，3つの実現性状態 ``$actual$''， ``$general$''， ``$others$'' からなる集合 $C_{r}$から，最も可能性の高い状態 $\hat{c}_{r}$ を推定する．
ここでも，DE法を適用して得られるモデルアンサンブル全体に対する事後確率 $P^{\mathit{DE}}{}_{c_{r}}(s \vert w) $ を用いる．
これにより，イベント表現であると判定された各入力 $w$ の実現性状態 $\hat{c}_{r}$ は，次式によって推定することができる．
\begin{equation}
\label{eq11}
\hat{c}_{r}= \Argmax{c_{r}\in c_{r}} \left\{ P^{\mathit{DE}}{}_{c_{r}}({s=1} \vert w) \right\}
\end{equation}
ただし，いずれの実現性状態 $c_{r}$ に対しても $P^{\mathit{DE}}{}_{c_{r}}({s=1} \vert w) -1/2$ の値が負となる場合には，事後確率 $P^{\mathit{DE}}{}_{c_{r}}({s=1} \vert w) $ の信頼度が低く，学習されたモデルに基づく $\hat{c}_{r}$ の推定が有効ではない可能性が考えられる．
そこでこの場合には，入力 $w$ は，``$actual$'' および ``$general$'' のいずれの実現性状態にも該当しない（定義上 ``$others$'' が該当する）状態であると解釈し，$\hat{c}_{r}=$ ``$others$'' と推定する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% 5 
\section{評価実験における各種設定}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% 5.1 
\subsection{開発用および評価用データセット}

以降では，提案手法であるエンコーディングモデルと動的アンサンブルの効果を検証するため，サブタスク毎に，各エンコーディングモデルの単一適用，ソフト投票法，動的アンサンブル法の性能を比較評価する．
さらに，Event Nuggetタスクのend-to-end性能における提案手法の性能を検証するために，Event Nuggetタスクが実施された過去 2 回のNIST TAC KBP，KBP 2017およびKBP2016での公式評価との比較評価を行う．
表1は，KBP2016およびKBP2017のEvent Nuggetタスクの公式評価で提供されたデータセット (Ellis, Getman, Fore, Kuster, Song, Bies, and Strassel, 2016; Getman, Ellis, Song, Tracey, and Strassel, 2017) のうち，参加システムに使用された主要なデータセットの一覧である．
表中左列のカテゴリは，各システムの使用データセットの違いを簡便に示すために本論文で導入した定義である．
このうちENに属する2つのデータセットは包括的なデータセットで，LDC2017E02がEN2014，EN2015，EN2016のデータセット，LDC2016E36がEN2014，EN2015のデータセットをそれぞれ含む．
なお，LDC2017E02のタイトルに``Training and Evaluation Data 2014--2016''とあるが，2016のデータセットについてはEvaluation Dataのみしか存在しない．
以降に提示するモデル・手法間の比較評価，KBP2017およびKBP2016の公式評価との比較評価では，これらの公式評価用に提供されたデータセットと公式の評価ツールを用いて評価を実施した．
各評価で使用した評価用データと開発用データの構成は，表2に示すとおりである．
ただし，各データセットの構成要素は，表1で定義したカテゴリによって示している．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[t]
\caption{TAC KBP2016/KBP2017 Event Nuggetの公式評価で提供された主要なデータセット}
\label{tab1}
\input{08table01.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[t]
\caption{本論文の評価実験で用いた開発用および評価用データセット}
\label{tab2}
\input{08table02.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% 5.2
\subsection{畳み込みニューラルネットワークのハイパーパラメータおよび学習条件}

前述のデータセットやエンコーディングモデル等の違いによらず，以降の全ての評価では，評価システムの共通部分である畳み込みニューラルネットワークの学習に共通のハイパーパラメータおよび学習条件を適用した．
学習に使用したハイパーパラメータは，具体的には，Zhangらが行ったパラメータ設定の分析研究 (Zhang and Wallace, 2017) で報告されている値を参考に，フィルタサイズを(2, 3, 4, 5)，特徴マップの次元数を100，ドロップアウト率を0.5，ミニバッチサイズを50に設定した．
学習の最適化アルゴリズムにはAdaDelta (Zeiler, 2012) とミニバッチのシャッフルを適用した．
さらに，epoch毎に10 foldの交差検定を実施し，epoch数30まで学習を行い，epoch毎に保存されたモデルの中からvalidationセットにおけるF1スコアが最大のモデルを選択するようなアーリーストッピングを適用した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% 5.3
\subsection{単語分散表現モデル}

また，単語分散表現については，既に公開されているGoogle Newsからの学習済モデルである ``Google-News-vectors-negative300'' (Mikolov et al., 2013) を初期モデルとして用い，さらに，開発用データからの畳み込みニューラルネットワークの学習時に，この学習済み単語分散表現モデルと開発用データとが上手く適合するように，チューニングを施した．
具体的には，開発用データセットに出現する語彙のうち，学習済み単語分散表現モデル中の未登録語については，まず乱数を要素とする300次元の初期ベクトルをそれぞれ生成し，さらに逆伝播によって開発データに適応させることで，未登録語に対するモデルの補完を行った．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% 6 
\section{評価結果}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% 6.1 
\subsection{イベント表現検出における比較評価}

以降では，サブタスク毎に，各エンコーディングモデルを単一で適用した場合と，ソフト投票法，および，動的アンサンブル法を介して適用した場合との性能の比較評価を行う．
ここでは，まず，最初のサブタスクであるイベント表現検出における評価結果を示す．
次の表3では，3つの異なるエンコーディングモデルにそれぞれ異なる窓パラメータを適用した場合と，ソフト投票法，および，動的アンサンブル法を介して適用した場合のイベント表現検出の性能を，適合率，再現率，F1スコア（ミクロ平均）で示している．
ここで $l$ は，各エンコーディングモデルの定式化で導入した窓パラメータ $l$ を，$k$ は，動的アンサンブル (DE) 法の定式化で導入したモデル数のパラメータ $k$ を表す．
表3の左側は，各評価のエンコーディングモデルに用いたモデルの種類または手法を表している．
シングルウィンドウ (SW) モデルに対しては3種類の窓パラメータ $l\mathrm{=0,\, 3,\, 5}$ を用いた結果を示し，マルチウィンドウ (MW) モデルと擬似依存 (PD) モデルに対してはそれぞれ，2種類の窓パラメータ $l\mathrm{=3,\, 5\, }$を用いた結果を示している．
また，ソフト投票 (SV) 法，および，動的アンサンブル (DE) 法に対しては，SWモデル，MWモデル，PDモデルの各評価で用いた7つのモデルをモデル群とし，ソフト投票ではその全てのモデルを用い，動的アンサンブル(DE)法ではそれぞれモデル数のパラメータ$k=1,\, 2,\, 3,\, 4\, $を用いた結果を示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 3
\begin{table}[t]
\hangcaption{イベント表現検出における，各エンコーディングモデルを独立に適用した場合と動的アンサンブルを介して適用した場合の，適合率・再現率・F1スコアの評価結果の比較}
\label{tab3}
\input{08table03.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

表3を見ると，適合率が最も高いのは$k=2$ の場合のDE法 (64.30{\%}) であるが，再現率およびF1スコアが最も高いのはモデル数のパラメータが $k=1$ の場合のDE法（再現率55.09{\%}，F1スコア59.13{\%}）であることが分かる．
$k=2$ の場合に $k=1$ よりも適合率が高くなるのは，複数のモデルに基づく検出により，単一のモデルに比べてfalse positiveの検出が抑制されるためであると考えられる．
一方，$k=2$ の場合に $k=1$ よりも再現率が低くなるのは，複数のモデルに基づく検出では，単一のモデルのみに感応するtrue positiveの検出も抑制されるためであると考えられる．

また，単一のモデルであるSWモデル，MWモデル，PDモデルの中で，適合率が最も高いのは $l=3$ の場合のMW (62.21{\%}) であるが，再現率が最も高いのは $l=3$ の場合のPD (50.39{\%})，F1スコアが最も高いのは $l=5$ の場合のPD (54.60{\%}) であることが分かる．
これは，窓パラメータを増やした場合の，SW，MW，PDそれぞれの適合率における振る舞いの違いから理解が出来る．
SWの場合，窓パラメータを増やすことで，適合率は低下し，再現率は適合率に対して相対的には上昇している．
これは，窓を広げると，より広い文脈に基づいて新たな true positiveが検出できるようになる反面，離れた周辺語ほどイベント表現と無関係な語の割合が高く，そのノイズによりfalse positiveが増えるためと考えられる．

さらに，MWとSWの窓パラメータの増大による適合率の低下を比較すると，MWの方がSWに比べて低下が少ない事が分かる．
これは，MWの場合，窓中央に近いトークンほど入力強度が強化される性質があるため，SWの場合に窓を広げると問題になっていた，離れた周辺語のノイズによるfalse positiveを抑制する効果が生じているためと考えられる．
再現率の上昇は，SWと同様の原理で生じていると考えられる．
この両者の違いは，F1スコアに顕著に現れている．
$l\mathrm{=5}$ の場合で，SWは最低値 (20.65{\%}) であるのに対し，MWでは最高値 (52.75{\%}) となっている．

一方，PDの場合，窓パラメータの違いによる性能差はMWよりも小さい．
窓パラメータを増やすことで適合率が上昇し，再現率が低下するといったMWやSWとは逆の傾向が見られる．
PDの場合，窓パラメータを増やしても周辺語の入力における比率が1/2に保たれるため，前述のSW，MWの場合と違ってfalse positiveは抑制され，適合率は低下しない．
しかし同時に，窓を広げることで，それぞれの周辺語の相対的な入力強度が低下するため，周辺文脈を手掛かりとするtrue positiveの検出も同時に抑制するため，再現率の低下として現れていると考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% 6.2 
\subsection{イベントタイプ分類における比較評価}

続いて，第二のサブタスクであるイベントタイプ分類における評価結果を示す．
表4では，3つの異なるエンコーディングモデルにそれぞれ異なる窓パラメータを適用した場合と，ソフト投票法，および，動的アンサンブル法を介して適用した場合のイベントタイプ分類の性能を，適合率，再現率，F1スコア（ミクロ平均）で示している．
比較評価のため，各モデルのイベントタイプ分類では，イベント表現検出の評価（表3）でF1スコアが最も高い$k=1$ の場合のDE法（再現率55.09{\%}，F1スコア59.13{\%}）の検出結果を，全てのモデルに共通の入力として用いることで評価を行った．
イベントタイプ分類は，この検出されたイベント表現を入力として，18種類のイベントタイプに関する二値分類を適用し，4.3節の (\ref{eq10}) 式の方法を用いることで，最終的に唯一のイベントタイプの推定を行った．
表4の$l$ および$k$ は，表3と同様，それぞれ窓パラメータ $l$ とモデル数のパラメータ $k$ を表す．
表の左側は，各評価に用いたモデルの種類または手法を表している．
シングルウィンドウ (SW) モデルに対しては3種類の窓パラメータ $l\mathrm{=0,\, 3,\, 5}$ を用いた結果を示し，マルチウィンドウ (MW) モデルと擬似依存 (PD) モデルに対してはそれぞれ，2種類の窓パラメータ $l\mathrm{=3,\, 5\, }$を用いた結果を示している．
また，ソフト投票 (SV) 法，および，動的アンサンブル (DE) 法に対しては，SWモデル，MWモデル，PDモデルの各評価で用いた7つのモデルをモデル群とし，ソフト投票ではその全てのモデルを用い，動的アンサンブル(DE)法ではそれぞれモデル数のパラメータ$k=1,\, 2,\, 3,\, 4\, $を用いた結果を示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 4
\begin{table}[t]
\hangcaption{イベントタイプ分類における，各エンコーディングモデルを独立に適用した場合と動的アンサンブルを介して適用した場合の，適合率・再現率・F1スコアの評価結果の比較}
\label{tab4}
\input{08table04.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

表4を見ると，適合率が最も高いのはSV法 (56.82{\%}) であるが，再現率およびF1スコアが最も高いのはモデル数のパラメータが $k=1$ の場合のDE法（再現率47.94{\%}，F1スコア51.46{\%}）であることが分かる．
SV法の適合率が $k=1$ の場合のDE法よりも適合率が高くなるのは，複数のモデルに基づく検出により，単一のモデルに比べてfalse positiveの検出が抑制されるためであると考えられる．
一方，SV法の再現率が $k=1$ のDE法よりも再現率が低くなるのは，複数のモデルに基づく検出では，単一のモデルのみに感応するtrue positiveの検出も抑制されるためであると考えられる．

これらの傾向は，イベント表現検出（表3）の結果と似ているが，イベント表現検出では，モデルによって検出されるイベント表現の総数が変化するのに対し，イベントタイプ分類では，前段のイベント表現検出が決定した表現に対するイベントタイプの決定であるため，モデルによって各イベントタイプに分類される割合は変化しても総数は保存されるという点が異なる．
この違いが両者のSV法の適合率の振る舞いの違いを生じていると考えられる．
すなわち，イベント表現検出（表3）では，全モデルの平均を用いるSV法では，検出されるイベント表現の総数が減少するため，$k=1$ の場合のDE法の適合率 (63.82{\%}) よりも低い値 (62.32{\%}) であったのに対し，イベントタイプ分類（表4）では，検出されるイベント表現の総数が保存されるため，SV法の適合率 (56.82{\%}) が最も高い値になったと考えられる．

また，単一のモデルであるSWモデル，MWモデル，PDモデルの中で，適合率が最も高いのは $l=3$ の場合のMW (54.65{\%}) であるが，再現率とF1スコアが最も高いのは $l=3$ の場合のPD（再現率が43.82{\%}，F1スコアが47.43{\%}）であることが分かる．
これは，イベント表現検出（表3）と同様の傾向であり，窓パラメータを増やした場合の，SW，MW，PDそれぞれの適合率における振る舞いの違いから理解が出来る．
SWの場合，窓パラメータを増やすことで，適合率は低下し，再現率は適合率に対して相対的には上昇している．
これは，窓を広げると，より広い文脈に基づいて新たな，true positiveが検出できるようになる反面，離れた周辺語ほどイベント表現と無関係な語の割合が高く，そのノイズによりfalse positiveが増えるためと考えられる．

さらに，MWとSWの窓パラメータの増大による適合率の低下を比較すると，MWの方がSWに比べて低下が少ない事が分かる．
これは，MWの場合，窓中央に近いトークンほど入力強度が強化される性質があるため，SWの場合に窓を広げると問題になっていた，離れた周辺語のノイズによるfalse positiveを抑制する効果が生じているためと考えられる．
再現率の上昇は，SWと同様の原理で生じていると考えられる．
この両者の違いは，F1スコアに顕著に現れている．
$l\mathrm{=5}$ の場合で，SWは最低値 (17.80{\%}) であるのに対し，MWでは最高値 (46.54{\%}) となっている．

一方，PDの場合，窓パラメータの違いによる性能差はMWよりも小さい．
窓パラメータを増やすことで適合率が上昇，再現率が低下するといったMWやSWとは逆の傾向が見られる．
これはイベント表現検出（表3）と同様の傾向であり，先に述べたように，窓パラメータを増やしても周辺語の入力における比率が1/2に保たれるというPDの性質により，大きな窓パラメータではfalse positiveとtrue positiveが抑制されるためと考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% 6.3 
\subsection{実現性状態分類における比較評価}

続いて，最後のサブタスクである実現性状態分類における評価結果を表5に示す．
ここでも表3，表4と同様に，3つの異なるエンコーディングモデルにそれぞれ異なる窓パラメータを適用した場合と，ソフト投票法，および，動的アンサンブル法を介して適用した場合のイベント表現検出の性能を，適合率，再現率，F1スコア（ミクロ平均）で示している．
比較評価のため，各モデルの実現性状態分類でも，イベント表現検出の評価（表3）でF1スコアが最も高い $k=1$ の場合のDE法（再現率55.09{\%}，F1スコア59.13{\%}）の検出結果を，全てのモデルに共通の入力として用いることで評価を行った．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 5
\begin{table}[t]
\hangcaption{実現性状態分類における，各エンコーディングモデルを独立に適用した場合と動的アンサンブルを介して適用した場合の，適合率・再現率・F1スコアの評価結果の比較}
\label{tab5}
\input{08table05.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

実現性状態は，この検出されたイベント表現を入力として，3つの実現性状態 (``$actual$'', ``$general$'', ``$others$'') に関する二値分類を適用し，4.4節の (\ref{eq11}) 式の方法を用いることで，最終的に唯一の実現性状態の推定を行った．
ここで $l$ および $k$ は，表3，表4と同様，それぞれ窓パラメータ $l$ とモデル数のパラメータ $k$ を表す．
表の左側は，各評価に用いたモデルの種類または手法を表している．
シングルウィンドウ (SW) モデルに対しては3種類の窓パラメータ $l\mathrm{=0,\, 3,\, 5}$ を用いた結果を示し，マルチウィンドウ (MW) モデルと擬似依存 (PD) モデルに対してはそれぞれ，2種類の窓パラメータ $l\mathrm{=3,\, 5}$ を用いた結果を示している．
また，ソフト投票 (SV) 法，および，動的アンサンブル (DE) 法に対しては，SWモデル，MWモデル，PDモデルの各評価で用いた7つのモデルをモデル群とし，ソフト投票ではその全てのモデルを用い，動的アンサンブル (DE) 法ではそれぞれモデル数のパラメータ $k=1,\, 2,\, 3,\, 4$ を用いた結果を示す．

表5を見ると，モデル数のパラメータが $k=1$ の場合のDE法が適合率，再現率，F1スコアの全てで最も高い値（適合率50.01{\%}，再現率43.16{\%}，F1スコア46.34{\%}）となっていることが分かる．
$k=1$ の場合のDE法に比べて，モデル数の大きいDE法やSV法の再現率が低くなるのは，複数のモデルに基づく検出では，単一のモデルのみに感応するtrue positiveの検出が抑制されるためと考えられる．
この傾向は，これまで見てきたイベント表現検出（表3）やイベントタイプ分類（表4）とも共通している．

一方，$k=1$ の場合のDE法に比べて，モデル数の大きいDE法やSV法の適合率が低くなる点は，イベント表現検出（表3）やイベントタイプ分類（表4）と異なる．
この違いは，実現性状態分類における分類方法（4.4節）と関係があると考えられる．
実現性状態分類では，3つの実現性状態 (``$actual$'', ``$general$'', ``$others$'') に関する二値分類の後，いずれの信頼度も低い場合には定義上 ``$others$'' を割り当てるという方法を用いている．
このため，複数のモデルに基づいて検出を行った場合，二値分類による検出が抑制されて信頼度が全体的に低下し，``$others$'' への分類が増加する．
その結果，``$others$'' でのfalse positiveの増加が起き，適合率の低下が生じると考えられる．

また，単一のモデルであるSWモデル，MWモデル，PDモデルの中では，$l=5$ の場合のMWが，適合率，再現率，F1スコアの全てで最も高い値（適合率48.51{\%}，再現率41.87{\%}，F1スコア44.94{\%}）となっていることが分かる．
さらに，SW，MW，PDのいずれの場合も，窓パラメータが大きい方が適合率，再現率，共に高くなる傾向にあることが分かる．
この傾向は，イベント表現検出（表3）やイベントタイプ分類（表4）において，SWとMWでは適合率が低くなり，PDでは再現率が低くなる傾向が見られたのとは明らかに異なる．
とりわけ，窓パラメータが $l=$ の場合と，それ以外の場合でのSWの適合率の違いは顕著である．

この傾向の違いを生じている要因は，まず実現性状態の性質にあると考えられる．
3つの実現性状態 (``$actual$'', ``$general$'', ``$others$'' ) とムード（法），モダリティ（法性），テンス（時制），アスペクト（相）の間の密接な関連性から考えて，実現性状態を正確に分類するためには，イベント表現自体からの情報に加え，その有力な手掛かりとなる助動詞，接続詞，疑問詞，副詞，副詞節の構成語など，様々な周辺語からの情報が入力文の表現に応じて必要となると考えられる．
これは，評価セット中から抽出した次の例からも明らかである．

\vspace{0.5\Cvs}
例）``Where was the father when the \underline {\textit{shot}} \textbf{was} \underline {\textit{fired}} not more than a 1000 feet away?'' [\textit{actual}]

\vspace{0.5\Cvs}
この例の場合，実現可能性 ``\textit{actual}'' の推定に必要な情報は，イベント表現の構成語 ``\underline {\textit{shot}}'' と ``\underline {\textit{fired}}'' に隣接するbe動詞 ``\textbf{was}'' のテンス（時制）として存在し，イベント表現自体からは手掛かりを得ることができない．
実現可能性の判定では，このように周辺語の情報が必須となる入力文が存在するため，周辺語からの情報が得られない窓パラメータが $l=0$ の場合のSWに比べて，窓パラメータが大きなSWの方が相対的にtrue positiveを多く検出でき，再現率が高まる．
すると，前述の実現性状態分類における分類方法（4.4節）の性質からも，二値分類における信頼度がより高くなることで，信頼度の低い ``\textit{others}'' への分類が減少し，結果として適合率と再現率が共に高い結果が得られると考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% 6.4 
\subsection{end-to-endでの比較評価}

Event Nuggetタスクにおける提案手法の有効性をさらに比較検証するため，NIST TAC KBPの過去2回分のEvent Nuggetタスク，KBP2017およびKBP2016における公式評価結果との比較評価を行う．
表6，表7には，それぞれKBP2017，KBP2016におけるEvent Nuggetタスクの公式評価でのend-to-end での性能（イベント表現検出，イベントタイプ分類，実現性状態分類を統合した全体性能）を，適合率，再現率，F1スコア（ミクロ平均）で示している．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 6
\begin{table}[t]
\hangcaption{表6 NIST KBP2017 Event Nugget Detectionタスクのend-to-end評価（英語）における公式評価結果の上位10システムと提案手法の，適合率・再現率・F1スコアの比較}
\label{tab6}
\input{08table06.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 7
\begin{table}[t]
\hangcaption{表7 NIST KBP2016 Event Nugget Detectionタスクのend-to-end評価（英語）における公式評価結果の上位10システムと提案手法の，適合率・再現率・F1値の比較}
\label{tab7}
\input{08table07.tex}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

また，各参加システムおよび提案手法は，手法やモデルの違いに加えて，開発・訓練に使用したデータセットや外部リソースなどの面でもそれぞれ異なっている．
このため，表中では，これらの違いを踏まえた比較が可能なように，各システムがベースとする基本モデル，開発用データ，分散表現や解析器などの外部リソースの種別についても併せて記載した．
紙面の都合により，開発用データの種別は表1のカテゴリに基づいて，それぞれACEを「A」，EREを「E」，EN2014を「14」，EN2015を「15」，EN2016を「16」の様に略記した．
分散表現や解析器などの外部リソースについても，単語の分散表現を「分」，品詞情報を「品」，統語情報を「統」，意味情報を「意」の様に略記した．
各システムの行中で「●」が付いている項目は，同システムがそのカテゴリの開発データや外部リソースを使用している事を表している．
これらの表から分かるように，公式評価の条件下であっても，各システムが使用する開発データや外部リソースには違いがある．
このため，以降の各システムの比較議論においては，こうした条件の違いが各システムの性能に影響する可能性についても注意が必要である．

まず，KBP2017のend-to-endの評価結果から比較議論を行う．
表6の「提案手法 (DE)」の行は，前節までの提案手法の評価に用いたシステムを，KBP2017の公式評価と同一条件となるよう，表2のKBP2017公式評価との比較評価の開発用データセットを用いて訓練や各パラメータを決定し，KBP2017の公式評価ツールを用いて評価したend-to-endでの性能値である．
それ以外のシステムの行は，NIST TAC KBP2017のEvent Nugget Detection (English) に参加した上位10システムの評価結果を示している．
各システムの基本モデル，開発用データ，分類表現・解析器については，それぞれのシステムレポートの記載内容に基づいている．
表中でF1値が最も高いのは提案手法 (DE) で，40.32{\%}であった．

一方，公式評価結果の中でF1値が最も高いのはCLUZH1 (Makarov and Clematide, 2017) で，39.73{\%}である．同システムは，単語の分散表現，CoreNLP (Manning et al., 2014) からの品詞，依存関係 (Universal Dependencies)，位置情報のエンコーディングを結合した単語のエンコーディングを入力として，Bi-LSTMによる文エンコーディングによってイベント表現の各属性のBIOラベリングのjoint learningを実現している．
同システムの再現率41.03{\%}は，全システム中で最も高い値であるが，これはfalse negativeに対するコストを追加した損失関数による学習が奏効した結果と思われる．
次にF1値が高いのはlvic-event1 (Kodelja, Besan\c{c}on, Ferret, Borgne, and Boros, 2017) で，39.28{\%}である．
同システムは，入力層にdropoutを適用した畳み込みニューラルネットワークによる入力系列へのBIOラベリングを，CLUZH1と同様に拡張された単語embeddingによって強化している．
上位の参加システムの多くはLSTMまたはCNNを基本モデルとしているが，例えばF1値が9番目のBUPT-PRIS1 (Sun, Gu, Ding, Li, Li, Li, and Xu, 2017) では，Bi-GRUベースのAttention機構で文のembeddingを生成し，これを入力にFeed Forward Network (FFN) でイベント表現の抽出を実現している．

なお，CLUZH1を始めとする多数の参加システムが使用した開発用データが，表1のカテゴリのうちERE，EN2015，EN2016に集中する傾向が見られる．
これに関してCLUZH1の報告書 (Makarov and Clematide, 2017)に，KBP2016の参加システムの開発用データの選択を踏襲してRich ERE アノテーションのデータ，すなわちERE，EN2015，EN2016のみを用いるといった言及がある．
表7の開発用データを見ると，確かにF1値で上位7番目までのチームがRich ERE アノテーションでないEN2014を開発用データに用いていないことが分かる．
一方，提案手法のKBP2017，KBP2016の評価では，このEN2014を使用しない場合の実験を行っていないため，これらのシステムとの間でEN2014が性能差にどう影響するかは確認出来ていない．

こうした様々なシステム間の違いから，基本モデルの特性をシステム性能の比較に基づいて議論するのは注意を要するところではあるが，F1値が同程度の上位のシステムを比較すると，LSTMベースの方が全体的にCNNベースに対して再現率が高く，適合率が低くなる傾向が見られる．
これは，文全体に渡る依存関係を必要とするイベント表現の抽出では，基本的にはCNNよりもLSTMの方が適しており，実際にそのようなイベント表現のtrue positiveをより多く検出できれば，再現率における優位性として現れてくるという解釈ができる．
提案手法 (DE) の再現率37.56{\%}は，CNNベースのシステムの中では最も高い値であるが，LSTMベースの上位2システムであるCLUZH1およびsrcb1と比べれば低い値となっている．
これも，提案手法のベースモデルがCNNであることに要因があると思われる．

一方，Attention機構による文のエンコーディングでも，文全体に渡る依存関係を必要とするイベント表現の抽出では，CNNベースに対して同様の優位性が期待される．
しかし実際にBi-GRUベースのAttention機構を用いたBUPT-PRIS1を見ると，適合率39.92{\%}に対して再現率が19.24{\%}と低い値となっている．
この傾向はwip1にも共通することから，GRUベースはLSTMベースほど長い文脈情報が伝達できず，結果として，長い依存関係へのAttentionが有効に機能していない可能性が考えられる．

続いて，KBP2016のend-to-endの評価結果について比較議論を行う．
表7の「提案手法 (DE)」の行は，前節までの提案手法の評価に用いたシステムを，KBP2016の公式評価と同一条件となるよう，表2のKBP2016公式評価との比較評価の開発用データセットを用いて訓練や各パラメータを決定し，KBP2016の公式評価ツールを用いて評価したend-to-endでの性能値である．
それ以外のシステムの行は，NIST TAC KBP2016のEvent Nugget Detection (English) に参加した上位10システムの評価結果を示している．
各システムの基本モデル，開発用データ，分類表現・解析器については，それぞれのシステムレポートの記載内容に基づいている．
表中でF1値が最も高いのは提案手法 (DE) で，37.26{\%}であった．

一方，公式評価結果の中でF1値が最も高いのはNYU1 (Nguyen et al., 2016a) で，35.24{\%}である．
同システムは，CNNにおいて，文中の非隣接要素をランダムに選択して生成されるn-gramにconvolutionを適用する様にCNNを拡張したnon-consecutive CNNを各サブタスクの分類器に用い，入力には，単語の分散表現に，品詞，依存関係，位置情報のエンコーディングを結合した単語embeddingを用いている．
次にF1値が高いのはUTD1 (Lu and Ng, 2016) で，33.58{\%}である．
同システムは，正例の数が少ないイベントタイプに対しても，頑健にイベント表現検出やイベントタイプの分類をモデル化するためにk-近傍法を用いている．
3番目にF1値が高いのはwip3 (Zeng et al., 2016) で，33.1{\%}である．
同システムは，CRFとMax Entropyを併用してイベント表現を検出した後，単語の分散表現とCNNで生成した文脈情報の結合を入力とするBi-LSTMを用いてイベントタイプごとのBIOラベリングを行うことで，イベントタイプ分類を行っている．

ここでもKBP2017と同様に，RPI-BLENDER2とSoochowNLP3の比較から，LSTMベースがCNNベースに対して再現率が高くなる傾向が見られるが，例外も存在する．
例えば，NYU1はCNNベースでありながら，再現率37.21{\%}が適合率33.47{\%}よりも高い．
この要因としては，NYU1では，non-consecutive CNNによる文中の非隣接要素のランダムな選択とconvolutionが，入力層側での擬似的なattentionのように上手く機能し，文全体のエンコーダのような機能を実現しているためではないかと考えられる．
wip3もLSTM ベースでありながら，再現率29.10{\%}が適合率38.38{\%}よりも低い．
これは，wip3が，CRFベースのイベント表現抽出の結果に対してBi-LSTMによるラベリングを適用するシーケンシャルなプロセスを採用しているため，LSTMよりも前段のCRFベースの特性が現れていると考えられる．
CRFベースのWashington1でも，再現率21.42{\%}が適合率30.71{\%}よりも低く，wip3と同じ傾向が見られる．
また，LTI-CMU1 (Liu, Araki, Mitamura, and Hovy, 2016) は，全システム中で最も高い適合率40.19{\%}であるが，再現率は22.76{\%}と低い．
これはKBP2017のGRUベースのBUPT-PRIS1やwip1と共通する傾向であることから，GRUベースでは，長い依存関係を上手く扱えていない可能性が考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% 7 
\section{考察}

本研究では，機械読解の実用化に有用な知識獲得技術の実現を主眼に，TAC KBPのEvent Nugget Detectionタスクを通じて，イベント抽出における技術課題に取り組んだ．
同タスクの定式化では，大きく系列ラベリングと分類の2つのアプローチがあるが，本研究ではGPU等の並列計算の恩恵が受けられる後者の分類のアプローチを選択することにした．
さらに，TAC KBPの各参加システムの比較分析から，分類の典型であるCNNのconvolutionとpoolingによって多様なイベント表現の意味の構成性をモデル化する方向に可能性を感じ，CNNベースでの定式化を進めた．
CNNベースでは固定長の入力系列を生成するために，通常，窓を用いて入力から固定長のトークン列を切り出す．
しかしEvent Nugget Detectionタスクでは，(1) モデルの窓長に応じて入力の個々の表現との間で様々な親和性の高低を生じ，また，(2) 離れた語彙間の依存関係や長距離の文脈などを効率的に学習することが難しい，といった問題を生じる．
このため本研究では，従来の単一の窓を用いるSWモデルに，窓長の異なる複数窓から構成されるMWモデル，離れたトークン間の対を隣接させる配列で依存関係を考慮するPDモデル，といった異なる性質を持つエンコーディングモデル群を導入し，さらに，入力ごとにその表現と親和性の高いモデルアンサンブルを動的に選択するDE法を提案した．

Event Nugget Detectionタスクの各サブタスクで，SWモデル，MWモデル，PDモデルの比較評価を行ったところ，SWモデルで大きな窓パラメータを用いると再現率とF1値が大きく低下し，長い文脈や離れた依存関係に関する問題が確認されたが，MWモデル，PDモデルでは大きな窓パラメータを用いた場合にもこういった再現率の低下が少なく安定したF1値が得られることから，SWモデルの問題を改善する効果が確認できた．

また，SWモデル，MWモデル，PDモデルで異なる窓パラメータを用いて得られる7つのモデル群に対して，全モデルの事後確率の平均を用いるSV法と，入力に親和性の高いモデルのみを信頼度に基づいて動的に選択し，得られたモデルアンサンブルの事後確率の平均を用いるDE法を比較した場合に，SV法では，SWモデル，MWモデル，PDモデルを単一で適用する場合に比べてもF1値で劣る場合が見られるのに対し，DE法では，アンサンブルのモデル数 $k=1,2,3,4$ いずれの値でも，全てのサブタスクで全モデルを上回るF1値を得た．
このことから，入力に対して親和性の高いモデルを選択するために導入した信頼度の有効性が確認できた．
なお，DE法のモデル数 $k$ は，今回の実験で用いたモデル群では，全てのタスクで $k=1$ の時に最も高いF1値となったが，イベント表現検出の適合率は $k=2$ で最大となった．
このことから，DE法の性能はモデル数 $k=1$ の近傍で安定しており，また $k$ を増やすと複数モデルに支持される分類結果が選好される効果から，false positiveが抑制される事が分かった．

KBPの公式評価と条件を合わせた比較評価の結果では，提案手法ベースの評価システムがEvent Nugget Detectionにおいて最も高いF1値を得た．
各システムが使用するデータセットやリソースはそれぞれ異なるため，F1値の単純比較による優劣の議論は注意を要するが，同タスクにおいて系列ラベリング，分類の両アプローチの主要なモデルと比較しても，提案手法を用いた評価システムの性能は高い水準にあることが分かった．

また，各システムの評価結果の比較から，分類に属するCNNベースのシステムが，系列ラベリングに属するLSTMやGRU等のゲート付きRNNベースのシステムと比較して同等の性能が出ていることから，Event Nugget Detectionのタスクの性質についても幾つかの推察を行うことができる．
まず，Event Nugget Detectionでは，トークン列中のイベント表現の出現箇所がスパースで出力のラベル系列における依存関係が弱いため，2章でも述べたような系列ラベリングから分類への分解が良い近似になっていると考えられる．
あるいは逆に，系列ラベリングに属するLSTM等では，出力系列の依存関係がスパース性によって上手く学習されず，性能に寄与していないという見方もできる．
また，同タスクが長距離依存タスクで無く，イベント表現の属性に関わる文脈情報がイベント表現の近傍に集まっている点も，有限の窓長で文脈を捉えるのに好都合であり，相関の強い構成要素から汎化性の高い特徴抽出を行うのに優れたCNNに有利に働いていると考えられる．

 以上の評価実験に関する考察から，Event Nugget Detectionにおける，CNNをベースとした提案手法の有効性は明らかとなったが，ここまでの提案手法の定式化はCNNベースに限定されている．
このため，提案手法には，ラベル系列の依存関係や，長い文脈の考慮が難しいといったCNN由来の制約が残る．
そこで，以降では，ここ数年のニューラルネットワークモデルに対する提案手法の適用について，原理的な可能性を論じてみたい．

出力系列の依存関係を考慮するための拡張としては，例えばCNNをゲート付きRNNと組み合わせるようなConvolutional Recurrent Neural Network (CRNN)のアプローチが考えられる．
提案手法のベースになり得るモデルとしては，例えばCNNをLSTMの前段に置く構成 (Sainath, Vinyals, Senior, and Sak, 2015) などがある．
こういったCNN$+$LSTMモデルに対して提案手法を組み込むには，トークン毎に事前学習したCNNを複数用意し，動的アンサンブルによってLSTMへの入力を切り替えれば良く，比較的容易に組み込むことが可能であると考えられる．

また，並列化による高速化が容易なCNNの枠組みを生かし，より長距離の依存関係の学習を強化するようなアプローチも存在する．
例えば，CNNのネットワーク階層において，系列の次の単語の予測能力を高めるような特徴量を選択的に伝播させるゲートを組み込んだGated Convolutional Network (Dauphin, Fan, Auli, and Grangier, 2017) やAttention機構をゲートに用いたAttention Gated Convolutional Neural Network (Liu, Ji, Huang, Ming, Gao, and Zhang, 2019) がある．
このようなCNNベースのモデルに対しては本論文の定式化をそのまま適用することが出来る．

さらに，最近では，単一のCNN内のAttentionによる制御ではなく，CNNカーネルを並列化し，それらを入力に応じて動的に線型結合するためにself-attentionを用いることで，モデルの表現力を高めるDynamic Convolution (Chen, Dai, Liu, Chen, Yuan, and Liu, 2019) やCondConv (Yang, Bender, Le, and Ngiam, 2019) などの提案がなされている．
一方，提案手法の動的アンサンブル法は，信頼度の高いモデル集合を選択するargmaxをsoftmaxに置き換えてCNNの結合パラメータを推定する様に定式化すれば，attentionと機能的に近いことが分かる．
したがって，これらの提案と提案手法は親和性が高く，概念的には提案手法をこれらの提案の枠組みの上で実現することも可能ではないかと思われる．
ただし，提案手法の場合，入力側に異なるエンコーディングを適用するためにCNN間で入力系列の長さや並びが一致しない．
このため，CondConvで用いられている，事前にCNNカーネルを結合してからconvolutionを行うといった定式化は適用できず，Mixture of Expertsとしての結合となる．

また，ここ数年はCNNやRNNを用いずにAttention機構のみでTransformerを構成するアプローチが活発に研究されている (Vaswani, Shazeer, Parmar, Uszkoreit, Jones, Gomez, Kaiser, and Polosukhin, 2017; Peters, Neumann, Iyyer, Gardner, Clark, Lee, and Zettlemoyer, 2018; Devlin, Chang, Lee, and Toutanova, 2019)．
これらの手法に対し，提案手法の窓を入力文のスパンとし，エンコーディングに用いる各モデル (SM, MW, PD)を組み込んだ系で事前学習（masked language modelやnext sentence prediction等）を行い，動的アンサンブル法による結合を行えば，形式的には提案手法は適用可能であると考えられる．
ただし，提案手法で導入したMW，PDは，convolutionとpoolingを前提にその弱点を補い，近接要素の強い相関から離れた要素の依存関係までを効果的にモデル化するためのフィルタ設計になっている．
このため，self-attentionの表現力が原理的にCNN を包含することを考えると (Cordonnier, Loukas, and Jaggi, 2020)，Transformerの学習特性にあった別の設計が不可欠と思われる．
そのようなTransformerに対するフィルタ群の体系的な設計と提案手法の有効性の検証は今後の課題である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% 8 
\section{まとめ}

本研究では，機械読解の実用化に有用な知識獲得技術の実現を主眼に，TAC KBPのEvent Nugget Detectionタスクを通じて，イベント抽出における技術課題に取り組んだ．
同タスクの定式化では，大きく系列ラベリングと分類の2つのアプローチがあるが，本研究ではGPU等の並列計算の恩恵が受けられる後者の分類に属するCNNをベースに提案手法の定式化を行った．
CNNでは固定長の入力系列を生成するため，そのままではEvent Nugget Detectionにおいて，(1) モデルの窓長に応じて入力の個々の表現との間で様々な親和性の高低を生じ，また，(2) 離れた語彙間の依存関係や長距離の文脈などを効率的に学習することが難しい，といった問題を生じる．
このため本研究では，単一の窓を用いるSWモデル，窓長の異なる複数窓からなるMWモデル，離れたトークン対の配列で依存関係を模擬するPDモデルからなるエンコーディングモデル群を導入し，さらに，入力ごとに動的に親和性の高いモデルを動的に選択するDE法を提案した．

Event Nugget Detectionのサブタスクの比較評価から，SWモデルで大きな窓パラメータを用いると再現率とF1値が大きく低下する問題が，MWモデル，PDモデルでは緩和され，安定したF1値が得られる効果が確認できた．
さらに，SWモデル，MWモデル，PDモデル，およびこれら全ての平均を用いるSV法と提案手法であるDE法の比較から，DE法は，アンサンブルのモデル数 $k=1,2,3,4$ いずれの値でも，他のモデルをF1値で上回ることから，DE法とそのベースである信頼度の有効性が確認できた．

また，KBPの公式評価と条件を合わせた比較評価の結果では，提案手法ベースの評価システムがEvent Nugget Detectionにおいて最も高いF1値を得た．
各システムが使用するデータセットやリソースはそれぞれ異なるため，F1値の単純比較による優劣の議論は注意を要するが，同タスクにおいて系列ラベリング，分類の両アプローチの主要なモデルと比較しても，提案手法を用いた評価システムの性能は高い水準にあることが分かった．

さらに，各参加システムの比較からEvent Nugget Detectionの性質についても考察を行った．
その結果，分類に属するCNNベースのシステムが，系列ラベリングに属するLSTMやGRU等のゲート付きRNNベースのシステムと同等の性能であることから，Event Nugget Detectionでは，トークン列中のイベント表現の出現箇所がスパースで出力のラベル系列における依存関係が弱いため，系列ラベリングから分類への分解が良い近似になっていると推察した．
また，同タスクが長距離依存タスクで無く，イベント表現の属性に関わる文脈情報がイベント表現の近傍に集まっていることが，有限の窓長で文脈を捉え，相関の強い構成要素から汎化性の高い特徴抽出を行うCNNに有利に働いているものと推察した．

最後に，CNNベースの提案手法の拡張可能性として，ここ数年のニューラルネットワークモデルに対する適用可能性についても議論を行った．
LSTMの入力側にCNNのエンコーダを配する枠組みや，ゲート機構付きのCNNなどは，比較的容易に提案手法が可能であることが分かった．
また，CNNカーネルを並列化し，入力に応じてself-attentionで動的な結合を実現するDynamic ConvolutionやCondConvなどの手法は，動的アンサンブルと機能構成が近く，原理的には提案手法をこれらの枠組み上で実現できる見込みを得た．
一方で，CNNやRNNを用いずAttention機構のみでTransformerを構成するアプローチに対しては，提案手法は形式的には適用可能であるものの，CNNの弱点を補強するように設計されたエンコーディングモデルは見直しが必要である．
より表現力の高いTransformerに適した体系的なフィルタ群の導入が必要であり，そのような提案手法の再設計と有効性の検証は今後の課題である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\bibliographystyle{jnlpbbl_1.5}
\begin{thebibliography}{}

\item
Aguilar, J., Beller, C., McNamee, P., Durme, B. V., Strassel, S., Song, Z., and Ellis, J. (2014). ``A Comparison of the Events and Relations Across ACE, ERE, TAC-KBP, and FrameNet Annotation Standards,'' In \textit{Proceedings of the 2nd Workshop on Events, ACL 2014}, pp.~45--53.

\item
Bies, A., Song, Z., Getman, J., Ellis, J., Mott, J., Strassel, S., Palmer, M., Mitamura, T., Freedman, M., Ji, H. and O'Gorman, T. (2016). ``A Comparison of Event Representation in DEFT,'' In \textit{Proceedings of the 4th Workshop on Events}, pp.~27--36.

\item
Chen, Y., Dai, X., Liu, M., Chen, D., Yuan, L., and Liu, Z. (2019). ``Dynamic Convolution: Attention Over Convolution Kernels,'' \textit{arXiv preprint arXiv:1912.03458}.

\item
Collobert, R., Weston, J., Bottou, L., Karlen, M., Kavukcuoglu, K. and Kuksa, P. (2011). ``Natural Language Processing (Almost) from Scratch,'' \textit{Journal of Machine Learning Research}, \textbf{12}, pp.~2493--2537.

\item
Cordonnier, J. B., Loukas, A., and Jaggi, M. (2020). ``On the Relationship Between Self-atttetion and Convolutional Layers,'' \textit{ICLR 2020}.

\item
Dauphin, Y. N., Fan, A., Auli, M., Grangier, D. (2017). ``Language Modeling with Gated Convolutional Networks,'' \textit{ICML2017}, pp.~933--941.

\item
Devlin, J., Chang, M. W., Lee, K., Toutanova, K. (2019). ``BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding,'' \textit{NAACL-HLT 2019}, pp.~4171--4186.

\item
Doddington, G., Mitchell, A., Przybocki, M., Ramshaw, L., Strassel, S., and Weischedel, R. (2004). ``Automatic Content Extraction (ACE) Program - Task Definitions and Performance Measures,'' \textit{LREC 2004}, pp.~837--840.

\item
Ellis, J., Getman, J., Fore, D., Kuster, N., Song, Z., Bies, A., and Strassel, S. (2016). ``Overview of Linguistic Resources for the TAC KBP 2016 Evaluations: Methodologies and Results,'' In \textit{Proceedings of the 9th Text Analysis Conference}.

\item
Getman, J., Ellis, J., Song, Z., Tracey, J., and Strassel, S. (2017). ``Overview of Linguistic Resources for the TAC KBP 2017 Evaluations: Methodologies and Results,'' In \textit{Proceedings of the 10th Text Analysis Conference}.

\item
Kim, Y. (2014). ``Convolutional Neural Network for Sentence Classification,'' In \textit{EMNLP 2014}, pp.~1746--1751.

\item
Kodelja, D., Besan\c{c}on, R., Ferret, O., Borgne, H. L., and Boros, E. (2017). ``CEA LIST Participation to the TAC 2017 Event Nugget Track,'' In \textit{Proceedings of the 10th Text Analysis Conference}.

\item
Liu, Y., Ji, L., Huang, R., Ming, T., Gao, C., Zhang, J. (2019). ``An Attention-Gated Convolutional Neural Network for Sentence Classification,'' \textit{Intelligent Data Analysis}, \textbf{23} (5), pp.~1091--1107.

\item
Liu, Z., Araki, J., Mitamura, T., and Hovy, E. (2016). ``CMU-LTI at KBP 2016 Event Nugget Track,'' In \textit{Proceedings of the 9th Text Analysis Conference}.

\item
Lu, J. and Ng, V. (2016). ``UTD's Event Nugget Detection and Coreference System at KBP 2016,'' In \textit{Proceedings of the 9th Text Analysis Conference}.

\item
Makarov, P. and Clematide, S. (2017). ``UZH at TAC KBP 2017: Event Nugget Detection via Joint Learning with Softmax-Margin Objective,'' In \textit{Proceedings of the 10th Text Analysis Conference}.

\item
Manning, C. D., Surdeanu, M., Bauer, J., Finkel, J., J Bethard, S. and McClosky, D. (2014). ``The Stanford CoreNLP Natural Language Processing Toolkit,'' In \textit{ACL 2014}, pp.~55--60.

\item
McNamee P. and Dang, H. T. (2009). ``Overview of the TAC 2009 Knowledge Base Population Track,'' In \textit{Proceedings of the 2nd Text Analysis Conference}.

\item
Meyers, A., Kosaka, M., Ji, H., Xue, N., Harper, M., Sun, A., Xu, W. and Liao, S. (2009). ``Transducing Logical Relations from Automatic and Manual GLARF,'' In \textit{the Linguistic Annotation Workshop III, in ACL}, pp.~116--120.

\item
Mikolov, T., Chen, K., Corrado, G. and Dean, J. (2013). ``Efficient Estimation of Word Representations in Vector Space,'' In \textit{ICLR}.

\item
Mitamura, T., Yamakawa, Y., Holm, S., Song, Z., Bies, A., Kulick, S. and Strassel, S. (2015). ``Event Nugget Annotation: Process and Issues,'' In \textit{Proceedings of the 3rd Workshop on Events}, pp.~66--76.

\item
Mitamura, T., Liu, Z. and Hovy, E. (2016). ``Overview of TAC-KBP2016 Event Nugget Track,'' In \textit{Proceedings of the 9th Text Analysis Conference}.

\item
Nguyen, T. H., Cho, K. and Grishman, R. (2016a). ``Joint Event Extraction via Recurrent Neural Networks,'' In \textit{HLT-NAACL 2016}, pp.~300--309.

\item
Nguyen, T. H., Meyers, A. and Grishman, R. (2016b). ``New York University 2016 System for KBP Event Nugget: A Deep Learning Approach,'' In \textit{Proceedings of the 9th Text Analysis Conference}.

\item
Peters, M. E., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., Zettlemoyer, L. (2018) ``Deep Contextualized Word Representations,'' In \textit{NAACL-HLT 2008}, pp.~2227--2237.

\item
Sainath, T., Vinyals, O., Senior, A., Sak, H. (2015). ``Convolutional, Long Short-Term Memory, Fully Connected Deep Neural Networks,'' In \textit{ICASSP}, pp.~4580--4584.

\item
Song, Z., Bies, A., Strassel, S., Ellis, J., Mitamura, T., Dang, H., Yamakawa, Y., and Holm, S. (2016). ``Event Nugget and Event Coreference Annotation,'' In \textit{the 4th Workshop on EVENTS, HLT-NAACL 2016}, pp.~37--45.

\item
Strassel, S. M., Adams, D., Goldberg, H., Herr, J., Keesing, R. Oblinger, D., Simpson, H., Schrag, R., and Wright, J. (2010). ``The DARPA Machine Reading Program---Encouraging Linguistic and Reasoning Research with a Series of Reading Tasks,'' In \textit{LREC 2010}, pp.~986--993.

\item
Sun, J., Gu, X., Ding, C., Li, C., Li, Y., Li, S., and Xu, W. (2017). ``BUPT-PRIS System for TAC 2017 Event Nugget Detection, Event Argument Linking and ADR Tracks,'' In \textit{Proceedings of the 10th Text Analysis Conference}.

\item
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., \linebreak Polosukhin, I. (2017). ``Attention Is All You Need,'' In \textit{NIPS 2017}, pp.~5998--6008.

\item
Voorhees, E. M. (1999). ``The TREC-8 Question Answering Track Report,'' In \textit{the 8th Text REtrieval Conference (TREC 8), NIST}.

\item
Walker, C., Strassel, S., Medero, J., and Maeda, K. (2006). ``ACE 2005 Multilingual Training Corpus,'' \textit{Linguistic Data Consortium, LDC Catalog}, No. LDC2006T06.

\item
Yang, B., Bender, G., Le, Q. V., and Ngiam, J. (2019). ``CondConv: Conditionally Parameterized Convolutions for Efficient Inference,'' In \textit{NeurIPS 2019}, pp.~1305--1316.

\item
Zeiler, M. D. (2012). ``ADADELTA: An Adaptive Learning Rate Method,'' \textit{arXiv preprint arXiv: 1212.5701}, Version 1.

\item
Zeng, Y., Luo, B., Feng, Y. and Zhao, D. (2016). ``WIP Event Detection System at TAC KBP 2016 Event Nugget Track,'' In \textit{Proceedings of the 9th Text Analysis Conference}.

\item
Zhang, Y. and Wallace, B. (2017). ``A Sensitivity Analysis of (and Practitioners' Guide to) Convolutional Neural Networks for Sentence Classification,'' In \textit{IJCNLP 2017}, pp.~253--263.

\item
Zhou, Z. (2012). ``Ensemble Methods: Foundations and Algorithms,'' \textit{Machine Learning {\&} Pattern Recognition Series, CRC Press}.

\end{thebibliography}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{石川　　開}{%
1994年東京大学理学部物理学科卒業．
1996年同大学院修士課程修了．
同年NEC入社．
現在，NECデータサイエンス研究所主任研究員，東京工業大学工学院博士課程在学中．
自然言語処理，AIの社会受容性の研究に従事．
}

\bioauthor{高村　大也}{%
1997年東京大学工学部計数工学科卒業．
2003年奈良先端科学技術大学院大学博士課程修了，工学博士．
同年東京工業大学助手．
現在，産業技術総合研究所人工知能研究センター知識情報研究チーム長，東京工業大学科学技術創成研究院未来産業技術研究所教授を兼任．
計算言語学，自然言語処理を専門とし，特に，評判分析，文書要約，言語生成の研究に従事．
}

\bioauthor{奥村　　学}{%
1984年東京工業大学工学部情報工学科卒業．
1989年同大学院博士課程修了，工学博士．
同年東京工業大学助手．
現在，東京工業大学科学技術創成研究院未来産業技術研究所教授．
自然言語処理，知的情報提示技術，語学学習支援，テキスト評価分析，テキストマイニングの研究に従事．
}
\end{biography}


\biodate





\end{document}

