\documentclass[japanese]{jnlp_3.5}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
\usepackage{booktabs}
%%%%\usepackage{bm}
%%%%\usepackage{amsmath}
%%%%\usepackage{amsfonts}
\usepackage{linguex}
%%%%\usepackage{subcaption}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\makeatletter
\let\MYcaption\@makecaption
\makeatother

\usepackage{subcaption}
\captionsetup{compatibility=false}

\makeatletter
\let\@makecaption\MYcaption
\makeatother
\setlength{\captionwidth}{\textwidth}


\Volume{29}
\Number{3}
\Month{September}
\Year{2022}
%%%%\Issuetitle{「　　　　」特集号}

\received{2021}{12}{1}
\revised{2022}{3}{11}
\accepted{2022}{4}{20}

\setcounter{page}{807}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{弱教師あり学習によるイベントの意志性・主語有生性の\\分類の同時学習}
\jauthor{清丸　寛一\affiref{Author} \and 黒橋　禎夫\affiref{Author}}
\jabstract{%
意志性と主語有生性はイベントの基本的な属性であり，密接な関係にある．これらの認識は文脈を考慮したテキスト理解を必要とし，その学習には大量のラベル付きデータを要する．本論文では，人手でラベル付きデータを構築することなく，意志性と主語有生性を同時学習する手法を提案する．提案手法では生コーパス中のイベントにヒューリスティクスを用いてラベルを付与する．意志性のラベルは「わざと」や「うっかり」といった意志性を示す副詞を頼りに付与する．主語有生性のラベルは知識ベースに登録されている有生名詞・無生名詞を頼りに付与する．こうして集めたイベントから手がかり語を含まないイベントに汎化する分類器を構築する．本研究ではこの問題をバイアス削減ないしは教師なしドメイン適応の問題とみなして解く．日本語と英語の実験で，提案手法により，人手でラベル付きデータを構築することなく，意志性・主語有生性の高精度な分類器を構築できることを示した．
}
\jkeywords{イベント，意志性，有生性，弱教師あり学習}

\etitle{Minimally-Supervised Joint Learning of Event Volitionality and Subject Animacy Classification}
\eauthor{Hirokazu Kiyomaru\affiref{Author} \and Sadao Kurohashi\affiref{Author}} 
\eabstract{%
Volitionality and subject animacy are fundamental and closely related properties of an event. Their classification is challenging because it requires contextual text understanding and a huge amount of labeled data. This paper proposes a novel method that jointly learns volitionality and subject animacy at a low cost, heuristically labeling events in a raw corpus. Volitionality labels are assigned using a small lexicon of volitional and non-volitional adverbs such as ``deliberately'' and ``accidentally''; subject animacy labels are assigned using a list of animate and inanimate nouns obtained from ontological knowledge. We then consider the problem of learning a classifier from the labeled data so that it can perform well on unlabeled events without the words used for labeling. We regard the problem as a bias reduction or unsupervised domain adaptation problem and apply the techniques. We conduct experiments with crowdsourced gold data in Japanese and English and show that our method effectively learns volitionality and subject animacy without manually labeled data.
}
\ekeywords{Event, Volitionality, Animacy, Weakly-supervised Learning}

\headauthor{清丸，黒橋}
\headtitle{弱教師あり学習によるイベントの意志性・主語有生性の分類の同時学習}

\affilabel{Author}{}{京都大学大学院 情報学研究科，Kyoto University, Graduate School of Informatics}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}
\label{sec:introduction}

\textbf{意志性 (volitionality) }はイベントの基本的な属性であり，イベントに何者かの意志的な関与があるかどうかを表す．
本研究では特にイベントの主語が表すエンティティがイベントに意志的に関与しているか否かに着目する．
例えば，主語のエンティティの観点から見て，「食べる」や「書く」といったイベントはふつう意志的 (volitional) であり，「泣く」や「怪我をする」，「怒られる」といったイベントは非意志的 (non-volitional) である．
イベントの意志性分類は，因果関係知識の類型化 \cite{lee-jun-2008-constructing,inui2003kinds,abe-etal-2008-acquiring,abe-etal-2008-two}に用いられてきたほか，条件付きイベント予測 \cite{du-etal-2019-modeling}，スクリプト抽出 \cite{chambers-jurafsky-2008-unsupervised}，顧客フィードバック分析 \cite{liu-etal-2017-ijcnlp}などへの応用がある．

一方，有生性 (animacy) は名詞の属性であり，名詞が表すエンティティに人間のような意志的な行為が可能かどうかを表す．
本研究ではイベントの主語が表すエンティティがイベントに意志的に関与しているか否かに着目するため，イベントの主語が有生名詞であることはイベントが意志的であることの必要条件となる．
この密接な関係に着目し，本研究では\textbf{主語有生性}というイベントの属性を考える．
意志性の学習では主語有生性の同時学習が助けになると期待される．

意志性を認識する難しさは，言語資源の不足と文脈理解が必要なことにある．
意志性は多くの場合，イベントの述語によって同定できる．
冒頭の「食べる」や「泣く」などがそうである．
しかし，意志的（あるいは非意志的）な行為を表す述語を網羅したリストは存在しない．
また，たとえそうした言語資源があったとしても，述語だけではなく，その文脈も考慮しなければ意志性を同定できない場合が存在する．
例えば，例~\ref{ex:shawa-o-abiru}と例~\ref{ex:hinan-o-abiru}の述語はどちらも同じ「浴びる」であるが，前者は意志的，後者は非意志的である\footnote{意志的なイベントの例は「V（volitional の略）」，非意志的なイベントの例は「NV（non-volitional の略）」を付記して示す．}．

\ex. 
    \a. \label{ex:shawa-o-abiru}
    シャワーを浴びる．$_\text{{(V)}}$
    \b. \label{ex:hinan-o-abiru}
    非難を浴びる．$_\text{{(NV)}}$

また，例~\ref{ex:iki-o-suru}は非意志的であるが，例~\ref{ex:fukaku-iki-o-suru}は「深く」という副詞を伴うことで意志的となる．

\ex.
    \a. \label{ex:iki-o-suru}
    息をする．$_\text{{(NV)}}$
    \b. \label{ex:fukaku-iki-o-suru}
    深く息をする．$_\text{{(V)}}$

文脈理解の問題は言語資源の整備によって解決するのは困難である．
あらゆる文脈―述語の項，項への連体修飾，述語への修飾（副詞句）の組み合わせ―に対して意志性のラベルをアノテーションすることは非現実的だからである．
この問題に対する有望な解決策は，イベントを構成する語句の意味とそれらの関係性を柔軟に捉えて意志性を認識する分類器を構築することである．
そうした柔軟な分類器は深層学習モデルを訓練することで得られると期待されるが，その訓練には通常，大量のラベル付きデータが必要となる．

主語有生性の認識についても，意志性の認識と同様の難しさがある．
まず，言語資源の不足の問題がある．
主語有生性は，たいていの場合，主語の名詞が通常有生名詞 (animate noun) か無生名詞 (inanimate noun) かによって同定できる．
有生名詞・無生名詞はConceptNet \cite{10.5555/3298023.3298212} などの知識ベースから一定量のリストが得られるが，網羅的とは言い難い．
また，主語有生性の認識においても文脈理解が必要となる場合がある．
例えば，例~\ref{ex:shirobai-ga-tometearu}の主語「白バイ」は通常無生名詞であるが，例~\ref{ex:shirobai-ga-oikaketekuru}の主語「白バイ」は警察官の換喩であり，この文脈においては有生名詞である\footnote{主語が有生名詞であるイベントの例は「A（animate の略）」，主語が無生名詞であるイベントの例は「IA（inanimate の略）」 を付記して示す．}．

\ex.
    \a. \label{ex:shirobai-ga-tometearu}
    白バイが停まっている．$_\text{{(IA)}}$
    \b. \label{ex:shirobai-ga-oikaketekuru}
    白バイが追いかけてくる．$_\text{{(A)}}$

こうした現象に対処するには，やはり柔軟な文脈理解が可能な分類器を構築するのが有望であり，その訓練には大量のラベル付きデータが必要となる．

本研究では，イベントの意志性と主語有生性を同時学習する弱教師あり学習手法を提案する．
提案手法の概要を図~\ref{fig:overview}に示す．
提案手法ではまず，ヒューリスティクスを用いて生コーパス中のイベントにラベルを付与する．
意志性のラベルは「わざと」などの意志的な行為を表す副詞（意志的副詞）と「うっかり」などの非意志的な行為を表す副詞（非意志的副詞）を手がかりに付与する．
例えば，例~\ref{ex:aete-shijitsu-o-hanasu}は意志的副詞「あえて」が述語に係っているため，意志的であるとみなす．
例~\ref{ex:ukkari-keitai-o-otosu}は，非意志的副詞「うっかり」が述語に係っているため，非意志的であるとみなす．

\ex. \label{ex:aete-shijitsu-o-hanasu}
あえて真実を話す．$_\text{(V)}$

\ex. \label{ex:ukkari-keitai-o-otosu}
うっかり携帯を落とす．$_\text{(NV)}$

主語有生性のラベルは既存の言語資源に登録されている有生名詞・無生名詞を手がかりに付与する．
生コーパスの量は際限なく増やすことが可能であるため，この方法で大量のラベル付きデータを低コストで収集することができる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[t]
\begin{center}
\includegraphics{29-3ia3f1.pdf}
\end{center}
\hangcaption{提案手法の概要．生コーパス中のイベントにヒューリスティクスを用いて意志性・主語有生性のラベルを付与し，意志性・主語有生性それぞれのラベル付きデータセット（$\mathcal{D}^l_\text{vol}$・$\mathcal{D}^l_\text{ani}$）とラベルなしデータセット（$\mathcal{D}^u_\text{vol}$・$\mathcal{D}^u_\text{ani}$）を得る．その上で，意志性と主語有生性の分類を同時学習する．その際，手がかり語だけに着目した分類に陥ることを防ぐための正則化を導入する．}
\label{fig:overview}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

例~\ref{ex:aete-shijitsu-o-hanasu}，例~\ref{ex:ukkari-keitai-o-otosu}が示唆するように，意志的副詞・非意志的副詞を除いたとしても，多くの場合，イベントの意志性は保持される．
これは主語有生性に関しても同様である．
しかし，そうでない場合もある．
例えば，例~\ref{ex:wazato-kokeru}は意志的であるが，そこから「あえて」を除いた例~\ref{ex:kokeru}は非意志的である．

\ex.
    \a. \label{ex:wazato-kokeru}
    あえてこける．$_\text{(V)}$
    \b. \label{ex:kokeru}
    こける．$_\text{(NV)}$

このように，意志的副詞と共起するイベントが必ずしも意志的なイベントであるとは限らない．

主語有生性に関してもこうした例が存在する．
例えば，例~\ref{ex:shogekiga-hashiru}の主語である「衝撃」は無生名詞であるが，「衝撃」を除いた例~\ref{ex:hashiru}の主語は有生名詞として捉えるのが妥当である．

\ex.
    \a. \label{ex:shogekiga-hashiru}
    衝撃が走る．$_\text{(IA)}$
    \b. \label{ex:hashiru}
    走る．$_\text{(A)}$

手がかり語を常に含むラベル付きデータから，手がかり語を含まないラベルなしイベントに汎化する分類器を得るには，原則として手がかり語に頼らず，それと共起するテキストからラベルを予測することを学習しつつ，手がかり語を除くことでラベルが変化する例に関しては，手がかり語と共起するテキストからラベルを予測することを学習しないことが重要である．
本研究では，分類器を学習する際にラベル付けの手がかり語だけに着目して分類することを抑制する正則化を導入することで前者の原則を学習しつつ，汎用言語モデル \cite{devlin-etal-2019-bert}が作り出すイベントの汎化ベクトル表現の上で分類器を構築することで，予測のために手がかり語に着目せざるを得ないケースがデータから学習されることを期待する．

本研究は，手がかり語に着目した分類を抑制する問題をバイアス削減あるいは教師なしドメイン適応の問題と捉え，その手法を活用する．
バイアス削減はデータセット中に存在する特定のバイアスが予測に濫用されることを防ぐ手法である \cite{NIPS2016_a486cd07,zhao-etal-2017-men,zhao-etal-2019-gender,kennedy-etal-2020-contextualizing}．
本研究ではヘイトスピーチ認識器の学習において利用されているバイアス削減手法を転用する \cite{kennedy-etal-2020-contextualizing,Jin2020Towards}．
ここで提案されているバイアス削減手法は，分類器が「gay」といったヘイトスピーチに特徴的な単語（バイアス）だけに着目した分類に陥ることを抑制し，文脈を考慮した分類を促すものである．
本研究では，ラベル付けに用いる手がかり語をバイアスとみなして，単純なバイアス削減手法である word removal (WR)，より高度なバイアス削減手法で有効性が知られている sampling and occlusion (SOC) の2つを利用する．

教師なしドメイン適応は，ソースドメインのラベル付きデータとターゲットドメインのラベルなしデータを用いて，ターゲットドメインに汎化するモデルを構築する手法である．
本研究の設定は，手がかり語を含むラベル付きデータをソースドメインのデータ，手がかり語を含まないラベルなしデータをターゲットドメインのデータとみなすことで，教師なしドメイン適応の問題として定式化できる．
本研究では，深層学習モデルを利用したテキスト分類器の学習において有効性が確認されている教師なしドメイン適応手法 adversarial domain adaptation (ADA) を利用する \cite{JMLR:v17:15-239,pmlr-v37-ganin15,shah-etal-2018-adversarial,Shen_Qu_Zhang_Yu_2018}．
ADA では，ラベル付きデータのもとで分類を学習しつつ，敵対的学習の枠組みで，ラベル付きデータとラベルなしデータが判別できなくなるようにイベントのベクトル表現を学習する．
この学習により，ラベル付きデータにだけ現れる手がかり語になるべく頼らない分類が学習されると期待される．

提案手法の有効性を確認するため，日本語と英語で実験を行った．
分類器の性能を評価するため，各言語についてクラウドソーシングで評価データを新たに構築した．
実験を通して，提案手法により，人手でラベル付きデータを構築することなく，イベントの意志性・主語有生性の高精度な分類器を構築できることを示した\footnote{本研究で構築した評価データおよびモデルの実装は公開予定である．}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}

関連研究として，イベントの意志性分類，バイアス削減，教師なしドメイン適応について述べる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{イベントの意志性分類}

イベントの意志性分類に関する過去の研究は，視点となる名詞句が与えられる設定と与えられない設定に大別できる．
視点となる名詞句が与えられる設定では，述語と名詞句が与えられ，その名詞句が表すエンティティが述語が表すイベントに意志的に関与しているか否かを予測する．
この設定は semantic proto-role labeling のサブタスクとして取り組まれている \cite{reisinger-etal-2015-semantic,white-etal-2016-universal,TeichertPoliakVanDurmeGormley2017}．

視点となる名詞句が与えられない設定では，イベントが与えられ，その主語が表すエンティティがイベントに意志的に関与しているか否かを予測する \cite{abe-etal-2008-acquiring,abe-etal-2008-two,inui2003kinds}．
本研究はこの設定に取り組む．
\citeA{abe-etal-2008-acquiring}と\citeA{abe-etal-2008-two}は，意志的・非意志的な述語のリストを構築し，それを参照することでイベントの意志性を予測している．
この手法は，構築する述語のリストの網羅性に性能が依存するほか，例~\ref{ex:shawa-o-abiru}と例~\ref{ex:hinan-o-abiru}にあるような，述語単独では意志性を同定できない場合に対応できない点に問題がある．
\citeA{inui2003kinds}はデータ駆動の手法を取っている．
ここでは，少量のラベル付きデータを構築し，手作りの言語特徴量の上で SVM を学習している．
しかし，意志性は述語，項，副詞などの修飾要素から非構成的に定まる属性であり，少量の事例から頑健な分類器を学習することは困難である．
本研究では，ヒューリスティクスを用いて大量のラベル付きデータを収集し，そのもとで強力な汎用言語言語モデル \cite{devlin-etal-2019-bert}に基づく分類器を構築することで，意志性の認識に関わる広範な言語現象と世界知識を学習する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{バイアス削減}

バイアス削減はデータセット中に存在する特定のバイアスが予測において濫用されることを防ぐ手法である．
バイアス削減は機械学習の公平性の分野で研究されている \cite{NIPS2016_a486cd07,zhao-etal-2017-men,zhao-etal-2019-gender,kennedy-etal-2020-contextualizing}．
本研究では，バイアス削減の手法を転用し，手がかり語だけに反射的に反応して分類を行うのではなく，手がかり語の文脈を考慮して分類を行うモデルを学習する．
具体的には，バイアス削減の手法として，\citeA{kennedy-etal-2020-contextualizing} が提案している word removal と sampling and occlusion \cite{Jin2020Towards}の2つを利用する．
これらの手法は，頑健なヘイトスピーチ分類器の学習のために提案されたものであり，「gay」などのヘイトスピーチに特徴的な単語のみを手がかりに分類を行うことを抑制し，文脈を考慮した予測を促す目的で利用されている．
手法の詳細は\ref{sec:training-with-regularization}節に譲る．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{教師なしドメイン適応}

教師なしドメイン適応は，ターゲットドメインのラベルなしデータのみを用いて行うドメイン適応である \cite{ramponi-plank-2020-neural}．
本研究の問題は，手がかり語を含むラベル付きデータをソースドメインのデータ，手がかり語を含まないラベルなしデータをターゲットドメインのデータとみなすことで，教師なしドメイン適応の問題として定式化できる．
教師なしドメイン適応の手法は多数提案されているが，タスク横断的な評価を欠いており，どの手法が優れているとも言えないのが現状である \cite{ramponi-plank-2020-neural}．
本研究で扱う問題は，広くはテキスト分類に分類されるものである．
そこで，本研究では，ニューラルモデルに適用可能でかつテキスト分類タスクで多くの成功を収めている adversarial domain adaptation (ADA) を用いる \cite{JMLR:v17:15-239,pmlr-v37-ganin15,shah-etal-2018-adversarial,Shen_Qu_Zhang_Yu_2018}．
ADA では，ソースドメインのラベル付きデータでタスクを学習しつつ，ソースドメインとターゲットドメインのデータの区別がつかないような潜在空間を学習することを通して，ターゲットドメインにおけるモデルの汎化性能を向上させる．
手法の詳細は\ref{sec:training-with-regularization}節に譲る．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{問題設定}

本研究で扱うイベントの表現，スコープ，意志性・主語有生性のアノテーションについて述べる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{表現}

イベントは1つの主たる述語を含むテキスト（節）として表す．
イベントは\citeA{2018aSaito}の基準にならって認定する．
\citeA{2018aSaito}は，イベントを述語句構造を基本とする情報構造として定義している．
\citeA{2018aSaito}の基準では，述語であっても，意味の重要性や事象性が希薄なものはイベントとして認定されない．
たとえば，例~\ref{ex:ookiku}の「大きく」は副詞的な形容詞であり，単独のイベントとして認定される代わりに，述語「表示する」が構成するイベントの一部とみなされる．

\ex. \label{ex:ookiku}
大きく表示する．

例~\ref{ex:utsukushi}の「思う」は推量・伝聞のモダリティであり，単独のイベントとして認定される代わりに，述語「美しい」が構成するイベントの一部とみなされる．

\ex. \label{ex:utsukushi}
美しいと思う．

また，\citeA{2018aSaito}の基準では，項が複合名詞である場合や連体修飾されている場合は，それらの句・節の全体が項として認定される．
\citeA{2018aSaito}の基準でイベントを抽出した後，イベントを構成する語句を元のテキストにおける表示順で結合し，イベントのテキスト表現を得る．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{スコープ}
\label{sec:scope}

本研究では，単純な言語素性，具体的には述語の品詞と態 (voice) によって意志性が同定できないイベントを扱う．
述語の品詞が例~\ref{ex:sora-ga-kireida}のように形容詞あるいは例~\ref{ex:kare-wa-gakuseida}のように判定詞であるイベントは状態を表し，非意志的であることが明らかであるため，本研究では扱わない．

\ex. \label{ex:sora-ga-kireida}
空が綺麗だ．$_\text{{(NV)}}$

\ex. \label{ex:kare-wa-gakuseida}
彼は学生だ．$_\text{{(NV)}}$

述語が例~\ref{ex:kare-ga-sensei-ni-shikarareru}のように受動態または例~\ref{ex:watashi-wa-hashireru}のように可能態であるときも，イベントは主語の観点から見て非意志的であることが明らかであるため，本研究では扱わない．

\ex. \label{ex:kare-ga-sensei-ni-shikarareru}
先生に叱られる．$_\text{{(NV)}}$

\ex. \label{ex:watashi-wa-hashireru}
私は走れる．$_\text{{(NV)}}$

加えて，モダリティを伴うイベントも本研究では扱わない．
モダリティは，イベントに対する筆者の意見や態度を表す言語表現である．
例~\ref{ex:kare-wa-kuru-hazuda}は蓋然性を表すモダリティ「はずだ」を伴うイベントである．

\ex. \label{ex:kare-wa-kuru-hazuda}
彼は来るはずだ．

本研究の主眼はイベントそのものの意志性を認識することにあるため，こうしたイベントも本研究では扱わない．
本研究では，蓋然性を含むモダリティ10種を考慮し，それらを伴うイベントを除いた．
モダリティのリストと例を付録の表~\ref{tab:modality}に示す．

最後に，本研究では，主節に相当するイベントのみを採用し，従属節に相当するイベントは扱わない．
例えば，以下の文からは「雨が強まったので」と「試合は中止になった」の2つのイベントが抽出されるが，前者（従属節）は除外し，後者（主節）のみを利用する．

\ex.
雨が強まったので，試合は中止になった．

これは\ref{sec:evaluation-dataset}節で説明するクラウドソーシングによる評価データ構築の際，イベントが接続表現で終わっていること等を理由に不自然な言語表現であると判断されることを避けるためである\footnote{クラウドワーカに対して不自然な言語表現と判断する基準を教示し，従属節のイベントもアノテーションの対象とすることも考えられるが，意志性・主語有生性の判断という本質的な作業に注力させるため，本研究では主節のイベントのみを採用することにした．}．
従属節のイベントの意志性を分類する際は，節末の言語表現を主節らしく適当に整形すれば良い．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{アノテーション}
\label{sec:annotation}

イベントには意志性と主語有生性の2つのラベルを付与する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{意志性}
主語の表すエンティティがイベントに意志的に関与しているなら，「意志的 (volitional)」のラベルを付与する．
そうでないなら，「非意志的 (non-volitional)」のラベルを付与する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{主語有生性}
主語が表すエンティティに人間のような意志的な行為が可能であるなら，「有生名詞 (animate noun)」のラベルを付与する．
そうでないなら，「無生名詞 (inanimate noun)」のラベルを付与する．
主語有生性のラベルはそのイベントにおいて主語が有生名詞であるか無生名詞であるかを表すもので，名詞だけを取り出して，それが一般に有生名詞であるか有生名詞であるかを表すものではないことに注意されたい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{提案手法}

本研究では，ある単独のイベント $x$ を入力として，その意志性 $y_\text{vol}$ と主語有生性 $y_\text{ani}$ を予測する問題を考える．
$y_\text{vol}$と$y_\text{ani}$はポジティブ（意志的/有生名詞）であるなら1，ネガティブ（非意志的/無生名詞）であるなら0である．

提案手法ではまず，ヒューリスティクスを用いて生コーパスから収集したイベントに意志性と主語有生性のラベルを付与する．
そうして得たデータの上で，意志性と主語有生性の分類を同時学習する．
その際，分類器が手がかり語だけに着目した分類に陥ることを抑制する正則化を導入する．
意志性と主語有生性の分類の損失および正則化のペナルティを合わせたものを目的関数とし，それを最小化するように分類器とエンコーダを最適化する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{訓練データセットの構築}
\label{sec:constructing-a-training-dataset}

生コーパス中のイベントに対し，ヒューリスティクスを用いて意志性・主語有生性のラベルを付与し，意志性のラベル付きデータセット$\mathcal{D}^l_\text{vol}$とラベルなしデータセット$\mathcal{D}^u_\text{vol}$，主語有生性のラベル付きデータセット$\mathcal{D}^l_\text{ani}$とラベルなしデータセット$\mathcal{D}^u_\text{ani}$の4種類のデータセットを得る．

まず，\ref{sec:scope}~節にて説明した条件を満たすイベントを生コーパスから抽出する．
ここでは，既存の構文解析器および品詞タグ付けモデルを利用する．
抽出したイベントそれぞれについて，ヒューリスティクスを用いて意志性および主語有生性のラベルを付与する．
ラベル付与の成否にしたがって，イベントを各データセットに振り分ける．

意志性のラベルを付与するため，意志的副詞・非意志的副詞の小規模な辞書を用意する．
辞書中の副詞がイベントの述語を修飾していれば対応するラベルをそのイベントに付与し，イベントを$\mathcal{D}^l_\text{vol}$に追加する．
ラベルを付与できなかったイベントは$\mathcal{D}^u_\text{vol}$に追加する．

主語有生性のラベルを付与するため，まず既存のオントロジーから得た有生名詞・無生名詞のリストを得る．
意味役割解析器の出力を用いてイベントの主語の名詞句を同定し，
主語の名詞句が見つかったら，有生名詞・無生名詞のリストを参照する．
そこに主語の名詞句が含まれていたら，対応するラベルを付与した後，イベントを$\mathcal{D}^l_\text{ani}$に追加する．
ラベルを付与できなかったイベントは$\mathcal{D}^u_\text{ani}$に追加する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{モデル}

モデルは3つの要素から構成される．
1つ目はエンコーダ $E$ である．
エンコーダはイベント $x$ をベクトル表現に変換する．
エンコーダは事前学習済みの汎用言語モデル BERT \cite{devlin-etal-2019-bert} で初期化する．
2つ目は意志性分類器 $C_\text{vol}$ である．
意志性分類器は，エンコーダが出力するイベントのベクトル表現を入力として，そのイベントが意志的である確率を予測する．
3つ目は主語有生性分類器 $C_\text{ani}$ である．
主語有生性分類器は，エンコーダが出力するイベントのベクトル表現を入力として，そのイベントの主語が有生名詞である確率を予測する．
意志性分類器と主語有生性分類器のパラメータはランダムに初期化する．
エンコーダと各分類器のパラメータは後述の目的関数を最小化するように最適化される．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{正則化付き分類学習}
\label{sec:training-with-regularization}

モデルは意志性の分類と主語有生性の分類を同時学習する．
その際，手がかり語だけに着目して分類することを抑制する正則化を導入する．
意志性と主語有生性はどちらも統一的な方法で学習するため，意志性・主語有生性の区別を取り払い，ラベル付きデータセットを$\mathcal{D}^l$，ラベルなしデータセットを$\mathcal{D}^u$，ラベルを$y$，分類器を$C$とする表記を導入する．
以降，上記の表記に関しては，意志性の学習では「vol」の下付き文字，主語有生性の学習では「ani」の下付き文字を伴うものとして読み替えるものとする．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{分類 (CLS; classification)}

主たる目的関数はラベル付きデータセット$\mathcal{D}^l$の上で分類を学習するものである．
形式的には以下のように書ける．
\begin{equation}
    \label{eq:cls}
    \mathcal{L}_\text{CLS} = \mathbb{E}_{(x, y) \sim \mathcal{D}^l} \text{BCE}(y,C(E(x)))
\end{equation}
$\text{BCE}$はバイナリ交差エントロピーである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{正則化 (REG; regularization)}

手がかり語に頼らない分類を学習するための正則化として3つの手法を検討する．
実験では開発データに対する性能をもとに最適な正則化手法を選択する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{Word Removal (WR)}
WR はバイアス削減の最も単純な手法である．
WR は訓練データ中のテキストから特定の語句を削除することで，分類器がその語句に頼って予測を学習することを抑制する \cite{kennedy-etal-2020-contextualizing}．
本研究ではラベル付けに利用した手がかり語に対して WR を適用し，手がかり語が予測において注目されることを抑制する．
形式的には，以下の目的関数の最小化を解く．
\begin{equation}
    \mathcal{L}_\text{WR} = \mathbb{E}_{(x, y, w) \sim \mathcal{D}^l} \text{BCE}(y,C(E(x \backslash w)))
\end{equation}
ここで $w$ はイベント $x$ 中に含まれる手がかり語，$x \backslash w$ は $x$ から $x$ を除いたテキストである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{Sampling and Occlusion (SOC)}
SOC \cite{kennedy-etal-2020-contextualizing}はバイアス削減の手法であり，ある語句の予測における寄与度を計算し，それを最小化することで，その単語が予測において注目されることを抑制する．
SOC ではまず，予測における寄与度を計算する語句の周りの文脈を学習済み言語モデルを用いてサンプリングする．
そして，サンプリングした各文脈においてその語句をマスクトークンに置き換えたときと置き換えないときとの予測の差を計算し，その平均をその語句の予測における寄与度とする．
SOC によって計算される寄与度は微分可能であるため，通常の勾配法によって，特定の語句が予測において注目されることを抑制できる．
本研究ではラベル付けに利用した手がかり語に対して SOC を適用する．
形式的には以下の目的関数の最小化を解く．
\begin{align}
    \mathcal{L}_\text{SOC} &= \mathbb{E}_{(x, w) \sim \mathcal{D}^l} [\phi (x, w)]^2 \\
    \phi (x, w) &= \frac{1}{|\mathcal{S}|} \sum_{x' \in \mathcal{S}} [C(E(x')) - C(E(x' \backslash w))]^2
\end{align}
ここで $w$ はイベント $x$ 中に含まれる手がかり語，$\mathcal{S}$ は $x$ を初期値として事前学習済みの言語モデルを用いて $w$ の文脈の単語をサンプリングして得たイベントの集合，$x' \backslash w$ は $x'$ に現れる $w$ を padding トークンで置き換えたテキストである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{Adversarial Domain Adaptation (ADA)}
ADA は教師なしドメイン適応の一手法である．
本研究では，ラベル付きデータ$\mathcal{D}^l$をソースドメインのデータ，ラベルなしデータ$\mathcal{D}^u$をターゲットドメインのデータとみなして ADA を適用する．
学習時には discriminator と呼ばれるニューラルネットワーク $D$ を追加で学習する．
discriminator はエンコーダが出力するイベントのベクトル表現を入力として，それがソースドメイン由来であるなら1，ターゲットドメイン由来であるなら0を出力するように学習する．
エンコーダは discriminator がその分類に失敗するように，すなわちエンコーダがソースドメイン由来の特徴に対して0，ターゲットドメイン由来の特徴に対して1を出力するように学習する．
形式的には以下の目的関数の最小化を解く．
\[
    \mathcal{L}_\text{ADA} = \mathbb{E}_{x \sim \mathcal{D}^l} \text{BCE}(0, D(E(x)) + \mathbb{E}_{x \sim \mathcal{D}^u} \text{BCE}(1, D(E(x)))
\]
discriminator はこの目的関数の最大化を学習する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{一貫性 (CON; consistency)}

手がかり語だけに着目した分類を抑制する正則化に加えて，意志性分類と主語有生性分類の一貫性を学習することを考える．
主語が有生名詞であることはイベントが意志的であることの必要条件である．
したがって，主語が無生名詞であるという予測とイベントが意志的であるという予測は両立しない．
この関係を以下の目的関数を最小化することで学習する．
\begin{equation}
    \mathcal{L}_\text{CON} = \mathbb{E}_{x \sim \mathcal{D}^u_\text{vol} + \mathcal{D}^u_\text{ani}} \max(0, C_\text{vol}(E(x)) - C_\text{ani}(E(x)))
\end{equation}


実験では，意志性・主語有生性の一方の分類と一貫性の学習だけで他方の分類を解く設定も検証する．
このとき，一貫性の学習は分類を学習している側の性能に影響しないことに注意されたい．
一方の分類が学習されていない状況では，分類を学習している側が一貫性を学習することで得られる情報はないからである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{目的関数}

上記の目的関数を重み付きで足し合わせ，最終的な目的関数を得る．
\begin{equation}
    \mathcal{L} = \mathcal{L}_\text{CLS} + \alpha \mathcal{L}_\text{REG} + \beta \mathcal{L}_\text{CON}
\end{equation}
$\alpha$ と $\beta$ はハイパーパラメータとして設定される正則化の重み，$\mathcal{L}_\text{REG}$は$\mathcal{L}_\text{WR}$，$\mathcal{L}_\text{SOC}$，$\mathcal{L}_\text{ADA}$のいずれかである\footnote{これらの正則化手法を組み合わせることは技術的には可能であるが，計算資源の制約から，これらの組み合わせについては検証しない．}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験}

提案手法の有効性を確認するため，日本語と英語で実験を行った．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{訓練データセット}

\ref{sec:constructing-a-training-dataset}節に記載の手続きにしたがって訓練データセットを構築した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{日本語}

生コーパスとして CC-100 \cite{conneau-etal-2020-unsupervised,wenzek-etal-2020-ccnet} 中の3千万文書を利用した．
イベントの抽出には構文解析器 KNP \cite{kawahara-kurohashi-2006-fully} を用いた．
イベント抽出では，まず極端に出現頻度の低い $D^l_\text{vol}$ のイベントを生コーパス全体から取り出した\footnote{\label{footnote:rare}意志的副詞・非意志的副詞を伴うイベントは日英ともに約5,000件に1件の割合で得られた．意志的副詞・非意志的副詞のリストは付録~\ref{sec:full-list}を参照されたい．}．
この際，副詞の文字列を含まない文を構文解析の対象から除外し，計算コストを削減した．
その後，$D^u_\text{vol}$, $D^l_\text{ani}$, $D^u_\text{ani}$のイベントを$D^l_\text{vol}$と同じ件数だけ生コーパスのサンプルから取り出した．
イベントの頻度の情報を保存するため，重複するイベントが得られても削除しなかった．

意志性のラベル付与のため，意志的副詞・非意志的副詞をそれぞれ15件ずつ整備した．
表~\ref{tab:frequent-volitionality-indicating-words}に頻度上位5件の副詞，付録~\ref{sec:full-list}にすべての副詞を示す．
主語有生性のラベルを付与するため， JumanDic\footnote{\url{https://github.com/ku-nlp/JumanDIC}} を知識源として用いた\footnote{実装としては，KNP が付与する「SM-主体」の素性を利用した．これは JumanDic のカテゴリ情報にもとづき付与される素性である．}．
JumanDic に登録されている語にはカテゴリ情報が付与されており，カテゴリが人または組織・団体のものを有生名詞，それ以外を無生名詞とした．
JumanDic に登録されている語の数はおよそ3万であった．
主語は KNP の格解析によって同定した．
具体的には，ガ2格の句があればそれを，ガ2格の句がなくガ格の句があればそれを主語として認定し，どちらもなければ主語有生性のラベルを付与しなかった．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[b]
\input{03table01.tex}
\caption{意志的副詞・非意志的副詞それぞれの高頻度5件．括弧内は頻度．}
\label{tab:frequent-volitionality-indicating-words}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{英語}

生コーパスとして CC-100 に収録されている3千万文書を利用した．
イベントの抽出には spacy\footnote{\url{https://spacy.io}} を用い，日本語と同様の手続きで$D^l_\text{vol}$，$D^u_\text{vol}$, $D^l_\text{ani}$, $D^u_\text{ani}$のイベントを抽出した．

意志性のラベルを付与するため，意志的副詞・非意志的副詞をそれぞれ10件ずつ整備した．
表~\ref{tab:frequent-volitionality-indicating-words}に頻度上位5件の副詞，付録~\ref{sec:full-list}にすべての副詞を示す．
主語有生性のラベルを付与するため， ConceptNet \cite{10.5555/3298023.3298212} から有生名詞・無生名詞のリストを得た．
具体的には，有生名詞として「person」と「organization」の下位語，無生名詞として「object」，「item」，「thing」，「artifact」，「location」の下位語を用いた．
結果として，2,604件の有生名詞，430件の無生名詞が得られた．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{評価データセット}
\label{sec:evaluation-dataset}

$\mathcal{D}^l_\text{vol}$，$\mathcal{D}^u_\text{vol}$， $\mathcal{D}^l_\text{ani}$，$\mathcal{D}^u_\text{ani}$における分類器の性能を調べるため，それぞれについて評価用に人手で正解ラベルを付与した．
なお，本研究の主眼である意志性分類に関しては，手がかり語の副詞を伴うイベントは出現する割合が低く，実テキストにおける性能は$\mathcal{D}^u_\text{vol}$に対する性能で近似できることに注意されたい．

まず，各データセットから1,200件ずつユニークなイベントを抽出した．
それらにクラウドソーシングで正解ラベルを付与した．
意志性に関して，クラウドワーカーは各イベントに対して以下のラベルの中から1つを選んで付与した．
\begin{itemize}
    \item 主語がイベントに意志的に関与している．
    \item 主語がイベントに意志的に関与していない．
    \item どちらとも言えない．
    \item 理解不能．
\end{itemize}
主語有生性に関して，クラウドワーカーは各イベントに対して以下のラベルの中から1つを選んで付与した．
主語有生性のラベルは，\ref{sec:annotation}節で説明した通り，そのイベントにおいて主語が有生名詞であるか無生名詞であるかを表すものであり，主語だけを取り出してそれが一般に有生名詞であるか無生名詞であるかを表すものではないことに注意されたい．
\begin{itemize}
    \item 主語が人または組織を表す．
    \item 主語が人も組織を表さない．
    \item どちらとも言えない．
    \item 理解不能．
\end{itemize}

各イベントに5人のワーカを割り当て，ラベル付けさせた．
クラウドワーカーは一度の作業で10件のイベントにラベルを付与した．
日本語のクラウドソーシングプラットフォームとして，Yahoo!クラウドソーシング\footnote{\url{https://crowdsourcing.yahoo.co.jp/}}を利用した．
品質管理のため，Yahoo!クラウドソーシングのチェック設問機能を利用した．
この機能を用いて，事前にわれわれが正解を用意している簡単な設問（チェック設問）を1問追加した．
チェック設問に誤答したワーカは不適格として，報酬を支払わず，回答も破棄した．
かかった費用は24,000円であった．
英語のクラウドソーシングプラットフォームとして，Amazon Mechanical Turk (MTurk) を利用した．
品質管理のため，一般に取られている慣行 \cite{Berinsky2012EvaluatingOL}にならった．
具体的には，ワーカをタスクの合格率が95\%以上，アメリカ在住，1,000タスク以上を完了している者に限定した．
かかった費用は288USDであった．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[b]
\input{03table02.tex}
\hangcaption{各データセットにおけるアノテータ間の一致率（左）と Fleiss' kappa（右）．一致率は各イベントに関して最大の得票数を得た解答の割合の平均である．}
\label{tab:eval-dataset}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 3
\begin{table}[b]
\input{03table03.tex}
\caption{各ラベルごとの最大得票数を得たイベントの件数．}
\label{tab:eval-dataset-detail}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

表~\ref{tab:eval-dataset} にアノテータ間の一致率および Fleiss' kappa，表~\ref{tab:eval-dataset-detail}に各ラベルごとの最大得票数を得たイベントの件数を示す．
日本語に関しては妥当な相関を確認できたが，英語に関してはわずかな相関しか確認できなかった．
アノテーションの平均的な一致率が高かった日本語のイベントに関して，アノテータ間で票が割れたものの一部を示す．
\ex. また、持久走も行いました。$_\text{{(V)}}$（V: 3名，NV: 2名）

\ex. その他なにかあれば追記で書いていきます。$_\text{{(V)}}$（V: 3名，NV: 2名）

\ex. ちょっと緊張してしまう。$_\text{{(NV)}}$（V: 2名，NV: 3名）

\ex. 実は、驚くほど様々な効果・効能があります。$_\text{{(NV)}}$（V: 2名，NV: 3名）

票の割れたイベントの多くは判断に困る例とは考えにくく，票が割れた原因は不真面目なクラウドワーカーがラベル付けを担当したことにあると考えるのが妥当であった．
英語ではこの傾向がさらに顕著であった．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 4
\begin{table}[t]
\input{03table04.tex}
\hangcaption{データセットの統計．+ がついているものは，最も件数が少なかった $\mathcal{D}^l_\text{vol}$ のイベント数に合わせて，同量のイベントを抽出したことを表す．}
\label{tab:dataset}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

この観察から，信頼できるクラウドワーカーによってラベル付けが行われたことが期待される，アノテータ間の一致率が80\%以上（5名中4名の回答が一致）のイベントを抽出し，評価データとして利用した．
この条件のもとで採用されるイベントと除かれるイベントの間に定性的な違いは確認できず，この条件で除かれたイベントに対しても，本研究で構築した評価データにおける性能と同等程度の性能で分類が可能と期待する．
評価データのうち，半分は開発データ，残りの半分はテストデータとした．
分割はラベルごとにランダムに行った．
表~\ref{tab:dataset}にデータセットの統計を示す．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実装の詳細}
\label{sec:implementation-detail}

エンコーダにはBERT$_\text{BASE}$ \cite{devlin-etal-2019-bert}を用いた．
\pagebreak
日本語の実験では NICT が提供している事前学習済みモデル\footnote{\url{https://alaginrc.nict.go.jp/nict-bert/index.html}}を用いた．
英語の実験ではオリジナルの BERT$_\text{BASE}$ の cased モデルを用いた．
BERT の事前学習時の入力形式にならい，イベントのトークン列の先頭に \textsc{Cls} トークン，末尾に \textsc{Sep} トークンを追加して入力テキストを構成した．
\textsc{Cls} トークンの最終層のベクトル表現をイベントのベクトル表現として利用した．
意志性・主語有生性の分類器は ReLU 関数を非線層とする3層パーセプトロンとした．
分類器の出力はシグモイド関数を用いて0から1の範囲の実数値に変換した．
SOC におけるサンプル数$|\mathcal{S}|$は3とした．
文脈のサンプリングは，エンコーダに用いた BERT を使ってギブスサンプリングを行うことで実現した \cite{wang-cho-2019-bert}．
ADA では discriminator を ReLU 関数を非線層とする3層パーセプトロンとして構成・学習した．
$\alpha$と$\beta$の値は\{0.0, 0.01, 0.1, 1.0\}の中から選択した．
モデルはバッチサイズを256として3エポック学習した\footnote{エポックには小規模の予備実験の結果をもとに十分大きな値を設定した．}．
モデルのパラメータはAdam \cite{kingma2014adam}で最適化した．
学習率は$3\mathrm{e}-5$とし\footnote{$\mathcal{D}^l_\text{vol}$を正則化なし・主語有生性の同時学習なしで学習する設定において，\{$5\mathrm{e}-5$, $3\mathrm{e}-5$, $2\mathrm{e}-5$\}の範囲を探索し，分類精度に影響しないことを確認した．ハイパパラメータの探索範囲を減らすため，本実験では学習率は $3\mathrm{e}-5$ で固定とした．}，10\%の学習が完了した時点で学習率がピークになるように線形のスケジューリングを行った．
モデル選択では，100ステップごとに$\mathcal{D}^u_\text{vol}$の開発データにおける精度を計算し，最高スコアを達成した時点のパラメータを採用した．
$D^u_\text{vol}$の性能に基づいてモデル選択を行うのは，意志的・非意志的行為を表す副詞を伴うイベントの出現頻度が低く，実テキストにおける意志性分類の性能が$D^u_\text{vol}$に対する性能で近似できるからである．
評価指標には AUC を用いた．
モデルは異なるランダムシードで3回学習し，その平均・分散を計算した．
モデルの実装には PyTorch を用いた．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 5
\begin{table}[t]
\input{03table05.tex}
\hangcaption{日本語における意志性・主語有生性分類の結果．評価指標は AUC である．数値は異なるランダムシードを用いて3回実験を行った際の平均と分散である．太字のスコアはすべてのモデルのうち最も平均スコアが高いことを表す．正則化 (REG) には開発データに対する性能をもとに選択された手法を併記している．ハイフン (-) はその分類をラベル付きデータを用いて学習していないことを示す．}
\label{tab:experiment-result-long-ja}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験結果}

表~\ref{tab:experiment-result-long-ja}に日本語における実験結果を示す．
主たる関心である$\mathcal{D}^u_\text{vol}$を含む，全てのデータセットで正則化と同時学習を併せて利用したモデルが最高精度を達成した．
$\mathcal{D}^u_\text{vol}$に対する最高精度は，意志性をCLS+REG (SOC)，主語有生性を CLS+REG (WR) で学習したモデルが達成した（AUC: 96.7，正解率: 92.2，精度: 94.9，再現率: 90.8，F値: 92.8）．
これはベースラインである意志性を CLS で学習したモデルの精度（AUC: 89.5，正解率: 83.5，精度: 91.0，再現率: 78.2，F値: 84.1）を大きく上回っている．
主語有生性をWRで学習するのが有効なことには主語の省略が関係していると考える．
主語有生性のラベルを付与する際，主語の同定を格解析によって行ったため，主語が省略されているイベントには主語有生性のラベルが付与されず，それらはラベルなしデータセット$\mathcal{D}^u_\text{ani}$に追加された．
WRによって主語をテキストから除外した上でその有生性を予測することを学習したことで，主語が省略されているイベントに汎化する推論が学習され，それが精度の向上に繋がったのだと考える．
一貫性の学習は有効に機能しなかった．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 6
\begin{table}[t]
\input{03table06.tex}
\hangcaption{英語における意志性・主語有生性分類の結果．評価指標は AUC である．数値は異なるランダムシードを用いて3回実験を行った際の平均と分散である．太字のスコアはすべてのモデルのうち最も平均スコアが高いことを表す．正則化 (REG) には開発データに対する性能をもとに選択された手法を併記している．ハイフン (-) はその分類をラベル付きデータを用いて学習していないことを示す．}
\label{tab:experiment-result-long-en}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

表~\ref{tab:experiment-result-long-en}に英語における実験結果を示す．
英語においても全てのデータセットで正則化と同時学習を併せて利用したモデルが最高精度を達成した．
主たる関心である$\mathcal{D}^u_\text{vol}$に対する最高精度は，意志性をCLS+REG (SOC)，主語有生性をCLSで学習し，加えて一貫性を学習したモデルが達成した（AUC: 75.8，正解率: 74.3，精度: 66.1 再現率: 65.1，F値: 65.6）．
これはベースラインである意志性をCLSで学習したモデルの精度（AUC: 66.2，正解率: 69.5，精度: 65.8，再現率: 39.7，F値: 49.5）を大きく上回っている．
日本語のスコアと比較して，英語のスコアは全体的に低い傾向が見て取れた．
この主たる原因は評価データセットの品質にあった．
\ref{sec:evaluation-dataset}節で述べたように，英語の評価データのラベル付けにあたったクラウドワーカーには不真面目な者が多かった．
英語の評価データの中にそうしたクラウドワーカーの票が偶然誤ったラベルに集まったことで採用されたと考えられるイベントが一定数含まれており，それによって分類器の性能が過小評価されていた．
日本語に関しては，そうした例はほとんど見られなかった．
日本語のラベル付けを行ったクラウドワーカーには不真面目な者が少なく，複数の不真面目なクラウドワーカーが特定のイベントのラベル付けに割り当てられかつ誤ったラベルに票が集まるケースが少なかったからだと考えられる．
高品質な英語データセットの構築は今後の課題である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{分析}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{定性分析}

提案手法で学習したモデルが\ref{sec:introduction}節で言及した文脈依存性を捉えられるか定性的に分析した．
分析には$\mathcal{D}^u_\text{vol}$において最高精度を達成したモデルを用いた．
ランダムシードを変えて学習したモデルが3つ存在するが，$\mathcal{D}^u_\text{vol}$の開発データでの性能に関して2番目のモデルを用いた．

日本語に関して，$\mathcal{D}^u_\text{vol}$における最良のモデルは意志性をCLS+REG (SOC)，主語有生性を CLS+REG (WR) で学習したものであったため，これを分析に用いた．
まず，例~\ref{ex:shawa-o-abiru}と例\ref{ex:hinan-o-abiru}を用いてモデルが述語の項の違いを認識して意志性を分類できるか調べ，これらが正しく分類できることを確認した．
次に，例\ref{ex:iki-o-suru}と例\ref{ex:fukaku-iki-o-suru}を用いてモデルが副詞の意味を捉えて意志性を分類できるか調べ，こちらについても正しく分類できることを確認した．
最後に，例\ref{ex:shirobai-ga-tometearu}と例\ref{ex:shirobai-ga-oikaketekuru}を用いて主語有生性を文脈を考慮して予測できるか調べ，こちらについてもやはり正しく分類できることを確認した．
分析に用いた例のように，イベントの一部が共通で，残りの部分の違いによって意志性・主語有生性が変化する例を集めたベンチマークを構築すれば，こうした文脈理解がどの程度可能なのか定量的に調べることができる．
これは今後の課題としたい．

一方で，モデルが意志性の認識に失敗する例もあった．
最も顕著だったのは述語が「いる」のイベントであった．
「いる」は状態動詞であり，基本的に状態を表すが，主語が有生名詞である場合には意志的な動作を表すことがある．
この認識誤りはイベントの主語が省略されている場合に特に顕著であり，省略された主語の有生性を予測する難しさが「いる」の意味理解をさらに難しくしていると推測される．

この問題に対する解決策として，学習時に前後のイベント，すなわちより広い文脈を考慮することが考えられる．
イベントの意味が異なれば，その前後に現れるイベントの分布も異なることが期待できる．
そうした分布の異なりを学習に利用することで，表層的に類似しているイベント同士の意味の異なりをより精緻に捉えられるモデルが構築できると期待できる．

英語に関して，$\mathcal{D}^u_\text{vol}$における最良のモデルは意志性をCLS+REG (SOC)，主語有生性をCLSで学習し，加えて予測の一貫性を考慮したものであり，これを用いて定性分析を行った．
結果，英語についても，モデルが文脈を考慮した分類を行えていることを確認した．
たとえば，以下の例は述語はどちらも同じ「made」であるが，項の違いを認識して，前者を意志的，後者を非意志的と正しく分類できた．

\ex.
    \a. %%%%\label{ex:i-tumbled}
    I made pancakes. $_\text{{(V)}}$
    \b. %%%%\label{ex:i-tumbled-for-his-honor}
    I made a mistake. $_\text{{(NV)}}$

以下の例もまた「for him」という副詞句の有無によるイベントの意味の違いを認識し，前者を非意志的，後者を意志的と正しく分類できた．

\ex. 
    \a. %%%%\label{ex:i-tumbled}
    I tumbled. $_\text{{(NV)}}$
    \b. %%%%\label{ex:i-tumbled-for-his-honor}
    I tumbled for him. $_\text{{(V)}}$



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{意志性のラベル付けに用いる副詞の種類の数が性能に与える影響}

提案手法は，生コーパス中のイベントに意志性のラベルを付与するために意志的副詞・非意志的副詞を人手で準備する必要がある．
分析として，日本語のデータセットを用いて，副詞の種類の数が主たる関心である$\mathcal{D}^u_\text{vol}$の分類精度に与える影響を調査した．
具体的には，意志的・非意志的な行為を表す副詞をそれぞれ頻度順に並べたときの上位1件，2件，4件，8件，15件を用いる場合の精度を比較した．
副詞の種類数が増えると同じ大きさの生コーパスから得られるラベル付きデータの数も増えるが，ここでは副詞の種類数が性能に与える影響を調べるため，頻度上位1件の副詞を用いたときに得られるラベル付きデータの件数 23,408 件（「あえて」にマッチしたイベント5,293件と「思わず」にマッチしたイベント18,115件の合計）に合わせてサンプリングした．

モデルとして，意志性のラベル付きデータのみを正則化なしで学習する素朴な設定（ベースライン）と，$\mathcal{D}^u_\text{vol}$における最高精度を達成した，意志性をCLS+REG (SOC)，主語有生性をCLS+REG (WR) で学習する設定（提案手法）の2つを用いた．
学習時の設定は\ref{sec:implementation-detail}節に記載のものと同じである．

表~\ref{tab:experiment-result-seed-diff}に結果を示す．
両方のモデルにおいて，ラベル付けに利用する副詞の種類を増やすことで $\mathcal{D}^u_\text{vol}$ の性能が向上することが見て取れた．
これは，副詞の種類を増やすことでラベル付きデータの多様性が増し，多くのイベントに汎化する推論が学習できたからだと考えられる．
また，驚くべきことに，提案手法は選定した副詞の中で最も高頻度であった「あえて」と「思わず」だけをラベル付与に用いた設定でも 87.4ポイントの AUC という高い分類精度を達成した．
これは，「あえて」と「思わず」が多様な文脈で現れる副詞であり，これらの副詞を含むイベントからだけでも，意志性分類がかなり学習できることを示唆している．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 7
\begin{table}[t]
\input{03table07.tex}
\hangcaption{日本語の$\mathcal{D}^u_\text{vol}$のテストデータにおける意志性のラベル付けに用いる副詞の種類数による分類性能の変化．評価指標は AUC であり，異なるランダムシードを用いて3回実行した際の平均と分散を記載している．最も右の結果は，表~\ref{tab:experiment-result-long-ja}からの再掲であり，頻度上位1件の副詞を用いたときに得られるラベル付きデータの件数に合わせてサンプリングを行わず，表~\ref{tab:dataset} に記載の数のデータを用いたときの結果である．}
\label{tab:experiment-result-seed-diff}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{ヒューリスティクスの精度}
\label{sec:quality-analysis}

ラベル付きデータにはヒューリスティクスを用いてラベルを付与しているため，誤ったラベルが付与されるケースもある．
しかし，あまりにラベル付けが誤っていると，そこから期待する分類結果が得られるような分類器を学習することは困難である．

本研究で構築したデータセットのもとでかなりの精度の分類器を学習できたという事実を踏まえ，他言語や別ドメインのデータに提案手法を適用する際の参考になるように，ラベル付きデータの品質を調べた．
$\mathcal{D}^l_\text{vol}$と$\mathcal{D}^l_\text{ani}$からポジティブ・ネガティブのイベントをそれぞれ100件ずつ抽出し，それらに正しいラベルが付与されているかどうか，著者1名が人手で確認した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 8
\begin{table}[t]
\input{03table08.tex}
\caption{正しいラベルが付与されていたイベントの割合．}
\label{tab:labeled-data-quality}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

表~\ref{tab:labeled-data-quality}に結果を示す．
ほとんどのイベントに正しいラベルが付与されていることが確認できた．
日本語の$\mathcal{D}^l_\text{ani}$のネガティブ（無生名詞）のイベントは比較的ラベル付けの精度が悪かった．
これは主に主語の認識に失敗に起因するものであった．
また，英語の$\mathcal{D}^l_\text{ani}$のネガティブ（無生名詞）のイベントも比較的ラベル付けの精度が悪かった．
これは，「location」の下位語を無生名詞として利用していたが，国名など一部の名詞は組織や集団を表す有生名詞としての用法もあることに起因していた．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

本研究では，意志性分類と主語有生性の密接な関係に注目し，
\pagebreak
ヒューリスティクスを利用して自動構築した訓練データのもとでこれらの正則化付き同時学習を行う，弱教師あり学習手法を提案した．
日本語・英語の実験を通して，提案手法によりラベル付きデータを人手で構築することなく高精度の分類器を学習できることを確認した．

本研究では単独のイベントを入力としてそれが意志的であるかどうか分類する設定を考えたが，文や段落，文章などイベントより大きな言語単位を入力とし，入力テキスト中の各イベントの意志性を分類する設定では，イベントの前後の文脈を考慮しなければならないケースがある．
例えば，例~\ref{ex:kare-wa-kore-ijo}の下線部のイベントは，前の文脈を考慮しないなら非意志的とみなすのが自然であるが，前の文脈を考慮すれば意志的とみなすのが自然である．

\ex. \label{ex:kare-wa-kore-ijo}
私は彼女を庇って\underline{非難を受けた．}$_\text{{(V)}}$

このようなケースに対応できないことは本研究の限界であり，より広い文脈を考慮した意志性分類は今後の課題である．

意志性はイベントの基本的な属性であり，その応用は広い．
しかし，意志性に着目した研究はほとんど存在しない．
これは，容易に利用可能な意志性分類器も意志性分類器を低コストで構築する手法もなく，意志性に基づく処理をするにはそれなりのコストをかけて意志性分類器を構築することから始める必要があったからである．
その意味で，本研究は意志性に着目した研究を促進する可能性を持っている．
今後は，本研究で構築した意志性分類器をテキストマイニング等の諸タスクで活用することに取り組み，そこで得られた観察をもとに手法のさらなる改善に取り組みたい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本研究の一部は The Thirty-Sixth AAAI Conference on Artificial Intelligence (AAAI 2022) で発表したものである \cite{Kiyomaru_Kurohashi_2022}．
本研究はヤフー株式会社の支援を受けた．
ここに感謝の意を表する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.6}
\bibliography{03refs}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\appendix

\section{モダリティのリスト}

本研究ではモダリティを伴うイベントは対象としなかった．
表~\ref{tab:modality}に本研究で扱ったモダリティのリストとその例を示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 9
\begin{table}[b]
\input{03table09.tex}
\caption{モダリティのリストとその例．}
\label{tab:modality}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{意志的副詞・非意志的副詞のリスト}
\label{sec:full-list}

意志性のラベル付与のために準備した意志的副詞・非意志的副詞のリストは以下の通りである．括弧内の数字は頻度を表す．

\paragraph{日本語の意志的副詞}あえて (5,293)，急いで (4,187)，じっくり (4,017)，慎重に (3,743)，のんびり (3,262)，わざわざ (3,222)，さっさと (1,945)，集中して (1,194)，意図的に (920)，わざと (880)，意識的に (786)，念入りに (766)，気楽に (591)，ちゃっかり (510)，注意深く (496)．
\paragraph{日本語の非意志的副詞}思わず (18,115),つい (15,897)，自動的に (14,212)，ふと (12,050)，ついつい (10,054)，自動で (5,058)，気づいたら (1,414)，うっかり (1,333)，幸いにも (950)，幸運にも (571)，思いがけず (546)，あいにく (422)，幸運なことに (285)，不運にも (63)，不運なことに (32)．
\paragraph{英語の意志的副詞}carefully (13,594)，thoroughly (12,468)，actively (10,379)，deliberately (3,366)，intentionally (2,713)，consciously (1,846)，purposely (1,391)，hurriedly (942)，attentively (839)，proactively (388)．
\paragraph{英語の非意志的副詞}unfortunately (13,070)，automatically (12,824)，accidentally (5,272)，unexpectedly (3,106)，luckily (1,894)，instinctively (1,321)，unconsciously (1,059)，inadvertently (999)，unintentionally (635)，carelessly (384)．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{清丸　寛一}{%
2022年京都大学大学院情報学研究科博士課程修了．博士（情報学）．同年より京都大学大学院情報学研究科特定研究員．自然言語処理の研究に従事．言語処理学会，ACL，各会員．
}

\bioauthor{黒橋　禎夫}{%
1994年京都大学大学院工学研究科電気工学第二専攻博士課程修了．博士（工学）．2006年4月より京都大学大学院情報学研究科教授．自然言語処理，知識情報処理の研究に従事．言語処理学会10周年記念論文賞，同20周年記念論文賞，第8回船井情報科学振興賞，2009 IBM Faculty Award 等を受賞．2014年より日本学術会議連携会員．
}

\end{biography}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\biodate



\end{document}

