\documentclass[japanese]{jnlp_3.6}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
\usepackage{array}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
\usepackage{multirow}
%%%%\usepackage{here}
%%%%\usepackage{setspace}
\usepackage{gb4ea}
%%%%\usepackage{color}
\newcommand{\elabel}{含意ラベル}
\newcommand{\ilabel}{推意ラベル}
\newcommand{\entailment}{\textsc{entailment}}
\newcommand{\contradiction}{\textsc{contradiction}}
\newcommand{\neutral}{\textsc{neutral}}
%%%%\newcommand{\todo}[1]{\textcolor{black}{#1}}
    \newcommand{\todo}[1]{#1}
\newcommand{\num}{\texttt{<num>}}
\newcommand{\bnum}{\texttt{</num>}}
\newcommand{\hminus}{$H_{-}$}
\newcommand{\hplus}{$H_{+}$}
%%%%\newcommand{\citeintext}[1]{\citeauthor{#1}~\citeyear{#1}}
    \newcommand{\citeintext}[1]{\citeA{#1}}
\newcommand{\CLtype}[2]{\underline{#1}$_{\text{#2}}$}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{30}
\Number{2}
\Month{June}
\Year{2023}
%%%%\Issuetitle{「　　　　」特集号}

\received{2022}{9}{1}
\revised{2022}{12}{1}
\accepted{2023}{1}{18}

\setcounter{page}{432}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}

\jtitle{日本語数量表現コーパスと推論データセットの構築}

\jauthor{小谷野華那\affiref{Author_1} \and 谷中　　瞳\affiref{Author_2} \and 峯島　宏次\affiref{Author_3} \and 戸次　大介\affiref{Author_1}}
\jabstract{%
自然言語推論は，前提文が真であるとき，仮説文が真ならば含意，偽ならば矛盾，どちらともいえないならば中立であると判定するタスクであり，言語理解の基礎をなすタスクの一つである．数量表現が現れる文間の推論では，論理的含意と推意の間で判定が異なることがある．また否定文や条件文などの文脈に数量表現が現れる推論では，推論の向きが通常の文脈とは反転することが知られている．さらに日本語の数量表現は出現形式が柔軟であり，様々な助数辞の種類や数量表現の用法がある．しかし，これらの意味論的・語用論的特徴に着目したコーパス，及び，数量表現の理解を問うような推論データセットの構築は十分に進められていない．そこで本研究では，既存の日本語ツリーバンクに含まれる文を用いて，助数辞の種類，数量表現の出現形式，用法といった情報を付与したコーパスを構築する．その上で，このコーパスに基づき，日本語数量表現の推論データセットを構築する．また，構築した推論データセットを用いて，事前学習済み言語モデルである日本語BERTモデルが数量表現の理解を必要とする推論をどの程度扱えるかを調査する実験を行った．実験の結果，日本語BERTモデルは，様々な数量表現を含む推論の扱いについて課題があることを確認した．
\renewcommand{\thefootnote}{}
\footnote[0]{本論文の一部は言語処理学会第28回年次大会 \cite{nlp2022-koyano}およびThe 18th Joint ACL - ISO Workshop on Interoperable Semantic Annotation \cite{isa18-koyano}で報告したものである．}
\renewcommand{\thefootnote}{\arabic{footnote}}
}
\jkeywords{数量表現，日本語，自然言語推論，含意，推意}

\etitle{Constructing an Annotated Corpus and Inference Dataset for Japanese Numeral Expressions}
\eauthor{Kana Koyano\affiref{Author_1} \and Hitomi Yanaka\affiref{Author_2} \and Koji Mineshima\affiref{Author_3} \and Daisuke Bekki\affiref{Author_1}} 
\eabstract{%
Natural language inference is a core natural language understanding task for determining whether a hypothesis is true (entailment), false (contradiction), or neither (neutral) when a set of premises is true. Logical entailment and implicature can differ when an inference contains numeral expressions. Embedding numeral expressions in contexts such as negation and conditionals can enable reversing the entailment relation between a premise and a hypothesis to that embedded in general contexts. Furthermore, numeral expressions in Japanese are characterized by the flexibility of quantifier positions, the variety of numeral suffixes, and their usages. However, studies on developing annotated corpora focusing on these features and benchmark datasets for understanding Japanese numeral expressions have been limited. In this study, we developed a corpus that annotates each numeral expression in an existing phrase-structure-based Japanese treebank with its numeral suffix, position, and usage types. Furthermore, we constructed an inference dataset for numerical expressions based on our annotated corpus. Our inference dataset focused on inferences in which their entailment labels differ between logical entailment and implicature and contexts such as negations and conditionals where entailment labels can be reversed. Experiments were conducted using the constructed inference dataset to investigate the extent to which current standard pre-trained language models can handle inferences that require an understanding of numeral expressions. The results confirmed that the Japanese bidirectional encoder representation model cannot satisfactorily handle inferences involving various numeral expressions. 
}
\ekeywords{Numeral Expressions, Japanese, Natural Language Inference, Entailment, \\Implicature}

\headauthor{小谷野，谷中，峯島，戸次}
\headtitle{日本語数量表現コーパスと推論データセットの構築}

\affilabel{Author_1}{お茶の水女子大学}{Ochanomizu University}
\affilabel{Author_2}{東京大学}{The University of Tokyo}
\affilabel{Author_3}{慶應義塾大学}{Keio University}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

日本語では数量表現が多様な形で現れる．
例えば，以下の3つの文は，形式は異なるが，
いずれも同じ真理条件を持つ．
\begin{exe}
    \ex \label{ex:1}学生が3人いる．
    \ex \label{ex:2}3人の学生がいる．
    \ex \label{ex:3}3名の学生がいる．
\end{exe}
(\ref{ex:1})と(\ref{ex:2})では，文中において数量表現が現れる位置が
異なっており，(\ref{ex:2})と(\ref{ex:3})では助数辞が異なっている．
こうした数量表現の出現形式や助数辞の多様性は，日本語の重要な特徴の一つであり，
後述するように言語学での記述的・理論的研究が近年進んでいる．
しかし，これまでのところ，これらの特徴に着目したコーパスの構築や，言語学的な知見をふまえて日本語の数量表現の理解を問うようなデータセットの構築は，管見の限り行われていない．

自然言語理解の基礎をなすタスクの一つとして，自然言語推論(Natural Language Inference, NLI)がある\cite{cooper1994fracas,bowman-etal-2015-large}．
自然言語推論は，含意関係認識(Recognizing Textual Entailment, RTE)とも呼ばれ，前提文が真であるとき，\todo{仮説文が必ず真なら含意 (\entailment{})，必ず偽なら矛盾 (\contradiction{})，どちらでもないなら中立(\neutral{})であることを判定する}タスクである．
\todo{自然言語推論では一般に意味論的推論の判定が想定されているが，}
自然言語処理分野では近年，意味論的推論だけでなく，語用論的推論も研究の対象となっている \cite{jeretic-etal-2020-natural}．
この2種類の推論は，言語学の文献で議論されてきた
含意(entailment)
と推意(implicature)に対応する \cite{levinson1983,Horn1989,levinson2000presumptive}．
例として，以下のような数量表現を含む前提文\textit{P}と仮説文\textit{H}のペアについて考えよう．
\begin{exe}
\ex
\begin{xlist}
    \exi{\textit{P}:} \label{ex:4}男性が道端に4人座っていた．
    \exi{\textit{H}:} \label{ex:5}男性が道端に5人座っていた．
\end{xlist}
\end{exe}
\todo{この\textit{P}に現れる数量表現「4人」の解釈には，
「少なくとも4人座っていた」という解釈と，「ちょうど4人座っていた」という2種類の解釈が存在する．\textit{H}に現れる数量表現「5人」についても同様である．
2種類の解釈のうち，前者は文の真理条件，後者は協調の原理に基づく解釈であり，ここではそれぞれ意味論的解釈，語用論的解釈\footnote{語用論的解釈は，標準的な説明では，いわゆるGriceの会話の格率 \cite{Grice89,levinson1983}，特に「必要十分な量の情報を与えよ」という格率（量の格率）に基づいて，文脈や発話者の意図を考慮して，発話の真理条件には含まれない情報も考慮して導出される．}
と呼ぶ．
\textit{P}から\textit{H}への推論は，
意味論的解釈のもとでは中立 (\neutral{}) であるのに対し，
語用論的解釈のもとでは矛盾 (\contradiction{}) となる．
このように数量表現を含む前提文と仮説文のペアが与えられたとき，
数量表現の解釈の仕方によって判定が異なることがあるため，意味論的解釈と語用論的解釈を区別して考える必要がある．
意味論的解釈に基づく推論を意味論的推論といい，語用論的解釈に基づく推論を語用論的推論という．
「\elabel{}」は意味論的推論の判定，
「\ilabel{}」は語用論的推論の判定を表し，
それぞれ含意(\entailment{})，矛盾(\contradiction{})，中立(\neutral{})の3値をとる．
}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[b]
\input{06table01.tex}%
\caption{否定文における含意ラベルの反転の例}
\label{table:201}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

また，数量表現が否定文や条件節に現れる場合，
通常の文脈に数量表現が現れる場合とは異なり，含意ラベルが変化することがある．
表\ref{table:201} の例では，
$P$から\hminus への推論の含意ラベルは\entailment{}，
$P$から\hplus への推論の含意ラベルは\neutral{}
である．つまり，「学生が4人以上いる（＝少なくとも4人いる）」は，
「学生が3人以上いる」を含意するが，
「学生が5人以上いる」を含意しない．
一方，数量表現が否定文脈に現れる場合，
$P$から\hminus への推論の含意ラベルは\neutral{}
であるのに対し，
$P$から\hplus への推論の含意ラベルは\entailment{}
である．つまり，
「学生が4人以上はいない」は「学生が5人以上はいない」を含意するが，
「学生が3人以上はいない」を含意しない．
このように，数量表現が否定文や条件節といった文脈に現れる場合（このような文脈は下方含意と呼ばれており，\ref{section:monotonicity}節で詳細を述べる），推論の判定に影響を与えることがある．

本研究では，\todo{助数辞の種類，数量表現の出現形式，用法}をアノテーションした日本語の数量表現アノテーションコーパスを構築する．
数量表現を含む文は，NPCMJ \cite{NPCMJ}から抽出する．
NPCMJは，現代日本語の書き言葉と話し言葉に対して文の統語・意味解析情報が付与されているデータセットである．
さらに，\todo{作成した日本語数量表現アノテーションコーパスをもとに，}
\elabel と\ilabel を付与した数量表現の推論データセットを構築する．
本稿では，数量表現コーパスおよび推論データセットの構築と，
\todo{それを用いて現在の標準的な事前学習済み言語モデルの一つである日本語BERTモデル \cite{devlin-etal-2019-bert}が数量表現の理解を必要とする推論をどの程度扱えるかを調査する実験を行う．}
構築した数量表現コーパスおよび推論データセットは研究利用可能な形式で公開している\footnote{\url{https://github.com/KanaKoyano/numeral-expressions-corpus}}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}

英語の自然言語推論の研究として，数量表現を含むNLIテストセット \cite{naik-etal-2018-stress}がある．
\todo{このNLIテストセットには，含意関係を表すための3種類のラベル（含意，矛盾，中立）}を付与した文ペアが2,532件ずつ，計7,596件の文ペアが含まれている．
最近の研究 \cite{liu-etal-2019-inoculation}において，この数量表現を含むNLIテストセットは，文ペアが簡単なテンプレートに基づいて構築されているため，大半の問題（全体の約82\%）はいくつかのヒューリスティクスで解くことができると指摘されている．

\citeintext{jeretic-etal-2020-natural}は，含意，前提，推意という推論現象の違いに着目した英語のNLIデータセットを構築した．
\todo{このNLIデータセットには，
\textit{Jo ate some of the cake}から\textit{Jo didn't eat all of the cake}が推意されるといった，数量表現を含むいわゆるスカラー推意(scalar implicature)による推論
を含んでいる．}
しかし，このNLIデータセットは前提文と仮説文のテンプレートから自動で構築されているため，単純な文が多いという問題がある．

\citeintext{cui2022generalized}は，多言語で事前学習された言語モデルが，\todo{英語における様々な数量表現を含む一般化量化子のふるまいをどの程度捉えることができるかについて，一般化量化子の理解に特化したベンチマークGQNLIを構築し，調査を行った．
GQNLIで言語モデルを評価した結果，言語モデルの最高精度は48\%であり，一般化量化子を捉えられていないことがNLIモデルや質問応答モデルの性能改善の課題の一つとなっていることを示した．}

日本語の推論データセットとして，
形式意味論テストセットのJSeM \cite{10.1007/978-3-319-50953-2_5}，
\todo{画像キャプションに基づく英語の推論データセットである}SNLI \cite{bowman-etal-2015-large}の日本語版であるJSNLI \cite{yoshimi_weko_206114_1}，
\todo{画像キャプションに基づく推論データセットであり，仮説文に否定表現
や受身などの多様な言語現象を含めた英語の推論データセットである}SICK \cite{marelli-etal-2014-sick}の日本語版であるJSICK \cite{Yanaka_tacl2022}，
旅行情報サイトの評判という実テキストからクラウドソーシングで構築されたJRTEC \cite{hayashibe-2020-japanese}など
がある．
これらの日本語の推論データセットでは，日本語の数量表現の統語的，意味的な多様性に焦点を当てていない．

\citeintext{narisawa-etal-2013-204}は，日本語の含意関係認識において数量表現が問題になる事例に焦点を当て分析を行い，数量表現の規格化のための実装と評価を行った．
\todo{Narisawa}らは，数量表現が出現する文ペアを7つのカテゴリに分類し，正しく含意関係を判定するために必要な処理について述べている．

\todo{上記のように，これまでの日本語の推論データセット，日本語数量表現のための実装では，数量表現の分類や数詞の違い，\elabel{}と\ilabel{}の違いについて十分に考慮されているとはいえない．
しかし次節でみるように，数量表現と数詞の分類は，それらが参与する推論の結果を左右する要因である．}
\todo{そこで}本研究では，日本語の数量表現の出現形式と用法，助数辞の分類を整理し，整理した分類体系に基づいて実テキストに対して意味アノテーションを付与した数量表現コーパスを構築する．
また，構築したコーパスを用いて\elabel と\ilabel を付与した数量表現を含む推論データセットを構築する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{日本語数量表現の分類}
\label{section:label}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{アノテーションの手順}
\label{section:annotation}

本研究では，\todo{NPCMJ内の126文に含まれる}287件の数量表現について，言語学の素養のある大学院生1名がアノテーションを行った．
NPCMJには，青空文庫，辞書，ニュースなどの様々なジャンルのデータが含まれている．
複雑な文を扱った挑戦的な推論データセットを構築することを最終目的として，数量表現を2つ以上含む文をアノテーションの対象として抽出した．
また，否定表現と条件節を含む文については数量表現を1つ以上含む文を抽出した．
アノテーションしたデータの一部は，専門家と議論を行いアノテーション結果が妥当であることを確認している．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[b]
\input{06table02.tex}%
\caption{(a)助数辞，(b)出現形式，(c)用法の分類の例とアノテーション件数}
\label{table:100}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{タグ付け}
文中に現れる数量表現に\num{}タグを付与し，助数辞の分類，出現形式，用法についてアノテーションを行った．
\todo{文中に複数の数量表現が現れる場合は，1つ目の数量表現に\num{}タグを付与したもの，2つ目の数量表現に\num{}タグを付与したもののように，1つの数量表現に\num{}タグを付与した文を複数作成し，各文の\num{}タグが付与されている数量表現に対してアノテーションを行った．}
コーパスに含まれる助数辞，出現形式，用法の分類の例とアノテーション件数は，表\ref{table:100} に示す．
次の文は，本研究で構築した数量表現コーパスに含まれる一文である．
\begin{exe}
\setlength{\parskip}{0pt}%
\setlength{\itemsep}{0pt}%
    \ex \label{ex:60}ちなみに金板の百人一首は\num{}１セット\bnum{}で８０万円である．
\end{exe}
(\ref{ex:60})で\num{}タグが付与されている\todo{数量表現「1セット」の助数辞タイプは「単位形成辞」，出現形式タイプは「QCQ型」，用法タイプは「Qを修飾するQ」となる．
次節以降で助数辞，出現形式，用法の分類の詳細を述べる．
}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{助数辞の分類}

\citeintext{iida2019nihongo1}，\citeintext{iida}
は，助数辞を分類辞，単位形成辞，計量辞の3つの\todo{タイプ}に分類した．
これに加えて，時間や系列の中での順序を表す順序数辞 \cite{okutsu1996}というクラスの数量表現も存在する．
そこで本研究では，飯田の3つのタイプの助数辞に順序数辞を加えた計4\todo{タイプ}による分類を提案し，\todo{助数辞タイプ}のアノテーションを行う．

助数辞の分類の例を表\ref{table:100}の(a)に示す．
\todo{分類辞には，助数辞単体では使用されないもの，複数の人やものに対して使用されるもの，汎用的な助数辞が含まれる．}
次の2文は分類辞の例である．
\begin{exe}
\setlength{\parskip}{0pt}%
\setlength{\itemsep}{0pt}%
    \ex \label{ex:111}ライオンが2頭いる．
    \ex \label{ex:112}靴を1足買った．
\end{exe}
(\ref{ex:111})の助数辞「頭」は「アタマ」という読み方で名詞として使用されるが，「トウ」という読み方で単体で使用されることはないため，これは分類辞に該当する．
(\ref{ex:112})の「足」は左右合わせた1つの靴の組に対して使われる助数辞であり，これも分類辞である．
また，汎用的な助数辞は「つ」や「個」があり，これも分類辞に含まれる．

単位形成辞は，何らかの容器を表す普通名詞であり，助数辞としてではなく単独で用いることが可能である．
これらの名詞は，分類辞を持つ数量表現によって量化されることもある．
次の文では，数量表現である「2個」が普通名詞「箱」を量化している．
\begin{exe}
\setlength{\parskip}{0pt}%
\setlength{\itemsep}{0pt}%
    \ex \label{ex:10}箱が2個ある．
\end{exe}
単位形成辞は，新しい形の容器が社会に普及すると，それが新たに単位形成辞に追加されるという特徴を持つ．
外来語である「パック」はまさにその例である．

計量辞は，「キロ」は重さや距離を表す単位，「メートル」は長さを表す単位など，測定のための単位を表す助数辞である．
計量辞は単位形成辞と同様に，いわゆる開いたクラスであり，新しい計量の単位が社会に普及するたびに，それが新たに計量辞に追加されるという特徴を持つ．

順序数辞は，時間や順序を表す助数辞である．
順序数辞を含む数量表現は，修飾する名詞が文中に現れないことが多く，むしろ数量表現自体が名詞としての役割を果たすといった特徴がある．
\todo{日時を表す「年」「月」や，順序を表す「番」「位」が順序数辞の例である．}

飯田は，分類辞，単位形成辞，計量辞を分類するテストとして，助数辞の後ろに「分」を付与するテストを挙げている．
次の文は分類辞「人」と，その後ろに「分」を付与した例である．
\begin{exe}
\setlength{\parskip}{0pt}%
\setlength{\itemsep}{0pt}%
    \ex \label{ex:11}3人の子供がいる．
    \ex \label{ex:12}3人分の子供がいる．
\end{exe}
分類辞に「分」を付与すると，そのままでは何を意味しているのかがわからないという特徴がある．
(\ref{ex:12})は子供が何に対して3人分いるのか，十分な文脈が与えられない限り解釈が難しい．

単位形成辞は，元の文が\todo{真であれば「分」をつけたテスト文も真である}といえるが，その逆はいえないという特徴がある．
次の文は単位形成辞「箱」の例である．
\begin{exe}
\setlength{\parskip}{0pt}%
\setlength{\itemsep}{0pt}%
    \ex \label{ex:13}本が3箱ある．
    \ex \label{ex:14}本が3箱分ある．
\end{exe}
(\ref{ex:13})が真であれば，(\ref{ex:14})も真であるといえる．
しかし，(\ref{ex:14})が真であったとしても，本が箱に入っているかどうかは分からないため，(\ref{ex:13})が真であるということはできない．

\todo{計量辞は，元の文が真であれば「分」のついたテスト文も真であり，「分」がついたテスト文が真であれば元の文も真である，という特徴がある．}
次の文は計量辞「リットル」の例である．
\begin{exe}
    \ex \label{ex:15}水が2リットルある．
    \ex \label{ex:16}水が2リットル分ある．
\end{exe}

助数辞の分類は，飯田の定義と言語的テストを踏まえれば，ほとんどのケースに対しては揺れがなく，一意的にアノテーションが可能であるが，
表層形から一意に定まらず，文脈や用法によって分類が変わるものも存在する．
例えば，「会議室は建物の3階にある」に現れる「階」は順序数辞であるのに対し，「ここから3階のぼったところに会議室がある」に現れる「階」は計量辞である．
前者は特定の位置を指しているのに対し，後者は3フロア分上の階に上がるという意味であり，会議室が3階に位置しているという意味ではない．

\todo{また，助数辞のアノテーションの判断が揺れる例として，「升」がある．
「升」は「マス」と「ショウ」の2つの読みでそれぞれ助数辞となる．
次の例は，数量表現コーパスに含まれる例である．
\begin{exe}
    \ex \label{ex:1000}勿論，私ひとりで【四升】呑みほしたわけでは無い．
\end{exe}
(\ref{ex:1000})の「升」が呑んだ量を表しており，「ショウ」という読みであるとすると計量辞である．
しかし，(\ref{ex:1000})は，「マス」という読みも可能であり，「升」が容器として用いられていると解釈すれば，単位形成辞と考えることもできる．
本コーパスでは上記の例については前者の解釈でアノテーションし，計量辞としている．
}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{数量表現の出現形式}

日本語百科事典 \cite{encyclopedia_of_japanese1}では，文中に現れる数量表現の形式をQノNC型，NノQC型，NCQ型，NQC型の4つの\todo{タイプ}に分類している．
\citeintext{iwata2013}は，この4タイプに加えて述部型，デ格型の2タイプを追加した．
本研究では，実テキスト上に現れる日本語の多様な数量表現を考慮して，これらの6タイプに加えて，
\todo{QV型，NvCQ型，Nの脱落，QCQ型，(Q)，イディオム的}という6タイプを追加した計12タイプによる分類を提案し，出現形式タイプのアノテーションを行う．
N，C，Q，V，Nvは，それぞれ普通名詞，格助詞，数量表現，動詞，\todo{サ変語幹を含むイベント名詞句}を表す．
数量表現の出現形式の例を表\ref{table:100}(b)に示す．

次の文は，日本語百科事典の4分類と\citeintext{iwata2013}が追加した2分類の例である．
\begin{exe}
    \ex \label{ex:31} 【\CLtype{第1位}{Q}の \CLtype{雷神山古墳}{N} \CLtype{は}{C}】名取川の南，現在の名取市内にあり，【\CLtype{二つ}{Q}の\CLtype{巨大古墳}{N} \CLtype{の}{C}】間に多数の中小古墳が散らばっている．
\end{exe}

(\ref{ex:31})は本研究で構築した数量表現コーパスに含まれるQノNC型の例であり，「3人の学生が」のように，数量表現Q，「の」，名詞N，格助詞Cの順で並ぶタイプである．
「第1位の雷神山古墳は」と「二つの巨大古墳の」の2つがQノNC型に該当する．
\begin{exe}
    \ex \label{ex:32}現在の仙台市の推計人口は，東北地方の中で最も多い約107万人で，【\CLtype{宮城県民}{N}の\CLtype{45.9\%}{Q} \CLtype{が}{C}】居住する．
\end{exe}

NノQC型は，「学生の3人が」のように，名詞N，の，数量表現Q，格助詞Cの順で並ぶタイプであり，例として(\ref{ex:32})が挙げられる．

\begin{exe}
    \ex \label{ex:33}\todo{そこには，ユダヤ人のきよめのならわしに従って，それぞれ四，五斗もはいる石の【\CLtype{水がめ}{N} \CLtype{が}{C}，\CLtype{六つ}{Q}】置いてあった．}
\end{exe}
(\ref{ex:33})は，NCQ型の例であり，「学生が3人」のように，名詞N，格助詞C，数量表現Qの順で並ぶタイプである．

\begin{exe}
     \ex \label{ex:34}科学者側の動きに合わせ，文部科学省は14年度予算案にＩＬＣの【\CLtype{調査検討費}{N} \CLtype{5000万円}{Q} \CLtype{を}{C}】初めて計上した．
\end{exe}

(\ref{ex:34})はNQC型の例であり，「学生3人が」のように，名詞N，数量表現Q，格助詞Cの順で並ぶタイプである．

\begin{exe}
    \ex \label{ex:35}第一に，重すぎて，【\CLtype{二人}{Q}で】父親の帰ってくるまでに片づけることはできないだろう．
\end{exe}

(\ref{ex:35})はデ格型の例であり，「学生が3人で」のように，数量表現Q，での順で並ぶタイプである．
\citeintext{iwata2013}は，デ格型は，数量の全体性・集合性を表すとしている．
他の出現形式のタイプ，
\todo{例えば，QノNC型も「3人の学生が来た」のように，「来る」という行為を行った学生全体の数を表し（全体性），3人の学生を要素とする集団として捉えられる（集合性）という特徴を持つ．
デ格型は，QノNC型と異なり，「3人で来た」のように名詞Nを伴わずに全体性・集合性を表すことができるという特徴がある．}
\begin{exe}
    \ex \label{ex:36}ちなみに金板の百人一首は1セットで【\CLtype{80万円}{Q}である】．
\end{exe}

(\ref{ex:36})は述部型の例であり，「学生は3人だ」のように，数量表現が述部に現れるタイプである．
述部型もデ格型と同様に名詞を伴わずに使用できる．この2つの出現形式は，話し言葉で頻出するタイプである．

\citeintext{iwata2013}は，頻度，時間，期間といった（動詞を修飾する）数量表現は研究対象としていない．
\citeintext{iwata2013}は，頻度を表す数量表現を含む文の例として，(\ref{ex:50})や(\ref{ex:51})を挙げ，このような数量表現の出現形式はNCQ型しか存在しないと指摘している．
\begin{exe}
    \ex \label{ex:50}今年は東京へ3回行った
    \ex \label{ex:51}彼には3度会ったことがある
\end{exe}しかし，これらの数量表現は名詞を修飾しているのではなく，動詞（行った，会った）を修飾している．
そのため，本研究では，動詞を修飾する数量表現の出現形式として，QV型を新たに追加した．
\todo{さらに，名詞Nとイベント名詞句Nvを区別するために，NvCQ型を追加した．}
\begin{exe}
    \ex \label{ex:37}研究すべき材料は三種類で，それを五つのちがった温度で，【\CLtype{各十回}{Q}  \CLtype{測る}{V}】，という風になっておれば，決して四種類はやってみない
\end{exe}
(\ref{ex:37})はQV型の例であり，数量表現Q（十回）が動詞V（測る）を修飾している．
この例では数量表現と動詞の間に修飾表現が含まれているが，間に修飾表現が入る場合も数量表現の後に動詞がくるという順番は変わらないため，QV型に分類した．
\footnote{\todo{
今回アノテーションした数量表現Qの中には，「40分で印刷が終了し」の「40分で」といった，時間副詞を表すQも含まれる．
時間副詞QとQデの違いは，イベントの完了と未完了に関する推論の判定に影響を与え，文法研究でも議論されている \cite{nakatani2015}．
例えば，「3時間書いた」は「2時間書いた」を含意し，「4時間は書いていない」を推意するが，「3時間で書いた」は「2時間では書き終わっていない」ことを含意する．\\
本研究ではQとQデは，出現形式の違いという観点で分類しており，前述のようなイベントの完了と未完了の推論の判定に影響を与える時間副詞の違いを分類体系に反映させることは今後の課題とする．
}}
\begin{exe}
    \ex \label{ex:38}\todo{そんな【\CLtype{仕事}{Nv} \CLtype{は}{C} \CLtype{三日}{Q}】とかかりません．}
\end{exe}
(\ref{ex:38})はNvCQ型の例である．
Nvは\todo{サ変語幹を含むイベント名詞句}であり，NvCQ型は，Nvを修飾する数量表現Qの出現形式である．
\todo{(\ref{ex:38})の「仕事」はサ変語幹であり，QがNvを行うのに要する期間を表している．}
\todo{実テキストに現れる日本語の数量表現には，数量表現が修飾する名詞が明記されていないものや，数量表現を修飾する数量表現がある．
これらに対応する出現形式タイプとして，新たにNの脱落，QCQ型を追加した．}
\begin{exe}
    \ex \label{ex:39}見たところ，【\CLtype{100人}{Q}】はいないようだ．
\end{exe}
Nの脱落という出現形式タイプは，数量表現が修飾する名詞が文中に現れない場合を表す．
(\ref{ex:39})は何が100人なのかが文中に記載されていないため，このような場合はNの脱落という出現形式タイプを付与する．
\begin{exe}
    \ex \label{ex:40}【\CLtype{3枚}{Q} \CLtype{で}{C} \CLtype{500円}{Q}】なら買います．
\end{exe}
(\ref{ex:40})はQCQ型の例である．
QCQ型は数量表現を修飾する数量表現であり，この文では，「500円」を修飾している「3枚」がQCQ型に該当する．
\todo{QCQ型には「1時間1000円」のように格助詞Cが省略されているものも含まれる．}
\begin{exe}
    \ex \label{ex:41}始期は織田信長が足利義昭を奉じて京都に上洛した永禄11年【\CLtype{（1568年）}{Q}】が有力であるが，義昭が京都から放逐された元亀4年【\CLtype{（1573年）}{Q}】，安土城の築城が始まった天正4年【\CLtype{（1576年）}{Q}】とする考えもある．
\end{exe}(\ref{ex:41})は(Q)の例である．
(Q)\todo{という出現形式タイプ}は文中で()の中に記載されている\todo{補足や注記}の数量表現に対して付与する．
\begin{exe}
    \ex\label{ex:42} その【\CLtype{一つ}{Q}】が，2012年7月，欧州合同原子核研究所（スイス）で発見され，世界的ニュースとなった「ヒッグス粒子」．
\end{exe}
イディオム的という\todo{出現形式タイプ}は，数量表現の数詞を変える，もしくは数量詞接頭辞・接尾辞を付与すると容認不能になる数量表現に対して付与する．
(\ref{ex:42})の「一つ」は，数詞を変更した場合も数量詞接頭辞・接尾辞を付与した場合も容認不能となるため，イディオム的という出現形式タイプが付与されている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{数量表現の用法}

数量表現の用法タイプは，\citeintext{iwata2013}が扱っていた数量表現Qの用法に加えて，名詞Nを修飾する数量表現Qに関する用法を3タイプ，動詞Vを修飾する数量表現Qに関する用法を4タイプ追加する．
また，イベント名詞句Nvを修飾する数量表現Q，数量表現Qを修飾するQ，イディオム的用法も追加し，計11タイプの分類を提案する．
用法の例を表\ref{table:100}(c)に示す．


次の文は数量表現Qが名詞Nを修飾する例である．

\begin{exe}
    \ex \label{ex:17}3人の学生が来た．
\end{exe}
(\ref{ex:17})はQがNのカテゴリー情報を表すものの例であり，数量表現Q（3人）の助数辞「人」が名詞N（学生）のカテゴリー情報を表している例である．
\begin{exe}
    \ex \label{ex:18}家族3人で旅行に行った．
\end{exe}
(\ref{ex:18})はQがNを構成する要素の全体数を表すものの例である．
この文に含まれる助数辞「人」は(\ref{ex:17})に含まれるものと同じであるが，「人」は「家族」自体を数える助数辞ではなく，家族という集合の構成する要素を数えているため，(\ref{ex:17})には「QがNのカテゴリー情報を表すもの」を，
(\ref{ex:18})には「QがNを構成する要素の全体数を表すもの」を付与している．
\begin{exe}
    \ex \label{ex:19}その集団の1人が話している．
\end{exe}
集合の要素に関する用法タイプとして，QがNを構成する要素の一部を表すものもある．
この用法の例は(\ref{ex:19})であり，(\ref{ex:18})とは異なり，集合全体の要素数ではなく一部について表しているため，(\ref{ex:18})には「QがNを構成する要素の全体数を表すもの」を，(\ref{ex:19})には「QがNを構成する要素の一部を表すもの」を付与している．
\begin{exe}
    \ex \label{ex:20}50歳の男性がいる．
\end{exe}
(\ref{ex:20})はQがNの属性や特徴を表すものの例である．
(\ref{ex:20})は他の3つの用法と異なり，名詞Nの数についてではなく，Nの特徴について述べる数量表現である．

数量表現Qと動詞Vに関して，出現形式の種類としてはQV型の1種類であるが，文中に現れる動詞とそれを修飾する数量表現の出現形式が同じであっても，用法が異なる場合がある．
数量表現Qが動詞Vを修飾する用法としては，4タイプある．
次の文は数量表現Qが動詞Vを修飾する例である．

\begin{exe}
    \ex \label{ex:21}東京に2回行く．
\end{exe}
(\ref{ex:21})はVが行われた回数を表すQの例であり，「2回」が「行く」が行われた回数を表している．
\begin{exe}
    \ex \label{ex:22}東京に3日滞在する．
\end{exe}
(\ref{ex:22})はVが行われた期間を表すQの例である．
(\ref{ex:21})と出現形式は同じであるが，(\ref{ex:22})では，滞在した期間についての情報をQ（3日）が担う．
\begin{exe}
    \ex \label{ex:23}東京に9時に到着する．
\end{exe}
(\ref{ex:23})はVが行われた時間を表すQの例である．(\ref{ex:23})では，到着する時点についての情報をQ（9時）が担う．
\begin{exe}
    \ex \label{ex:24}物価が2\%増加する．
\end{exe}
(\ref{ex:24})はVの特徴を表すQの例であり，Q (2\%) は「増加する」という動詞Vがどの程度であったかという情報を担う．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{数量表現の推論データセット}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{推論データセットの作り方}

数量表現コーパスを用いて，\todo{数量に関する}推論データセットを構築した．
前提文$P$は，数量表現コーパスに含まれる文とした．
\todo{仮説文$H$は，以下の手順(a)～(c)に従い，すべて人手で作成した．}
\todo{
\begin{enumerate}
\renewcommand{\labelenumi}{(\alph{enumi})}
    \item (\ref{ex:6})のように\num{}タグが付与されている前提文の数量表現について，(\ref{ex:7})のように意味を変えない最小の節を取り出す
    \item \num{}タグが付与されている数詞の変更を行った文を作成する
    \begin{itemize}
        \item 前提文の数詞よりも大きい数を表す数詞に変更した文\hplus{}と小さい数を表す数詞に変更した文\hminus{}の2文を作成する
        \item 単純な文にならないように，容認不能にならない範囲で構成素の変更（構成素の削除・置換・追加）を行う
        \item (\ref{ex:6})のように「約」などの数量詞接頭辞・接尾辞がついている場合は，その数量詞接頭辞・接尾辞を削除する
    \end{itemize}
    \item (b)で作成した2つの文\hplus{}，\hminus{}の数量表現に対して，原則として「以上」「以下」「ちょうど」をそれぞれ付与し，6つの仮説文を作成する
    \begin{itemize}
        \item 数量表現に合わせて，必要に応じて付与する数量詞接頭辞・接尾辞を変更する
        \begin{itemize}
            \item 順序数辞を持つ数量表現には，「以上」「以下」ではなく，「以降」「以前」を付与する
            \item 多様な数量詞接頭辞・接尾辞を含むデータセットを構築するため，「以上」を「より大きい」に，「以下」を「より小さい」や「未満」に置き換えた仮説文も作成する
        \end{itemize}
    \end{itemize}
\end{enumerate}
}

\begin{exe}
\ex \label{ex:6}
    仙台都市圏（広域行政圏）の推計人口は約\num{}151万人\bnum{} で\dots 
\ex \label{ex:7}
    仙台都市圏の推計人口は160万人以上である．
\end{exe}
\todo{数詞の変更は，数量表現に応じて増やす数，減らす数を変更している．
数詞の変更の範囲は，前提文に現れる数詞が20未満の場合は5以下とし，前提文に現れる数詞が20以上の場合は5以上としている．
数詞の変更は，データセット内で同じ数詞ばかりが現れないように注意して行った．
また，助数辞タイプが計量辞の数量表現は，小数部が許容されるため，数詞が小数部をもつ仮説文も作成した．
}

\todo{数詞の変更や数量詞接頭辞・接尾辞の付与を行うと仮説文が容認不能となるもの，出現形式がイディオム的であるものは，推論データセットに含めていない．}

推論データセットの各ペアに対して，\todo{言語学に素養のある1名の大学院生}が\elabel{}と\ilabel{}を付与した．
推論データセットに含まれる\elabel{}，\ilabel{}の一部は，専門家と議論を行いラベルが妥当であることを確認した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{下方含意文脈}
\label{section:monotonicity}

本研究の推論データセットでは，数量表現の単調性(monotonicity)に関する推論を扱っている．
$M$が$N$の下位概念である場合，通常は下位概念を含む文$\varphi(M)$は上位概念を含む文$\varphi(N)$を含意する．
このような推論は上方含意(upward \todo{entailing})な推論と呼ぶ．
数量表現の場合，例えば「200人」は「100人」の下位概念であるため，「会場に200人いる」という文が真であれば，「会場に100人いる」という文も真である．
しかし，否定文や条件文の前件といった下方含意文脈に数量表現が含まれると，\todo{推論の向き}が通常の文脈とは反転する場合があることが知られている．
例えば，「会場には100人いなかった」という文は，「会場には200人いなかった」という文を含意する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 3
\begin{table}[t]
\input{06table03.tex}%
\caption{推論データセットに含まれる文ペアの例}
\label{table:4}
\vspace{-1\Cvs}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

表\ref{table:4} の最初の例は，upward \todo{entailing}な前提文と仮説文のペアである．
2番目と3番目の例は，それぞれ否定と条件文を含む下方含意(downward \todo{entailing})な前提文と仮説文のペアである．
\todo{本研究の推論データセットには，upward entailingな推論が1,270件，downward entailingな推論が246件含まれる．}
文中に否定表現や条件節が含まれていても，それらの下方含意文脈のスコープの外に数量表現が現れている場合は，upward entailingな推論が成立する．
そのため，downward entailingな推論の件数は，否定表現，条件節を含む前提文と仮説文のペアのうち，下方含意文脈のスコープの内側に数量表現が含まれ，\todo{推論の向き}が通常の文脈とは反転しているものの件数である．
現時点で，downward entailingな推論は246件と件数は少なく，このような推論を引き起こす表現がNPCMJコーパス内では稀であることを示している．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{推論データセットの概要}

本研究で作成した推論データセットは，1,516件の前提文と仮説文のペアを含む．
前提文と仮説文の例を表\ref{table:4} に，推論データセットの統計情報を表\ref{table:8} に示す．
\elabel{}が\neutral{}になるものについて，\ilabel{}は\contradiction{}になる場合があるため，各ラベルの\contradiction{}と\neutral{}の件数は異なっている．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 4
\begin{table}[b]
\input{06table04.tex}%
\caption{推論データセットの統計情報}
\label{table:8}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{日本語BERTの評価実験}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{\todo{実験設定}}

現在の標準的な事前学習済み言語モデルが数量表現の理解を必要とする推論をどの程度扱えるかを評価するため，日本語BERT \cite{devlin-etal-2019-bert} (cl-tohoku/bert-base-japanese-whole-word-masking)\footnote{\todo{\url{https://huggingface.co/cl-tohoku/bert-base-japanese}}} の評価実験を実施した．
実験に用いた事前学習済み言語モデルの詳細を表\ref{table:16}に示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 5
\begin{table}[b]
\input{06table05.tex}%
\caption{事前学習済み言語モデルの詳細}
\label{table:16}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

実験では，JSICK \cite{Yanaka_tacl2022}，JSNLI \cite{yoshimi_weko_206114_1}という2つの標準的な日本語NLIデータセットを用いて，NLIタスクに関するBERTモデルのファインチューニングを行った．
2節で紹介したように，JSICKは構成的推論に特化した英語のNLIデータセットであるSICK \cite{marelli-etal-2014-sick}を人手で日本語に翻訳したデータセットであり，JSNLIはクラウドソーシングで構築された大規模な英語のNLIデータセットであるSNLI \cite{bowman-etal-2015-large}を機械翻訳で日本語に翻訳したデータセットである．
JSICKとJSNLIの統計情報を表\ref{table:18}に示す．
\todo{また，ファインチューニングに用いたハイパーパラメータは，learning rateが0.01，batch sizeが10，epochsが50，max lengthが250である．}
ハイパーパラメータは，ハイパーパラメータサーチをして最適なものを選んだ．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 6
\begin{table}[b]
\input{06table06.tex}%
\caption{学習データの統計情報}
\label{table:18}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{\todo{実験結果と考察}}

\todo{日本語BERTモデルを用いた評価実験の結果を表\ref{table:6} に示す．}
全体的に，JSICKでファインチューニングした日本語BERTモデルよりもJSNLIでファインチューニングした日本語BERTモデルの方が正答率が高い傾向にあるが，いずれも50\%未満だった．
特に，\entailment{}の正答率は60\%以上であるのに対し，\contradiction{}，\neutral{}の正答率はいずれも40\%未満であり，既存の推論データセットでファインチューニングした場合，日本語BERTモデルは\entailment{}と予測する傾向がある．
本研究で構築した推論データセットに含まれる\entailment{}の例は
全体の34\%であるのに対し，
日本語BERTモデルはJSICKでファインチューニングした場合は66\%，JSNLIでファインチューニングした場合は60\%の例で\entailment{}と予測している．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 7
\begin{table}[t]
\input{06table07.tex}%
\caption{日本語BERTモデルを用いた評価実験の結果（正答率）}
\label{table:6}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

学習データによる違いについては，JSICKを使用した場合，\contradiction{}よりも\neutral{}の方が正答率が高くなり，反対にJSNLIを使用した場合は，\contradiction{}の方が\neutral{}よりも正答率が高くなっている．
\todo{助数辞タイプ，出現形式タイプ，用法タイプ}による正答率の違いは，\todo{表\ref{table:101} に示す．}
\todo{助数辞による正答率の違いとして，単位形成辞について，JSICKを学習データとしたときの日本語BERTモデルの正答率が低い．
単位形成辞は，表\ref{table:100}(a)にあるように他の助数辞よりも件数が少なく，JSICKにおいても，単位形成辞に該当するデータが少ないため，正答率が低くなった可能性がある．}
数量表現の出現形式による正答率の違いとして，デ格型
について，JSICKを学習データとしたときの日本語BERTモデルの正答率が低い．
デ格型
は，表\ref{table:100}(b)にあるように件数が少ない．
JSICKとJSNLIにおいても
\todo{デ格型}に該当するデータの件数が少なく，加えて，JSICKは学習データ全体のサイズが小さいため，正答率が低くなったと考えられる．
数量表現の用法ごとの正答率の違いとして，JSNLIを学習データとしたときの日本語BERTモデルの正答率は，QがNの属性や特徴を表すものや，Vが行われた時間を表すQといった，表\ref{table:100}(c)で件数が多いものが高い．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 8
\begin{table}[t]
\input{06table08.tex}%
\caption{(a)助数辞，(b)出現形式，(c)用法ごとの正答率}
\label{table:101}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

また，学習データに本研究で構築した数量表現の推論データセットの一部を加えてファインチューニングを行い実験した．
数量表現の推論データセットは1:1に分割し，半分を学習データに加え，半分をテストデータとして実験を行った．
データセットを半分にしたときの統計情報を表\ref{table:15} に示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 9
\begin{table}[p]
\input{06table09.tex}%
\caption{数量表現の推論データセットを学習データとテストデータに分けたときの統計情報}
\label{table:15}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

表\ref{table:7} はJSICKに数量表現の推論データセット (\elabel{}，\ilabel{}) をそれぞれ加えてファインチューニングを行った場合の実験結果である．
\elabel{}を学習データに加えた場合は，テストデータは\elabel{}，\ilabel{}を学習データに加えた場合はテストデータは\ilabel{}を付与したデータを使用した実験結果である．
学習データに数量表現の推論データセットの一部を加えた場合，\elabel，\ilabel{}ともに\entailment{}の正答率は下がったが，\contradiction{}の正答率は大きく上昇している．
JSICKには表\ref{table:18}に示すように\contradiction{}の件数が少ないが，本研究で構築した推論データセットは，表\ref{table:8}に示すように\contradiction{}の件数が多いため，日本語BERTモデルが\contradiction{}と予測することが多くなった可能性がある．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 10
\begin{table}[p]
\input{06table10.tex}%
\hangcaption{JSICKに数量表現の推論データセットの一部を追加しファインチューニングした場合の実験結果（正答率）}
\label{table:7}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

文ペアに含まれる数量表現の助数辞タイプ，出現形式タイプ，用法タイプによる正答率の違いは，表\ref{table:102} に示す．
全体として，\elabel{}を加えてファインチューニングを行った場合の精度よりも\ilabel{}を加えてファインチューニングを行った場合の精度のほうが高く，表\ref{table:101}の精度と比較して，どのタイプの精度も向上している．
特に，NCQ型の精度が他のタイプよりも大きく向上しているが，これは表\ref{table:15}にあるようにNQC型の件数が多いためと考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 11
\begin{table}[t]
\input{06table11.tex}%
\hangcaption{JSICKに数量表現の推論データセットを追加しファインチューニングした場合の(a)助数辞，(b)出現形式，(c)用法の正答率}
\label{table:102}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

JSICKに\elabel{}のデータを追加してファインチューニングを行った場合に，日本語BERTが解けなかった文ペアを表\ref{table:20} に示す．
1つ目の文ペアの前提文に含まれる数量表現には数量詞接頭辞（約）が付与されている．
前提文の数量表現「約5倍」が真であるとき仮説文の数量表現「ちょうど5.5倍」であるとは必ずしも限らない（5.2倍などの可能性も考えられる）ため，正解ラベルは\neutral{}となるが，日本語BERTは\contradiction{}と予測している．
このように，前提文の数量表現の数字よりも仮説文の数量表現の数字が大きく，前提文に数量詞接頭辞「約」，仮説文に数量詞接頭辞「ちょうど」が含まれる場合，モデルは\contradiction{}と予測する傾向が見られた．
日本語BERTモデルが間違ったラベルを予測した原因としては，前提文に数量詞接頭辞を含む文ペアの件数が少ないことも考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 12
\begin{table}[b]
\input{06table12.tex}%
\hangcaption{JSICKに\elabel{}のデータを追加してファインチューニングした日本語BERTモデルが解けなかった文ペアの例}
\label{table:20}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

2つ目の文ペアについて，前提文の「90,231人」は「ちょうど90,231人」であることを表すため，この文ペアの正解ラベルは\entailment{}であるが，日本語BERTモデルは\contradiction{}と予測した．
この文ペアに出現する数量表現は「100,000人」と桁数が大きいため，学習データの中に同じような桁数が大きい数量表現を含む文ペアが少ないことから，モデルは間違ったラベルを予測したと考えられる．

JSICKに\ilabel{}のデータを追加してファインチューニングを行った場合に，日本語BERTモデルが解けなかった文ペアを表\ref{table:19} に示す．
表\ref{table:19}の1つ目の文ペアは仮説文を作成する際に構成素の変更を行った例である．
本研究では，文ペアのパターンが単純にならないように，構成素の変更を行うことでより難しい文ペアを作成している．
この文ペアは，前提文で括弧内に記述されている数量表現に関する推論であるが，前提文には同じ助数辞（本）を含む数量表現が複数出現するため，日本語BERTモデルが間違った予測をしたと考えられる．
表\ref{table:19}の2つ目の文ペアは否定表現を含む文ペアである．
\ref{section:monotonicity}節にあるように，否定表現や条件節を含むdownward entailingな推論は件数が少ないため，学習データの不足から日本語BERTモデルは推論結果を正しく予測できなかったと可能性がある．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 13
\begin{table}[b]
\input{06table13.tex}%
\hangcaption{JSICKに\ilabel{}のデータを追加してファインチューニングした日本語BERTモデルが解けなかった文ペアの例}
\label{table:19}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\pagebreak

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

本研究では，日本語の数量表現コーパスを構築し，助数辞の分類と数量表現の出現形式，その用法についてアノテーションを行った．
また，構築した数量表現コーパスを用いて意味論的推論と語用論的推論のデータセットを作成した．
数量表現コーパスと推論データセットは，数量表現の出現形式の柔軟性や助数辞の多様性といった日本語の特徴に着目して構築した．
数量表現の推論データセットの評価実験として，まず，日本語SNLIや日本語SICKといった標準的な日本語の推論データセットでファインチューニングした日本語BERTモデルを用いた評価実験を行った．
実験の結果，構築した数量表現の推論データセットは，現在の標準的なNLIモデルにとって十分に挑戦的な課題を提示していることを確認した．
さらに，学習データに本研究で構築した推論データセットの一部を追加してファインチューニングした日本語BERTモデルを評価した．
その結果，精度向上が一定程度見られたものの，依然として50\%前後の正答率であり，日本語BERTモデルは，数量表現を含む推論の扱いについて課題があることが示唆された．

今後の展望として，これまで英語における数量表現の分析で研究されてきた，より意味的に複雑な現象（確定性，分配読み・集合読みの区別など） \cite{bunt-2020-annotation}と日本語の数量表現との関連を整理し，日本語の数量表現の分類体系を拡張することが考えられる．
また，数量表現コーパスと推論データセットの効率的なアノテーション手法を検討するとともに，拡張を続けていく．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本研究の一部は，JST さきがけ JPMJPR21C8, JSPS 科研費 JP20K19868, JST CREST JPMJCR20D2 の支援を受けたものである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{06refs}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{小谷野華那}{%
2021年お茶の水女子大学理学部情報科学科卒業．2023年お茶の水女子大学人間文化創成科学研究科理学専攻情報科学コース博士前期課程修了．現在，日本アイ・ビー・エム株式会社に所属．
}

\bioauthor{谷中　　瞳}{%
2018年東京大学大学院工学系研究科博士課程修了．工学博士．同年，理化学研究所特別研究員を経て，2021年より東京大学卓越研究員に採択され，東京大学大学院情報理工学系研究科講師，理化学研究所客員研究員．主に自然言語推論に関する研究に従事．
}

\bioauthor{峯島　宏次}{%
2013年慶應義塾大学文学研究科博士課程修了．博士（哲学）．
2014年お茶の水女子大学シミュレーション科学教育研究センター特任講師，2017年同特任准教授を経て，2020年より慶應義塾大学文学部准教授．
}

\bioauthor{戸次　大介}{%
2000年東京大学大学院理学系研究科情報科学専攻博士課程修了．理学博士．2008年お茶の水女子大学大学院人間文化創成科学研究科准教授，2023年より同大学基幹研究院自然科学系教授．
}

\end{biography}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\biodate




\end{document}

