\documentclass[japanese]{jnlp_3.7}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
\usepackage{array}
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition

%%%%%    \documentclass[japanese]{jnlp_3.7}
%%%%%    \usepackage{jnlpbbl_2.2}
%%%%%\usepackage[dvipdfmx]{graphicx}
%%%%%\usepackage{amsmath, amssymb}
%%%%%\usepackage{url}
%%%%%\renewcommand\UrlFont{\rmfamily}
\usepackage{multirow}
%%%%%\usepackage{here}
%%%%%\usepackage{setspace}
\usepackage{gb4ea}
\usepackage{color}
%%%%%\usepackage{array}

%%%%%\usepackage{tablefootnote}

%%%%%\usepackage{graphicx}
%%%%%\usepackage{subcaption}
%%%%%\usepackage{afterpage}

%%%%%\newcommand{\bhline}{\noalign{\hrule height 1.5pt}}
%%%%%\newcommand{\elabel}{含意ラベル}
%%%%%\newcommand{\ilabel}{推意ラベル}
\newcommand{\entailment}{含意}
\newcommand{\contradiction}{矛盾}
\newcommand{\neutral}{中立}

%%%%%\newcommand{\todo}[1]{\textcolor{red}{\textbf{todo:} #1}}
\newcommand{\hl}[1]{\textcolor{black}{#1}}
\newcommand{\rhl}[1]{\textcolor{black}{#1}}

\newcommand{\citet}[1]{\citeauthor{#1} \citeyear{#1}}
%%%%%\newcommand{\CLtype}[2]{\underline{#1}$_{\text{#2}}$}

\newcommand{\ours}{\textsc{Jamp\_sp}}
%%%%%\newcommand{\tmr}[2]{\begin{tabular}[#1]{{@{}#1@{}}}#2\end{tabular}}
%%%%%\newcommand{\tmrc}[1]{\begin{tabular}[c]{{@{}c@{}}}#1\end{tabular}}
%%%%%\newcommand{\tmrl}[1]{\begin{tabular}[l]{{@{}l@{}}}#1\end{tabular}}
%%%%%\newcommand{\tmrr}[1]{\begin{tabular}[r]{{@{}r@{}}}#1\end{tabular}}
%%%%%\newcommand{\tablehs}[2]{>{\hspace{#2 em}} #1 <{\hspace{#2 em}}}


%%%%%\newcommand{\tageasy}{\textsc{tag\_easy}}
%%%%%\newcommand{\taghard}{\textsc{tag\_hard}}
\newcommand{\tagsplit}{\textsc{Tense\_tag}}
\newcommand{\formeasy}{\textsc{Format\_easy}}
\newcommand{\formhard}{\textsc{Format\_hard}}
\newcommand{\spaneasy}{\textsc{Span\_easy}}
\newcommand{\spanhard}{\textsc{Span\_hard}}
\newcommand{\spanrandom}{\textsc{Span\_random}}
\newcommand{\short}{\textsc{Short}}
\newcommand{\random}{\textsc{Random}}
\newcommand{\simple}{\textsc{Simple}}
\newcommand{\baseline}{\textsc{Baseline}}

\newcommand{\agent}[1]{agent\_#1}
%%%%%\newcommand{\np}[1]{np\_#1}
\newcommand{\interval}[1]{interval\_#1}
%%%%%\newcommand{\tp}[1]{time\_point\_#1}
%%%%%\newcommand{\vp}[2]{vp\_#1\_\textsc{#2}}
\newcommand{\ph}[2]{phrase\_#1\_\textsc{#2}}

\newcommand{\zeroshot}{\textsc{Zero-shot}}
\newcommand{\fewshot}{\textsc{Few-shot}}
\newcommand{\fewseen}{\textsc{Few\_seen}}
\newcommand{\fewrandom}{\textsc{Few\_random}}
\newcommand{\iid}{\textsc{Iid}}
\newcommand{\gptt}{GPT-3.5}
\newcommand{\gptf}{GPT-4}
\newcommand{\llmjp}{LLMJP}
\newcommand{\labelnum}{\textsc{Num}}
\newcommand{\labelstr}{\textsc{Str}}

\makeatletter
\@addtoreset{xnumi}{section}
\def\thexnumi{\thesection.\@xsi{xnumi}}
\makeatother

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\makeatletter
\let\MYcaption\@makecaption
\makeatother
\usepackage[subrefformat=parens]{subcaption}
\captionsetup{compatibility=false}
\makeatletter
\let\@makecaption\MYcaption
\makeatother
\setlength{\captionwidth}{420pt}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{31}
\Number{2}
\Month{June}
\Year{2024}
%%%%\Issuetitle{「　　　　」特集号}

\received{2023}{11}{1}
\revised{2024}{2}{7}
\accepted{2024}{3}{21}

\setcounter{page}{637}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}

\jtitle{アスペクトを考慮した日本語時間推論データセットの構築}

\jauthor{杉本　智紀\affiref{Author_1} \and 尾上　康雅\affiref{Author_2} \and 谷中　　瞳\affiref{Author_1}}
\jabstract{%
\renewcommand{\thefootnote}{\fnsymbol{footnote}}
時間に関する自然言語推論である時間推論は，テンス・アスペクトなどの様々な時間に関する言語現象が複雑に作用し合うため，挑戦的なタスクである．
言語モデルの時間推論能力を評価するためにこれまで様々なデータセットが構築されてきたが，既存の時間推論データセットは主に英語であり，また，一部の言語現象のみに焦点を当てている．
そのため，日本語言語モデルが，多様な時間推論に対する汎化能力をどの程度有しているかは非自明である．
そこで本研究では，様々な時間推論パターンを含む日本語時間推論ベンチマーク\ours (Controlled Japanese Temporal Inference Dataset Considering Aspect) を構築する．
\ours の学習データとテストデータは時間推論パターンや時間表現の形式といった問題の属性に基づいて制御できるため，言語モデルの汎化能力についての詳細な分析が可能になる．
実験では，分割前の学習データや分割後の学習データの一部を用いて言語モデルを学習し，テストデータ上で評価することで，言語モデルの汎化能力を評価する．
実験の結果，識別系言語モデルだけでなく，GPT-4といった最新の生成系言語モデルにとっても\ours は挑戦的なデータセットであり，それらのモデルの汎化能力に改善の余地があることが示された．
\footnote[0]{
本論文の一部は人工知能学会全国大会（第37回） \cite{jsai2023-sugimoto}およびThe 61st Annual Meeting of the Association for Computational Linguistics Student Research Workshop \cite{sugimoto-etal-2023-jamp}で報告したものである．
}
\renewcommand{\thefootnote}{\arabic{footnote}}
}
\jkeywords{時間推論，日本語，自然言語推論，含意}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\etitle{\ours: A Controlled Japanese Temporal Inference Dataset Considering Aspect}
\eauthor{Tomoki Sugimoto\affiref{Author_1} \and Yasumasa Onoe\affiref{Author_2} \and Hitomi Yanaka\affiref{Author_1}}
\eabstract{%
Temporal inference, i.e., natural language inference involving time, is a challenging task because of the complex interaction of various time-related linguistic phenomena, such as tense and aspect.
Although various temporal inference datasets have been provided to assess the temporal inference ability of language models, their primary focus is on English and only on a few linguistic phenomena.
Therefore, whether Japanese language models can generalize diverse temporal inference patterns is yet to be understood.
In this research, we constructed a controlled Japanese temporal inference dataset considering aspect (\ours ), which includes a variety of temporal inference patterns.
The training and test data in \ours\ can be controlled based on problem attributes such as temporal inference patterns and time formats, thereby allowing a detailed analysis of the generalization capacity of the language models.
To accomplish this objective, we trained the language models on the training data before and after the split, and evaluated them on our test data.
The results demonstrate that \ours\ is a challenging dataset not only for discriminative language models but also for current generative language models, such as GPT-4, and that there is room for improvement in the generalization capacity of these models.
}
\ekeywords{Temporal Inference, Japanese, Natural Language Inference, Entailment}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\headauthor{杉本，尾上，谷中}
\headtitle{アスペクトを考慮した日本語時間推論データセットの構築}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\affilabel{Author_1}{東京大学}{The University of Tokyo}
\affilabel{Author_2}{Google}{Google}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%1
\section{はじめに}
\label{sec:intro}
自然言語理解において，文が表す時間関係の理解は重要である．
自然言語には時間表現だけでなく，テンスやアスペクト，時間副詞など様々な時間に関する言語現象がある．
以下は時間に関する言語現象の例である．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{exe}
    \ex \label{ex:1}彼は走っ\textbf{た}。（テンス）
    \ex \label{ex:2}彼は走っ\textbf{ている}。（アスペクト）
    \ex \label{ex:3}\textbf{昨日}、彼は走った。（時間副詞）
\end{exe}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

これらの言語現象は組み合わさって用いられることが多い．
例えば (\ref{ex:3}) では時間副詞とテンス・アスペクトが組み合わされている．
したがって，時間関係を理解するためには個々の言語表現の意味を捉えた上で構成的に文全体の意味を捉える必要がある．
そのため，時間関係の理解は挑戦的な課題である．

自然言語処理において，時間に関する代表的なタスクとしては時間関係認識がある．
これは，文に含まれるイベント間の時間関係を認識するタスクであり，モデルの時間理解を評価する際にしばしば用いられる．
このタスクはモデルの時間認識能力を評価するのに適している．
一方で，時間関係認識タスクを通じて自然言語理解能力，すなわち，モデルが時間を含む文全体の意味を正しく捉えられているかを分析できるかは自明ではない．

自然言語理解能力を評価するタスクの1つに自然言語推論 (Natural Language Inference: NLI) がある．
自然言語推論は単一または複数の文からなる前提を真としたときに，単一の文からなる仮説が真となるか（含意），偽となるか（矛盾），どちらでもないか（中立）を判定する言語理解タスクである．

時間推論は時間の理解が要求されるNLIであり，言語モデルの時間認識能力を，自然言語理解能力とともに評価するのに適したタスクである．
以下に時間推論問題の例を示す．
\begin{exe}
\ex
\begin{xlist}
    \exi{Premise (P):} 彼は走っていた。
    \exi{Hypothesis (H):} 彼は走った。
    \exi{Gold Label (G):} \entailment
\end{xlist}
\ex \label{ex:6}
\begin{xlist}
    \exi{P:} 彼は彼女の前に走った。
    \exi{H:} 彼は彼女の後に走った。
    \exi{G:} \contradiction
\end{xlist}
\end{exe}
これらの問題では，どちらも前提文 (Premise) と仮説文 (Hypothesis) の表層形は類似している．
そのため，表層形の類似度を推論の手がかりにすると同じラベルが予測される可能性が高い．
しかし，実際には2つの問題の正解ラベルは異なっている．
このように，類似度だけを手がかりに推論を行うと誤った予測が得られるケースが時間推論には多く存在する．
その上，時間推論問題の正解ラベルは前述の言語現象の多様な組み合わせによって変化する．
そのため，時間推論タスクは挑戦的であり，事前学習済み言語モデルにとっても課題である．

言語モデルの時間推論能力を評価した既存研究には\citet{vashishtha-etal-2020-temporal}や\citet{thukral-etal-2021-probing}がある．
しかし，これらの既存の分析や評価用データセットの多くは英語を対象としている上，時間に関する言語現象の一部しか扱っていない．
一方で，日本語の多様な時間推論に関する分析や評価用データセットは少ない．
そのため，言語モデルがどの程度日本語の時間推論パターンや時間表現を汎化できるかについての分析は十分には行われてこなかった．

本研究の目的は，多様な時間推論に対する言語モデルの汎化能力を詳細に分析できる，形式意味論に基づいた日本語NLIベンチマーク\ours を構築することである．
NLIベンチマークを構築する主な手法としては，クラウドソーシングを用いて構築する手法や，専門家が人手で構築する手法が挙げられる．
しかし，前者の手法ではデータセット中のバイアスの制御が困難であり，後者の手法では言語モデルの分析に必要なデータ量を確保するためのコストが問題となる．
また，人手による構築では，語彙や構文の選択がアノテータの事前知識に依存する．
そのため，語彙や推論パターンを制御することが困難であり，未知の語彙や推論パターンに対する汎化性能を評価することが難しいという問題がある．

本研究では，それらの問題を解決するために，推論テンプレートを用いた半自動構築アプローチを採用する．
この手法では，理論言語学の知見に基づいて手動で設計した推論テンプレートに自動で多様な語彙を割り当てる．
これにより，推論パターンと語彙の分布を制御したスケーリング可能なデータセットが構築できる．
そして，構築したデータセットを推論パターンなどで制御し，その上でモデルを評価することで，\hl{理論言語学}に基づいた詳細なモデルの分析が可能になる．

図\ref{fig:punch} は\ours の構築手法の概略図である．
提案手法では，まずFraCaS \cite{FraCaS} の日本語版であるJSeM \cite{Ai_Kawazoe_2015} に含まれる時間推論問題を抽出し，その内容語と時間表現をマスクすることで推論テンプレートを作成する．
次に，京都大学格フレーム \cite{kawahara-kurohashi-2006-fully} からChatGPT \cite{openai-2023-chatgpt}を用いて自然な格フレームを抽出する．
そして，得られた格フレームに言語モデルを用いて自動でアスペクトをアノテーションする．
その後，抽出した格フレームとランダムな時間表現を推論テンプレートに割り当てることで，自然な文からなる問題を生成する．
問題の正解ラベルは，推論テンプレートだけでなく，問題に割り当てた時間表現や格フレームのアスペクトに応じて定める．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F1
\begin{figure*}[t]
%%%%%\includegraphics[width=14cm]{figure/punch.pdf}
\begin{center}
\includegraphics{31-2ia13f1.pdf}
\end{center}%
\hangcaption{\ours のデータ生成手法のイメージ図．INTは「2時間」や「3ヶ月間」などの区間を表す語に対するプレースホルダである．$\dashrightarrow$は正解が不定であることを，$\rightarrow$は正解が\entailment であることを，$\nrightarrow$は正解が\contradiction であることを表す．}
\label{fig:punch}
\end{figure*}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



本研究では，時間推論パターンや時間表現の形式に基づいて学習データを分割し，分割したデータセットを学習に用いることで，言語モデルの時間推論能力を詳細に分析する．
実験では，構築したテストデータ上で3種類の識別系言語モデル（日本語言語モデル2種および多言語言語モデル1種） \cite{devlin-etal-2019-bert,liu-etal-2019-roberta,conneau-etal-2020-unsupervised}と3種類の生成系言語モデル \cite{openai-2023-chatgpt,openai-2023-gpt4}の時間推論能力を評価する．
\rhl{構築したデータセットは研究利用可能な形式で公開している}\footnote{\url{https://github.com/ynklab/Jamp_sp}}．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%2
\setcounter{exx}{0}
\section{背景}
\label{sec:background}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%2.1
\subsection{時間推論}
\label{subsec:temporal_inference}
時間推論とは，時間に関する自然言語推論のことである．
時間推論には様々な種類の推論が存在する．
表\ref{tab:temporal_inference_example}にいくつかの時間推論の種類と問題の例を示す．
表\ref{tab:temporal_inference_example}の例の他にも時間推論の中には時間的常識，区間，直示時間副詞や量化時間副詞に関する推論などが存在する\cite{Kamp1993-KAMFDT,kaufmann2011temporal}．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T1
\begin{table}[t]
\input{13table01.tex}
\caption{時間推論の種類と対応する問題の例．}
\label{tab:temporal_inference_example}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


言語モデルの時間推論能力を評価するために，これまで複数の時間推論データセットが提案されてきた．
\citet{vashishtha-etal-2020-temporal}はイベントに関する既存のデータセットから5つの新しい時間推論データセットを構築した．
このデータセットは文中の複数のイベントの順序関係やイベントに要する時間に関する推論に焦点を当てている．
時間的順序や区間に関する他の既存データセットとしては\citet{thukral-etal-2021-probing}が挙げられる．
これらのデータセットはテンプレートベースで大規模に構築されているため，言語モデルの評価を行うのに適している．
一方で，時間的順序と区間のみに焦点を当てているため，時間副詞やテンス・アスペクトなどの言語現象に焦点を当てた時間推論に対する能力は評価できない．

\citet{kober-etal-2019-temporal}はアスペクトに関する推論データセットを構築した．
これはテンスとアスペクトのみが異なる2つの文の組の含意関係を推論するデータセットである．
このデータセットは専門家によってアノテーションされているために正解ラベルの妥当性が保証されている一方で，ほとんどの問題が単純な文で構成されているという課題がある．

FraCaS \cite{FraCaS}は形式意味論に基づいて体系的に構築された，多様な言語現象に関する推論を含む推論データセットである．
このデータセットは専門家が人手で構築しているため，品質が保証されている．
一方で，規模としてはそれほど大きくないため，言語モデルの学習用には適していない．
そのため，テストデータと同じ分布のデータを制御して学習に用いることで言語モデルの汎化性能を評価する，といった分析には用いることができない．

また，前述のデータセットは全て英語であるため，日本語言語モデルの学習や評価には利用できない．
日本語の時間推論データセットとしては\citet{thukral-etal-2021-probing}の日本語版であるPLMUTE\_ja \cite{sugimoto-yanaka-2022-compositional}や，FraCaSの日本語版であるJSeM \cite{Ai_Kawazoe_2015}があるが，どちらも英語版と同様の問題があるため，時間推論に関する言語モデルの汎化性能を評価するには適していない．

そこで本研究では，まず時間推論の種類について再整理する．
そして，それぞれの時間推論の種類について問題を生成することで，様々な時間推論パターンを含む大規模な日本語時間推論データセット\ours を構築する．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%2.2
\subsection{\hl{語彙的アスペクトの判別}}
\label{subsec:lexical_aspect_prediction}
\hl{本節では，我々のデータセット構築手法の一部のプロセスとして扱っている語彙的アスペクトの判別に関して，理論的な背景と主な判別手法について紹介する．}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%2.2.1
\subsubsection{アスペクト}
\label{subsubsec:lexical_aspect}
アスペクトは動きの時間的局面を表す文法カテゴリーの1つである．
言語学において，アスペクトは\textbf{文法的アスペクト}と\textbf{語彙的アスペクト}に大別される．
文法的アスペクトは話者が事象をどのような時間的視点から捉えているかを表す形式であり\cite{smith-1991-parameter}，日本語では「テイル」などが例として挙げられる．
一方，語彙的アスペクトは，「ある」は状態を表し，「走る」は臨界点のない動き，「駅まで走る」は臨界点のある動きを表すといった，述語やその項によって決定されるアスペクトのことを指す\hl{ \cite{smith-1991-parameter}．}

これまで語彙的アスペクトは様々な側面から分類されてきた．
最も広範に用いられているのはVendlerの4分類\cite{vendler-1957-verbs}である．
Vendlerは動詞を動的 (dynamic) かどうか，有界的 (telic) かどうか，瞬間的 (punctual) かどうかの3つの軸で分類した．
表\ref{tab:vendler_classification}にVendlerの4分類を示す．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T2
\begin{table}[b]
\input{13table02.tex}
\caption{Vendlerの語彙的アスペクトの分類．}
\label{tab:vendler_classification}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



日本語における語彙的アスペクトに基づく分類の代表例は金田一の4分類\cite{kindaichi-1950-verbs}である．
これは主に\hl{動詞のテイル形が表す意味に着目}して日本語動詞を分類したものである．
表\ref{tab:kindaichi_classification}に金田一の4分類を示す．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T3
\begin{table}[b]
\input{13table03.tex}
\caption{金田一の動詞分類．}
\label{tab:kindaichi_classification}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



自然言語推論の問題を自動構築するという観点では，前述の語彙的アスペクトの分類には不十分な点がある．
例えば，以下の推論パターンを考える．
\begin{exe}
\ex \label{ex:7}
\begin{xlist}
    \exi{P:} 彼はAしている。
    \exi{H:} 彼はAしかけている。
\end{xlist}
\end{exe}
この推論パターンのAに「泳ぐ」と「部屋を片付ける」という動詞句を割り当てた結果を以下に示す．
\begin{exe}
\ex \label{ex:8}
\begin{xlist}
    \exi{P:} 彼は泳いでいる。
    \exi{H:} 彼は泳ぎかけている。
\end{xlist}
\ex \label{ex:9}
\begin{xlist}
    \exi{P:} 彼は部屋を片付けている。
    \exi{H:} 彼は部屋を片付けかけている。
\end{xlist}
\end{exe}
この場合，(\ref{ex:8}) の含意関係ラベルは\contradiction である一方で，(\ref{ex:9}) の含意関係ラベルは\neutral となる．
しかし，「泳ぐ」と「片付ける」は金田一の分類ではどちらも継続動詞であるため，金田一の分類をもとに含意関係ラベルを付与すると少なくともどちらか一方は正しく予測できない．
\hl{また，金田一の分類では動詞を分類の対象にしているが，語彙的アスペクトは述語だけでなく項にも依存するため，動詞句全体に着目する必要がある．}
したがって，語彙的アスペクトからこのような推論パターンの含意関係ラベルを正しく付与するためには分類を再検討する必要がある．

そこで，本研究では\citet{modern-japanese-grammar-3}による詳細な分類をベースに，語彙的アスペクトを再分類する．
これにより，語彙的アスペクトに関する推論の問題に対して，問題に含まれる動詞句の語彙的アスペクトから含意関係ラベルを一意に定めることが可能になる．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%2.2.2
\subsubsection{語彙的アスペクトの判別手法}
\label{subsubsec:aspect_discrimination}
語彙的アスペクトの判別方法には大きく分けて (1) 機械学習モデルを用いた判別 (2) 意味による判別 (3) 容認性判断による判別の3種類が存在する．
機械学習を用いた判別手法に関しては複数の言語での既存研究が存在する\cite{friedrich-palmer-2014-automatic,falk-martin-2016-automatic,egg-etal-2019-annotation}．
しかし，これらのアプローチを行うためには様々な言語学的特徴を付与した大規模な語彙資源が必要となるため，日本語で同様の手法を行うのは困難である．

意味による判別では，述語がテイル形などの特定の形式をとった時に，どのような様態を意味するかに応じて語彙的アスペクトを判別する．
具体例としては表\ref{tab:kindaichi_classification}の説明に示す継続動詞と瞬間動詞の区別などが挙げられる．
この手法では，それぞれの分類の定義に基づいてアスペクトを判別することができる．
しかし，意味に基づいて正確に判別するためには，判別者が述語の様々な形式における意味を正確に理解する必要があるため，言語モデルなどを用いて自動化するのは困難である．

一方，容認性判断による判別では，述語がテイル形などの特定の形式をとった際に，文が母語話者にとって容認可能であるかどうかを判別基準とする．
例えば，表\ref{tab:kindaichi_classification}の状態動詞は，説明に示すようにテイル形をとらない，すなわちテイル形が容認不可能であることが判別基準である．
文の容認性判断には複数の指標が検討されており，それらは言語モデルを用いて計算することができる\cite{Lau-etal-2017-grammaticality}．
そのため，この手法は言語モデルなどを用いた自動化に適していると考えられる．
そこで，本研究では言語モデルを用いた容認性判断によるアスペクト判別の実装を試みる．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%3
\setcounter{exx}{0}
\section{テンス・アスペクトのフレームワークの設計}
\label{sec:framework}
\hl{本節では，本研究の分析の基礎となるテンスとアスペクトのフレームワークを導入する．
\ref{subsec:tense_fragment}節では，\ours に含まれる時間推論のパターンの階層的分類を行う．
\ref{subsec:aspect_classification_for_temp}節では，時間推論問題の生成を自動化する観点から語彙的アスペクトを再分類し，述語の語彙的アスペクトを自動判別するためのフローを検討する．}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%3.1
\subsection{テンス現象タグ}
\label{subsec:tense_fragment}
本研究では推論に必要な知識に基づき，時間推論を階層的に分類する．
また，最も細かい分類に対応させて，\hl{理論言語学に基づく52個の\textbf{テンス現象タグ}を定義する \cite{Kamp1993-KAMFDT,kaufmann2011temporal,Ai_Kawazoe_2015,modern-japanese-grammar-3}．}
表\ref{tab:tense_fragment_classification}は分類とテンス現象タグの一部を示している．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T4
\begin{table}[t]
\input{13table04.tex}
\caption{時間推論問題の分類（一部省略）．}
\label{tab:tense_fragment_classification}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



\hl{分類の構築に際して，まず既存の時間推論問題の分類を行う．
本研究では，JSeM \cite{Ai_Kawazoe_2015}の問題に加え，\citet{modern-japanese-grammar-3}に基づいて作成したアスペクトに関する問題を考慮した．
大分類については，時間に関する言語現象に基づき，次のように決定する．
まず，アスペクトに関する問題は「アスペクト」として分類する．
そして，残りの問題は全て時間副詞を含むため，それらを時間副詞の種類に応じて以下のように分類する．
「現在」のような特別な時点を指す時間副詞を含む推論は「時間的常識」とする．
「前」や「後」などの，イベントをある時点に対して相対的に位置付ける働きを持つ時間副詞を含む推論は「時間的順序」とする．
時点や区間を表す時間副詞を含む推論はそれぞれ「時点」および「区間」とする．
最後に，「昨日」などの直示時間副詞 \cite{smith-1981-semantic}を含む推論を「直示時間副詞」，「いつも」などの量化時間副詞 \cite{Lewis-1975-adverbs}を含む推論を「量化時間副詞」とする．}

\hl{その後，中分類と小分類を具体的な推論パターンに基づいて定義する．
表\ref{tab:tense_fragment_example}は中分類とそれに対応する問題の例を示している．
「区間－事象の完了」は区間を表す時間副詞（例：2年）と共起している過去形のイベント（例：バーミンガムに住んだ）が完了しているかを問う推論である．
「直示時間副詞－『昨日』に関する推論」は「昨日」が表す具体的な日付を紐づけることを要求する推論である．
「量化時間副詞－未言及の時点」は前提では言及のない時点でイベントが発生するという仮説が，量化時間副詞（例：いつも）を含む前提に対して真であるかどうかを問う推論である．}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T5
\begin{table}[t]
\input{13table05.tex}
\caption{中分類と対応する問題の例．太字は大分類に関連する単語を示す．}
\label{tab:tense_fragment_example}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



\hl{これらのテンス現象タグは後述する推論テンプレートの基礎となる．
反対に，推論テンプレートを改善した際にはその改良した内容をテンス現象タグに反映させる．
このように，本研究ではテンス現象タグと対応する推論テンプレートの改良を相互に行う．}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%3.2
\subsection{\hl{時間推論のための語彙的アスペクトの分類}}
\label{subsec:aspect_classification_for_temp}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%3.2.1
\subsubsection{語彙的アスペクトの再分類}
\label{subsubsec:aspect_reclassification}
\hl{\ref{subsubsec:lexical_aspect}節}で述べた通り，既存の語彙的アスペクトの分類は自然言語推論問題の自動構築を考慮して行われたものではないため，様々な推論パターンの含意関係ラベルと語彙的アスペクトが一対一で対応していない．
すなわち，\hl{(\ref{ex:7}) に示す推論パターン}に「泳ぐ」と「部屋を片付ける」という動詞句を当てはめた場合のように，同じ推論パターンに同じ語彙的アスペクトの動詞句を割り当てても含意関係ラベルが異なる，というようなケースが存在する．
そこで，本研究では語彙的アスペクトを自然言語推論の観点から再分類する．
表\ref{tab:aspect_classification}にその分類と分類に属するフレーズおよび推論タイプを示す．
ここで，推論タイプは本研究の推論テンプレートにおいて同じ含意関係ラベルとなる語彙的アスペクトをまとめたものを指す．
例えば，状態動詞「存在する」と瞬間動詞「結婚する」は本研究の任意の推論テンプレートについて含意関係ラベルが一致する．
このように分類することで，推論テンプレートと事前に語彙的アスペクトを付与した格フレームからアスペクトに関する推論問題を自動で生成することができる．
また本研究では，スル形状態動詞とシテイル形状態動詞については，数が少ないことを考慮して扱わないこととする．
これらの語彙的アスペクト・推論タイプに関する推論問題を作成することで，言語モデルのアスペクトに関する能力を詳細に分析することができる．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T6
\begin{table}[b]
\input{13table06.tex}
\caption{本研究における語彙的アスペクトの分類．}
\label{tab:aspect_classification}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%3.2.2
\subsubsection{語彙的アスペクト（推論タイプ）の判別フロー}
\label{subsubsec:aspect_discrimination_flow}
\ref{subsubsec:aspect_discrimination}節で述べた通り，本研究では容認性判断を用いたアスペクト判別を行う．
\hl{\ref{subsubsec:lexical_aspect}節で述べたように，語彙的アスペクトは動詞だけでなく動詞句全体に着目する必要がある．
また，動詞自体が意味的な曖昧性を有することもある上に，曖昧性の解消が前後の文脈に依存する場合もあるため，動詞句の語彙的アスペクトを厳密に判別することは非常に困難である．
本研究のアスペクト判別手法では，最ももっともらしい解釈のみに着目し，その解釈における動詞句の語彙的アスペクトを判別する．}

表\ref{tab:aspect_acceptability}は様々な形式における推論タイプごとの容認可能性を示している~\hl{\cite{modern-japanese-grammar-3,suga-1990-finish}}\footnote{\rhl{本研究では，\citet{suga-1990-finish}に基づいて「し終えた」と「し終わった」を区別しているが，\citet{suga-1990-finish}では本動詞としての「終える」と「終わる」の区別についての議論に焦点を当てており，複合動詞としての「し終える」と「し終わる」の区別については直接は議論していない．本動詞としての「終わる」のヲ格には，「自己紹介」などの分量が明確に定まっていない行為が入ると述べられているが，複合動詞の場合のヲ格には「宿題」などの分量が定まっている行為についても入りうる（例：宿題をやり終わる）．そのため，本動詞の議論を複合動詞の場合に対して単純に適用することはできないが，複合動詞の場合に焦点を当てた更なる議論については今後の課題とする．}}．
これらを組み合わせて表\ref{tab:aspect_classification}の分類を行うためのフローを図\ref{fig:aspect_flow}に示す\footnote{\hl{表\ref{tab:aspect_acceptability}において，状態/瞬間の「し続けた」形は主語が複数と解釈できる場合に容認可能となるが，本研究ではそれを考慮せずに図\ref{fig:aspect_flow}に示すフローを構築する．\label{fot:continue}}}．
このフローにより，容認性判断を用いた文中の動詞句の推論タイプの予測が可能となる．
\hl{例えば，「彼が対岸まで泳ぐ」という例では，(1)「彼が対岸まで泳いだ/泳いでいた」がともに容認可能であり，(2)「彼が対岸まで泳ぎ続けた」が容認可能であり，(3)「彼が対岸まで泳ぎ終えた」が容認可能であり，(4)「彼が短時間で対岸まで泳いだ」が容認可能であることから「継続主体動作（特定時点成立）」であると判定される．
一方，「彼が亡くなる」という例では，(1)「彼が亡くなった/亡くなっていた」がともに容認可能であり，(2)「彼が亡くなり続けた/亡くなり始めた/亡くなり終わった」および「彼が短時間で亡くなった」が全て容認不可能であることから「状態/瞬間」であると判定される．}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T7
\begin{table}[t]
\input{13table07.tex}
\hangcaption{語彙的アスペクトと容認可能性．\checkmark はその推論タイプに属する述語のほぼ全てに対して容認可能であることを，―は容認不可能であることを，?は述語やその用法によって容認可能性が異なることを意味する．}
\label{tab:aspect_acceptability}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F2
\begin{figure*}[ht]
%%%%\includegraphics[height=12cm]{figure/aspect_flow.pdf}
\begin{center}
\includegraphics{31-2ia13f2.pdf}
\end{center}
\caption{推論タイプの判別フロー．}
\label{fig:aspect_flow}
\end{figure*}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%4
\setcounter{exx}{0}
\section{時間推論データセット\ours の構築}
\label{sec:dataset_construction}
\hl{本節では，時間推論データセット\ours の構築手法について説明する．
図\ref{fig:flow}に構築手法の概略図を示す．
提案手法では，事前準備として，ChatGPT \cite{openai-2023-chatgpt}を用いて京都大学格フレーム \cite{kawahara-kurohashi-2006-fully}から自然な格フレームを抽出する（\ref{subsec:frame_extraction}節）．
そして，GPT-3.5 \cite{openai-2022-gpt3.5}を用いて抽出した格フレームに対して自動で語彙的アスペクトを付与する（\ref{subsec:aspect_prediction}節）．
次に，既存の時間推論問題から時間推論テンプレートを作成する（\ref{subsec:template_creation}節）．
その後，ランダムに生成した時間表現と抽出した格フレームを推論テンプレートに割り当てる（\ref{subsec:problem_generation}節）．
その際，生成されたテストデータを人手でチェックし，不自然な文とデータセット中のバイアスを取り除く（\ref{subsec:dataset_refine}節）．
最後に，モデルの詳細な分析を行うために，学習データをいくつかの軸に沿って分割する（\ref{subsec:dataset_split}節）．}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F3
\begin{figure}[t]
\begin{center}
\includegraphics{31-2ia13f3.pdf}
\end{center}
%%%%%\includegraphics[width=1.0\linewidth]{figure/flow.pdf}
\caption{\ours 構築手法の概略図．}
\label{fig:flow}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%4.1
\subsection{格フレームの抽出}
\label{subsec:frame_extraction}
本研究では，自然な文を生成するために，京都大学格フレームから自然な格フレームを抽出する．
抽出は次のように行う．
まず，格フレームのうち頻度1000以上の述語および頻度100以上の項のみを抽出する．
そこから，約60語の不快語を手動でフィルタリングする．
次に，これらの述語と項をChatGPTに入力し，自然な文を生成する．
最後に，言語モデルを用いて生成した文中の動詞句のアスペクトを判別する（\ref{subsec:aspect_prediction}節参照）と同時に不自然な文をフィルタリングする．

\hl{表\ref{tab:caseframe_example}は格フレームの例を，表\ref{tab:prompt_example_generate}，\ref{tab:prompt_example_check}はその格フレームを用いた一連のプロンプトの例を示している．}
格フレーム辞書では，述語と格の組み合わせは考慮されているが，格同士の組み合わせは考慮されていない．
そのため，格フレーム辞書を用いてランダムに文を生成すると「私が博士の森を訪れる。」のような不自然な文が生成される可能性がある．
そのような文の生成を避けるため，ChatGPTを用いて格フレームから自然な文を生成する．
具体的には，ChatGPTによる文の生成の際には，表\ref{tab:prompt_example_generate}に示すように，述語を固定し，それぞれの格をプレースホルダーにした\hl{文テンプレート}と，それぞれの格の候補となる名詞を入力し，文テンプレートを穴埋めする．
本研究では，自然な文を効率的に生成するためにガ格を人に関する名詞に限定する．
そのために，プロンプト中ではガ格には格フレームの名詞の候補を記述せず，「人名もしくは人を表す一般名詞」としてChatGPTに自由に補完させるようにしている．
そして不自然な文をフィルタリングする際には，表\ref{tab:prompt_example_check}に示すように，入力した文が自然かどうかを問う．
これにより，自然な文を構成する述語と項の組を抽出することができる．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T8
\begin{table}[t]
\input{13table08.tex}
\caption{京都大学格フレームに含まれる格フレームの例．}
\label{tab:caseframe_example}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T9
\begin{table}[t]
\input{13table09.tex}
\caption{格フレームを用いた文章の生成のためにChatGPTに入力するプロンプトの例．}
\label{tab:prompt_example_generate}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T10
\begin{table}[t]
\input{13table10.tex}
\hangcaption{格フレームを用いて生成した文章が自然であるかをチェックするためにChatGPTに入力するプロンプトの例．}
\label{tab:prompt_example_check}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%




%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%4.2
\subsection{アスペクトの判別}
\label{subsec:aspect_prediction}
本研究では，正解ラベルがアスペクトに依存する問題に対して自動で正解ラベルを割り当てる．
そのために，\ref{subsubsec:aspect_reclassification}節で定義した推論タイプを，抽出した格フレームに対して図\ref{fig:aspect_flow}のフローに基づいて自動で付与する．

\citet{someya-oseki-2023-jblimp}の手法に従い，容認性判断には言語モデルの出力する対数尤度を用いる．
本研究では，対数尤度を出力させる言語モデルとしてはgpt-3.5-turbo-instruct \cite{openai-2022-gpt3.5}を用いる\footnote{\hl{注：入力文の対数尤度を出力するオプションが利用可能だったのは2023年10月5日までであり，現在は利用することはできない．}}．
また，対数尤度を測定する際の述語は全て過去形に統一する．
これは，予備実験において同じ述語の現在形を用いた文と過去形を用いた文の対数尤度を比較したところ，過去形を用いたものの方が対数尤度が高かったため，より精度良く判断できると考えたためである．
\hl{過去形の方が対数尤度が高い理由としては，単文の形式においては過去形の方が現在形よりも出現頻度が高いことが考えられる．
なお，現代日本語書き言葉均衡コーパス\cite{maekawaBalancedCorpusContemporary2014}中で「読む。」と「読んだ。」の出現頻度を比較したところ，前者は269回，後者は373回であった．}

判定においては，まず述語のタ形を用いた文章と指定の形式に変換した文章の対数尤度の差を計算する．
そして，その差が閾値を超えたものに関しては容認不可能だと判定する．
例えば，「彼が泳いだ。」と「彼が泳いでいた。」の対数尤度の差が3，閾値が5の場合は「彼が泳ぐ。」という文のテイタ形は容認可能であると判定する．

対数尤度は文がもっともらしい場合大きな値をとる．
本研究では扱う述語をタ形が容認可能な述語に限定しているため，述語がタ形の文の対数尤度は大きな値となることが予想される．
一方，容認不可能な文の対数尤度は小さくなるため，タ形の文の対数尤度との差が大きければ大きいほど容認度が低いと考えられる．
この仮説を利用することで，容認性の判定が可能になる．
閾値については，予め人手でアノテーションした小規模なデータを用いた予備実験において，\hl{モデルのアスペクトの予測精度が最大であった値を採用した}．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%4.3
\subsection{\hl{推論テンプレート}の作成}
\label{subsec:template_creation}
このステップでは，既存の時間推論の問題の内容語（例：\textit{スミス}，\textit{報告書}）と時間表現（例：2\textit{時間}，7\textit{月}14\textit{日}）をマスクすることで，時間推論問題のテンプレートを作成する．
表\ref{tab:generation_example}に問題とそこから作成された推論テンプレートの例を示す．
マスクの過程では，ガ格と時間表現はそれぞれ対応するマスク（agentとintervalまたはtp）に置換し，その他の格と述語はphraseというマスクでまとめて置換する．
これにより，元の問題の文型に縛られず，同じ推論テンプレートから多様な文型の問題を作成することが可能になる．

本研究では，アスペクトの推論テンプレート9件を含む，合計79件の推論テンプレートを作成した．
元となる問題としては，基本的には形式意味論のデータセットであるJSeMの時間推論の問題をサンプリングして用いる．
ただし，アスペクトに関する推論テンプレートについては，\citet{modern-japanese-grammar-3}に記述されているアスペクトの特徴に基づき，それらの特徴が正解ラベルに反映されるような問題を人手で作成した．
文脈が不足している場合のアスペクトの問題の正解ラベルに関しては複数通り考えられる可能性があるが，本研究では\citet{modern-japanese-grammar-3}に基づいて最ももっともらしいと考えられる解釈を採用し，その解釈と整合する正解ラベルを付与した．

時間推論問題では正解ラベルが前提文・仮説文中の時間表現に依存するため，推論テンプレート中の正解ラベルは条件式で表現する．
例えば，表\ref{tab:generation_example}中のサンプル問題の正解ラベルは文中の2時間・1時間という時間表現により定まっているため，推論テンプレートでは表中に表されるような時間表現に関するif文の形で表現する．

JSeMの特定の問題から作成した推論テンプレートには単語と特定のラベルの間に強い相関が見られた．
このような場合，データセット中に単語から正解ラベルを予測できてしまうバイアスが含まれ，モデルが意図しないヒューリスティックスを学習する可能性がある．
例えば，表\ref{tab:generation_example}の推論テンプレートでは正解ラベルが\contradiction の問題は生成されない．
そのため，「問題文に『以内』が入っている問題の正解ラベルは\contradiction ではない」といったバイアスがデータセットに含まれ，モデルがそのルールを学習する可能性がある．
このようなバイアスは望ましくないため，本研究ではそのバイアスを打ち消すような推論テンプレートを新たに作成する．
上記の例に対しては，\hl{表\ref{tab:added_template_example}に示すような}，問題文に「以内」が入っていて，かつ正解ラベルが\contradiction となり得る推論テンプレートを追加する．
これにより，単語と特定のラベルの間のバイアスを緩和することができる．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T11
\begin{table}[t]
\input{13table11.tex}
\hangcaption{サンプル問題から作成される推論テンプレートおよび推論テンプレートから生成される問題の例．}
\label{tab:generation_example}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T12
\begin{table}[t]
\input{13table12.tex}
\caption{\hl{バイアス緩和のために追加される推論テンプレートの例．}}
\label{tab:added_template_example}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%4.4
\subsection{問題の生成}
\label{subsec:problem_generation}
次に，\ref{subsec:frame_extraction}節で抽出した格フレームおよびランダムに生成した時間表現を推論テンプレートに割り当て，正解ラベルを決定することで問題を生成する．
述語と名詞の割り当ては格のプレースホルダーに対応する動詞と名詞を割り当てることで行う．
表\ref{tab:generation_example}の例では（ガ格：先生，ヲ格：教材，述語：用意する）という格フレームを (\agent{1}，\ph{1}{past}) というプレースホルダーに割り当てている．
本研究では，テストデータと学習データの両方に含まれる動詞がないようにデータを生成する．
これにより，モデルが学習データに含まれない動詞に対しても推論を実行できるかを評価することができる．

時間表現については，\textbf{時点} (time point: tp) と\textbf{区間} (interval) の2種類を考慮する．
時点は7月14日や2023年などのある1点を指すような時間表現を，区間は2時間や3年間などの一定の時間幅を表す時間表現を指す．
時点と区間はそれぞれ次のように生成する．
まず時点の場合，年月日時の4つの単位を組み合わせた10個の形式（年月日時/年月日/月日時/年月/月日/日時/年/月/日/時）の中から形式を選択する．
次に，2000年1月1日0時と2020年12月31日24時の間の時点をランダムに選択する．
\rhl{そして}，選択した時点に対して選択した形式を適用する．
例えば，年月形式と2015年10月20日10時が選択された場合，生成される時間表現は2015年10月となる．
一方，区間の場合は1-9の数字と年月日時のいずれかの単位を組み合わせて生成する．

最後に，推論テンプレートの条件式に生成した時間表現を代入することで正解ラベルを決定する．
例えば表\ref{tab:generation_example}の例では，\interval{1}，\interval{2}にそれぞれ5ヶ月間，8ヶ月間という時間表現が代入される．
このとき，\interval{1}$\le$\interval{2}は真となるため，正解ラベルは\entailment となる．
本研究では，正解ラベルの分布をできるだけ均一にするため，それぞれの推論テンプレートと正解ラベルに対して生成する問題数を同一にした．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%4.5
\subsection{データセットの品質管理}
\label{subsec:dataset_refine}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%4.5.1
\subsubsection{語彙的バイアスの緩和}

最近の研究では，既存の主要なNLIデータセットに，\ref{subsec:template_creation}節で述べたような，問題文の表層形と正解ラベルに関するバイアスが含まれていると指摘されている\cite{jia-liang-2017-adversarial,gururangan-etal-2018-annotation,poliak-etal-2018-hypothesis}．
本研究では，\ref{subsec:template_creation}節で述べた手法でそのようなバイアスを緩和する．
そして，バイアスが解消できているかを確認するために，\citet{gardner-etal-2021-competency}の手法に従って\ours データセットの統計的分析を行う．
形式的には，この分析は帰無仮説が $p(y|x_i) = 1/3$ の片側二項検定である．
ここで，$y \in \{\entailment,\neutral,\contradiction\}$ であり，$x_i$ は語彙に含まれる単語である．
具体的には，まずJuman++ \cite{morita-etal-2015-morphological}を用いて前提文と仮説文を個々の単語に分割する．
その後，前提文・仮説文に含まれる各単語 $x_i$ に対する正解ラベル $y$ の出現回数 $n_i$ をカウントする．
$p(y|x_i)$ は $n_i$ を $x_i$ の出現回数で割ることで求められる．
その後，\citet{gardner-etal-2021-competency}のプロトコルに従い，ボンフェローニ補正を用いて$\alpha = 0.01$ の有意水準で帰無仮説を受容または棄却する．
この分析により，特定の単語とラベルの間の相関を明らかにすることができる．

本研究では，データ生成の段階でこの分析を行い，得られた結果を語彙や推論テンプレートにフィードバックする．
提案手法はデータセット中の語彙を制御することが可能なため，これらのフィードバックによりデータセット中のアーティファクトを排除することができる．
図\ref{fig:artifacts}に示すように，既存のデータセットでは複数の単語が特定のラベルとの擬似相関を示し，そのうちの3つは大きな擬似相関を示している．
一方で，\ours では5つの単語が擬似相関を示したものの，その全てが比較的緑の線に近いため，既存のデータセットよりも擬似相関の影響は小さいと考えられる．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F4
\begin{figure}[t]
%%%%%\begin{subfigure}{0.4\linewidth}
%%%%%\centering
%%%%%\includegraphics[width=1.0\linewidth]{figure/train_all_wakati_artifacts.pdf}
%%%%%\subcaption{\ours}
%%%%%\end{subfigure}
%%%%%\begin{subfigure}{0.4\linewidth}
%%%%%\centering
%%%%%\includegraphics[width=1.0\linewidth]{figure/train_temporalnli_artifacts_sample100k_v2.pdf}
%%%%%\subcaption{Temporal NLI \cite{vashishtha-etal-2020-temporal}}
%%%%%\end{subfigure}
\begin{center}
\includegraphics{31-2ia13f4.pdf}
\end{center}
\hangcaption{\ours と Temporal NLIの訓練データ中のアーティファクトの統計．\ours では5つの単語を除く全ての単語が緑の線の下にあり，緑の線の上にある単語も緑の線に近いことから，正解ラベルと単語の間の擬似相関が小さいことがわかる．一方で，Temporal NLIでは複数の単語に擬似相関が見られ，そのうちの3つにはかなり大きな擬似相関が見られる．}
\label{fig:artifacts}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%





%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%4.5.2
\subsubsection{文章の品質管理}
本研究では，全てのテストデータの前提文・仮説文の自然さを人手でチェックする．
テストデータに必要な問題数は332件であったが，自然なテストデータを構築するために，まず1380件の問題を生成してそのうち不自然な646件を取り除き，残った中からより自然なものを実際のデータとして用いた．
表\ref{tab:unnatural_sentences}は取り除いた文と理由の例である．
1つ目の意味的に不自然な文は，文法的には正しいが，日常的にあまり使われない文を指す．
このような文が生成される理由としては，ChatGPTによる主語の補完が適切でないことが挙げられる．
2つ目の不完全な文は，文を完成させるために必要な格が抜け落ちているものである．
これは格フレーム辞書が述語の必須格を記載していないことに起因する．
3つ目の文法的な誤りは主に動詞の活用誤りを指している．
これは動詞の活用に用いている辞書に，その動詞が含まれていなかったために生成されたと考えられる．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T13
\begin{table}[t]
\input{13table13.tex}
\caption{テストデータから取り除いた文と，その理由の例．}
\label{tab:unnatural_sentences}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%4.5.3
\subsubsection{データセットの妥当性}
\paragraph{付与されたアスペクトの妥当性}
\ref{subsec:aspect_prediction}節で述べたように，本研究ではアスペクト判別のための予備実験を行い，付与されたアスペクトの妥当性について確認した．
予備実験には，103件の文に対して人手でアスペクトをアノテーションしたデータを用いた．
その結果，本研究の手法では66\%の精度でアスペクトを判別できることが確認できた．
なお，図\ref{fig:aspect_flow}で不自然な文として排除されたものを除いた精度は77\%であった\footnote{脚注\ref{fot:continue}で述べたように，図\ref{fig:aspect_flow}のフローは複数と解釈できる主語を考慮していないが，ランダムに抽出して確認したところ，ChatGPTによって生成されたガ格の90\%以上が単数であったことから予測精度には影響を与えなかったと考えられる．}．

\paragraph{正解ラベルの妥当性}
本研究では，テストデータの全ての問題の正解ラベルが形式意味論に基づいて正しいかどうかを，形式意味論の素養がある1名の大学院生が人手でチェックする．
そして，推論テンプレートが原因で間違っているものに関しては推論テンプレートを修正して再度テストデータを生成し，チェックする．
この作業を繰り返し行い，全ての推論テンプレートの正解ラベルの条件式が正しく設定されていることを確認した．

また，生成されたテストデータ中のアスペクトに関する問題を確認したところ，明確に正解ラベルが誤っていたものは56件中11件であった．
本研究では，テストデータ中のアスペクトの誤りについては，チェックを担当した大学院生が全て人手で修正することで，テストデータの品質を担保した．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%4.6
\subsection{データセットの分割}
\label{subsec:dataset_split}
\ours はテンス現象タグや時間表現の種類に基づいて制御されている．
本研究では，それらに基づいて問題を学習データ・テストデータの両方に含まれる既知問題とテストデータのみに含まれる未知問題に分割し，学習データ中の既知問題のみを抽出した学習データの分割を作成する．
そして，分割した学習データを用いてモデルを学習し，テストデータ中の未知問題に対する精度を測定することで，推論パターンや時間表現に対しての言語モデルの汎化性能を評価する．
問題を分割する軸としては\textbf{テンス現象タグ}・\textbf{時間表現形式}・\textbf{時間幅}を用いる．
表\ref{tab:split_tense_fragment}，\ref{tab:split_time_format}，\ref{tab:split_time_span}はそれぞれの分割における既知問題・未知問題の例を示している．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T14
\begin{table}[t]
\input{13table14.tex}
\hangcaption{テンス現象タグに基づく分割の既知問題と未知問題の例．\hl{「順序（推移律+前後）」は小分類「推移律から決定可能」の下位分類に対応するテンス現象タグであり，表\ref{tab:tense_fragment_classification}では省略されている．}}
\label{tab:split_tense_fragment}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T15
\begin{table}[t]
\input{13table15.tex}
\caption{時間表現形式に基づく分割の既知問題と未知問題の例．}
\label{tab:split_time_format}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T16
\begin{table}[t]
\input{13table16.tex}
\caption{時間幅に基づく分割における既知問題と未知問題の例．}
\label{tab:split_time_span}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%




%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%4.6.1
\subsubsection{テンス現象タグに基づく分割}
テンス現象タグに基づく分割では，まずテンス現象タグを基本的なものと応用的なものに分割する．
そして，基本的なテンス現象タグがアノテーションされた問題を既知問題，応用的なテンス現象タグがアノテーションされた問題を未知問題として，言語モデルの時間推論パターンに対する汎化能力を評価する．
以下では，定義した分割を\tagsplit と表記する．

テンス現象タグの分割は\ref{subsec:tense_fragment}節で導入した表\ref{tab:tense_fragment_classification}の分類に基づいて行う．
具体的には，共通の上位分類を持つテンス現象タグの一方を既知問題，もう一方を未知問題とする．
表\ref{tab:split_tense_fragment}の例では，表\ref{tab:tense_fragment_classification}における中分類「『現在』の用法」を共通の上位分類に持つテンス現象タグ「『現在』の用法（現在形）/『現在』の用法（過去形）」がそれぞれ既知問題と未知問題に割り当てられている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%4.6.2
\subsubsection{時間表現形式に基づく分割}
時間表現形式に基づく分割では，時間表現形式を，その形式が含む単位の種類の数で分割する．
そして，含まれる単位の種類の数が少ない問題を未知問題，多い問題を既知問題として，言語モデルが時間単位の大小関係（年\textgreater 月\textgreater 日\textgreater 時という関係）を汎化できるかを評価する．
ここでは\formeasy と\formhard という2つの分割を定義する．

\formeasy と\formhard は既知/未知問題に分割する時間表現形式の割合が異なる．
\formhard では，表\ref{tab:split_time_format}の上段の例で示すような，単一の時間単位の形式（年・月・日・時）のみを既知問題とする．
この分割においては，学習データから時間単位の大小関係を学習することはできない．
一方，\formeasy では，\formhard の既知問題に含まれる4つの形式に加えて，表\ref{tab:split_time_format}の下段の例で示すような2つの時間単位の組み合わせからなる3つの形式（年月・月日・日時）も既知問題に含める．
これらの3つの形式の問題からは2つの単位間の大小関係を得ることができる．
具体的に，年月形式の問題には，例えば2015年10月と2014年11月のような，どちらの単位の方が大きいかを理解しなければ正しく順序が判定できない問題が存在する．
このような問題を用いて学習することで，年\textgreater 月という大小関係が学習できる．
そして，それぞれの形式の問題から得た知識を組み合わせることで，年\textgreater 月\textgreater 日\textgreater 時という大小関係が学習できると考えられる．

いずれの分割においても，未知問題を解くためには時間単位の大小関係を理解している必要がある．
したがって，\formeasy と \formhard の精度を比較することで，言語モデルの時間単位の大小関係に関する汎化能力を評価することができると考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%4.6.3
\subsubsection{時間幅に基づく分割}
時間幅に基づく分割では，問題に含まれる時間表現の時間幅の大きさに基づいて分割を行う．
ここで，時間幅とは問題に含まれる時点間の長さのことを意味する．

本研究では\short と\random の2つの時間幅を定義する．
時間幅が\random の問題では，\ref{subsec:problem_generation}節で述べた通り，時点間の長さはランダムで生成される．
一方，時間幅が\short の問題では，時点間の長さが短くなるように時間表現が生成される．
具体的には，次のように時間表現の生成手法を変更する．
まず，問題中に含まれる時点の数が1つだけの場合は\random と同様に生成する．
2つ以上含まれる場合，1つ目の時点Aとその時点から少しだけ進んだ時点Bの間の時点をランダムに選ぶようにする．
\hl{ここで，進める時間は時間表現形式の最小単位に応じて定める．
最小単位が時の場合は8時間，日の場合は10日間，月の場合は4ヶ月間，年の場合は6年間進めた時点を時点Bとする．}

時間幅に基づく分割として，\random だけを含む\spanrandom を定義する．
\spanrandom における既知問題と未知問題の例を表\ref{tab:split_time_span}に示す．
前述の通り，\short の問題では時点間の長さが短くなっている．
このような問題では，時点の順序関係を決定するために小さい単位同士を比較する必要がある．
一方，\random で生成したほとんどの問題では最も大きな単位の比較のみで順序が決定できるため，モデルは順序の決定の際に「大きな単位だけを比較すれば良い」というバイアスを学習する可能性がある．
そこで，\random を既知問題，\short を未知問題にすることで，そのようなバイアスではなく，時点間の順序関係の正しい比較方法を学習できるかを評価する．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%5
\setcounter{exx}{0}
\section{実験設定}
\label{sec:experiments}
\hl{本節では\ours 上での言語モデルの評価実験の設定について述べる．
本研究では，生成モデルにとって最適なプロンプトを探索するための予備実験を行う．
\ref{subsec:preliminary_experiments}節，\ref{subsec:preliminary_experimental_result}節では予備実験の実験設定および結果・考察について述べる．
その後，\ref{subsec:main_experiments}節で予備実験の結果を踏まえた本実験の設定について説明する．}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%5.1
\hl{\subsection{予備実験}
\label{subsec:preliminary_experiments}
予備実験では，プロンプトの形式・プロンプトに記述する例の数・プロンプト中のラベル表記を変化させて実験を行う．
本研究では，gpt-3.5-turbo-1106 (\gptt) \cite{openai-2023-chatgpt}，gpt-4-1106-preview (\gptf) \cite{openai-2023-gpt4}，llm-jp-13b-v1.0 (\llmjp) \footnote{\hl{\url{https://huggingface.co/llm-jp/llm-jp-13b-v1.0/}}} を評価する．}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T17
\begin{table}[b]
\input{13table17.tex}
\caption{予備実験で用いる2種類のプロンプト．}
\label{tab:pre-experiments_prompt}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\hl{実験は\zeroshot と\fewshot の2つの設定で行う．
\zeroshot ではプロンプトに問題例を一切記述せず，\fewshot ではいくつかの問題例を記述する．
\fewshot プロンプトに記載する問題例は学習データから次のように抽出する．
まず，モデルに問う問題（以下対象問題と表記する）の生成元となった推論テンプレートを特定する．
そして，その推論テンプレートから生成された学習データから，正解ラベルの数が均等になるように問題をランダムに選択する．
例えば，表\ref{tab:generation_example}の下段に示す問題が対象問題であった場合，中段に示す推論テンプレートから生成された学習データから，正解が\entailment の問題と\contradiction の問題を同じ数だけランダムに抽出する．}
\hl{\paragraph{プロンプトの形式}
表\ref{tab:pre-experiments_prompt}に示す2種類のプロンプトを比較する\footnote{\hl{\baseline プロンプトは\url{https://fintan.jp/page/9126/}のものを参照し，用いた．参照日：2024年1月16日}}．
\simple はタスクの最小限の説明のみを記述したプロンプトであり，\baseline はそれに加えて含意関係ラベルの説明を記述したプロンプトである．}
\hl{\paragraph{プロンプトに記述する例の数}
\fewshot のプロンプトに記述する例の数は0，4，6，8，12の間で変化させる．
プロンプト中の問題例の正解ラベルが均等になるためには，正解ラベルの種類の数が例の数の公約数である必要がある．
そのため，予備実験では，正解ラベルの種類の数が2種類であるような推論テンプレートから生成された問題のみを評価の対象とする．
ここで，正解ラベルの種類の数とは，推論テンプレートから生成され得る正解ラベルの種類の数を意味している．
例えば，表\ref{tab:generation_example}の中段に示す推論テンプレートでは，\entailment と\contradiction の2種類の正解ラベルが生成され得るため，正解ラベルの種類の数は2である．}
\hl{\paragraph{プロンプト中のラベル表記}
プロンプト中の正解ラベルの表記をランダムな文字列に置換することによって正解ラベルに内包されているバイアスが軽減され，言語モデルの性能が向上することが先行研究により報告されている \cite{wei-etal-2023-symbol}．
そこで，本研究では\labelnum と\labelstr の2種類の表記を導入し，本来の含意関係ラベルを用いた場合との精度を比較する．
それぞれの表記を用いたプロンプトを表\ref{tab:pre-experiments_prompt_replace}に示す．
表の上段に示すように，\labelnum では含意関係ラベルを数字に置き換える．
一方，\labelstr では，表の下段に示すように含意関係ラベルを意味のない文字列 (foo，bar，baz) に置き換える．}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T18
\begin{table}[b]
\input{13table18.tex}
\caption{ラベル表記を\labelnum および \labelstr に置き換えたプロンプト．}
\label{tab:pre-experiments_prompt_replace}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T19
\begin{table}[t]
\input{13table19.tex}
\hangcaption{\simple プロンプトおよび \baseline プロンプトを用いた\gptt，\gptf，\llmjp の精度（5回の実験における平均値および標準偏差）．}
\label{tab:result_llm_difprompt}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T20
\begin{table}[t]
\input{13table20.tex}
\caption{\gptt の\simple および\baseline プロンプトの混同行列．表中の数値は件数を示す．}
\label{tab:confusion_matrix_gptt_prompt}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


\hl{予備実験では，全てのモデルでmax\_new\_tokens=10とする．
\llmjp に関しては，llm-jp-evel\footnote{\url{https://github.com/llm-jp/llm-jp-eval/}，参照日：2024年1月16日}に倣い，top\_p=1.0，repetetion\_penalty=1.0とする．
また，例の数を変化させる実験以外では，プロンプトに記述する例の数は6とする．
モデルが正解ラベル以外の文字列を出力した場合は，出力は``undefined''とし，結果ではエラーとして数える．}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%5.2
\hl{\subsection{予備実験の結果と考察}
\label{subsec:preliminary_experimental_result}
\paragraph{プロンプトの形式}
表\ref{tab:result_llm_difprompt}にプロンプトの種類ごとの結果を示す．
\baseline の精度は全てのモデルにおいて\simple の精度よりも高かった．
精度の向上幅については，\gptt で最も大きく，\gptf で最も小さい結果となった．
\simple プロンプトを用いた\gptt や\llmjp で精度が比較的低かった要因としては，これらのモデルが含意関係ラベルの意味を事前学習時に十分に学習できていないことが考えられる．}

\hl{\gptt における精度向上の要因を明らかにするために，\simple と\baseline の混同行列をまとめた結果を表\ref{tab:confusion_matrix_gptt_prompt}に示す．
表から，\neutral の予測数および再現率が\baseline プロンプトを用いた場合に向上していることが読み取れる．
同様の傾向は\llmjp の予測にも観察された．
このことは，\neutral ラベルの意味について，これらのモデルが事前学習時点では十分には理解していないことや，\baseline プロンプトのラベル説明から学習したことを示唆している．}
\hl{\paragraph{プロンプトに記述する例の数}
表\ref{tab:result_llm_num}にプロンプトに記述する問題例の数を変化させた実験の結果を示す．
\gptt ではn=6の場合に，\gptf ではn=8の場合に，\llmjp ではn=12の場合に精度が最大となった．
また，全てのモデルについて，例の数を増やすごとに精度が単調に増加したわけではなかった．
このことは，プロンプトに記述する例の数と精度が必ずしも比例するわけではないことを意味している．}
\hl{\paragraph{プロンプト中のラベル表記}
表\ref{tab:result_llm_label}にプロンプト中のラベル表記を変化させた実験の結果を示す．
\gptt ではラベル表記を変化させた際に精度が低下したが，\llmjp では\labelstr 表記を用いた際に，\gptf では\labelnum 表記および\labelstr 表記の両方において，精度の向上が見られた．}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T21
\begin{table}[t]
\input{13table21.tex}
\hangcaption{プロンプトに記述する問題例の数を変化させた実験における，\gptt，\gptf，\llmjp の精度（5回の実験における平均値および標準偏差）．}
\label{tab:result_llm_num}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T22
\begin{table}[t]
\input{13table22.tex}
\hangcaption{プロンプト中のラベル表記を変化させた実験における，\gptt，\gptf，\llmjp の精度（5回の実験における平均値および標準偏差）．}
\label{tab:result_llm_label}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



\hl{\gptf における精度向上の要因を考察するために，\baseline と\labelstr の混同行列をまとめた結果を表\ref{tab:confusion_matrix_gptf_label} に示す．
表から，\neutral の予測数および再現率が大きく向上していることが読み取れる．
このことは，ラベル表記の置換が，\gptf が内包する\neutral ラベルに対するバイアスを軽減したことを示唆している．}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T23
\addtocounter{table}{-1}
\begin{table}[t]
\input{13table23.tex}
\hangcaption{\gptf の\baseline 表記および \labelstr 表記を用いた実験における混同行列．表中の数値は件数を示す．}
\label{tab:confusion_matrix_gptf_label}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%5.3
\subsection{本実験}
\label{subsec:main_experiments}
本実験では，huggingface/transformers\footnote{\url{https://huggingface.co/transformers/}}で利用可能な6つの識別系言語モデル（日本語BERT \cite{devlin-etal-2019-bert}，日本語RoBERTa \cite{liu-etal-2019-roberta}，多言語XLM-RoBERTa \cite{conneau-etal-2020-unsupervised}モデルのbase/large）と，3つの生成系言語モデル (gpt-3.5-turbo-1106 (\gptt) \cite{openai-2022-gpt3.5}，gpt-4-1106-preview (\gptf) \cite{openai-2023-gpt4}，\hl{llm-jp-13b-v1.0 (\llmjp)\footnote{\hl{\url{https://huggingface.co/llm-jp/llm-jp-13b-v1.0/}}}}) を\ours のテストデータ上で評価する．

識別モデルを用いた実験は単言語の\zeroshot ，2言語間の\zeroshot ，Fine-tuningの3つの設定で行う．
ここで，``\zeroshot''は学習データとして\ours を用いないことを意味する．

\paragraph{設定1-a：Zero-shot（単言語）~~}
標準的な日本語NLIデータセットであるJSNLI \cite{yoshikoshi-etal-2020-multilingualization}，JSICK \cite{yanaka-mineshima-2022-compositional}，および時間的順序に関する日本語NLIデータセットであるPLMUTE\_ja \cite{sugimoto-yanaka-2022-compositional}を結合し，学習に用いる．
ここで，JSNLIはSNLI \cite{bowman-etal-2015-large}の，JSICKはSICK \cite{marelli-etal-2014-sick}の，PLMUTE\_jaは時間的順序・区間に関する英語NLIデータセットであるPLMUTE \cite{thukral-etal-2021-probing}の翻訳版である\footnote{\hl{本研究の学習に用いたデータの件数は次の通りである． \\SNLI: 550,152，SICK: 9,840，PLMUTE: 72,720，JSNLI: 533,005，JSICK: 5,000，PLMUTE\_ja: 11,220}}．
その後，学習したモデルを\ours のテストデータ上で評価する．

\paragraph{設定1-b：Zero-shot（2言語間）~~}
標準的な英語NLIデータセットであるSNLI，SICK，およびPLMUTEを結合し，学習に用いる．
その後，学習したモデルを\ours のテストデータ上で評価する．

\paragraph{設定2：Fine-tuning~~}
\ours の学習・テストデータでモデルを学習・評価する．
IID分割（全ての学習データを既知問題とする分割）を用いた実験 (\iid) のほかに，\ref{subsec:dataset_split} 節で分割した学習データを用いた実験も行う．

学習率は\{5e-6,1e-5,1.5e-5,2e-5\}の4つを用いて実験し，結果ではそれぞれのモデルで最も結果が良かった学習率における精度を報告する．
バッチサイズは全ての設定で学習データでは16，テストデータでは8とする．

次に，生成モデルを用いた実験は\zeroshot と\fewshot の2つの設定で行う．
\hl{さらに，\fewshot では，プロンプトに記述する問題例の選び方として\fewrandom と\fewseen の2種類を考慮する．
\fewrandom では，学習データ全体から正解ラベルが\entailment，\contradiction，\neutral の問題を2つずつランダムに選択し，プロンプトに記述する．
\fewseen では，予備実験と同様に，対象問題と同じ推論テンプレートから生成される問題のみを正解ラベルが均等になるように選択し，プロンプトに記述する．}

\hl{プロンプトについては表\ref{tab:pre-experiments_prompt}に示す\baseline プロンプトを用いる．
また，\fewshot における問題例の数は全ての実験で6とする．
ラベル表記については，\gptt では本来の含意関係ラベルを用い，\gptf と\llmjp では\labelstr 表記 (foo，bar，baz) を用いる．
予備実験と同様に，全てのモデルでmax\_new\_tokens=10とし，\llmjp ではtop\_p=1.0かつrepetetion\_penalty=1.0とする．
モデルが正解ラベル以外の文字列を出力した場合は，出力は``undefined''とし，結果ではエラーとして数える．}

以下では，全ての設定で5回学習・評価を行って算出した精度の平均値と標準偏差を報告する．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%6
\setcounter{exx}{0}
\section{結果と考察}
\label{sec:results}
本節では実験結果の分析および議論を行う．
\hl{\ref{subsec:discriminative_model}節および\ref{subsec:generative_model}節ではそれぞれ識別モデルと生成モデルの結果について述べる．
その後，\ref{subsec:acc_per_tense_tag}節ではテンス現象ごとに精度を分析した結果について説明する．}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%6.1
\subsection{識別モデル}
\label{subsec:discriminative_model}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%6.1.1
\subsubsection{Zero-shot}
\label{subsec:result_zeroshot}
表\ref{tab:result_zeroshot_iid} の左列に識別モデルの\zeroshot の結果を示す．
全てのモデルで，精度は約50\%に止まっている．
これは，SNLI・SICKおよびその日本語版であるJSNLI・JSICKに時間推論に関する問題がほとんど含まれていないことや，PLMUTEやPLMUTE\_jaに含まれる時間推論パターンが我々のデータセットを解くのに必要な時間推論パターンのごく一部でしかないことに起因すると考えられる．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T24
\begin{table}[b]
\input{13table24.tex}
\hangcaption{識別モデルの\zeroshot と\iid における精度（5回の実験における平均値および標準偏差）．}
\label{tab:result_zeroshot_iid}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T25
\addtocounter{table}{-1}
\begin{table}[b]
\input{13table25.tex}
\captionof{table}{BERT-largeの\zeroshot と\iid の混同行列．表中の数値は件数を示す．}
\label{tab:confusion_matrix_bert}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



モデルの設定ごとの予測ラベルの分布の違いを分析するために，BERT-largeの\zeroshot および\iid における混同行列をまとめた結果を表\ref{tab:confusion_matrix_bert}に示す．
\zeroshot 設定では，正解ラベルの分布や\iid における分布と比較しても，\neutral の予測割合が極端に低く，再現率が1\%程度しかないことが見て取れる．
同様の傾向は他の識別モデルでも観察された．
これは，\zeroshot の学習データに用いたSNLIやSICKといったデータセットでは前提文と仮説文が全く関連のない場合に\neutral というラベルが付与される傾向にある一方で，\ours ではほとんどの問題で前提文と仮説文が類似・関連しているためだと考えられる．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%6.1.2
\subsubsection{Fine-tuning}
\label{subsec:result_finetuning}
Fine-tuningの結果を表\ref{tab:result_zeroshot_iid}の右側および表\ref{tab:result_finetune_tag}，\ref{tab:result_finetune_form}，\ref{tab:result_finetune_span} に示す．
\iid においては，表\ref{tab:result_zeroshot_iid}に示すように全てのモデルの精度が85\%以上であった．
以下では本研究で導入した分割データを用いた実験の結果について議論する．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T26
\begin{table}[b]
\input{13table26.tex}
\hangcaption{\tagsplit を用いて学習した識別モデルの精度（5回の実験における平均値および標準偏差）．$\Delta$で示す列は既知問題と未知問題の精度の差を表す．}
\label{tab:result_finetune_tag}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



\paragraph{テンス現象タグに基づく分割~~}
表\ref{tab:result_finetune_tag} に示すように，テンス現象タグに基づく分割では全てのモデルで既知問題と未知問題の精度の差が約35\%にも及んだ．
これは，いずれのモデルも時間推論パターンに関する汎化が出来ていないことを示唆している．

この原因を明らかにするために，エラー分析を行う．
テンス現象タグの汎化については全てのモデルで共通の傾向が見られたため，ここでは最も精度が高かったBERT-largeに着目する．
表\ref{tab:error_example} は\tagsplit （テンス現象タグに基づく分割）中の未知問題におけるBERT-largeのエラー例と，既知問題中の類似問題を示している．
この例では，モデルは未知問題に対して類似する既知問題のラベルと同じラベル (\neutral) を予測している．
このような傾向は他のエラー例に対しても同様に観察された．
すなわち，ある未知問題Aと前提文・仮説文の表層形が非常に類似している既知問題Bが学習データ中にある場合，その時間に関する意味の違いを無視してBの正解ラベルをAのラベルとして予測する傾向があった．
これは，モデルが文の時間に関する情報ではなく表層的な情報に基づいてラベルを予測している，つまり，時間推論パターンを汎化できていないことを示唆している．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T27
\begin{table}[t]
\input{13table27.tex}
\hangcaption{\tagsplit の未知問題におけるBERT-largeのエラー例と，既知問題に含まれる類似問題の例．TTはテンス現象タグを，Prはモデルの予測ラベルを表す．}
\label{tab:error_example}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%




\paragraph{時間表現形式に基づく分割~~}
表\ref{tab:result_finetune_form}に示すように，全てのモデルで，学習データ中に時間単位の大小関係の知識を含む\formeasy よりも含まない\formhard の方が精度が低かった．
このことから，\formeasy を用いたFine-tuningによってモデルは時間単位の大小関係に関する知識を獲得していることが示唆される．
さらに，全てのモデルにおいてbaseの方がlargeよりも\formeasy と\formhard の精度の差が大きかった．
このことから，大きなモデルが事前学習時に時間単位の大小関係に関する知識を獲得している可能性が示唆される．




%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T28
\begin{table}[t]
\input{13table28.tex}
\hangcaption{\formeasy と\formhard を用いて学習したモデルの未知問題上での精度（5回の実験における平均値および標準偏差）．$\Delta$で示す列は\formeasy と\formhard の精度の差を表す．}
\label{tab:result_finetune_form}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



\paragraph{時点間距離に基づく分割~~}
表\ref{tab:result_finetune_span}に時点間距離に基づく分割における結果を示す．
表に示すように，\random だけを用いて学習したモデルは\short と\random の両方を含む\iid を学習に用いたモデルよりも性能が低下した．
また，時間表現形式に基づく分割と同様に，サイズが小さいモデルの方が低下の度合いが大きかった．
これは，全てのモデルが時点間の順序の判定方法を完全には汎化できていないことや，サイズの小さいモデルは汎化能力により課題があることを示唆している．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T29
\begin{table}[t]
\input{13table29.tex}
\hangcaption{\spanrandom を用いて学習したモデルの未知問題上での精度と，\iid を用いて学習したモデルの該当問題上での精度（5回の実験における平均値および標準偏差）．$\Delta$で示す列は\spanrandom と\iid の精度の差を表す．}
\label{tab:result_finetune_span}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%6.2
\subsection{生成モデル}
\label{subsec:generative_model}

\hl{表\ref{tab:result_gpt}は生成モデルの\zeroshot，\fewrandom，\fewseen プロンプトでの結果を示している．
全てのモデルが\fewseen プロンプトを用いた場合に高い性能を発揮したことから，対象問題（モデルに解かせる問題）と同じパターンの問題をプロンプトに問題例として記述することが性能向上に効果的であることがわかる．
一方で，\fewrandom では\zeroshot と比較してそれほど大きな精度の向上は見られなかった．
これは，対象問題と関連度の低い例が，モデルの性能向上にあまり寄与しないことを示唆している．}




%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T30
\begin{table}[t]
\input{13table30.tex}
\hangcaption{\zeroshot，\fewrandom，\fewseen プロンプトを用いた生成モデルの精度（5回の実験における平均値および標準偏差）．}
\label{tab:result_gpt}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



\hl{表\ref{tab:confusion_matrix_gpt35}および表\ref{tab:confusion_matrix_llmjp}は\gptt および\llmjp の\zeroshot，\fewrandom プロンプトにおける混同行列を示している．
表\ref{tab:confusion_matrix_gpt35}から，プロンプトに問題例を記述したことで，\gptt の\neutral の予測数が11から61に増加し，再現率が5.4\% から27.7\% に向上していることが読み取れる．
これは，\gptt の\fewrandom における精度向上が，\gptt の予測ラベルの分布変化に起因していることを意味している．
このような分布の変化が発生した理由としては，プロンプト中に正解ラベルが\neutral である例を記述したことで，モデルが\neutral と予測すべきケースを学習したことが考えられる．}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T31
\addtocounter{table}{-1}
\begin{table}[t]
\input{13table31.tex}
\captionof{table}{\gptt の\zeroshot および\fewrandom の混同行列．表中の数値は件数を示す．}
\label{tab:confusion_matrix_gpt35}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T32
\addtocounter{table}{-1}
\begin{table}[t]
\input{13table32.tex}
\captionof{table}{\llmjp の\zeroshot および\fewrandom の混同行列．表中の数値は件数を示す．}
\label{tab:confusion_matrix_llmjp}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%




\hl{一方，\llmjp では，モデルの予測ラベルが著しく偏っている様子が観察された．
具体的には，\zeroshot では，全ての予測ラベルが\entailment であり，\fewrandom では全ての予測ラベルが\entailment と\neutral のいずれかであった．
\fewrandom で\neutral の予測数が増加した一因として，プロンプトに記述されている最後の問題例の正解ラベルが\neutral であったことが考えられる．}


\hl{この仮説を検証するために，最後の問題例の正解ラベルを\contradiction としたプロンプトを用いた追加実験を行った．
表\ref{tab:confusion_matrix_llmjp_rev}は追加実験の結果の混同行列を示している．
表から，\neutral の予測数が0かつ\contradiction の予測数が大きく増加していることが読み取れる．
これらの実験結果から，\llmjp がタスクや問題例について深く理解しておらず，プロンプトに記述された問題例の正解ラベルに依存して推論を行っていることが示唆される．}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T33
\begin{table}[t]
\input{13table33.tex}
\hangcaption{\llmjp に，\fewrandom プロンプト中の\neutral が答えとなる問題例と\contradiction が答えとなる問題例の順序を逆にしたプロンプトを入力した実験における混同行列．表中の数値は件数を示す．}
\label{tab:confusion_matrix_llmjp_rev}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



\hl{次に，対象問題の生成元となった推論テンプレート（以下生成元テンプレートと表記する）の正解ラベルの種類の数ごとの実験結果の分析を表\ref{tab:result_label_num}に示す．
ここで，推論テンプレートの正解ラベルの種類の数とは，推論テンプレートが生成し得る正解ラベルの種類の数を指す．
\fewseen プロンプトには，生成元テンプレートから生成された学習データのみが記述されているため，生成元テンプレートの正解ラベルの種類の数は\fewseen プロンプト中に含まれる正解ラベルの種類の数と一致する．
表から，\fewseen では1ラベルの場合の精度が著しく高いことが読み取れる．
特に，\llmjp では\fewseen の1ラベルの問題に対する精度が100\%であった．
これは，\llmjp の予測がプロンプトに記述された問題例の正解ラベルに依存しているという前述の観察と一致する．}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T34
\begin{table}[t]
\input{13table34.tex}
\hangcaption{\gptt，\gptf，\llmjp の\fewrandom，\fewseen プロンプトを用いた実験における結果の，生成元テンプレートの正解ラベルの種類の数ごとの分析．}
\label{tab:result_label_num}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



\hl{また，全てのモデルで，ラベルの種類の数が増加するごとに精度が低下しており，その傾向は\fewseen プロンプトを用いた設定においてより顕著である．
特に，\llmjp の\fewseen の精度は，3ラベルの問題では\fewrandom と同等程度にまで低下している．
このことからも，\llmjp がタスクや問題例について深く理解していないという仮説が支持される．
一方で，\gptt や\gptf においては，いずれの場合も\fewseen の精度が \fewrandom の精度を上回る結果となった．
これは，\llmjp と異なり，これらのモデルがプロンプトに記述された問題例の推論パターンを学習して推論を行っていることを示唆している．}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%6.3
\subsection{テンス現象ごとの精度}
\label{subsec:acc_per_tense_tag}
次に，言語モデルの得意な推論や苦手な推論について分析する．
ここで，識別系言語モデルに関してはBERT-largeを，生成系言語モデルに関しては\gptt と\gptf を分析の対象とする．
表\ref{tab:result_tense_tag}はそれぞれのモデル の表\ref{tab:tense_fragment_classification}の大分類ごとの精度を示している．
以下では，それぞれの現象の特徴的な結果について議論する．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T35
\begin{table}[t]
\input{13table35.tex}
\hangcaption{BERT-largeの\zeroshot，\tagsplit，\iid および\gptt，\gptf の\zeroshot，\fewrandom，\fewseen のテンス現象ごとの精度．表中の「常識」は時間的常識を，「順序」は時間的順序を，「直示」は直示時間副詞を，「量化」は量化時間副詞を意味する．}
\label{tab:result_tense_tag}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%




\paragraph{時間的常識~~}
時間的常識に関する推論では，いくつかのモデルが表\ref{tab:error_example_commonsense}に示すような「現在」の用法（過去形）の問題について誤って予測していることが確認できた．
これは，モデルが現在形・過去形の意味の違いを捉えられず，前提文・仮説文の表層形の類似度に基づいて判断したことが原因であると考えられる．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T36
\begin{table}[t]
\input{13table36.tex}
\caption{時間的常識に関する問題のエラー例．Prはモデルの予測ラベルを表す．}
\label{tab:error_example_commonsense}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



\hl{一方で，\gptf の\zeroshot では時間的常識に関する問題の精度が100\%であった．
これは，\gptf が事前学習時にテンスについて学習していることを示唆している．
しかし，\fewrandom では精度が低下したことから，対象問題と関連性の低い問題例はモデルの性能を低下させる可能性があることも読み取れる．}

\paragraph{時間的順序~~}
時間的順序に関する推論は多くのモデルで比較的精度が低かった．
この要因としては，表\ref{tab:error_example_order}に示すような推論を実行するための知識が汎化できていないことが挙げられる．
この推論を実行するためには，「AがBの前でBがCの前であればAはCの前である」という推移律の知識や，「AがBの前であればBはAの後である」という対称性の知識が必要である．
この2つの知識を組み合わせる必要がある推論は，BERT-largeの\iid や\gptf の\zeroshot といった性能の良いモデルにとっても困難であることが示唆された．
\hl{中でも，表\ref{tab:error_example_order}に示すような，2つの知識を組み合わせてイベントの順序を整理し，その上で仮説が導けない（\neutral となる）ことを示す問題は，とりわけ精度が低かった．}
このことは，これらのモデルの構成的汎化能力に改善の余地があることを示している．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T37
\begin{table}[t]
\input{13table37.tex}
\caption{時間的順序に関する問題の例．}
\label{tab:error_example_order}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


次に，生成モデルについて，プロンプト中に順序に関する例が複数記述されていれば精度が向上するのかを検証するために，表\ref{tab:experiments_prompt_add_order}に示すプロンプトを用いて追加で実験を行い，時間的順序の問題のみの精度を評価した．
プロンプトに用いる問題は，順序に関する6つのテンス現象タグの問題について，正解ラベルが均等になるように1つずつランダムに抽出した．
\hl{その結果，\gptt では精度39.1\%となり，\zeroshot や\fewrandom と比較して約5\rhl{ポイント}精度が向上した．
一方，\gptf では精度82.8\%であり，\fewrandom と比較して約7\rhl{ポイント}精度が向上した．
このことから，対象問題と完全に同じ推論パターンの問題例でなくとも，ある程度の類似性を持つ問題例はモデルの性能向上に寄与することが示唆された．}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T38
\begin{table}[t]
\input{13table38.tex}
\hangcaption{\gptt，\gptf 上での，時間的順序の問題に関する追加実験に用いるプロンプトの一部．太字部分は問題によって差し替える．}
\label{tab:experiments_prompt_add_order}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%




\paragraph{時点}
時点に関する推論では，学習データを増やすことでBERT-largeの精度が大きく向上する様子が観察された．
この精度上昇の要因を分析するために，BERT-largeの\zeroshot および\tagsplit の，時点の問題に関する混同行列をまとめた結果を表\ref{tab:confusion_matrix_bert_tp}に示す．
表を見ると，\zeroshot から\tagsplit へと学習データを増やすことで，\neutral については再現率・適合率ともに大きく向上しているが，\contradiction についてはともに低下していることがわかる．
このことから，時点の問題に関する精度上昇には，知識獲得によるモデルの性能向上の他に，\ref{subsec:result_zeroshot}節で述べた予測ラベルの分布の変化および，時点の問題の正解ラベルに占める\neutral と\contradiction の割合が大きな影響をもたらしているということが示唆される．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T39
\addtocounter{table}{-1}
\begin{table}[t]
\input{13table39.tex}
\hangcaption{BERT-largeの\zeroshot および\tagsplit の時点の問題に関する混同行列．表中の数値は件数を示す．}
\label{tab:confusion_matrix_bert_tp}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


\hl{一方で，時点の問題はその全てが生成元テンプレートの正解ラベルが1種類の問題であるにも関わらず，\gptt と\gptf の\fewseen の精度が比較的低かった．
特に\gptt では，表\ref{tab:error_example_tp}に示すような正解ラベルが\contradiction の問題について，\neutral と誤って予測する事例が多く観察された．
これは，これらの生成モデルがプロンプトに記述された問題例を参照せずに推論を行う可能性があることを示唆している．}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T40
\begin{table}[t]
\input{13table40.tex}
\caption{時点に関する問題のエラー例．Prはモデルの予測ラベルを表す．}
\label{tab:error_example_tp}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%




\paragraph{区間}
区間に関する推論においても，時点に関する推論と同様に，BERT-largeの，\zeroshot とそれ以外の設定で大きな精度の差が見られた．
表\ref{tab:confusion_matrix_bert_interval}にBERT-largeの\zeroshot および\tagsplit の，区間の問題に関する混同行列を示す．
表から，区間の問題では\neutral だけでなく全てのラベルに関して再現率と適合率が上昇していることが見て取れる．
このことは，区間の問題では時点の問題と異なり，Fine-tuningによる知識獲得がモデルの性能向上の主要因であることを示唆している．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T41
\addtocounter{table}{-1}
\begin{table}[t]
\input{13table41.tex}
\hangcaption{BERT-largeの\zeroshot および\tagsplit の区間の問題に関する混同行列．表中の数値は件数を示す．}
\label{tab:confusion_matrix_bert_interval}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


\paragraph{直示時間副詞}
直示時間副詞においても，時点の問題と同様に，予測ラベルの分布の変化による精度の向上が見られた．
さらにエラー例を観察すると，BERT-large・\gptt と\gptf では異なるエラーの傾向が見られた．
表\ref{tab:error_example_anaphora}にそれぞれのエラー例を示す．
BERT-largeや\gptt のエラーは「昨日」が表す日付の特定に失敗していることに起因するのに対し，\gptf のエラーは前提文と関係のない日付を含む仮説文に対して\neutral と判定できないことに起因していることがわかる．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T42
\begin{table}[t]
\input{13table42.tex}
\hangcaption{直示時間副詞に関するエラー例．上段はBERT-largeおよび\gptt のエラーを，下段は\gptf のエラーを示している．Prはモデルの予測ラベルを表す．}
\label{tab:error_example_anaphora}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%




\paragraph{量化時間副詞}
量化時間副詞に関する推論では，BERT-largeの\tagsplit を用いたFine-tuningにおける精度が\zeroshot における精度よりも低下した．
結果を詳しく分析したところ，BERT-largeでは表\ref{tab:error_example}の上段に示すような否定を含まない問題と下段に示すような否定を含む問題の精度が大きく離れていることがわかった．
具体的には，否定を含まない問題の精度が90\%である一方，否定を含む問題の精度は0\%であった．
これは，BERT-largeが否定に関する知識を汎化できていないことを意味している．

\paragraph{アスペクト}
アスペクトに関する推論は，他の現象と比較すると全てのモデルで精度が低かった．
これは，\ours に含まれるアスペクトに関する問題では，文脈が不足しているために複数の解釈が考えられることに起因していると考えられる．
本研究では\hl{\ref{subsubsec:aspect_discrimination_flow}節や\ref{subsec:template_creation}節で述べた通り，最ももっともらしい解釈に基づいてアスペクトの判別や正解ラベルの付与を行っているため，}その他のあり得る解釈のもとでのラベルを予測した場合は不正解となる．
そのため，正解が一意に定まる他の現象よりも精度が低くなっていると考えられる．
今後の課題としては，複数の正解ラベルを許容することや，そのラベルに重み付けして評価することが挙げられる．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\setcounter{exx}{0}
\section{おわりに}
\label{sec:conclusion}
本研究ではテンプレートを用いたアプローチで日本語の時間推論データセット\ours を構築した．
\ours は推論パターンや語彙，サイズが制御可能であり，これにより言語モデルが時間推論をどの程度汎化できるかの詳細な分析が可能となった．
\ours を用いて分析を試みた結果，サイズが大きい識別モデルは時間単位の大小関係や時点間の順序の判定方法をある程度汎化できるが，時間推論パターンの汎化やサイズが小さい識別モデルの汎化性能には更なる改善の余地が残されていることが示唆された．
また，GPT-3.5やGPT-4といった高性能な生成モデルにとっても時間推論パターンの汎化，特に推論パターンの組み合わせを要する構成的汎化は課題であることが示された．

さらに，テンス現象ごとの結果を分析することで，モデルの予測の傾向や得意とする推論の種類，プロンプトが生成モデルの予測に与える影響が一部明らかになった．
\hl{具体的には，ほとんどのモデルにとって，推移律と対称性を組み合わせる必要のある時間的順序に関する推論が課題であることが示された．
また，識別モデルに関しては，BERT-largeにとって量化時間副詞と否定の組み合わせに関する推論の汎化が困難であることが示唆された．
生成モデルに関しては，対象問題と類似した問題をプロンプトに記述することがモデルの性能向上に寄与することが明らかとなった．
一方で，生成モデルがプロンプトに記述された問題例を参照せずに推論を行う事例も観察された．}

今後の課題としては，\ours を用いた言語モデルの更なる分析が挙げられる．
特に，生成モデルの予測の傾向や結果の解釈は重要な課題である．
この課題を解決するために，更なる予測結果の分析を行う予定である．
また，そのようにして得られた知見をもとに，モデルの時間推論能力の向上についても検討を行いたい．



%%% Acknowledgement %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本研究の一部は，JST さきがけ JPMJPR21C8の支援を受けたものである．



%%% Bibliography %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
    \bibliographystyle{jnlpbbl_1.7}
\bibliography{13refs}







%%% Biography %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{杉本　智紀}{
2022年東京大学理学部情報科学科卒業．2024年東京大学大学院情報理工学系研究科コンピュータ科学専攻博士前期課程修了．現在，株式会社pluszeroに所属．
}
\bioauthor{尾上　康雅}{
2023年テキサス大学オースティン校コンピューターサイエンス博士課程修了，同年よりGoogleに所属し，自然言語処理の研究に従事．博士．
}
\bioauthor{谷中　　瞳}{%
2018年東京大学大学院工学系研究科博士課程修了．同年より理化学研究所特別研究員，2021年より東京大学卓越研究員に採択され東京大学大学院情報理工学系研究科講師，2023年より同准教授．理化学研究所客員研究員を兼務．自然言語推論に関する研究に従事．博士（工学）．
}

\end{biography}


\biodate   %%%% 受付日の出力（編集部で設定します）

\end{document}
