\documentclass[japanese]{jnlp_3.8}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{array}
\usepackage{hangcaption_jnlp}
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%\usepackage[dvipdfmx]{color}
%%%%\usepackage{amsmath}
%%%%\usepackage{amssymb}
%%%%\usepackage{fancybox}
%%%%\usepackage{ascmac}
%%%%\usepackage{caption}
%%%%\usepackage{subcaption}
%%%%\usepackage{url}
%%%%\renewcommand\UrlFont{\rmfamily}
%%%%\usepackage{multirow}
%%%%\usepackage{here}
%%%%\usepackage{setspace}
%%%%\usepackage{color}
\usepackage{booktabs}
\usepackage{gb4e}
\usepackage{cgloss4e}
%%%%\usepackage[subrefformat=parens]{subcaption}
%%%%\captionsetup{compatibility=false}
\usepackage{multirow}
%%%%\usepackage{tablefootnote}
%%%%\usepackage{hhline}
\noautomath
%%%%\input{macro.tex}
%%%%\newcommand{\memo}[1]{\textbf{\textcolor{red}{#1}}}
%%%%\newcommand{\CLtype}[2]{\underline{#1}$_{\text{#2}}$}
\newcommand{\zeroshot}{\textsc{zs}}
\newcommand{\fewshot}{\textsc{fs}}
\newcommand{\zeroshotcot}{\textsc{zs\_cot}}
\newcommand{\fewshotcot}{\textsc{fs\_cot}}
\newcommand{\sh}{\textsc{Sh}}
\newcommand{\oh}{\textsc{Oh}}
\newcommand{\nh}{\textsc{Nh}}
% \newcommand{\templatebased}{テンプレートベース手法}
% \newcommand{\corpusbased}{コーパスベース手法}
%%%%\newcommand{\nominative}{\textsc{nom}}
%%%%\newcommand{\dative}{\textsc{dat}}
%%%%\newcommand{\accusative}{\textsc{acc}}
%%%%\newcommand{\citative}{\textsc{cite}}
%%%%\newcommand{\wraptext}[1]{\begin{tabular}{l}#1\end{tabular}}
% \newcommand{\wraptext}[2][\linewidth]{%
% \begin{tabular}{p{#1}}#2\end{tabular}%
% }
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


\Volume{31}
\Number{3}
\Month{September}
\Year{2024}
%%%%\Issuetitle{「　　　　」特集号}


\received{2024}{2}{1}
\revised{2024}{5}{15}
\accepted{2024}{6}{24}

\setcounter{page}{1292}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{大規模言語モデルは文脈情報を踏まえて敬語を理解しているか}
\jauthor{関澤　　瞭\affiref{Author_1} \and 谷中　　瞳\affiref{Author_1}}
\jabstract{%
日本語を用いたコミュニケーションにおいて，敬語を正確に使用することは他者と良好な関係を保つ上で重要である．日本語敬語は，動詞の活用などの文法的な側面と，人物間の社会的関係といった文脈的な側面の両方を持つ．そのため，敬語を正確に理解した上で使用することは，計算機システムにとって文法規則の知識と文脈情報の理解の両方が必要となる挑戦的なタスクである．大規模言語モデルは日本語のタスクでも高い性能を見せることが知られているが，それらのモデルが文脈情報に応じて柔軟に敬語の文法規則を適用する能力を評価するためのデータセットは未だ提案されていない．本研究では，文脈情報を踏まえた敬語理解タスクとして，発話文の敬語使用に関する容認性判断タスクと，敬語変換タスクの2つを導入する．導入タスクに合わせて，文の構造や社会的関係を制御可能なテンプレート手法を用いて新規に日本語敬語データセットを構築する．また，既存の日本語敬語コーパスからサンプリングしたデータに追加情報をアノテーションすることで，より自然な文のデータセットを用意する．実験として，2つのデータセットを用いて，GPT-4に代表される大規模言語モデルの敬語理解タスクにおける性能を多角的に評価する．実験の結果，より複雑な統語構造を持つ文においては，モデルの敬語変換性能に改善の余地があることが示唆された．
\renewcommand{\thefootnote}{}
\footnote[0]{本論文の一部は，The 12th Joint Conference on Lexical and Computational Semantics (*SEM 2023) およびNLP若手の会 (YANS) 第18回シンポジウムにて報告したものである．}
\renewcommand{\thefootnote}{\arabic{footnote}}
}
\jkeywords{日本語敬語，大規模言語モデル，データセット構築}

\etitle{Do Large Language Models Understand Japanese Honorifics Based on Contextual Information?}
\eauthor{Ryo Sekizawa\affiref{Author_1} \and Hitomi Yanaka\affiref{Author_1}}
\eabstract{%
Using honorifics properly is essential for maintaining harmonious relationships with others when communicating in Japanese. Japanese Honorifics have both grammatical aspects (e.g., verb conjugation) and contextual ones (e.g., social relationships among people). Therefore, a precise understanding of honorifics is a challenging task for systems because it requires knowledge of grammatical rules and the ability to understand contexts. While large language models are known to perform well in Japanese tasks, no existing dataset has aimed to evaluate these models' performance of using Japanese honorifics flexibly according to contextual information. In this thesis, we introduce two honorific understanding tasks that require contextual information: an acceptability judgment task regarding the usage of honorifics and an honorific conversion task. We first construct a new Japanese honorifics dataset using a template-based method to generate data in a controlled way. We also sample the data from an existing Japanese honorifics corpus and annotate them with the additional information to evaluate the models with more natural data. Using our datasets, we then conduct experiments to evaluate the performance of large language models, including GPT-4, on the two tasks from multiple perspectives. Our experimental results demonstrated that the models still have room for improvement in sentences with complicated structures compared to the simpler ones in the honorific conversion task.
}
\ekeywords{Japanese Honorifics, Large Language Models, Dataset Construction}

\headauthor{関澤，谷中}
\headtitle{大規模言語モデルは文脈情報を踏まえて敬語を理解しているか}

\affilabel{Author_1}{東京大学}{The University of Tokyo}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}
\label{sec:introduction}

日本語敬語は，同じ内容を人物関係や場面に応じて表現形式を使い分ける待遇表現の一種であり，具体的には敬意や配慮を表現するための上向きの待遇表現であるとされる \cite{kijutsu2009japanese}．
敬語の使用には，適切な文法規則の適用と背景にある人物間の関係への理解の両方が求められる \cite{harada1976honorifics}．
日本語敬語のうち，文脈情報に応じて名詞・動詞・形容詞を規則に応じて変化させる尊敬語や謙譲語が存在する．
ここで，文脈情報としては，次の例が示すように，話者，聞き手，会話に登場する人々の間の社会的な関係についての情報がある．
\begin{exe}
    \ex 文脈情報：話者から見て佐藤先生は目上である．
    \begin{xlist}
        \ex 佐藤先生がお読みになる．\label{keigo_correct1}
        \ex 佐藤先生がいらっしゃった．\label{keigo_correct2}
        \ex[*]{佐藤先生がお読みする．}\label{keigo_wrong1}
    \end{xlist}
\end{exe}
\begin{exe}
    \ex 文脈情報：話者と佐藤先生は同僚である．
    \begin{xlist}
        \ex 佐藤先生が来なかった． \label{keigo_correct3}
        \ex[\#?]{佐藤先生がいらっしゃらなかった．} \label{keigo_wrong2}
    \end{xlist}
\end{exe}

自然言語処理のさまざまなタスクにおいて高い性能を持つ事前学習済み大規模言語モデルにも，文脈情報と文法知識の両方を活用して敬語を理解する能力が期待される．
しかし，大規模言語モデルがこれらの情報や知識をどの程度適切に扱うことができるかは明らかでない．


これまでに，日本語敬語を扱うデータセットは複数提案されている\cite{matsumoto2022conversion,liu2022construction,someya2023jcola}．
これらの先行研究におけるタスク設定は，文法的な情報のみを用いたタスクで言語モデルの敬語理解における性能を評価することを目的としており，敬体文の背景にある情報を考慮した上での分析は行われていない．

本研究では，複数のタスクとデータセットを用いて大規模言語モデルが文脈として文脈情報を考慮して敬語理解ができているかを分析する．
まず，発言文に関連する人物間の社会的立場や社会的関係についての文脈情報を入力に含めるような敬語理解タスクを導入する．
具体的には，敬語が関わる文の容認性判断タスクと，敬語使用が適切に考慮された文に変換する敬語変換タスクという2種類のタスクを設定する．
そして，導入したタスクを想定したデータセットを構築する．
一つ目のアプローチとして，文の構造や社会的関係といった設定の制御がしやすいテンプレート手法を用いて，新規に日本語敬語データセットを構築する．
また，より自然な文を用いたデータセットを用意するために，既存の日本語敬語コーパスからデータをサンプリングし，文脈情報や異なる敬語の種類を用いた文をアノテーションすることで拡張を行う．
最終的に，用意したこれらのデータセットを用いて，大規模言語モデルが社会的関係を考慮して敬語に関する容認性判断や敬語変換ができるかについて評価を行う．
本研究で構築および拡張を行ったデータセットは，研究利用可能な形でGitHub上で公開している\footnote{\url{https://github.com/ynklab/japanese_honorifics}}．
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[b]
\input{15table01.tex}%
\hangcaption{\protect\citeA{kijutsu2009japanese}による日本語敬語の分類．本研究では素材敬語（太字部分）を分析対象としている．}
\label{table:honorifics_classification}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\setcounter{exx}{0}
\section{背景}
\label{sec:background}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{日本語敬語の概要}
\label{sec:overview_japanese_honorifics}

日本語敬語は，話者が人物や話し言葉の状況に対して敬意やへりくだりを表現する方法として機能する \cite{kijutsu2009japanese}．
表~\ref{table:honorifics_classification}に示されているように，日本語敬語は既存研究では伝統的に尊敬語，謙譲語，丁寧語の三つのタイプに分けられる．
伝統的な分類において尊敬語は，ある動作を行う動作主に対する敬意を示すために使用され，謙譲語は，特定の人に対する話者のへりくだりを示すために用いられる．
また，丁寧語は，話者が聞き手や会話の状況そのものに対してかしこまった態度を表現するために使用される表現とされている．

一方，現代の分類では日本語敬語は5種類に分けられる\cite{kijutsu2009japanese,bunkacho2007shishin}．
以下，現代の日本語敬語の分類についてそれぞれ説明する．
\begin{exe}
  \ex[]{先生がお越しになる.（尊敬語）}\label{ex:subject_honorifics}
  \ex[]{今度（あなたの）お母様もお誘いします.（謙譲語）}\label{ex:object_honorifics}
  \ex[]{こちらが太郎です．（丁寧語）}\label{ex:polite_speech}
  \ex[]{雨が降っておりました．（丁重語）}\label{ex:courteous_language}
  \ex[]{ご参考まで．（美化語）}\label{ex:beafutification_language}
\end{exe}
\textbf{素材敬語}は，文中で言及された特定の人物（素材）に対する敬意またはへりくだりを示すために使用される．
そのうち，\textbf{尊敬語} ($\sh$, Subject Honorifics) は，伝統的な定義と同様，ある動作を行う素材に対する敬意の表明に使用される．
(\ref{ex:subject_honorifics})で，話者は教師に対する敬意を示すために「来る」の代わりに「お越しになる ($\sh$)」を用いている．
\textbf{謙譲語} ($\oh$, Object Honorifics) は，ある行為の向かう先である素材に対するへりくだりを表現する役割を持つ．
(\ref{ex:object_honorifics})では，話者は聞き手の母に対する遠慮を示すために「誘う」の代わりに「お誘いします ($\oh$)」を使用している．
一方，対者敬語は，話し言葉の聞き手に対する礼儀や敬意を表現するために使用される．
丁寧語は対者敬語に分類される．
(\ref{ex:polite_speech})では，話者は\textbf{丁寧形}（「です」）を\textbf{普通形}（「だ」）の代わりに使用している．
丁重語と美化語は，素材敬語と対者敬語の両方の側面を持っている．
これらは，物事や行為に対する敬意の表明と話者の品位を保つという両方の役割を果たす．
(\ref{ex:courteous_language})は丁重語の例で，「降っていました」が「降っておりました」に変換されている例である．
(\ref{ex:beafutification_language})は美化語の例で，名詞化された動詞「参考」に接頭辞「ご」が加えられ「ご参考」となっている．

本論文では，素材敬語に焦点を当て，大規模言語モデルの尊敬語および謙譲語を扱う能力を評価することを目指す．
対者敬語の要素を持つ丁寧語・丁重語・美化語 (\ref{ex:polite_speech}--\ref{ex:beafutification_language}) は，使用すべきか否かの判断が素材敬語と比べて主観的であり，評価方法の設計が困難である．
なお，尊敬語$\sh$や謙譲語$\oh$を含まない文を，以下$\nh$ (Non-Honorifics)と呼ぶ．
また，普通形から丁寧形への変換は本研究の焦点ではないため，すべてのデータを丁寧形で統一する．

以下，日本語敬語の性質と，それが大規模言語モデルにとって挑戦的なタスクたりうる背景を説明する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph*{社会的な関係}
日本語の敬語は，話者と他の人との関係がその使用に影響を与える待遇表現である．
\citeA{kijutsu2009japanese}は，敬語使用に関連する人物間の関係性として，階層関係（e.g., 年齢，職業），親密さ（e.g., 親族，友人），立場関係（e.g., 雇用者-被雇用者，教師-生徒）などを挙げている．
本研究では，文脈情報として上述したような社会的な関係についての情報を明示的に入力として含める敬語理解タスクを設計する．
大規模言語モデルが，社会的な上下関係を正しい敬語使用を行う上での前提知識として活用できるかは自明ではなく，検証の余地が残されている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph*{引用文と日本語敬語}

日本語では特に書き言葉において，誰かの発言や考えを引用する際のスタイルが敬語の選択に影響を与えることがある．
日本語の引用では，引用助詞「と」と引用動詞「言う/思う/考える」などが用いられる \cite{sunakawa1987citation}．
一般的には，\textbf{間接引用}と\textbf{直接引用}という2種類のスタイルが存在する \cite{yu2000directspeech}．
間接引用では，引用符を伴わずに引用が行われ，文全体の話者の視点に基づいた敬語が適用される．
一方で直接引用では，引用符（鉤括弧）内の引用された内容は，引用元の発言の話者の視点で表現される．
したがって，引用符内の発言文での敬語使用の判断は，文章全体の話者ではなく引用部分の話者の視点に基づいて行われる．

表~\ref{table:indicet_and_direct_speech}は，これらのスタイルの違いを具体的に示している．
間接引用の例では，敬称（-さん）を用い，「いらっしゃった」という尊敬語を使用することで，話者から太郎に対する敬意が表現されている．
対して，直接引用の例では，引用部分の発話者である花子は，発言の中で太郎に対して尊敬語を使うことはないため，引用符内の文にも敬語は使用されていない．
直接引用は，そのような発言を話者と太郎との関係性に関わらず発話時のスタイルのままで引用することを指す．
本研究の評価データには，これらの引用文におけるスタイルの使い分けを理解する必要がある問題が含まれ，大規模言語モデルに日本語に特有な知識への理解を要求するものとなっている．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[t]
\input{15table02.tex}%
\caption{日本語の直接引用と間接引用の例．}
\label{table:indicet_and_direct_speech}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{日本語敬語システム}
\label{sec:systems_for_japanese_honorifics}

既存研究として，敬語の誤用を指摘するシステムや，誤った敬語を正しいものに変換するルールベースの敬語システムが提案されている \cite{shrato2006keigo,asukai2015keigo,noguchi2007keigo,tokumaru2020biziri,iwashita2008keigo}．
これらルールベースのシステムは，敬語のさまざまな文法規則や文章の背景にある文脈情報の多様なパターンを網羅することは非常にコストがかかるという点で限界がある．
文法規則の面での例として，不規則なものを含む動詞敬語の活用規則に関する辞書を用意する必要があることが挙げられる．
\begin{exe}
\ex 規則活用（尊敬語）：買う$\rightarrow$お買いになる/買いなさる/買われる\label{ex:kau}
\ex 不規則活用（尊敬語）：来る$\rightarrow$*お来になる/来なさる/来られる/お越しになる\label{ex:kuru}
\end{exe}
(\ref{ex:kau})は，尊敬語の規則活用の一例を示している（\ref{sec:overview_japanese_honorifics}節を参照）．
例えば，「お買いになる」では，「買う」に接頭辞「お」と接尾辞「になる」が加えられている．
(\ref{ex:kuru})は，尊敬語の不規則活用の例である．
動詞「来る」は，(\ref{ex:kau})と同様「来なさる」「来られる」という規則活用を適用することが可能であるが，「お来になる」の場合非文法的となる．
代わりに，不規則活用形として「お越しになる」を尊敬語として使用することが可能である．

事前学習済み言語モデルは，敬語使用にまつわる文脈と規則の組み合わせパターン認識について，ルールベースシステムより高い表現力を有することが期待される．
しかし，日本語敬語に関するタスクでの大規模言語モデルの有用性は未だ明らかではない．
本研究では，大規模言語モデルの文脈情報に応じて敬語規則を柔軟に適用する性能の評価に焦点を当てる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{日本語敬語データセット}
\label{sec:japanese_honorific_datasets}

いくつかの既存研究が，敬語が関わるタスク設定で言語モデルの性能を評価するデータセットを提案している \cite{liu2022construction,someya2023jcola,matsumoto2022conversion}．
\citeA{liu2022construction}は，大規模な日本語敬語コーパスであるKeiCOコーパスを構築し，敬語文を入力として取り，その敬語レベルまたは文中に使用されている敬語の種類を判定する分類タスクを提案した．
表~\ref{fig:existing_datasets}の上部が，KeiCOコーパスの例である．
データには敬語レベル，敬語の種類，そして言語の使用される状況を示すフィールドがラベルとして与えられている．
KeiCOコーパスでは，各文には1から4の敬語レベルが割り振られている．
敬語レベル1が最も敬意の度合いが高く，4が最も低いことを意味する．
敬語の種類については，「尊敬語」は$\sh$，「謙譲語」は$\oh$，「丁寧語」はそれらを含まない丁寧形の文を意味する．
敬語レベル1および2の文には「尊敬語」または「謙譲語」のみが含まれ，レベル3の文には「丁寧語」のみが含まれる．
敬語レベル4の文は普通形であり，敬語は含まれていない．
また，\citeA{someya2023jcola}は，学術文献からさまざまな日本語の言語現象の用例を収集して，日本語容認性判断ベンチマークJCoLAを構築した．
表~\ref{fig:existing_datasets}の中央部にJCoLAのデータ例を示す．
「ラベル」列は，文が容認可能であるかそうでないかをそれぞれ1と0で表している．
JCoLAでは，尊敬語は主語-動詞一致のサブカテゴリとして扱われ，``verb. agr''列に1がラベリングされているものがこれにあたる．
これらの研究は，評価実験において日本語敬語の文法的側面に焦点を当てており，文脈情報を要求するタスク設定での実験は行っていない．
\citeA{matsumoto2022conversion}は，常体文を入力として敬体文を出力する敬語変換タスクを導入し，その評価用データセットを提案した．
また，タスク設定に際して，敬語変換タスクにおいて人物間の社会的関係に関する情報を考慮する必要性について言及している．
しかし，\citeA{matsumoto2022conversion}では人物間の社会的関係に関する情報を考慮した言語モデルの評価は行われていない．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 3
\begin{table}[t]
\input{15table03.tex}%
\caption{既存の日本語敬語データセットのデータ例．}
\label{fig:existing_datasets}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

これらの既存研究を踏まえると，言語モデルの性能を評価するための文法的知識と文脈情報の双方を要する敬語理解タスクのベンチマークは管見の限りは存在していない．
\citeA{someya2023jcola}の例のように，発言文自体に文脈情報を示唆する情報が統語的な要素として埋め込まれている場合は，発言文そのものから適切な敬語を予想することは可能である．
例えば，敬称\mbox{（-さん/}-先生など）がこのようなケースにあたる．
しかし，敬語種類の選択に影響を及ぼす文脈情報は必ずしも文自体には現れないため，入力として文脈情報を明示的に含めることで，より厳密に敬語理解能力を測るタスク設定となると考えられる．
本研究では，敬語に関する文法的知識に加えて，文脈情報を常に要求する敬語理解タスクを設計し，これらのタスクの日本語敬語データセットを構築する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\setcounter{exx}{0}
\section{データセット}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{敬語理解タスク}
\label{sec:honorific_understanding_tasks}

本研究では，大規模言語モデルの日本語敬語理解の評価を目的としたタスクとして，\textbf{容認性判断タスク}および\textbf{敬語変換タスク}を設定する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[b]
\vspace{-0.5\Cvs}
\begin{center}
\includegraphics{31-3ia15f1.pdf}
\end{center}
%%%%\label{fig:task_setting_classification}
%%%%\label{fig:task_setting_generation}
\caption{本研究で設定する2つの敬語タスクの図解．}
\label{fig:task_settings}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{容認性判断タスク}

尊敬語・謙譲語の選択は文章の容認性に影響を与える \cite{someya2023jcola}．
%%%%本研究では，図~\ref{fig:task_setting_classification}に示す容認性判断タスクを分類タスクとして導入する．
    本研究では，図~\ref{fig:task_settings}a に示す容認性判断タスクを分類タスクとして導入する．
容認性判断タスクは，発言文と付随する文脈を入力として，与えられた文章が敬語使用の観点から適切かどうかの二値ラベルを出力するタスクである．
本研究で導入するタスク設定と \citeA{someya2023jcola}の設定の違いは，本研究では入力内で明示的に文脈情報を提供しているのに対し， \citeA{someya2023jcola}ではモデルは与えられた発言文のみを用いて容認性を判断する必要がある点である．

以下に，同じ文脈の下での適切な敬語使用を含む文と不適切なものを含む文の例を示す．
\begin{exe}
        \ex 文脈：従業員からCEOへの発言．\label{ex:acceptability}
        \begin{xlist}
                \ex[]{いつごろお戻りになる/戻られる($\sh$)予定ですか？}\label{ex:acceptable}
                \ex[\#]{いつごろ戻る($\nh$)予定ですか？}\label{ex:acceptable_depending_on_context}
                \ex[*]{いつごろお帰りする/お戻りする($\oh$)予定ですか？}\label{ex:unacceptable}
        \end{xlist}
\end{exe}
(\ref{ex:acceptability})は，従業員がCEOにいつごろ戻るかを確認する発言である．
\#は談話上不適切で容認性が低いことを，*は非文法的であることを表す．
また，$\sh$，$\oh$，$\nh$は尊敬語を含む文，謙譲語を含む文，そのいずれでもない文をそれぞれ指す（\ref{sec:overview_japanese_honorifics}節を参照）．
(\ref{ex:acceptable})では，「お戻りになる/戻られる」に尊敬語が使われており，文脈に示される職位関係を考えると適切な選択である．
一方で，尊敬語を含まない (\ref{ex:acceptable_depending_on_context})や謙譲語を用いた(\ref{ex:unacceptable})は，職位が異なる二者感の敬意関係と整合性がとれず，従って不適切で容認不可能な文である．
(\ref{ex:acceptable_depending_on_context})は，追加の特定の文脈情報を提供することで，より容認度が高くなる可能性がある．
例えば，二者が長年の知り合いであり，仕事上の繋がりを超えた関係性を有している場合，尊敬語を使用しなくても問題とならない状況は想定しうる．
しかし，職務上の役割の違いの情報のみが与えられた場合は，(\ref{ex:acceptable})が(\ref{ex:acceptable_depending_on_context})より適切である．
本研究では，入力に含まれる文脈情報のみに基づいて，最善の選択であるかどうかをモデルに決定させる．
また，可能な限り正解ラベルについて議論の余地を残さないために，敬語使用に関する立場の差を説明したもの（e.g., AはBよりも目上の立場である）や，職位関係など固定的な人物関係（e.g., 恋人に対する発言である）を文脈情報として想定する．
「目上の」などの表現や人物関係の種類は，\citeA{bunkacho2007shishin,kijutsu2009japanese}をはじめとした日本語敬語についての複数文献を参考に，一般的なものを著者間で議論して選定している．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{敬語変換タスク}

より実用的な場面を考慮して，前節で説明した容認性判断タスクに加えて，敬語変換タスクを生成タスクとして導入する．
%%%%図~\ref{fig:task_setting_generation}はこのタスク設定を図解したものである．
    図~\ref{fig:task_settings}b はこのタスク設定を図解したものである．
モデルは文と文脈を入力として受け取り，正しい敬語使用を行うように変換した文を生成する．
 \citeA{matsumoto2022conversion}で提案された敬語変換タスクの設定と本研究で提案する設定には以下に述べるような主要な違いがある．
まず，容認性判断タスクと同様，入力には文脈を説明する文章が明示的に含まれている．
また， \citeA{matsumoto2022conversion}は常体文から敬体文へのスタイル変換を導入したが，今回の設定では入力には$\nh$からなる文だけでなく$\sh$ないし$\oh$を含む文も含まれている．
これには，(\ref{ex:acceptable_depending_on_context})から(\ref{ex:acceptable})への変換のような$\sh$もしくは$\oh$から$\nh$への変換や，(\ref{ex:unacceptable})から(\ref{ex:acceptable})への変換のような敬語の種類の変更が含まれる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{データセット構築}
\label{sec:dataset_construction}

前節で紹介された敬語タスクで大規模言語モデルの性能を評価するために，本研究ではテンプレート手法（\ref{sec:template_based_method}節）とコーパス手法（\ref{sec:corpus_based_method}節）の2つの手法を用いて日本語敬語データセットを構築する．
各提案手法には，それぞれ異なる利点が存在する．
まず，テンプレート手法では，制御された条件のもとで問題を生成することが可能になる．
これにより，大規模言語モデルを文構造や敬語の種類のパターンといった特定の基準に基づいて評価するためのデータが得られる．
一方で，コーパス手法の利点は，より自然で多様な文データを集めることができる点にある．
自然な文データを使用することは，大規模言語モデルが人間の実際の言語使用にどれだけ適合しているかを正確に評価することに繋がる．
さらに，多様な表現を含むデータセットを評価に使用することで，モデルの性能におけるバイアスを緩和することができる．

データセットの拡張性という点で，現状ではコーパス手法と比較してテンプレート手法が優れていると考えられる．
\ref{sec:corpus_based_method}節で後述するように，本研究におけるコーパス手法では，尊敬語ないし謙譲語を含む文とそうでない文をペアとして収集することが可能なコーパスを前提としている．
今回使用するKeiCOコーパスは，現在提案されている前述の条件を満たす言語資源の中では最大であるが，正しい尊敬語もしくは謙譲語を含む敬語レベル2のデータの総数が2046件であることを考えると，収集できるデータペアも必然的にそれ以下に限られることが分かる．
対照的に，テンプレート手法では，文テンプレートおよび関係性テンプレートの作成やプレースホルダーに埋め込む語彙の数を増やすことで，直接的にデータセットを拡張することが可能である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{テンプレート手法}
\label{sec:template_based_method}

本研究では，問題テンプレートを手動で作成し，プレースホルダーに語彙を埋めることによって，半自動的に日本語の敬語データセットを作成する．
図~\ref{figure:template_based_construction_method} は，テンプレートベースの構築手法の概要を表している．
各問題テンプレートには，関係性テンプレート，文テンプレート，敬語の種類の三要素が含まれる．
表~\ref{table:template_based_templates} には問題テンプレートの例が示されている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph*{関係性テンプレート}
関係性テンプレートは，話者 (\textit{speaker})，ある行為の動作主 (\textit{actor})，およびその行為の向かう先となる人 (\textit{target}) の間の社会的な立場関係を表現する．
たとえば，speaker=actor$<$target は，speakerがactorと立場上近い関係にあり，targetが両者より高い立場にあることを意味する．
このような場合，speakerとactorからtargetに対する敬意を反映するような発言を行うことが話者には求められる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph*{文テンプレート}
文テンプレートには，人物の名前と動詞のプレースホルダーが含まれる（e.g., actorがtargetにV）．
ここで，Vは動詞のプレースホルダを指す．
また，文テンプレートは，次の7種類の文構造のパターンを含む：
\newpage
%%%%\begin{minipage}{\textwidth}
\begin{itemize}
        \setlength{\itemsep}{0cm}
        \item \textsc{simple\_one}
        \item \textsc{simple\_two}
        \item \textsc{scrambling}
        \item \textsc{direct\_speech\&scrambling}
        \item \textsc{indirect\_speech\&scrambling}
        \item \textsc{direct\_speech\&center\_embedding}
        \item \textsc{indirect\_speech\&center\_embedding}
\end{itemize}
%%%%\end{minipage}
%%%%\par

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[t]
\begin{center}
\includegraphics{31-3ia15f2.pdf}
\end{center}
\caption{提案手法：テンプレートベースのデータセット構築}
\label{figure:template_based_construction_method}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\noindent
\textsc{simple\_one} は，一つの動詞と一つの人物の文を含む（e.g., AがV）．
\textsc{simple\_two} は，一つの動詞と二つの人物の文である（e.g., AがBにV）．
\textsc{scrambling} は，意味を保存したまま主語と目的語の順序が入れ替わるような\textbf{かき混ぜ}と呼ばれる統語現象を持ち，一つの動詞と二つの人物を含む文を指す（e.g., BにAがV）．
\textsc{scrambling\&direct\_speech} は，かき混ぜと直接引用の組み合わせで，二つの動詞と二つの人物からなる文である（e.g., 「BがV\_2」とAがV\_1）．
\ref{sec:overview_japanese_honorifics}節で説明したように，直接引用は，話者が他の人の発言を，発言時のままの表現で鉤括弧を用いて引用するスタイルである．
\textsc{scrambling\&indirect\_speech} は，かき混ぜと間接引用の組み合わせからなり，二つの動詞と二つの人物を含む（e.g., BがV\_2とAがV\_1）．
間接引用は，引用文が引用部分を含めて文全体の話者の視点から述べられるスタイルで，引用符は使用されない．
\textsc{center\_embedding\&direct\_speech} は，中央埋め込みと直接引用の組み合わせからなる文で，二つの動詞と二つの人物を含む（e.g., Aが「BがV\_2」と V\_1）．
\textbf{中央埋め込み}とは，節が他の節の主語と述語の間に埋め込まれるような統語現象である．
\textsc{center\_embedding\&indirect\_speech} は，中央埋め込みと間接引用の組み合わせからなる文で，二つの動詞と二つの人物を含む（e.g., AがBがV\_2とV\_1）．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 4
\begin{table}[t]
\input{15table04.tex}%
\hangcaption{問題テンプレートの例．\textsc{ds}は直接引用 (\textsc{direct\_speech})，\textsc{is}は間接引用 (\textsc{indirect\_speech})，\textsc{ce}は中央埋め込み (\textsc{center\_embedding})，\textsc{sc}はかき混ぜ (\textsc{scrambling}) を指す．}
\label{table:template_based_templates}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

上に登場した統語現象を選んだ理由として，それらが日本語の敬語における文法規則に関連する側面があることが挙げられる．
かき混ぜ文と中央埋め込みはいずれも文中の項の統語位置を操作するような言語現象であり，主語と動詞の一致が関わる尊敬語や，目的語が誰であるかが重要となる謙譲語を理解する上で，文の理解をモデルにとって挑戦的にすると考えられる．
直接引用と間接引用に関しては，引用符内の部分が，元の話者の視点で述べられているか，引用部分以外を含めた文全体の話者の視点で述べられているかにより，敬語の適用の可否に影響を受けるとされる（具体例は表~\ref{table:indicet_and_direct_speech}を参照）．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph*{敬語の種類}
作成された問題テンプレートは，文テンプレート内の動詞に対応する1つまたは2つの敬語の種類を持っている．
これらは，関係性テンプレートと文テンプレートを踏まえて，最も適切であると一意に定まる敬語の種類である．
$\sh$および$\oh$が，それぞれ尊敬語と謙譲語を持つ文に，$\nh$が尊敬語も謙譲語も必要としない文にラベリングされる．
文テンプレート内に二つの注目する動詞がある場合，テンプレートには二つの敬語の種類が与えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph*{問題の生成}
問題テンプレート内の動詞と人名のプレースホルダーに，ランダムに語彙を埋め込むことでデータセットを作成する．
語彙に関しては，本研究では23個の動詞と19個の人名を使用する．
動詞については，現代日本語書き言葉均衡コーパス(BCCWJ)において頻度が高く日常的に用いられると考えられるものを人手で選定した．
また，「盗む」のように通常敬語を適用することができないような動詞を除外した．
人名に関しては，2022年の日本で最も多い姓を上から選定した\footnote{\url{https://myoji-yurai.net/prefectureRanking.htm} （2024年2月2日にアクセス．）}．

問題を生成する流れとして，以下の流れで文脈文と発言文を生成する．
まず，関係性テンプレートのspeaker，actor，targetに対して，それぞれ別々の語彙を辞書からランダムで埋め込む．
そして，語彙を埋め込んだ関係性の等式・不等式表現を，用意された対応する自然言語文に変換することで，人物間の関係性を説明する自然言語文を生成する．
事前実験の結果，文脈情報は関係性テンプレートにある等式・不等式の形式よりも自然言語文としてプロンプトに入れた場合の方がタスクの性能が良かったため，このような変換を行っている．
次に，入力と出力に用いる発言文を，文テンプレートの人物名および動詞のプレースホルダに語彙を埋め込むことでそれぞれ生成する．
このとき，まず敬語的に最も適切な文を生成するために，問題テンプレートにラベリングされている敬語の種類を，埋め込む動詞に適用する．
また，敬語的に不適切な文を生成するために，文テンプレートに指定されていない敬語の種類を，埋め込む動詞に適用する．
最終的に，文脈情報の文，入力に使う発言文，そして出力に使う発言文を含む問題データを生成する．
%%%%表~\ref{table:generated_problems_template_based} に，
    表~\ref{table:generated_problems}a に，
テンプレート手法データセットが持つ問題データの例を載せる．

使用する語彙について，以下の2点が今後の課題として残されている．
まず，生成される問題の多様性を担保する目的で，使用する語彙の数量をより増やすことが求められる．
また，本研究では，名前に伴う「さん/先生/博士」といった敬称をランダムに割り振っているが，敬称間の一般的な上下関係や曖昧性について考慮できていない．
例えば，文脈として「加藤博士は山田教授の目上の立場である」という内容のものが生成される場合があるが，「加藤博士」の指すところが「博士学生」か「博士号を取得した教授」のいずれであるかによって，データとしての自然さが変わると考えられる．
敬称がもたらす曖昧性や敬称に関わる文脈の制御は，今後の課題とする．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 5
\begin{table}[t]
\input{15table05.tex}%
\hangcaption{作成した問題データの例．文脈と文を入力とし，正解の出力を予測させるタスクであることを示す．}
\label{table:generated_problems}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{コーパスベースの手法}
\label{sec:corpus_based_method}

コーパス手法によるデータセット構築の手順は以下の通りである：
\begin{enumerate}
        \item コーパスから文のペアを収集する．
        \item 各ペアに対して文脈情報と不適当な敬語を持つ文を作成して割り振る．
\end{enumerate}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph*{文ペアの収集}
KeiCOコーパス \cite{liu2022construction}からデータをフィルタリングし，以下の手順で敬語と$\nh$の文のペアを収集する（KeiCOコーパスについては表~\ref{fig:existing_datasets}を参照）．
まず，コーパスでラベル付けられた敬語レベルによって文をフィルタリングする．
\ref{sec:japanese_honorific_datasets}節で説明したように，KeiCOコーパスの敬語レベル1と敬語レベル2には，$\sh$または$\oh$を持つ文が含まれている．
敬語レベル1の一部のデータにおいて，二重敬語\cite{bunkacho2007shishin}と呼ばれる，同一種類の敬語が二重に適用されることで一般に過剰で不適切とされるような表現を含むことを発見したため，敬語レベル2のデータのみを使用することにした．
次に，会話の状況を表すフィールドによってフィルタリングを行う．
ここでは，「挨拶」や「謝罪」など，慣習的に用いられるようになったフレーズを持つ可能性があるフィールドをできるだけ除外した．
これは，固定化された表現は，人物関係に関わらず使用される可能性があり，本研究で設定するタスクでは評価が困難となるためである．
そして，フィルタリングで残った$\sh$を含む文および$\oh$を含む文に対して，意味的に対応する$\nh$を含む文を敬語レベル3のデータからパターンマッチで対応させ，それらを3つ組のデータ組としてまとめる．

収集した124件のデータ組を目視で確認して，マッチに失敗しているものや動詞敬語が含まれない文データ組を削除し，最終的に70件の文データ組を取得する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph*{文脈情報と不適当な敬語使用の文の作成}
収集した文のペアに対して，発言文に与える文脈情報とコーパスに含まれていない不適当な敬語使用を含む文を作成し，割り当てる．
文脈情報については，一方が他方と親しい関係にあるようなものと，一方が他方に敬意を示す必要があるようなものの2パターンを用意する．
前者は，恋人や親友などの関係を含み，後者は，生徒と教師の関係や，部下と上司の関係などを含む．
不適当な敬語使用を含む文については，もともと収集していた文について，誤った敬語の種類を適用した動詞に置き換えることで作成する．
例えば，文のペアが「何年ぶりに日本へ帰られる($\sh$) のですか？」と「何年ぶりに日本へ帰る($\nh$) のですか？」である場合，動詞「帰る」を置き換えて「何年振りにお帰りする ($\oh$) のですか？」\footnote{この例では，疑問文であることから主語が聞き手であるという推察と，「帰る」が自動詞であるという知識から，話者間の関係性に関わらず「お帰りする」という謙譲語が常に不正確となると判断することができてしまう．本研究では，問題で要求する文法的知識を動詞の敬語活用に限定して機械的に処理しているため，このような文が意図しない形で含まれる場合がある．このような場合については，著者の判断で許容あるいは除去を行っている．}を作成することができる．
容認性判断タスク用に$\sh$，$\oh$，$\nh$の3つの敬語の種類，および敬語変換タスク用に，3つの敬語変換のパターンを用意する．
例えば，コーパスから$\sh$をサンプリングした場合，一方が他方と親しい関係にあるような敬語使用を要求しない文脈においては$\sh\rightarrow\nh$，$\oh\rightarrow\nh$，$\nh\rightarrow\nh$の3パターンを，一方が他方に敬意を示す必要があり，対象の敬語使用を要求される文脈においては，$\sh\rightarrow\sh$，$\oh\rightarrow\sh$，$\nh\rightarrow\sh$の3パターンを用意する．
最終的に，一つの文のセット ($\sh$，$\oh$，$\nh$) につき，2種類の文脈情報のパターンを用いて計6つの問題を生成することができる．
%%%%表~\ref{table:generated_problems_corpus_based} に，生成された問題の例を示す．
    表~\ref{table:generated_problems}b に，生成された問題の例を示す．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{データセット統計}
\label{sec:dataset_statistics}

表~\ref{table:dataset_statistics}はテンプレート手法データセットとコーパス手法データセットのデータセット統計を示している．
テンプレート手法データセットについては，容認性判断タスク用に184問，敬語変換タスク用に230問を作成する．
問題データの数の違いは，敬語の種類のパターンの違いによるものである．
容認性判断タスクでは，テンプレートに元の文の敬語の種類がラベリングされており，敬語変換タスクでは，変換前と変換後の両方の文の敬語の種類がラベリングされている．
コーパス手法データセットについては，各タスクについて420問を作成する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 6
\begin{table}[t]
\input{15table06.tex}%
\caption{データセットの統計．}
\label{table:dataset_statistics}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{テンプレート手法データセットの定性的な品質評価}
テンプレート手法で生成されたデータセットの品質について，定性的な評価を行う．
分類タスクおよび生成タスクのデータからサンプリングした100件ずつについて，日本語文法を含む理論言語学の素養がある研究者2名が評価を行った結果，それぞれ95\%，92\%が自然であると判断された．
自然さに議論の余地があるとされた10件程度のデータのうち多くは，\ref{sec:template_based_method}節でも言及された，敬称が想起させる一般的な立場関係とのミスマッチによるものであった．
例えば，「加藤先輩はあなたと山田教授の目上の立場にあり，あなたと山田教授の敬意の対象です．」という文脈において，「加藤先輩に山田教授が感謝なさいます．」という敬語文が正しいとされている問題について，特別な文脈を設定しない限り，先輩は学生であり教授は先生を想起させ，問題として不自然ではないかといった指摘があった．    


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\setcounter{exx}{0}
\section{実験設定}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{モデル}
\label{sec:models}

本研究の実験では，GPT-3.5（\texttt{gpt-3.5-turbo-0613}\footnote{GPT-3.5の最新バージョンとしてリリースされていた\texttt{gpt-3.5-turbo-1106}が実験を行った時点で不安定であると報告されていたため，このバージョンを選択した．\url{https://community.openai.com/t/gpt-3-5-turbo-1106-is-very-slow/492450/24}}）およびGPT-4 (\texttt{gpt-4-1106-preview}) を評価対象とする．
Nejumi LLMリーダボード Neo\footnote{\url{https://wandb.ai/wandb-japan/llm-leaderboard/reports/Nejmi-LLM-Neo--Vmlldzo2MTkyMTU0} }で上位であることからも分かるように，両モデルは日本語タスクの総合的な性能において現状最も優れていることが選定理由として挙げられる．
これらのモデルは重みが公開されておらず，OpenAI API\footnote{\url{https://platform.openai.com/docs/guides/text-generation/chat-completions-api}}を通じてアクセス可能である．
出力内容の再現性を可能な限り維持するため，推論段階で温度パラメータを0に設定する．
その際，後述する各設定に対して試行を1度行う．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{プロンプト設定}
\label{sec:prompt_settings}

プロンプトベースの推論を行う際に大規模言語モデルが出力する内容は，プロンプト指示文の構成方法に大きく依存する．
実験では，4種類の異なるプロンプト設定を準備した：$\zeroshot$（zero-shotのみ），$\fewshot$（few-shotのみ），$\zeroshotcot$（zero-shotとChain-of-Thought），および$\fewshotcot$（few-shotとChain-of-Thought）．
図~\ref{fig:classification_prompt_examples}と図~\ref{fig:generation_prompt_examples}は，容認性判断タスクおよび敬語変換タスクのそれぞれのプロンプト設定で使用された実際のプロンプト文の例を示している．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 3
\begin{figure}[p]
\begin{center}
\includegraphics{31-3ia15f3.pdf}
\end{center}
\hangcaption{容認性判断タスクで用いたプロンプトの例．\text{[Task description]}には表\ref{table:task_description_types}で説明したタスク説明文が入る．\text{[Omitted]}はタスク事例が省略されている．}
\label{fig:classification_prompt_examples}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 4
\begin{figure}[p]
\begin{center}
\includegraphics{31-3ia15f4.pdf}
\end{center}
\hangcaption{敬語変換タスクで用いたプロンプトの例．\text{[Task description]}には表\ref{table:task_description_types}で説明したタスク説明文が入る．\text{[Omitted]}はタスク事例が省略されている．}
\label{fig:generation_prompt_examples}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph*{タスク説明文の種類}
タスク説明文の表現や単語の順序による影響を減らすため，各設定に対して2種類のタスク説明文を用いて個別の評価実験を行い，それぞれのスコアの平均を最終スコアとして採用する．
表~\ref{table:task_description_types}は，コーパス手法データセットでの容認性判断タスクで使用されたプロンプト文を示している．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph*{zero-shot/few-shot}
大規模言語モデルに推論をさせる際，プロンプトに少数のタスク事例を含めることで性能が向上することが知られている \cite{brown2020gpt3}．
$\zeroshot$は，モデルにタスクの説明のみを与えるzero-shot設定である．
$\fewshot$は，モデルにタスクの数例を与えるfew-shot設定である．
$\fewshot$では，問題パターンが異なり，正解ラベルがバランスよく分布した4例が用いられている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph*{Chain-of-Thought}
Chain-of-Thought (CoT) \cite{wei2023chainofthought}は，算数，常識，論理推論といった複雑な推論を要求するとされるタスクで，思考過程を最終的なタスクの解答に先立って出力させることでLLMの性能を向上させるプロンプト手法である．
CoTは日本語LLMおよび日本語タスクにおいてもその有用性が示されている \cite{horio2023japanesecot}.
敬語タスクを一種の多段推論問題と見なした時，CoTが大規模言語モデルの性能を向上させる可能性がある．
例えば，敬語理解における思考過程を以下のステップに分割することを考える：
\begin{enumerate}
  \item 話者と聞き手の間の社会的関係を把握する．
  \item 文中で言及されている行為の動作主および向かう先が誰であるかを特定する．
  \item 社会的関係に基づいてこれらの動詞に何らかの敬語を適用する必要性を検討する．
\end{enumerate}

$\zeroshotcot$および$\fewshotcot$は，前述した$\zeroshot$および$\fewshot$それぞれの設定にCoTが適用されたものである．
本研究では，CoTプロンプトの構築方法について\citeA{kojima2022cot}を参照した．
$\zeroshotcot$では，入力テキストに「思考過程を出力した上で」というフレーズを含め，「順を追って考えてみましょう」というフレーズで終わることで，モデルが最終的な出力に続いて思考過程を出力するようにした．
$\fewshotcot$では，$\zeroshotcot$でモデルが出力した思考過程を説明するテキストを参照し，few-shot事例として含めるための思考過程を手動で作成した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{評価指標}
\label{sec:evaluation_metrics}

容認性判断と敬語変換の両タスクにおける評価指標として，正解率 (Accuracy) スコアを計算する．
敬語変換タスクでは，文全体の完全一致ではなく，対象としている全ての動詞の活用パターンが想定解と一致していれば正解と判断する．
テンプレート手法データセットに見られるような複数の対象となる動詞が含まれている問題では，モデルに全ての動詞を変換することを求める．
また，句読点の追加など，動詞の活用以外のモデルが加えた変更は評価の際は考慮しない．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 7
\begin{table}[t]
\input{15table07.tex}%
\hangcaption{コーパス手法データセットでの容認性判断タスクで使用された2種類のタスク説明文．下線部の表現は$\zeroshotcot$の設定でのみ加えられる．}
\label{table:task_description_types}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{母語話者の判断の収集}
\label{sec:testing_human_performance}

本研究で構築した敬語理解データセットの問題が母語話者にとってどの程度判断が難しいかを測定するため，クラウドソーシングサービスのランサーズ (Lancers)\footnote{\url{https://www.lancers.jp/}}で募った作業者3名にモデルと同じ問題への取り組みを依頼し，予測を収集する．
日本語の母語話者である作業者にサンプル問題への取り組みを依頼することで，尊敬語・謙譲語を含め日本語敬語の基本的な理解を持っていることを確認する．
また，タスク設定を事前に明確にするため，作業者には予めガイドラインと各タスクのサンプル問題を提供する．
実際に使用したガイドライン文を付録~\ref{appendix:guidelines_for_human_evaluation}に載せる．

各作業者は合計1254件の問題に取り組む（件数の内訳は表~\ref{table:dataset_statistics}を参照）．
作業の専門性については，母語話者としての基本的な日本語敬語への理解のみを要求するようにし，学術その他の専門性を必要としないようにした．
これを踏まえ，データ1件あたりのコストを10円と設定して作業者あたりのコストを12,540円と算出したのち，作業時間を約10時間と見積もり，時間給換算でプラットフォーム基準では十分不当な報酬額ではないことを確認した．
最終的に手数料を含めた総コストは45,258円（作業者あたり15,086円）となった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\setcounter{exx}{0}
\section{結果と考察}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{容認性判断タスクの結果}
\label{sec:result_acceptability_judgment}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{結果の概要}
\label{sec:acceptability_judgment_overall_scores}

表~\ref{table:scores_classification}は，容認性判断タスクの結果を示している．
全ての設定の中で，GPT-4は$\fewshotcot$を用いた場合，両方のデータセット（テンプレート手法データセットで77.4\%，コーパス手法データセットで81.8\%）で最も良い性能を示した．
$\fewshotcot$を用いることで，GPT-4のスコアと人手の予測によるスコアの差は2\%から7\%となった．
モデル間で比較すると，GPT-4は全てのプロンプト設定でGPT-3.5のスコアを少なくとも13\%上回った．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 8
\begin{table}[b]
\input{15table08.tex}%
\hangcaption{容認性判断タスクにおける正解率のスコア．Humanは3人の作業者による予測の平均スコアを表す．}
\label{table:scores_classification}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

両モデルで$\fewshot$がその他の設定と比較してあまり性能改善に寄与しない傾向にある一方で，$\fewshotcot$は比較的スコアの向上に貢献しているという違いを観測した．
%%%%表~\ref{table:scores_classification_templatebased}では，
    表~\ref{table:scores_classification}a では，
GPT-3.5が$\fewshot$での性能が$\zeroshot$ (53.8\%) よりも低い (49.0\%) ことが示されている．
%%%%表~\ref{table:scores_classification_corpusbased}では，
    表~\ref{table:scores_classification}b では，
GPT-4についても同様の傾向が見られる（$\zeroshot$で77.8\%，$\fewshot$で74.8\%）．
一方，$\fewshotcot$でのスコアは$\zeroshotcot$よりも高かったが，テンプレート手法データセットでのGPT-3.5については例外であった．
これらの結果から，思考過程を含めたタスク事例が，思考過程を含めないタスク事例よりもモデルの性能に効果的に働いたことが示唆される．
両モデルでのzero-shotを含めたCoTの貢献度合いに関して比較すると，GPT-4はCoTを用いることで一貫してスコアを伸ばしたが，GPT-3.5は必ずしもそのような傾向は見られなかった．
このことから，GPT-4はGPT-3.5よりもCoTをうまく活用している可能性が高いことが分かる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{敬語の種類別の結果}
\label{sec:acceptability_judgment_sentence_honorific_types}

%%%%図~\ref{fig:classification_starsem_source_honorific_types}は，
    図~\ref{fig:classification_source_honorific_types}a は，
テンプレート手法データセットを用いた容認性判断タスクの問題ごとの敬語の種類におけるスコアを示している．
以降，モデル単位でのスコアの比較を行う際，4つのプロンプト設定のスコアの平均を用いる（各プロンプト設定によるスコアについては付録~\ref{appendix:accuracy scores_on_prompt_settings}を参照）．
GPT-3.5とGPT-4を比較した際，GPT-4は$\oh$や$\nh$を含む問題でより優れていることが観察された．
例えば，GPT-3.5は$\zeroshotcot$および$\fewshotcot$で，丁寧形になっているだけの「聞きます」が「聞く」の尊敬語であると誤って思考過程で予測したり，「伺います ($\oh$)」が尊敬語であると予測したりした．
GPT-4はこれらの敬語の種類を正しく区別し，そのような場合に正解を予測した．
この結果は，GPT-4が訓練段階で「尊敬語」や「謙譲語」といった専門用語の定義をより正確に学習した可能性があることを示唆している．
しかし，GPT-4が$\sh$を含む問題でGPT-3.5より低いスコアを記録していることから，複雑な構造の文章でのそれらの違いを完全にとらえることができると結論づけるのは困難であると考える．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 5
\begin{figure}[p]
\begin{center}
\includegraphics{31-3ia15f5.pdf}
\end{center}
%%%%\label{fig:classification_starsem_source_honorific_types}
%%%%\label{fig:classification_nlyans_source_honorific_types}
\hangcaption{敬語の種類別の容認性判断タスクの正解率スコア．$\nh$は尊敬語も謙譲語も使用していない動詞を表す．また，テンプレート手法データセットには複数の動詞を含む問題が存在する．}
\label{fig:classification_source_honorific_types}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%図~\ref{fig:classification_nlyans_source_honorific_types}は，
    図~\ref{fig:classification_source_honorific_types}b は，
コーパス手法データセットを用いた容認性判断タスクの敬語の種類ごとのスコアを示している．
GPT-3.5からGPT-4への全体的な改善が観察された．
尊敬語($\sh$)を含む問題で最も顕著にスコアが改善された．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{文構造別の結果}
\label{sec:acceptability_judgment_structure_types}

図~\ref{fig:classification_starsem_structure_types_template_based}は，テンプレート手法データセットを用いた容認性判断タスクにおける文構造の種類ごとのスコアを示している．
GPT-4は，特に\textsc{simple\_one}や\textsc{direct\_speech}を含む問題でGPT-3.5よりも良いスコアを記録した．
GPT-3.5からGPT-4への\textsc{scrambling}におけるスコアの改善度合いは10\%未満にとどまっていたが，\textsc{direct\_speech}\&\textsc{scrambling}や\textsc{indirect\_speech}\&\textsc{scrambling}においては，それを大きく上回り，最大で50\%に達した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 6
\begin{figure}[t]
\begin{center}
\includegraphics{31-3ia15f6.pdf}
\end{center}
\caption{文構造別の容認性判断タスクの正解率スコア．}
\label{fig:classification_starsem_structure_types_template_based}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

テンプレート手法データセットは，モデルが文構造を捉えるのが困難となるような統語現象を踏まえて作成されている．
そのため，\textsc{direct\_speech}\&\textsc{scrambling}のような複雑な文構造の組み合わせを含む問題では，\textsc{simple\_one}や\textsc{simple\_two}に比べて両モデルの性能が低下すると想定していた．
しかし，予想に反し，GPT-3.5は複雑な文構造を含む問題において，より単純なものに比べてスコアが大幅に低下するような傾向は，容認性判断タスクにおいては見られなかった．
GPT-4に関しては，\textsc{simple\_one}でのスコアは複雑な構造を含むものよりも10\%以上高かった．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 9
\begin{table}[t]
\input{15table09.tex}%
\hangcaption{敬語変換タスクにおける正解率のスコア．Humanは3人の作業者による予測の平均スコアを表す．}
\label{table:scores_generation}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{敬語変換タスクの結果}
\label{sec:result_honorific_conversion}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{結果の概要}
\label{sec:honorific_conversion_overall_scores}

表~\ref{table:scores_generation}は，敬語変換タスク全体のスコアを示している．
%%%%表~\ref{table:scores_generation_templatebased}によると，
    表~\ref{table:scores_generation}a によると，
CoTはテンプレート手法データセットを用いたテストでは一貫して性能向上に寄与しなかった．
特筆すべき点として，GPT-4による最も良いスコアが，人手予測によるスコアを3.2\%上回ったことが挙げられる．
このスコアは，作業者別で見た時，3人中2人の作業者を上回っていることが分かる（表~\ref{table:scores_human}参照）．
%%%%表~\ref{table:scores_generation_corpusbased}から分かるように，
    表~\ref{table:scores_generation}b から分かるように，
コーパス手法データセットを用いた場合は，容認性判断タスクと同様に$\fewshotcot$が性能向上に大きく貢献している．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{敬語の種類別の結果}
\label{sec:honoric_conversion_honorific_types}

%%%%図~\ref{fig:generation_starsem_source_target_types}において，
    図~\ref{fig:generation_source_target_types}a において，
GPT-3.5からの全体的なスコアの向上にもかかわらず，GPT-4は変換後の文の敬語の種類が$\nh$\&$\sh$ ($\oh$\&$\nh$$\rightarrow$$\nh$\&$\sh$，$\sh$\&$\nh$$\rightarrow$$\nh$\&$\sh$，$\sh$\&$\sh$$\rightarrow$$\nh$\&$\sh$) である問題をほとんど正解できなかった．
%%%%この傾向は，図~\ref{fig:classification_starsem_source_honorific_types}の容認性判断タスクの結果と部分的には一致しているが，
    この傾向は，図~\ref{fig:classification_source_honorific_types}a の容認性判断タスクの結果と部分的には一致しているが，
完全には一致していない．
GPT-4による$\sh$\&$\sh$のスコアは最も低かったが，$\oh$\&$\nh$および$\sh$\&$\nh$のスコアは他のほとんどの敬語の種類よりも高かった．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%% fig. 7
\begin{figure}[p]
\begin{center}
\includegraphics{31-3ia15f7.pdf}
\end{center}
%%%%\label{fig:generation_starsem_source_target_types}
%%%%\label{fig:generation_nlyans_source_target_types}
\hangcaption{敬語の種類別の敬語変換タスクの正解率スコア．$\nh$は尊敬語も謙譲語も使用していない動詞を表す．また，テンプレート手法データセットには複数の動詞を含む問題が存在する．}
\label{fig:generation_source_target_types}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

表~\ref{table:error_oh_nh_to_nh_sh}は，$\oh$\&$\nh$$\rightarrow$$\nh$\&$\sh$の問題でGPT-4が誤った予測をした例を示している．
文脈情報によると，斎藤は話者よりも社会的地位が高く，中村はその二人よりもさらに高い．
この例において，モデルは二つの異なる点で予測を誤っている．
一つ目は，「伺います ($\oh$)」という斎藤の行為を表す動詞の変換である．
中村の考えを引用している引用符で囲まれた部分に「伺います」が来ている．
直接引用では，元々の発話者である中村の視点から敬語使用の判断がなされているはずである．
一方，中村は斎藤よりも高い社会的地位を持っているため，斎藤の行為に敬語を適用することはなく，従って動詞は「来ます ($\nh$)」であるべきである．
しかし，モデルはこれを尊敬語形の「お越しになります ($\sh$)」に変換した．
二つ目の誤りとして，中村の行動「思います」を尊敬語形に変換する代わりに，元の文に全く含まれていない引用動詞「おっしゃる ($\sh$)」を挿入している．
この変換により，誤った予測の文では「思います」の行為者が話者になってしまい，文の意味が元のものと異なるものになっている．
この不要な「おっしゃる」を追加する特定のエラーは，プロンプト設定に関係なく発生していることを確認した．
これを受けて，引用符と引用動詞「おっしゃる」が「思いになります」のような他の引用動詞よりも，事前学習や微調整で用いられたデータにおいて頻繁に共起する可能性があると考えた．
また，他の可能性として追加学習でのタスク設定にも影響を受けていることが考えられる．
モデルそのものについての更なる調査は，本研究のスコープを超えるため，今後の課題に残す．

%%%%図~\ref{fig:generation_nlyans_source_target_types}
    図~\ref{fig:generation_source_target_types}b%
\footnote{コーパス手法データセットの敬語変換問題について敬語の種類ラベルの分布に偏りが発生しているのは，コーパスから収集した70件の文セットのうち，元々コーパスにあった敬語文が$\sh$であるようなデータが47件，$\oh$であるようなデータが23件であることに起因する（詳細なデータ生成手順は\ref{sec:corpus_based_method}節にて説明）．}において，$\oh$$\rightarrow$$\nh$でのスコアはGPT-3.5からGPT-4で明らかに伸びている．
GPT-3.5の予測をさらに調査すると，「ご迷惑をおかけします（迷惑をかける-$\oh$）」や「お願いします（お願いする-$\oh$）」などの謙譲語表現が，$\nh$に変換されるべき場面で変換されずに残ることがよくあった．
これらのタイプの誤りは，GPT-4による予測ではあまり観察されず，そのような場合においてGPT-4のスコアはGPT-3.5よりも10\%高かった．
これを受けて，これらの$\oh$表現は，日常会話で頻繁に使用されることから親しい関係の相手との会話でもしばしば使用されるのではないかと考えた．
\citeA{bunkacho2007shishin}は，「これ，お願いします」という表現が，場合によっては日本人の話者にとって十分な敬意を表していないことがあるというケースを紹介しており，上述の予想を部分的にサポートしていると言える．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 10
\begin{table}[b]
\input{15table10.tex}%
\hangcaption{$\oh$\&$\nh$$\rightarrow$$\nh$\&$\sh$の問題におけるGPT-4のエラー事例．動詞の敬語変換がうまくいっていないことに加えて，下線部に示すように不要な引用動詞を挿入してしまっている．}
\label{table:error_oh_nh_to_nh_sh}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 8
\begin{figure}[b]
\begin{center}
\includegraphics{31-3ia15f8.pdf}
\end{center}
\caption{文構造別の敬語変換タスクの正解率スコア．}
\label{fig:generation_starsem_structure_types_template_based}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{文構造別の結果}
\label{sec:honorific_conversion_structure_types}

図~\ref{fig:generation_starsem_structure_types_template_based}では，敬語変換タスクにおける入出力文の文構造の種類に関する正解率のスコアが示されている．
まず，単純な構造を持つ問題は，複数の言語現象が合わさった問題よりも敬語変換がうまくいくことが観察された．
これは容認性判断タスクでは特に確認されなかった傾向である（図~\ref{fig:classification_starsem_structure_types_template_based}を参照）．
次に，GPT-4は$\fewshotcot$を用いることで，ほぼ全ての文構造の種類において一貫して性能が低下した（図~\ref{fig:appendix:generation_starsem_structure_types_template_based}の右グラフを参照）．
$\fewshotcot$を用いたGPT-4の性能の低下の傾向は，敬語変換タスク全体でより一貫していた（図~\ref{fig:appendix:generation_starsem_structure_types_template_based}の右グラフを参照）．これは，容認性判断タスクにおけるそれ（図~\ref{fig:appendix:classification_starsem_structure_types_template_based}の右グラフを参照）と比べると，顕著であると言える．
この現象が特定の文構造の種類に限定されていないことから，原因の一つにプロンプトの構築，特にfew-shot事例にある可能性が残されている．
few-shot事例の数やラベルパターンなど，プロンプト設定がモデルの性能に与える影響をより詳細に調査することは重要であると考えられるが，本実験ではCoTに用いるプロンプトを追加で作成するのは非常にコストがかかるため，今後の課題として残す．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{母語話者の判断に関する分析}
\label{sec:further_analysis_of_human_annotation}

容認性判断タスクは二値分類であるため，作業者の回答ラベルの一致度スコアをFleiss's kappa \cite{fleiss2013statistical}を用いて計算し，作業者による予測の妥当性を測定した．
スコアはテンプレート手法データセットで0.35，コーパス手法データセットで0.55であり，\citeA{landis1977measurement}によれば適度な一致度であったといえる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 11
\begin{table}[b]
\input{15table11.tex}%
\caption{作業者3名それぞれの敬語理解タスクでの正解率スコア．}
\label{table:scores_human}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 12
\begin{table}[b]
\input{15table12.tex}%
\caption{作業者\#2の予測が他の作業者およびデータセットのラベルと異なった問題の例．}
\label{table:worker2_example}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

表~\ref{table:scores_human}は，二つのタスクにおける各作業者の結果を示している．
作業者\#2によるスコアは他の二人の作業者に比べて比較的低かった．
作業者\#2は，社会的関係に基づく尊敬語の使用の必要性を一貫して判断していなかった．
例えば，表~\ref{table:worker2_example}はコーパス手法データセットにおける問題で，秘書が教授に話す場面を示している．
作業者\#1と\#3は，一般的に秘書はそのような状況で敬語を使うべきであると判断し，動詞「伝える」を謙譲語形「お伝えする」に変換した．
一方，作業者\#2は，この例では変換は不要と判断した．
追加の聞き取りにより，作業者\#2は「伝える」と「お伝えする」の両方を受け入れているが，「伝える」をより好ましいと選んだことが分かった．
すなわち，この作業者は他の二人と同様に社会的関係を理解していたが，関係以外の何らかの要因が選択に影響を与えたと考えられる．
このケースが示すように，コーパス手法データセットにおける文脈情報を学術文献に基づいてアノテートしたが，敬語使用に関する人間の判断は非常に主観的であり，人によって変動する．
この問題に対処するため，容認性の度合いを多段階に設計するか，離散的ではなく連続的な値として扱うことが今後の課題として残されている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{テンプレート手法データセットでの敬語変換タスク}
作業者のスコアのうち，特に低かったテンプレート手法データセットを用いた敬語変換タスクでの結果について，分析を与える．
まず，作業者\#2および作業者\#3に共通する傾向として，直接引用文を含む問題での正答率が低く出た．
直接引用文を含む問題について，作業者\#1は多くを解けているという点と，ガイドラインで示しているものの一件のみの解説であった点を踏まえると，タスク説明の解釈で作業者間に揺らぎがあったことが原因であると考えた．
また，作業者それぞれでも特有の誤りが見られた．
作業者\#2に特有な誤りとして，「お伺いする」「お会いになられる」「お召し上がりになる」など二重敬語表現や，「承知する」という謙譲語を尊敬語として使うケースが見られた．
作業者\#3に特有な誤りとして，「分かる」「考える」の尊敬語として「ご賢察する」という表現が見られた．
「ご賢察」自体は尊敬語ではある一方，「ご賢察の上」「ご賢察の程」といった名詞表現として使われることが一般的であると判断し，評価の際に誤りとした．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{作業者と大規模言語モデルによる誤りの比較}
作業者と大規模言語モデルの誤りについて，定性的な比較を行い，共通点と相違点を報告する．
敬語変換タスクにおいて最もスコアが高かったGPT-4による出力のうち，「ご承知です」「ご承知になります」など「承知」を謙譲語以外の敬語として使ってしまうミスは，一部の作業者と共通していた．
一方で，作業者とモデルで異なる点として，人間の作業者は勘違いや間違えて覚えている敬語の知識があった場合，一貫して同じ間違いをするが，モデルは各問題を解く際のCoTでの説明において「拝察する」を尊敬語とみなす時と謙譲語とみなす時が両方あるなど，知識について一貫しない傾向が顕著に見られた．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

本論文でははじめに，日本語敬語理解タスクとして分類タスクの容認性判断タスクと生成タスクの敬語変換タスクを設定した．
また，テンプレート手法およびコーパス手法を用いて，2種類の日本語敬語データセットを用意した．
次に，これらのデータセットを用いて，2つのタスクでGPT-3.5とGPT-4の評価を行った．
実験の結果，容認性判断タスクにおいて，GPT-4の方がGPT-3.5よりも正答率が高く，GPT-3.5は他の問題に比べて謙譲語を含む問題でより多く間違える傾向にあることが示唆された．
また，テンプレート手法データセットを用いた敬語変換タスクで評価した結果については，GPT-4は3人の作業者のうち2人の正解率と競合していた．
さらに，GPT-4はGPT-3.5よりもChain-of-Thoughtを用いたプロンプティングを効果的に活用することがわかった．
このように，GPT-4は全体的には敬語理解タスクにおいて一定の性能があることが明らかになったが，一部の設定では改善の余地が示唆された．
具体的には，敬語変換タスクにおいて，直接引用と中央埋め込みを含む問題を始めとして，複雑な文構造の組み合わせからなる文を持つ問題で，モデルが文脈を理解した上で文法規則を適用するのに失敗する傾向を確認した．
また，GPT-3.5とGPT-4のいずれも，プロンプトの設定によって一貫した性能を示すわけではないことが分かった．

最後に，本研究の今後の展望について述べる．
まず，本研究では日本語敬語の役割として敬意の表明という主たる機能を前提としたが，実際には敬語が待遇表現として持つ機能は他にも存在する．
例えば，相手との心理的距離を表現したり，皮肉や反語のニュアンスを伝えるために用いられる場合がある．
このような敬意を離れた敬語使用の側面についても，今後の研究で取り扱うことが望まれる．
また，本研究では分析対象としてGPT-3.5とGPT-4を選定したが，今後もさまざまな大規模言語モデルが継続的に登場することが予想される．
本研究で構築したベンチマークが，より広範な大規模言語モデルの日本語敬語理解性能の評価に貢献することが期待される．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本研究の一部は，JSPS科研費JP20K19868，JSTさきがけ JPMJPR21C8の支援を受けたものである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
%%%%\bibliography{15refs}
\input{15sekizawa_bbl.tex}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\appendix

\section{Guidelines for Human Evaluation}
\label{appendix:guidelines_for_human_evaluation}

図\ref{fig:appendix:guideline}に，クラウドソーシングで募った作業者に作業を依頼するにあたって作成した作業内容の説明とタスク設定のガイドラインを載せる．
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 9
\begin{figure}[p]
\begin{center}
\includegraphics{31-3ia15f9.pdf}
\end{center}
\caption{作業者向けに用意したタスク設定を説明するガイドライン．}
\label{fig:appendix:guideline}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{プロンプト設定別の正解率スコア}
\label{appendix:accuracy scores_on_prompt_settings}

%%%%本文にて図\ref{fig:classification_starsem_source_honorific_types}から
    本文にて図\ref{fig:classification_source_honorific_types}a から
図\ref{fig:generation_starsem_structure_types_template_based}にかけて示したグラフを，プロンプト設定ごとに分けたものを図\ref{fig:appendix:classification_starsem_source_honorific_types}から図\ref{fig:appendix:generation_starsem_structure_types_template_based}に載せる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 10
\begin{figure}[h]
\begin{center}
\includegraphics{31-3ia15f10.pdf}
\end{center}
\hangcaption{敬語の種類別のテンプレート手法データセットを用いた容認性判断タスクの正解率スコア（プロンプト設定別）．}
\label{fig:appendix:classification_starsem_source_honorific_types}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 11
\begin{figure}[h]
\begin{center}
\includegraphics{31-3ia15f11.pdf}
\end{center}
\hangcaption{敬語の種類別のコーパス手法データセットを用いた容認性判断タスクの正解率スコア（プロンプト設定別）．}
\label{fig:appendix:classification_nlyans_source_honorific_types}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\newpage
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 12
\begin{figure}[t]
\begin{center}
\includegraphics{31-3ia15f12.pdf}
\end{center}
\caption{文構造別の容認性判断タスクの正解率スコア（プロンプト設定別）．}
\label{fig:appendix:classification_starsem_structure_types_template_based}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\clearpage
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 13
\begin{figure}[p]
\begin{center}
\includegraphics{31-3ia15f13.pdf}
\end{center}
\hangcaption{敬語の種類別のテンプレート手法データセットを用いた敬語変換タスクの正解率スコア（プロンプト設定別）．}
\label{fig:appendix:generation_starsem_source_target_types}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\clearpage
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 14
\begin{figure}[t]
\begin{center}
\includegraphics{31-3ia15f14.pdf}
\end{center}
\hangcaption{敬語の種類別のコーパス手法データセットを用いた敬語変換タスクの正解率スコア（プロンプト設定別）．}
\label{fig:appendix:generation_nlyans_source_target_types}
\end{figure}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 15
\begin{figure}[t]
\begin{center}
\includegraphics{31-3ia15f15.pdf}
\end{center}
\caption{文構造別の敬語変換タスクの正解率スコア（プロンプト設定別）．}
\label{fig:appendix:generation_starsem_structure_types_template_based}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{関澤　　瞭}{%
2022年東京大学文学部人文学科英語英米文学専修課程卒業．2024年東京大学大学院情報理工学系研究科コンピュータ科学専攻修士課程修了．株式会社サイバーエージェントにてアプリケーション開発に従事．
}

\bioauthor{谷中　　瞳}{%
2018年東京大学大学院工学系研究科博士課程修了．同年より理化学研究所特別研究員，2021年より東京大学卓越研究員に採択され東京大学大学院情報理工学系研究科講師，2023年より同准教授．理化学研究所客員研究員を兼務．自然言語推論に関する研究に従事．博士（工学）．
}

\end{biography}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\biodate







\end{document}

