\documentclass[japanese,other]{jnlp_3.7}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
\usepackage{array}
\usepackage{multirow}
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%\usepackage{xcolor}
%%%%\newcommand\bertbase{BERT$_{\small \textsc{BASE}}$\xspace}
    \newcommand\bertbase{BERT$_\mathrm{BASE}$}
%%%%\newcommand\bertlarge{BERT$_{\small \textsc{LARGE}}$\xspace}
    \newcommand\bertlarge{BERT$_\mathrm{LARGE}$}
%%%%\newcommand\robertbase{RoBERTa$_{\small \textsc{BASE}}$\xspace}
    \newcommand\robertbase{RoBERTa$_\mathrm{BASE}$}
%%%%\newcommand\robertlarge{RoBERTa$_{\small \textsc{LARGE}}$\xspace}
    \newcommand\robertlarge{RoBERTa$_\mathrm{LARGE}$}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{31}
\Number{2}
\Month{June}
\Year{2024}
%%%%\Issuetitle{「　　　　」特集号}

\setcounter{page}{733}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{「JGLUE: 日本語言語理解ベンチマーク」の経緯とその後}
\jauthor{栗原健太郎\affiref{Author_1}\affiref{Author_2} \and 河原　大輔\affiref{Author_1} \and 柴田　知秀\affiref{Author_3}}
\etitle{JGLUE: Japanese General Language Understanding Evaluation}
\eauthor{Kentaro Kurihara\affiref\affiref{Author_1}\affiref{Author_2} \and Daisuke Kawahara\affiref{Author_1} \and Tomohide Shibata\affiref{Author_3}} 
\headauthor{栗原，河原，柴田}
\headtitle{「JGLUE: 日本語言語理解ベンチマーク」の経緯とその後}

\affilabel{Author_1}{早稲田大学}{Waseda University}
\affilabel{Author_2}{現所属：株式会社AI Shift / 株式会社サイバーエージェント}{currently AI Shift Inc/ CyberAgent Inc}
\affilabel{Author_3}{ヤフー株式会社（現LINEヤフー株式会社）}{Yahoo Japan Corporation (currently, LY Corporation)}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

本稿では，言語処理学会2023年度最優秀論文賞を受賞した「JGLUE: 日本語言語理解ベンチマーク」（以降，原論文）について述べる．具体的にはJGLUE構築の経緯と概要，および，原論文採択後の取組みについて説明する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{本研究の経緯}
\label{sec:flow}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{本研究着手の背景}
\label{sec:flow:intro}

本研究に着手し始めた2021年度には，BERT \cite{devlin-etal-2019-bert}やT5 \cite{2020t5}，GPT-3 \cite{NEURIPS2020_1457c0d6}などの基盤モデル \cite{DBLP:journals/corr/abs-2108-07258}が進展していた．
基盤モデルの進展にはGLUE \cite{wang-etal-2018-glue}のようなベンチマークでの網羅的評価が不可欠である．
種々のベンチマークは主に英語で構築されているが，この時期には既に中国語\cite{xu-etal-2020-clue}の他，海外諸言語\cite{le-etal-2020-flaubert-unsupervised,park2021klue}でもベンチマークが整備されていた．
しかし日本語においては，様々な機関からBERTなどのモデルは公開されており，それを評価するデータセットがいくつかあったものの，
GLUEのように整理されたベンチマークは存在せず，適切な網羅的評価を行うことができなかった．

「日本語にもベンチマークが必要」ということは数多くの人が認識していたと思うが，どの組織からも構築しようとする動きが見られなかったため，早稲田大学河原研究室とヤフー株式会社（現LINEヤフー株式会社）の共同研究で日本語版GLUE (JGLUE)の構築を2021年4月より開始した．
JGLUEの構築にあたって次の2つを基本理念とした．

\begin{enumerate}
\item 英語データセットの翻訳による日本語データセットの構築が考えられるが，機械/人手翻訳のいずれも日本語における不自然さが残るので，日本語テキストで一から構築する．

\item 特定ドメインではなく，一般ドメインのテキストを用いてデータセットを構築する．

\end{enumerate}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{JGLUE公開と論文誌採択までの流れ}

まず，JGLUEの構築開始を対外的に周知するために，YANS2021にてJGLUEの全体構想と当時構築が完了していたJCommonsenseQAについての発表を行った．
YANS2021の後，2022年1月までに，東京大学大関研にて構築を進めていたJCoLAを除く4つのデータセットの構築を完了し，各種データセットの概要およびモデルの実験結果をNLP2022にて発表した．この成果が認められ，言語資源賞を受賞した\footnote{\url{https://www.gsk.or.jp/event/nlp2022-lra/}}．

また，NLP2022の発表内容に構築方法の詳細を追記した論文をLREC2022に投稿し，無事採択された．それに並行し，NLP2022での発表後，データセットを整備し2022年6月\footnote{\url{https://github.com/yahoojapan/JGLUE}}に公開した．
JGLUEの公開後，各種基盤モデルの性能に関する考察を加え，2022年9月に本論文誌に投稿し，無事採択されるに至った．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{原論文の概要}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{JGLUEの概要}

JGLUEは，表1の通り，GLUEのタスクをなるべくカバーするように，タスク，ならびに，それぞれのタスクに含まれるデータセットを選定した．
文章分類，文ペア分類，QAの3つのタスクから構成している．各データセットの構築はクラウドソーシング\footnote{Yahoo!クラウドソーシング({\url{https://crowdsourcing.yahoo.co.jp/}})を用いた．}を用いて行った．
本研究では大関研にて構築されたJCoLAを除く5つのデータセットを紹介する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[b]
\input{21table01.tex}%
\caption{JGLUEの構成}
\label{tbl:jglue_overview}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

文章分類タスクとして商品レビューに対するpositive/negativeの2値分類を行うMARC-ja，文ペア分類タスクとしてYJ Captions Dataset \cite{P16-1168}のテキストを基に収集した文ペアに類似度と推論関係を付与し，JSTS/JNLIを構築した．
QAタスクについては，英語版のデータセット \cite{rajpurkar-etal-2016-squad,talmor-etal-2019-commonsenseqa}の構築方法を踏襲してJSQuADとJCommonsenseQAを構築した．
各データセットの例を表~\ref{tbl:marc-ja-examples}, \ref{tbl:jsts-jnli-examples}，図\ref{fig:jsquad_example}, \ref{fig:jcqa-example}に示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[t]
\input{21table02.tex}%
\caption{MARC-jaの例}
\label{tbl:marc-ja-examples}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 3
\begin{table}[t]
\input{21table03.tex}%
\caption{JSTS・JNLIの例}
\label{tbl:jsts-jnli-examples}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1 and 2
\begin{figure}[t]
\noindent
\begin{minipage}[t]{210pt}
\input{21fig01.tex}%
\caption{JSQuADの例}
\label{fig:jsquad_example}
\end{minipage}
\hfill
\begin{minipage}[t]{201pt}
\input{21fig02.tex}%
\caption{JCommonsenseQAの例（\textbf{太字}は正解を表す）}
\label{fig:jcqa-example}
\end{minipage}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{JGLUEを用いた基盤モデルの性能評価}

JGLUEを用いて，当時広く利用されていた各種基盤モデルの性能評価を行った．
各種モデルのスコアおよび人間のスコアを表~\ref{tbl:experimental_results}に示す．人間のスコアについてはデータ構築と同様にクラウドソーシングを用いて算出した．
本結果より次のことが言える． 
(1) 早稲田大\robertlarge とXLM-\robertlarge の性能が全般的によい． 
(2) 基本単位については，サブワード単位の方が精度が高い（東北大 \bertbase と東北大 \bertbase （文字）の行を比較のこと）． 
(3) JCommonsenseQAはWikipediaには記載されにくい常識的な知識を要求することから，Common Crawlを用いたモデルの精度が高い． 
(4) JCommonsenseQA以外についてはベストなモデルは人間のスコアと同等または超えている．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 4
\begin{table}[t]
\input{21table04.tex}%
\caption{JGLUEにおけるモデルの評価結果 (test)}
\label{tbl:experimental_results}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{基盤モデルの適切な評価に向けて}

JGLUE (v1)の構築・公開によって，日本語基盤モデルの最低限の評価が可能になった．基盤モデルの適切な評価に向けて，以下では，「より難易度の高いデータセットの構築」と「生成系タスクの評価セット構築」について述べる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{より難易度の高いデータセットの構築}

JGLUE v1では，多くのタスクにおいて，モデルの精度が人間を越える，もしく
は，人間に近い精度を達成しており，言語理解能力を適切に測ることができな
いという問題がある．この問題を解決するためには，より高度な言語理解能力を問う
データセットを構築する必要がある．我々は，現状のJGLUEを改良，拡充する
ため，JGLUE v2の構築を進めており，以下の二つの取組みを行っている．

取組みの一つはJCommonsenseQA v2の構築である\cite{Kurihara2023}．現状のJCommonsenseQAにおいて，\robertlarge は 90.1\%の精度であり，すでに高い精度を達成している．
モデルにとって解きやすい要因の一つとして，誤り選択肢群に正解とほとんど関
連がないものが含まれることが挙げられる．図\ref{fig:jcqa-example}の例では，正解選択肢の「万
年筆」と「屋外」や「ムーン」はほとんど関連がない．この問題に対処するた
め，まず正解と類似している誤り選択肢をテキスト生成モデルで自動生成し，
次に生成された誤り選択肢候補の中からクラウドソーシングで適切な誤り選択
肢を選択することによって，より難易度の高いデータセットを構築した（図\ref{fig:jcqa-v2-example}）．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 3
\begin{figure}[t]
\begin{center}
\includegraphics{31-2ia21f3.pdf}
\end{center}
\caption{JCommonsenseQA v2の改良フロー}
\label{fig:jcqa-v2-example}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

もう一つの取組みは，日本語Natural Questions (JNQ)と日本語BoolQ
(JBoolQ)の構築である\cite{Uematsu2024}．JGLUE v1に含まれるJSQuADでは，質問をアノテータに作
成してもらうため自然な質問ではなく，annotation artifactsの問題が存在する．annotation artifactsとは，アノテー
ションによってデータセット内に生じてしまうパターンのことである．図\ref{fig:jsquad_example}の例では，質問「2020年，東京～新大阪間の最速の所要時間は」と文章中のスパン「2020年（令和2年）3月現在，東京駅 - 新大阪駅間の所要時間は最速」はほぼ同じ表現であり，難易度の低い質問になっていることが分かる．この問題に対処するため，検索エンジンの
日本語クエリログを利用することによって，人間の情報欲求から生じる自然な
質問からなる2種類のQAデータセットJNQおよびJBoolQを構築した．JNQは解答
が文書中のスパンや段落であるのに対し，JBoolQはyes/noである．JNQとJBoolQの例を図\ref{fig:JNQexample}に示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 4
\begin{figure}[t]
\begin{center}
\includegraphics{31-2ia21f4.pdf}
\end{center}
\caption{JNQとJBoolQの例}
\label{fig:JNQexample}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

JGLUEの他にも様々なベンチマーク構築の機運が高まりつつあり，多様かつ高度な言語理解能力を問うベンチマークの構築
が期待される．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{生成系タスクの評価セット構築}

JGLUE v1は，BERTやRoBERTaなどのエンコーダに基づくモデルに加えて，デコーダに基
づく大規模言語モデル(Large Language Model, LLM)の評価にも用いられてい
る．
しかし，JGLUE v1は分類タスクのみからなるため，その能力を適切に評価できない．

LLMの生成能力を評価するために，生成系データセットの構築が行われている．
日本語の生成系データセットとしては，Rakuda\footnote{\url{https://yuzuai.jp/benchmark}}，Japanese VicunaQA\footnote{\url{https://github.com/ku-nlp/ja-vicuna-qa-benchmark}}，
Japanese MT-Bench\footnote{\url{https://github.com/Stability-AI/FastChat/tree/jp-stable/fastchat/llm_judge}}などがある．これらは40～80問からなり，「時間管理能力
を向上させるにはどうしたらいいですか？」（Japanese VicunaQAの問題例）の
ような生成問題である．なお，Japanese MT-Benchは2ターンの対話からなる生成系データセットである．JGLUE v2においても，大規模かつ
マルチターンの生成系データセットを現在構築中である．

生成系データセットにおける大きな問題は評価の方法である．人手による評価は高コスト
であるので，自動評価が望ましい．GPT-4のような強力なLLMによる自動評価が
よく使われているが，Zhengら\cite{zheng2023judging}が指摘しているように，バイアスなど様々な問
題がある．

評価設定のあり方についても検討が必要である．従来の自然言語処理
では，データセットの一部を用いて訓練し，残りの部分を用いてテストする設
定（seen設定）が標準であった．昨今のLLM評価では，few-shot学習などによっ
て，訓練データを用いないunseen設定が標準になりつつあるため，設定を揃え
た評価，比較が重要である．また，LLMの入力であるプロンプトが生成結果に
対して敏感であり，この点の考慮も重要である．

以上のように，日本語LLMの適切な評価を可能にするために，分類系・生成系
データセットの改良・拡充や，評価設定の検討を含む多角的なアプローチが必
要である．JGLUE v1，v2の取り組みに加え，様々な組織・研究者との協働によっ
てこの問題が解決され，さらに性能の高いLLMが構築されるという好循環が回
ることを期待する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

基盤モデルの登場時に，日本語ベンチマークがないという危機感から研究を開始し，最終的に2023年度最優秀論文賞をいただけたことは大変光栄に思う．査読いただいた皆様，選考に携わってくださった編集委員の皆様，その他関係者の皆様に感謝申し上げる．また，JGLUEを利用し，様々なフィードバックをいただいた方々にも感謝する．
その後，大規模言語モデルの急速な進展により，4節で述べたような新たな課題が生じてきており，この課題解決に貢献できるよう，引き続き研究を続けていく所存である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本研究は早稲田大学河原研究室とヤフー株式会社（現LINEヤフー株式会社）の共同研究により実施した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{21refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{栗原健太郎}{%
2021年早稲田大学基幹理工学部情報通信学科卒業．2023年3月同大学院修士課程修了．同年4月より株式会社サイバーエージェントおよび株式会社AI ShiftでAIエンジニア/リサーチャーに従事．専門は自然言語処理．
}

\bioauthor{河原　大輔}{%
1997年京都大学工学部電気工学第二学科卒業.
1999年同大学院修士課程修了.
2002年同大学院博士課程単位取得認定退学.
東京大学大学院情報理工学系研究科学術研究支援員，独立行政法人情報通信研究機構主任研究員，京都大学大学院情報学研究科准教授を経て，2020年より早稲田大学理工学術院教授.
自然言語処理，知識処理の研究に従事.
博士（情報学）.
}

\bioauthor{柴田　知秀}{%
2007年東京大学大学院情報理工学系研究科博士課程修了．京都大学大学院情報学研究科助教，特定講師，Yahoo! JAPAN研究所上席研究員を経て，2023年10月よりLINEヤフー研究所上席研究員．専門は自然言語処理．博士（情報理工学）．
}

\end{biography}




\end{document}

