\documentclass[japanese,other]{jnlp_3.5}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
\usepackage[dvipdfmx]{xcolor}
\usepackage{xspace}
%%%%\newcommand\bertbase{BERT$_{\small \textsc{BASE}}$\xspace}
    \newcommand\bertbase{BERT$_\mathrm{BASE}$\xspace}
%%%%\newcommand\bertlarge{BERT$_{\small \textsc{LARGE}}$\xspace}
    \newcommand\bertlarge{BERT$_\mathrm{LARGE}$\xspace}
%%%%\newcommand\robertbase{RoBERTa$_{\small \textsc{BASE}}$\xspace}
    \newcommand\robertbase{RoBERTa$_\mathrm{BASE}$\xspace}
%%%%\newcommand\robertlarge{RoBERTa$_{\small \textsc{LARGE}}$\xspace}
    \newcommand\robertlarge{RoBERTa$_\mathrm{LARGE}$\xspace}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{29}
\Number{2}
\Month{June}
\Year{2022}
%%%%\Issuetitle{「　　　　」特集号}


\setcounter{page}{711}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{JGLUE: 日本語言語理解ベンチマーク}
\jauthor{栗原健太郎\affiref{Author_1} \and 河原　大輔\affiref{Author_1} \and 柴田　知秀\affiref{Author_2}}

\etitle{JGLUE: Japanese General Language Understanding Evaluation}
\eauthor{Kentaro Kurihara\affiref{Author_1} \and Daisuke Kawahara\affiref{Author_1} \and Tomohide Shibata\affiref{Author_2}} 

\headauthor{栗原，河原, 柴田}
\headtitle{JGLUE: 日本語言語理解ベンチマーク}

\affilabel{Author_1}{早稲田大学}{Waseda University}
\affilabel{Author_2}{ヤフー株式会社}{Yahoo Japan Corporation}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

早稲田大学河原研究室とヤフー株式会社の共同研究で日本語言語理解ベンチマークJGLUE (Japanese General Language Understanding Evaluation)を構築した．本稿ではその背景・概要・今後の展望について述べる．詳細は言語処理学会第28回年次大会(NLP2022)で発表した論文 \cite{Kurihara2022}をご参照いただきたい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{背景}

近年，BERT \cite{devlin-etal-2019-bert}やT5 \cite{2020t5}，GPT-3 \cite{NEURIPS2020_1457c0d6}などの基盤モデル \cite{DBLP:journals/corr/abs-2108-07258}の進展が目覚ましい．
基盤モデルの進展にはGLUE \cite{wang-etal-2018-glue}のようなベンチマークでの網羅的評価が不可欠である．


種々のベンチマークは主に英語で構築されているが，フランス語のFLUE \cite{le-etal-2020-flaubert-unsupervised}や中国語のCLUE \cite{xu-etal-2020-clue}，韓国語のKLUE \cite{park2021klue}など，英語以外の言語でもベンチマークが整備されている．
では日本語ではどうだろうか．様々な機関からBERTなどのモデルは公開されており，それを評価するデータセットがいくつかあるものの，
GLUEのように整理されたベンチマークは存在せず，適切な網羅的評価が行うことができない．

「日本語にもベンチマークが必要」ということは数多くの人が認識していたと思うが，どの組織からも構築しようとする動きが見られなかったため，
早稲田大学河原研究室とヤフー株式会社の共同研究で2021年度より日本語版GLUE (JGLUE)の構築を開始した．JGLUEの構築にあたって以下の2つを基本理念とした．

\begin{enumerate}
\item 翻訳を介さず日本語のテキストで一から構築

英語のデータセットを翻訳することによって日本語のデータセットを構築することが考えられるが，
機械翻訳，人手翻訳のいずれにしても日本語における不自然さが残ってしまう．そこで日本語のテキストで一から構築する．

\item 一般ドメインのテキストで構築

JRTEコーパス \cite{hayashibe-2020-japanese}や運転ドメインQAデータセット \cite{takahashi-etal-2019-machine}は
それぞれホテルのレビュー，運転行動を対象としたデータセットであり，一般的なドメインの言語理解能力を測るのには向かない．そこで一般ドメインのテキストを用いてデータセットを構築する．
\end{enumerate}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{JGLUEの概要}

JGLUEはGLUEのタスクをなるべくカバーするように，タスク，ならびに，それぞれのタスクに含まれるデータセットを選定した．JGLUEの構成を表~\ref{tbl:jglue_overview}に示す．文章分類，文ペア分類，QAの3つのタスクから構成している．なお，文章分類タスクの一つであるJCoLA （日本語容認性判断データセット） \cite{Someya2022}
は東京大学大関研究室から提供される予定である．
以下では，各タスクのデータセットの概要を紹介する．各データセットの構築はクラウドソーシング\footnote{Yahoo!クラウドソーシング({\url{https://crowdsourcing.yahoo.co.jp/}})を用いた．}を用いて行った．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[b]
\begin{center}
\begin{tabular}{llrrr}
\hline
\multicolumn{1}{c}{タスク} & \multicolumn{1}{c}{データセット} & \multicolumn{1}{c}{train}  & \multicolumn{1}{c}{dev}   & \multicolumn{1}{c}{test} \\ \hline
文章分類 & MARC-ja & 187,528    &  5,654  & 5,639   \\ 
         & JCoLA \cite{Someya2022} & --- & --- & ---\\\hline
文ペア分類 & JSTS & 12,463 & 1,457 & 1,589 \\
           & JNLI & 20,117 & 2,434 & 2,508 \\\hline
QA & JSQuAD & 63,870 & 4,475 & 4,470   \\
   & JCommonsenseQA & 9,012  & 1,126 & 1,126 \\
                \hline
\end{tabular}
\end{center}
\caption{JGLUEの構成}
\label{tbl:jglue_overview}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{MARC-ja}
文章分類タスクとして，多言語商品レビューコーパスMARC (Multilingual Amazon Reviews Corpus) \cite{keung-etal-2020-multilingual}の日本語部分を用いてMARC-jaを構築した．
MARCは各商品レビューに対して1--5の5段階の商品評価が割り振られたデータセットであり，これに対して以下の変更を行った．
\begin{itemize}
    \item 5段階の分類タスクは人／システムの両者にとって難易度が高いことからpositive/negativeの2値分類タスクに変換
    \item レビューの内容と商品評価が乖離している事例が混在していることからクラウドソーシングによりラベルを修正（devとtestのみ）
\end{itemize}
表~\ref{tbl:marc-ja-examples}にMARC-jaのデータの例を示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[b]
\resizebox{\textwidth}{!}{%
\begin{tabular}{lcc}
\hline
\multicolumn{1}{c}{商品レビュー} & 5段階評価 & ラベル \\ \hline
色も履き心地も最高です。私の場合は夏場の船釣りに使っています。 & 5 & positive \\
何このSDカードデーター移せないしコマンドで調べたらエラー出るしこれはない & 1 & negative \\ \hline
\end{tabular}
}%
\caption{MARC-jaの例}
\label{tbl:marc-ja-examples}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{JSTS・JNLI}
文ペア分類タスクとして，意味的類似度計算(Semantic Textual Similarity, STS)データセットJSTSおよび自然言語推論(Natural Language Inference, NLI)データセットJNLIを構築した．2つのデータセットはどちらもYJ Captions Dataset \cite{P16-1168}のテキストを用い，クラウドソーシングで類似度ならびに推論関係を付与することにより構築した．表~\ref{tbl:jsts-jnli-examples}にJSTS・JNLIのデータの例を示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 3
\begin{table}[b]
\resizebox{\textwidth}{!}{%
\begin{tabular}{llcc}
\hline
\multicolumn{1}{c}{文1 / 前提文} & \multicolumn{1}{c}{文2 / 仮説文} & \multicolumn{1}{c}{類似度} & \multicolumn{1}{c}{推論関係}\\\hline
街中の道路を大きなバスが走っています。  & 道路を大きなバスが走っています。          & 4.4 & entailment\\
テーブルに料理がならべられています。    & テーブルに食べかけの料理があります。          & 3.0 & neutral\\
野球選手がバットをスイングしています。  & 野球選手がキャッチボールをしています。& 2.0 & contradiction\\ 
フリスビーをくわえた犬がいます。 &  建物の前にバスが一台停車しています。 & 0.0 & ---\\\hline
\end{tabular}
}%
\caption{JSTS・JNLIの例}
\label{tbl:jsts-jnli-examples}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{JSQuAD}
QAタスクとして，SQuAD \cite{rajpurkar-etal-2016-squad}の日本語版であるJSQuADを構築した．JSQuADは与えられた文章から問題の答えを抜き出して回答するスパン抽出型タスクで，SQuADと同様の手順でWikipediaの日本語記事を用いて構築した．図~\ref{fig:jsquad_example}にJSQuADのデータの例を示す．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{JCommonsenseQA}
QAタスクとして，CommonsenseQA \cite{talmor-etal-2019-commonsenseqa}の日本語版であるJCommonsenseQAを構築した．JCommonsenseQAは常識推論能力を評価するための5択QA問題である．CommonsenseQAと同様にConceptNet \cite{Speer_Chin_Havasi_2017}をシードとし，クラウドソーシング
を用いて構築した．図~\ref{fig:jcqa-example}にJCommonsenseQAのデータの例を示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1 and 2
\begin{figure}[b]
\begin{minipage}[t]{0.49\linewidth}
\footnotesize
\centering
\begin{tabular}{p{6.8cm}}\\\hline
[タイトル] 東海道新幹線 \\
1987年4月1日の国鉄分割民営化により、JR東海が運営を継承した。西日本旅客鉄道（JR西日本）が継承した \textbf{山陽新幹線}とは相互乗り入れが行われており、..。2020年（令和2年）3月現在、東京駅 - 新大阪駅間の所要時間は最速\textbf{2時間21分}、最高速度285km/hで運行されている。\\\hline
\vspace{-5mm}
\begin{tabular}{@{\ }l@{\ }p{5.9cm}} \\
質問： & 2020年、東京～新大阪間の最速の所要時間は\\
答え： & \textbf{2時間21分}\\
質問： & 東海道新幹線と相互乗り入れがされている路線はどこか？\\
答え： & \textbf{山陽新幹線}\\
\end{tabular}
\\\hline
\end{tabular}
\caption{JSQuADの例}
\label{fig:jsquad_example}
\end{minipage}
\begin{minipage}[t]{0.49\linewidth}
\footnotesize
\centering
\begin{tabular}{@{\ }l@{\ }l@{\ }}\\\hline
問題: & 会社の最高責任者を何というか？\\
選択肢: & 教師, 部長, \textbf{社長}, 部下, バイト\smallskip\\
問題: & スープを飲む時に使う道具は何？\\
選択肢: & \textbf{スプーン}, メニュー, 皿, フォーク, はし\\\hline
\end{tabular}
\caption{JCommonsenseQAの例（太字は正解を表す）}
\label{fig:jcqa-example}
\end{minipage}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{JGLUEを用いた基盤モデルの評価}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 4
\begin{table}[b]
\begin{center}
\begin{tabular}{lll}\hline
\multicolumn{1}{c}{モデル名} &   \multicolumn{1}{c}{基本単位} &  \multicolumn{1}{c}{事前学習テキスト} \\\hline
東北大 \bertbase $^\dagger$ & サブワード & 日本語Wikipedia \\
\footnotesize{(cl-tohoku/bert-base-japanese-v2)} & (MeCab + BPE) &  \\\hline
東北大 \bertbase （文字） & 文字 & 日本語Wikipedia \\
\footnotesize{(cl-tohoku/bert-base-japanese-char-v2)} & & \\\hline
NICT \bertbase & サブワード & 日本語Wikipedia \\
& (MeCab + BPE) & \\\hline
早稲田大 \robertbase & サブワード & 日本語Wikipedia + CC\\
\footnotesize{(nlp-waseda/roberta-base-japanese)} & (Juman++ + Unigram LM) & \\\hline
XLM-\robertbase $^\dagger$ & サブワード & 多言語CC \\
\footnotesize{(xlm-roberta-base)} & (Unigram LM) & \\\hline
\end{tabular}
\end{center}
\hangcaption{基盤モデルの詳細（モデル名の括弧内はhuggingface modelsでの名称を，``$^\dagger$''はそれぞれに対応するLARGEモデルも利用することを示す．事前学習テキストのCCはCommon Crawlを表す．）}
\label{tbl:pretrained_models}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 5
\begin{table}[b]
\begin{center}
\begin{tabular}{lccccc}
\hline
 & \multicolumn{1}{c}{MARC-ja} & \multicolumn{1}{c}{JSTS} & \multicolumn{1}{c}{JNLI} & \multicolumn{1}{c}{JSQuAD} & \multicolumn{1}{c}{\footnotesize{JCommonsenseQA}} \\
\multicolumn{1}{l}{モデル \hspace{4mm} $\backslash$ \hspace{4mm} 評価尺度} & \multicolumn{1}{c}{acc} & \multicolumn{1}{c}{Pearson/Spearman} & \multicolumn{1}{c}{acc} & \multicolumn{1}{c}{EM/F1} & \multicolumn{1}{c}{acc} \\ \hline
Human & 0.990 & 0.909/0.872 & 0.917 & 0.874/0.947 & 0.988 \\ \hline
東北大 \bertbase & 0.957 & 0.908/0.865 & 0.882 & 0.874/0.945 & 0.798 \\
東北大 \bertbase （文字） & 0.957 & 0.901/0.858 & 0.868 & 0.868/0.938 & 0.732 \\
東北大 \bertlarge & 0.961 & 0.912/0.869 & 0.884 & 0.881/0.950 & 0.810 \\
NICT \bertbase & 0.960 & 0.910/0.866 & 0.889 & \textbf{0.902/0.950} & 0.809 \\
早稲田大 \robertbase & 0.962 & 0.910/0.867 & 0.887 & 0.862/0.922 & \textbf{0.852} \\
XLM-\robertbase & 0.962 & 0.888/0.836 & 0.865 & --- & 0.721 \\
XLM-\robertlarge & \textbf{0.965} & \textbf{0.918/0.879} & \textbf{0.906} & --- & 0.830 \\ \hline
\end{tabular}
\end{center}
\caption{JGLUEにおけるモデルの評価結果 (test)}
\label{tbl:experimental_results}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

JGLUEを用いて，広く利用されている各種基盤モデル（表~\ref{tbl:pretrained_models}）の性能評価を行った．
各種モデルのスコアおよびヒューマンスコアを表~\ref{tbl:experimental_results}に示す．ヒューマンスコアについてはデータ構築と同様にクラウドソーシングを用いて算出した．モデルの性能について，以下のようにまとめることができる．
\begin{itemize}
    \item 全般的にはXLM-\robertlarge が最もよい．これはLARGEサイズであることと，事前学習のテキストとしてWikipediaよりも大規模なCommon Crawlを使っていることが考えられる．
    \item 基本単位について，サブワード単位と文字単位を比較すると一貫してサブワード単位の方が精度が高い．（東北大 \bertbase と東北大 \bertbase （文字）の行を比較のこと）
    \item JCommonsenseQAはWikipediaには記載されにくい常識的な知識を要求することから，Common Crawlを用いたモデルの精度が高い．
    \item JCommonsenseQA以外についてはベストなモデルは人間のスコアと同等または超えている．
\end{itemize}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

データセットの数としてはまだまだ十分ではないが，最低限のタスク／データセットをカバーし，JGLUEという形で整理した．これによってモデルの包括的な評価が可能となり，より良いモデルの構築や様々なデータセットの構築が進むことを期待している．JGLUEの第一版は2022年3月末に公開を予定しており（原稿執筆時点），フィードバックをいただけると幸いである．

今後はより難しいデータセットの構築や生成系タスクのデータセットの構築を行う予定である．
また，JCoLAのように他機関で構築されたデータセットはJGLUEに適宜取り込みたいと考えているので，ご連絡いただければ幸いである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.6}
\bibliography{25refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{栗原健太郎}{%
2021年早稲田大学基幹理工学部情報通信学科卒業．2022年現在同大学院修士課程在学中．
}

\bioauthor{河原　大輔}{%
1997年京都大学工学部電気工学第二学科卒業．1999年同大学院修士課程修了．
2002年同大学院博士課程単位取得認定退学．東京大学大学院情報理工学系研究
科学術研究支援員，独立行政法人情報通信研究機構主任研究員，京都大学大学
院情報学研究科准教授を経て，2020年より早稲田大学理工学術院教授．自然言語処理，知識処理の研究に従事．博士（情報学）．
}

\bioauthor{柴田　知秀}{%
2007年東京大学大学院情報理工学系研究科博士課程修了．京都大学大学院情報
学研究科助教，特定講師を経て，2019年よりYahoo! JAPAN研究所上席研究
員．専門は自然言語処理，特に深層学習を利用した日本語基礎解析．博士（情報理工学）．
}


\end{biography}



\end{document}



