\documentclass[japanese,other]{jnlp_3.3}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
%%%%\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks


\Volume{28}
\Number{4}
\Month{December}
\Year{2021}
%%%%\Issuetitle{「　　　　」特集号}

\received{2005}{1}{2}
\revised{2006}{3}{4}
\rerevised{2006}{5}{6}
\accepted{2006}{7}{8}

\setcounter{page}{1319}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{Evaluating Evaluation Measures for Ordinal Classification and Ordinal Quantification}
\jauthor{酒井　哲也\affiref{Author_1}}
\etitle{Evaluating Evaluation Measures for Ordinal Classification and Ordinal Quantification}
\eauthor{Tetsuya Sakai\affiref{Author_1}} 

\headauthor{酒井}
\headtitle{Evaluating Evaluation Measures for Ordinal Classification and Ordinal Quantification}

\affilabel{Author_1}{早稲田大学}{Waseda University}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{なぜACL-IJCNLP 2021?}

私は普段ACM SIGIR （情報検索のSpecial Interest Group）のコミュニティで活動しており，
筆頭（というより単著）でACLに論文を投稿したのは今回が初めてではないかと思います．
なおIJCNLPには2005年（第2回IJCNLP）にやはり評価指標に関する論文を投稿し，バッサリ斬られた記憶があります．
今回ACL 2021に投稿した理由は3つあります．(1)~SIGIR 2021のプログラム委員長を務めており，自分が筆頭の論文を同会議に投稿するのは避けたかったため．(2)~ACL 2020でordinal classificationタスク（後述）のための評価指標を提案した論文が発表され，
ACLでこのような論文が受け入れられる余地があると悟ったため．（IJCNLP 2005のトラウマを16年目にして克服．）
(3)~本研究で扱ったordinal classificationおよびordinal quantificationタスク（後述）は，
情報検索タスクというよりも，SemEval\footnote{\url{https://semeval.github.io/}}や対話関係のタスクなど，自然言語処理の範疇であるものが多いため．

幸い，今回は無事論文が採録されました．この経験を糧に，今後は学生らとともにコミュニティを横断した研究を進められればいいなと思っております．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{なぜ「評価指標の評価」?}

私は「評価指標の評価」に関する研究を沢山やってきました．我ながら地味な研究だなあとは思いますが，
評価指標の設計および選択は，研究の根幹をなす「メタな研究」であり，大変重要です．
あるタスクにおいて，システムがどれくらい望ましい挙動を示しているか，
システムAとシステムBではどちらがより望ましいか，
これを決めるのが評価指標だからです．
もし不適切な評価指標（例えば我々が目指すシステムを正当に評価できないもの）がコミュニティで用いられていると，
コミュニティの研究全体がおかしな方向に行ってしまう可能性もあります．
繰り返しますが，評価指標に関する研究は大変重要です．

以下，本題に入ります．本研究では，ordinal class （順序的クラス）を扱う2つの形態のタスクを扱っています．
伝統的な文書分類タスクでは，与えられた記事を「政治」「社会」「スポーツ」などのクラス（カテゴリ）に分類することなどを考えますが，
このときのクラスはnominal （名義的）です．すなわち，クラス間の順序という概念がありません．
これに対し，
例えば与えられたツイートを「非常にポジティブ」「ポジティブ」「ニュートラル」「ネガティブ」「非常にネガティブ」
に分類するタスクは，ordinal classificationタスクであるといえます．

なぜordinal classを扱う場合に特別な評価指標が必要なのでしょうか．
名義的クラスを扱う従来の評価指標をそのまま流用することは適切でしょうか．
答えはNOです．何故NOであるかは，上記のツイート分類タスクにおいて，
あるツイートの正解ラベルが「非常にポジティブ」であるにも関わらず
「非常にネガティブ」と分類してしまう「大外し」システムAと，
「ポジティブ」と分類してしまう「おしい」システムBを考えれば明らかです．
名義的クラスを扱う評価指標では，
システムAもシステムBも共に「不正解」であり，
システムBの挙動のほうがより好ましいという事実が数値化できません．
これではordinal classificationを行うシステムをうまくチューニングすることも，正当に評価することも
難しいでしょう．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{Ordinal Classificationタスクに適した評価指標}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[b]
\begin{center}
\includegraphics{28-4ia24f1.pdf}
\end{center}
\caption{Ordinal classificationタスクのテストトピックの例とその混同行列の一部．}
\label{f:oc}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

図~\ref{f:oc}を用いてordinal classification （以下OC）のタスク仕様を説明します．
この例はSemEval-2017 Task~4 Subtask~C \cite{SemEval:2017:task4}などを参考に作りました．
OCタスクでは，$n$個の評価用トピックを用いてシステムを評価します．
このうちのひとつが図中に示した``Ariana Grande'' （米国の歌手名）であると考えてください．
システムには，各トピックに付随する$N$個の事例（ここではツイート）が与えられます．
一般に，$N$の値はトピック毎に異なります．
図中では，簡単のために，1番目，2番目，および$N$番目のツイートのみについて，
それぞれがある特定のシステムによりどのクラスに分類されたか，また各ツイートの真のクラスが
何であるか，混同行列により示しています．
具体的には，2番目のツイートの真のクラスはNeutralであり，
システムがこれを正しくNeutralに分類できたことが対角線上の「1」により示されています．
一方，1番目と$N$番目のツイートの真のクラスはHighly Positiveですが，
このシステムはこれらをPositiveに分類しています．おしいです．
この図からわかるように，
OCタスクでは，各事例が混同行列の対角線上に載るか否かではなく，
各事例が対角線からどれだけ離れたセルに載るかを考慮して評価する必要があります．
なお，各トピックに対応する混同行列より算出された評価値は
最終的に$n$個得られるので，
通常は評価値の平均によりシステムの優劣が議論されます．

上記の性質を満たす評価指標に，
Weighted $\kappa$，Krippendorff's $\alpha$，
SemEvalで用いられたMAE$^M$およびMAE$^\mu$，
ACL2020で提案されたCEM$^{\it ORD}$ \cite{amigo20}，
があります．
ただし，このうちMAE$^\mu$はclass imbalance （正解が特定のクラスに大きく偏った状況）をうまく扱えません．
これに対し，その他の指標は，正解の分布の偏りによらず
全てのクラスの重要性を同等と見なして評価を行うことができます．

私の論文では，上記のものに限らず，混同行列から計算できる評価指標を
以下の3つの観点から比較しました．第一に，全ての評価指標の対について
システム順位の順位相関をもとめ，似た挙動を示す評価指標を調べました．
第二に，評価用トピック集合をランダムに2分割することを繰り返し，
各評価指標のシステム順位がトピックの顔ぶれにどれだけ依存するか，
すなわちデータの選定に対する頑健性を調べました．
第三に，各評価指標について，判別能力 (discriminative power) を調べました．
これは，全システム対の統計的検定を行った場合の $p$-value の系列を求めることにより，
各指標が実験から結論を導くのにどれほど役に立つかを調べるものです \cite{sakai15book}．
検定にはランダム化Tukey HSD検定 \cite{sakai18book}を用いました．

SemEvalの2つのデータセットを用いた実験結果をもとに，
私の論文ではOCタスクに適した評価指標として
Weighted $\kappa$とKrippendorff's $\alpha$を推奨しています．
ただし，$\kappa$には弱点があります．
それは，SemEvalのように「常にHighly Positiveに分類するシステム」や
「常にNeutralに分類するシステム」のような複数のベースラインがある場合，
$\kappa$はこれらのいずれに対しても全てのトピックについて0点を与えてしまう点です．
この性質は$\kappa$の定義式から簡単に証明できます．
SemEvalではMAE$^M$がOCタスクの評価に用いられてきましたが，
私の実験では，この指標は頑健性と
判別能力の観点から
$\kappa$や$\alpha$に及びませんでした．
ACL2020にて提案されたCEM$^{\it ORD}$についても同様でした．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{Ordinal Quantificationタスクに適した評価指標}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[tb]
\begin{center}
\includegraphics{28-4ia24f2.pdf}
\caption{Ordinal quantificationタスクのテストトピックの例と正解分布・推定分布．}
\label{f:oq}
\end{center}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

図~\ref{f:oq}を用いてordinal quantification （以下OQ）のタスク仕様を説明します．
この例はSemEval-2017 Task~4 Subtask~E \cite{SemEval:2017:task4}などを参考に作りました．
評価用トピックが$n$個あり，
各トピックに$N$個の事例（ここではツイート．一般に$N$はトピック毎に異なる．）
があり，各事例に真のクラスが付与されているところまではOCタスクと同じです．
こちらもやはり$n$個の評価値の平均によりシステムに優劣を議論します．
違いは，図中のgold distribution （真の分布）で示したように，
個々の事例がどのクラスに属するかは問題にせず，
事例がクラス上にどのように分布しているか，
すなわち各クラスにいくつの事例が属するかのみを問題にする点です．
すなわち，OQタスクを解こうとするシステムには，
この真の分布を推定することが求められます．
このような形態のタスクとしては，上記SemEvalタスクの他にも
対話破綻検出チャレンジ（雑談対話中のシステムの各発話が「対話破綻」「対話破綻の可能性あり」「対話破綻なし」のいずれであるかに関して，複数の判定者が付与したラベルの分布を推定する） \cite{YuikoTsunomori2020DSI-G}や
NTCIRのDialogue Evaluationタスク（ヘルプデスク対話に対し複数の判定者が付与した5段階の対話品質スコアの分布を推定する） \cite{zeng20}などがあります．
個人的には，複数の判定者のラベルを多数決などによりひとつに集約してしまうのではなく，
個々の判定者の観点を真の分布という形で保持した上でシステム評価を行うOQタスクのようなアプローチは，
今後重要性が増すと考えています．

さて，OQタスクの評価には真の分布と推定分布との比較が必要となりますが，
よく知られたMean Absolute Error （平均絶対誤差）や
Jensen-Shannon Divergence などの評価指標
をこの場合に用いることは適切でしょうか．答えはNOです．
これらの指標は，真の分布と推定分布のずれを各クラスについて求め，
これらを単純に足し合わせるものだからです．
図~\ref{f:oq}の真の分布はHighly Positiveに偏っていますが，
推定分布（実線部分）は逆にHighly Negativeに偏ってしまっているという意味で「大外し」です．
上記のような評価指標はordinal classを考慮できないので，「大外し」であることが数値化できません．
図中に点線で示したように，推定分布のHighly Negativeのクラスに載っている5つのブロック（すなわちツイート）のうち，
4つをNeutralのクラスに移動した別の推定分布を考えてみてください．
こちらのほうがだいぶん真の分布に近いですが，
ordinal classを考慮しない指標ではこの2つの推定分布の違いが数値化できないのが明らかです．

OQタスクを正当に評価できる評価指標としては，
NMD （Normalised Match Distance．Earth Mover's Distanceと本質的に同じ）と，
RNOD (Root Normalised Order-aware Divergence) \cite{sakai18sigir}およびこれに対称性をもたせたRSNOD
があります．NMDに相当するEarch Mover's DistanceはSemEvalのOQタスクで，
RSNODはNTCIRのDialogue Evaluationタスクで用いられています．
私の論文では，OQタスクの評価にはRNODとNMDを併用し，前者を主要な指標とすることを推奨しています．
前述のデータの選定に対する頑健性の観点および判別能力の観点から，
RNODのほうがNMDよりも総合的にはよい結果を示したためです．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{まとめ}

本研究に関する合計約90分のチュートリアルビデオ，99枚のスライド，およびACL2021向けに提出した12分間のビデオなどを公開しています．\footnote{\url{https://waseda.box.com/acl2021sakai-videos-and-slides}}
ご興味があればご覧ください．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.6}
\bibliography{24refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{酒井　哲也}{%
早稲田大学基幹理工学部情報理工学科教授．Naver Corporation研究統括顧問．国立情報学研究所客員教授．ACM Distinguished Member．ACM SIGIR Vice-chair (2019--2022)．\url{http://sakailab.com/tetsuya/}
}

\end{biography}


%%%%\biodate   %%%% 受付日の出力（編集部で設定します）

\end{document}


