\documentclass[japanese,other]{jnlp_3.6}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{30}
\Number{2}
\Month{June}
\Year{2023}
%%%%\Issuetitle{「　　　　」特集号}


\setcounter{page}{844}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{NLP2023テーマセッション「ことばの評価と品質推定」}
\jauthor{須藤　克仁\affiref{naist} \and 小町　　守\affiref{hit}\affiref{tmu} \and 梶原　智之\affiref{ehime} \and 三田　雅人\affiref{cyberagent}\affiref{tmu}}

\etitle{Theme Session in NLP 2023: Evaluation and Quality Estimation of Natural Language}
\eauthor{Katsuhito Sudoh\affiref{naist} \and Mamoru Komachi\affiref{hit}\affiref{tmu} \and Tomiyuki Kajiwara\affiref{ehime} \and Masato Mita\affiref{cyberagent}\affiref{tmu}}

\headauthor{須藤，小町，梶原，三田}
\headtitle{NLP2023テーマセッション「ことばの評価と品質推定」}

\affilabel{naist}{奈良先端科学技術大学院大学}{Nara Institute of Science and Technology}
\affilabel{hit}{一橋大学}{Hitotsubashi University}
\affilabel{ehime}{愛媛大学}{Ehime University}
\affilabel{cyberagent}{株式会社サイバーエージェント}{CyberAgent Inc.}
\affilabel{tmu}{東京都立大学}{Tokyo Metropolitan University}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

2010年代後半以降の計算機による言語生成技術の進展には目を見張るものがある．
特に2020年前後から急速に発展した大規模事前学習モデルは，巨大な生テキストデータと大規模化を続ける計算資源を背景にモデルサイズの増大と応用タスクでの性能向上を続けている．
2022年11月に公開された ChatGPT や続いて2023年3月に公開された GPT-4 は広く世間一般への認知も高まり，いよいよ計算機による言語生成が身近なものとして拡がる兆しを見せつつある．
こうした背景から，今後は社会全体での「ことば」に関する ``生産性'' が大きく向上していくことが見込まれる．
これまでの社会ではともすると人間が発する「ことば」と計算機が生成する「ことば」という二項対立に近い扱いであったものが，計算機の力を借りて人間が紡ぐ「ことば」，もしくは人間が指示を与え計算機が代弁する「ことば」，が無視できない存在になるであろう．
そのような時代の到来を見据え，コミュニケーションや記録，そして思考の媒体である「ことば」を正しく用いることは，「ことば」による相互理解の質の担保のためにますます重要性を増していくと考えられる．

自然言語処理においてはこれまで人間が産出する「ことば」を対象とした小論文等の採点，計算機が生成する「ことば」を対象とした機械翻訳や自動要約等の採点，の双方が扱われてきた．
前者においては言語習熟度や文章構成能力といった観点，後者においては原文や参照文との同義性の観点が重視される傾向にあったと言える．
この違いは小論文と翻訳や要約との目的の違いによるものであるとともに，後者においてはそもそも計算機が生成する「ことば」の品質が低かったために，高次の品質よりも「ことば」としての自然さや伝達内容の ``正解率''，ともすれば表層の一致率のような比較的低次の品質を問わざるを得なかったことの表れでもある．
筆者らは，先に述べたような言語生成技術の進展を受け，計算機の言語生成においても今後より高次の品質が問われることを見据えて，人間か計算機かを殊更に問わず，幅広く「ことば」の品質を問うための議論の場として，テーマセッション「ことばの評価と品質推定」を企画した．
以下本稿ではセッションの内容と，セッションでの議論を受けた筆者らの見解について述べる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{テーマセッションの内容}

本テーマセッションは，ある目的で生み出されたことばが的確であるか，有用であるか，を評価あるいは推定するという課題に着目し，そのための技術やノウハウ，実用上の課題，新たな応用の可能性等を幅広く議論し，知見の共有と今後の更なる発展に繋げることを狙うものである．
企画としては，前回NLP2022のテーマセッション『文章の評価と品質推定』，前々回NLP2021のワークショップ『文章の評価と品質推定 ～人間・機械の「作文」の巧拙をどう見極めるか？～』\cite{sudoh2021}，に続くものである\footnote{なお，本稿においてタイトルにおいて評価 (evaluation)と品質推定 (quality estimation)を併記しているのは，機械翻訳において参照訳に基づくものを評価，参照訳を用いないものを品質推定，と呼び別の課題として長年共通タスクを実施していた慣習に従っている．本稿では，人間が行うもの，もしくは人間が与えた正解や参照文との対比により行うものを\emph{評価}と呼び，正解に相当するものとの対比なしに自動的に行うものを\emph{品質推定}と呼ぶ，とする．}．

本テーマセッションでは，9件の一般発表と最後短時間の総合討論を行った．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{一般発表}

一般発表の話題は様々な言語生成タスクに対し横断的に自動評価・品質推定を行うもの\cite{A6-1,A6-5}，計算機が生成する「ことば」を自動評価するもの\cite{A6-2,A6-4}，人間が産出した「ことば」を自動評価するもの\cite{A7-2,A7-4}，通訳と翻訳の評価観点の違いを問うもの\cite{A6-3}，
%%%%個々の生成結果ではなくモデルの生成傾向を分析するもの\cite{A7-3}，
    個々の生成結果ではなくモデルの生成傾向を分析するもの (Anantaprayoon 他 2023)\nocite{A7-3}，異なる情報媒体に対する人間の情報消化効率を分析するもの\cite{A7-1}と多岐に渡った．
既存の共通タスク等のデータに基づいて性能改善を目指したり別視点からの分析を与えるものがおよそ半数，その他は独自に評価データセットを作成して新たな観点で評価の課題に取り組んだものであった．
なお，テーマセッションでの発表以外でもいくつか関連する内容について扱った研究発表がプログラム内に見られた．

本大会では口頭での質疑時間が限定的だったこともあり，Slackでの質疑へも誘導する形でセッション中の議論を行った．
Slackでの質疑は発表内容により多少の濃淡はあったものの，オンライン参加者も含め活発に行われた．
いわゆる質問だけでなく，感想や雑談という形で意見や情報が共有されたり，関係する論文が提示できたり，発表間の関係を活かし，記録を残すという面でも有益であった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{総合討論}

総合討論では会場および Slack で質疑応答を行った．
大きくは人間の書いた文章に関する評価に対する話題と，機械的に生成された文章に関する評価に関する話題について議論し，以下のような課題が提起された．
総合討論の時間が短く議論が深められなかった面はあったが，これまでの評価や品質推定の枠組みにとらわれず新たな試みが今後行われることを期待したい．

\begin{itemize}
    \item 大前提として，何のため，誰のための評価をするのかということが重要であって，万能のものはない
    \item そもそも評価は一次元ではなく，正確さ，用語の的確さ，流暢さ等多面的に捉えるべきものではないか
    \item 難易度という尺度も単純ではなく，母語話者と第二言語学習者では違いがあることもある
    \item ChatGPT 等機械が生成することばは当たり障りがない一方，人間の作文は個々人の特徴やクセ等の尖った部分があることで面白さに繋がっている面があるため，同じように評価すべきかは自明でない
    \item 評価は改善の指針にもなり得るはずで，フィードバックも含めて役立てるべき
\end{itemize}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{議論}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{人間の「ことば」の評価と計算機の「ことば」の評価の関係}

今回のテーマセッションに至る一連の企画において筆者らが重視してきたのは，人間が産出する「ことば」と計算機が生成する「ことば」の評価で知見を共有することであった．
人間の「ことば」に対する評価は，短文記述問題の回答評価のように正解があるものに限らず，課題に対する自由作文で文章構成力や言語習熟度を問うものや，知識を総動員させた上で論述力を問うものもあり，非常に多様である．
かたやこれまでの計算機の「ことば」に対する評価は，機械翻訳の評価に代表されるように，正解との内容の一致度を測るものであることが多かった．

今後計算機が生成する「ことば」の活用が拡がっていくにつれて，応用に応じた多様な評価が必要となることは間違いない．
それに伴うある応用においてどのような「ことば」が求められているのか，というタスクの定式化，評価観点や尺度の規定，検証のためのデータの整備等が今後の重要な課題と言えるだろう．
そして，人間が産出する「ことば」に対して教育や能力評価の観点で行われてきた様々な評価の知見が活用されることが期待でき，協働が望まれる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{大規模言語モデル時代の「ことば」の評価}

もう一つ議論すべきこととして，大規模言語モデルによる「ことば」の ``生産性'' の向上が挙げられる．
「ことば」の評価や品質推定の観点でも，人間が産出する「ことば」，計算機が生成する「ことば」に加え，大規模言語モデルの支援を受けた人間が創出する「ことば」が対象に加わる．
「ことば」の品質を問うことの重要性はさらに高まると言ってよいであろう．

ここで，言語モデルに基づく「ことば」の生成とその評価に関して，以下を考えてみる．
言語モデル尤度の高い生成文に対して人間が修正という ``摂動'' を加えたとして，
修正後の文のほうが「ことば」として望ましい，と安定して評価するためには何が必要だろうか？
さらに，「ことば」の ``生産性'' が今後より向上し，言語モデルが ``平均的'' な「ことば」の用法に大きく寄与するようになったとしたら，人間の「ことば」の\emph{尖った部分}はどう扱われるべきなのだろうか？

何かを「ことば」で伝えようとすると，話し手・書き手の意図やその時々の状況等，様々な条件に応じた実行可能解としての「ことば」の表現が許容されるはずである．
このような様々な条件は ChatGPT 等の仕組みではプロンプトとして制御ができるようになったと考えることもでき，以前に比べれば格段に豊かな表現が得られるようになったのかもしれない．
ただ，現在我々が扱っている「ことば」の評価や品質推定の枠組みはまだその見極めには至っていないと考えられる．
昨今の評価・品質推定の研究ではBERT等の（広義の）事前学習言語モデルがよく用いられるが\footnote{さらに直近では ChatGPT の元になった GPT-3.5 を用いて従来の自動評価手法を上回る機械翻訳評価性能が得られた，という報告\cite{kocmi2023large}もある．}，これを非常に単純に捉えると，生成と評価の両面で同様のモデルを利用する状況にあるとも言える．
「ことば」の品質を一定程度保証する仕組みとしての言語モデルの有効性を活かしつつ，それのみに留まらない本質的な「ことば」の品質を問う必要があると言えよう．

また，計算機による「ことば」の生成技術や創出支援技術の検証のために評価が果たす役割は大きい．
言語モデルの多様性と，研究の再現性の担保のための透明性の高いモデルの利用はトレードオフの関係にあり，個々の言語モデルに関する知見と言語モデルを横断する知見を区別して蓄積することが，自然言語処理コミュニティとして必要なことであろう．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

本稿では，NLP2023テーマセッション「ことばの評価と品質推定」について簡単に報告し，それを受けた筆者らの見解を述べた．
一口に「ことば」の評価と言ってもその範囲は広く，以前のワークショップ・テーマセッションでなかった新たな観点の研究発表もあり，今後も更に拡がりを見せることが期待される内容であった．
冒頭に述べた通り，今後「ことば」を取り巻く情勢は大きく変化し，それに伴ってその評価に求められるものも急速に変容していく可能性が高い．
そうした中，様々な場面・用途・対象で用いられる「ことば」の品質を評価・検証する仕組みを構築し，また維持することは自然言語処理の重要な役割であると考える．
本テーマセッションおよび本稿が参加者や読者の興味を喚起することに繋がれば幸いである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本テーマセッションおよび年次大会の開催にあたりご尽力くださった大会各委員会の皆様，テーマセッションを盛り上げていただいた発表者および参加者の皆様に感謝する．また本寄稿の機会をくださった編集委員会の皆様にも感謝する．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{26refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{須藤　克仁}{%
奈良先端科学技術大学院大学准教授．
2000年京都大学工学部卒業，2002年京都大学大学院情報学研究科修士課程修了，同年NTT入社．2015年京都大学博士（情報学）．2017年より現職．
機械翻訳を中心とした自然言語処理，音声言語処理の研究に従事．
2018年より理化学研究所革新知能統合研究センター客員研究員を兼務．
言語処理学会，情報処理学会，日本音響学会，人工知能学会，ACL，ISCA各会員．
}

\bioauthor{小町　　守}{%
一橋大学ソーシャル・データサイエンス研究科教授．
2005年東京大学教養学部基礎科学科科学史・科学哲学分科卒業．
2007年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了．
2008年より日本学術振興会特別研究員 (DC2) を経て，2010年同研究科博士後期課程修了．
博士（工学）．
同年同研究科助教．
2013年首都大学東京（現東京都立大学）システムデザイン学部准教授，
2022年教授を経て，
2023年より現職．
情報処理学会，人工知能学会，言語処理学会，ACL 各会員．
}

\bioauthor{梶原　智之}{%
愛媛大学大学院理工学研究科助教．2013年長岡技術科学大学工学部電気電子情報工学課程卒業．2015年同大学大学院工学研究科修士課程修了．2018年首都大学東京大学院システムデザイン研究科博士後期課程修了．博士（工学）．大阪大学データビリティフロンティア機構の特任助教を経て，2021年より現職．情報処理学会，人工知能学会，言語処理学会，ACL各会員．}


\bioauthor{三田　雅人}{%
株式会社サイバーエージェント リサーチサイエンティスト．2016年に奈良先端科学技術大学院大学を修了後，日本マイクロソフトを経て，2018年に理化学研究所革新知能統合研究 (AIP) センターに入所．2021年に東北大学大学院情報科学研究科博士後期課程修了．2022年より現職．東京都立大学特任助教，理化学研究所AIPセンター客員研究員を兼任．博士（情報科学）．言語処理学会，ACL各会員．
}

\end{biography}



\end{document}


