\documentclass[japanese,other]{jnlp_3.7}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
\usepackage{array}
\allowdisplaybreaks



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition

%%%%\usepackage[dvipdfmx]{graphicx}
%%%%\usepackage{amsmath}
%%%%\usepackage{url}
%%%%\renewcommand\UrlFont{\rmfamily}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{31}
\Number{2}
\Month{June}
\Year{2024}
%%%%\Issuetitle{「　　　　」特集号}

\setcounter{page}{755}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{NLP2024テーマセッション「人間と計算機のことばの評価」}
\jauthor{須藤　克仁\affiref{nwu}\affiref{naist} \and 小町　　守\affiref{hit}\affiref{tmu} \and 梶原　智之\affiref{ehime} \and 三田　雅人\affiref{cyberagent}\affiref{tmu}}


\etitle{NLP 2024 Theme Session: Evaluation of Language by Humans and Computers}
\eauthor{Katsuhito Sudoh\affiref{nwu}\affiref{naist} \and Mamoru Komachi\affiref{tmu} \and Tomiyuki Kajiwara\affiref{ehime} \and Masato Mita\affiref{tmu}\affiref{cyberagent}} 
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\headauthor{須藤, 小町, 梶原, 三田}
\headtitle{NLP2024テーマセッション「人間と計算機のことばの評価」}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\affilabel{nwu}{奈良女子大学}{Nara Women's University}
\affilabel{hit}{一橋大学}{Hitotsubashi University}
\affilabel{ehime}{愛媛大学}{Ehime University}
\affilabel{cyberagent}{株式会社サイバーエージェント}{CyberAgent Inc.}
\affilabel{naist}{奈良先端科学技術大学院大学}{Nara Institute of Science and Technology}
\affilabel{tmu}{東京都立大学}{Tokyo Metropolitan University}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}
2010年代後半以降の自動言語生成技術の急速な発展は，2022年11月のChatGPTの登場により新たな局面を迎えた．
その後は大規模言語モデル (LLM) という呼称が広く用いられるようになり，更なるモデルの大規模化，画像や音声を含めたマルチモーダル基盤モデルへの発展，実用に即したモデルの効率化，検索拡張生成 (RAG) といった技術面での進展とともに，研究者・ユーザを問わずLLMの能力を活用するためのプロンプトの設計ノウハウの蓄積が進んだ．
さらに，商用サービスへも急速に展開され，一般に「使える」技術と認識された．
LLMによる計算機の言語生成にはハルシネーション（hallucination; 幻覚）の問題があるものの，設計を与え具体的な文章を構成させるという面で非常に利便性が高く，人間の言語産出能力を大きく拡張させ得る．
これは今後より多くの情報がLLMを活用して言語化されていくことに繋がり，我々は量的な面ではこれまで以上に膨大なことばの大海を前にすることになる．
一方の質的な面でも，計算機の言語生成の平均的な品質が向上したことにより，生成されたことばの誤りを，生成を指示する側の人間が見落としやすくなる，という問題に我々は直面している．
あることばの品質上の問題が，対象となる言語やドメインに精通した人間が精査してようやく気づくようなものであったとしても，その重大さによってはことばの受け手にとって深刻な問題となり得るため，ことばの評価は引き続き非常に重要な課題である．

ことばの評価は，さまざまな自動言語生成において，その性能評価・改善のために重視されてきた．
また，言語教育や論述力評価の観点から，人間の産出することばを評価することは我々にとって根源的かつ重要な課題であり，多くの研究が行われてきた．
この2つの問題は，自動言語生成側の性能の問題もあり，長い間別個のものとして扱われてきたが，現在の自動言語生成がある条件や側面においては人間を凌ぐほどの性能を発揮することを考えると，それぞれの傾向の異なりは当然考慮に入れる必要があるものの，同じことばの評価の枠組みで捉える意義があると考えられる．
さらに評価の方法論についても，LLMを用いたことばの自動評価手法の提案が見られ，一方の人手評価もLLMの評価に向けた新たな評価観点の導入が盛んになっており，発展を続けている．

こうした背景を受け，筆者らは\emph{ことばを評価する}という大きな枠組みの中で，ことばの産出主体を人間か計算機かに限定せず，またことばの評価主体も人間か計算機かに限定しない形で，広く知見を共有し議論することを目的として，テーマセッション「人間と計算機のことばの評価」を企画した．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{テーマセッションの内容}
本テーマセッションは，ことばの評価に関わる様々な技術やノウハウ，実用上の課題，新たな応用の可能性等を幅広く議論し，知見の共有と今後の更なる発展に繋げることを狙うものである．
特に今回は，LLMを前提とした生成や評価について自然言語処理がどう向き合うか，ということが喫緊の課題である，という認識のもと，今年は「人間と計算機のことばの評価」というテーマで発表を募集した．
企画としては，NLP2021ワークショップ『文章の評価と品質推定 ～人間・機械の「作文」の巧拙をどう見極めるか？～』\cite{sudoh2021}，NLP2022テーマセッション『文章の評価と品質推定』，NLP2023テーマセッション『ことばの評価と品質推定』\cite{sudoh2023}，に続くものである．

本テーマセッションでは，18件の一般発表が行われた．昨年の9件と比較して倍増しており，広く関心を集めていることが再認識された．
テーマセッションは3セッションに分かれ，口頭での発表とオンラインでの配信を組み合わせたハイブリッド形式による開催となった．質疑は Slack および口頭で受け付け，オンライン参加者も含め活発な質疑応答が行われた．


個別のタスクとしては，自然言語処理の主要なアプリケーションである機械翻訳\cite{d8-2,d8-4,d10-1,d10-4,d11-3}と対話\cite{d8-6,d10-2,d10-5}における発表が多く見られた．機械翻訳においては，人間によるテキストの評価 \cite{d8-4,d10-1,d10-4}，機械翻訳によるテキストの評価 \cite{d8-2,d11-3}の両方が議論され，人間の「ことば」の多様な使い方についての知見が共有された．対話においては全て雑談対話を対象としており，敵対的な事例に対する頑健性 \cite{d10-5}，評価軸の階層性 \cite{d8-6}，応答の安全性 \cite{d10-2}のように新しい話題の研究が見られた．

また，画像キャプション評価 \cite{d10-6}，テキスト生成の制御 (栗原 他 2024)\nocite{d11-2}，直喩表現の解釈 \cite{d11-6}，事前学習モデルの評価バイアス \cite{d8-3}のように，深層学習時代以前ではあまり注目されていなかった新しいタスクに対する評価の研究も注目である．
それぞれの研究に大きく共通するトピックとして，データセットの構築があり，
画像キャプション評価データセットの大規模化 \cite{d10-6}により性能を向上させるというアプローチだけでなく，
広告文生成のようにこれまでにないタスクに対する評価データセットを構築する (栗原 他 2024)\nocite{d11-2}というアプローチもあり，
NLP コミュニティとして多様なタスクに対するデータセットが評価において重要である，という認識が共有されつつあることを示している．

一方，ことばの評価を学習・教育支援に使う研究として，テキスト平易化 \cite{d8-1,d11-4}，文法誤り訂正 \cite{d8-5}，質問生成 \cite{d11-5}のようなタスクに取り組んだ研究もあった．
それぞれ，参照なしの手法 \cite{d8-1,d8-5}と参照ありの手法 \cite{d11-4}，そして人手による評価 \cite{d11-5}とさまざまな評価がなされた．
特に \cite{d11-5} は LLM によって生成された出力を人手で評価する研究で，研究発表の質疑応答の練習のための評価という新しいタスクに取り組んでいる点が特筆できる．


最後に，既存の自動評価尺度や分析手法から一歩踏み込み，新しい評価・分析手法を提案する試みも見られた．
\cite{d8-5} は文法誤り訂正，\cite{d10-3} は文書要約，\cite{d11-1} はテキスト平易化と機械翻訳に対し，それぞれ新しいアプローチを提案している．
特に \cite{d8-5,d11-1} と共通する観点として，タスクごとに編集の操作を分解することで分析のしやすさを向上させる，という着眼点があり，計算機によって生成されたテキストの評価でも，人間が見た場合の解釈性が重要であり，それぞれ興味深い取り組みである．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}
本稿では，NLP2024テーマセッション「人間と計算機のことばの評価」について簡単に報告し，それを受けた筆者らの見解を述べた．
3セッションにわたる多様なテーマでの発表があり，ことばの評価の研究は新たな展開を見せている．
また，発表者が特定のグループに偏ることなく多くの組織からの発表があったことも特筆すべきで，ことばの評価に関する研究が幅広く市民権を得つつある，ということを示している．
本テーマセッションから \cite{d8-5} が若手奨励賞，\cite{d8-6} が委員特別賞を受賞するだけでなく，
発表全体からも優秀賞として長文生成の多面的評価 \cite{c3-2}，文法誤り訂正の包括的メタ評価 \cite{p4-20}，若手奨励賞として日本語医療テキスト平易化の評価データセットの構築 \cite{p1-21}，$n$-gram に基づく文法誤り訂正の自動評価の提案 \cite{p4-25}， LLMを自然言語生成の評価器として使う場合に生じる尤度バイアスの緩和\cite{a11-4}のように，さまざまなことばの評価にまつわる研究が高く評価されている．
LLM 時代に求められる，自然言語処理を支える技術としてのことばの評価の研究は，さらなる発展が期待される．
本テーマセッションを叩き台として，日本を超えたことばの評価の研究が花開くことを願っている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本テーマセッションの実施とプログラムの調整，および年次大会の開催にあたりご尽力くださった大会各委員会の皆様，テーマセッションを盛り上げていただいた発表者および参加者の皆様に感謝する．また本寄稿の機会をくださった編集委員会の皆様にも感謝する．



%%% Bibliography %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
    \bibliographystyle{jnlpbbl_1.7}
\bibliography{24refs}


%%% Biography %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{須藤　克仁}{%
奈良女子大学研究院生活環境科学系教授．
2000年京都大学工学部卒業，2002年京都大学大学院情報学研究科修士課程修了，同年NTT入社．2015年京都大学博士（情報学）．2017年奈良先端科学技術大学院大学准教授．2024年4月より現職．
機械翻訳を中心とした自然言語処理，音声言語処理の研究に従事．
奈良先端科学技術大学院大学客員教授，理化学研究所革新知能統合研究センター客員研究員を兼任．
言語処理学会，情報処理学会，日本音響学会，人工知能学会，ACL，ISCA各会員．
}
\bioauthor{小町　　守}{%
一橋大学大学院ソーシャル・データサイエンス研究科教授．
2005年東京大学教養学部基礎科学科科学史・科学哲学分科卒業．
2007年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了．
2008年より日本学術振興会特別研究員 (DC2) を経て，2010年同研究科博士後期課程修了．
博士（工学）．
同年同研究科助教．
2013年首都大学東京（現東京都立大学）システムデザイン学部准教授，
2022年教授を経て，
2023年より現職．
情報処理学会，人工知能学会，言語処理学会，ACL 各会員．
}
\bioauthor{梶原　智之}{%
愛媛大学大学院理工学研究科講師．2013年長岡技術科学大学工学部電気電子情報工学課程卒業．2015年同大学大学院工学研究科修士課程修了．2018年首都大学東京大学院システムデザイン研究科博士後期課程修了．博士（工学）．2018年より大阪大学データビリティフロンティア機構の特任助教，2021年より愛媛大学大学院理工学研究科の助教を経て，2024年より現職．情報処理学会，人工知能学会，言語処理学会，ACL各会員．
}
\bioauthor{三田　雅人}{%
株式会社サイバーエージェント リサーチサイエンティスト．2016年に奈良先端科学技術大学院大学を修了後，日本マイクロソフトを経て，2018年に理化学研究所革新知能統合研究 (AIP) センターに入所．2021年に東北大学大学院情報科学研究科博士後期課程修了．2022年より現職．東京都立大学特任助教，理化学研究所AIPセンター客員研究員を兼任．博士（情報科学）．言語処理学会，ACL各会員．
}
\end{biography}


%%%%\biodate   %%%% 受付日の出力（編集部で設定します）

\end{document}