\documentclass[japanese,other]{jnlp_3.7}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
\usepackage{array}
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\Volume{31}
\Number{2}
\Month{June}
\Year{2024}
%%%%\Issuetitle{「　　　　」特集号}

\setcounter{page}{809}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{NLP2024併設ワークショップ「大規模言語モデルの実世界応用」}
\jauthor{吉野幸一郎\affiref{Author_1} \and 谷口　忠大\affiref{Author_2} \and 持橋　大地\affiref{Author_3} \and 河原塚健人\affiref{Author_4} \and \\
	松嶋　達也\affiref{Author_5} \and 品川政太朗\affiref{Author_6} \and 小林　一郎\affiref{Author_7}}
\etitle{Real world applications of large language models}
\eauthor{Koichiro Yoshino\affiref{Author_1} \and Tadahiro Taniguchi\affiref{Author_2} \and Daichi Mochihashi\affiref{Author_3} \and Kento Kawaharazuka\affiref{Author_4} \and Tatsuya Matsushima\affiref{Author_5} \and Seitaro Shinagawa\affiref{Author_6} \and Ichiro Kobayashi\affiref{Author_7}} 

\headauthor{吉野，谷口，持橋，河原塚，松嶋，品川，小林}
\headtitle{大規模言語モデルの実世界応用}

\affilabel{Author_1}{理化学研究所ガーディアンロボットプロジェクト}{Guardian Robot Project, RIKEN}
\affilabel{Author_2}{京都大学大学院情報学研究科}{School of Informatics, Kyoto University}
\affilabel{Author_3}{統計数理研究所}{The Institute of Statistical Mathematics}
\affilabel{Author_4}{東京大学大学院情報理工学系研究科}{Graduate School of Information Science and Technology, The University of Tokyo}
\affilabel{Author_5}{東京大学大学院工学系研究科}{School of Engineering, The University of Tokyo}
\affilabel{Author_6}{奈良先端科学技術大学院大学}{Nara Institute of Science and Technology}
\affilabel{Author_7}{お茶の水女子大学}{Ochanomizu University}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

大規模言語モデル (Large Language Models; LLMs) が登場して以降，様々な分野でその能力を活用する可能性についての議論が進みつつある．
LLMは既存の言語処理関連タスクの性能を向上させるだけでなく，実世界の様々な問題において言語を活用するための嚆矢となり得る存在と認知されている．
とりわけ画像情報処理やロボティクスなどの分野では，大規模言語モデルの実世界応用とそれに合わせた新しい問題定義が日夜議論されている．
今回言語処理学会第30回年次大会においては，こうした大規模言語モデルの実世界応用をテーマに併設ワークショップを開催した．
本記事では開催に至るまでの経緯と，当日議論された内容についてのまとめを報告する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{開催にいたる経緯}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{Language and Robotics 研究会}

本ワークショップの提案母体となったのは，有志で行っているLanguage and Robotics研究会（LangRobo研究会）\footnote{\url{https://sites.google.com/view/language-and-robotics/}}である．
本研究会は2017年頃から活動をしており，自然言語処理分野とロボティクス分野の融合，特に身体を持つエージェントと人間が実世界において自然言語で行うコミュニケーションに関連した研究を中心に，招待講演ベースで開催してきた．
ロボットなどのエージェントが我々の生活空間で動作する場合，ユーザである我々との基本的なコミュニケーションチャンネルは言語であり，コミュニケーション中の言及である言語を実世界の事物に紐づけて取り扱わなければならない（記号接地問題）．
こうした問題意識は自然言語処理や，さらに古く人工知能の研究分野が誕生した時から言及されてきたが，多くのアプローチがその問題の難しさに阻まれてきた．
特に大きな問題は，ロボットが動作を行う上で，制御側に伝えなければならない実世界の「常識」をいかに記述し利活用するか，その手法が長らく明確でなかったという点である．
人手で記述した知識表現であるオントロジーやそれらをベースにした推論を行うようなアプローチは古くから存在したものの，こうした手法は実世界における被覆率の問題に悩まされ続けてきた．
こうした問題に，LangRobo研究会では参加者それぞれが多様なアプローチを取りつつ，実世界におけるエージェントの動作と自然言語の結び付け，さらには自然言語を用いてそれらのエージェントの知的振る舞いのレベルを上げることを目標に活動を行ってきた．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{ロボット学会オーガナイズドセッション「基盤モデルの実ロボット応用」}

GPT (Generative Pre-trained Transformer) に代表される大規模言語モデル (Large Language Models; LLMs) の応用については，ChatGPTがリリースされて以降多くの可能性が議論されている．
LLMの実世界応用を考えた場合，特筆すべき点は，LLMはその学習データに記述された実世界における「常識」を内包している可能性があるという点である．
これまでロボットなどのエージェントシステムが言語をトリガーにして実世界で動作をする際に最も困難であった問題は，言語のトリガーと実世界における観測結果の行間を埋め，ロボットが動作可能な形に落とし込むプランニングの課題であった．

例えばユーザが「水を取って」と言いその場にペットボトル入りの水があった場合，「状況からユーザが欲しいのは飲料水」「飲料水はペットボトルに入れる」などの常識と，「ペットボトルが机の上にある」などの観測結果を統合し，この「水を取って」という発話が「机のペットボトルまで移動してそれを把持しユーザの元へ移動する動作である」という行間埋めを行わなければならない．
また，この動作を実現するための具体的な動作系列がどういうものか，ということを理解する必要も生じる．
LLMが持つ言い換えや行間埋めの能力により，これらの問題が一気に解決する可能性が生じたのである．

また，画像情報処理の分野においても，CLIP \cite{radford2021learning}やGLIP \cite{zhang2022glipv2}などの言語に紐づいた視覚言語モデルをLLMと組み合わせることで，非常に強力な状況認識が実現されつつあることが報告されている\cite{liu2023visual}．
そうした意味でLLMは単なる言語モデルの枠を超え，実世界における一般的な人間の理解を扱うための基盤モデル (Foundation Models) になり得るという認識を得つつある．

こうしたLLM，基盤モデルの実世界応用の可能性にいち早く気付いたのがロボット分野の人々である．
2023年9月に行われた日本ロボット学会においては，本ワークショップの提案者でもある河原塚と松嶋によって「基盤モデルの実ロボット応用」というオーガナイズドセッションが提案・開催された．
本ワークショップ発起人の谷口や吉野もこのオーガナイズドセッションに参加したが，非常な熱気に溢れたセッションが展開され，音声認識や物体認識に深層学習が導入された時代を彷彿とさせた．
この熱気を自然言語処理分野にも伝え，自然言語処理の実世界応用の可能性について多くの言語処理研究者に気付いて貰い，実世界応用への橋渡しをしたい，というのが本ワークショップを提案するに至った動機である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{ワークショップの報告}

ワークショップの開催にあたっては，LLMが持つ上記能力がエージェント・ロボットだけでなく，様々な実世界における応用可能性を秘めていることを踏まえ，テーマを「大規模言語モデルの実世界応用」とした．
招待講演として，特に言語を中心としたマルチモーダル情報処理の分野で研究しているNTTの西田京介氏と，実際にロボットを動かす中でLLMや基盤モデルを利活用している東大の河原塚健人氏という，それぞれの分野の第一線研究者に現在世界のトップレベル研究で起こっていることを詳しくご説明頂いた．
また，一般講演としてライトニングトーク (lighting talk; LT) を募集し，7件の発表があった．
最後に，今後のLLMの実世界応用の研究開発の方向性を占うパネルセッションを行った．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{招待講演「LLMと共に知の泉を汲んで世に恵みを提供する」}

まず西田氏の講演では，「LLMと共に知の泉を汲んで世に恵みを提供する」と題して，NTTで開発しているLLMであるtsuzumiと，その応用可能性についての説明をして頂いた．
LLMの実世界応用が注目されるに至った経緯としては先述の通り，LLMが内部に持つ常識が重要視されている．
常識と言った場合，我々は知識そのものに注目しがちであるが，実際には知識がどのように適用され，応用されるかが重要である．
西田氏の講演ではこの点に着目し，LLMを始めとするAIモデルに専門性・個性を持たせ，その集合知によって実世界の問題を解決しようとするNTTのアプローチについて説明が行われた．
LLMを実世界に用いようとする場合，特定のタスクやデータに特化することで，その分野に強いモデルを構築することが可能である．
特に視覚情報・画像情報に特化する場合，テキストだけでなく，テキスト中で用いられるダイアグラムなどの図や表などから適切に構造化データを取り出すというようなこともできるようになっている \cite{tanaka2023slidevqa,tanaka2024instructdoc}．
こうしたLLM活用とそのアプリケーションを考える上で，これまで「AIのために人が合わせる」という発想だったICT技術活用が，「人の作業にAIが合わせる」という視点の転換が起きている．
機械が人と同等の言語インタフェースを介して扱えるようになった点は，システム普及の上でも非常に重要な点である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{招待講演「ロボット研究におけるLLMの実世界応用」}

次に河原塚氏の講演では，「ロボット研究におけるLLMの実世界応用」と題して，現在LLMがロボティクス分野でどのように使われているかについて概説して頂いた\cite{kawaharazuka2024real}．
ロボットを実世界で動作させる場合，ロボットが相対するものとして大まかにモダリティ，言語，アクションの3段階が考えられる．
このうち，モダリティ→言語は現在観測しているものの認識・言語化であり，自然言語処理における言語理解にあたる．
言語→アクションは計画から実世界における動作生成・制御であり，自然言語処理においては言語生成にあたる．
その他，モダリティからアクションを生成するようなEnd-to-endのアプローチも考えられる．
また，実際には認識の結果得られた言語と制御の入力となる言語には隔たりがあり，このギャップを埋めるプランニングの課題が考えられる．
これらのうち，特に認識，プランニングにLLMや基盤モデルが威力を発揮している．
非常に多くの研究をご紹介頂いたのでこの紙面で全てを紹介することは叶わないが，興味を持たれた読者は是非河原塚氏のサーベイ論文をご高覧頂きたい\cite{kawaharazuka2024real}．
一部を紹介すると，Tidy-Bot \cite{wu2023tidybot}では，物体認識した結果に対応して，ロボットがそれらをどのように片づけるかのプランニングをLLMに解かせている．
Code as policies \cite{liang2023code}では，ある程度の認識APIや制御APIがあるという想定を与えた上で，ロボットの動作をプランニングし，さらにそれを実行するコードまで生成している．
こうした「今までロボットが解けなかった常識に基づく認識・プランニング・制御」の研究が，2023年以降非常に多く発表されており，LLMが実世界におけるロボット研究のブレークスルーの一つになっていることがわかる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{ライトニングトーク}

また，直前からの募集にも関わらず一般発表として7件のLTが集まった．
\begin{enumerate}
  \item 実世界対話におけるフレーズグラウンディングモデルの評価と分析\label{LT-1}
  \item Visual Question Answering における視線情報を用いた質問の曖昧性解消\label{LT-2}
  \item Improving the Image Discrimination Ability for CLIP-Model via Semantic Graphs through Graph Convolutional Network\label{LT-3}
  \item 国際会議における質疑応答練習を目的とした ChatGPT による質問生成とその評価\label{LT-4}
  \item 基盤モデルと古典プランニングを用いたレシピ記述からの実世界調理計画認識実行ロボットシステム\label{LT-5}
  \item 集合型視覚言語埋め込み\label{LT-6}
  \item 大規模言語モデルと集合的予測符号化\label{LT-7}
\end{enumerate}
(\ref{LT-1})，(\ref{LT-2})，(\ref{LT-3})，(\ref{LT-6})は大規模言語モデルを用いた実世界の状況理解に関わるもので，実世界における視覚情報・画像情報の優位性と，それらを言語と結び付けて解釈することの重要性が示唆された．
(\ref{LT-5})ではLLMに代表される基盤モデルを，ロボットにおける古典プランニングとうまく融合させることで，実世界における実行可能性を考慮したプランニングを実現する枠組みが示された．
また，(\ref{LT-4})ではLLMの実世界応用において質問応答形式・対話インタフェースを用いることの重要性が示された．
最後に，(\ref{LT-7})では大規模言語モデルを用いた集合的予測符号化，つまり記号体系の創発過程についての議論がなされた．
これらLTの傾向を見て，LLMの実世界応用として，工学的な有効性が存在することはもはや疑いの余地はない．それに加えて，LLMを用いることで人間の知能，言語などの記号を用いたコミュニケーションの本質にどのように迫るか，という理学的なアプローチについても様々な可能性が議論できることがわかる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{パネルディスカッション}

最後に，提案者の松嶋を司会として，品川，河原塚，小林のオーガナイザに加えて理研の栗田氏に参加して頂き，今後のLLMの実世界応用研究の方向についてのパネル討論を行った．
まず，多くの参加者が興味を持ったのが研究の方向性である．議論の中では，現在のLLMの能力を様々なタスクに拡張していく方向，特にまだ言語とうまく紐づけられていない多様なモーダル，例えば接触力，慣性，動作情報などと結び付けることの重要性，面白さが指摘された．
一方で，人間が扱う言語の粒度のみでは形式知化されていないような実世界の情報も存在し，そうした部分に対しては言語モデルを越えた次のアプローチについて考える必要があるのではないか，といった議論もあった．
また，現状の言語モデルの推論速度（数秒）とロボットに求められる推論スピード（最低でも10Hz）におけるギャップなども課題として提起された．
実世界のデータをいかに効率的に収集するかについても，重要な課題として議論された．
LLMだけでなく，ロボットもプラットフォーム化していくことにより，一部企業による寡占が生じることが懸念されている．
そうした状況でどのように世界に通用するアプローチを実現するかの議論が喧々諤々と行われた．
本ワークショップにおける議論で個人的に印象深かったのは，ヒューマノイドロボットと言語モデルの関係についてである．
ロボットは想定する機能が工学的に実現されれば必ずしもヒューマノイド形態を取る必要がない．
一方で，言語のような人間の身体性に深く紐づいた表現を用いる場合，人間と同様の身体性を持つヒューマノイドは今後アドバンテージを持つ可能性がある．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

大規模言語モデルの導入により，実世界で出来ることの世界は大きく広がっており，またそれにより新たな解くべき問題も見つかっている．
ロボットをはじめとする実世界データへの参入は障壁も大きいが，その分得られるアウトカムも大きく，また先述の通り，色々なことをトライできる状況が広がりつつある．
本ワークショップの実施および本学会記事の執筆により，自然言語処理研究者の皆様に大規模言語モデルを実世界で使うことの面白さの一端でもお伝えすることができたことを祈りつつ，本稿の結びとしたい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{33refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{吉野幸一郎}{%
2014年京都大学大学院情報学研究科博士課程修了．
京大博士（情報学）．
日本学術振興会特別研究員(PD)，奈良先端科学技術大学院大学助教を経て，2020年より理化学研究所チームリーダー．
この間，2022年より奈良先端科学技術大学院大学客員教授．
専門は自然言語処理およびマルチモーダル情報処理，特にロボット対話知能．
}

\bioauthor{谷口　忠大}{%
2006年京都大学大学院工学研究科博士課程修了．
京大博士（工学）．
日本学術振興会特別研究員(PD)，立命館大学助教，准教授，教授を経て，2024年より京都大学大学院情報学研究科教授．
この間，パナソニック客員総括主幹技師（クロスアポイントメント）．
また，2024年より立命館大学総合科学技術研究機構客員教授．
専門は人工知能，創発システム，認知発達ロボティクス，コミュニケーション場のメカニズムデザイン．
}

\bioauthor{持橋　大地}{%
2005年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了．
博士（理学）．
ATR音声言語コミュニケーション研究所 研修研究員／専任研究員，NTTコミュニケーション科学基礎研究所 リサーチアソシエイト／リサーチスペシャリスト各研究員を経て，2011年より情報・システム研究機構 統計数理研究所 准教授．
専門は自然言語処理および機械学習．
}

\bioauthor{河原塚健人}{%
2022年東京大学大学院情報理工学系研究科博士課程修了．
博士（情報理工学）．
2022年より東京大学大学院情報理工学系研究科情報システム工学研究室(JSK)特任助教．
専門はロボティクス，バイオミメティクス，筋骨格ヒューマノイド，機械学習など．
}

\bioauthor{松嶋　達也}{%
2023年東京大学大学院工学系研究科博士課程修了．
博士（工学）．
2023年より東京大学工学系研究科松尾研究室特任研究員．
研究の興味は人間と共生する適応的なロボットの開発と，生命性や知能の構成的な理解．特に深層生成モデルを用いた環境のダイナミクスのモデリング（世界モデル）・モデルベース強化学習・メタ模倣学習．
}

\bioauthor{品川政太朗}{%
2020年奈良先端科学技術大学院大学単位取得満期退学．
博士（工学）．
奈良先端科学技術大学院大学助教を経て，2024年よりSB Intuitions所属．
専門は自然言語処理およびマルチモーダル情報処理，特にVision and Language，対話システム，深層学習．
}

\bioauthor{小林　一郎}{%
1995年東京工業大学大学院総合理工学研究科博士課程修了．
博士（工学）．
法政大学経済学部研究助手，助教授，お茶の水女子大学助教授を経て，2011年よりお茶の水女子大学教授．
専門は言語情報処理，知能情報処理，言語化，脳内情報解読，潜在意味解析，テキスト処理，ロボティクス．
\textbf{}}


\end{biography}


\end{document}


