\documentclass[japanese,tombow,other]{jnlp_3.2}
%%%%\usepackage{jnlpbbl_1.4}
    \usepackage{jnlpbbl_1.4_rev}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{gentombow}
\settombowbleed{5mm}
\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%\usepackage{wrapfig}
\usepackage{ulem}
%%%%\makeatletter
%%%%\renewcommand{\section}{\par\addvspace{1\Cvs}%
%%%%  \@afterindenttrue
%%%%  \secdef\@section\@ssection}
%%%% \def\@section[#1]#2{%
%%%%  \ifnum \c@secnumdepth >\z@
%%%%    \refstepcounter{section}%
%%%%    \addcontentsline{toc}{section}{%
%%%%       \thesection\hspace{1zw}#1}%
%%%%  \else
%%%%    \addcontentsline{toc}{section}{#1}%
%%%%  \fi
%%%%  {\parindent\z@\raggedright
%%%%   \interlinepenalty\@M\reset@font
%%%%   \ifnum \c@secnumdepth >\z@
%%%%     \large\bfseries\thesection\hspace{12pt}\ignorespaces
%%%%   \fi
%%%%   \large\bfseries#2\par}%
%%%%  \nobreak\vskip0.7\Cvs\@afterheading}
%%%% \def\@ssection#1{{%
%%%%  \parindent\z@\raggedright
%%%%  \interlinepenalty\@M\reset@font
%%%%  \large\bfseries#1\par}%
%%%%  \nobreak\vskip0.7\Cvs\@afterheading}
%%%%\makeatother
\def\Bem#1{{\itshape #1}}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



\Volume{27}
\Number{4}
\Month{December}
\Year{2020}
%%%%\Issuetitle{「　　　　」特集号}

\setcounter{page}{963}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{ロボティクス・グラウンディングと自然言語処理}
\jauthor{持橋　大地\affiref{ISM}}
%%%% 英語タイトル・英語著者名は出力せず
\etitle{Robotics, Grounding and Natural Language Processing}
\eauthor{Daichi Mochihashi\affiref{ISM}}

\headauthor{持橋}
\headtitle{ロボティクス・グラウンディングと自然言語処理}

%%%% 英語所属は出力せず
\affilabel{ISM}{統計数理研究所 数理・推論研究系}{The Institute of Statistical Mathematics}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

言語処理学会2020年年次大会はオンライン開催となりましたが，テーマセッションとして，
筆者を中心に23人のメンバーで『ロボティクス・グラウンディングと自然言語処理』
を企画しました．
実際にはオンライン開催のため多くの方へのアピールが望めないことから，
研究発表以外の講演はほぼキャンセルとなりましたが，来年以降も同様の
テーマセッションを企画予定です．
そこで本稿では，(1) このテーマセッションの成り立ち，(2) 自然言語処理において
ロボティクスやグラウンディングがなぜ重要なのか，(3) 言語処理とロボティクス研究
の潮流，(4) 今後何が望まれるか，について解説します．
ロボット先進国の日本において，
テキストだけ，あるいは画像処理などとの単純な結合を超えたこのテーマの重要性に
興味を持っていただければと考えています．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{自然言語処理とロボティクスの関係}

個人的な話になりますが，筆者がロボティクス研究と関わるようになったのは，
2013年頃でした．
それまでATR 音声研で周囲にロボットを扱っている研究者はいたものの，自分で直接
研究に携わることはありませんでしたが，この時
お茶の水女子大学の小林先生と産総研の麻生氏が研究室を
訪ねて来られ，教師なし形態素解析を拡張してロボットの「動作」を解析したい
のだがどうすればよいか，というご相談だったと記憶しています．
筆者はいったん記号に直すのではなく，すべてをガウス過程で書いて隠れセミマルコフ
モデルにすれば良いのではないか，というアイデアをその場で%思いついて
お話しし，
それは後年，トップ国際会議IROSに我々の研究として発表されました\cite{nagano18gphsmm-hdp,nagano19iros-hvgh}．
そこから，電通大の長井・中村研究室も
含めた共同研究が始まりました．
現在は，筆者が研究代表者の科研費(B)「運動の統計的理解と動力学に基づく適応的
確率ロボティクス」で引き続き研究を行っています．

こうした中で，ロボティクスにおいては自然言語処理の技術は，あまり深く浸透して
いないことがわかってきました．
例えば，ロボットに対する発話は多くの場合，構文解析や係り受け解析されている
わけではなく，そもそも与える入力文も「棚の上にあるペットボトルを取って，
机に置いて」のように，自然言語処理のコーパスに現れる文に比べて複雑度が
非常に限られています．
一方で，文は多くの場合口語体で，音声認識を通じて得られるためにノイズも多く，
書き言葉用に訓練された解析器を用いても充分な効果は期待できません．
言語の複雑度が現状では限られている一方で，
\uwave{非常にロバストに動作しなければならない}ということが，現実のロボット
で言語を扱う際の特徴といえます．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[tb]
\begin{center}
\includegraphics{27-4ia13-2f1.eps}
\end{center}
\hangcaption{動作の情報と，mMLDAで学習された動作概念の確率分布． 概念は言葉や物体と共有されており，マルチモーダル情報から自動的に学習されます．}
\label{figure:mmlda}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

こうした理由で，機械的・物理的な研究が主流を占めるロボティクス界で
言語や知的情報処理（\uwave{知能ロボティクス}）に興味を持つ研究者
（特に日本のグループ）は，ロボットが，赤ちゃんが言葉を覚えるように
自律的に言葉や概念を獲得する研究を発展させてきました．先の相談も，この流れに
沿ったものです．この方法ではモデルはすべてデータから自動的に学習されるため，
ロバスト性に対する問題はありません．
電通大（現在は阪大）の長井研究室では，トピックモデルとして知られるLDA
（潜在ディリクレ配分法）をもとに，
視覚や触覚といった感覚情報に拡張することで，物体のもつ「概念」を自動的に学習
するマルチモーダルLDA (MLDA)\cite{nagai11mlda}\footnote{https://github.com/naka-lab/MLDA で実装が公開されています．}
および
mMLDA\cite{nagai13mmlda}を開発しました
（図\ref{figure:mmlda}）．
図\ref{figure:mmlda}では，動作の概念（トピック）は，LDAでモデル化される
物体や言葉の概念と結びつけられて学習されます．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[b]
\begin{center}
\includegraphics{27-4ia13-2f2.eps}
\end{center}
\hangcaption{ロボットとの対話実験．LCore (Iwahashi 2006)に基づく共有信念の確率をもとに，発話理解の確信度に応じて応答が生成されています．}
\label{figure:sugiura-jrsj}
\vspace{-1\Cvs}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

また，NICTの杉浦・岩橋ら（現在はそれぞれ慶応大，岡山県立大）は，
図\ref{figure:sugiura-jrsj}のようにロボットが人間とインタラクションを行う中で，
音素レベルの不完全な音声認識結果から「ぼおる」「つくえ」といった物体の
名前や，「わたして」といった動作を表す言葉を対話の中で学習できることを
示しました%
\footnote{言語自体をこうして創発的に考える研究は，NLP2019の橋本敬氏によるチュートリアル「言語の創発構成論～言語進化の計算機実験・実験室実験の紹介」にあるように，複雑系の分野で歴史があります．情報理論に基づいてより理論的に扱う研究としては，Nowakら\cite{nowak00information}の一連の研究が有名です．}
\cite{iwahashi06lcore,sugiura10dialogue}．
杉浦らはその後，ニューラルネットを用いて曖昧な発話をマルチモーダル情報から
頑健かつ高精度に理解する研究を様々に行っており，
また2019年のロボット学会企画セッションにおいて，招待講演
「ロボティクスにおける言語の利活用」\cite{sugiura19robolang}を行っています．

しかし，これらの研究は言語のモデルとしては単純なマルコフモデルやHMM，LSTM
といったモデルが使われており，
自然言語処理の成果を充分に利用したものではありません
でした．これは，先に述べたようにほとんどの自然言語処理のモデルが
教師あり学習を基にしており，ロボティクスでうまく用いることができなかった
ことにも依っています．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{グラウンディングの必要性}

一方で，自然言語処理の側では，ニューラルネットにより画像の情報を容易に扱う
ことができ\footnote{それ以前も，bag of visual words や画像特徴量を言語と結び付ける研究はありましたが，ニューラルネットにより画像との接続は格段に簡単になりました．}，
End-to-Endの学習が可能になったことで，言葉を画像や株価のような連続値と
結びつける研究が可能になりました．
単語ベクトルも同時に用いることで，従来は離散的な記号であった言葉が
視覚のような連続量と結びつき得ること，すなわち言葉の
\uwave{グラウンディング}が完全ではないにせよ，可能になりました．
そこで2019年の言語処理学会年次大会では，『実世界にグラウンドされた言語処理』
テーマセッションが企画され，10本の論文が集まりました．

これらの二者はロボティクス側と言語処理側という違いがあるだけで，同じものを
目指していることから，二者を統合したのが今年の
『ロボティクス・グラウンディングと自然言語処理』です．
筆者はこれより前，谷口（立命館大）をはじめとするロボティクスの研究者・言語学
および自然言語処理の研究者と
``LangRobo研究会''\footnote{http://www.emergent-symbol.systems{\slash}news{\slash}langrobo6}を立ち上げ，どのような言語処理が必要なのか，現状のロボティクスに何が欠けているのか
について重ねて議論してきました．
議論の結果は，NII 湘南会議を経て，{\it Advanced Robotics}におけるサーベイ論文\cite{langrobo19survey}としてまとめられています．
今回の言語処理学会でのセッションは，これを言語処理コミュニティに問いかけて
分野の交流を図る試みでした．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{ロボティクスとグラウンディング研究の潮流}

ロボティクスとグラウンディングは，世界的に見ても注目を集めている領域です．
たとえば，最も新しいACL 2020とEMNLP 2020では，エリアとして
``Language Grounding to Vision, Robotics and Beyond''というズバリの領域が
存在して論文が採択されています．
自然言語処理における最初の集まりは，ACL 2017における「Robo-NLP 2017」
ワークショップ\footnote{https://robo-nlp.github.io/2017\_index.html}
だったと思われますが，これは
NAACL-HLT 2019において空間把握 (spatial language understanding, SpLU) と
合体して，「SpLU-RoboNLP 2019」\footnote{https://splu-robonlp.github.io/}として引き継がれています．
ワークショップの論文はすべてACL Anthology\footnote{https://www.aclweb.org{\slash}anthology{\slash}}で公開されて
いますので，ご興味のある方は確認されると良いでしょう．

ロボティクス側では，マドリードで開催されたロボティクスのトップ国際会議である
IROS 2018において，日本からは谷口（立命館大），堀井（電通大），長井（阪大），
稲邑(NII)らを中心に ``Workshop on Language Grounding and Robotics''
が企画され，筆者も招待講演を行いました\footnote{http://iros2018.emergent-symbol.systems}．
ここでは9本の研究発表があり，テキスト中心の自然言語処理のものとはまた
異なった内容になっています．こちらも，論文はワークショップのサイトで読むことが
できます．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{今後望まれる研究}

ロボティクスおよび自然言語処理，言語学の研究者と上記のサーベイ論文をまとめる
中で，これからのロボティクスに必要な課題も見えてきました．
現在のロボティクスにおける言語理解では，ロボットの動作に直結する「～を
片付けて」「～を取って」のような単純な教示文がほとんどを占めています．
最初に述べたように，ここには構文解析や照応解析，意味解析(semantic parsing)
はほとんど含まれていません\footnote{ごく少数ですが，教示文をCCGで解析して論理式に変換する研究 (Thomason+, IJCAI 2015)なども存在しています．}．
また副詞や形容詞の理解，メタファー，語用論といった言語的要素も落ちている
ため，「ちょっと妹の様子を見てきてくれないかな?」のような発話の意図を理解して
適切な行動と応答を行うことは，現在はほぼ不可能です．
画像処理とのグラウンディングの分野では，複雑な状況の理解の試みが進んでいます
が，静的な画像からの情報で，かつ認識側からのアクションが起こせなければ，
理解できる範囲にも限界が生じると考えられます．
インタラクションの中で動的に言語を理解し，行動するロボティクスとの融合は，
これからますます望まれると考えられます．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

これまで議論いただいた共同研究者の皆様，およびLangRobo研究会の皆様に感謝
いたします．本テーマセッションの提案者は次の通りです（敬称略，所属は大会時）．
持橋大地（統数研），
谷口忠大（立命館大），
中野幹生 (HRI)，
杉浦孔明 (NICT)，
高村大也（産総研），
亀田尭宙（国立歴史民俗博物館），
荒牧英治 (NAIST)，
Eric Nichols (HRI)，
中山英樹（東大），
小林一郎（お茶の水女子大），
乾健太郎（東北大），
亀甲博貴（京大），
宮尾祐介（東大），
岩橋直人（岡山県立大），
井之上直也（東北大），
内田諭（九大），
森信介（京大），
長井隆行（阪大），
稲邑哲也 (NII)，
坪井祐太 (PFN)，
海野裕也 (PFN)，
中村知昭（電通大），
萩原良信（立命館大）．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.5}
\input{13refs_bbl.tex}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{持橋　大地}{%
1998年東京大学教養学部基礎科学科第二卒．2005年奈良先端科学技術大学院大学
情報科学研究科自然言語処理学講座博士後期課程修了．博士（理学）．
ATR音声言語コミュニケーション研究所研究員，NTTコミュニケーション科学基礎研究所
リサーチアソシエイト／リサーチスペシャリストを経て，2011年より現職．
自然言語処理および統計的機械学習に興味を持つ．
}

\end{biography}


%%%%\biodate   %%%% 受付日の出力（編集部で設定します）

\end{document}




