\documentclass[japanese,other]{jnlp_3.3}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
%%%%\usepackage{hangcaption_jnlp}
%%%%\usepackage{array}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%% external packages
%%%%\usepackage{booktabs}
%%%%\usepackage{amsmath,amsfonts,amssymb,mathtools}
%%%%\usepackage{threeparttable}
%%%%\usepackage{url}
%%%%\usepackage{here}
%%%%\usepackage{multicol}
%%%%% macros
%%%%\newcommand{\mathboldface}[1]{\mbox{\boldmath $#1$}}
%%%%\newcommand{\VEC}[1]{\mathboldface{#1}}
%%%%\newcommand{\bvec}[1]{\mbox{\boldmath $#1$}}
%%%%\newcommand*{\ky}[1]{\textcolor{orange}{KY: {\bf #1}}}
%%%%\newcommand{\argmax}{\mathop{\rm arg~max}\limits}
%%%%\newcommand{\argmin}{\mathop{\rm argmin}\limits}
%%%%\newcommand{\bettershortstack}[4][c]{%
%%%%  \renewcommand{\arraystretch}{#2}
%%%%  \begin{tabular}[b]{@{}#1@{}}
%%%%  #4
%%%%  \end{tabular}%
%%%%  \renewcommand{\arraystretch}{#3}
%%%%}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{28}
\Number{3}
\Month{September}
\Year{2021}
%%%%\Issuetitle{「　　　　」特集号}


\setcounter{page}{874}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{言語で説明できるAIシステムへの道のり}
\jauthor{乾　健太郎\affiref{tohoku}\affiref{riken} \and 戸次　大介\affiref{ocha} \and 黒橋　禎夫\affiref{kyoto} \and 久木田水生\affiref{nagoya}}
\etitle{Towards AI Systems That Can Explain with Language}
\eauthor{Kentaro Inui\affiref{tohoku} \and Daisuke Bekki\affiref{ocha} \and Sadao Kurohashi\affiref{kyoto} \and Minao Kukita\affiref{nagoya}} 

\headauthor{乾，戸次，黒橋，久木田}
\headtitle{言語で説明できるAIシステムへの道のり}

\affilabel{tohoku}{東北大学}{Tohoku University}
\affilabel{riken}{理化学研究所}{RIKEN}
\affilabel{ocha}{お茶の水女子大学}{Ochanomizu University}
\affilabel{kyoto}{京都大学}{Kyoto University}
\affilabel{nagoya}{名古屋大学}{Nagoya University}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section*{はじめに}

深層学習の爆発的な発展によってAIは長足の進歩を遂げた．
しかし，深層学習の成功はこれまでのところ，画像／音声認識，機械翻訳など，大量の訓練データが入手可能でありend-to-endの学習が可能な領域に限られている．
また，よく指摘されるように，end-to-endの学習で得られる深層ニューラルネット (DNN) はいわゆるブラックボックスであり，判断の解釈や説明が難しい．
こうした背景のなか，我々は幸運にも，JST/CRESTの新領域「信頼できるAIシステム」に提案が採択され，「説明できるAI (XAI)」に関する研究プロジェクトを進めることになった．
まずは，領域総括の相澤彰子先生をはじめ，アドバイザーの先生方，関係者各位に感謝申し上げたい．
我々のねらいは，現在のend-to-endの学習では解決が難しい問題のうち，「言語」の問題，とくに，人間であれば判断の過程や理由を言語で説明できる種類の問題に焦点を当て，人が説明するのと同様の仕方で判断を説明できる新しい計算パラダイムを探究することである．
プロジェクトは2020年12月から約5年半続く．
その間にも様々な技術革新が起こり，我々も舵の調整を迫られるかもしれない．
5年後には今とは違った世界観で違ったことを言っているかもしれないが，プロジェクトの開始に当たって現在の我々の思いとねらいを論じたい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section*{「言語で説明できる」問題をねらう}

「言語で説明できる」問題をねらう理由は 3 つある．

第 1 に，判断の過程や理由を言語で説明できる問題は社会の至るところに存在する．
情報の真偽の判断や法律的な判断，経営の意思決定など，社会の多くの重要問題が，言語で語られた情報や知識を組み合わせて推論し，判断し，その過程を言語で説明できる問題である．
一つの例題として，本プロジェクトでは情報の信憑性を判断する問題を考える．
図 1 のように，「（新型コロナ感染で）1 万人近くの感染者がいるが，日本人は$\ldots$半分もいない」のようなSNSの情報の信憑性を判断したいとしよう．
もし機械が人に代わって「厚労省発表」のような情報源を見つけ出したり，「感染者の約半数は国籍未確認」のような関連情報との間の意味的な関係を推論して人に説明するといったことができれば，合理的で納得感のある判断に貢献できるだろう．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[b]
\begin{center}
\includegraphics{28-3ia21f1.pdf}
\end{center}
\caption{判断の過程を言語で説明できるAIシステムの実現を目指したい．}
\label{fig:method-summary}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

第 2 に，図 1 の例に含まれるような言語理解は，深層学習による音声認識や翻訳がこれほど成功を収めた今も実現できていない．問題の複雑さに対して十分な訓練データを用意することが困難であり，少量のデータからでは適切な一般化が難しいためである．しかし，人が言語で説明できる問題の領域では，問題を規定するための知識や判断の説明に使う知識が形式知としてどこかに言語で記述されている可能性が高い．そうした言語で書かれた知識はその領域の問題をどのように一般化すればよいかの良い事前知識を与えてくれる可能性もある．たとえば，図 1 の推論は，〈「日本国籍」と「外国籍」の排他相補的関係〉や〈「割合」の意味・計算方法〉のような知識を使って説明できるが，こうした概念や意味の知識を学習や推論の中でうまく利用する仕組みを生み出せれば，現在の深層学習の限界を超えられる可能性も出てくる．

第 3 に，判断の過程を言語で説明できる問題では，人がAIに説明の手本を示すことができる．
XAIに関する既存の研究の多くは，データからの統計的予測や画像認識のような，end-to-endの学習で成功している領域の問題を主たる対象としてきたが\cite{hara:19}，
そうした領域では人間自身もどう説明すればよいかわからない問題も少なくない．
一方，情報の信憑性判断のような問題では，人が自らの判断の理由を説明する営みが社会の中にすでに存在し，説明のあり方，受けとめ側の態度のあり方等に関する知恵の蓄積がある．
こうした判断の説明が社会に根付いている問題に焦点を当てながら，心理学，社会科学等の研究者らとも連携することによって，人間をきちんと系に入れた「コミュニケーションとしての説明」の研究を進めたい．

以上を踏まえ，文書集合に対する質問応答の説明や情報推薦の対話，さらに上述のような情報信憑性判断の対話的支援といった課題を例題として，判断を言語で説明する問題を考える．図2のように計算機科学の研究者と人間社会科学の研究者が密に協力する研究体制を組織し，推論層と説明共有層の 2 つの相互作用系からなる人とAIの協働システムの設計論を研究する．推論層では，記号推論とDNN推論の相互作用によって説明能力と学習性能を両立する，新しい説明可能AIのアーキテクチャを研究する（図2の研究項目 1）．説明共有層では，説明を介した人とAIの相互作用を考え，AIの説明が納得感のある説明となるために，相手を含めた説明のコミュニケーションの設計論を研究する（研究項目 2）．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2 and 3
\begin{figure}[tb]
\begin{minipage}{226pt}
\includegraphics{28-3ia21f2.pdf}
\caption{研究項目と研究体制}
\label{fig:members}
\end{minipage}
\hfill
\begin{minipage}{166pt}
\includegraphics{28-3ia21f3.pdf}
\caption{KB-Text混合グラフ上の推論}
\label{fig:inui} 
\end{minipage}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section*{記号推論と深層学習の融合に向けて}

自然言語にせよ形式言語にせよ，人類が知識を記録し共有してきた道具は言語，すなわち記号であり，説明の道具も記号である．
したがって，説明能力を深層学習に組み込む自然な方法の一つは，記号表現された知識や記号による推論をDNNに組み込むことである．
ただし，過去のAI研究が経験したように，記号推論は知識ベースの構築（知識獲得）と離散構造の組合せ最適化（探索）の 2 つのボトルネックのために実問題に対して脆弱であり，そこが解決しなければ実応用は難しい．
これに対して本研究では次の2つの攻め口を考える．
1つはやはり言語データからの知識獲得である．
ただし，知識獲得と推論をカスケードする従来の方式には知識獲得の誤りの伝播など本質的な限界があり，これをいかに克服するかが鍵となる．
もう1つは，記号推論とDNN推論の融合を探索のボトルネックの解消手段として捉えることである．
これらの攻め口に対し，工学的な自然言語処理（乾グループ (G)）と数理的な形式意味論（戸次G）の 2 つの異なる角度から相補的に連携してアプローチする．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{記号推論と深層学習の融合に基づく説明可能AI（乾G）}
出発点として，図~\ref{fig:inui}のような，知識ベースとテキストの混合グラフ上での多段推論を考える．
こうした混合グラフの上で推論ができるなら，それはすなわち自然言語で書かれた知識を推論に利用できているということであり，知識獲得のボトルネックに繋がる．
また，こうした混合グラフをDNNに完全に埋め込み，記号を捨象し高速に推論できるモデル（図の「システム 1」）と，混合グラフを記号知識として検索・参照しながら推論するモデル（「システム 2」）を考え，それらの相互作用によって推論が進むような系を考える．
システム 1 がシステム 2 に「注意（探索のガイド）」を与え，システム 2 は精緻な推論の結果をシステム 1 に「教示信号」として与えるといった相互作用をうまく実現することができれば，探索のボトルネックが解消できる可能性も出てくる．
乾Gでは，図2のような事物間の静的関係の混合グラフについては，これをDNNに接続する研究でいくつか興味深い結果を生み出しており\cite{dai:21,heinzerling:21}，本研究ではこうした予備的な結果を発展させ，事実性，論理関係，状況依存性等の表現力の高い記号推論に拡張し説明に繋げる課題に注力する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{高階論理と深層学習の融合（戸次G）}
事実性，論理関係，状況依存性などが複雑にかかわる自然言語文の意味計算は，長年，理論言語学の一分野である形式統語論，形式意味論において研究されてきた．
理論言語学の目的の一つは「言語現象を説明すること」であるから，そこから説明にアプローチするのは自然な戦略である．
焦点は，これが深層学習に対抗しうるほどの頑健さ，速さを備えうるかという点にある．
戸次Gでは，形式意味論に基づく意味解析と定理自動照明器を接続したccg2lambdaを2015年に開発し，この分野の先駆けであったNutcracker \cite{bos:08}を越えて当時世界最高の精度と速度を実現しており，さらには一部の含意関係認識タスクにおいて深層学習を上回る精度を達成している\cite{Mineshima:15,Martinez-Gomez:16} （図4）．
本研究ではこれを出発点として，依存型理論に基づく証明論的意味論，および理論言語学と深層学習のハイブリッドなアプローチを推し進める．
また，上記研究を発展させながら，DNNと相互作用する自然言語の証明論的意味論がどのような形で与えられうるかを研究し，「説明可能AIの正しさ」に理論的基盤を提供することをねらう．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section*{説明のコミュニケーション}

説明が相手に理解され，納得に繋がるためには，単に関連する事実を提示するだけでは十分でない (シャーロット 2019)\nocite{シャーロット:19}．
相手に伝わる説明を行うためには，相手が何を知っていて，説明によってどのように理解が進み，またどのような感情でその説明や説明者を捉えているかを推定・把握しなければならない．
そして，適宜それを確認・更新し，相手の質問を受けながら説明を進める必要がある．
すなわち本質的に「対話」が必要となる．
例えば図1の例で，厚労省の公的情報に対してユーザが「えっと$\ldots$」のような返答をしたとすれば，ユーザが十分に理解できていないことを察し，ポイントは「未確認が多い」点にあることを割合の計算などとともに説明できるとよいだろう．
こうした対話的な説明を実現するには，推論のレイヤで説明内容をうまく構造化しておくことに加え，対話相手の内部状態を知識レベルや理解レベルでモデル化し，これをダイナミックに更新しながら対話を進める仕組みが必要であろう（図5）．
さらには，どのような情報をどのような粒度で説明するのが効果的か，人はどのような状態のときにどのような説明を受け入れやすいか，といった人間側の特性が機械との対話の場合にどう変わるかの研究も必要である．
こうした「コミュニケーションとしての説明」の課題に自然言語処理（黒橋G）と人間社会科学（久木田G）から相補的にアプローチする．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 4 and 5
\begin{figure}[tb]
\begin{minipage}{200pt}
\includegraphics{28-3ia21f4.pdf}
\caption{ccg2lambdaによる推論．}
\label{fig:img1}
\end{minipage}
\hfill
\begin{minipage}{196pt}
\includegraphics{28-3ia21f5.pdf}
\caption{対話による説明．}
\label{fig:img2} 
\end{minipage}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{対話相手の内部状態モデルに基づく対話システム（黒橋G）}

対話研究の現状は，限定されたタスク指向対話の制御を機械学習で行うものや，Wikipediaなどを知識源とした大規模な対話コーパスをもとに深層学習によって対話を行うものが主流である．
後者はやはりend-to-endの枠組みであり，知識（テキスト）の構造化が十分でないことに加えて，対話相手の内部状態を推定して対話を制御し相互理解を目指す研究もほとんど行われていない．
これに対し，黒橋Gでは，相手の内部状態や対話文脈に基づいて自然な対話を行うための計算機構を明らかにし，これによって信頼されるにたる説明機能を備えたAIシステムの実現をめざす．
中間的な例題としてまずは映画推薦対話を対象に研究を進める．
すでに，このドメインでの説明対話コーパスの設計・構築，さらに対話者の内部状態のモデル化，説明対話システムの構築を進めており，ニューラルモデルによる内部状態推定とそれに基づく対話制御の有効性について有望な結果が得られている\cite{Kodama:21}．
こうした課題で「説明の対話」の研究を進めながら，情報信憑性判断の課題への発展的応用をはかる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{意思決定支援の人間社会科学（久木田G）}

納得・信頼については，心理学・社会学などにおいて豊富な研究があるが，AIによる説明にフォーカスした研究は極めて少ない．
本研究ではそこをねらう．
本グループ代表の久木田はこれまでAIと人間，AIと社会の望ましい関係，望ましい相互作用の在り方やAIに倫理性を実装する可能性について探求と提言を行ってきた\cite{kukita:17,kukita:20}．
久木田Gでは，これを人間社会科学と計算機科学の融合的方法によって発展させ，実際に動作する説明対話システムも用いながら，AIが行った判断について，説明の整合性や倫理性などの特性，ユーザの背景知識，認知的なバイアスなどがユーザの反応にどう影響するかを心理学・社会学的方法で研究する．
また，そうした記述的研究と並行して，AIに対する適切な「信頼」がどうあるべきかを考えるという規範的な研究を進めることも重要である．
既存の概念を分析・整理する哲学的手法のほか，社会的価値との整合性を検証する応用倫理学的手法も用いながらAIに対する信頼のあるべき姿を様々なステークホルダーとともに議論し，AIに関する倫理的原則や制度の中に反映させる活動を進めたい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section*{おわりに}

本プロジェクトには，本稿の著者の他，各グループから多数の若手研究者に参画いただいている．
プロジェクトの活動を通じて参加者間の交流が進むことを期待するとともに，彼ら彼女らを通してさらに広い領域の研究者・専門家らと繋がる機会が生まれることを我々自身楽しみにしている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\bibliographystyle{jnlpbbl_1.6}
\bibliography{21refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{乾　健太郎}{%
東北大学大学院情報科学研究科教授．1995年東京工業大学大学院情報理工学研究科博士課程修了．同大学助手，九州工業大学助教授，奈良先端科学技術大学院大学助教授を経て，2010年より現職．2016年より理化学研究所AIPセンター自然言語理解チームリーダー兼任．
}

\bioauthor{戸次　大介}{%
お茶の水女子大学基幹研究院自然科学系准教授．2000年東京大学大学院理学系研究科情報科学専攻博士課程修了．科学技術振興機構戦略的創造研究推進事業さきがけプログラム「情報と知」領域専任研究員，東京大学21世紀COE「心とことば―進化認知科学的展開―」研究拠点形成特任研究員を経て，2008年より現職．
}

\bioauthor{黒橋　禎夫}{%
京都大学大学院情報学研究科教授．1994年京都大学大学院工学研究科電気工学第二専攻博士課程修了．同大学助手，講師，東京大学大学院情報理工学系研究科助教授を経て，2006年より現職．
}

\bioauthor{久木田水生}{%
名古屋大学大学院情報学研究科准教授．2005年に京都大学大学院文学研究科より博士学位（文学）を取得．2017年より現職．専門は哲学・倫理学．
}

\end{biography}



%%%%\biodate   %%%% 受付日の出力（編集部で設定します）

\end{document}



