\documentclass[japanese,other]{jnlp_3.6}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
\def\tabref#1{表\ref{#1}}
\def\figref#1{図\ref{#1}}
\def\secref#1{節\ref{#1}}
\def\eqref#1{式(\ref{#1})}
%%%%\newcommand{\etal}{\textit{et al}.~}
    \newcommand{\etal}{\textit{et~al}.\ }
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{30}
\Number{2}
\Month{June}
\Year{2023}
%%%%\Issuetitle{「　　　　」特集号}


\setcounter{page}{833}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%   タイトル部分                                      %%%
%%%% （可能であれば，旧字体ではなく新字体を使って下さい）%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{「BioVL2データセット: 生化学分野における一人称視点の\\実験映像への言語アノテーション」の研究経緯}
\jauthor{西村　太一\affiref{Author_1}}
\etitle{Research History on “BioVL2: An Egocentric Biochemical Video-and-Language Dataset”}
\eauthor{Taichi Nishimura\affiref{Author_1}} 

\headauthor{西村}
\headtitle{「BioVL2データセット: 生化学分野における一人称視点の実験映像への言語アノテーション」の研究経緯}

\affilabel{Author_1}{京都大学大学院 情報学研究科}{Graduate School of Informatics, Kyoto University}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

本稿では，言語処理学会の2022年度論文賞をいただいた``BioVL2データセット: 生化学分野における一人称視点の実験映像への言語アノテーション''\cite{nishimura2022nlp}の研究の経緯について説明する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{本研究の概要}

科学は再現性の危機に瀕している．
2016年に学術誌Natureに掲載された，``1,500 Scientists Lift The Lid on Reproducibility''\cite{baker2016nature}の報告にて，心理学，化学，医学といった多くの研究分野において，多くの科学者が他者の実験結果を再現することに失敗した経験があることが明らかになった．
分野ごとの統計結果も記載されているのだが，とりわけ再現の失敗する傾向が多かったのが，生化学や生命科学などの薬品を用いた化学実験を行う研究分野である．こうした分野では，75\%から80\%以上の研究者が他の研究者の実験結果を再現することができなかった経験があると報告している．

こうした化学実験において，再現性の観点から重要な役割を果たすのが実験プロトコルである\footnote{情報学において，プロトコルとはコンピュータでデータを通信するために定めた規約を指す（例: HTTP, FTP）が，化学実験の分野では実験を再現するための手順を記述した文書を指す．}．
実験プロトコルとは，ある実験を再現するために必要な操作を時系列順に記述した文書である．
科学者はこれに従うことで理想的には実験を再現できるべきであるが，人が書いたものであるがゆえ手順には抜け漏れが生じたり，誤りを含んだりすることもある．
また，多くは言語のみによる記述のため，直感的に分かりやすい視覚情報は含まれていない．
玄人の科学者であれば，過去の実験経験をもとに，言語情報のみから再現することも可能であろうが，駆け出しの科学者であればそれもまた難しくなる．
人工知能技術を用いてこの問題の解決に貢献できるだろうか？　この問いが本研究の根底にある学術的問いである．

この問いに答えるために，我々は視覚と言語の融合研究に着目した．
撮影した実験映像とプロトコルの組から，映像の操作シーンとプロトコルの各手順の対応関係を推定する技術\cite{bojanowski2015iccv,naim2014aaai,naim2015naacl}を応用すれば，手順ごとに視覚的に操作を確認できるようになる．
あるいは，作業映像を入力としてプロトコルを自動生成できれば\cite{nishimura2021acmmm,ushiku2017ijcnlp}，研究者がプロトコルを書く負担を軽減することができる．
このように，化学実験を対象とした視覚と言語の融合研究は実験プロトコルの参照時と作成時の両方の負担を軽減し，実験再現性の向上に貢献できるだろうと考えた．

この目標に向けた第一歩として，本研究では，生化学分野を対象として実験映像を収集し，言語アノテーションを付与したBioVL2データセットを構築した（\figref{fig:biovl2}）．
BioVL2データセットには，生化学分野の4種類の基礎的な実験に対して8映像を撮影し，各映像に対して(a)視覚と言語の対応関係と(b)プロトコル内に現れる物体の矩形情報の二種類のアノテーションを付与した．
これらのアノテーション方法や統計情報といった詳しい説明は元論文に譲る．
重要なのは，これらの情報を利用することで，映像中からのシーン検索やプロトコル生成による科学者のプロトコル記述の補助といった科学の再現性向上に資するデータセットを提案したことである．
構築したBioVL2データセットを用いて，作業映像からのプロトコル生成を応用課題に掲げて実験を行いデータセットの有用性を検証している．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[b]
\begin{center}
\includegraphics{30-2ia24f1.pdf}
\end{center}
\caption{BioVL2データセットの概要．図は元論文から引用．}
\label{fig:biovl2}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{本研究の過程}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{研究の始まり}

本研究は，私が博士1年のはじめに取り組み始めた研究である．
私は``作業映像からの手順書生成''を大きなテーマに掲げて研究に取り組んできた\cite{nishimura2021acmmm}．
作業動画といっても全ての分野を同時に検証することは難しい．
私は，Web上でデータが多く，ベンチマークデータセットが整備されている料理分野\cite{zhou2018aaai,damen2018eccv}に焦点を絞り研究に取り組んできた．
しかし，自分の開発した手法が果たして他の分野（部品組み立てや化学実験）にも適用できるのかは不明であった．料理分野にしか適用できない手法を開発しているのではないか？という疑問は絶えず頭の片隅にあったことを覚えている．

このことは指導教員である森信介教授にも何度か指摘された．
「料理分野は取り組みやすいということで始めた研究のはずだ．そろそろ手順化することの需要が高い別の分野で研究に取り組むべきではないか」
この言葉は当時グサッときた．図星であったからであろう．
一方，新しい分野に飛び込む恐怖も覚えていた．映像から手順として生成することの需要が高い分野として化学実験があることは頭にあったが，どこから手をつけたら良いか（例えば，Webから映像を収集するのか，あるいは映像を実際に撮影するのか）悩んでいた．
また，料理分野と違いほとんど先行研究がない中の挑戦となる．公開されているデータセットも少なければWeb上のデータ（例: YouTube上の映像の数）も少ない．深層学習を用いたアプローチをそのまま適用することが難しい中，自分が一から研究を行って最後まで遂行することができるのかという不安もあった．

悩んだ末に出した答えは，``考えるより先に動く''，つまり，実際に実験映像を収集してみて分析を行ってみるしかないという結論に至った．
撮影を行いたい旨を森先生に相談すると，先生からBonBon株式会社の荘子万能氏を紹介していただいた．
荘子氏は大阪医科薬科大学の卒業生であり，我々の研究に興味を持ってくれた．そして，撮影の協力相手として氏の所属していた研究室である大阪医科薬科大学の生理学研究室の小野富三人教授を紹介していただいた．小野教授も我々の研究内容に興味を持っていただき，実験の撮影に対して快諾していただいた．

こうして，我々---京都大学と大阪医科薬科大学の共同研究が始まった．
当時研究室の修士2年であった迫田航次郎君と共に大阪医科薬科大学に定期的に通い撮影を行い研究を進めた．我々の研究室は自然言語処理の研究室であり撮影に関する知識はなかったため，コンピュータビジョンのプロであるオムロンサイニックエックス株式会社 橋本敦史氏に協力を仰ぎ撮影のノウハウを教えてもらいつつ撮影を進めた\footnote{深層学習の発展により言語情報と視覚情報を同時処理することはさほど難しくはなくなった．しかし，それは両方のデータが揃った後の話であると思う．データを収集するプロセスにおいて，それぞれの専門性は発揮される．橋本氏からは映像を同期する技術やアノテーションにおけるフレームサンプリング方法など細かいノウハウを教えていただき，研究を円滑に進めることができた．}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験映像の撮影を経て得られた知見}

撮影を行っていく中で，料理分野では見られなかった観察も多々得られた．
そのうちの1つに物体の性質の変化に伴う見た目の変化がある．
作業を行っていくたびに，作業対象となる物体の性質は変化していき，時として物体の見た目にも変化が伴う．
料理をもとに例を挙げよう．カレーを作る際にじゃがいもは生の状態から皮を剥かれ，切られ，鍋に入れられといったように，じゃがいもの持つ性質は人の操作によって変化する．そして，この過程でじゃがいもの見た目も生の状態から操作を経て大きく変化していく\footnote{この点は知能の研究として私が特に興味深いと感じているポイントである．人にとって物体の同一性は簡単に同定できるが，コンピュータにとっては自明ではない．この作業中の物体の性質変化のモデル化は私の過去の研究\cite{nishimura2021acmmm,nishimura2020ieee}を参考されたい．}．

料理分野との大きな違いは，化学実験において，性質の変化に伴って見た目の変化が伴わない点にある．これは，対象とする物体は液体であることが多く，チューブに入れて操作をするためである．
チューブに試料を入れて操作をするため，液体の化学的性質は変化していても見た目を手がかりに試料の性質を認識することはできない．
また，異なる試料に同じチューブを利用しているため，チューブの違いから試料を区別することも難しい．
こうした機械的には区別することがほとんど不可能な認識をどう行っているのか？　
撮影に協力いただいた奥田奈津子氏に尋ねると，「チューブのふたに小さい文字を書いて何の試料が入っているのかを区別している」との回答を得た．
この回答をもとに，QRコードをチューブに貼ってしまったら良いのではないかと閃いた．
このアイデアはBioVL2データセットにおいては未検証であるが，現在進行形の後続研究にてQRコードを実験機材に貼って撮影することで実験中に登場する物体の識別が可能な新たなデータセットを構築する取り組みを進めている．

これらのアイデアは実験映像を撮影することでしか得られなかったであろう．新しい分野に足を踏み入れるとき重要になるのは，その分野について深く知ることである．
こうした知識はすぐに手に入るものではなく，実際の現場に赴くほかにない．今後も新たな分野に挑んでいく時は需要を頭で考えるだけでなく，体を動かして---つまり，現場の声を聞いたうえで研究開発を行っていきたい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{論文誌への投稿と今後について}

BioVL2の初期バージョンに当たるBioVLデータセットはコンピュータビジョンの国際会議である2021年のInternational Conference on Computer Vision (ICCV2021)の併設のワークショップであるClosing the Loop Between Computer Vision and Natural Language Processing (CLVL2021)にて発表を行った\cite{nishimura2021iccvw}．
その後，ワークショップを経て頂いたフィードバックをもとに映像データの追加と映像からプロトコルを生成する実験を行って論文誌へ投稿した．
査読ではデータセットの有用性を高く評価していただき，論文の主張を明確にするための沢山の改善コメントを頂いた．多くの人のフィードバックを経てこの研究をひと段落終えることができ著者として感無量である．

一方でこの研究にはやり残した課題も多い．データセットの量も限られているし，実験の種類も生化学実験における基礎的なものを収録しており，研究者たちが普段行う実験とは大きく異なる．
そのため，再現性の改善のために現場に導入する上で実用とは程遠い．今後も研究を重ね，科学の再現性に真に寄与するであろう技術を開発していきたい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

本稿では，``BioVL2データセット: 生化学分野における一人称視点の実験映像への言語アノテーション''の研究の経緯について記したものである．新たな分野に飛び込むに至った経緯や，現場に赴き実験を実際に撮影することで得られた知見，そして今後の発展について述べた．

この研究は多くの協力者に参加していただき実現できたものである．みんなの力で取れた賞だと心の底から思う．協力して頂いた共著者の方々と本論文を高く評価して頂いた編集委員の皆様に感謝の意を表する．また，実験の撮影に協力してくれた大阪医科薬科大学 生理学教室の研究員の方々と有益なコメントをくださった査読者の皆様にも感謝を申し上げる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{24refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{西村　太一}{2019年九州大学芸術工学部卒業，2020年京都大学大学院情報学研究科修士課程修了．現在同大学博士課程．修士（情報学）．マルチメディア，自然言語処理，コンピュータビジョンの研究に従事．学術振興会特別研究員 (DC1)．}

\end{biography}



\end{document}



