\documentclass[japanese,other]{jnlp_3.7}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
\usepackage{array}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
 \usepackage{booktabs} 

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\Volume{30}
\Number{4}
\Month{December}
\Year{2023}
%%%%\Issuetitle{「　　　　」特集号}

\received{2005}{1}{2}
\revised{2006}{3}{4}
\rerevised{2006}{5}{6}
\accepted{2006}{7}{8}

\setcounter{page}{1261}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{Probing Physical Reasoning with Counter-Commonsense Context}
\jauthor{近藤　和志\affiref{Author_1}}

\etitle{Probing Physical Reasoning with Counter-Commonsense Context}
\eauthor{Kazushi Kondo\affiref{Author_1} } 
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\headauthor{近藤}
\headtitle{Probing Physical Reasoning with Counter-Commonsense Context}


\affilabel{Author_1}{東京大学}{The University of Tokyo}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

本稿では，ACL2023に採択された論文``Probing Physical Reasoning with Counter-Commonsense Context'' \cite{kondo_probing_2023}について解説する．2022年11月に公開されたChatGPT以来，生成AIの性能評価を行う研究が一気に増えたようにも思われるが，この論文もその系列の一つととらえることができよう．
より細かく述べるならば，本論文は言語モデルに何ができ何ができないかを分析するプロービング(Probing)を目的としていて，この種の研究はディープニューラルネット(DNN)を用いた手法，特にBERT \cite{devlin_bert_2019}の登場以来盛んになったものと思う．私自身も，はじめはBERT, RoBERTa \cite{liu_roberta_2019}らを対象に研究を行っていたが，折よくChatGPTらが発表され注目を集め，さらにそれらのモデルについてもなかなか良い成果を得ることができた．
このような幸運に助けられながら時流に乗って，ACLへの採択という望外の結果を得られたと感じる．

論文の具体的な手法についても簡潔に紹介するが，コンセプトや着想の経緯といった論文単体では伝わらない部分について本稿では主に伝えられればと思う．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{論文のコンセプト}
本論文では，「常識」が言語モデルに与える影響について考察している．
言語モデルがいかに常識を備えているのか？という疑問については多くの研究が答えを見出そうと奮闘しているが，本研究は常識を備えていることによる悪影響は何かないか？という点に着目している．
具体的には，「常識を備えている言語モデルは，反常識的な文章を出力することができないのでは？」という疑問をもとに，反常識的な文章が答えとなるような推論問題を与えることを考えた．この推論問題は，コロケーションにとらわれすぎずに文脈を理解した推論を行うことができるのか，という能力を測っている．
反常識的な文章と常識的な文章での正答率を比較することで，言語モデルが実際に推論を行うことができるのか，それともあるいはただ単に直前の単語からもっともらしい単語を選んでいるだけなのかを理解することができる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{figure}[t]
\begin{center}
\includegraphics{30-4ia25f1.pdf}
\end{center}
\hangcaption{常識に沿った文脈，沿わない文脈の具体例．人間は正しく状況を想像して推論を行うことができるが，言語モデルは常識やコロケーションに影響されて間違った推論を行ってしまう．}
    \label{fig:title}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{バイアスの問題}
言語モデルがバイアスを携えてしまうという問題は，言語モデルが社会に普及し実装されていく中で，目をそらすことができない大きな課題である．
特に政治的なバイアスやジェンダーバイアスは社会的に懸念されるところであり，これらのバイアスを除去する方法も盛んに議論されている．
そして本手法は，ある種データセット上に存在している常識というバイアスに着目し，このバイアスを排除して言語モデルの推論能力を計測している，ということもできる．
しかし，本研究の趣旨からは逸脱するが，言語モデルからこのバイアスを単に除去すればよいというものでもない．なぜならば，常識は常識として保持し，必要な時には取り出せる必要があるからである．
文脈は文脈として受け取り，（文脈のない）常識は常識として別に理解するという機構がどこかに必要なのではないかと考える．本研究の根底にある目的意識には，そのようなモデルを作ってみたいという思いがある．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{提案手法}
本手法は極めてシンプルであって，あまり特筆して解説すべき部分も少ないのだが，一応述べておくこととする．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{タスク概要}
Masked Language Model (MLM)と生成モデルとで入力形式が異なるため，タスクも少し異なっているが，簡潔には以下のような問題を解いている．今から思うと拙い部分もあるが，そう思えるのも成長の証であると考え，そのままここに記す．
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{enumerate}
    \item Masked Language Modelに対して\\
    ``\texttt {\small<context> In this situation, the size of <obj1> is probably much [MASK] than the \\
size of <obj2>.}'' 
    \item 生成モデル（GPTなど）に対して\\
    ''\texttt{\small <context> Which is bigger in this situation, <obj1> or <obj2>? The bigger is } ''
\end{enumerate}
\texttt {<context>}には問うべきシチュエーションが，\texttt{<obj1>,<obj2>}には比較される単語が挿入される．MLMはMASKトークンにbigger/smallerのどちらを入れるのか，生成AIはどちらのオブジェクトを出力するのかが問われている．
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{データセット作成}
データセット作成は以下のステップで行われた．以下でいうOxford 5000\footnote{\url{https://www.oxfordlearnersdictionaries.com/about/wordlists/oxford3000-5000}}というのは初学者向けの英英辞典であり，英語の基礎的な単語が網羅されている.
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{enumerate}
    \item 大小関係を表す動詞（句）をOxford 5000からすべて抽出する
    \item 動詞句からテンプレートを作成し，挿入する単語が満たすべき条件を策定する
    \item 物体を表す名詞をOxford 5000から抽出し，これらが満たす条件をタグとして記録する
    \item 物体を大きさ順に並べる
    \item テンプレートの空欄部に名詞リストから適合する名詞を挿入して質問文を作る
\end{enumerate}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
(5)以外のほぼすべての部分が人力である．
かなり泥臭い作業であったが，これによって品質を担保でき，評価に没頭することができた．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{table}

\resizebox{\textwidth}{!}{
\begin{tabular}{lll}
\toprule
\textbf{Template}&\textbf{Generated: Ordinary} &\textbf{Generated: Counter-Commonsense}\\
\midrule
\; He found [portable] in [box]. &He found a key in a key box. &He found a monitor in a key box.  \\
\; [box] contains [portable]. & A key box contains a key. & A key box contains a monitor.\\
\; [*] fills [box]. &A marble fills a bin.&A refrigerator fills a bin.\\  
\bottomrule
\end{tabular}}

\hangcaption{\label{citation-guide}作成したテンプレートの例．タグによって挿入する名詞に制限をかけていて，[box]であったら何か物を入れられる``box''という属性を持っている必要がある．[*]の場合は，名詞リストにあるどの名詞を挿入してもよいという意味（物質的な名詞だけが事前に抽出されている．）}
\label{table_template}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{採択までの道のり}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{着想以前}
我々は言語モデルが物体の大きさに関する常識を持っているのかというテーマで，学部生のころから研究を進めていた．
学部の段階では埋め込みから物体の大きさを比較する分類器を学習させるという素直な研究を進めており，そこではそれほど喜ばしい結果は得られなかったが，「言語モデルはそのうち常識を保有するだろう」という直感を得た．
そして，同時にこのトピックは素直が過ぎており，学生の研究力と執筆力では競争を勝っていくのは難しいであろうとも感じた．
そこでこのテーマにひねりを与えたいと思いながらも，どのようにしたいかはわからないまま修士生活に突入することとなった．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{反常識，というひらめき}
本研究のポイントは，単に常識を備えるために学習すると，反常識的な文章を出力することが困難になるのではないかというひらめきにある．
この反常識というアイデアは，画像生成と機械翻訳から得られたものである．この研究を着想したころはMidjourneyやNovel AI等の画像生成AIが持て囃され始めたころで，私自身も画像を生成して遊ぶことが度々であった．その中で，画像生成AIは奇妙な画像を生成しうることに改めて気がついた．例えば，「電球の中に家がある」というような画像も生成できる．
そこで，言語モデルはこれに類することを行うことはできるのだろうか？と考えた．ここに，今回の研究の核となるアイデアが誕生した．

また機械翻訳というのは，いわゆるAIを使った翻訳サービスのことであるが，それが「電球の中に家がある」という文章を確か``There is an electric bulb in a house.''のように誤って翻訳したことがあった．厳密には少し文脈を与えたような記憶があるし，そもそもモデルに盛んにアップデートが行われていることが予想されることから現在はこのような挙動は示さないかもしれないが，兎にも角にもこのことが，言語モデルは反常識的な文章を生成しにくいのではないかという直感を強めた．
そこからはデータセットを作成してとにかく評価をしていこうということになり，先述のような人力作業を行っていくこととなる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{執筆}
今回，初めて論文を投稿したにも関わらずACL2023に採択された理由は執筆，特に推敲に多くの時間をかけたことによるのではないかと考えている．
本論文は執筆を2022年の11月ごろから始め，12月中旬のRolling Reviewに間に合わせることを目標としていた．そして一か月半ほどでおおむね形を作り上げたのち，目標を1月の直接提出の期限に切り替えた．この二段階締め切り法により，ラストスパートを二回果たすことができた．
自賛となり恐縮だが，「論文は一通り書き終わって三分の一」「第6稿まで校正を進めよ」などといわれる先人の教訓を実際に遂行できたことがアクセプトにつながる重要なポイントであったように思われる．本当に何度も書き直してはコメントをいただき，自分でも段々と文章がよくなる過程を味わうことができたのは大きな経験であった．
ただ特にこの執筆活動は共同執筆者である菅原先生，相澤先生の多大なご尽力があって初めて成り立ったことは疑いようもなく，ここで改めてお礼を申し上げたい．
今後のACLではRolling Review一本に絞られるとのことでこの方法はナイーブには使えなくなるものの，仮の締め切りを設けそれを本気で信じこむというのは，強ち人間心理的に間違ったアプローチではないかもしれず，これからも試してみたい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}
本研究は卒論以来初めてとなる論文執筆，初めての学会投稿，初めての国際学会への参加，初めての発表などまさに初めてのことばかりの経験の塊であった.
しかしそれだけに学びが多く貴重な体験となったので，この場でその一端を共有することができたことをとてもうれしく思う．

研究の手法がシンプルであった分，着想や論文執筆の部分に重点を置いて紹介した．
このような技術的にはさほど複雑でない手法でも，運に恵まれたり様々な要因があればACLにもアクセプトされるのだというところが伝われば幸いに思う．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

共著者の菅原先生，相澤先生の甚大なお力添えあって，実験から執筆，現地での発表まで無事行うことができました．
また最後になりますが，このような執筆の機会をくださいました言語処理学会編集委員の皆様に深く感謝申し上げます．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{25refs}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{近藤　和志}{%
2022年東京大学理学部情報科学科卒業．同年4月より東京大学大学院情報理工学系研究科修士課程学生．
}

\end{biography}


\end{document}
