\documentclass[japanese,other]{jnlp_3.8}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{array}
\usepackage{footnote}
\makesavenoteenv{tabular}
\makesavenoteenv{table}

\allowdisplaybreaks


\Volume{32}
\Number{3}
\Month{September}
\Year{2025}
%%%%\Issuetitle{「　　　　」特集号}


\setcounter{page}{967}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%   タイトル部分                                      %%%
\jsubject{学会記事}
\jtitle{LLMs' Grammatical Knowledge研究\\およびNAACL 2025の振り返り}
\jauthor{井手　佑翼\affiref{Author_1}}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
% 英語タイトル・英語著者名
\etitle{On Our LLMs' Grammatical Knowledge Study and NAACL 2025}
\eauthor{Yusuke Ide\affiref{Author_1}} 
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\headauthor{井手}
\headtitle{LLMs' Grammatical Knowledge研究およびNAACL 2025の振り返り}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% 所属
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\affilabel{Author_1}{奈良先端科学技術大学院大学}{Nara Institute of Science and Technology}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

本記事は，NAACL 2025に採択された論文``How to Make the Most of LLMs' Grammatical Knowledge for Acceptability Judgments''\cite{ide-etal-2025-make}に関する報告である．
本学術誌の学会記事では，論文の内容の解説に紙幅を割くのが通例であるようだが，当該論文は別の場所で日本語化して発表する計画がある．
そこで，論文の詳しい内容はそちらに譲り，本記事では採択までの経緯と学会で印象的だった出来事を中心に報告する．

ただし，当該研究の概要は以降の内容の理解に必要なので，ここで説明する．
当該研究は，大規模言語モデル (LLM) の文法知識を最大限に引き出す方法を探ることを目的としたものである．
容認性判断タスクのベンチマーク（英語・中国語）と8つのLLMを用いながら，計9つの手法について実験を行い，次のような知見を得た．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{itemize}
    \item 従来の文確率のみを用いる手法に比べ，どのような観点に基づいて判断すべきかをテンプレートを用いてモデルに伝える手法 (In-template LP)，および容認性判断をYes/Noで答えられる質問に落とし込んで計算した確率スコアを用いる手法（Yes/No確率比較）が，高い性能を示す（図\ref{fig:concept-illustration}に，これらの手法の概念図を示す）．
    \item In-template LPとYes/No確率比較は，異なる強みを持つ．
    \item In-template LPとYes/No確率比較のアンサンブルにより，一方の手法を単体で用いる場合より高い性能を得られる．
\end{itemize}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%% Fig 1
\begin{figure}[t]
    \begin{center}
    \includegraphics{32-3ia32f01.eps}
    \end{center}
    \caption{当研究の提案手法の概念図\protect\cite{ide-etal-2025-make}}
    \label{fig:concept-illustration}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{採択までの経緯}

当研究の着想は，2024年3月に神戸で開催された本学会の年次大会 (NLP2024) まで遡る．大会1日目のチュートリアルに参加するため，近鉄奈良線の学園前駅から神戸方面に向かう電車で，偶然，同じNAISTの研究室に所属する西田さんと遭遇した．せっかくなので，我々は隣に座って雑談を始めた．電車が神戸三宮駅に到着するまでに，1時間以上の時間があった．

雑談の中で，NLP2024で発表された研究の一つ，都立大の上田さんらによる「Minimal-pair Paradigmデータセットにおけるトークン長バイアスの分析と改善」の話題が出た．
これについての議論する中で，西田さんが「LLMは自身が文に割り当てる尤度を把握しているのか気になる」という話をした．
つまり「LLMが，与えられた文$s$に対して与える尤度（確率）と，プロンプティングを行った場合に文$s$に感じる尤度（それらしさ）の間に，差があるのか」という疑問である．
これは，私にも面白い問いであるように思われた．

容認性に限った話ではないが，何らかの観点からLLMに複数のテキストの良し悪しを比較をさせる際，様々な方法が考えられる．
最も単純なのはプロンプティングでAとBどちらが文法的に正しいか，などと尋ねる方法だが，ミニマルペア容認性判断の先行研究では，文の確率を単純に比較する方法が圧倒的に広く使われていた．これら2つの間で大きな差があるのだとしたら，それは興味深い現象であり，かつ工学的にも意義のある知見なのではないか？
また，これら2つの他にも様々な手法が考えうるのではないか？

以上の問題意識のもと，年次大会が終わってから間もなく，実験と分析に取りかかった．
基本的な方針は「容認性判断性能を引き出すための方法として考えられるものを，網羅的に試そう．
その結果，既存の手法を超えるものが見つかれば，LLMの文法知識の測り方について強いメッセージを出すことができるので，それを目指そう」というものであった．

実験を進める過程で，研究室の仲間（特に西田さんや上垣外先生）と，頻繁にコミュニケーションが取れたのは良かったと思う．
実験の結果が揃ったら，すぐにSlackや口頭で共有し，それをどう解釈するのがよいか，次はどんな実験をすべきか，といった問題について議論した．
こうすることで，記憶が薄れないうちに，論文に何をどう書くべきか具体的なイメージを持つことができた．
また，自分の考えるストーリーに不自然なところ，説得的でない部分があれば，すぐに修正できた．

2ヶ月ほど実験と分析を繰り返し，得られた研究の成果を8ページの論文にまとめて，情報処理学会自然言語処理研究会（NL研）に提出した．
研究会は6月末に開催され，幸いにも，ここで若手奨励賞をいただくことができた．
私にとって2回目のNL研だったが，NL研は，経験豊富な研究者の方から忌憚のない意見をもらえることが多く，とてもよい刺激になる印象がある．

その後も実験と分析を重ね，執筆した論文を，8月のACL Rolling Review (ARR) に投稿した．
この時までに，我々の提案手法が，使用するベンチマークやモデルによらず，既存手法を超える性能を示すことが確認できていたので，論文の価値には，ある程度自信を持つことができた．
査読の結果，meta-reviewerによるoverall assessmentは3であった．
査読者からは，記述が分かりにくい部分が多々あることや，追加すべき実験があることについての指摘があった．
そこで，これらの点を修正して10月のARRに再度論文を投稿した．
ここでoverall assessmentが4まで上がったので，安心してNAACLに投稿 (commit) することができた．

2度の査読を通じて，リバッタルは自身の論文を批判的に見てもらえる貴重な機会だと感じると同時に，不当な理由で不採択とならないようにするためには，Reviewer Guidelinesをよく読むことも重要だと実感した．
ARRの査読者は，低いスコアをつけるためには，基本的にそれ相応の理由を示さなくてはいけない．
また，スコアを下げるのに十分な理由として認められない事由 (heuristic) が多数あり，それらはガイドラインで明示されている．
しかし，査読者の中には，ガイドラインをよく読まずに査読をする人もおり，査読がheuristicに陥っていることがある．
このような場合は，ガイドラインの該当する項目に言及しながら（礼儀正しく）反論したり，メタ査読者に報告したりすることが有効だと学んだ．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{研究の振り返り}

当研究は，私にとって，メインの研究が進められない期間に，LLMについての理解を深め，研究の幅を広げるために始めたサイドプロジェクトという側面がある．
もう一方の研究ではデータセットの構築に取り組んでいたので，アノテーションを人に依頼している期間などは時間の余裕ができる．
そこで，その間に趣向の異なる研究に取り組めたら，と考えていた．
同時に，研究室の仲間と関心が重なる領域からトピックを選べば，彼らと協力しあいながら効率的に研究を進められるのでは，という考えがあった．
実際，当研究を進める中で，これらの狙いはうまく実現できたと思う．
加えて，論文の書き方やLaTeXについての細かいコツなども，共同で研究を進める過程で，得意な人から共有してもらうことができた．
研究を始めて年が浅いうちは特に，このようなOJT的な学びの効果が大きいと感じた．
リクルートホールディングス社\footnote{人材サービスの大手企業．Megagon Labsを通じて自然言語処理の研究にも関わっている．}の創業者，江副浩正氏の言葉に「自ら機会を創り出し，機会によって自らを変えよ」というものがあるが，これは研究にも通じるのではないかと思う．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{NAACL 2025での学び}

私は，学会で他の学生や研究者と交流することが好きなのだが，それは，自身の見識を広めたり，モチベーションを補充したり，今後の共同研究に繋がる関係を作ったりする機会となるからだ．
LLMs' Grammatical Knowledgeの研究からは話が逸れるが，以下では，NAACL 2025での人的交流について興味深かった出来事を一つ紹介したい．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%% Fig 2
\begin{figure}[t]
    \begin{center}
    \includegraphics{32-3ia32f02.eps}
    \end{center}
    \caption{NAACL 2025で導入されていたネットワーキングツールWhova\textsuperscript{2}}
    \label{fig:whova}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%




NAACL 2025では，参加者に，ネットワーキングのためのオンラインプラットフォームであるWhova\footnote{\url{https://whova.com/}}（図\ref{fig:whova}）を導入することが推奨されていた．
このWhovaを通じて参加者は誰でもイベントや集まりを企画できるのだが，ある学生が，Language Acquisition Lunchという会を企画して，私のことも招待してくれた（私の発表を聴いて，面白いと思ってくれたらしい）．
当日は20人程度が集まり，近所のフードコートで食べ物を購入し，公園に移動して，輪になってランチを食べつつおしゃべりする，という形式だったのだが，これはとても合理的なやり方だと思った．
ランチ会のトピックが決まっていれば，ある程度，お互い関心が近いことを分かった状態で会話を始められるので，盛り上がりやすい．
また，レストランに入るのと違って，席が固定されないので，話が合った人と自由に話しやすい．
公園に行くのであれば，席数の制限もないし，予約の必要ももちろんない．
ディナーに比べればランチは安く済む選択肢も多いので，財布にも優しい．
1時間半の限られた時間の中で，私は，8人程度の人と会話を交わすことができた．
このような機会で，海外に同じような関心を持って研究をしている人がいることが実感できると，よい刺激になると感じた．
この形式の会は企画者の負担も大きくないので，自分でも，将来チャンスがあればやってみたい．
たとえば本学会の年次大会でも，Slackを活用するなどして，同形式の会を開くことが可能だと思われる．


%%%%%%%%%%%%%%%%%%%%
%%% Bibliography %%%
%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{32refs}

%%%%%%%%%%%%%%%%%
%%% Biography %%%
%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{井手　佑翼}{%
2017年東京大学文学部行動文化学科卒業．
2023年奈良先端科学技術大学院大学先端科学技術研究科博士前期課程修了．
同年より同大学博士後期課程に在籍．
自然言語処理の研究に従事．
}

\end{biography}


\end{document}


