\documentclass[japanese,other]{jnlp_3.8}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{array}
\usepackage{hangcaption_jnlp}
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\Volume{32}
\Number{3}
\Month{September}
\Year{2025}
%%%%\Issuetitle{「　　　　」特集号}

\setcounter{page}{977}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{言語モデルの言語学を求めて：母音調音の場合}
\jauthor{坂上　温紀\affiref{Author_1}}
\etitle{Exploring Linguistics in Language models: A Case Study of Vowel Articulation}
\eauthor{Haruki Sakajo\affiref{Author_1}} 

\headauthor{坂上}
\headtitle{言語モデルの言語学を求めて：母音調音の場合}

\affilabel{Author_1}{奈良先端科学技術大学院大学}{Nara Institute of Science and Technology}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

本稿では，NAACL2025に採択された論文 ``Tonguescape: Exploring Language Models Understanding of Vowel Articulation'' \cite{sakajo-etal-2025-tonguescape} についての解説と，研究の経緯や現地での発表の報告をする．
ただし，この論文についての解説はあくまで簡単に概観するにとどめる．詳細については論文 \cite{sakajo-etal-2025-tonguescape}を参照されたい．

言語モデルは様々なタスク，様々な側面から評価されており，この研究もその一つである．
言語モデルを言語学的な観点から分析する，あるいは言語モデルに言語学のようなものを見出す，といった言語学と自然言語処理の中間地点からの研究としては，\citeB{ostling-kurfali-2023-language}, \citeB{zhangHireLinguistLearning2024}, \citeB{futrell-mahowald-2025-how}, \citeB{hanna-mueller-2025-incremental}, \citeB{brinkmann-etal-2025-large} などがある．
このような研究の中で，この研究は言語学に関する知識を要する Visual Question Answering タスクを用いた言語モデルの分析として位置づけられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{論文の概要}

この研究は言語モデルが母音と舌の関係性を理解しているか，という問いを起点として，言語モデル，とくに大規模視覚言語モデル (Large-scale Vision Langugae Model, LVLM) を評価・分析した研究である．
実験の結果，いくつかの言語モデルは視覚的に与えられた舌の位置を相対的に考慮して母音を予測できることが明らかになった．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[t]
\begin{center}
\includegraphics{32-3ia34f01.eps}
\end{center}
\hangcaption{An overview of our methods. The ``Absolute Position'' (a) is an actual tongue position in an oral cavity. The ``Relative Position'' (b, c) is a tongue position at the moment of pronouncing a vowel regarding the position of other vowels \protect\cite{sakajo-etal-2025-tonguescape}.}
\label{fig:overview_probing}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

この研究には
\begin{itemize}
    \item 母音は舌の相対的な位置関係によって定義される
    \item 舌の位置は MRI などによって視覚的に捉えることができる
    \item 言語モデルは母音と舌の関係に関する知識を有している
    \item 言語モデルの中には画像・動画を処理できるものがある
\end{itemize}
という4つの背景がある．
この事実から，言語モデルは視覚的に与えられた舌の位置から母音を正しく予測できるのか，という疑問が生じた．
この研究は，データセットの構築とそれを用いた実験・分析によってその疑問に答えるものである．

データセットは「リアルタイム MRI 調音運動データベース」 \cite{maekawaRealtimeMRIArticulatory2022} から母音調音に関する画像・動画を取得して作成した．
このデータセットは日本語の調音のみに関するものであるが，日本語のような5母音体系は世界の言語の中で最も主要な母音体系であり，また母音の数とタスクの難易度を考えると，多すぎず少なすぎず，という適度な数であるため，今回の用途としては適切な言語であった．

実験は図~\ref{fig:overview_probing}に示されるように，2つの観点から3つの設定で行った．
Absolute Position と Relative Position というのは母音は相対的に定義されるという知見に着想を得たもので，それに合わせて，zero-shot と few-shot という設定を用意した．
さらに動画を用いることで，発話時の相対的な舌の位置に関する設定を用意した．
実験の結果，言語モデルは相対的な舌の位置と母音の関係を視覚的にも潜在的に理解している可能性が示唆された．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{着想に至った経緯}

自然言語処理の研究を始める前に言語学を学んでいた筆者が，大規模言語モデルと言語学が何らかの形で絡むようなテーマに興味を持つのは自然な流れであった．
自然言語処理の研究を始めてしばらく経った頃，他愛もない研究室での雑談の中で，LLMが発音を理解しているのか，という話題が生じた（なぜそんな話題になったのかは忘れてしまったが，だからこそ雑談である）．
その話題になって筆者が思い出したのは学部時代の言語学の講義である．その講義の中では，母音の調音方法を調べるときに，発話の様子をMRIで撮影して発話中の舌の動きを観察することが紹介された．また，個々の母音を定義することは難しく，相対的に定義される，ということも述べられた．
言語学専修で学位を取ったものの，卒業論文は形態素解析に関するものであったり，言語学への関心は専ら認知言語学や言語類型論にあった筆者にとって，まさかここで学部1回生の頃に少し触れただけの音声学の講義が思い出されるとは思いもしなかったことである．
このようなMRIデータや類似のデータは発音の練習にも用いることができるため，LLM (LVLM) が発音を理解していれば，LLMを使った発音教育システムを構築することもできる．
幸いにも発話を記録したリアルタイムMRIデータセット \cite{maekawaRealtimeMRIArticulatory2022}を見つけることができたため，このリアルタイムMRIデータを入力として，母音を予測するという本研究の方向性が形成された．

この段階ではどうなるのかわからない，面白そう，やってみよう，という程度のものであった．
この研究が初めての自然言語処理の研究となる筆者にとって，この研究の面白さは研究を通して発見してくことになる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験・分析}

まず最初に，テキストのみでの実験から始め，そもそも LLM が言語学・音声学の知識を有していて，それを用いて何らかの推論ができるのかを調べた．
これは非常に簡単な実験で，舌の位置 (high/mid/low, front/mid/back) を与えてそれに対応する母音を推測させるタスクと，母音を与えてその母音の発音方法を説明させる実験である．
この実験の結果，LLMはこのようなタスクができることが明らかになった．
ここで，MRI，つまり視覚情報を入力とした場合にはどうなるのか，という疑問に対する関心は高まった．

これを明らかにするための実験の設定や結果とその分析は論文に書いてある通りであるが，興味深かったのは Qwen2-VL の7Bモデルが設定によっては他の同サイズのモデル非常に良い正答率を記録したことである．
訓練データセットが良いのか，画像から抽出される情報の品質が高いのか，推論に活用するのに長けているのかは定かではないが，いずれにしてもこの極めて特殊なドメインに対するモデルの性能の差を確認することができた．

LVLM は LLM の学習時に獲得した知識を活用して画像・動画に関する様々なタスクに取り組むことができるように思われているが，どうやら今回のようなドメインでは限定的らしい，ということは今後の研究の方向性に示唆を与える発見であった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{投稿・採択・発表}

本来はこの研究で行った実験と分析の先にあるテーマを論文としようとしていたのだが，実験の結果は期待していたものとは少し異なるものであったため，前に述べた実験の結果で論文を書くことにした．
最初は ARR August 2024 に Short Paper として提出した．しかし，スコアはあまり良くなかった．ただし，レビューとメタレビューの中でテーマの面白さは評価していただけ，面白さを支える議論が付録でなされていることも指摘されていたため，再投稿をすることになった．
そこで，少しの追加実験と分析，論文構成の変更を行い，今度は Long Paper として ARR October 2024 に提出した．August cycle のメタレビューから4日間の出来事であった．
幸いにも今度は論文の面白さを評価していただけ，採択へと至った．
さらに幸運なことに，現地では口頭発表の機会を得ることができた．

これまで東南アジアしか旅行したことのなかった筆者にとって NAACL2025 の開催地であるニューメキシコ州アルバカーキは初めてのアメリカであった．
最初のアメリカがアルバカーキ（正確には乗り継ぎのロサンゼルスであるが）というのは中々に刺激的であった．
会議に話を戻すと，現地では多くの面白い研究を聞くことができた．
その中の一つに， ``Incremental Sentence Processing Mechanisms in Autoregressive Transformer Language Models'' \cite{hanna-mueller-2025-incremental} がある．
これは言語モデルが Garden path sentences（袋小路文）をどのように処理しているのか，ということを調査した研究である．
研究自体が個人的な関心と非常に近かったというのもあるが，発表もわかりやすく勉強になるものであったため，強く印象に残っている．
また，会場やその周辺では様々な場面で様々な研究者と色々な話をすることができ，そのような何気ない雑談から様々な着想を得られた，非常に有意義な時間であった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{結局，何が面白かったのか}

この研究を始めた当初はこの研究に対してなんとなく面白そう，どうなのか気になる，程度の興味・動機であった．
その後，この研究を進めていったり他の研究の話を聞いたりする中でこの研究の面白さを再発見することになった．
LLM をベースとして構築される LVLM は画像に対する高い理解能力や説明能力を有しており，その LLM は母音の発音方法を学習している．
このとき，LVLM は視覚的に与えられた母音の発音に関する情報から母音を予測できるのか，という問いは，LVLM の統合学習に対する一般性や LVLM の推論時に視覚情報がどのように扱われているのか，という観点で興味深いものである．
テキスト情報・音声情報・視覚情報という3種類の情報が暗に関わるタスクで言語モデルを評価する，ということこそ筆者が感じた面白さである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

この研究は言語学の発見に基づいて言語モデルを分析したものであり，筆者が求めている言語モデルの言語学の様々な形の一つである．
本稿や本研究を通じて，少しでも自然言語処理と言語学について関心を持っていただけたのなら幸いである．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{34refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{坂上　温紀}{%
2024年京都大学文学部卒業．現在，奈良先端科学技術大学院大学情報科学領域修士課程在学中．
}

\end{biography}




\end{document}




