\documentclass[japanese,other]{jnlp_3.8}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{array}
\usepackage{hangcaption_jnlp}
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\Volume{32}
\Number{3}
\Month{September}
\Year{2025}
%%%%\Issuetitle{「　　　　」特集号}

\setcounter{page}{983}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{JMMMU: A Japanese Massive Multi-discipline Multimodal Understanding Benchmarkの研究過程}
\jauthor{宮井　淳行\affiref{Author_1}}

\etitle{Research Process for JMMMU: A Japanese Massive Multi-discipline Multimodal Understanding Benchmark}
\eauthor{Atsuyuki Miyai\affiref{Author_1}} 

\headauthor{宮井}
\headtitle{JMMMU の研究過程}

\affilabel{Author_1}{東京大学}{The University of Tokyo}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

本稿では，NAACL2025に採択された``JMMMU: A Japanese Massive Multi-discipline Multimodal Understanding Benchmark for Culture-aware Evaluation
'' (Onohara*, Miyai*, Imajuku*, Egashira*, Baek*, Yue, Neubig, Aizawa. *: Equal Contribution) \cite{onohara2025jmmmu}を解説する．初めに研究概要を述べた後，論文では語ることができなかった，研究の着想，カーネギメロン大学 (CMU)との共同研究のきっかけ，NAACLへの投稿／現地発表の雰囲気について述べる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[t]
\begin{center}
\includegraphics{32-3ia35f01.eps}
\end{center}
\hangcaption{\textbf{JMMMUの概要}: JMMMUは文化に依存しない翻訳による問題が720問，新たに作成された文化依存科目が600問含まれており，合計で1,320問からなる．出典JMMMU \protect\cite{onohara2025jmmmu}}
\label{fig:overall}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{研究概要}

本研究では，大学レベルの高度な推論能力，知識を測る既存の大規模画像言語モデル (LMM) ベンチマークであるMMMU (A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark) \cite{Yue_2024_CVPR} を日本語に翻訳し，さらに日本の文化や社会的背景を反映した画像を用いた問題を新たに作成することで，日本語LMMのための新たな評価ベンチマークであるJMMMU (Japanese MMMU) を作成した．
このベンチマークを用いることで，日本語における高度な推論能力や専門知識を，英語版との一対一の比較を通じて評価できるだけでなく，日本文化に対する理解力も含めた総合的な能力評価が可能となる．
本研究ではJMMMUを用いて9つのモデルを評価し，以下の重要な発見が得られた．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%1. 
\subsection{翻訳による性能の低下}

多くのオープンソースのモデルにおいては内容が同一の質問であっても英語から日本語に翻訳することで性能が大きく低下した．これにより既存のモデルは非英語圏における性能が軽視されていることが明らかになった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%2. 
\subsection{日本語データによる影響}

日本語モデルを中心として日本語データを訓練データに含むモデルが，新たに作成した日本文化に関連する科目において優れた性能を示した．これは日本語データがモデルの文化知識の向上に効果的であることを示唆している．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{研究の着想}

2024年春の時点では，大規模言語モデル (LLM) の発展に伴い，大規模画像言語モデル (LMM) の研究も急速に進展していた．しかしその多くは英語圏を中心としたものであり，日本語ドメインにおける研究は依然として限られていた．中でも特に深刻だったのは，日本語に対応したLMM評価用ベンチマークの不足である．

そこで我々は，英語圏で広く使用されているLMM理解力評価ベンチマークであるMMMUの日本語版を作成することで，日本語ドメインにおけるLMM研究の基盤を築けるのではないかと考えた．これにより，日本の開発機関も英語圏における開発の潮流に沿った形で開発を進めることができるようになると考えられる．
また，将来的に多言語対応のLMMがますます重要になると予測される中で，日本語版MMMU (JMMMU) は，日本語のためのみならず，多言語時代に向けた重要な評価基盤の一つとなることも期待した．研究室でLMM関連の研究をしていたメンバーたち，そして，卒論生の小野原君を誘い，本プロジェクトを開始するに至った．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{共同研究のきっかけ}

我々は当初，共同研究をするつもりはなく，自分たちでJMMMUを完成させるつもりで動いていた．既存研究のサーベイのために，LMM評価の有力なリポジトリであるlmms-eval\footnote{\url{https://github.com/EvolvingLMMs-Lab/lmms-eval}}のgithubを確認していたところ，Pull Requestにmultilingual MMMUなるものが上がっていたことに気がついた．しかもその中にJapaneseも存在していることがわかった．そして，その作成者が
MMMUの本家の作者でCMUでポスドクをしているXiang Yueさんのグループだった（後の
CMUのPangea BenchのxMMMU \cite{yue2024pangea}）．彼らのグループで，Japanese MMMUを作っているのならば，我々が自分たちで作ったとしても，彼らのものが本家公認のためコミュニティの主導権を得てしまう．これは良くない状況だと感じ，私は急いで，Xiangさんに，「もしまだ間に合うなら，日本語版は我々主導で作らせてもらえないか？」とメールを送った．すると，Xiangさんがすごく友好的な方で「もちろん！今週の空いている時間を教えて！ミーティングを開こう」とすぐに返信を返してくれた．今までXでしか登場してこなかった偉人が返信を返してくれたことに感激し，我々側もミーティング日程を決め連絡を返し，ミーティングにこぎつけた．そして，偶然にもXiangさんが所属していた研究室が日本とゆかりの深いグラム・ニュービッグ先生の研究室 (NeuLab)であり，Xiangさんからの推薦で途中からグラム先生もプロジェクトに加わることになった．
この偶然の巡り合わせが，東京大学の相澤研とCMUのNeuLabとの接点の始まりである．Xiangさんからは主に，MMMUはどのようにして作ったのか，作る期間はどの程度かかるのか，スケジューリングなどのプロジェクト管理的なアドバイスを貰っていた．自分たちだけで作るとこの辺りがわからないので，結果的に共同研究を行うことでプロジェクトが順調に進んだ．

話は少し逸れるが，オンラインツールの発展により，グローバルなコラボレーションの機会は世界的に増加しており，今後もこの傾向は続くと考えられる．私自身の感覚としては，相手が友好的であるかどうかを見極め，双方にとってWin-Winとなる条件を提示できれば，コラボレーションが実現する可能性はかなり高いと感じている．ただし，共同研究で最も重要なのは，お互いへの尊重であり，日本の研究コミュニティとは研究に対するモチベーションや価値観が異なる場合も多いため，その点には十分な配慮が必要であると感じている．実際，本プロジェクトにおいても，CMU側があくまでサポート役として立ち回ってくれたことが，プロジェクトの円滑な成功に大きく寄与した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{直面した課題}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%1. 
\subsection{翻訳協力メンバーの確保}

MMMUは大学レベルの高度な問題で構成されており，翻訳にあたっても高度な専門知識が求められた．そのため，それぞれの分野において専門的な知識を有している，著者を含む19名の大学生・大学院生を集めた．翻訳協力者は，研究室メンバーの知人を通じて声をかける形で募った．理系・文系を問わず多様な専攻の学生が参加できたのは，総合大学としての強みを活かせた好例であると考えている．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%2. 
\subsection{画像ライセンスの確保}

第二の課題は，使用する画像のライセンスに関するものである．最も容易な問題作成の手段は，既存の問題集やWeb上の問題をそのままベンチマークに取り入れることであるが，この方法では画像のライセンスに問題が生じる．学術論文においてはWeb上の画像をフェアユースとして利用するケースも少なくないが，我々は日本の研究コミュニティにとってより健全な方針として，ライセンスが明示された画像のみを使用することとした．具体的には，Wikimedia Commonsを中心に，パブリックリリースに適したライセンスを持つ画像のみを収集した．幸いにも，Wikimedia Commonsには日本文化に関連する高品質な画像が多数掲載されており，有用なリソースとなった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%3. 
\subsection{画像依存性の高い問題設計}

第三の課題は，画像を見ずに解答できる問題を排除するための設計である．文化依存の科目については著者らが問題を作成した．初期バージョンの問題リストに対して予備実験としてGPT-4oを用いたところ，モデルが問題文中のわずかな手がかりや選択肢間の相対的な差異を手がかりに，画像を参照せずとも一定の精度で正解を導き出すケースが確認された．これは，画像に基づく推論能力を正確に評価する上で望ましくない．そこで本ベンチマークでは，画像とテキストの双方を参照しなければ正解に至らないような設計を徹底した．具体的には，問題文はシンプルに保ち，選択肢から言語的なバイアスを排除するよう工夫した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{NAACLへの投稿・現地発表の雰囲気}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{NAACLへの投稿}

前提として，この論文誌の読者の皆様であれば，自然言語処理の最高峰の国際会議の一つであるNAACLに投稿するという選択肢はすぐに思いつく選択肢であるかもしれない．しかし，我々の東京大学相澤研は，NLPのコミュニティではなく，CVとマルチメディアのコミュニティにいる人たちで構成されている．ゆえに，「NAACLに論文を投稿する」という選択肢は無かったのは勿論，「日本語という単一言語のドメインで研究することがどの程度国際的に評価されるのか」が全くピンと来ていなかった．なので自分たちは受かりそうなワークショップあたりに出しておければ満足かなと考えており，トップ国際会議を狙うというような情熱には駆り立てられなかった．このモチベーションでプロジェクトを進められたのは，自分は会議への採択を目標にするよりかは，何かしらコミュニティにとって重要なものを作りたいタイプだからというのも関係している．

プロジェクト終盤の時期に，NLPコミュニティ出身のXiangさんのチームとミーティングをした際，「NAACLへの投稿を勧める．NLPのコミュニティは他のコミュニティとは異なり，単一言語に特化した研究も高く評価される」という助言をいただいた．我々にとってACL Rolling Reviewは未知のシステムであり，当初の投稿先候補には含まれていなかったため，この提案は非常に新鮮であり，大きな転機となった．NAACLまで残り1ヶ月ほど時間があったので，皆で執筆を完成させ，NAACLの投稿に間に合わせた．
結果として，単一言語の研究でも高く評価してくれたNLPコミュニティに非常に感謝している．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{現地発表の雰囲気}

私自身は現地参加はしていないので，現地参加の感想に関しては，現地参加した白さんから聞いた情報をまとめる．NAACLでのポスター発表は，皆積極的に交流する雰囲気だった．ポスターを貼ったら，まだポスターセッション開始前だったのにも関わらず，多言語研究を行う発表者二人がすぐ話を掛けてくるほどだった． ポスター発表に訪れた方の半分ぐらいは，日本と日本語に友好的な外国人だった．残り半分ぐらいは，英語以外の言語でのLMM評価に興味を持ったり，既に関連した研究を行っている方々だった．彼らからは主にデータセット構築に関するを質問され，画像の獲得やアノテーションに苦労しているみたいだった．特にライセンス問題を考慮するのが難しいと言った方も数人いた．
全体を通して多言語や日本に興味がある研究者たちと議論ができたのは非常に良い経験だった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

本研究では日本の学術ベンチマークであるJMMMUを作成したが，日本語におけるLMM評価のためのベンチマークは依然として不十分であると感じている．理想的には，LMMの性能は，多数の精密に設計されたベンチマークによって多角的に評価されるべきである．しかしその実現には，英語圏ベンチマークの単なる翻訳では不十分であり，また学術界主導で提案されるベンチマークのみでも不十分である．今後は学術界と産業界からより幅広い実利用シナリオとも接続しうる日本ベンチマークの整備が求められる．JMMMUが日本におけるLMMベンチマークの発展に寄与することを願い，本稿の結びとする．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{35refs}

\begin{biography}
\bioauthor{宮井　淳行}{%
2022年東京大学工学部電子情報工学科卒業．2024年東京大学大学院学際情報学専攻修了．同年より，博士課程に在学中．
}
\end{biography}


\end{document}



