\documentclass[japanese]{jnlp_3.8}
\usepackage{jnlpbbl_2.3}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks



\Volume{32}
\Number{4}
\Month{December}
\Year{2025}

%%%%\received{2005}{1}{2}
%%%%\revised{2006}{3}{4}
%%%%\rerevised{2006}{5}{6}
%%%%\accepted{2006}{7}{8}

\setcounter{page}{1028}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
%%%%\maketitle

\begin{center}
\large{日本語で思考する大規模言語モデル}
\end{center}
\vspace{1\baselineskip}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
大規模言語モデル (Large Language Models; LLMs) の登場は，自然言語処理 (NLP) 研究の枠組みを根底から変革した．膨大なテキストと計算資源をもとに訓練されたLLMは，翻訳，要約，対話，質問応答，コード生成など，これまで個別に研究されてきた多様なタスクを一挙に包含し，未知の課題に柔軟に対応できる汎用的知能としての姿を現しつつある．LLMを「確率的オウム (stochastic parrots)」に過ぎないとする批判も存在するが，LLMは単なる模倣を超えて，私たち自身の知的能力を凌駕する成果を示し始めている．だからこそ，私たちはモデルの知的振る舞いを科学的に記述しうる設計原理を探求し，新しいNLPの地平線を明らかにすべきであると考えている．

産業技術総合研究所と東京科学大学で大規模言語モデルSwallowの開発を始めたのは2023年初夏であった．このプロジェクトの特色は，海外製LLMを日本語の訓練データで継続学習し，日本語能力を強化するアプローチである．賢いLLMの構築レシピを効率よく探索・実験・検証することが主な動機であるが，その構築方法ゆえにLLMの能力と言語の関係に意識が向く．すなわち，英語などの他言語で獲得した能力を日本語でも活用できるのか，日本語の訓練データで追加学習する意義は何か，などの問いである．これまでに，日本語のデータでLLMを訓練すると日本語の知識が強化され，日本語の質問応答や英日翻訳の性能が向上すること，元のLLMの能力を維持するには，相応の訓練データ（例えば数学やコーディングに関する高品質なデータ）が必要になることなどの知見が得られた．

最近は，思考や推論の過程そのものを明示的にモデル化する推論型モデル (reasoning model) が流行している．2024年9月に推論型モデルOpenAI o1が登場し，AIMEやGPQAなどの高難易度ベンチマークでの正答率が大きく伸びたことは記憶に新しい．OpenAI o1の思考過程はユーザに公開されていなかったこともあり，推論型モデルの構築方法は謎に包まれていた．ところが，2025年1月にDeepSeek-R1が登場し，数学やコーディングに強いLLMに強化学習を施すことで推論型モデルを構築できること，知識蒸留で非推論型のモデルを推論型に転換させられることなどが明らかになった．2025年10月に開催された大規模言語モデルに関する国際会議Conference on Language Modeling (COLM) では，推論 (reasoning) がワードクラウドの中心となり，推論型モデルに関するワークショップも盛り上がりを見せていた．

Swallowチームでも推論型モデルの構築に向けて試行錯誤を行っているが，日本語で問いかけると推論能力が発揮されないことや，推論過程の生成が不安定になることが直近の課題となっている．日本語での問いかけに対して，推論過程の生成は英語で行うことにして，最終的な応答だけ日本語になるように調整した方が合理的，つまり日本語での思考を当面諦めた方がよいのでは，という意見すら出てきている．日本語で思考するモデルを作るためには，日本語の数学・情報・法律・医療など，領域ごとに「良問」と「良解」を厳選し，問題→方針→途中計算（あるいは構成的説明{\hbox to0.5em{）}}→解答の粒度を設計した教材型のデータを拡充する必要があるかもしれない．

LLMが人間の言語活動を模倣する段階から，言語を通じて世界を理解し，創造的に思考する段階へと進化するために，日本のNLP研究者として「日本語で思考する」ことは実現したい．自らの言語で世界を再構築できるモデルを育てることは，単なる技術開発を超えて，知の多様性と文化的自律性を守る営みでもある．世界標準の有用性と安全性を備えたうえで，日本のことをよく知っていて，日本語で考え，日本語で新しい知を創り出すことのできるモデルの実現に向けて，引き続き探究に取り組む所存である．



\bigskip
\begin{flushright}
岡崎直観（東京科学大学）
\end{flushright}


\end{document}









