\documentclass[japanese,other]{jnlp_3.8}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{array}
\allowdisplaybreaks


\Volume{32}
\Number{2}
\Month{June}
\Year{2025}
%%%%\Issuetitle{「　　　　」特集号}

\setcounter{page}{755}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{賛助会員記事}
\jtitle{データフローアーキテクチャが拓く次世代の自然言語処理}
\jauthor{中野　匡彦\affiref{Author_1}}
\etitle{Dataflow Architecture Unlocking Next-Generation Natural Language Processing}
\eauthor{Masahiko Nakano\affiref{Author_1}}

\headauthor{中野}
\headtitle{データフローアーキテクチャが拓く次世代の自然言語処理}

\affilabel{Author_1}{SambaNova Systems}{SambaNova Systems}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

SambaNova Systemsは2017年に米国で設立されたAI企業であり，Sun 
MicrosystemsやOracle，スタンフォード大学の出身者が創業メンバーとして名を連ねている．同社は生成AI向けのフルスタックのAIプラットフォームを提供しており，自社開発の半導体からソフトウェア，事前学習済みのモデルまでを一体化したシステムを構築している．この垂直統合型プラットフォームにより，ユーザは容易に最新の生成AIモデルを活用することができる．特に自然言語処理 
(NLP) の分野においては，大規模言語モデル (LLM) 
の学習や推論を従来よりも少ない計算資源で効率的に実行可能となっている．

本稿では，SambaNovaの独自技術であるデータフローアーキテクチャおよび最新チップSN40Lを概観する．また，同社が提供するLLMの高速推論技術およびクラウドサービスSambaNova 
Cloudについて取り上げ，そのAI基盤としての可能性について述べる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{データフローアーキテクチャ}

一般的なGPUは，CPUと同様に命令セットアーキテクチャ (ISA) 
に基づくコア型の設計を採用しており，多数の小さな演算コアを用いてディープラーニングの並列計算を処理する．GPUでニューラルネットワークを実行する際には各層の演算（カーネル）を順次処理するカーネル逐次実行モデルとなり，層ごとに演算コードをCPU/GPUにロードしてデータと重みをメインメモリから転送し，計算後に結果をメモリに書き戻すという動作を全層について繰り返す．この方式では演算ごとに大量のデータ移動が発生し，メモリ帯域を消費するためハードウェア資源の利用効率が低下する．

これに対し，SambaNovaの再構成可能なデータフローアーキテクチャ 
(Reconfigurable Dataflow Architecture; RDA) 
ではチップ上にカスタム処理パイプラインを構築し，ニューラルネットワークの計算グラフ全体にデータが連続的に流れるよう実行する（図1; SambaNova Systems 
2021）．中間結果を逐一メモリに書き出す必要がなくなるためデータ移動量が最小化され，ハードウェアの利用率を高く維持できる．この仕組みを担う同社の専用チップがRDU 
(Reconfigurable Dataflow Unit) 
である．RDU内部には分散配置された多数の計算ユニット (PCU) とメモリ (PMU) 
が高速なオンチップネットワークで接続されており，ソフトウェアによって動的に再構成されることで，与えられたAIモデルの計算グラフに合わせた最適なデータフロー実行回路を形成する．高性能化のため手作業で演算ごとに最適化コードを書く必要はなく，専用コンパイラがモデル中の演算を自動的に融合して大規模なデータフローカーネルを構成し，ハードウェア上にマッピングする．これによりGPU等の既存手法で問題となるカーネル起動のオーバーヘッドなしに連続的な実行が可能となり，ディープラーニング処理における計算資源の無駄を削減している．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[t]
\begin{center}
\includegraphics{32-2ia43f01.eps}
\end{center}
\caption{RDUのデータフロー実行}
\label{fig1}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{最新世代RDU: SN40L}

SambaNovaは創業以来，RDUチップの世代を重ねて性能とスケーラビリティを向上させてきた．その最新世代のアーキテクチャがSN40Lである（図2）．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[t]
\begin{center}
\includegraphics{32-2ia43f02.eps}
\end{center}
\caption{SN40Lチップ（左）とSN40L-16ラックシステム（右）}
\label{fig2}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

SN40Lでは，モデルの重みパラメータを主にDDR DRAMに配置し，高帯域幅メモリ 
(HBM) をキャッシュとして使用する効率的なメモリ管理を実現している (Prabhakar et~al. 2024)．さらにチップ内部には高速なSRAMが分散配置されており，この3段階のメモリ階層によって，「速度のSRAM」，「帯域のHBM」，「容量のDDR」をそれぞれ活かしながら最適なデータアクセスを実現している．これにより，一般的なGPUのオンボードメモリ（約80GB）では扱えない数十億から兆単位のパラメータを持つモデルを，単一ノードで効率的に実行できる．

SN40Lのもう一つの強みはストリーミングデータフローによる計算資源の高効率利用である 
(Prabhakar et~al. 2024)．演算をパイプライン化・融合し，データをチップ上で流し続けることで演算装置を常に活用し，特に小さな演算タスクの集合体でも高い演算密度を維持できる．また，マルチソケット構成でのスケーラビリティに優れており，16個のRDUソケットを直結したSN40L-16システムが用意されている（図2）．総じてSN40Lアーキテクチャは，メモリボトルネックを解消し，帯域・容量・計算効率のバランスを最適化することでスループットを高めている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{高速なLLM推論}

SambaNovaが提供する推論環境は，業界最高水準の性能を達成している．Artificial 
Analysisのベンチマーク (Artificial Analysis 2025b) 
によると，2025年3月時点において，Llama-3.1シリーズの8Bモデルで1100トークン/秒，70Bモデルで460トークン/秒，405Bモデルで170トークン/秒という高速な出力速度を記録している．特に注目すべきは，最新のリーズニングモデルであるDeepSeek-R1 
(671B) 
において，量子化や蒸留などの近似手法を用いることなく，250トークン/秒を超える世界最高の推論速度を達成している点である（図3）．この推論性能は，GPUクラスタと比較して少ない計算資源によって実現されており，従来GPU 
320枚を要する同モデル (DeepSeek-AI 2025) を，SN40L 16チップ（1ラック）で実行できると報告している (Mohan 
2025)．1ラックでこのような大規模モデルを実行できることは，GPUベースの既存手法と比較して，SN40Lの電力効率が優れていることを意味する．このエネルギー効率の高さと総所有コスト 
(TCO) 
の低減は，研究機関やエンタープライズにおけるAIインフラの構築において優位性をもたらすことが示唆される．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 3
\begin{figure}[t]
\begin{center}
\includegraphics{32-2ia43f03.eps}
\end{center}
\caption{各APIプロバイダによるDeepSeek-R1の推論パフォーマンス (Artificial Analysis 2025a)}
\label{fig3}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

このような高速かつ効率的な推論を支える技術の根幹となっているのが，前述のデータフローアーキテクチャと三層メモリ構造である．さらに，こうしたハードウェアの性能を最大限活用するために，ソフトウェアレベルでの最適化も施されている．その代表的な技術の一つがオペレータ融合 
(operator fusion) 
であり，複数の演算子を単一の連続した処理ブロックとしてまとめることで，中間メモリへの無駄なアクセスを省き，高速処理を実現している．

また，より高次のアルゴリズムレベルでは，投機的デコーディング (speculative 
decoding) 
などの手法を採用することで効率をさらに高めている．投機的デコーディングでは，軽量なドラフトモデルが複数のトークンを一括生成し，その結果を高精度なターゲットモデルが検証する．ドラフトモデルの予測がそのまま採用されれば追加の演算を省けるため，レイテンシが短縮され，推論の応答性向上に寄与する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{SambaNova Cloud: 研究・エンタープライズAI基盤としての展開}

SambaNovaの提供するクラウドサービスSambaNova 
Cloudは，上述のSN40Lを含む自社ハードウェアおよびソフトウェアスタックをオンライン経由で利用できるプラットフォームである 
(SambaNova Systems 
2024)．同サービスは高速な推論環境をAPIとして提供すると同時に，研究機関や企業向けのAI基盤として幅広い機能を備えている．

SambaNovaのプラットフォームは，オープンソースの基盤モデルを活用し，研究機関や企業等の組織ごとにカスタマイズしたモデルを構築するシナリオにも適している．同システム上では，組織固有のデータを用いてオープンモデルのファインチューニングを実施し，組織内の知識を反映した高精度なモデルを作成できる．このようにして作成されたモデルは，組織が永続的に占有可能な独自の資産とすることが可能である．結果として，SambaNovaのプラットフォームは，OpenAIなどの外部ベンダに依存しない独自モデルの開発・運用基盤として機能している．

また，ファインチューニングを実施したオープンソースモデルをSambaNovaのプラットフォーム上で実行することにより，GPT-4oベースの場合と比較して13倍の推論速度向上および33倍のコスト低減を実現した，ドメイン特化型のRetrieval-Augmented 
Generation (RAG) システムを構築した事例も報告されている (Krishna 
2024)．SambaNovaは最新のオープンソースLLMを用いた高速な推論環境を提供するだけでなく，それらを用いた高度なアプリケーションの開発にも寄与している．

日本市場においては，SambaNova CloudはこれまでFugaku-LLM (Fugaku-LLM 2024) 
やSwallow (Fujii et~al. 2024; Okazaki et~al. 2024)，LLM-jp (LLM-jp 2024) 
などの日本語能力を強化したLLMにも対応しており，日本語LLM開発や活用も積極的に支援している．これらの日本語モデルを同プラットフォーム上で実行することで，低レイテンシでの日本語対応AIサービスの構築が可能となる． 


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{まとめ}

SambaNovaのデータフローアーキテクチャは，従来のGPUベースの手法と比較して，AIモデルの学習・推論における演算効率を飛躍的に向上させる技術である．最新チップSN40Lでは，三層メモリシステムを活用し，大規模なLLMの効率的な実行を実現している．さらに，SambaNova 
Cloudを通じて，研究機関や企業が，最新のLLMを活用し，独自のモデルを構築・運用できる環境が提供されている．産学を問わず，日本語モデルを含む最先端LLMを自前で制御し活用したいと望むユーザにとって，SambaNovaのプラットフォームは有力な選択肢となりつつある．同社の技術やプラットフォームは，LLMおよびNLPのさらなる発展に寄与し，産学の双方で有用な基盤となることが期待される．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

賛助会員に対して，このような実務に係る研究開発事例を紹介する貴重な機会をいただき，言語処理学会の会誌編集委員会に深謝申し上げる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{thebibliography}{}

\item
Artificial Analysis (2025a). ``DeepSeek R1: API Provider Performance Benchmarking {\&} Price.'' \url{https://artificialanalysis.ai/models/deepseek-r1/providers}.

\item
Artificial Analysis (2025b). ``SambaNova: Models Intelligence, Performance {\&} Price.'' \url{https://artificialanalysis.ai/providers/sambanova}.

\item
DeepSeek-AI (2025). ``DeepSeek-V3 Technical Report.'' \textit{arXiv preprint arXiv:2412.19437}.

\item
Fugaku-LLM (2024). ``HuggingFace.'' \texttt{https://huggingface.co/Fugaku-LLM/Fugaku-LLM-{\linebreak}13B}.

\item
Fujii, K., Nakamura, T., Loem, M., Iida, H., Ohi, M., Hattori, K., Shota, H., Mizuki, S., Yokota, R., and Okazaki, N. (2024). ``Continual Pre-Training for Cross-Lingual LLM Adaptation: Enhancing Japanese Language Capabilities.'' In \textit{Proceedings of the 1st Conference on Language Modeling}.

\item
Krishna, V. (2024). ``Outperforming GPT-4o with Llama 3 8B: Domain Specific Fine Tuning for RAG.'' \texttt{https://sambanova.ai/blog/outperforming-gpt-4o-with-llama-{\linebreak}3-8b-fine-tuning-rag}.

\item
LLM-jp (2024). ``LLM-jp: A Cross-organizational Project for the Research and Development of Fully Open Japanese LLMs.'' \textit{arXiv preprint arXiv:2407.03963}.

\item
Mohan, V. (2025). ``SambaNova Cloud Launches the Fastest DeepSeek-R1 671B.'' \url{https://sambanova.ai/blog/sambanova-cloud-launches-the-fastest-deepseek-r1-671b}.

\item
Okazaki, N., Hattori, K., Shota, H., Iida, H., Ohi, M., Fujii, K., Nakamura, T., Loem, M., Yokota, R., Mizuki, S. (2024). ``Building a Large Japanese Web Corpus for Large Language Models.'' In \textit{Proceedings of the 1st Conference on Language Modeling}.

\item
Prabhakar, R., Sivaramakrishnan, R., Gandhi, D., Du, Y., Wang, M., Song, X., Zhang, K., Gao, T., Wang, A., Li, K., Sheng, Y., Brot, J., Sokolov, D., Vivek, A., Leung, C., Sabnis, A., Bai, J., Zhao, T., Gottscho, M., Jackson, D., Luttrell, M., Shah, M. K., Chen, E., Liang, K., Jain, S., Thakker, U., Huang, D., Jairath, S., Brown, K. J., and Olukotun, K. (2024). ``SambaNova SN40L: Scaling the AI Memory Wall with Dataflow and Composition of Experts.'' \textit{arXiv preprint arXiv:2405.07518}.

\item
SambaNova Systems (2021). ``Accelerated Computing with a Reconfigurable Dataflow Architecture.'' White Paper.

\item
SambaNova Systems (2024). ``SambaNova Cloud.'' \url{https://cloud.sambanova.ai/}.

\end{thebibliography}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{中野　匡彦}{%
早稲田大学先進理工学研究科化学・生命化学専攻博士課程修了．博士（理学）．三菱ケミカル株式会社を経て，現在SambaNova Systemsにてプリンシパルソリューションエンジニアとして従事．早稲田大学招聘研究員を兼任．
}

\end{biography}




\end{document}






