\documentclass[japanese,other]{jnlp_3.8}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{array}
\allowdisplaybreaks


\Volume{32}
\Number{3}
\Month{September}
\Year{2025}
%%%%\Issuetitle{「　　　　」特集号}

\setcounter{page}{1015}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{賛助会員記事}
\jtitle{レトリバの研究開発}
\jauthor{西鳥羽　二郎\affiref{Author_1}}

\etitle{Retrieva's Research and Development.}
\eauthor{Jiro Nishitoba\affiref{Author_1}} 

\headauthor{西鳥羽}
\headtitle{レトリバの研究開発}

\affilabel{Author_1}{株式会社レトリバ}{Retrieva, Inc.}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{ことばを知識に}

株式会社レトリバは「ことば」の発展を通じた幸せなコミュニケーションに貢献したいという思いのもと，顧客が有するデータ資産の
価値を引き出すことによる戦略的AI活用を支援しております．
これまでの取組としては企業内検索，コールセンターの問い合わせ内容の分析ツールなどがあります．

「ことば」を活用する技術は重要であるため，自然言語処理・情報検索・機械学習を中心に積極的な研究開発を行っております．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{研究チーム}
レトリバは40人弱という小さな会社であり，通常はこの規模では長期投資となる研究開発は行わないことが多いかと思います．
しかし，レトリバでは研究チームを組成して以下の3つのミッションに取り組んでいます．
\begin{enumerate}
    \item レトリバの「ことば」を活用する技術に関する技術力の向上
    \item 新しい技術を正しく評価，製品・サービスへの直接的な反映
    \item セールス・マーケティングや企業戦略まで含めた広範囲における技術の取り込み
\end{enumerate}
以上の実現のため，レトリバではこの規模でありながらも創業当時から現在に至るまで研究チームという独立のチームを作っており，一定の独立性を持って活動しております．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{研究開発スタイル}
先に述べた研究チームのミッションを実現するため，レトリバの研究開発は比較的オープンなスタイルを取っています．
特に次の2つの特徴があります．先ず1つは積極的な成果の公開です．成果を社内にとどめることは多く無く，知見やモデルを公開し広く利用していただくことで世の中に貢献することを目的としています．
またこれにより，レトリバの技術力をきちんと世の中に問うていくことを心がけています．こちらにつきましては\ref{RandDContribution}節にて紹介いたします．
次に研究開発においては他社・研究機関との協働を積極的に行っています．一般的に営利企業としては技術開発は秘密・社内に閉じた形が多いかと思いますが，
レトリバでは成果を公開することが多いため協働を行いやすくなっております．当然レトリバでもクローズドにした形の技術支援案件等も多数あります．
こちらについては本稿では触れられませんが，公開しているものについて\ref{Collaboration}節で紹介します．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{研究開発成果}\label{RandDContribution}

先節で述べた通り，レトリバでは積極的な成果の公開を行っております．この節では公開している研究成果の紹介をします．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{文章埋め込み表現AMBER}
文章埋め込み表現AMBERを公開\footnote{\url{https://huggingface.co/collections/retrieva-jp/retrievaembedding-01-amber-67ea5982adcab729d08e4e28}}しています．
検索に特化した埋め込みモデルであり，日本語の検索性能が高いモデルです．日本語26タスク，英語18タスク，日英4タスクからなる自然言語処理タスクに用いられるデータセットから学習データの構築を行いました．
また，LLMを用いた合成データも用いることによるデータ補完も行い，これらのデータを用いて学習することによりモデルの構築を行いました \cite{Katsumata-2025-amber}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{LLMによる疑似学習データ生成}
パラメータ数の大きいLLMはZero-shot，Few-shotの問題設定においても高い性能を発揮することが知られています．
一方でそういったモデルは大きな計算資源を必要とし，計算コストが大きいという課題があります.
そのため，LLMに合成学習データを作成させ，それを小規模のモデルで学習させることによって性能の高いモデルを構築し，
推論時の運用コストを低下させることは有用です．
レトリバではLLMにより生成した疑似学習データで小規模モデルを学習する手法が日本語タスクにおいて有効であることを示しました \cite{fujii-katsumata-2024-japagen,Fujii-Katsumata-2024-japagen-NLP}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{日本語T5}
LLMとしてはDecoder-onlyモデルが用いられることが多いですが，要約やOCRのエラー訂正など文章変換タスクにおいてはEncoder-Decoderモデルが有用であることが知られています．
一方で日本語対応のEncoder-Decoderモデルは多言語対応のモデルか日本語中心のコーパスで学習してるもののbaseサイズ以下のモデルしかありませんでした．
そこでレトリバでは日本語のコーパスで学習した日本語T5モデルを公開\footnote{\url{https://huggingface.co/collections/retrieva-jp/t5-67ea57a551eefa3531c5733c}}しました．
研究で用いる際の比較実験が行いやすいよう，モデルサイズをsmall (77M\footnote{M=1 million, B=1 billion}), base (220M), large (770M), XL (3B)の4種類，学習ステップ数をshort (512k), medium (1M), long (2M)の3種類の組み合わせの合計10種類\footnote{XLサイズのモデルについてはshort相当のモデルのみ公開}を公開しました．
日本語における要約\footnote{\url{https://note.com/asahi_ictrad/n/n4acbc964504f}}やOCR誤り訂正で高い性能を発揮 \cite{Fujitake-2024-error-correction,Suzuki-et-al-2024-error-correction,Suzuki-et-al-2025-error-correction}しているという報告があります．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{RetrievaBERT}
Encoder-onlyモデルは文書分類や自然言語推論(NLI)などの判定タスクや文埋め込みモデルのベースモデルとして有用です．
しかし，Decoder-onlyのモデルに関してGPT3の登場以降モデルサイズや系列長の増加，アーキテクチャの刷新などが数多く提案され，日進月歩の勢いで改善されていきましたが，
Encoder-onlyモデルに関しては2022年以降に提案された手法は余り採用されていませんでした．また，近年RAGが普及し，長文に対応するEncoder-onlyモデルの需要が出てきました．
そこでレトリバでは長い系列長に対応し，日本語対応BERTとして最大規模となるパラメータ数1.3~BのRetrievaBERTを構築して公開\footnote{\url{https://huggingface.co/retrieva-jp/bert-1.3b}}しました．
このBERTを構築するにあたって，SwiGLU，Multi Query Attention，PreNormなどDecoder-onlyでは良く使われているアーキテクチャを採用したほか，
日本語コーパスだけでなく英語や中国・韓国語といった他言語コーパスやソースコードコーパスも含めて学習するなどDecoder-onlyで得られている知見を採用しています\footnote{\url{https://note.com/retrieva/n/n715bea2c2cd1}}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{日本語話し言葉BERT}
一般的に文書といえば書き言葉ですが，チャットログ，コールセンターの対話ログなど話し言葉による文書も数多く存在します．
一方で話し言葉に注目した事前学習モデルは2021年頃の段階では我々の知る限りは存在していませんでした．
そこで日本語話し言葉コーパス \cite{Ninjal-2006-CSJ}を用いて日本語の話し言葉に対応した日本語話し言葉BERTの構築を行って公開\footnote{\url{https://huggingface.co/retrieva-jp/japanese-spoken-language-bert}}しました．
話し言葉における係り受け解析や文境界推定において書き言葉による事前学習モデルと比較して精度が向上しています \cite{Katsumata-Sakata-2021-spoken-bert}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{協働による成果}\label{Collaboration}

レトリバでは研究開発に取り組む際，自社の成果やノウハウに閉じることなく他社や研究機関，大学も含めて共同研究として取り組むこともあります．
本節ではそういった共同研究的な取り組みに関して紹介します．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{LLM-jp}
レトリバはLLM-jpに初期のころから参画させていただいております．初期のころは日本語T5やRetrievaBERTを構築した時のノウハウを
元に日本語のコーパスフィルタリングやモデルのアーキテクチャの検討をさせていただきました \cite{llmjp-etal-2024-llmjpcrossorganizationalprojectresearch}．
その後は特にLLMの安全性における取組において参加させていただいており，大規模言語モデルの評価ツールキットのllm-jp-eval\footnote{\url{https://github.com/llm-jp/llm-jp-eval}}の
%%%%構築 \cite{Han-et-al-2024-llm-jp-eval}，
    構築  (Han 他 2024)\nocite{Han-et-al-2024-llm-jp-eval}，
日本語LLMの出力の安全性及び適切性向上ためのデータセットであるAnswerCarefully\footnote{\url{https://llmc.nii.ac.jp/answercarefully-dataset/}}の構築 \cite{Suzuki-et-al-2025-answercarefully}，
日本語大規模言語モデルの有用性と安全性の両立に向けたチューニング手法の検証 \cite{Katsumata-2025-safety}などに取り組んでおります．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{朝日新聞社様}
レトリバの創業間もないころから株式会社朝日新聞社様とは共同研究に取り組ませていただいております．
30年分以上にわたる新聞記事データを始めとしたリソースを活かした研究開発を実施しており，社外への技術還元も行ってきました．
新聞記事により学習した朝日新聞単語ベクトル\footnote{\url{https://cl.asahi.com/api_data/wordembedding.html}}の開発 \cite{Taguchi-et-al-2017-Asahi-Wordvec}，
また，ニュース記事の見出し作成に有用な，出力の長さを制御できる文書要約手法の開発 \cite{hitomi-etal-2019-large}なども行いました．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{ESPnet}
ディープラーニングフレームワークのChainer\footnote{現在は開発が停止されている}で主に音声認識に使われるConnectionist Temporal Classification関数（CTC関数）\cite{Graves-et-al-2006-CTC}を実装し，貢献しました．
その後そのCTC関数を用いて，当時主流であったDNN-HMMベースのモデルの性能に迫るSeq2Seq ベースの初めてのモデル \cite{Watanabe-et-al-2017-CTC-Attention}を提案されたのをきっかけに
渡部晋治先生\footnote{現在はCarnegie Mellon University}のSeq2Seqベースの音声認識フレームワークの開発に関わらせていただきました．
当時開発していた音声認識フレームワークはESPnet \cite{Watanabe-et-al-2018-espnet}として公開\footnote{\url{https://github.com/espnet/espnet}}されました．
その後もJohns Hopkins Universityで6週間かけて開催されたJelinek Workshopに参加させていただいてESPnetの機能改善を行ったり\footnote{\url{https://www.slideshare.net/slideshow/retrieva-seminar-jelinek20180822/110961034}}，
ESPnet Hackathon\footnote{\url{https://espnet.connpass.com/event/139753/}}の企画・会場提供などを行いました．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

本稿ではレトリバの研究開発組織と成果の紹介を行いました．誌面の都合で概要しか紹介できませんでしたが，
詳細については興味を持った方は成果のほとんどは論文かブログにて紹介しているので，
参考文献にて示している文献か脚注にあるウェブページを見ていただければと思います．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

レトリバでの研究開発は多数の方に支えられております．
社外の共同研究機関やご協力いただいた研究者，技術者の皆様，
日々の研究活動を支えてくださっている社内の関係者の皆様に，心より感謝申し上げます．

また記事のレビューにご協力いただいた社内の関係者にも，この場を借りて御礼申し上げます．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{41refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{西鳥羽　二郎}{%
東京大学大学院情報理工学系研究科コンピュータ科学専攻修士課程卒業．株式会社Preferred Infrastructure創業，その後スピンアウトする形で株式会社レトリバを創業して現職．
}

\end{biography}




\end{document}




