\documentclass[japanese,other]{jnlp_3.8}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{dcolumn}
\usepackage{hangcaption_jnlp}
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%\usepackage{subcaption}
\usepackage{booktabs}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{31}
\Number{3}
\Month{September}
\Year{2024}
%%%%\Issuetitle{「　　　　」特集号}

\setcounter{page}{1406}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{TMU 生まれ CA 育ち Linear で推定低ランク行列たち}
\jauthor{金　　輝燦\affiref{Author_1}}

\etitle{A Single Linear Yields Task-Adapted Low-Rank Matrices}
\eauthor{Hwichan Kim\affiref{Author_1}} 

\headauthor{金}
\headtitle{TMU 生まれ CA 育ち Linear で推定低ランク行列たち}

\affilabel{Author_1}{東京都立大学}{Tokyo Metropolitan University}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

本稿では LREC-COLING 2024 に採択された論文 ``A Single Linear Layer Yields Task-Adapted Low-Rank Matrices'' について解説する．
HIP-HOP 感溢れる表題からわかるように，本稿は学術論文的な堅苦しさを避け，親しみやすさを追求して執筆したため，気軽に読んでいただけると幸いである．
また，この表題はただ韻を踏んでいるだけに見えるかもしれないが，本稿の内容を端的に表している．
以降では，研究力を養うために行っている研究室内での取り組みと，筆者の CyberAgent AI Lab におけるインターン経験を交えつつ，上述の研究について解説する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{Preliminaries}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{TMU におけるカジュアル論文読み会}

東京都立大学 (TMU: Tokyo Metropolitan University) の自然言語処理グループ\footnote{小町守教授が一橋大学に移動されたことに伴い，東京都立大学の小町研では新規の学生配属はなくなった．在籍していた学生らは形式上東京都立大学の他研究室へ移ったが，小町教授の指導を受けつつ研究を続けている．本稿ではこのような形で自然言語処理に関する研究に取り組んでいる学生らを「自然言語処理グループ」と称する．}では毎週「カジュアル論文読み会」という会を開催している．「カジュアル論文読み会」は学生主軸で開催されており，主に在学生と卒業生，最近では若干の外部からの参加者もいる．会の流れとして，参加者が興味ある論文を取り上げ，30分程度で各自論文を読み，その後30分程度その論文について議論する．議論内容は自身で消化できなかった部分を共に理解すると同時に，その研究についての評価や研究を発展させるアイディアについて話し合う．会を通じて，新入生は博士課程や卒業生の先輩方がどのように論文を読み，評価し，後続研究に発展させるかということを学ぶことができる．また，このような形式は研究アイディアを定期的に考える訓練となり，参加者の研究活動を大いに促進する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{CA AI Lab のリサーチインターンシップ}

株式会社 CyberAgent (CA) の AI Lab は，自然言語処理をはじめとする多岐にわたる情報科学分野での研究に注力している．ここでは，ビジネス課題の解決だけでなく，学術的な貢献も目指して研究開発を進めている．また，博士後期課程の学生を対象に，夏季および冬季に有給のリサーチインターンシップを提供している．インターンシップでは，AI Lab に所属する国内トップクラスの研究者と協力し，研究を行い，国際会議や学術誌への採択を目指す．研究テーマは，社内の研究者が提案したものや，自身が持ち込んだ研究テーマに取り組むことができる．後者を選択した場合，事前に研究計画書を提出し，社内の研究者とのマッチングがうまくいけば，そのテーマで研究を進めることができる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{発案から採択に至るまで}

``A Single Linear Layer Yields Task-Adapted Low-Rank Matrices'' \cite{kim-etal-2024-single-linear} について，発案から採択されるに至るまでの経緯を時系列的に展開しながら解説していく．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[b]
\begin{center}
\includegraphics{31-3ia26f1.pdf}
\end{center}
%%%%\label{figure:LoRA}
%%%%\label{figure:CondLoRA}
\caption{LoRA と Conditionally Parameterized LoRA (CondLoRA) の概要図}
\label{figure:overview}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{発案}

2023 年の初めごろ，カジュアル論文読み会では ``LoRA: Low-Rank Adaptation of Large Language Models'' \cite{hu2022lora} を取り上げた．
具体的には，初期パラメータ $W^{m,l}_0 \in \mathbb{R}^{\mathrm{d_{in}} \times \mathrm{d_{out}}}$ を二つの低ランク行列 $A^{m,l} \in \mathbb{R}^{r \times \mathrm{d_{in}}}$,  $B^{m,l} \in \mathbb{R}^{\mathrm{d_{out}} \times r}$の積を用いて
%%%%微調整する手法である（図~\ref{figure:LoRA}）．
    微調整する手法である（図~\ref{figure:overview}a）．
ここで $m$, $l$ はそれぞれ対象モジュール（例えば query, value など）と対象レイヤーを指す．
また，対象レイヤーの数を $N$ としたとき，モジュール $m$ に対する学習パラメータ量は，初期パラメータを全てを更新する場合 $\mathrm{d_{in}} \times \mathrm{d_{out}} \times  N $ となり，LoRA の場合 $(\mathrm{d_{in}} + \mathrm{d_{out}}) \times r \times  N$ となる．
ハイパーパラメータ $r$ には $\mathrm{d_{in}}$, $\mathrm{d_{out}}$ と比較して非常に小さな値を設定するため，LoRA は学習パラメータ量を大きく抑えることができる．

LoRA は計算コストを抑え有効性も検証されている素晴らしい手法であるが，カジュアル論文読み会では学習パラメータ量をさらに抑えるにはどうしたら良いか，というテーマで議論を行った．我々は対象とするレイヤー数 $N$ により学習パラメータ量が増減するという点に目をつけた．「モデルの深層化が進む昨今，これは非常に深刻な問題である！」という主張のもと，レイヤー数によらず一定のパラメータ量でモデルを微調整する手法について検討した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[b]
\begin{center}
\begin{tabular}{lr<{\hspace{0.5em}}D{.}{.}{2}D{.}{.}{2}r<{\hspace{0.5em}}r<{\hspace{0.5em}}r<{\hspace{0.5em}}r<{\hspace{0.5em}}D{.}{.}{2}D{.}{.}{2}}
\toprule
 & \multicolumn{1}{c}{MNLI} & \multicolumn{1}{c}{SST-2} & \multicolumn{1}{c}{MRPC} & \multicolumn{1}{c}{CoLA} & \multicolumn{1}{c}{QNLI} & \multicolumn{1}{c}{QQP} & \multicolumn{1}{c}{RTE} & \multicolumn{1}{c}{STS-B} & \multicolumn{1}{c}{Avg.} \\
\midrule
LoRA & 86.6 & 93.7& 86.2 & 61.2 & 92.0 & 90.5 & 74.3 & 89.3 &  83.38 \\
CondLoRA & 86.5 & 93.8 & 86.6 & 61.1 & 91.8 & 90.1 & 74.2 & 90.3 & 83.42 \\
$\Delta$ & $-0.1$ & 0.1 & 0.4 & $-0.1$ & $-0.2$ & $-0.4$ & $-0.1$ & 1.0 & 0.04 \\
\bottomrule
\end{tabular}
\end{center}
\hangcaption{GLUE タスクにおける性能評価．評価指標は CoLA，STS-B ではそれぞれマシューズ相関係数，ピアソンの相関係数を採用し，そのほかのタスクでは正解率を採用した．}
\label{table:gleu}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

初期パラメータ $W^{m,l}_0$ と低ランク行列間には共通性があるという報告がある \cite{hu2022lora}．この特性から，我々は，任意の関数 $f$ を使い，対象とするレイヤーの初期パラメータから低ランク行列を推定できないか，と考えた．具体的には，低ランク行列を以下のように推定する．
\begin{align*}
\label{equation:condlora_a}
A^{m, l} &= f(W^{m, l}_0; \theta^m_A)^\top \in \mathbb{R}^{r \times \mathrm{d_{in}}} \\
B^{m, l} &= f(W^{m, l}_0; \theta^m_B)^\top \in \mathbb{R}^{\mathrm{d_{out}} \times r} 
\end{align*}
ここで $\theta^m_A$, $\theta^m_B$ は学習パラメータを指す．関数 $f$ とパラメータ  $\theta^m_A$, $\theta^m_B$ は対象レイヤー $l$ によらず共通のものを採用することで，学習パラメータ量は $\theta^m_A$ + $\theta^m_B$ となり，一定のパラメータ数でモデルを微調整できる．

このように，カジュアル論文読み会では面白い研究アイディアが数多く話し合われる．これらの研究アイディアの多くは流れるが，興味を持った参加者がいれば実際に手を動かし検証まで行うこともある．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験と論文執筆}

前述の LoRA の研究案には誰も手を付けず流れかけたが，ちょうど良いタイミングで CA の夏季インターンの募集が始まった．筆者はこの案を研究計画書としてまとめ，インターンに応募した．幸運にも社内の研究者とのマッチングがうまく取れたため，インターンに採用され，この研究を進めることとなった．

インターンが始まり，提案手法を Conditionally Parameterized LoRA (CondLoRA) 
%%%%（図~\ref{figure:CondLoRA}）と命名し，有効性の検証を実施した．
    （図~\ref{figure:overview}b）と命名し，有効性の検証を実施した．
関数 $f$ は一層の線形層 (Linear layer) を採用し，ベースモデルは RoBERTa base を使った．
我々は全レイヤーのパラメータを微調整する設定で LoRA と CondLoRA の性能を比較した．
表~\ref{table:gleu} に GLEU タスクにおける LoRA と CondLoRA の性能を示す．
この表から分かるように，一層の線形層でも十分に LoRA と同等の性能を達成できることがわかった．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[t]
\begin{center}
\begin{tabular}{lcc}
\toprule
 & Trainable parameters & examples/s \\
\midrule
LoRA & 294,912 &  39.652 \\
CondLoRA & \phantom{0}24,576  & 40.303 \\
\bottomrule
\end{tabular}
\end{center}
\caption{LoRA と CondLoRA の学習パラメータ量と，訓練時の一秒間あたりに処理できる事例数}
\label{table:parameter}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

一層の線形層を採用した場合 $\theta^m_A$, $\theta^m_B$ はサイズが $r \times \mathrm{d_{in}}$, $\mathrm{d_{out}} \times r$ の行列となるため，全体の学習パラメータ量は $(\mathrm{d_{in}} + \mathrm{d_{out}}) \times r$ となる．つまり LoRA と比較して学習パラメータ量を $1/N$ に抑えることができる．RoBERTa base の全レイヤーを微調整対象とする場合， $N = 12$ であるため，$1/12$ のパラメータ量で LoRA と同等の性能を達成できたことになる．表~\ref{table:parameter} に LoRA と CondLoRA の学習パラメータ量を示す．

また，表~\ref{table:parameter} に訓練時の一秒間あたりに処理できる事例数を示した．CondLoRA はバッチごとに再度低ランク行列を推定する必要があるため，LoRA と比較して若干の遅延が発生すると考えられたが，実際には処理時間にほぼ差はなかった．これは CondLoRA の方が逆伝播の対象となるパラメータが少ないことに起因していると考えられる．

幸いにも良い結果が出たため，2週間後に締め切りが迫っていた LREC-COLING 2024 に論文を投稿することになった．追加の分析を行いつつ，論文の執筆を進めた．急遽決まった論文執筆であったが，論文の構成相談から添削，そして有益なコメントをくださったメンターの方々の支援には深く感謝している．メンターの方々の尽力もあり，我々の論文は採択され，国際会議での発表機会を得ることができた．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{論文発表}

LREC-COLING 2024 に参加するため，イタリア・トリノに向かった．
ありがたいことに旅費はすべて会社が支払ってくれた．
本当に太っ腹である．
また，恥ずかしながら，筆者は今回が初めての国際会議における対面発表の場であった．
これまでオンラインでの発表は何度か経験していたが，コロナウイルスの影響やその他の事情により，これまで対面での発表機会がなかった．
対面での発表をしてみて感じたことは，やはり相手の反応を直接見ながら話すことができるのは大きな利点だということだ．オンラインでは相手の反応が掴みにくく，理解されているかどうか判断しにくいが，対面ではその反応が明確に伝わってくる．
対面ならではの直接的なフィードバックが，研究内容を適切に伝える上で大きな助けになった．
このような貴重な機会を設けていただき，本当にありがたいばかりである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

本稿では ``A Single Linear Layer Yields Task-Adapted Low-Rank Matrices'' について，東京都立大学の自然言語処理グループ内での「カジュアル論文読み会」という取り組みと，CA AI Lab でのインターン経験を交えながら解説した．
「カジュアル論文読み会」のように，論文についてフランクに議論することは研究力向上に効果的である．本稿で「カジュアル論文読み会」に興味を持たれた方がいれば，気楽に連絡いただけると幸いである．
また CA AI Lab でのインターンは，優秀な研究者からの手厚いサポートを受けつつ研究を行うことができるため非常におすすめである．
募集中の研究テーマに興味がある方や，研究室内でメインで取り組んでいる研究とは少し異なるが，試してみたい研究アイディアがある方は応募を検討してみると良い．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本校の執筆にあたり，小町守教授，原論文の共著のみなさま，カジュアル論文読み会の参加者のみなさまから有益なコメントを頂きました．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{26refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{金　　輝燦}{%
2020 年朝鮮大学校理工学部卒業．2022 年東京都立大学システムデザイン研究科博士前期課程修了．現在，東京都立大学システムデザイン研究科博士後期課程に在籍．}


\end{biography}





\end{document}



