\documentclass[japanese,other]{jnlp_3.7}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
\usepackage{array}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{30}
\Number{4}
\Month{December}
\Year{2023}
%%%%\Issuetitle{「　　　　」特集号}

\setcounter{page}{1251}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{Holographic CCG Parsing}
\jauthor{山木　良輔\affiref{Author_1}}

\etitle{Holographic CCG Parsing}
\eauthor{Ryosuke Yamaki} 
\headauthor{山木}
\headtitle{Holographic CCG Parsing}

\affilabel{Author_1}{立命館大学}{Ritsumeikan University}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\vspace{0.5\Cvs}
\section{はじめに}
本稿では，ACL2023に採択された論文``Holographic CCG Parsing''\cite{yamaki-etal-2023-holographic}について解説するとともに，学会現地の様子の報告を行う．

論文の詳しい解説に入る前に，まずは本論文がACL2023に採択されるまでの経緯について述べておきたい．
私事ではあるが，筆者は立命館大学情報理工学部の学部3年から同大大学院情報理工学研究科の修士1年に飛び級入学をしており，修士課程での研究を開始するにあたって，学部4年時の積み重ねが無い状態であった．
そのような状況において，自然言語処理や深層学習，構文解析及びそれらの実装の習得から始め，一歩づつ進めてきたのが本研究である．

本論文の共著者であり指導教官でもある谷口忠大先生（立命館大学 教授）及び共同研究者の持橋大地先生（統計数理研究所 准教授）に多大なるご指導ご鞭撻をいただき，研究初心者の筆者にしては比較的スムーズに研究を進めていくことができたのではないかと思う．
研究を始めて約1年後の2022年3月には言語処理学会第28回年次大会(NLP2022)において本研究に関する始めての対外的な発表を行い，その後，NLP2022で発表した内容をベースとして論文誌への投稿を行った．
しかし，最終的な査読結果が不採択となり，筆者は論文誌への採択の難しさを痛感した．
そこで，追加の実験及び論文の修正を加えた後に，再挑戦したのがACL2023であり，本会議に採択されることとなった．
ここまでが，本論文がACL2023に採択されるまでの経緯となるが，修士課程における研究成果がACLの本会議に採択されるという形で一区切りを迎えられたことは大変喜ばしく，また，本研究の今後のさらなる展開に向けても貴重な一歩を踏み出すことができたと考えている．

さて，本研究は構文解析に用いられる文法規則の1つである組み合わせ範疇文法(Combinatory Categorial Grammar, CCG) \cite{steedman2000syntactic}をベクトル空間上におけるベクトル同士の再帰的な演算としてモデル化するというものである．
複数の単語や句が再帰的に組み合わされることで文の背後に句構造を形成する過程を分散表現（ベクトル）同士の再帰的な合成演算としてモデル化し，これによって単語や句の間に存在している階層関係や依存関係を捉えようというのが本研究の狙いである．
分散表現同士を合成させるための演算には巡回相関と呼ばれる演算を活用し，これは2つの$d$次元ベクトルから新たな$d$次元のベクトルを作り出す演算である．
そして，この巡回相関を活用することによって知識グラフのベクトル空間への埋め込みを行っているのがHolographic Embeddings \cite{nickel2016holographic}という手法であり，本論文のタイトルにおけるHolographicはこの手法に由来している．

本論文で提案しているHolographic CCG (Hol-CCG)では，テキストエンコーダによって得られる文脈情報を捉えた分散表現と巡回相関の演算をCCGにおける句構造のモデリングに用いることで，各単語や句が持つ文法的機能とそれらの相互作用を的確に捉え，結果的に高い構文解析性能を実現している．
また，分散表現同士の再帰的な合成によって得られる句のレベルでの分散表現はSpan-based Parsing \cite{kitaev-klein-2018-constituency}という比較的新しい構文解析手法にも直接的に適用することが可能であり，Span-based Parsingによる構文解析においてもHol-CCGは高い性能を発揮する．

次章以降では本論文において提案している手法の詳細について解説するとともに，筆者が参加した学会現地の様子についての報告を述べる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{提案手法}
CCGは構文解析に用いられる語彙化文法の1つであり，文中の各単語に対してその単語の文法的機能を示すカテゴリを与え，それらを組み合わせ規則に従って組み合わせることで構文構造を記述する．
ここで，各カテゴリはS: 文，N: 名詞，NP: 名詞句などの基本カテゴリと``/''，``$\backslash$''を再帰的に組み合わせることによって構成され，単語及び句の文法的機能に関する情報を多く含む．

また，Holographic Embeddingsは知識グラフをベクトル空間上に埋め込むための手法として提案されており，知識グラフをベクトル空間上でモデリングするためには，各実体に付与された分散表現同士の相互作用を的確に捉えられるベクトルの合成演算子を設計することが重要となる．
そこで，Holographic Embeddingsではこの合成演算子として巡回相関を採用しており，巡回相関はベクトル間の相互関係を捉えることに適しているといえる．
そこで，本研究では分散表現を再帰的に合成するための演算として巡回相関を採用した．

前章で述べた通り，本論文で提案しているHolographic CCGは巡回相関による分散表現同士の再帰的合成によって，CCGをベクトル空間上におけるベクトル同士の再帰的な演算としてモデル化する手法であり，本手法の概要を図~\ref{fig:model_outline}に示す．
図~\ref{fig:model_outline}は，\textit{``My sister loves to eat''}という文を例に，この文が構成する句構造がベクトル空間上でモデリングされている様子を表している．
色分けされた各部分空間は，各単語や句に割り当てられるCCGのカテゴリ，すなわちそれらの文法的機能に対応しており，特定の文法的機能を持つ単語や句の分散表現が尤もらしい部分空間に属するようにモデルの学習が行われる．
例えば，図中の\textit{``loves to eat''}という動詞句(S$\backslash$NP)に対応するベクトル$\mathbf{v}_{2:5}$は，以下の通りにベクトルを再帰的に合成することで計算される．
\begin{equation*}
    \mathbf{v}_{2:5} = \mathbf{v}_{2:3} \star \mathbf{v}_{3:5} = \mathbf{v}_{2:3} \star (\mathbf{v}_{3:4} \star \mathbf{v}_{4:5})
\end{equation*}
なお，式中における$\star$は巡回相関の演算子を表している．
同様の計算を，文全体(S)としてのベクトル$\mathbf{v}_{0:5}$が得られるまで繰り返し行う．
\begin{equation*}
\begin{split}
    \mathbf{v}_{0:5} &= \mathbf{v}_{0:2} \star \mathbf{v}_{2:5}\\ 
    &= (\mathbf{v}_{0:1} \star \mathbf{v}_{1:2}) \star (\mathbf{v}_{2:3} \star \mathbf{v}_{3:5})\\
    &= (\mathbf{v}_{0:1} \star \mathbf{v}_{1:2}) \star (\mathbf{v}_{2:3} \star (\mathbf{v}_{3:4} \star \mathbf{v}_{4:5}))
\end{split}
\end{equation*}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{figure}[t]
\begin{center}
\includegraphics[width=0.5\linewidth]{30-4ia23f1.pdf}
\end{center}
    \caption{Hol-CCGの概要}
    \label{fig:model_outline}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

このように，単語や句に割り当てられた分散表現を再帰的に合成することによって，これらの間に存在する階層関係や依存関係を捉え，構文解析に活用するのが本提案手法の核となる部分である．
このようにして得られた単語や句の分散表現は順伝播型ニューラルネットワークからなる識別器に入力され，それらに割り当てるべきCCGのカテゴリを予測できるようにモデルが学習される．
また，本提案手法によって得られる句のレベルでの分散表現（例えば図~\ref{fig:model_outline}中の$\mathbf{v}_{0:2}$や$\mathbf{v}_{2:5}$, $\mathbf{v}_{3:5}$など）はSpan-based ParsingにおけるSpanの表現としてそのまま適用することができ，高い構文解析性能を実現する．

本提案手法は，CCGにおける構文解析のサブタスクの1つであるSupertaggingにおいて既存モデルを上回る最高性能を発揮し，また，Span-based Parsingにおいては既存の最高性能モデル\cite{clark2021something}に競合する性能を発揮した．
このことから，分散表現同士を再帰的に合成することによってベクトル空間上でCCGのモデリングを行うという本提案手法のアプローチの有効性が示された．

また，図~\ref{fig:composition_in_latent_space}に提案手法によって構成される埋め込み空間を可視化した図を示す．
図~\ref{fig:composition_in_latent_space}では，埋め込み空間上において分散表現の再帰的合成が行われる様子を実際の実験データを用いて示している．色分けされた各点は異なるCCGのカテゴリに属する単語や句を表しており，近しい文法的機能を持つ単語や句の分散表現はベクトル空間上でも近しい位置にあることが観測され，図~\ref{fig:model_outline}で示したような本提案手法のコンセプトが実現されていることが実験的にも確かめられた．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{figure}
\begin{center}
\includegraphics[width=0.5\linewidth]{30-4ia23f2.pdf}
\end{center}
    \caption{埋め込み空間の可視化}
    \label{fig:composition_in_latent_space}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{ACL2023現地の様子}
本章では筆者が参加したACL2023現地の様子を報告する．
ACL2023はカナダ最大の都市であるトロントで開催され，オンタリオ湖の湖畔に位置するWestinホテルが会場であった．
会場はオンタリオ湖という大自然と高層ビル群が隣接する素晴らしいロケーションにあり，世界各地から集まった研究者が湖畔の道を散歩しながら議論する姿を目にした．

学会のハイライトの1つは，Geoffrey Hinton先生による基調講演であり，``Two Paths to Intelligence''というタイトルで，デジタルな知能と生物学的知能の違いやマルチモーダルLLMの主観的経験に関する話など，非常に刺激的であり，また，示唆に富む講演を聞くことができた．多くの学会参加者が講演を熱心に聞き，最後に設けられたQAセッションでは質問者が列を成すほどの盛況ぶりであった．

LLMが大きな躍進を遂げる中において，口頭発表やポスター発表のセッションではLLMに関する多くの研究発表があり，多くの聴衆を集めて活発な質疑・議論が交わされていた．
また，コーヒーブレイクの時間にはコーヒー片手に多くの研究者が集まり活発な議論が繰り広げられていた．
世界的な感染症の影響で数年間制限されていた対面での議論が復活しているのを目の当たりにし，このような刺激的な環境での交流と議論は，今後の革新的な研究に繋がるものであると感じられた．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}
本稿では，ACL2023に採択された論文の解説を行うとともに，筆者が現地参加した学会の様子を報告した．
本稿をもとに，筆者の研究に関する興味・関心を持ってもらったり，学会現地の様子をイメージしてもらえれば幸いである．
本論文に関する研究の過程で得た経験とACLの会場で得た刺激を糧に，今後も日々の研究活動に邁進していく所存である．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
    \bibliographystyle{jnlpbbl_1.7}
\bibliography{23refs}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{山木　良輔}{%
2021年立命館大学情報理工学部中途退学（同大大学院に飛び級入学のため）．2023年立命館大学大学院情報理工学研究科博士前期課程修了．修士（工学）．現在，立命館大学大学院情報理工学研究科博士後期課程に在学中．立命館先進研究アカデミー学生フェロー．
}

\end{biography}



\end{document}
