\documentclass[japanese,other]{jnlp_3.5}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%\usepackage{tabu}
%%%%\usepackage{tabularx}
%%%%\usepackage{multirow}
%%%%\usepackage{array}
%%%%\usepackage{booktabs}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{29}
\Number{2}
\Month{June}
\Year{2022}
%%%%\Issuetitle{「　　　　」特集号}


\setcounter{page}{694}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{``Effectiveness of Syntactic Dependency Information for Higher-Order Syntactic Attention Network'' の解説}
\jauthor{上垣外英剛\affiref{Author_1}}
\etitle{An Explanation of ``\textit{Effectiveness of Syntactic Dependency Information for Higher-Order Syntactic Attention Network}''}
\eauthor{Hidetaka Kamigaito\affiref{Author_1}} 

\headauthor{上垣外}
\headtitle{``Effectiveness of Syntactic Dependency Information for HiSAN'' の研究過程}

\affilabel{Author_1}{東京工業大学~科学技術創成研究院}{Tokyo Institute of Technology}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

本解説記事では2022年に行われた言語処理学会第28回年次大会 (NLP2022) において論文賞を受賞した表題の研究\cite{hk2021}についての解説を行う．
具体的な内容に関しては実際に論文を参照することが望ましいため，本記事では主に手法の概要とその着想に至った経緯，現在までの進展について要点を押さえて説明する．
なお，表題の研究については，NAACL-HLT 2018にて発表を行った文圧縮手法Higher-Order Syntactic Attention Network (HiSAN) \cite{k3}に対して，詳細な分析を行ったものである．従って本解説記事では，HiSANについての説明を行った後に論文の内容について説明を行う．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{論文の概要}

本節ではまず我々がNAACL-HLT 2018にて提案したHiSANの役割と構造を説明する．その後にHiSANへの詳細な分析を行なった表題の論文で得られた結論についてを端的に説明する．

なお，以下の説明では文圧縮を，入力単語列を$\mathbf{x} = (x_{0}, ..., x_{n})$と表した際に，単語$x_t$に対して，出力ラベル$y_t$を（``単語の維持''，``単語の削除''，``文の終了''）から選択するタスクであると考える．
図\ref{fig:example}に文圧縮の例を示す．この例では国家間の電力輸入協定を説明しているため，国名が重要である．
その前提の下，国名を示す句``from Kyrgyz Republic and Tajikistan''を維持しつつ圧縮を行うには，可読性の観点から，この句からルートまでに辿る単語``signed''，``resolution''，``import''も圧縮後の文で維持されなければならない．
ここから，依存構造木上の深い位置にある重要な単語を圧縮文に残すためには，連鎖的な高次の依存構造を考慮しなければならないことが分かる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[t]
\begin{center}
\includegraphics{29-2ia22f1.pdf}
\end{center}
\caption{依存構造木と圧縮結果の例．灰色の単語は削除を，灰色の矢印は高次の依存関係を示している．}
\label{fig:example}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[t]
\begin{center}
\includegraphics{29-2ia22f2.pdf}
\end{center}
\caption{HiSANのネットワーク構成図．階層的な複数の注意機構からなる構造を持つ．}
\label{fig:network}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

HiSANはこのような問題に対処するために，文圧縮を行う際に単語間の依存関係を仮定した上で，1次のみならず2次や3次といった高次の依存関係をも扱える注意機構を備えた文圧縮用のニューラルネットワークである．
図\ref{fig:network}はHiSANのネットワーク構造を示している．
この図では入力された単語列に対し，単語$x_{7}$のラベル$y_{7}$の出力確率を決定する過程が描かれている．
$y_{7}$の出力確率は次のように予測される．\\
(1) {\bf 入力層・エンコーダ}では，単語列からなる文$\mathbf{x} = (x_{0}, ..., x_{n})$を単語埋め込み層において連続量ベクトルの列$(e_{0}, ..., e_{n})$へと変換する．そして，$e_{t}$を両方向LSTMへと入力し，それぞれの単語に対応する隠れ状態の列$(h_{0}, ..., h_{n})$を出力する．\\
(2) {\bf 親への注意機構}は単語$x_{t}$の親が$x_{i}$となる確率$P_{parent}(x_{i}|x_{t},\mathbf{x})$を隠れ状態$h_{i}$と$h_{t}$を用いて計算する．
この計算は全ての$x_{i},x_{t}$の対に対して行われる．
図\ref{fig:network}における{\bf 親への注意機構}中の弧は，それぞれの子に対し，親となる確率がもっとも高い単語を示している．\\
%
(3) {\bf 再帰的注意機構}は$x_{t}$の$d$次の親が$x_{j}$となる確率$\alpha_{d,t,j}$を，再帰的に$P_{parent}(x_{i}|x_{t},\mathbf{x})$を用いることで計算する．
$\alpha_{d,t,j}$は$d$次の親を考慮した際の隠れ状態$\mathbf{h}$の重み付き和$\gamma_{d,t}$を計算するための注意として扱われる．例として，図\ref{fig:network}において，単語$x_{7}$の親となる確率がもっとも高い単語を3次まで辿った場合，単語$x_{6}$，$x_{5}$，$x_{2}$がそれぞれ1次，2次，3次の単語$x_{7}$の親となる．
これらの親に対応する隠れ状態$h_{6}$，$h_{5}$，$h_{2}$はそれぞれ1次，2次，3次の注意$\alpha_{1,7,6}$，$\alpha_{2,7,5}$，$\alpha_{3,7,2}$によって重み付けされた後，足し合わされ，選択的注意機構の入力$\gamma_{d,t}$となる\footnote{この計算過程において，$\alpha_{d,t,j}$を$j,t$成分として持つ行列$A^{d}$を定義すると，それぞれの単語がある単語に対して$d$次の親を持つ確率は，$A^{d}=A^{d-1}A$のように行列積の形で一括して計算が可能である．この特性によりHiSANは再帰的な依存構造上の確率の計算をGPUを用いて実現している．}．\\
(4) {\bf 選択的注意機構}は各$\gamma_{d,t}$の次数$d \in \mathbf{d}$の重み$\beta_{d,t}$を計算する．
（$\mathbf{d}$は次数の集合．）
$\beta_{d,t}$はエンコーダとデコーダの隠れ状態から計算され，
それぞれの$\beta_{d,t} \cdot \gamma_{d,t}$の総和$\Omega_{t}$が出力となる．\\
%
(5) {\bf 出力層}において$\Omega_{t}$とエンコーダ，デコーダの隠れ状態が結合され，各単語$x_{t}$に対するラベルの出力確率$P_{comp}(y_{t}|\mathbf{x})$が計算される．

学習については，出力ラベルの列を$\mathbf{y} = (y_{0}, ..., y_{n})$と表記し，ルートノードを表す文頭の記号を$x_{0}$とし，出力ラベルに対する損失と依存構造に対する損失を調整する重みを$\lambda$としたとき，学習データに対する構文解析結果\footnote{依存関係が存在する時$1$を，それ以外の際には$0$を正解の確率として扱う．}と正解ラベルを用いて次のような目的関数により行う．
\begin{equation}
- \sum_{t=1}^{n} \log P_{comp}(y_t|x_t, \mathbf{x}) -\lambda \cdot \sum_{j=0}^{n} \sum_{t=1}^{n} \log P_{parent}(x_j|x_t).
\label{eqn:sup}
\end{equation}

このような動作を行うHiSANに対して，表題の論文\cite{hk2021}では$\lambda$を$0$とした際の結果，つまりは単語間の依存構造解析の結果を明示的に行わない場合の性能についても調査を行い，下記のような結果を得た．\\
- Google文圧縮データセット\footnote{\url{https://github.com/google-research-datasets/sentence-compression}}を用いた実験の結果，HiSANはラベルのF$_{1}$スコアおよびROUGE-1, -2, -Lの再現率において再帰的な注意を行わないベースライン手法よりも高い結果を得た．\\
- 特に，テストセットに含まれる平均より長い文を入力した場合，HiSANはF$_{1}$，ROUGE-1，-2，-Lの再現率の点でベースライン手法を大きく上回った．\\
- 構文解析結果を使用しない場合でも，HiSANは参照要約に近い，正確な長さの圧縮を達成できることを明らかにした．\\
- 構文解析結果を用いることで，HiSANはより情報量が高い圧縮を参照要約に近い長さで行うことが可能なことについても示した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{着想に至った経緯と現在までの進展}

そもそもSeq2Seqに関する研究を行う上で注意機構に着目したきっかけとしては，著者が統計的機械翻訳における翻訳モデル，とりわけ入力文と出力文との間で対応する単語対を推定するタスクである単語アライメントに関する研究\cite{kh2014,kh2015,kh2016}を行ってきたことにある．この延長として，著者は2017年当時，Seq2Seq手法に単語アライメントを適用した研究\cite{mi2016}の改良についてを模索していた．その結果として，依存構造を単語アライメントの一種として扱うことで，依存構造と句構造解析を同時に行うSeq2Seqを用いた手法\cite{k1}を提案している．

著者はこの手法に対し，要約での依存構造の有効性を検証\cite{hirao2018}していた共著者の平尾努氏，依存構造が文書表現として有用であり\cite{hayashi2016}今後の発展性があることを示していた共著者の林克彦氏からの情報を元に，適用タスクを文圧縮へと変更し，注意機構に再帰的な構造を組み込む事でHiSANを提案した．この過程は研究においては対象を深く掘り下げることのみならず，多面的な考えを取り入れることも重要であることを示している．

近年ではHiSANを拡張し，文書要約への適用\cite{ishigaki-etal-2019-discourse}やBERTと併用した際\cite{Kamigaito_Okumura_2020}の有効性も確認している．その一方で，最近の談話構造解析器\cite{Kobayashi_Hirao_Kamigaito_Okumura_Nagata_2020,kobayashi-etal-2021-improving}の出力を用いて文間の依存構造を考慮した抽出型の文書要約手法\cite{kwon2021}では解析誤りの影響は軽微であり，HiSANの利点の一つである同時学習の有効性については現在の解析器の性能に合わせた再調査が必要であると考えている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begingroup
\bibliographystyle{jnlpbbl_1.6}
\addtolength{\baselineskip}{-1pt}
\bibliography{22refs}
\endgroup


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{上垣外英剛}{%
2017年東京工業大学大学院~総合理工学研究科 知能システム科学専攻~博士課程修了．
同年NTTコミュニケーション科学基礎研究所入所．
2018年より東京工業大学~科学技術創成研究院~未来産業技術研究所~助教．
自然言語処理分野の研究に従事．
情報処理学会，言語処理学会，ACL各会員．
}

\end{biography}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\biodate



\end{document}



