\documentclass[japanese,other]{jnlp_3.3}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
%%%%\usepackage{array}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%\usepackage{bxpapersize} % サイズを調整
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{28}
\Number{3}
\Month{September}
\Year{2021}
%%%%\Issuetitle{「　　　　」特集号}

\setcounter{page}{924}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{End-to-end ASR to jointly predict \\ transcriptions and linguistic annotations}
\jauthor{大町　　基\affiref{Author_1}}
\etitle{End-to-end ASR to jointly predict transcriptions and linguistic annotations}
\eauthor{Motoi Omachi\affiref{Author_1}} 

\headauthor{大町}
\headtitle{End-to-end ASR to jointly predict transcriptions and linguistic annotations}

\affilabel{Author_1}{ヤフー株式会社}{Yahoo Japan Corporation}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

本稿では，著者らの論文``End-to-end ASR to jointly predict transcriptions and linguistic annotations`` \cite{Omachi:2021}（以下，原論文）
のテーマの着想からNAACL2021の採録に至るまでの経緯を述べる．
著者は音声処理の研究開発に従事しており，著者とは背景が異なる読者もいるものと思われる．
そのような読者にとっても，本稿が研究を進めていく上で参考となれば幸いである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{論文について}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{アイデアの着想}

音声認識は，音声から発話内容の書き起こしを推定する技術であり，音声対話システムや音声ユーザーインタフェース (VUI: Voice user interface) を構築する上では重要な役割を果たす．
かつては音響モデルや言語モデルなどの複数のモデルを組み合わせたHMM音声認識 \cite{Gales:2008}が主流であったが，
近年ではそれらのモデルを単一のニューラルネットワークにより実現するEnd-to-End (E2E) 音声認識の研究が盛んにおこなわれている \cite{Karita:2019,Yanzhang:2019}．
HMM音声認識では，多種多様な語彙に対応するためにモデルサイズが大きくなるので計算リソースが豊富な計算機が必要となる \cite{Fujita:2019}．
一方，E2E音声認識は，モデル量子化などを応用することで，計算リソースが豊富ではないスマートフォンなどのデバイスでも動作が可能となる\cite{Yanzhang:2019}．
さらに，一部のベンチマークにおいては，E2E音声認識の性能がHMM音声認識を上回ることが報告されている \cite{Karita:2019asru}．
このことから，E2E音声認識の実用化も進んでおり，今後も研究開発が活発におこなわれていくものと思われる．
著者もまた，音声認識の研究開発に従事する一人としてE2E音声認識の実用化を目指し日々奮闘している．

さて，原論文 \cite{Omachi:2021}では，
図\ref{fig:proposed_architecture}(b)に示したように，E2E音声認識の枠組みで発話文の表記列に加えて素性（読み，品詞）を同時に推定する方式を提案した．
現在提案されている多くのE2E音声認識は発話文の表記列のみを出力するが，素性を同時に出力するという点が原論文のアイデアである．
このアイデアは，
E2E音声認識の出力として読みの情報も同時に出力できると有益なことがあるのではないだろうかという疑問から生まれた．
例えば，音声検索システムで「日本橋」という駅を調べたいとする．
E2E音声認識では表記しか推定できないので，
発話者の意図した入力が「にほんばし」と「にっぽんばし」のどちらの駅を指しているのかを特定できない．
しかし，E2E音声認識で読みの情報も同時に得られるならば，
発話者が調べたい駅を特定するのも容易になる．

%---------------------
%%%% fig. 1
\begin{figure}[t]
\begin{center}
\includegraphics{28-3ia29f1.pdf}
\end{center}
\hangcaption{提案法のシステム構成．従来法では，E2E音声認識と単語分割や読み・品詞推定などの自然言語処理を組み合わせているのに対し，提案法はE2E音声認識と自然言語処理を同時に実現する．}
\label{fig:proposed_architecture}
\end{figure}
%---------------------

さらに議論を進めていくと，E2E音声認識で表記・読みだけでなく品詞などの素性も同時に推定するという原論文のアイデアが生まれた．
このアイデアは，音声対話システムやVUIなどのシステムにE2E音声認識を応用する際にも有益である．
多くのシステムでは，図\ref{fig:proposed_architecture}(a)のように，
E2E音声認識により得られる表記列に対して単語分割や読み・品詞推定などの自然言語処理を適用し，
意味理解のための素性を抽出する．
そのため，意味理解を正確におこなうためには，E2E音声認識と後続の自然言語処理の両方の性能も考慮する必要がある．
また，スマートフォンなどのデバイスへの応用を考えると，
自然言語処理をおこなうための辞書などに必要なメモリやストレージはできる限り削減できることが望ましい．
一方，提案法は，単一のニューラルネットワークにより音声認識と単語分割，素性抽出を実現するので，
自然言語処理に必要な計算資源を削減できる．
また，言語情報だけでなく音響的な情報も利用できるので，
言語情報のみでは単語分割や読み・品詞推定が難しい文章（e.g.,  同型異音語の読み）に対しても頑健に動作することが期待できる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実現方法の検討}

アイデアが決まると，次に具体的な実現方法について検討した．
具体的な方式を決めるために，(1)E2E音声認識の枠組みで複数種類の系列を推定する枠組み，
(2)その枠組みで用いるニューラルネットワークのモデル構造の 2 つの観点で技術調査を実施した．

E2E音声認識の枠組みで複数種類の系列を推定する枠組みを調査すると，それらは
「一対多モデル」「conditional chainに基づく一対一モデル」「一対一モデル」の3種類に分類できることがわかった．
一対多モデルは図\ref{fig:multi_e2e_asr}(a)に示すように，複数の系列を独立に推定する．
モデルの学習は個々の系列が互いに独立であるという条件付き独立性の仮定のもとでおこなわれる．
しかし，表記と読みは必ずしも独立ではないため，このモデルは本研究の用途としては望ましくない．
また，独立した系列間のアライメントを取る必要があるという点も応用する上では望ましくない．
例えば，「XからYまで」という入力が与えられた際に，XとYの読みをそれぞれ正しく得るためには，
表記と読みのアライメントの正確性が求められる．
conditional chainに基づく一対一モデルは，条件付き独立性の仮定が不要だが，
図\ref{fig:multi_e2e_asr}(b)に示すように，各系列を別々に推定するため，やはりアライメント処理が必要となる．
一対一モデルは，図\ref{fig:multi_e2e_asr}(c)に示すように，それぞれの系列の要素をアライメントした系列を推定する．
条件付き独立性の仮定に基づかず，アライメント処理が不要という点で本研究の用途としてふさわしいモデルであると考えられる．
そこで，一対一モデルを用いて複数種類の系列を推定する先行研究を調査した．

%---------------------
%%%% fig. 2
\begin{figure}[b]
\begin{center}
\includegraphics{28-3ia29f2.pdf}
\end{center}
\caption{複数系列を推定するE2E音声認識の枠組み．}
\label{fig:multi_e2e_asr}
\end{figure}
%---------------------

一対一モデルを用いて複数種類の系列を推定する研究としては，
英単語のスペルと単語そのものを推定するもの \cite{Audhkhasi:2018}や，
単語と対応する固有表現を推定するもの \cite{Ghannay:2018}などが提案されており，
モデルとしては，connectionist temporal classification (CTC) \cite{Graves:2006}が主に用いられていた．
しかし，CTCは出力シンボル間の条件付き独立性の仮定に基づく手法であり，本研究にそのまま応用するのは適切ではない．
そこで，本研究では出力シンボル間の依存関係を考慮したTransformer \cite{Vaswani:2017}とその拡張であるTransformer-CTC \cite{Karita:2019}を用いて表記と素性を推定することを試みた．
TransformerとTransformer-CTCはE2E音声認識で広く用いられているモデルである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{評価実験}

提案法を実装し，有効性を確認するために音声認識および素性抽出の観点で評価実験をおこなった．
紙面の都合により，評価実験の条件や結果の詳細は本稿では割愛するが，
Transformer-CTCモデルを利用した場合に，音声認識の性能劣化が少なく，十分な性能で素性抽出が可能であることを示している．
実験の詳細については，原論文 \cite{Omachi:2021}を参照していただきたい．
図~\ref{fig:example}は提案法を用いて表記・読み・品詞を同時に推定した例を示している．
比較として，図\ref{fig:proposed_architecture}(a)のように，E2E音声認識の後段に単語分割および読み・品詞推定を適用した手法も示している．
言い淀みを含むような発話において，提案法は音声に含まれる無音区間を頼りに単語分割を正確に行うことができ，読みや品詞も正しく推定できる．
また，同型異音語を含む場合においても，提案法は音の情報から正しい読みを確定できている．
提案法は言語情報だけでなく音響的な情報を利用することができるので，
言語情報のみに基づく方法では解くことが難しい条件に対しても頑健に動作するという著者らの期待通りの挙動が確認できた．

%---------------------
%%%% fig. 3
\begin{figure}[t]
\begin{center}
\includegraphics{28-3ia29f3.pdf}
\end{center}
\hangcaption{提案法による表記・読み・品詞の同時推定結果の例．X/Y/Zのうち，X，Y，およびZはそれぞれ表記，読み，および品詞を表す．音声認識と自然言語処理に基づく単語分割と読み・品詞推定を組み合わせた従来法では正しく推定できない発話が，提案法では正しく推定できている．}
\label{fig:example}
\end{figure}
%---------------------


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{NAACL2021の採録に至るまで}

NAACL2021では，採択結果が出される前にReviewerのコメントに対して意見を返すことができるRebuttal期間が設けられていた．
Reviewerからは，提案法の有効性が指摘された．
投稿した時点の論文では，音声認識の性能改善が目的ではなく，枠組みを提案するものであるという点を強調していたが，
研究の意義をうまく伝えることができていなかった．
そこで，Reviewerには本研究はデバイス上でシステムを動かす際に有効であること，
また，表記の推定が失敗しても他の素性が正しく推定できるのでslot fillingなどの意味理解と組み合わせた際に有益であることを説明した上で，
Camera-readyに追記する箇所を具体的に提示したところ，採録の通知をいただくことができた．
手法や実験設計だけでなく，研究意義についても説得力がある形で説明することを忘れてはならないと思わされた．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

本稿ではNAACLに採録された著者の論文の着想から採録に至るまでの経緯を概説した．
本研究は，音声認識と自然言語処理を組み合わせたものであり，今後もさらなる応用が期待できる．
音声認識の研究開発の従事するひとりとして，
自然言語処理分野の研究者の皆様と手をとりあいながらより良いサービスを社会に提供できるように努めていきたい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本研究にあたり，数多くのご助言をいただきましたヤフー株式会社 藤田悠哉氏，ジョンズ・ホプキンズ大学 渡部晋治教授（現在，カーネギー・メロン大学），同大学 Matthew Wiesner氏に感謝の意を表します．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.6}
\bibliography{29refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{大町　　基}{%
2009年早稲田大学理工学部コンピュータ・ネットワーク工学科卒業．
2011年同大学大学院基幹理工学研究科情報理工学専攻修士課程修了．
2017年同大学大学院基幹理工学研究科情報理工学専攻博士後期課程修了．
博士（工学）．
現在，ヤフー株式会社にて音声認識の研究開発に従事．
}

\end{biography}


%%%%\biodate   %%%% 受付日の出力（編集部で設定します）

\end{document}



