\documentclass[japanese]{jnlp_3.6}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
\usepackage{bm}
\usepackage{booktabs}
\usepackage{algorithm}
\usepackage{algorithmic}
%%%%\usepackage{amsmath}
%%%%\usepackage{amsfonts}
%%%%\usepackage[hang,small]{caption}
%%%%\usepackage[subrefformat=parens]{subcaption}
%%%%\captionsetup{compatibility=false}
\def\vec#1{\ensuremath{\bm{{#1}}}}
\def\mat#1{\vec{#1}}
\DeclareMathOperator*{\Attention}{Attention}
\DeclareMathOperator*{\Linear}{Linear}
\DeclareMathOperator*{\ReLU}{ReLU}
\DeclareMathOperator*{\Softmax}{Softmax}
\DeclareMathOperator*{\Encoder}{Encoder}
\DeclareMathOperator*{\Decoder}{Decoder}
\DeclareMathOperator*{\Multihead}{Multihead}
\DeclareMathOperator*{\LayerNorm}{LayerNorm}
\DeclareMathOperator*{\FFN}{FFN}
\DeclareMathOperator*{\Concat}{Concat}
\DeclareMathOperator*{\Embedding}{Embedding}
\DeclareMathOperator*{\onehot}{onehot}
\DeclareMathOperator*{\Subsample}{Subsample}
\DeclareMathOperator*{\UnidirectionalRNN}{UnidirectionalRNN}
\DeclareMathOperator*{\argmax}{argmax}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


\Volume{30}
\Number{1}
\Month{March}
\Year{2023}
%%%%\Issuetitle{「　　　　」特集号}

\received{2022}{5}{10}
\revised{2022}{8}{30}
\accepted{2022}{10}{18}

\setcounter{page}{88}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{国会会議録のための音声から書き言葉への end-to-end 変換}
\jauthor{三村　正人\affiref{Author_1} \and 河原　達也\affiref{Author_1}}
\jabstract{%
従来の音声認識システムは，入力音声に現れるすべての単語を忠実に再現するように設計されているため，認識精度が高いときでも，人間にとって読みやすい文を出力するとは限らない．これに対して，本研究では，フィラーや言い誤りの削除，句読点や脱落した助詞の挿入，また口語的な表現の修正など，適宜必要な編集を行いながら，音声から直接可読性の高い書き言葉スタイルの文を出力する新しい音声認識のアプローチについて述べる．我々はこのアプローチを単一のニューラルネットワークを用いた音声から書き言葉への end-to-end 変換として定式化する．また，音声に忠実な書き起こしを疑似的に復元し，end-to-end モデルの学習を補助する手法と，句読点位置を手がかりとした新しい音声区分化手法も併せて提案する．700 時間の衆議院審議音声を用いた評価実験により，提案手法は音声認識とテキストベースの話し言葉スタイル変換を組み合わせたカスケード型のアプローチより高精度かつ高速に書き言葉を生成できることを示す．さらに，国会会議録作成時に編集者が行う修正作業を分類・整理し，これらについて提案システムの達成度と誤り傾向の分析を行う．
}
\jkeywords{end-to-end 音声認識，話し言葉スタイル変換，整形，国会会議録}

\etitle{End-to-End Generation of Written-style Transcript of Speech from Parliamentary Meetings}
\eauthor{Masato Mimura\affiref{Author_1} \and Tatsuya Kawahara\affiref{Author_1}}
\eabstract{%
Because conventional automatic speech recognition (ASR) systems are designed to faithfully reproduce utterances word-by-word, their outputs are not necessarily easy to read even when they have few speech recognition errors. To address this issue, we propose a novel ASR approach that outputs readable and clean text directly from speech by removing fillers and disfluent regeons, substituting colloquial expressions with formal ones, insertintg punctuation and recovering omitted particles, and performing other types of appropriate corrections. We formalize this approach as an end-to-end generation of written-style text from speech using a single neural network. We also propose a method to guide the training of this end-to-end model using automatically generated faithful transcripts, as well as a novel speech segmentation strategy based on online punctuation detection. An evaluation using 700 hours of Japanese Parliamentary speech data demonstrates that the proposed direct approach successfully generates clean transcripts suitable for human consumption more accurately at a faster decoding speed than the conventional cascade approach. We also provide an in-depth analysis on the types of edits performed by professional human editors to create the official written records of Japanese Parliamentary meetings, and evaluate the level of achievement of the proposed system in terms of each of the edit types.
}
\ekeywords{End-to-End Speech Recognition, Speaking Style Transformation, Parliamentary Report}

\headauthor{三村，河原}
\headtitle{国会会議録のための音声から書き言葉へのend-to-end変換}

\affilabel{Author_1}{京都大学情報学研究科}{School of Informatics, Kyoto University}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

会議や講義，プレゼンテーションなどの音声を自動で書き起こし，アーカイブ
構築に用いることは，音声認識の重要な応用の一つである．
その際，真に使いやすいアーカイブを構築するためには，単に音声認識誤りを
最小化するだけでなく，システム出力の可読性も考慮する必要がある．
従来の音声認識システムは，発話中のすべての単語を忠実に再現するよ
うに設計されているため，認識結果は必ずしも読みやすいものとはならな
い．
自発的な発話はフィラーや言い誤りを含むだけでなく，流暢に
話されたときでも，通常非文法的であり，書き言葉に相応しくない口語特有の
表現も多い．
また，文の区切りが明確でなく，通常の音声認識では句読点は付与されない．
したがって，音声認識結果や忠実な書き起こしを元に可読性の高い文書を作成
するためには，人手による相当量の修正が必要となる \cite{JONES:READABILITY}．

音声認識結果の可読性を改善するために，話し言葉から書き言葉
への自動変換の研究が数多く行われてきた．
例えば，非流暢な区間の検出と削
除 \cite{LIU:ENRICHING,YEH:EDIT}，句読点挿入 \cite{PAULIK:SENTENCESEGMENTATION,GRAVANO:RESTORINGPUNCTUATION,AKITA:COMMAINSERTION}
，あるいはより一般的な話し言葉スタイル変換(spoken style transformation
=
SST) \cite{HORI:PARAPHRASING,SHITAOKA:TRANSFORMATION,NEUBIG:SST,SPROAT:TEXTNORMALIZATION}
などの研究が挙げられる．
これらの既存研究では，雑音のある通信路モデルやCRF (conditional
randomfield)，SVM (support vector machine)，ディープニューラルネッ
トワークなどの機械学習モデルを用いて，書き起こしから書き言葉へのテキスト
ベースの変換が行われる．
したがって，自動整形は音声認識の後処理として行われることが多く，
音声認識誤りに起因する性能の低下が避けら
れない問題があった．
また，これらのテキストベースの手法では，モデルの教師つき学習に書き言葉テ
  キストと話し言葉テキストのペアデータを用いるため，音声に忠実な書き起
  こしを新たに作成する必要がある．
  通常コスト面の制約から大量の書き起こしは利用できないため，カバーで
  きる音響的・言語的現象に限りがある．

これに対して，本研究では，熟練した編集者が音声を聞き取りながら同時に記
録文書に
適した書き言葉を作成するときのように，フィラーや言い誤りの削除，句読点や
脱落した助詞の挿入，また口語的な表現の修正など，適宜必要な編集を行いな
がら，音声から直接可読性の高い書き言葉スタイルの文を直接出力する新しい
音声認識のアプローチを提案する．
このアプローチでは，忠実な書き起こしをターゲットとする従来の音声認識モ
デルとは異なり，Transformer \cite{VASWANI:TRANSFORMER}に基づくsequence-to-sequenceモデルを音声と
書き言葉のペアを用いてend-to-end (e2e)に写像を最適化する．
また，推論時には音声から書き言葉を直接推論する．
したがって，このアプローチは，上記のようなテキストベースの自動整形を用
いたカスケード型アプローチの欠点を回避できる強みを持つ．
特に，書き言葉予測では，修正の対象となるような非流暢な区間ほど認識
誤りが生じやすい問題があるため，音声認識結果を用いないことは，大きな
改善をもたらす可能性がある．
さらに，提案法は，入力中の音響的な情報に基づいて修正・編集を行うことが
できる \cite{LIU:ENRICHING,NEUBIG:SST}．
また，新たに忠実な書き起こしを作成する必要がないため，教師つき学
  習におけるデータスパースネスの問題も回避できる．
本論文では，特に国会の審議音声から会議録テキストを生成するタスクに焦点を
当て，提案手法の詳細な評価と分析を行う．

本論文の構成は以下の通りである．
2章では，本研究で衆議院審議音声を用いることの意義を明らかにした上で，
国会会議録で行われる編集作業の分類・整理を行う．
3章では，本研究の基盤となるe2e音声認識のための手法を概説する．
4章で音声から書き言葉をe2eで予測するための提案手法について述べた
後，5章でその実験的評価とシステム出力の詳細な分析を行う．
6章で結論を述べる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[b]
\begin{center}
\includegraphics{30-1ia4f1.pdf}
\end{center}
\caption{国会審議音声における忠実な書き起こしと会議録テキストのペアの例}
\label{fig:example}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{データセット}

国会の審議音声における忠実な書き起こしと会議録テ
キストの例を図\ref{fig:example}に示す．
この例では，冒頭のフィラーと末尾の句末表現が削除され，話し言葉特有の「シン
  ギュラリティー\underline{って}のは」という表現が，より改まった「シンギュラリ
  ティー\underline{という}のは」という語句に改められている．
また，主語と修飾句の間に読点を挿入することで読みやすさの改善が図られて
いる．

本研究では，以下の理由から衆議院の音声と会議録から構成した「衆議院審
  議音声コーパス」を用いる．

一つは，国会会議録作成の効率化と高精度化のためである．
我々は衆議院審議音声の自動書き起こしシステムを開
発しており，2011年度から衆議院のすべての会議の会議
録\footnote{\url{https://www.shugiin.go.jp/internet/itdb_kaigiroku.nsf/html/kaigiroku/kaigi_l.htm}}
の作成支援のために用いられている \cite{AKITA:IEICE-DIET-TRANSCRIPTION,KAWAHARA:AAAI-DIET,KAWAHARA:TIRO-CAPTION,AKITA:DIETTRANSCRIPTION}．
現行のシステムでは，まずDNN-HMMハイブリッド型の音声認識システ
ム \cite{MOHAMED:DNN-HMM,HINTON:DNN-ASR}を用いて
音声を忠実に書き起こし，次にこの認識結果を元に編集者が必要な修正を施す
ことにより，最終的な会議録テキストが作成される．
したがって，この工程において，音声認識モデルが直接書き言葉スタイルの文
を出力すること
ができれば，会議録作成のためのトータルな作業コストの軽減が期待される．
また，本研究で用いるTransformer \cite{VASWANI:TRANSFORMER}などの
e2eモデルの推論速度は，ハイブリッドシステムに比べて数十倍のオー
ダで速い．
衆議院の会議の長さは，例えば本研究で評価に用いた2015年度のデータセット
では，平均で3.8時間，最大で12時間にも及ぶ．
また，同時に多数の会議が開催される一方，並列処理のための計算機を十分確保
することは困難であり，修正元となるドラフトを可能な限り迅速に作成する
ことが求められる．
したがって，処理速度は実用上重要な評価項目と言える．

次に，国会の審議音声と会議録のペアが，話し言葉と書き言葉の関係を知る上で
理想的なデータであるためである．
国会の審議音声，特に本会議以外の専門委員会では，話者が用意された原稿
を読み上げるのでなく，自発的な発話を行うことが多い．
したがって，次節で詳しく見るように，実際に行われた発話と整形済みの
会議録テキストには相当程度の相違がある．
また，国会会議録の性格上，編集において発話の意図が変わりかねないような
パラフレーズ等は一切許されないため，書き言葉と話し言葉の差異のみに
焦点を当てることができる．
国会会議録は，熟練した職業的編集者により非常に厳格かつ一貫したルールに
則って作成されるため，任意性が低く，機械学習のターゲットとしても適切で
ある．

さらには，信頼度の高い音声と会議録の大規模なペアデータが利用できるため
である．
話し言葉の整形の研究では，音声の書き起こしと書き言葉のペアデー
タを用いたテキストベースのアプローチが主であった．
したがって，書き起こし作成のコストを考えると，学習データのサイズが限ら
れていることが多かった．
一方，本研究では，大量の音声-書き言葉のペアを用いて，人手による書き起こし
を介することなく，直接音声から書き言葉への変換を実現することを目的とす
る．

本研究では2015年度に行われた第189回国会の会議から構築したデータセット
を用いた．
各モデルの学習データには，2015年6月までに行われた14
の本会議と194の委員会，計208会議から収集した708時間の音声を用いた．
提案手法の評価と分析には，次節で述べる5会議，20時間のデータを用いた．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{会議録テキストにおける編集作業の分類}

2015年度に行われた第189会国会の一部の会議に対して音声の忠実な書き起こ
しを作成し，会議録と書き起こしで異なる箇所をアノテーションした．
このアノテーションをもとに，会議録作成時にどのような編集・修正作業が
行われているかを分析した．
2015年7月に行われた会議のうち，農林水産委員会第19号（話者ターン数229，異なり話者数22，5.5時間）\footnote{\url{https://www.shugiin.go.jp/internet/itdb_kaigirokua.nsf/html/kaigirokua/000918920150625019.htm}}，内閣委員会第18号（話者ターン数201，異なり話者数21，3.2時間）\footnote{\url{https://www.shugiin.go.jp/internet/itdb_kaigirokua.nsf/html/kaigirokua/000218920150708018.htm}}，厚生労働委員会第29号（話者ターン数174，異なり話者数17，4.1時間）\footnote{\url{https://www.shugiin.go.jp/internet/itdb_kaigirokua.nsf/html/kaigirokua/009718920150708029.htm}}，消費者問題に関する特別委員会第4号（話者ターン数147，異なり話者数27，3.1時間）\footnote{\url{https://www.shugiin.go.jp/internet/itdb_kaigirokua.nsf/html/kaigirokua/019718920150709004.htm}}，東日本大震災復興特別委員会第5号（話者ターン数197，異なり話者数26，4.4時間）\footnote{\url{https://www.shugiin.go.jp/internet/itdb_kaigirokua.nsf/html/kaigirokua/024218920150709005.htm}}の5つの会議を用いた．

編集者が行う修正を，語句の削除操作によるもの，置換操作によるもの，挿入
操作によるものの3つに大別した上で，以下の項目{\bf A}から{\bf M}のよう
に分類した．
なお，それぞれの例で，中括弧$\{\}$で囲まれた箇所は削除を，小括弧$()$で囲まれ
た箇所は挿入を表す．
また，修正箇所は連続する場合が多いため，それぞれの例に句読点挿入など他
の項目の修正箇所も含まれる場合がある．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{削除}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{\underline{A. フィラーの削除}}
フィラー以外の機能を持たない形態を持つ語，すなわち「あー」「あのー」
「いー」「うー」「えー」「えーと」「おー」「まあ」「んー」，およびそれら
の変種（「えっと」など）を，この「フィラーの削除」に分類した．

{\bf 例：} 「$\{$えー$\}$アメリカ議会におきまして」，「$\{$まあ$\}$しかし$\{$あ
  のー$\}$(、)」

また，複数のフィラーが連続した箇所は，まとめて一つのフィラーとカウントした．

{\bf 例：}　「$\{$まあ、あのー、おー$\}$法律の審議でございますので(、)」，
「$\{$えー、ま$\}$大体もう$\{$あの$\}$議論は出尽くしたところもありますけれども(，)」


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{\underline{B. 句末表現の削除}}
口語表現に特有の句末表現は削除する．

{\bf 例：} 「正式な場におきまして$\{$ですね$\}$(、) 」，「自民党は$\{$ね
  $\}$(、)本当に人情に厚くて$\{$ね$\}$(、)」


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{\underline{C. 言い誤りや繰り返しの前半部分(reparandum)の削除}}
言い誤りにおいて，後半の言い直された部分のみを残して前半を削除する．
言い誤り部にはフィラーが伴うことも多い．
同じ語句の繰り返しも同様に削除する．

{\bf 例：} 「$\{$総理もこれまでああー$\}$(大臣もこれまで)」， 「$\{$質問あの
  $\}$ (決議)に基づきまして(、)」


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{\underline{D. その他}}
「やはり」「もう」などの単語が間投詞的に用いられる例や，文脈上必要のな
い主語や指示語の削除が主である．
これらを削除することで簡潔な文を作る．

{\bf 例：} 「$\{$やはり$\}$事業を利用する組合員である農業者の利益(、)」，
「そこは残念だと$\{$こう$\}$思っております(。)」


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{置換}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{\underline{E. 助詞の修正}}
言い誤りとは言えないが，助詞の用法が文法上誤りであるとき，正
しい助詞に置換する．
特に多い修正は，「が」から「は」（19回），「が」から「を」（19回），
「の」から「に」（12回），「は」から「が」（12回）への置換であった．

{\bf 例：} 「農業委員の方$\{$が$\}$(は)(、)任命制があるので(、)」，
「制度自体の大きな枠組みの変更$\{$が$\}$(を)検討中だということでござい
  ました(。)」


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{\underline{F. 口語表現の修正}}
話し言葉に特有の表現を，書き言葉に相応しいより改まった語句に修正する．

{\bf 例：} 「$\{$いろんな$\}$(いろいろな)声が$\{$えー$\}$あるということ」，
「よく承知して$\{$ます$\}$(います)$\{$けども$\}$(けれども)(、)」


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{\underline{G. 語順の入れ替え}}
書き言葉として自然になるように，連続した語句の順序を入れ替える．
ただし，近年はこの修正はほとんど行われていない．

{\bf 例：} 「$\{$よくないと思うんです一方的すぎると$\}$(一方的すぎると良くな
いと思うんです)(。)」，「$\{$両方出し手と受け手と$\}$(出し手と受け手と両
  方)考えてやって」

ただし，別の語句を挟んだ距離の離れた入れ替えについては，この項目ではなく，
「その他の削除」および「その他の挿入」としてカウントする．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{\underline{H. 言い誤り}}
言い誤りがあったが，言い直されてはいない箇所について，正しい語句に修正
する．
単に読みが非流暢な箇所だけでなく，意味を考慮した正しい語句への修正も含む．

{\bf 例：} 「$\{$組長$\}$(首長)というのは最終的には」，「$\{$農林さんしょう
  $\}$(農林水産省)の元同僚の皆さんに」


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{\underline{I. その他}}
省略表現の補完や，意味を考慮した表現の補足などに相当するが，
頻度は非常に少ない．

{\bf 例：} 「第八条$\{$の四で$\}$(四項の二号で)」，「$\{$これ$\}$(農業関係は)
  二十万人どころじゃないんです(。)」
  

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{挿入}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{\underline{J. 読点}， \underline{K. 句点}}
句読点を適宜挿入することにより，読みやすさを改善する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{\underline{L. 助詞の復元}}

話し言葉では助詞の脱落が頻繁に発生する．
脱落した箇所に正しい助詞を復元し，文法的な文を作る．
特に多い修正は，「を」（604回），「は」（549回），「が」（204回），
「に」（151回）の挿入であった．

{\bf 例：} 「アメリカの議会(は)この法案の審議をめぐっては」，「ここにい
  らっしゃる議員(を)初め(、)」


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{\underline{M. その他}}
項目{\bf H}で述べた離れた位置の語順の入れ替えの一部であることが多い．

{\bf 例：} 「それを$\{私は\}$この場で議論しないのはおかしいと(私は)思
  うんですよ(。)」，「$\{比較的\}$まだそれでも(、)そういう方の数も(比
  較的)あるんですが(、)」

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[b]
\vspace{-1\Cvs}
\begin{center}
\includegraphics{30-1ia4f2.pdf}
\end{center}
\caption{国会会議録における各編集の割合}
\label{fig:edits}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{各修正項目の頻度}

忠実な書き起こし（423,786文字）に対する会議録（403.813文字）の
差異（編集距離）は，置換14,480 (3.4\%)，挿入19,727 (4,7\%)，脱落
39,700 (9.4\%)の計73,907文字(17.4\%)に上った．
図\ref{fig:edits}に，各修正項目の会議内における割合を示す．

句読点挿入を除けば，修正のほぼ半数はフィラーの除去であった．
置換操作では口語表現の修正が最も多かったが，正しく行うためには，フィラー
の削除より高度な規則を用いる必要があると考えられる．
さらに難しいと考えられる助詞の挿入や言い誤りの削除なども相当回数出現し
た．
一方，語順の入れ替えなど，単調なアライメントとならない修正はほとんど行
われていない．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{End-to-end音声認識}

本研究で用いるe2e音声認識の手法について簡潔に述べる．
e2e音声認識では，単一のニューラルネットワークを用いて，入力音響
特徴量系列から異なる長さのラベル系列を予測する．
出力にはサブワード \cite{SENNRICH:BPE,KUDO:SENTENCEPIECE}や文
字など，書記素に基づく単位が用いられることが多く，
直接単語系列を出力することも可能であ
る \cite{AUDHKHASI:ACOUSTICS2WORD,SOLTAU:NSR,UENO:WORDATTENTION}．
HMM音響モデル，統計的言語モデルおよび発音
辞書から構成される従来のハイブリッド型システム \cite{HINTON:DNN-ASR}に
比べて単純な構造を持ち，サーチ
エラーが少ないことも加えて，一般に遥かに高速にデコードを行うことができる．

以下では，入力特徴量ベクトルの系列，または入力を畳み込みニューラルネッ
トワークやフレームスタッキングと呼ばれる手法でサブサンプリングした系列
を$\mat{X} = [\vec{x_1},
  \vec{x_2}, ...,  \vec{x_T}]$，ターゲットラベル系列を$Y =
[y_1, y_2, ..., y_L]$とする．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{CTC損失関数を用いたモデル}

CTC(connectionist temporal classification)損失関数に基づくモデル
\cite{GRAVES:CTC}では，
ブランク(blank)と呼ばれる特殊なトークンを用いることで，系列長の異なる
入力-ターゲット間の写像を行う．
まず，単方向または双方向型のRNN (reccurent neural network)や次節で述べ
るTransformerに基づくエンコーダを用いて，入力特徴量系列$\mat{X}$を同じ
長さの表現系列へと変換する．
\begin{equation}
  \mat{H} = \Encoder(\mat{X})
\end{equation}

この表現系列に線形変換$\Linear()$とソフトマックス関数$\Softmax()$を用いることで，時刻フレー
ムごとの予測を行う．
\begin{equation}
  \mat{O} = \Softmax(\Linear(\mat{H}))
\end{equation}

ブランクを正解のラベル系列の任意の箇所に挿入することと同一ラベルの任意
の回数の重複を許すことで，与えられたラベル系列から入力と同じ長さを持つ
拡張ラベル系列を作ることができる．
この拡張ラベル系列の一つを$\vec{\pi}$としたとき，$\vec{\pi}$の条件付き
確率は，
\begin{equation}
  p(\vec{\pi}|\mat{X}) = \prod_{t=1}^{T} \vec{o}_{t, \pi_t}
\end{equation}
で与えられる．
$\vec{o}_{t, \pi_t}$は，出力$\vec{o}_t$の拡張ラベル$\pi_t$に対応する次
元の値を表す．
ブランクと重複ラベルの削除を操作$\beta$で表すとき，$\beta$によりラベル
系列$Y$へ縮退するすべてのアライメントパス$\vec{\pi}$について上の
条件付き確率の総和を取ることで，ラベル系列$Y$の確率を計算する．
\begin{equation}
  p(Y|\mat{X}) = \sum_{\vec{\pi}\in\beta^{-1}(Y)}^{T} p(\vec{\pi}|\mat{X})
\end{equation}

この確率の負の対数をCTC損失関数と定義する．
\begin{equation}
  loss_{CTC}(\mat{X}, Y) = - \log(p(Y|\mat{X}))
\end{equation}

損失関数の性質から明らかなように，CTCに基づくモデルでは入力-ラベル系列
間に単調なアライメントを仮定している．
なお，推論時は，式(3)に従ってラベル事後確率を計算し，各時刻で最大の確
率を与えるラベルを選んだ上で，ブランクの除去と連続して出現した同一ラベ
ルを一つにまとめることで認識結果を得る．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{Transformer}

Transformer \cite{VASWANI:TRANSFORMER}はエンコーダとデコーダサブネットワークから構成される
seq2seq型モデルの一種であり，最初機械翻訳のためのモデルと
して提案されたが，後に音声認識を含む種々の音声アプリケーションでも再帰
型ニューラルネットワーク(RNN)より高い性能を持つことが示され
た
 \cite{KARITA:TRANSFORMERCTC,DONG:SPEECHTRANSFORMER,KARITA:TRANSFORMERVSRNN}
．
Transformerに基づく音声認識モデルのアーキテクチャを図
\ref{fig:transformer}に示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 3
\begin{figure}[t]
\begin{center}
\includegraphics{30-1ia4f3.pdf}
\end{center}
\caption{Transformerに基づく音声認識モデル}
\label{fig:transformer}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

Transformerでは，以下のようなマルチヘッドアテンション機構に基づき，各
層の出力を順次計算する．
\begin{gather}
\Multihead(\mat{Q}, \mat{K}, \mat{V}) = \Concat(head_{1}, head_{2},
..., head_{h}) \mat{R}^{o} \\
head_{i} = \Attention(\mat{Q}\mat{R}_{i}^{Q}, \mat{K}\mat{R}_{i}^{K},
\mat{V}\mat{R}_{i}^{V}) \\
  \Attention(\mat{Q}, \mat{K}, \mat{V}) = \Softmax(\frac{\mat{Q}\mat{K}^T}{\sqrt{d_k}})\mat{V}
\end{gather}

ここで，出力の次元数を$d_{model}$，ヘッド数を$h$として，
$\mat{Q} \in \mathbb{R}^{t_{q} \times d_{q}}$，
$\mat{K} \in \mathbb{R}^{t_{k} \times d_{k}}$，
$\mat{V} \in \mathbb{R}^{t_{v} \times d_{v}}$，
$\mat{R}_{i}^{Q} \in \mathbb{R}^{d_{model} \times d_{q}}$，
$\mat{R}_{i}^{K} \in \mathbb{R}^{d_{model} \times d_{k}}$，
$\mat{R}_{i}^{V} \in \mathbb{R}^{d_{model} \times d_{v}}$，
$\mat{R}^{O} \in \mathbb{R}^{h d_{v} \times d_{model}}$，
であり，通常$t_{k} = t_{v}$，また
$d_{q} = d_{k} = d_{v} = d_{model}/h$である．
このマルチヘッドアテンション機構を用いて，エンコーダの各層の出力
$\mat{X}^{enc}_{n}$は，
\begin{align}
\mat{A}^{enc}_{n} & = \LayerNorm(\mat{X}^{enc}_{n-1}) \\
\mat{B}^{enc}_{n} & = \mat{X}^{enc}_{n-1} + \Multihead(\mat{A}^{enc}_{n}, \mat{A}^{enc}_{n}, \mat{A}^{enc}_{n}) \\
\mat{C}^{enc}_{n} & = \LayerNorm(\mat{B}^{enc}_{n}) \\
\mat{X}^{enc}_{n} & = \mat{B}^{enc}_{n} + \FFN(\mat{C}^{enc}_{n})
\end{align}
のように計算される．
ここで，{$\FFN()$}は文献 \cite{VASWANI:TRANSFORMER}におけるPosition-wise
Feed-Forward Networkコンポーネントと同一であり，ふたつの線形層
{$\Linear_{FFN1}$}，{$\Linear_{FFN2}$}，およびReLU活性化関数 \cite{NAIR:RELU}を用いて，
{$\FFN(\mat{C}^{enc}_{n})=\Linear_{FFN2}(\ReLU\linebreak
(\Linear_{FFN1}(\mat{C}^{enc}_{n})))$}
と計算される．
なお，主に正弦関数に基づく位置埋め込み$\mat{P}$を用いて，
$\mat{X}^{enc}_{0} = \mat{X} + \mat{P}$と定義する．

一方，デコーダの各層では，デコーダの前層の出力$\mat{X}^{dec}_{m-1}$と
エンコーダ出力$\mat{X}^{enc}_{N}$の二つを用いて
各層の出力を計算する．
ただし，$\mat{X}^{dec}_{0} = \Embedding(Y) + \mat{P}$と定義する．
\begin{align}
\mat{A}^{dec}_{m} & = \LayerNorm(\mat{X}^{dec}_{m-1}) \\
\mat{B}^{dec}_{m} & = \mat{A}^{dec}_{m-1} + \Multihead(\mat{A}^{dec}_{m}, \mat{A}^{dec}_{m}, \mat{A}^{dec}_{m}) \\
\mat{C}^{dec}_{m} & = \LayerNorm(\mat{B}^{dec}_{m}) \\
\mat{D}^{dec}_{m} & = \mat{B}^{dec}_{m} + \Multihead(\mat{C}^{dec}_{m}, \mat{X}^{enc}_{N}, \mat{X}^{enc}_{N}) \\
\mat{E}^{dec}_{m} & = \LayerNorm(\mat{D}^{dec}_{m}) \\
\mat{X}^{dec}_{m} & = \mat{D}^{dec}_{m} + \FFN(\mat{E}^{dec}_{m})
\end{align}

デコーダの最終層の出力$\mat{X}^{dec}_{M}$を用いて，ネットワークのラベ
ル単位の予測は，
\begin{equation}
  \mat{O} = \Softmax(\Linear(\mat{X}^{dec}_{M}))
\end{equation}
で与えられる．
この予測とターゲットラベルのクロスエントロピ(cross entropy = CE)としてTransformerの損失関
数を定義する．
\begin{equation}
  loss_{CE}(\mat{X}, Y) = \sum_{l=1}^{L} \onehot(y_{l}) \log(\vec{o}_{l})
\end{equation}

ここで，$\onehot(y_{l})$は，トークン$y_{l}$に対応する次元のみが1であり，
その他の次元が0であるような出力クラス数と同じサイズのベクトルとする．
CTCとは異なり，Transformerでは入力-ターゲット間のアライメントにどのよ
うな制約も仮定しておらず，各デコーダステップにおいて入力中の任意の箇所
に注目することで，より柔軟な系列間の変換が行える．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{提案手法}

本研究では，音声を入力，書き言葉をターゲッ
トに用いて単一のニューラルネットワークをe2eで最適化し，推論時に
はこのネットワークを用いて音声から書き言葉を直接予測する．
以降ではこのアプローチをダイレクト書き言葉予測，用いるモデルをダイレクトモデルな
どと呼ぶ．
このダイレクトモデルの利点は，音声認識とテキストベースの話し言葉スタイ
ル変換(SST)を組み合わせた従来のカスケード方式
と比較したとき，以下のように要約できる．
一つは，入力中の音響的な手がかりを用いて修正が行える
点である．
これにより，例えば，音声の非流暢な箇所を同定・削除したり，ポーズを句点に
対応付けることが可能となる．
次に，カスケードモデルで問題となる音声認識誤りに起因する精度低下を回避
できる点である．
修正の対象となるフィラーや言い誤りなどの非流暢な箇所では特に音声認識誤りが
多いと考えられるため，書き言葉予測において音声認識結果を用いない意義は特
に大きい．
さらには，音声認識とSSTが単一のネットワークで同時に実現できるため，アー
キテクチャが単純で扱いやすく，モデルサイズがコンパクトである上，推論速
度もはるかに高速になる．

一方，このダイレクト変換は，入力音声中に対応
する音響的なイベントを持たないラベルを挿入したり（助詞の復元や特に読点
  の挿入），対応するラベルを持たない音声区間を適切にスキップする必要が
あるため（フィラー等の除去），音声に忠実なラベルをターゲットとする従来の
音声認識より難しいタスクであり，非常に柔軟なモデルが必要となる．
本研究ではこのダイレクト書き言葉予測を音声翻訳 \cite{WEISS:ST}に近いタス
クと考え，
Transformerに基づくラベル同期型seq2seqモデルを用いて実装
する．
ダイレクト方式とカスケード方式のアーキテクチャの違いを，図
\ref{fig:model}に示す．
以下の各節では，上記のような難しさを持つダイレクトアプローチのための
改善法について述べる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 4
\begin{figure}[t]
\includegraphics{30-1ia4f4.pdf}
\caption{書き言葉生成のためのカスケード型アプローチ(A)とダイレクトアプローチ(B)}
\label{fig:model}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{疑似的な書き起こしを用いた学習法の改善}

2.2節で示したように書き言葉のターゲットは音声との不一致が大きいため，音声か
ら書き言葉へのダイレクトモデルは，通常の音声認識モデルより学習が難しい
と考えられる．
そこで，音声認識で用いるような忠実な書き起こしも援用することで，
ダイレクトモデルの学習を補助することを考える．
ただし，大規模な音声データに対して人手による書き起こしを作成するのはコ
スト面で現実的ではないため，4.1.1節で会議録をも
とに疑似的にこの忠実な書き起こしを自動復元する．
4.1.2節では，実際にモデルの学習に用いるための音声-書き言葉-疑似書き起こしの
3つ組データの作成手順について述べる．
4.1.3節と4.1.4節で，具体的にこれらのデータを用いて書き言葉予測性能を改善
する手法について述べる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{疑似的な書き起こしの作成}

会議$m$内のある話者ターン$s$の会議録テキスト$W_{m, s}$は利用可能であるが，
その忠実な書き起こし$V_{m, s}$をすべての($m$, $s$)に対して人手で作成するのは
膨大なコストが必要である．
そのため，統計的機械翻訳の枠組みを用いて，自動で会議録テキスト$W_{m,
  s}$から書き起こし$V_{m, s}$を復元することを考える．
一般に，書き言葉スタイルのテキスト$W$が与えられたとき，対応する話し言葉スタイルの
テキスト$V$は，原理的には以下のベイズ則に基づいてデコードで
きる．
\begin{equation}
  P(V|W) = P(V) \cdot \frac{P(W|V)}{P(W)}
\end{equation}

しかし，実際には，例えばフィラーは任意の箇所に出現し得るな
ど，書き言葉から話し言葉への変換は本質的にランダムであり，
会議録のテキストデータ$W$のみから話し言葉テキスト$V$を一意に復
元することは非常に難しい．

そこで，$V$を上記の規則から直接デコードするのでなく，話し言葉スタイルの統計的
言語モデル$P(V)$を同様にベイズ則
\begin{equation}
  P(V) = P(W) \cdot \frac{P(V|W)}{P(W|V)}
\end{equation}
により推定し，得られた$V$の確率モデル，つまり話し言葉スタイルの言語モ
デル$P(V)$を用いて音声認識を行うことにより，疑似的に
$V$を復元することを提案する．
言語モデル確率の変換は，実際には以下のように$N$-gramカウントの操作に基
づいて行う．
\begin{equation}
  Ngram(v_{1}^{n}) = Ngram(w_{1}^{n}) \cdot \frac{P(v|w)}{P(w|v)}
\end{equation}
ここで，$Ngram(v_{1}^{n})$および$Ngram(w_{1}^{n})$は，話し言葉および書
き言葉コーパスにおける各々の$N$-gramの出現回数を表す．
また，$v$および$w$はそれぞれのスタイルにおける変換単位となるパターンを
表す．
例えば，フィラー「あのー」の挿入は，変換$\{w = (w_{-1}, w_{+1})
  \rightarrow v = (w_{-1}, あのー, w_{+1})\}$
として表される．
これらのパターン間の変換規則を，ごく少量の会議録と書き起こしのパラレルデー
タを用いて獲得し，その確率$P(v|w)$および$P(w|v)$を最尤推定により求める．
また，データのスパース性に基づく影響を軽減するために，品詞情報に基づく
スムージングも行う．
この言語モデルスタイル変換のより詳細なアルゴリズムについては，
 \cite{AKITA:LMTRANS}を参照されたい．
この手法の利点は，深層学習に基づくモデルのように大規模なペアデータを必要と
しない点と，小規模なペアデータから獲得された話し言葉に特定のパター
ンのみを変換の対象とするため，音声認識誤りを除けば，保持すべき内容語が
削除されるなど，想定しない変換が行われない点である．

疑似的な書き起こし$\hat{V}_{m, s}$の具体的な作成手順を以下に示す．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{Step 1}
会議$m$の会議録全文のテキストデータ$W_{m}$を用いて，会議$m$に依存
した書き言葉スタイルの$N$-gram言語モデル$P_{m}(W)$を構築する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{Step 2}
$P_{m}(W)$に言語モデルスタイル変換を適用することにより，
話し言葉スタイルの$N$-gram言語モデル$P_{m}(V)$を構築する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{Step 3}
形態素解析から得られた各単語の発音を用いて発音辞書を構築する．
この発音辞書と，他の書き起こしのある音声コーパスで事前に構築したHMM音
響モデル，および会議$m$に依存した言語モデル$P_{m}(V)$を用いて，この会議全体の音声データ
$\mat{X}_{m}$を認識する．
$P_{m}(V)$は，この会議に出現する単語と単語連接のみから構築したモデルで
あり，話題が$\mat{X}_{m}$と完全に合致している上，フィラー
や口語表現などの話し言葉特有の現象にも適切な確率を与えることができる．
なお，言語モデル$P_{m}(V)$で制約した探索空間でのみ音
声認識を行う必要があるため，外部の学習データで獲得された内在的な言語モ
デル \cite{MCDERMOTT:DENSITYRATIO}を包含するe2e音声認識モデルではなく，
モジュール性のあるハイブリッドシステムを用いてデコードを行う．
また，Juliusツールキット \cite{LEE:JULIUS}のショートポーズセグメンテー
ションアルゴリズム
を用いてデコードとポーズに基づく音声の分割を同時に行う．
ハイブリッドモデルを用いた音声認識はフレーム単位の予測に基づいて
行われるため，デコードの過程ですべての単語にタイムスタ
ンプが付与される．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{Step 4}
会議録の発言者のタグに従って，会議録テキスト$W_{m}$を話者ターン毎のテ
キスト$W_{m, s}$に分割する．
話者ターンの境界に特別なタグを挿入した上で，会議全体の認識結果と会議録
テキストのアライメントを取得する．
その上で，ターン境界タグに割り当てられた認識結果中の単語（実際には，主
に長いポーズ）の時刻で音声を分割し，
各話者ターンの音声$\mat{X}_{m, s}$を得る．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{Step 5}
$W_{m, s}$を用いて，{\bf Step 2}と同様に話者ターン$s$に依存した話し言
葉スタイル言語モデル$P_{m, s}(V)$を構築する．
このモデルは会議全体から構築した$P_{m}(V)$よりさらに強い制約を与える．
$P_{m, s}(V)$を用いて$\mat{X}_{m, s}$を認識する．
この結果得られた非常に正確な認識結果を，この話者ターンの疑似的な書き起
こし$\hat{V}_{m, s}$として用いる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{音声・疑似的書き起こし・会議録のアライメント}

次節から述べる改善手法を用いてダイレクトモデルの学習を行うためには，扱
いやすい長さのセグメントに分割した音声$\mat{X}_{m, s, u}$と，その疑似
的な書き起こし$\hat{V}_{m,  s, u}$および会議録テキスト$W_{m, s, u}$の
組が必要である．
この3つ組データ($\mat{X}_{m, s, u}$, $\hat{V}_{m, s, u}$,
$W_{m, s, u}$)を以下の手続きで作成する．

Juliusのショートポーズセグメンテーションの過程で，音声セグメント
$\mat{X}_{m, s, u}$の開始時刻と終了時刻が付与済みであるため，分
割済み音声および疑似書き起こし$\hat{V}_{m, s, u}$は容易に取得できる．
また，$\hat{V}_{m, s, u}$のすべての単語の出現時刻も付与されている．
話者ターン$s$の疑似書き起こし$\hat{V}_{m, s}$と会議録テキスト
$W_{m, s}$のアライメントを取得し，
セグメント境界のポーズ（しきい値200ms以上のポーズ）
が挿入誤りとして対応付けられた箇所で会議録テキスト$W_{m, s}$を分割する
ことで，セグメント$u$の会議録テキスト$W_{m, s, u}$を取得する．

なお，上記の疑似的な書き起こしを作成した際のショートポーズベースの音声区分化
は，各セグメント内の発話内容について考慮しないため，書き言葉予測に適
した分割ではない可能性が高い．
音声区分化の改善手法については，後の4.3章で述べる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{エンコーダのマルチタスク学習}

e2e音声認識において，
エンコーダの役割は，雑音や話者性などに
起因する入力中の局所的な変動成分を除去し，理想的には音素クラスのよう
な言語的ユニットと直接対応付けられるようなより大域的な情報のみを抽出す
ることであると考えられる \cite{BAEVSKI:WAV2VEC2}．
一方，単語やサブワードは一般に複数の音節から成り立ち，コンテクストによって発
音も変化するため，これらの書記素に基づく出力単位を用いるe2e音声認識で
は，入力-ラベル間の対応は単純なものとはならな
い \cite{AUDHKHASI:ACOUSTICS2WORD,SOLTAU:NSR}．
音声と異なる言語をターゲットとするe2e音声翻
訳 \cite{WEISS:ST}
では，ラベルと音声の不一致はさらに著しい．
そのため，これらのモデルでは，エンコーダの学習を補助するための改善手法
が用いられることが多い．

その一つは，音声との対応がより単純な音素系列や，最終的な出力ユニッ
トより少ないクラス数のサブワードまたは文字など，より低レベルのラベル
をエンコーダの出力層または中間層に補助的なターゲットとして与えること
である \cite{UENO:WORDATTENTION,HIGUCHI:HIERARCHICALCTC,SANABRIA:HIERARCHICALMTL}．
e2e音声翻訳では，通常，元言語の書き起こしを用いたマルチタスク学
習 \cite{WEISS:ST}やエンコーダの事前学習 \cite{BERARD:STAUDIOBOOKS}が
行われる．

もう一つは，seq2seqモデルにおいて，主タスクのクロスエ
ントロピ損失の他に，2.2節で述べたCTC損失関数を用いた補助的なタスクを導
入することである．
CTC損失関数は，入力-ターゲット間で単調アライメントの
強い制約を与えるため，
適切なラベルが与えられれば，クロスエントロピ損失のみより効率的
にエンコーダの最適化を行うことができる
 \cite{KIM:JOINT,KARITA:TRANSFORMERCTC}．

以上を踏まえて，ダイレクト書き言葉予測のためのエンコーダのマルチタスク学
習を提案する．
この手法では，図\ref{fig:method}のエンコーダ部に示すように，
書き言葉の予測を行うデコーダとは別に，エンコーダ出力
からなるべく音声に忠実なラベルを予測する音声認識サブタスクを定義する．
このサブタスクのターゲットとして，4.1.3章で作成した疑似的な書き起こし
$\hat{V}_{m,s,u}$を用いる．
また，モデル予測とこの補助ターゲット間の損失を，CTC損失関数を用いて計算する．
疑似的な書き起こし$\hat{V}_{m,s,u}$は制約つき音声認識を用いて復元されたものであるため発話
内容に忠実であり，アライメントの単調性も保証される．
マルチタスク学習における損失関数は，3章で定義した
$loss_{CTC}$，$loss_{CE}$とサブタスクの重み$\lambda$を用いて，
\pagebreak
\begin{equation}
  loss_{MTL}(\mat{X}, W, \hat{V}) = \lambda \cdot loss_{ctc}(\mat{X}, \hat{V}) + (1 - \lambda) \cdot loss_{CE}(\mat{X},
  W)
\end{equation}
と定義する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 5
\begin{figure}[t]
\begin{center}
\includegraphics{30-1ia4f5.pdf}
\end{center}
\caption{疑似的な書き起こしを用いたエンコーダのマルチタスク学習とデコーダのマルチスタイル学習}
\label{fig:method}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{デコーダのマルチスタイル学習}

前節で述べたマルチタスク学習では，書き起こしを用いて得られる損失はエンコーダ最上層に追加した線形層を介して
エンコーダにのみ伝播し，主タスク（書き言葉予測）のためのTransformerデコーダのパラメータ更新に利用
されない．
本節では，デコーダにも書き起こしテキストを与えて学習を補助するデコーダ
サイドのマルチスタイル学習を提案する．

このマルチスタイル学習は，複数言語の音声認識を単一のネットワークで行う
マルチリンガルe2e音声認識 \cite{WATANABE:MULTILINGUALASR}の枠組
みを用いて行う．
すなわち，日本
語の書き言葉（会議録）と話し言葉（疑似書き起こし）を異なる言語とみなし
て，いずれかのラベルを確率的に選択し，各音声セグメントのターゲットに用
いる．
その際，両者で異なる文頭シンボル（`\verb|<written>|'または
`\verb|<spoken>|'）を用いることで，文全体の予測を条件付ける．
マルチリンガル学習では，低資源言語などの難しいタスクが比較的易しい英語
などの音声認識により改善されることから，提案法も書き言葉の生成をより易し
い音声認識タスクで補助することを目的とする．

このマルチスタイル学習の概要を図\ref{fig:method}のデコーダ部に示す．
音声セグメント$\mat{X}_{m, s, u}$ごとにパラメータ$p$のベルヌーイ分布に
従う試行を行い，得られた確率変数$style$の値が1であれば会議録ラベル$W_{m, s,
  u}$を，0であれば書き起こしラベル$\hat{V}_{m, s, u}$を選択して
$\mat{X}_{m, s, u}$のターゲットに用いる．
認識時は，開始ステップで `\verb|<written>|'タグを文頭シンボルとして与え
る．
なお，アプリケーションによって音声に忠実な認識結果を得たいときは，
`\verb|<spoken>|'タグを用いる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{句読点位置を考慮した音声の自動区分化}

e2eモデルを用いた音声認識や書き言葉の予測を行う上で，事前に評価に
用いる各会議
全体の音声データを扱いやすい長さの区間に分割しておく必要がある．
その際，書き言葉の文に相当するような統語的・意味的まとまりを持った単位
に分割することが理想的であるが，そのような発話境界位置のアノテーション
は通常利用できない．

音声認識で主に用いられるショートポーズに基づく自動区分化では，200ms程度
のしきい値以上の無音が検出された箇所で，音声を分割する．
しかし，自発的な発話において，ショートポーズの出現位置が文の区切り
と一致するとは限らないため，
音声の過分割を招き，予測のための重要なコンテクスト情報が失われる恐れが
ある．

一方，単にこのしきい値を大きくすると，信号対雑音比の低い音響条件
下や話速の速い発話において，文の境界を超えるような不適切に長いセグメン
トが生成される傾向がある．
e2eモデル，特にアテンション機構に基づくモデルでは，20秒程度以上
の長い発話に対して認識性能が顕著に低下することが知られてお
り \cite{CHIU:LONGFORM,PAN:SRUASR}，
単に長い単位へ分割するような戦略は望ましくない．
また，評価環境ごとに適切なポーズ長のしきい値を決定することも困難であ
る\footnote{例えば，5.5時間の農林水産委員会第19号をJuliusのショートポー
  ズセグメンテーションアルゴリズムを用いてポーズしきい値200msで区分化した
  とき，5,062のセグメントに分割され，そのうち2秒未満の非常に短いセグメ
  ントは1,309であった．
  一方，やや長いしきい値300msでは，セグメント数は2,471となり，うち2秒未
  満の短いセグメントは340と減少したが，20秒以上の非常に長いセグメント
  が166と多数生成された．
}．

以上のようなショートポーズによるセグメンテーションの問題を解決するために，句読点位置を手がかり
とした音声の区分化手法を提案する．
句読点は，ポーズとは異なり，発話スタイルや音響条件，話速等の話者性に関
わらず出力側では安定した間隔で出現すると考えられる．
そのため，句読点の出現位置を考慮することで，音声が極端な長さのセグメン
トに分割されるのを防ぐことができる．
また，句読点に挟まれた比較的まとまった区間の情報が保持されるため，後続
の書き言葉予測において一貫して十分な長さのコンテクストを用いることができる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{CTCモデルを用いたオンライン句読点検出}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% algo 1
\begin{algorithm}[b]
\caption{~PunctuationBasedSpeechSegmentation($\mat{X}, N_{blank}, T_{margin}, subsample\_rate$)}
\label{algorithm:punc_based_vad}
\begin{algorithmic}[1]
  \STATE $B$ : set of detected segmentation boundaries
  \STATE $\vec{x}_t$ : encoder input at $t$
  \STATE $\vec{h}_t$ : encoder output at $t$
  \STATE $\vec{s}_t$ : encoder state at $t$
  \STATE $\hat{y}_t$ : predicted label at $t$
\STATE $B \Leftarrow \{0\}$, $\vec{s}_0 = 0$, $blank\_count = 0$
\STATE $[\vec{x}_1.\vec{x}_2,...,\vec{x}_{T / subsample\_rate}] = \Subsample(\mat{X})$
\FOR{$t \in [1,2,...,T/subsample\_rate]$}
\STATE $\vec{h}_t,\vec{s}_t = \UnidirectionalRNN(\vec{x}_t, \vec{s}_{t-1})$
\STATE $\hat{y}_t = \argmax(\Linear(\vec{h}_t))$
\IF{$\hat{y}_t == $ blank}
\STATE $blank\_count += 1$
\ELSE
\STATE $previous\_nonblank\_token = \hat{y}_t$
\STATE {\bf continue}
\ENDIF
\IF{$blank\_count > N_{blank}$}
\IF{$previous\_nonblank\_token \in \{， , ．\}$}
\STATE $\vec{s}_t =0$
\STATE $blank\_count = 0$
\STATE $B \Leftarrow t \cdot subsample\_rate - T_{margin}$
\ENDIF
\ENDIF
\ENDFOR
\STATE $B \Leftarrow T$
\RETURN $B$
\end{algorithmic}
\end{algorithm}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

この音声区分化手法を，典型的には数時間程度の非常に長い音声
を入力として，オンラインで句読点位置を予測しながら音声分割を行うタスク
として定式化する．
句読点予測には，単方向型RNNをエンコーダとするCTCモデルを用いる．
このオンラインCTCモデルは，4.2.2章でショートポーズセグメンテーションに
基づいて作成した3つ組データ($\mat{X}_{m, s, u}$, $\hat{V}_{m, s, u}$,
$W_{m, s, u}$)を用いて学習する．
すなわち，オンライン版のダイレクト書き言葉予測モデルとして構築する．
なお，単方向型RNNはTransformerより表現能力が低いため，
次章の評価実験で見るように，
書き起こしを用いたマルチタスク学習がモデルの収束のために必須となる．

このCTCモデルを用いて音声区分化を行うための手続きを
Algorithm~\ref{algorithm:punc_based_vad}に示す．
このアルゴリズムでは，オンラインで時間同期に書き言葉予測を行いながら，句
点または読点とポーズが共起した時刻で，音声を分割する．
ポーズあるいは非音声区間はしきい値$N_{blank}$回以上のブランクの連続とし
て検出できる \cite{YOSHIMURA:CTCVAD}．
なお，句読点が挿入されたおおよその時刻は，対応する出力ノードのCTCスパ
イクにより知ることができるが，単方向エンコーダに基づくモデルでは，ス
パイクの位置は実際のラベルの出現時刻より一貫して遅れることが知られてい
る．
そのため，スパイクから一定フレーム数($T_{margin}$)さかのぼった時刻を実際
の境界とする．
境界を検出したエンコーダステップでRNNの状態をリセットした上で，再び時間
同期の書き言葉予測を継続する．

句読点のみでなく，ポーズも考慮するのは，以下の理由による．
CTCモデルにおいて，出力ノードのスパイクは当該トークンの
周辺に存在するが，ハイブリッドモデルのように正確な出現時刻であることが保
証されるわけではない．
そのため，ポーズを伴わない句読点のスパイクは，実際には前後の他のサブワー
ドの継続時間内に含まれる可能性が非常に高い．
また，セグメント境界にポーズが存在しないと，文頭・文末の明確な手がか
りがないため，一般に音声認識精度は低下する．
さらに，ポーズと共起する句読点の予測は，そもそも信頼度が高いと考えられ
る．

言語的知識を用いた音声区分化手法としては，最近，
  RNN-Transducer \cite{GRAVES:RNNT}
などの自己回帰型モデルを用いて音声
  認識とEndpointingを同時に行う手法が提案されている
  が \cite{CHANG:ENDPOINT,MAHADEOKAR:ALIGNMENTRESTRICTED}，これ
  は音声検索のようにユーザ発話の終端が容易に検出できるタスクにおい
  て，システム応答の遅延を最小化することを目的とした手法である．一方，
  会議のような人間同士の話し言葉コミュニケーションでは，最適な発話の終
  端を通常決定できず，検出も難しい．また，オンライン音声認識
  技術を用いた遅延の最小化より書き起こし精度が重視されることが多い．
  したがって，本研究では，発話終端のアノテーションを必要とせず，代わりに
  書き言葉の句読点情報を用いた音声区分化と，後段のオフライン処理による
  ダイレクト書き言葉予測を独立して行うアプローチを用いる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{評価実験}

提案手法を大規模な衆議院審議音声コーパスを用いて評価した．
各モデルの学習データには，第189回国会において2015年6月までに行われた14
の本会議と194の委員会，計208会議から収集した708時間の音声を用いた．
評価データには，2章で分析に用いた5つの会議，すなわち2015年7
月に行われた農林水産委員会第19号（話者ターン数229，異なり話者数22，5.5
時間），
内閣委員会第18号（話者ターン数201，異なり話者数21，3.2時間），厚生労働委
員会第29号（話者ターン数174，異なり話者数17，4.1時間），消費者問題に関
する特別委員会第4号（話者ターン数147，異なり話者数27，3.1時間），東日本
大震災復興特別委員会第5号（話者ターン数197，異なり話者数26，4.4時間）を
用いた．
これらのデータについては，音声に忠実な書き起こしの作成と2.1節で述べた
編集者による修正についてのアノテーションを人手により行っている．
開発データには法務委員会第12号（話者ターン75，異なり話者数9，2.5時間）を
用いた．
モデル学習や音声区分化における種々のハイパーパラメータは，この開発デー
タにより決定した．

音響特徴量は，80次元の対数メルフィルタバンク出力を用いた．
音響分析のための分析窓幅は25msとし，フレームシフトは10msとした．
学習データおよび評価データの音響特徴量の各次元は，学習データ全体の平均・
標準偏差を用いて正規化した．
すべてのテキストデータは，ChaSen-2.4.4+UniDic-1.3.9を用いて形態素へ分
割したあと，byte pair encoding (BPE) \cite{SENNRICH:BPE}によりトークナ
イズを行った．
BPEに基づくサブワードの異なり数は10kとした．

e2e音声認識とダイレクト書き言葉予測には，同一の構造を持つTransformerに
基づくseq2seqモデルを用いた．
エンコーダには12層，デコーダには6層のTransformerを用いた．
ヘッド数$h$，角層の出力次元数$d_{model}$，FFNの中間ノード数$d_{ff}$は，それ
ぞれ$h = 4$，$d_{model} = 256$，$d_{ff} = 2,408$とした．
入力音響特徴量系列は，二層の畳み込み層を用いて系列長が$1/4$となるようにサ
ブサンプリングを行った上で，エンコーダへ入力した．
各畳み込み層は，出力チャネル数32，カーネルサイズ3，ストライド1の二次元
畳み込みニューラルネットワーク(convolutional neural network = CNN) \cite{LECUN:CNN}
とストライド2の二次元プーリング層により構成した．
CNN出力は，ReLU関数\cite{NAIR:RELU}を用いて非線形変換を行った．
なお，比較のためにCTC損失関数を用いたe2e音声認識およびダイレクト書き言葉予
測モデルも構築した．
CTCモデルでも，seq2seqモデルと同一の12層のTransformerエンコーダ
を用いた．

比較のためのカスケード方式（図\ref{fig:model}の(A)）では，
  上記のe2e音声認識と，テキス
  トベースで話し言葉から書き言葉への変換を行うSSTモデルを組み合わせる
  ことで，音声から書き言葉の予測を行った．
テキストベースSSTモデルは，音声翻訳におけるカスケードモデ
ル \cite{BENTIVOGLI:CASCADEVSDIRECT}の例にしたがって，Transformerにより実装した．
エンコーダとデコーダの構成は，上記のe2e音声認識およびダイレクトモデルと同一とし
た．
ただし，これらのモデルにおけるサブサンプリング層の代わりに，サブワード
のための埋め込み層を用いた．
なお，e2e音声認識とSSTモデルは，4.2章で述べた疑似的書き起こしを用いた準教
師つき学習(lightly-supervised training)\cite{LAMEL:LSV}の枠組みにより構築した．
すなわち，音声認識は音響特徴量を入力・疑似書き起こしをターゲットとして，
またSSTモデルは疑似書き起こしを入力・会議録テキストをターゲットとして，
それぞれ学習した．
推論時は，すべてのTransformerモデルでビーム幅6のビームサーチを行った．
一方，
CTCモデルでは一般にビームサーチの効果が低いことから，
文献 \cite{GRAVES:CTC}のgreedy searchアルゴリズムを用いてデコーディン
グを行った．

e2e音声認識およびダイレクトモデルの学習時は，適応的
Specaugment \cite{PARK:ADAPTIVESPECAUG}による動的データ拡張を行った．
マスク確率等はすべて文献 \cite{PARK:ADAPTIVESPECAUG}の設定に従った．
モデルはAdamオプティマイザー \cite{KINGMA:ADAM}を用いて最適化した．
すべてのモデルで \cite{DONG:SPEECHTRANSFORMER}と同様の学習率のスケジュー
リングを行った．
すなわち，ステップ数$n$における学習率$lrate(n)$を，
\begin{equation}
lrate(n) = k \cdot d_{model}^{-0.5}\cdot \min(n^{-0.5}, n \cdot warmup\_n^{-1.5})
\end{equation}
とし，特に$warmup\_n = 25,000$，$k = 4.0$とした．
エンコーダマルチタスク学習（4.1.3章）において，音声認識サブタスクの重みは$\lambda
= 0.1$とした．
また，先行研究の知見を踏まえ
て \cite{UENO:WORDATTENTION,SANABRIA:HIERARCHICALMTL}，
サブタス
クのターゲットには，サブワードでなく，よりクラス数が少なくクラスあたり
の学習事例数が多いと期待される文字の系列を用いた．
異なり文字数は2,840であった．
デコーダのマルチスタイル学習において，スタイル選択に用いるベル
ヌーイ分布のパラメータ$p$は0.5とした．
すべてのモデルでサイズ120のミニバッチを用いた誤差逆伝播法に基づく学習
を100エポック分行い，
最終的なネットワークは，開発セットに対して最も
低い誤り率を与えた10のチェックポイントを平均することで構築した．

提案モデルの実用上の信頼度を評価するために，参考のため，現行の審
  議音声自動書き起こしシステムで運用実績のあるハイブリッド音声認識シス
  テムの性能とも比較を行う．
ただし，ハイブリッドシステムでは大規模なテキストデータから構築した統計
的言語モデルおよび発音辞書が利用できる大きな利点があるが，音響モデルが
以下に述べるように単純なフィードフォワード型ニューラルネットワークにより
構成されているため，認識性能面でTransformerを用いたe2eモデルと公平に比
較できない点に留意する．
このハイブリッドシステムにおいて，音響モデルは，9kクラスのtriphone状態(senone)を識別する7層フィードフォ
ワードニューラルネットワークとHMMから構成する
DNN-HMM \cite{HINTON:DNN-ASR}モデルを用いた．
音響モデルはKaldiツールキット \cite{POVEY:KALDI}を用いて学習した．
公平のため，この音響モデルの学習にはe2eモデルと同じ2015年度の700時間の
みを用いた．
言語モデルは2006年度から2015年度までの衆議院会議録テキストを用いて学習
した書き言葉trigramモデルに話し言葉スタイル変換 \cite{AKITA:LMTRANS}を
適用することで構築した．
デコードにはJuliusを用いた．
Juliusのデコードでは，4.1.1章の疑似的な書き起こしの作成時と同様に，ショー
トポーズセグメンテーションアルゴリズム（ポーズ長のしきい値200ms）を用
いて音声区分化と音声認識を同時に行った．

4.1.1章で提案した疑似的な書き起こしの作成では，
2003年度に行われた一部の会議（主に予算委員会）の書き起こし666K単語と対
応する会議録のパラレルデータを用いて変換規則$P(W|V)$および$P(V|W)$を学
習した．
この変換モデルを会議録の各話者ターンの文のみから構築した書き言葉言語モ
デルに適用することで，制約付き音声認識に用いる話者ターンの内容および発
話スタイルにともにマッチした強い言語モデルを構築した．
一方，音響モデルには，4.1.1節と同様の手法で作成した2009年から2011年度
の疑似書き起こしを用いて学習したGMM-HMMモデルを用いた．

評価データの音声区分化は，5.4節の比較実験以外では，CTCに基づく自動区分化手
法（4.2章）を用いて行った．
学習データは，4.1.2章のアライメントの過程で得られたショートポーズ
ベースの分割をそのまま用いたものと，5.4節で詳しく述べる句読点ベースの
手法を用いたものの二通りを構築したが，5.4節の比較実験以外では，句読点
ベースで分割したデータを用いた．

推論時の実行時間の計測には，CPUはAMD-Epyc7262，GPUは
NVidia-RTX-3090（24Gメモリ）を用いた．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{ベースライン音声認識モデルの評価}

提案法である書き言葉予測モデルの評価を行う前に，最初に，疑似書き起こし
を用いた準教師付き学習により構築したベースラインe2e音声認識モデルの性
能を評価する．
ここで，通常の音声認識モデルとしての評価は，人手で作成した音声に忠実
な書き起こしに対するシステム出力の誤り率を用いて行う．
表\ref{tab:asr_results_faithful}に，忠実な書き起こしに対するCTCおよび
Transformerに基づくe2e音声認識モデルの文字誤り率および推論時間の実時間
ファクタを示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[b]
\input{04table01.tex}
\caption{音声認識モデルの\underline{忠実な書き起こし}に対する文字誤り率 (\%) および処理時間の実時間ファクタ}
\label{tab:asr_results_faithful}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

いずれのe2eモデルも，CTCで9.7\%，Transformerで9.1\%と低い誤り率
を達成した．
CPUの推論速度では，Transformerで実時間の0.09倍，CTCで実時間の0.009倍の
高速な推論が可能であった．
また，GPU上では推論はさらに高速となった．
CTCとTransformerの比較では，速度では劣るものの，Transformerが
やや低い誤り率を示した．
さらに，4.1.4節で述べたデコーダのマルチスタイル学習を行うことで，誤り率が絶対値で0.9
ポイントと大幅に改善した（``Transformer音声認識 + デコーダマルチスタイル学習''）．
これは，準教師付き学習で用いたラベルに含まれる認識誤りの影響
が，誤りを含まない会議録ターゲットを用いることで軽減したためである可能
性がある．
マルチスタイル学習はダイレクト書き言葉予測の改善を目的とした手法であるが，
  \verb|<spoken>|
文頭タグを用いた音声認識モデルとしての性能も向上したこ
とから，準教師付き学習の改善法としても有効であると考えられる．
このことは，アプリケーションによってはなるべく忠実な書き起こしが必要に
なるため，重要な知見であると言える．

参考のため，現行の書き起こしシステムで用いられているハイブリッドシステ
ムの結果も示す．
いずれのe2eモデルも，音声認識性能と推論速度の両面でこのハイブリッドシ
ステムを上回っており，書き起こしシステムにおいて実用上問題のない性能を達
成できていることがわかる．

次に，これらの音声認識モデルの会議録テキストに対する文字誤り率を，表
\ref{tab:asr_results_clean}に示す．
ただし，音声認識モデルは句読点を一切出力することができないため，公平のため，
この表では句読点は誤り率の算出から除外した．
会議録に対する誤り率では，
忠実な書き起こしに対する誤り率に比べて，
いずれのモデルでも特に挿入誤りが顕著に増加し
た．
ハイブリッドシステムでは，発音辞書中の語彙的なフィラーを除去することで，
誤り率が絶対値で7.5ポイント改善した．
この結果は，会議録における修正のほぼ半数がフィラーの除去であるという
2章の分析と符合している．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[t]
\input{04table02.tex}
\hangcaption{音声認識モデルの\underline{会議録}に対する文字誤り率(\%)および処理時間の実時間ファクタ（句読点は除外した）}
\label{tab:asr_results_clean}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

会議録に対する誤り率においても，Transformerに基づく
seq2seqモデルがCTCより高い性能を示した．
さらに，Transformerに基づくテキストベースSSTを後処理として用いることに
より（カスケード方式の書き言葉予測），挿入誤りが大幅に削減された．
テキストベースSSTによるこの改善幅がハイブリッドモデルにおける語彙的フィ
ラーの除去より顕著に大きいことから，
Transformerに基づく系列間変換により，単純なルールベースの手法より高度
な編集操作が可能であることがわかる．
このカスケード方式の書き言葉予測において，初段のe2e音声認識モデルとし
てマルチスタイルモデルを用いることにより，さらに誤り率は改善し，全体で
最も低い誤り率(9.7\%)を達成した．

以上のように，準教師付き学習で構築したモデルが全般に高い水準の音声認識
精度と書き言葉予測精度を達成したことから，4.1.1節の手法で十分信頼性のあ
る書き起こしが作成可能であることがわかる．
なお，学習データについては正解の書き起こしが存在しないため，
  評価データにおいて同一手法で疑似書き起こしを作成し，精度を評価したと
  ころ，人手書き起こしに対する誤り率は，置換誤りが1.5\%，脱落誤りが
  2.8\%，挿入誤りが2.6\%，計6.9\%となり，表1における一般的な言語モデル
  を用いたハイブリッドシステムの誤り率(10.7\%)よりはるかに高い精度となっ
  た．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{カスケードモデルとダイレクトモデルの比較}

本節では，音声からの書き言葉予測において，カスケードモデルと提案法であ
るダイレクトモデルの比較を行う．
システム出力の会議録に対する誤り率を表
\ref{tab:e2e_results}
に示す．
これらのモデルは句読点を含めた書き言葉の予測を行うため，表
\ref{tab:asr_results_clean}
と異なり，句読点も誤り率の算出に
用いた．
カスケードモデルは，表\ref{tab:asr_results_clean}のTrasnformer音声認識
とSSTの組み合わせの結果と同一である．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 3
\begin{table}[t]
\input{04table03.tex}
\hangcaption{ダイレクト書き言葉生成モデルの評価（数値は会議録に対する文字誤り率 (\%) および処理時間の実時間ファクタ）}
\label{tab:e2e_results}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

Transformerに基づくダイレクトモデル（``Transformerダイレクト''）は，初段
の音声認識においてマルチスタイルモデルを用いた最良のカスケードモデル
（``Transformerカスケード + デコーダマルチスタイル学習''）より，絶対値で
1.4ポイント低い誤り率を実現した．
また，このダイレクトモデルは，カスケードモデルの2倍の速度で書き言葉を出力
できた．
このことから，4章の冒頭に述べた性能と速度の両面におけるダイレクトモデ
ルの優位性が確かめられた．

一方，CTCに基づくダイレクトモデル（``CTCダイレクト''）は，書き言葉ターゲッ
トだけでは100エポックまで学習が収束せず，意味のある結果を出力するに至
らなかった．
この結果から，音声認識に加えて多くの削除・置換・挿入操作を行う必要のあ
る書き言葉予測タスクにおいて，Transformerに基づくseq2seqモ
デルがCTCに基づくモデルより適していることがわかる．
また，このことは，表
\ref{tab:asr_results_faithful}
においてTransformer
とCTCモデルが音声認識としてはほぼ同等の性能を示したことと対照的であり，
書き言葉予測は通常の音声認識とは明確に異なる性質を持つタスクであること
がわかる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{疑似的書き起こしを用いた学習法の効果}

次に，
書き言葉のダイレクト予測において，
疑似的書き起こしを用いた改善手法（4.1.3節，4.1.4節）の評価を行う．

疑似書き起こしを用いたエンコーダのマルチタスク学習（4.1.3節）（表
\ref{tab:e2e_results}の``Transformer
ダイレクト + エンコーダマルチタスク学習''）では，書き言葉のみを用いて学
習したモデル（表\ref{tab:e2e_results}の``Transformer
ダイレクト''）に比べて，1.4ポイ
ントと大幅に誤り率が改善した．
また，CTCに基づくダイレクトモデルは，このマルチタスク学習を用いることで学習が収束し，9.8\%と
妥当な性能を示すに至った．
ただし，依然マルチタスク学習を用いないTransformerモデルの性能に及ばな
かった．
また，表
\ref{tab:e2e_results}
の``単方向型CTCダイレクト''および``単方向型CTCダイレクト +
エンコーダマルチタスク学習''の行に，
4.2章で提案した音声区分化手法に用いるオンラインCTCモデルの書き言葉予測
性能を示す．
表からわかるように，このオンラインモデルも，エンコーダのマルチタスク学
習により初めて収束した．
これらの結果から，音声に忠実なラベルを併用することが，書き言葉予測性能
の改善において非常に重要な役割を果たすことがわかる．
また，人手による正解ラベルでなく，統計的機械翻訳に基づいて自動生成され
たラベルによりこれらの大幅な改善が得られたことは，特に重要な点である．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 4
\begin{table}[b]
\input{04table04.tex}
\caption{マルチタスク学習におけるサブタスク・ターゲットの影響 （数値は会議録に対する文字誤り率 (\%)）}
\label{tab:comparison_mtl}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

このマルチタスク学習におけるターゲットラベルの種類の影響を表
\ref{tab:comparison_mtl}に示す．
ターゲットとして疑似書き起こしを用いる提案法において，サブワードレベル
のラベルを用いるより文字ラベルを用いる方が有意に性能が高かった．
これは，クラスあたりの学習事例数が多いトークンを用いることで，マルチタ
スク学習の効率が改善されたためと考えられる．
また，サブタスクのターゲットとして書き言葉を用いたとき，性能はむしろ大幅
に低下した．
このことは，CTCに基づくダイレクトモデルが書き言葉ターゲットのみで
は収束しなかった結果と併せて，CTC損失関数が書き言葉のようなターゲットを
扱うのに適さないことを示している．
この結果から，ダイレクト書き言葉予測において，単にCTCによるマルチ
タスク学習 \cite{KARITA:TRANSFORMERVSRNN}が有効なのではなく，音声に忠
実なラベルを用いることが性能改善にとって本質的であったことがわかる．

次に，デコーダのマルチスタイル学習（4.1.4節）の効果を評価する．
デコーダのターゲットとして疑似書き起こしと書き言葉ターゲットを確率的に併用したマルチスタ
イル学習により，絶対値で1.4ポイントの改善が得られた（表3の``Transformerダイ
レクト + デコーダマルチスタイル学習''）．
さらに，エンコーダのマルチタスク学習とデコーダのマルチスタイル学習を同
時に用いることで，誤り率はさらに0.4ポイント減少した（表3の``Transformerダイ
レクト + 両方''）．

書き言葉予測におけるダイレクトモデルの振る舞いを理解するために，マルチスタイル
モデルにおいて\verb|<spoken>|文頭タグを与えてe2e音声認識モデルとして動作したと
きと，\verb|<written>|タグを与えてダイレクト書き言葉予測モデルとして動作したときのデコーダ
最上層のクロスアテンション重みの例を図\ref{fig:attention}に示す．
右列のアテンション重みを見ると，100から200フレームあたり\footnote{図中
のアテンション重みの横軸はサブサンプリング後のエンコーダステップである
ことに注意する．}までの「です
  ねまあ」，400フレームから520フレーム辺りまでの「この何て言うん
  ですかね」の二つの非流暢な領域を適切にスキップしている様子がわかる．
また，それらに囲まれた助詞「と」，および「担い手」を正しく出力した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 6
\begin{figure}[t]
\begin{center}
\includegraphics{30-1ia4f6.pdf}
\end{center}
\hangcaption{マルチスタイルモデルの出力とデコーダ最上層のアテンション重みの例．左が$<$spoken$>$文頭タグで条件づけた忠実な音声認識出力．右が $<$written$>$文頭タグを用いた書き言葉出力．正解は，忠実な書き起こしが「青年や女性もですね担い手えーとこのなんていうんですかねこう重複する部分もあるわけですね当然のことながら」，会議録が「青年や女性も担い手と重複する部分もあるわけですね、当然のことながら。」}
\label{fig:attention}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{言語モデル統合の効果}

e2e音声認識では，大規模な言語資源を用いて構築したニューラル言語モデル
を推論時に統合するshallowfusion
\cite{GULCEHRE:SF,CHOROWSKI:LMINTEGRATION}
などの外部言語
モデル統合が広く精度改善のために用いられる．
書き言葉のダイレクト生成においても，会議録テキストはペアデータよりはる
かに容易に入手できるため，大規模な書き言葉言語モデルが構築可能である．
本節では，2006年度から2015年度までの会議録テキスト（28M単語）を用いた
外部言語モデルの効果を，カスケードモデルとダイレクトモデルにおいて評価
する．統合手法にはshallow fusionを用いた．
言語モデルは12層のTransformerを用いて実装した．
ヘッド数{$h$}，出力次元数{$d_{model}$}，FFNの中間ノード数{$d_{ff}$}は，それ
ぞれ{$h = 4$}，{$d_{model} = 256$}，{$d_{ff} = 2,408$}とした．
各デコーディングステップ{$l$}における統合スコアは，
スタイル変換モデルあるいはダイレクトモデルの出力確率{$p_{am}$}と言語モデルの出力{$p_{lm}$}，
および言語重み{$\lambda$}を用いて，{$\log p(y_l | \mat{X}, y_1,y_2,...,y_{l-1}) + \lambda
\log p_{lm}(y_l | y_1, y_2, ..., y_{l-1})$}と計算した．
カスケードモデルとダイレクトモデルに言語モデル統合を用いたときの会議録
に対する誤り率を表
\ref{tab:e2e_results}
の``外部言語モデル統合''の行に示す．
大規模言語モデルの統合は，カスケードモデルで
は効果がなく，ダイレクトモデルでは挿入誤りが有意に増え，むしろ精度の低
下をもたらした．
書き言葉予測は音声に忠実でないラベルの出力も行うように学習されるが，
外部言語モデルを用いることでより音声と無関係な不適切なラベルの挿入が
促進された可能性がある．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{句読点を考慮した音声区分化の効果}

句読点を手がかりとした音声区分化手法（4.2章）を評価する．
区分化の基準としては，連続ブランクとして検出されたポーズと句読点が共起
したときに分割する手法（提案法），ポーズと文末シンボル(\verb|<eos>|)
が共起したときに分割する手法，ポーズのみを用いる手法の3つを比較する．
Algorithm\ref{algorithm:punc_based_vad}において，ポーズ検出に用いる
連続blank数のしきい値
($N_{blank}$)を変化させたときの開発セットに対する誤り率の推移を図
\ref{fig:vad_comparison}に示す．
マージン$T_{margin}$は各しきい値で別途調整した
\footnote{$N_{blank}=5,10,15,20,25$に対して，それぞれ
  $T_{margin}=20,30,40,40,40$を用いた．ただし，$T_{margin}$の影響は全
  体に軽微であった．}．
各データ点の近傍に各手法としきい値の組み合わせで生成されたセグメントの
数を併せて示す．
なお，書き言葉予測には，共通してエンコーダマルチタスク学習で構築した
Transformerを用いて行った．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 7
\begin{figure}[t]
\begin{center}
\includegraphics{30-1ia4f7.pdf}
\end{center}
\hangcaption{CTCに基づく区分化手法におけるポーズ検出のためのブランク数のしきい値の影響（数値は開発セットに対する書き言葉生成精度(\%)．各データ点に生成されたセグメント数を付す．）}
\label{fig:vad_comparison}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

この結果から，句読点を手がかりに区分化を行う提案法が，ブランク数15程度
まで安定して高い精度を与えることがわかる．
ポーズのみに基づく手法は，提案法より全体に誤り率が高く，また
しきい値依存性も高かった．
提案法が最も低い誤り率を与えた設定 ($N_{blank}=10$) では，音声は1,228の
セグメントに分割されたが，ポーズに基づく手法では，$N_{blank}=25$でこれ
と同程度のセグメント数となった．
しかし，誤り率の比較では，後者は15.7\%と大幅に提案法(7.3\%)を上回った．
セグメント長の標準偏差は，前者で4.95秒であったのに対して，後者で7.06秒
となり，分割されたセグメント長に大きなばらつきがあった．
また，文末シンボル\verb|<eos>|を用いた手法は，文や話者の境界とは無関係に，一貫し
て20から25秒程度の長いセグメントを生成する傾向があり，学習データ中にこ
れらの長さのセグメントがほとんど出現しないため，性能も低かった．

次に，学習・評価データに対する区分化手法の組み合わせについて評価を行っ
た．
ポーズに基づく手法には，学習・評価データとも，Juliusのショートポーズセ
グメンテーションアルゴリズムを用いた．
しきい値は音声認識で一般に用いられる200msとした．
句読点に基づく手法としては，学習データでは，ショートポーズセグメ
ンテーションで得られたセグメント境界時刻のうち，会議録とのアライメント
で句読点に対応付けられた時刻でのみ，区分化を行った\footnote{評価時との
  整合性を考慮すると，学習データ自体もCTCで分割することでさら
  に性能が改善する可能性があるが，モデルの再学習のコストが大きいため今
  回はこのルールベースの区分化のみを評価した．}．
評価データはCTCセグメンテーション手法により分割した．
パラメータは，開発データを用いた図1の実験で得られた最適な値を用いた
($N_{blank} = 10$，$T_{margin} = 30$)．

表\ref{tab:vad_combination}に，学習・評価時における区分化手法の4通り
の組み合わせに対する評価データの誤り率を示す．
学習・評価時のいずれも句読点を考慮することで，いずれもショートポーズで
分割したときより絶対値で1.6ポイントと大きな改善が見られた．
また，学習データをポーズ，評価データを句読点で区分化したとき，脱落誤り
が顕著であった．ショートポーズセグメンテーションではごく短いセグメント
の占める割合が高く，評価時に比較的長いセグメントを正しく認識できなかっ
たためと考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 5
\begin{table}[t]
\input{04table05.tex}
\hangcaption{学習・評価データに対する区分化手法の比較（数値は会議録テキストに対する文字誤り率(\%)，括弧内は分割後のセグメント数）}
\label{tab:vad_combination}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

以上から，ダイレクト書き言葉生成において，句読点検出に基づく区分化手法は，
ショートポーズよりも一貫して高い性能を与えることがわかった．
学習時と評価時の整合性の面でも，句読点という明確で音響環境等の
条件に依存しない基準を用いることが重要であると考えられる．

なお，表\ref{tab:e2e_results}（``単方向型CTC ダイレクト +
エンコーダマルチタスク学習''）に示すように，区分
化に用いた単方向CTC自体の書き言葉予測の性能は，未来の情報が使えないため，
Transformerに基づくその他のモデルに比べて高いとは言えず，特に脱落誤り
が多かった．
ただし，句読点の適合率のみに注目すると，句点が0.934，読点で0.811と高
い水準であった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{誤りの分析}

本節では，提案システムの出力においてどのような修正がどの程度の達成度で実現で
きたかを評価する．
図\ref{fig:error_analysis}に，句読点以外の修正項目について，カスケード
モデルおよびダイレクトモデルが正しく行った修正の数と，編集者が行った
修正に対する再現率を示す．
カスケードモデルにはマルチスタイルモデルとテキストベースSSTを組み合わ
せたモデル（表3の``Transformerカスケード + デコーダマルチスタイル学習''）を，ダイレクトモ
デルはエンコーダマルチタスク学習とデコーダマルチスタイル学習の両方を用
いて構築したモデル（表3の``Transformerダイレクト + 両方''）を
用いた．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 8
\begin{figure}[t]
\begin{center}
\includegraphics{30-1ia4f8.pdf}
\end{center}
\hangcaption{各修正項目においてカスケードモデルおよびダイレクトモデルが正しく行った修正の数と，編集者が行った修正に対する再現率}
\label{fig:error_analysis}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

削除操作では，語彙的なフィラーと句末表現の削除は，いずれのモデルも高
い再現率を示した．
一方，言い直しにおける言い誤り箇所の削除では，カスケードモデ
ルが52.4\%，ダイレクトモデルが79.9\%と，性能に大きな差が見られた．
このことから，非流暢な言い誤り箇所(reparundum)の同定に音響的な情報が
役に立つこと，その上で単語連接としてより自然な言い直し部分のみが保持さ
れたことが示唆される．
また，言い誤りでは認識誤りが多く，カスケード
モデルでは後段のSSTでリカバーできなかった可能性が高い．
``その他の削除''の項目では，どちらのモデルも相対的に性能が低かったが，文脈上不
要な主語や指示語の削除など，高度な判断を必要とする例が多いためと考え
られる．
また，「やはり」など，間投詞以外の用例が多い単語の削除は失敗することが
多かった．

置換操作では，助詞の修正や言い誤りの修正は，非常に低い再現率となった．
これらの修正は，出現頻度も低く，意味や常識に基づいた修正が必
要であるため，seq2seqモデルのみでは原理的に行えない
例も多かった．
助詞の修正では，特に「が」から「は」への修正，「が」から「を」への修正
において，実際の発音に忠実に認識される誤りが多かった．
また，語順の入れ替えについても，ほとんどの例で正しく修正で
きなかった．
音響的な情報を用いないカスケードモデルが，例えば「今審議がなされ
  ている」を「審議が今なされている」に，「大きな僕は矛盾だと思います」
を「僕は大きな矛盾だと思います」になど，比較的単純な例で正しく修正でき
たことから，この項目ではカスケードモデルがダイレクトモデルより高い再現率と
なった．
一方，口語表現の修正は，「いろんな」から「いろいろな」へ，「やつ」から
「もの」へなど，定型的な言い換えに帰着できる例が多いため，どちらのモデル
も非常に高い再現率となった．

挿入操作では，助詞の挿入は妥当な水準で再現可能であった．
カスケードモデルでは，助詞の脱落の前後で認識誤りが多く，ダイレクトモデ
ルとの性能差が大きかった．

以上のように，ほぼすべての修正項目において，ダイレクトモデルがカスケー
ドモデルより有意に高い性能を示した．
特に，言い誤りの削除や助詞の復元などの高度な修正で性能差が大きかった．
全体として，ダイレクトモデルは編集者が行った編集作業のうち80.2\%を再現
することができた．

最後に，システム出力における句読点挿入の性能を評価する．
表\ref{tab:punctuation}に，カスケードモデルとダイレクトモデルを用いた
句読点挿入における再現率，適合率およびF値を示す．
読点挿入の性能では，カスケードモデルとダイレクトモデルの性能差は見られ
なかった．
句点挿入では，ダイレクトモデルが有意に高い性能を示した．
これは句点の方がよりポーズとの相関が高いため，音響的な情報が特に有効
であったためと考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 6
\begin{table}[t]
\input{04table06.tex}
\caption{句読点挿入の性能}
\label{tab:punctuation}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

図\ref{fig:outputs}に，人手による書き起こし，会議録，マルチスタイルモ
デルによる音声認識結果，カスケードモデルおよびダイレクトモデルの出力
の例を示す．
この例から，音声認識結果は非常に高い精度であっても文として読みにくく，
提案手法により可読性が改善されることが確認できる．
また，ダイレクトモデルでは，「これは」における助詞の復元や，「反映さ
  れることが」の箇所で言い誤りのみ削除されるなど，高度な修正が正しく行
われていることがわかる．
一方，冒頭の「やはり」の削除に失敗するなど，課題も見える．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 9
\begin{figure}[t]
\begin{center}
\includegraphics{30-1ia4f9.pdf}
\end{center}
\caption{書き起こし，会議録，システム出力の例}
\label{fig:outputs}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{結論}

本研究では，音声から読みやすい書き言葉スタイルの生成を行うタスクにおい
て，音声認識とテキストベースのスタイル変換を組み合わせたカスケード方式
の問題を解決するために，e2e音声翻訳の枠組みを用いて，音声か
ら書き言葉を直接生成する新しいアプローチを提案した．
700時間の大規模な
衆議院審議音声を用いた評価実験により，提案法であるダイレクトモデルはカ
スケード方式より高い精度で会議録文書を再現できることを示し，書き言葉の
生成において音響情報を用いること，初段の音声認識における誤りを回避する
ことの意義を明らかにした．
また，非自己回帰型のCTCモデルは音声認識では
Transformerと同等の性能を持つ一方，書き言葉のダイレクト予測タスクでは
学習が収束せず，意味のある文を出力するに至らないことを実験的に示し，書
き言葉予測は音声認識とは明確に異なる難しさのタスクであり，Transformer
に基づく柔軟なseq2seq変換を用いることが必須であることを明らかにした．

さらに，学習データの書き言葉（会議録）から自動で近似的な書
き起こしを生成する手法と，これを用いてダイレクトモデルの学習を補助す
る2つの手法を提案し，実験によりTransformerに基づくダイレクトモデル
の性能をさらに向上できることを示した．会議のような話し言葉コミュニケー
ションでは，音声検索などのタスクのように明確な発話終端の情報が利用で
きないことから，書き言葉の句読点情報を用いた新しい音声区分化手法
も併せて提案し，ショートポーズに基づく区分化と比較することで有効性を
示した．これらの提案手法による予測結果を編集者が行った修正と比較する
ことにより，提案モデルは編集者による修正の80\%以上を再現できること，
特に助詞の復元や言い誤りの除去などの編集においてカスケード方式より大
幅に高い性能が得られることを示した．
  
一方，いくつかの修正項目では低い再現率となったため，これらの改
善が課題といえる．
意味や常識に基づいて行われる
助詞の修正や復元などは，学習事例数を増
やすことや，大規模言語モデルに基づくタギング \cite{MALMI:TEXTEDITING}
などの事後的な編集で改善できる可能性がある．

欧州議会 \cite{GARCES:EUROPARL}やアイスランド議
会 \cite{STEINGRIMSSON:IGCPARL}など，他言語の議会音
声コーパスを用いて提案手法の一般性を評価することも重要な課題である．
また，講義やプレゼンテーション \cite{MAE:CSJ}など，自動整形の潜在的な
需要のあるタスクは多いが，これらのデータでは通常大規模かつ信頼度の高い書き言葉
のアノテーションは利用できないため，国会会議録を用いて学習したダイレクト整
形文予測モデルのドメイン適応や転移学習も今後検討すべき方向性の一つである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{04refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{三村　正人}{%
  2000年京都大学大学院情報学研究科修士課程修了．
  2022年同博士課程修了．
  現在，京都大学情報学研究科特定研究員．
  IEEE，日本音響学会各会員．
}
\bioauthor{河原　達也}{%
  1987年京都大学工学部情報工学科卒業．
  1989年同大学修士課程終了．
  京都大学工学部助手，同助教授，学術メディアセンター教授を経て，現在，情報学研究科教授．
  音声情報処理，特に音声認識及び対話システムに関する研究に従事．
  博士（工学）．
  IEEE Fellow，ISCA，APSIPA各理事．
  情報処理学会，日本音響学会，電子情報通信学会，人工知能学会，言語処理学会各会員．
  日本学術会議連携会員．
}

\end{biography}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\biodate


\end{document}

