



\documentstyle[epsf,jnlpbbl]{jnlp_j}

\setcounter{page}{205}
\setcounter{巻数}{7}
\setcounter{号数}{4}
\setcounter{年}{2000}
\setcounter{月}{10}
\受付{2000}{3}{13}
\採録{2000}{6}{30}

\setcounter{secnumdepth}{2}
\setlength{\parindent}{\jspaceskip}

\title{テキストデータを使った音声認識誤りの訂正}
\author{石川 開 \affiref{ATR-ITL} \affiref{NEC-Media} \and 隅田 英一郎 
\affiref{ATR-ITL} \affiref{ATR-SLT}}

\headauthor{石川，隅田}
\headtitle{テキストデータを使った音声認識誤りの訂正}

\affilabel{ATR-ITL}{ATR音声翻訳通信研究所}
{ATR Interpreting Telecommunications Research Laboratories}
\affilabel{NEC-Media}{現在，NEC情報通信メディア研究本部}
{Currently with NEC Computer \& Communication Media Research}
\affilabel{ATR-SLT}{現在，ATR音声言語通信研究所}
{Currently with ATR Spoken Language Translation Research Laboratories}

\jabstract{
認識誤りに起因して，音声翻訳の性能(品質)が劣化するという問題がある．認
識結果の正解部分のみを翻訳する手法が提案されているが，翻訳されない部分に
関する情報は失われてしまう．我々はこの問題を解決するため，次のような手順
からなる誤り訂正の手法を提案する．(1) 訂正の必要性の判断および誤り部分
の特定を行う．(2)認識結果の誤り近傍に関して音韻的に近い用例をテキスト
データ中から検索し，訂正候補の生成を行う．(3)訂正候補の妥当性を意味と
音韻の両方の観点から判断し，最も妥当なものを選択する．提案手法を音声翻
訳システムに組み込み，旅行会話を対象として評価した．認識結果の単語誤り
率で$2.3\%$の減少，翻訳率で$5.4\%$の増加が得られ，提案手法の有効性が示
された．}


\jkeywords{音声翻訳, 認識誤り, 誤り訂正, 用例, テキストデータ}

\etitle{Correction of Speech Recognition Error \\
using Text Data}
\eauthor{Kai Ishikawa \affiref{ATR-ITL} \affiref{NEC-Media} \and
Eiichiro Sumita \affiref{ATR-ITL} \affiref{ATR-SLT}} 

\eabstract{
Because of recognition errors, the performance (quality) of speech
translation is degraded. Previously, we proposed a method that used
only reliable parts of the recognition result for the
translation. However, in this method, non-translated parts are omitted
even if useful information exist in these parts. To overcome this
problem, we propose an error correction method which is composed of
the following steps: (1) The necessity of correction is judged and
only utterances of the recognition results with ``potentially''
recoverable erroneous parts are retained. (2) The example utterances
that have phonetically similar parts to the ones retained in the step
(1) are retrieved from a text corpus, and correction hypotheses are
created. (3) The reliability of the correction hypotheses is judged
according to both semantic and phonetic point of view and the most
reliable one is selected. The error correction method was incorporated
into a speech translation system, and evaluated for speech inputs in
travel conversations. As the results, the word error rate was reduced
by 2.3\%, and the acceptable translations rate was increased by
5.4\%.}

\ekeywords{Speech translation, Recognition errors, Error correction, Example, Text corpus}

\begin{document}
\maketitle



\newpage

\section{はじめに}

近年の音声認識，および機械翻訳の性能向上に伴い，
これらの統合である音声翻訳システムの実現を目指した研究活動が
活発に行われている \cite{Waibel1996} \cite{Stede1997} 
\cite{Carter1997} \cite{Sumita1999} \cite{NEC2000}．
音声認識，機械翻訳などの各要素技術の性能向上だけでは，
システム全体の性能の向上に限界がある．
特に，音声認識結果は誤りを含む可能性が依然として高く，このような誤り含
みの認識結果を適切に翻訳することは重要な研究課題の一つである．

音声認識と文字認識を用いる言語処理には，認識誤りに対する頑健性の確保と
いう共通の課題がある．
文字認識の分野では，認識結果に対するポストプロセス的な誤り訂正の方式が
研究されている\cite{Takeuchi1999}\cite{Shinnou1999} \cite{Nagata1998}
\cite{Kukich1992}．
一方，音声認識においては，正解を含めるのに必要な認識(訂正)候補の空間は
文字認識の場合に比べて巨大であり，さらに音声認識では多くの場合，実時間
での処理が求められるため，同様なアプローチによって有効な結果を得ること
は難しいと考えられる．
大語彙連続音声認識においては，音響モデル，言語モデルの精度向上と，デコー
ディングの効率化をバランスよく統合するアプローチとして，第1パスで簡易
なモデルによる探索を行ない，第2パスでより詳細なモデルを用いて再探索・
再評価を行なうような2パス探索による方法が良く知られている
\cite{Kawahara2000}．
さらに，統語的制約の適用によって誤り部分に対する品詞列の訂正結果を得る
手法\cite{Tsukada1998}や，Confusion Matrix と Lexicon Tree に基づいて
語彙の訂正結果を得る手法\cite{Coletti1999}が提案されている．

音声認識結果に対するポストプロセス的な誤り訂正のアプローチとして，
文字N-gramと誤りパターンに基づく誤り訂正を行なう手法\cite{Kaki1998}
があるが，このような誤り訂正のアプローチは文字認識と比べるとあまり一般
的ではない．困難な誤り訂正を行なわず，認識結果の妥当性判断によってシス
テムの頑健性を高める手法も検討されている．
例えば，認識結果に対するConfidence Measureに基づいて，認識結果の出力を
判断する手法\cite{Moreau1999}や，構成素境界解析から計算される意味的距
離に基づいて，認識結果の正しい部分のみを翻訳する手法\cite{Wakita1998}
が提案され，頑健性を向上することが確認されている．

我々は，人間が会話において，発話の聞き取りがうまくいかなかった場合でも，
話題に関する知識などを元にその内容を推測して聞き誤りを回復するように，
コーパス中の用例から，誤りを含んだ認識結果と類似した表現を探し，誤り部
分の訂正に生かすアプローチを検討してきた
\cite{Ishikawa1998}\cite{Ishikawa1999}．我々の手法は，訂正候補の妥当性
を音韻と意味の両方の観点から判断するもので，評価実験によってその有効性
が確認された．



\section{提案手法}

\subsection{処理の流れ}

まず，提案手法における処理の全体の流れから説明する．
ここでは，入力として``和室のほうですと18000円いずれ\underline{も税}サー
ビス料は別になります''が発話され，音声認識結果として下線部に誤りを含ん
だ``和室のほうですと18000円いずれ\underline{の戦}サービス料は別になり
ます''が得られた場合を想定する．
図\ref{process-flow}にその訂正処理の流れを示している．
以下，図中の各ステップごとに順を追って説明する．

\begin{description}
\item[I] {\bf 認識結果の訂正必要性判断}
  \begin{description}
    \item[I-1] {\bf 構文解析および意味距離計算}

音声認識結果を入力として構文解析\cite{Furuse1999}を行ない，
認識結果の構文解析木と意味的距離の値を得る．
図の構文解析木の各ノードには意味的距離の値が示されており，
これらの値の総和は$1.42$である．

    \item[I-2] {\bf 意味的距離による訂正必要性判断}

意味的距離に対して適切な閾値$\theta$を設定する．
意味的距離の総和がこの閾値以下の場合は``訂正不要''，
閾値より大きい場合は``訂正必要''と判断する．
``訂正不要''の場合，入力に対する判断``訂正不要''と共に
元の音声認識結果を出力する．
本研究では意味的距離の閾値を$\theta = 1.00$とした．
図の音声認識結果に対する意味的距離の総和$1.42$は
閾値$\theta$より大きいため``訂正必要''と判断される．

    \item[I-3] {\bf 訂正箇所の特定}

{\bf I-2} で``訂正必要''と判断された場合，
全ての部分木のうち意味的距離の総和が閾値
$\theta$を越えるものに対応する部分列を
全て訂正箇所とする．
図中では，部分木に対応する形態素列を，
形態素列``和室 の ほう です と 18000円
 いずれ の 戦 サービス料 は 別 になる ます''
上に領域 $1 \sim 8$ として示している．
これらの領域のうち，部分構造に対する意味的距離の総和が
閾値$\theta = 1.00$を超える領域 $2, 5, 6, 7, 8$ が
訂正箇所である．

  \end{description}

\item[II] {\bf 訂正候補の作成}

  \begin{description}

    \item[II-1] {\bf テキストコーパスからの用例検索}

{\bf I-3}で求められた訂正箇所に対して
テキストコーパスから
訂正箇所と音韻的に類似した部分を含む用例を検索する．
図の訂正箇所5 ``\fbox{いずれ \underline{の 戦} サービス料}''
に対しては，類似した文字列を含む用例
``\fbox{いずれ \underline{も 税} サービス料} は 別 になる ます ので''
が検索される．

        \item[II-2] {\bf 訂正箇所の用例との置換}

認識結果の訂正箇所を，用例文の対応箇所と置換し，
訂正候補を得る．
認識結果の訂正箇所5 
``\fbox{いずれ \underline{の 戦} サービス料}''
が，{\bf II-1}によって得られた用例の対応箇所
``\fbox{いずれ \underline{も 税} サービス料}''
との置換により訂正され，訂正候補
``和室 の ほう です と 18000円
 \fbox{いずれ \underline{も 税} サービス料} は 別 になる ます''
を得る．

    \item[II-3] {\bf 音韻的距離による妥当性判断}

音韻的距離に対して適当な閾値$\delta$を設定する．
{\bf II-2}で得られた訂正候補と音声認識結果の間の音韻的距離を
計算し，その値が閾値$\delta$を越える候補は妥当性が低いと判断し，排除する．
本研究では音韻的距離の閾値として$\delta = 0.3$を用いている．
図中の訂正候補に対する音韻的距離は$0.05$であるため，妥当と判断される．

  \end{description}

\item[III] {\bf 訂正候補の妥当性判断}

  \begin{description}

    \item[III-1] {\bf 構文解析および意味距離計算}

{\bf II-3}で音韻的に妥当と判断された訂正候補に対して
図中，訂正箇所5に関して得られた訂正候補の``意味的距離の総和''
$0.00$を得る．

    \item[III-2] {\bf 意味的距離による妥当性判断}

意味的距離の総和が閾値$\theta$を越える候補は妥当性が低いと判断し，排除する．
訂正候補が全て排除された場合，
入力に対する判断``訂正不可''と共に音声認識結果を出力する．
図の訂正箇所5に関して得られた訂正候補の意味的距離の総和$0.00$は，
意味的距離の閾値$\theta = 1.00$より小さいため，妥当と判断される．

    \item[III-3] {\bf 訂正結果の出力}

{\bf III-2}で妥当と判断された訂正候補が存在する場合，
入力に対する判断``訂正可能''と共に
音韻的距離が最小のものを訂正結果として出力する．
図中，日英音声翻訳において，音声認識結果からの翻訳結果，および
訂正結果(訂正箇所5に関して得られた訂正候補と同一)
からの翻訳結果を示している．
音声認識結果からの翻訳における下線部の誤りは，
日本語認識結果における下線部の誤り
``\fbox{いずれ \underline{の 戦} サービス料}''
に起因しているが，
``\fbox{いずれ \underline{も 税} サービス料}''
と訂正されることにより，
日本語正解文の意味が適切に伝わる翻訳結果を得る．

  \end{description}
\end{description}

\begin{figure}[hp]
\begin{center}
\atari(132,190)
\caption{提案手法の処理の流れ}
\label{process-flow}
\end{center}
\end{figure}


\subsection{構文解析および意味的距離計算}

{\bf I-1}および{\bf III-1}の{\bf 構文解析および意味距離計算}では，
構成素境界解析\cite{Furuse1999}を用いている．
この解析法は，入力文に対して，変項と構成素境界よりなる表層パタンの照合
を行ない，入力と学習文の単語の意味的距離の値によって意味的妥当性を判
断し，構造の曖昧性による候補の爆発を抑えながら構文木の構築をボトムアッ
プに行う方法である．
ここで，単語間の意味的距離としてシソーラス\cite{Kadokawa1981}上での意
味属性の位置関係に基づいた $0 \sim 1$ の値が用いられており，さらにパタ
ンに対する意味的距離
\footnote{図\ref{process-flow}中の構文木中の各ノードに示した数値}
は，各変項の入力単語とパタンに定義された学習単語
との意味的距離の合計で計算される．

脇田等\cite{Wakita1998}は，誤りを含んだ音声認識結果に対してこの構成素
境界解析を適用し，構文木と意味的距離から正解部分が特定できることを示し
ている．
また，音声翻訳における正解部分の特定にこの解析法を適用する利点として，
次の３点を挙げている．

(1)厳格な文法規則では扱いが難しい話し言葉特有の表現の受理に優れている
ため，文法規則から逸脱する部分を認識誤りと判断しやすい．

(2)解析で扱う表現パターンは，音声認識の言語モデルとして用いられている
N-gramより長く，より大局的な部分での妥当性が考慮される．

(3)解析がボトムアップのため，誤りによって文全体の構文木が得られなくて
も，正解部分に対する結果が得られる．

前節で述べた{\bf I-2}意味的距離による訂正必要性判断，{\bf I-3}訂正箇所の
特定，および{\bf III-2}意味的距離による妥当性判断の有効性は，構成素境
界解析の持つ以上のような性質に基づいている．


\subsection{テキストコーパスからの用例検索}

{\bf II-1}の{\bf テキストコーパスからの用例検索}では，
{\bf I-3}で求められた訂正箇所に対して
音韻的に類似した部分を含む用例の検索を行なう．

まず，テキストコーパス中から訂正候補の作成に有用な用例を大まかに絞り込
む．
具体的には，訂正箇所とテキストコーパス中の各用例の文字列近似照合を行な
うことにより，訂正箇所に対して文字列に関する類似度(文字の一致率)が一定
以上の部分を含むような用例が抽出される．
\footnote{
音韻的に類似度の高いものは，多くの場合文字列の類似度も高いため，音韻的
に類似した用例の大まかな絞り込みには文字列近似照合が十分有効である．
}
このような文字列近似照合の手法としては，agrepに実装されているアルゴリ
ズム\cite{Wu1992}がよく知られている．
agrepは，grepの機能と同じように指定されたパターンを含む行を検索し出力
するが，パターンと行の対応部分が完全に一致していなくても，それらの間の
編集距離が閾値以下であればその行を出力する．
ここでは，長い文字列の照合に関してより高速なY. Lepageの方式
\cite{Lepage1997}を用いている．

さらに，{\bf II-2}において{\bf 訂正箇所の用例との置換}
を行なうため，検索によって絞り込まれた用例の形態素単位での
対応付けが必要となる．
ここでは，用例の形態素列中の可能な部分列のうち，
訂正箇所に対して形態素の編集距離が最小となる
形態素部分列をDPマッチングによって求め，
訂正箇所への対応部分とする．


\subsection{音韻的距離の計算}

{\bf II-3}の{\bf 音韻的距離による妥当性判断}では，
{\bf II-2}で得られた訂正候補の妥当性を，
認識結果に対する音韻的距離に基づいて判断する．
認識結果と訂正候補の間の音韻的距離は，
認識結果の音素列を$s_1$，訂正候補の音素列を$s_2$とすると，
音素列$s_1$と$s_2$の間の編集距離に基づいて次のように定義される．

\begin{displaymath}
音韻的距離 (s_1, s_2) 
= \frac{編集距離(s_1, s_2)}{全音素数(s_1)}
\end{displaymath}
ここで，$編集距離(s_1, s_2)$は，DPマッチングによって計算される
音素列$s_2$の音素列$s_1$に対する編集距離である．

図中の訂正候補に対する音韻的距離の計算に関しては次のようになる．
認識結果の形態素列
``和室 の ほう です と 18000円
 いずれ \underline{の 戦} サービス料 は 別 になる ます''
に対する認識結果の音素列$s_1$は
``w\_a\_sh\_i\_ts\_u n\_o h\_o\_o d\_e\_s\_u t\_o 18000\_e\_ng
 i\_z\_u\_r\_e \underline{{\bf n}\_o {\bf s}\_e\_{\bf ng}} s\_a\_a\_b\_i\_s\_u\_r\_j\_o\_o
 w\_a b\_e\_ts\_u n\_i\_n\_a\_r\_u m\_a\_s\_u''
であり，また訂正候補の形態素列
``和室 の ほう です と 18000円
 いずれ \underline{も 税} サービス料 は 別 になる ます''
に対する訂正候補の音素列$s_2$は
``w\_a\_sh\_i\_ts\_u n\_o h\_o\_o d\_e\_s\_u t\_o 18000\_e\_ng
 i\_z\_u\_r\_e \underline{{\bf m}\_o {\bf z}\_e\_{\bf e}}
 s\_a\_a\_b\_i\_s\_u\_r\_j\_o\_o w\_a
 b\_e\_ts\_u n\_i\_n\_a\_r\_u m\_a\_s\_u''
である．
認識結果に対する訂正結果の音素編集は，
$挿入: 0$，$削除: 0$，
$置換: 3({\bf n} \rightarrow {\bf m}, {\bf s} \rightarrow {\bf z}, {\bf ng} \rightarrow {\bf e})$
であるから，音韻的距離は$3 / 58 = 0.05$となる．


\subsection{訂正候補の妥当性判断}

提案手法が用いている訂正候補の妥当性判断の考え方，および効果
について説明する．
図\ref{phonetic-relations}は，
{\bf 正解}，{\bf 認識結果}，{\bf 訂正結果}の音韻的距離
における関係を摸式的に表している．
$\odot$は{\bf 正解}，
$\otimes$は{\bf 認識結果}，
$\circ(a, ..., e)$はそれぞれ{\bf 訂正候補}を表す．
{\bf 正解}$\odot$と{\bf 認識結果}$\otimes$
の間の距離は，認識誤りによって生じた音韻的距離を表す．
また，{\bf 認識結果}$\otimes$と{\bf 訂正候補}
$\circ(a, ..., e)$の間の距離は，
訂正処理によって生じた音韻的距離を表す．
訂正候補$\circ(a, ..., e)$のうち，
妥当なのは{\bf 正解}$\odot$ に最も近い$b$であると予想される．
しかしながら，実際の音声翻訳において正解 $\odot$ は未知である．

\begin{figure}[hbt]
\begin{center}
\atari(105,77)
\caption{正解，認識結果および訂正候補の間の音韻的な関係(摸式図)}
\label{phonetic-relations}
\end{center}
\end{figure}

提案手法では，訂正候補の妥当性を次の仮定に基づいて判断する．

\begin{description}
\item[音韻的距離の仮定] 
ある値の誤り率を持つ認識結果に対して，
その認識結果から一定の音韻的距離以内に
正解が含まれるような音韻的距離の閾値が存在する．

\item[意味的距離の仮定] 
ある意味的に妥当な認識結果に対して，
その認識結果の意味的距離が一定の値以下となるような
意味的距離の閾値が存在する．
\end{description}

(1) まず{\bf 音韻的距離の仮定}に基づき，
{\bf 認識結果}$\otimes$からの音韻的距離がある閾値を越える
{\bf 訂正候補}は，正解には該当しないとして排除する．
図の候補 $a, c$ は，{\bf 認識結果}$\otimes$からある閾値
以上(円外)にあるため，排除される．

(2) 次に{\bf 意味的距離の仮定}に基づき，
意味的距離がある閾値を越える{\bf 訂正候補}は，
意味的に妥当でないとして排除する．
図の候補 $d$ は誤りが部分的，もしくは誤って訂正された
不完全な訂正候補である．
{\bf 認識結果}からの音韻的距離は近いが，
意味的距離の値が閾値より大きいため
意味的妥当性が十分には回復していないと判断して排除する．

(3) 最後に，(1)，(2)での条件を満たす{\bf 訂正候補}が複数ある場合，
その内音韻的距離が最小のものを最終的な訂正結果として出力する．
図では，音韻的，意味的に妥当な候補 $b, e$ のうち，
認識結果により近い候補 $b$ を最終的な訂正結果として出力する．

このように，訂正候補に対して
音韻的妥当性と意味的妥当性の異なる判断を
組み合わせる事によって，
妥当性判断における信頼性をより高める効果が得られる．



\section{日英音声翻訳における誤り訂正実験}
\label{section-JE-closed}

\subsection{実験条件}

表\ref{JE-closed-condition}の実験条件で，
日本語音声認識結果に対する誤り訂正実験を行なった．
テキストデータとして，
ATR旅行会話データ中の618会話(異なり15,265発声)を使用した．
テストセットは，テキストデータに含まれる
日英機械翻訳の学習セット467発声を用いた．
日本語音声認識の精度は，
単語正解率: $68.0\%$，発声正解率: $31.5\%$であった．
また，訂正処理では意味的距離の閾値は $1.0$，
音韻的距離の閾値は $0.3$を用いた．

\begin{table}
\begin{center}
\caption{音声翻訳における誤り訂正の実験条件}
\label{JE-closed-condition}
\begin{tabular}{|ll|}
\hline
日本語テキストデータ & 旅行会話データ 618会話 (異なり15,265発声)\\
日本語テストセット & 旅行会話データ 467発声 (機械翻訳の学習セット)\\
意味的距離の閾値 & 1.0 \\
音韻的距離の閾値 & 0.3 \\ \hline
\end{tabular}
\end{center}
\end{table}


\subsection{訂正判断の精度}

前章での説明のように，提案手法では入力の音声認識結果に対して，
{\bf 訂正不要}(誤りを含まないので訂正は不要)，
{\bf 訂正可能}(誤りを含むので訂正は必要であり，
誤りに対する適切な訂正が可能)，
{\bf 訂正不可}(誤りを含むので訂正は必要だが，
誤りに対する適切な訂正は不可能)，のいずれかの判断を下す．
認識結果が正しい場合には，{\bf 訂正不要}と判断され，
誤りが含まれている場合には，{\bf 訂正可能}もしくは{\bf 訂正不可}
と判断されるのが理想的といえる．
ここで，テストセット467発声の音声認識結果に対する
訂正判断の結果と認識誤りの有無の関係を表
\ref{JE-closed-judgement}に示す．

\begin{table}
\begin{center}
\caption{テストセットに対する認識誤りと訂正判断}
\begin{tabular}{|c||c|c|c||c|} \hline
入力の認識 & 訂正不要 & 訂正不可 & 訂正可能 & 合計\\ \hline\hline
誤りなし & 147 & 0 & 0 & 147 \\ \hline
誤りあり & 172 & 85 & 63 & 320 \\ \hline\hline
合計 & 319 & 85 & 63 & 467 \\ \hline
\end{tabular}
\label{JE-closed-judgement}
\end{center}
\end{table}

``誤りなし''の認識結果に対してはすべて，{\bf 訂正不要}と判断されている
．一方，訂正が必要と判断した発声
({\bf 訂正可能}，{\bf 訂正不可}の発声の和)
において，``誤りあり''の認識結果の再現率は46.3\%(148/320)，
適合率は100\%(148/148)である．
また，訂正が必要と判断した発声のうち，{\bf 訂正可能}であった
発声の割合は42.6\%(63/148)である．

これらの数値の大小のみで単純に誤り訂正の有効性が結論
されるわけではない．
訂正が必要と判断されなかった誤りのある認識結果の中には，
誤り訂正を行なわなくても発声の意味が十分理解できるような
軽微な誤りのものが存在することが考えられ，
また，{\bf 訂正不可}と判断された認識結果の中には，
誤りがひどいために正解の推定が困難で，誤り訂正が本質的に
不可能なものが存在することが考えられるからである．
\ref{subsection-JE-closed-4}節以降ではさらに，
認識結果における誤りのひどさと訂正判断の関係，
訂正結果の有効性等について，詳細な検討を行なう．


\subsection{DPマッチングによる単語誤り率}

音声認識における単語誤りの訂正前後での増減から
誤り訂正の有効性を検証する．
誤りの尺度として単語誤り率を導入し，
認識結果と訂正結果における誤り率の比較を行なう．
単語誤り率を，ここではDPマッチングを使って
正解からの編集距離に基づいて定義する．
単語の挿入(Ins)，削除(Del)，置換(Sub)に関する誤りの数を
それぞれ$N_{Ins}$，$N_{Del}$，$N_{Sub}$，正解の単語数を
$N_{Ans}$とした時，単語誤り率 R は以下のように定義される．
\begin{displaymath}
単語誤り率 R = \frac{N_{Ins} + N_{Del} + N_{Sub}}{N_{Ans}}
\end{displaymath}


\subsection{訂正前後での単語誤り率}
\label{subsection-JE-closed-4}

表\ref{JE-closed-R-rank}では，
単語誤り率 $R$ の値を4段階
($R = 0\%$, $0\% < R \leq 20\%$, $20\% < R \leq 40\%$, $40\% < R$)
に分け，訂正前後での各訂正判断に対する発声の誤り率 $R$ に関する
分布を示した．
{\bf 訂正不要}，{\bf 訂正不可}の発声に関しては訂正結果が出力されないので
訂正前のみを示し，
訂正後の結果は{\bf 訂正可能}の発声とテストセット全体(``合計'')
のみについて示す．

\begin{table}
\begin{center}
\caption{発声の単語誤り率での分布}
\begin{tabular}{|c||c|c|c||c||c||c|} \hline
 & \multicolumn{4}{c||}{訂正前} & \multicolumn{2}{c|}{訂正後}\\ \cline{2-7}
単語誤り率 $R$ & 訂正不要 & 訂正不可 & 訂正可能 & 合計 & 訂正可能 & 合計\\ \hline\hline
$R = 0\%$ & 169 & 0 & 0 & 169 & 13 & 182 \\ \hline
$0\% < R \leq 20\%$ & 58 & 9 & 20 & 87 & 34 & 101 \\ \hline
$20\% < R \leq 40\%$ & 31 & 17 & 34 & 82 & 9 & 57 \\ \hline
$40\% < R$ & 61 & 59 & 9 & 129 & 7 & 127 \\ \hline
\end{tabular}
\label{JE-closed-R-rank}
\end{center}
\end{table}

まず，誤り率$R = 0\%$の発声は，全て{\bf 訂正不要}と適切な判断が
なされている．
誤り率$R = 0\%$の発声が{\bf 訂正不要}と判断された発声
全体の半数以上(169/319)を占めている．
\footnote{
表\ref{JE-closed-judgement}と比較して誤りなしの発声が22発声増えている．
DPマッチングの際に活用を標準形に直しているため，
軽微な誤りが吸収されている．
}
しかし一方で，誤り率が$40\%$を越える発声のうち，
61発声が{\bf 訂正不要}と判断されている．
これらの多くは，表面的には文の体裁を備えていることに特徴がある．
以下の実例に示すような，元の発声とは別の意味になってしまう
``空耳''のような誤りや，発声の一部が欠落した``聞き落し''
のような誤りなどが含まれる．
このような認識結果に対して，本手法では
誤りである可能性(訂正の必要性)
を判断するのは困難であり，{\bf 訂正不要}と判断されている．

\begin{center}
\begin{tabular}{|ll|}
\multicolumn{2}{c}{``空耳''，``聞き落し''のような誤り}\\
\hline
正解: & いつのお泊りでしょうか \\
認識結果: & {\bf えその通り}でしょうか \\
\hline
正解: & {\bf はいそうです}それではお待ちいたしております \\
認識結果: & それではお待ちいたしております \\
\hline
\end{tabular}
\end{center}

また，誤り率が$40\%$を越える発声のうち，
59発声が{\bf 訂正不可}と判断されている．
これらは，{\bf 訂正不可}と判断された発声全体の
7割近くを占めている．
すなわち，{\bf 誤りのひどい認識結果の多くに対して，
本手法では訂正不可と判断している．}
前章の{\bf 訂正候補の妥当性の判断}で説明したように，
訂正結果は音韻的距離が閾値以内の訂正候補から選ばれる．
このため，誤りのひどい認識結果は，
正解までの音韻的距離が閾値を越えてしまい，
正解が音韻的妥当性によって訂正結果から除かれてしまうためである．

\begin{center}
\begin{tabular}{|ll|}
\multicolumn{2}{c}{誤りのひどい認識結果}\\
\hline
正解: & ただがんがんしてても起きてしばらくすると治るのですけど \\
認識結果: & {\bf あとでお電話したと思うのを着て}しばらく{\bf 都合の分}です{\bf よね} \\
\hline
\end{tabular}
\end{center}

しかしながら，誤り率が$0\% < R \leq 40\%$の発声では，
その7割近い54発声が{\bf 訂正可能}と判断されている．
{\bf 訂正可能}の発声の誤り率は，
訂正前では$20\%$あたりを中心に分布し，
誤り率$20\%$以下の発声は$32\%$であるが，
訂正後では$75\%$へ増加し，誤り率が改善されていることが分かる．
実際に得られた訂正結果の例を以下に示す．

\begin{center}
\begin{tabular}{|ll|}
\multicolumn{2}{c}{訂正の実例}\\
\hline
正解: & シャトルバスは知っていますがタクシーを使いたいのです \\
認識結果: & シャトルバス{\bf をして}いますがタクシーを使いたいのです \\
訂正結果: & シャトルバスは知っていますがタクシーを使いたいのです \\
\hline
正解: & {\bf え}ラスベガスからロサンジェルスまでの運賃はおいくらくらいですか \\
認識結果: & ラスベガスからロサンジェルスまでの{\bf 音痴な}おいくらくらいですか \\
訂正結果: & ラスベガスから{\bf ロサンゼルス}までの運賃はおいくら{\bf ぐらい}ですか \\
\hline
正解: & はい祇園の辺りですねそういたしましたら加茂川ホテルはいかがでしょうか \\
認識結果: & はい{\bf 従来}ですねそういたしましたら加茂川{\bf お寺}はいかがでしょうか \\
訂正結果: & はい{\bf 従来}ですねそういたしましたら{\bf 鴨川}ホテルはいかがでしょうか \\
\hline
\end{tabular}
\end{center}

一番目の例では，認識結果の誤り部分``シャトルバス{\bf をして}''
が訂正され，正解と同一の訂正結果を得ている．
二番目の例では，認識結果の誤り部分
``ロサンジェルスまでの{\bf 音痴な}''
が訂正され，``{\bf ロサンゼルス}までの運賃は''を得ている．
訂正結果の``{\bf ロサンゼルス}''，``{\bf ぐらい}''は，
正解と表記が微妙に異なるが，意味は同等である．
三番目の例では，認識結果に誤り部分
``加茂川{\bf お寺}''，``{\bf 従来}ですね''が存在する．
訂正結果では，
前者は正解と同音の(表記は異なる)``{\bf 鴨川}ホテル''に訂正され，
後者は残っている．

表\ref{JE-closed-R-rank}における{\bf 訂正可能}の発声では，
訂正後も誤り率が$20\%$以下程度のものが多く存在しているが，
これらの中には二番目，三番目の例のような，
正解との間に表記上の不一致が存在する正解に準じる訂正結果
も含まれていると考えられる．


\subsection{テストセット全体に対する単語誤り率}

ここでは，入力全体に関する誤り率の訂正前後での変化に基づいて，
訂正処理の有効性を検証する．
テストセットの音声認識結果に関する単語誤り率を
表\ref{JE-closed-dp-total}に示す．
テストセット全体に対する単語誤り率は訂正の前後で
$33.1\%$から$30.8\%$へ変化しており，$2.3$ポイントの改善が見られた．
{\bf 訂正可能}では，$30.5\%$から$18.1\%$へと変化しており，
訂正の行なわれた発声に対しては，単語誤りをほぼ半減する効果
が得られている．

\begin{table}
\begin{center}
\caption{テストセット全体に対する単語誤り率}
\begin{tabular}{|c|c|c||c||c||c|} \hline
\multicolumn{4}{|c||}{訂正前} & \multicolumn{2}{c|}{訂正後} \\ \hline
訂正不要  & 訂正不可 & 訂正可能 & 合計 & 訂正可能 & 合計 \\ \hline\hline
26.1\% & 54.0\% & 30.5\% & 33.1\% & 18.1\% & 30.8\% \\
(689/2636) & (531/984) & (255/835) & (1475/4455) & (151/835) & (1371/4455) \\ \hline
\end{tabular}
\label{JE-closed-dp-total}
\end{center}
\end{table}

さらに，誤りの種類を``挿入''，``削除''，``置換''に区別し，
誤り単語の品詞によって分類することにより，
それぞれの誤りに対する訂正の効果の違いを調べる．
訂正前後での挿入，削除，置換誤りに関する誤り単語数を品詞別に
表\ref{JE-closed-recog-pos}に示す．
ただし，``挿入''では認識結果(挿入後)の単語の品詞，
``削除''では正解(削除前)の単語の品詞，
``置換''では正解(置換前)の単語の品詞に基づいて分類した．
また，品詞別の``その他''は，
``感動詞''，``接頭辞''，``接尾辞''をまとめたものである．

\begin{table}
\begin{center}
\caption{挿入，削除，置換誤りの品詞別誤り単語数}
\label{JE-closed-recog-pos}
\begin{tabular}{|c|c||c|c|c||c|} \hline
 & & \multicolumn{3}{c||}{訂正前} & \multicolumn{1}{c|}{訂正後}\\ \cline{3-6}
& 誤り単語の品詞 & 訂正不要 & 訂正不可 & 訂正可能 & 訂正可能 \\ \hline\hline
挿入 
& 名詞 & 35 & 32 & 12 & 2 \\ \cline{2-6}
& 動詞 & 6 & 20 & 6 & 2 \\ \cline{2-6}
& 助動詞 & 12 & 18 & 7 & 0 \\ \cline{2-6}
& 助詞 & 22 & 24 & 12 & 6 \\ \cline{2-6}
& 形容詞 & 2 & 1 & 1 & 0 \\ \cline{2-6}
& 副詞 & 2 & 3 & 1 & 1 \\ \cline{2-6}
& 連体詞 & 0 & 0 & 0 & 0 \\ \cline{2-6}
& 接続詞 & 1 & 0 & 0 & 0 \\ \cline{2-6}
& その他 & 8 & 4 & 1 & 0 \\ \cline{2-6}
& 合計 & 88 & 102 & 40 & 11 \\ \hline\hline
削除
& 名詞 & 110 & 27 & 16 & 17 \\ \cline{2-6}
& 動詞 & 49 & 18 & 4 & 0 \\ \cline{2-6}
& 助動詞 & 77 & 21 & 8 & 8 \\ \cline{2-6}
& 助詞 & 103 & 30 & 18 & 16 \\ \cline{2-6}
& 形容詞 & 3 & 1 & 2 & 0 \\ \cline{2-6}
& 副詞 & 8 & 1 & 0 & 0 \\ \cline{2-6}
& 連体詞 & 2 & 0 & 0 & 0 \\ \cline{2-6}
& 接続詞 & 6 & 0 & 1 & 1 \\ \cline{2-6}
& その他 & 29 & 5 & 10 & 9 \\ \cline{2-6}
& 合計 & 387 & 103 & 59 & 51 \\ \hline\hline
置換
& 名詞 & 94 & 116 & 57 & 34 \\ \cline{2-6}
& 動詞 & 24 & 50 & 23 & 10 \\ \cline{2-6}
& 助動詞 & 26 & 36 & 15 & 8 \\ \cline{2-6}
& 助詞 & 34 & 78 & 47 & 21 \\ \cline{2-6}
& 形容詞 & 2 & 11 & 4 & 1 \\ \cline{2-6}
& 副詞 & 3 & 11 & 0 & 1 \\ \cline{2-6}
& 連体詞 & 2 & 5 & 3 & 1 \\ \cline{2-6}
& 接続詞 & 1 & 2 & 2 & 4 \\ \cline{2-6}
& その他 & 18 & 14 & 5 & 9 \\ \cline{2-6}
& 合計 & 214 & 326 & 156 & 89 \\ \hline
\end{tabular}
\end{center}
\end{table}

まず，それぞれの訂正判断での誤りの種類の割合を見ると，
{\bf 訂正不要}の発声では削除誤りが全体の半数以上を占めている．
これに対して{\bf 訂正不可}，{\bf 訂正可能}では置換誤りが
全体の半数以上を占めている．
このことから，削除誤りに対する誤りの判断は難しく，
見逃してしまう傾向が強いと考えられる．
このことは，認識結果の実例で示したように，
{\bf 発声の一部が欠落した``聞き落し''誤りは
訂正必要性の判断が困難である}という事実と一致している．

次に，{\bf 訂正不可}と{\bf 訂正可能}での誤りの種類の割合を比較すると，
挿入，削除，置換の比率はどちらもほぼ $1 : 1 : 3$ であり，
特に大きな差は認められない．
しかし，単語誤り率は両者間で大きく異なっており，
単語誤り率 $R$ が $40\%$ を下回る発声の占める割合は，
{\bf 訂正不可}の方がはるかに大きい．
このことから，{\bf 認識結果の訂正可能性は，
主に発声の単語誤り率によって決定される}と結論できる．

さらに，{\bf 訂正可能}での誤り単語数に関して訂正前後で比較すると，
{\bf 削除誤りは，挿入，置換と比べて訂正の効果が比較的小さい}．
一方，挿入誤り，置換誤りに対する誤り単語数を訂正前後で比較すると，
名詞，動詞，助動詞，助詞，形容詞など，品詞による偏りはそれほどなく
全体的に減少していることが分かる．
つまり{\bf 内容語，機能語を問わず，品詞によらず効果がある}といえる．


\subsection{翻訳文の主観評価}

\begin{table}
\begin{center}
\caption{翻訳結果の評価基準}
\label{trans-eval-rank}
\begin{tabular}{clc}
A & 入力文の正解と完全に同じ意味にとれる \\
B & 入力文の正解とほぼ同じ意味にとれる \\
C & 入力文の正解の主要情報が部分的には伝わる \\
D & 入力文の正解の主要情報が伝わらない／誤解が生じる \\
\end{tabular}
\end{center}
\end{table}

ここでは，音声翻訳における訂正手法の有効性を検証するために，
音声認識結果および訂正結果をもとに機械翻訳された日英翻訳
の品質に対して主観評価を行なう．
本研究では機械翻訳としてTDMT\cite{Sumita1999}を用いる．
翻訳結果の主観評価では，
翻訳結果から理解，伝達される発声の内容や情報が正しいかどうかを，
入力の正解(原言語)と比較することによって判断する．
評価者は，日英翻訳を専門とするアメリカ人ネイティブであり，
各発声の認識結果および訂正結果に対する翻訳に関して，
入力の正解(原言語)に基づく理解を基準として，
表\ref{trans-eval-rank}に定義された評価値(A,B,C,D)
のいずれかを選択する方法で評価を行なった．

音声認識結果，およびその訂正結果を入力として
翻訳システム(TDMT)を用いて得られた翻訳結果に関する主観評価を
表\ref{JE-closed-trans-rank}に示す．
ここで，``翻訳率''は各訂正判断に対する発声数全体$N_A+N_B+N_C+N_D$
に対する，評価値A，B，Cの発声数の合計$N_A+N_B+N_C$の割合である．

\begin{table}
\begin{center}
\caption{翻訳結果の評価値}
\label{JE-closed-trans-rank}
\begin{tabular}{|c||c|c|c||c||c||c|} \hline
 & \multicolumn{4}{c||}{訂正前} & \multicolumn{2}{c|}{訂正後}\\ \cline{2-7}
評価値 & 訂正不要 & 訂正不可 & 訂正可能 & 合計 & 訂正可能 & 合計 \\ \hline\hline
A & 190 & 1 & 2 & 193 & 36 & 227 \\ \hline
B & 35 & 5 & 10 & 50 & 11 & 51 \\ \hline
C & 18 & 6 & 16 & 40 & 6 & 30 \\ \hline
D & 75 & 73 & 35 & 183 & 10 & 158 \\ \hline\hline
翻訳率:$\frac{N_A+N_B+N_C}{N_A+N_B+N_C+N_D}$ & 76.4\% & 14.1\% & 44.4\% & 60.7\% & 84.1\% & 66.1\% \\ \hline
\end{tabular}
\end{center}
\end{table}

まず，テストセット全体に対する翻訳率は
訂正前後で$60.7\%$から$66.1\%$へ増加しており，
$5.4$ポイントの改善が見られる．
さらに，{\bf 訂正可能}と判断された発声に関しては，
$44.4\%$から$84.1\%$へ増加している．
{\bf 訂正可能}と判断された発声は訂正前で評価値Dが過半数を占め，
翻訳結果の意味理解が不可能となるような，音声翻訳で致命的な
誤りを含んだ音声認識結果が多く訂正の対象となっていることが
分かる．

また，訂正後では逆に評価値Aが過半数を占めていることから，
訂正結果からの翻訳で，発声の内容や情報が正しく回復されていることが分かる．
訂正後の評価値Aの発声は36発声であるが，
これは表\ref{JE-closed-R-rank}での訂正後の誤り率$R=0\%$の13発声
と比べて23発声多い．
これは，訂正結果は正解に完全一致しないが，その翻訳結果が正解と
なるものが存在することを意味している．
以下は，そのような実例である．

\begin{center}
\begin{tabular}{|ll|}
\multicolumn{2}{c}{正解に完全には一致しないが，翻訳結果は正解となる訂正結果}\\
\hline
正解: & 恐れいりますがシングルルームは満室となっております \\
認識結果: & 恐れいりますがシングルルーム{\bf が増し}となっております \\
訂正結果: & 恐れいりますがシングルルーム{\bf が}満室となっております \\
\hline
正解翻訳: & "I'm sorry , but single rooms are all occupied ." \\
認識翻訳: & "I'm sorry , but single rooms are {\bf the increase} ." \\
訂正翻訳: & "I'm sorry , but single rooms are all occupied ." \\
\hline
\end{tabular}
\end{center}

認識結果では，$(は \rightarrow {\bf が})$
および$(満室 \rightarrow {\bf 増し})$の2単語に対して
置換誤りが起こっており，後者は正しく訂正されているが，前者は残っている．
ところが，訂正結果からの翻訳は，正解からのものと完全に一致している．
訂正前後での単語誤り率$R$の変化は$25.0\% \rightarrow 12.5\%$であるが，
翻訳の評価値は，$C \rightarrow A$と完全に回復している．
置換誤り$(は \rightarrow {\bf が})$がこの場合，
発声の理解や翻訳を妨げなかったため，
誤りとは判断されなかったのである．

{\bf 訂正不要}と判断された認識結果の中にも，
表層的には正解に完全一致しないが，
その翻訳結果は正解となるものが同様に存在している．
評価Aの発声数は190であるが，これは誤り率$R=0\%$の発声数
169や，表\ref{JE-closed-judgement}での誤りなしの発声数147
より多い．
訂正が必要という判断の精度は，
{\bf 誤りあり}の認識結果に対して計算すると
適合率100\%，再現率42.3\%であったが，
ここでの評価値Aの発声以外を訂正が必要な
発声として計算すれば，
適合率98.0\% (145/148)，再現率53.3\%(145/273)，
さらに評価値Bまでの発声を{\bf 訂正不要}として計算すれば，
適合率87.8\% (130/148)，再現率58.3\% (130/223)となる．
主観評価は翻訳結果における発声の内容理解，情報の伝達可能性という
観点に基づいているので，これらの適合率，再現率は
音声翻訳タスクに対してより実質的な値を表しているといえる．


\subsection{翻訳結果の単語誤り率に基づく評価}

ここでは，すでに導入された単語誤り率 $R$を翻訳結果の評価に用いる．
このような，正解の翻訳と認識結果の翻訳の間での編集距離に基づく評価方法は，
音声翻訳の自動評価方法として竹澤等\cite{Takezawa1999}が提案している．
同様に，訂正前後の認識結果からの翻訳の単語誤り率 $R$の比較により，
翻訳結果における訂正の効果を議論することができる．

テストセットの翻訳結果に対する単語誤り率 $R$ の値を4段階
に分けて，各発声の誤り率 $R$ に関する分布を
表\ref{JE-closed-trans-dp}に示す．
主観評価の結果を示した表\ref{JE-closed-trans-rank}と比較すると，
興味深いことに，発声数の分布の傾向がよく一致しており，
誤り率 $R$ の各段階
($R = 0\%$, $0\% < R \leq 20\%$, $20\% < R \leq 40\%$, $40\% < R$)
と，主観評価の各評価値(A,B,C,D)がそれぞれ対応しているように見える．
テストセット全体に対する誤り率$0\% \leq R \leq 40\%$の発声の割合は，
訂正前後で$58.2\%$から$64.5\%$へと$6.3$ポイント改善しており，主観評価
での翻訳率と同様に，翻訳結果の誤り率でも訂正の効果が確認できる．

\begin{table}
\begin{center}
\caption{翻訳結果の単語誤り率}
\label{JE-closed-trans-dp}
\begin{tabular}{|c||c|c|c||c||c||c|} \hline
 & \multicolumn{4}{c||}{訂正前} & \multicolumn{2}{c|}{訂正後}\\ \cline{2-7}
誤り率 $R$ & 訂正不要  & 訂正不可 & 訂正可能 & 合計 & 訂正可能 & 合計 \\ \hline\hline
$R = 0\%$ & 190 & 1 & 1 & 192 & 31 & 222 \\ \hline
$0\% < R \leq 20\%$ & 20 & 4 & 11 & 35 & 15 & 39 \\ \hline
$20\% < R \leq 40\%$ & 27 & 6 & 12 & 45 & 7 & 40 \\ \hline
$40\% < R$ & 82 & 74 & 39 & 195 & 10 & 166 \\ \hline\hline
$0\% \leq R \leq 40\%$の割合 & 74.3\% & 12.9\% & 38.1\% & 58.2\% & 84.1\% & 64.5\% \\ \hline
\end{tabular}
\end{center}
\end{table}

また，翻訳結果での誤り率$R=0\%$の発声数が，表\ref{JE-closed-R-rank}での
認識結果での値に比べて増えていることは，主観評価での傾向と一致し，
表層的には正解に完全一致しないが翻訳結果は正解となるような
訂正結果が存在することを裏付けている．

このように，主観評価と単語誤り率$R$の評価の比較から，
各翻訳結果に対する評価値と単語誤り率$R$の間には
正の相関関係が存在することが予想される．
テストセット全体に対する訂正後の各発声の翻訳結果について，
その単語誤り率 $R$ と主観評価での評価値の間の関係を
表\ref{JE-closed-trans-recog-correlation}に示す．
表からは，対角成分への分布の偏りが見られる．
特に，評価値Aと$R = 0\%$，評価値Dと$40\% < R$の間に強い相関が現れている
ことが分かる．
\footnote{ここで，誤り率$R$の段階の閾値は便宜的に決定したものであり，
相関性を最大化するような最適化は行なっていない．}

\begin{table}
\begin{center}
\caption{翻訳結果の評価値と単語誤り率の相関}
\label{JE-closed-trans-recog-correlation}
\begin{tabular}{|c||c|c|c|c|} \hline
 & \multicolumn{4}{c|}{評価値}\\ \cline{2-5}
誤り率 $R$ & A & B & C & D \\ \hline\hline
$R = 0\%$ & 173 & 17 & 1 & 1 \\ \hline
$0\% < R \leq 20\%$ & 9 & 13 & 11 & 2 \\ \hline
$20\% < R \leq 40\%$ & 6 & 10 & 10 & 19 \\ \hline
$40\% < R$ & 5 & 10 & 18 & 161 \\ \hline
\end{tabular}
\end{center}
\end{table}

ここで，評価値と誤り率の相関性を定量的にはかる尺度として，相関係数を導入する．
2変量に関するn個の観測値$(x_i,y_i)(i=1,2,...,n)$に対して，
相関係数$r$は以下のように定義できる．
\begin{displaymath}
r = \frac{
    \frac{1}{n}\sum^n_{i=1}\Delta x_i \Delta y_i
}{
    \sqrt{\frac{1}{n}\sum^n_{i=1}\Delta x_i^2}
    \sqrt{\frac{1}{n}\sum^n_{i=1}\Delta y_i^2}
}
\end{displaymath}
ここで，
\begin{displaymath}
\Delta x_i = x_i - \overline{x}, \;\;
\Delta y_i = y_i - \overline{y},
\end{displaymath}
\begin{displaymath}
\overline{x} = \frac{1}{n}\sum^n_{i=1} x_i, \;\;
\overline{y} = \frac{1}{n}\sum^n_{i=1} y_i
\end{displaymath}

さらに，それぞれ評価値(a,b,c,d)と単語誤り率$R$の段階
($R = 0\%$, $0\% < R \leq 20\%$, $20\% < R \leq 40\%$, $40\% < R$)
が与えられたある翻訳結果を，以下の2変量上の観測点と解釈し直す．
\begin{displaymath}
x = \alpha_x l_x + \beta_x, \;\;
l_x = (0,1,2,3),
\end{displaymath}
\begin{displaymath}
y = \alpha_y l_y + \beta_y , \;\;
l_y = (0,1,2,3)
\end{displaymath}
$l_x$には，主観評価の各評価値(a,b,c,d)に対してそれぞれ(0,1,2,3)，
$l_y$には，誤り率Rの各段階
($R = 0\%$, $0\% < R \leq 20\%$, $20\% < R \leq 40\%$, $40\% < R$)
に対してそれぞれ(0,1,2,3)を与える．
$\alpha_x$，$\alpha_y$，$\beta_x$，$\beta_y$は
$\alpha_x\alpha_y >0$を満たす任意の実数であり，
相関係数$r$は，これらの値に対し不変である．

このような方法で計算された単語誤り率 $R$ と主観評価での評価値の間での
相関係数は0.88であり，両者の間には明らかに相関関係
が成り立っていると結論できる．



\section{入力会話を含まないデータベースでの日英音声翻訳実験}
\label{section-JE-db-open}

\subsection{実験条件}

ここでは入力会話を含まないデータベースを用いた際の
提案手法の有効性を検証する．
表\ref{JE-db-open-condition}の実験条件で，
日本語音声認識結果に対する誤り訂正実験を行なった．

先に\ref{section-JE-closed}章で行なった誤り訂正実験と
の比較のため，同一の認識結果(日英翻訳システムで学習済の467発話)
を用いて行なった．
用例データベースとしては，
ATR旅行会話データ中の618会話から，{\bf 入力467発声を含む
41会話を除いた}577会話(異なり14,405発声)を使用した．
訂正処理のパラメーターは，それぞれ
意味的距離の閾値: $1.0$，音韻的距離の閾値: $0.3$を用いた．

\begin{table}
\begin{center}
\caption{音声翻訳における誤り訂正の実験条件(入力会話を含まないデータベース)}
\label{JE-db-open-condition}
\begin{tabular}{|ll|}
\hline
日本語テキストデータ & 旅行会話データ 577会話 (入力会話セットを含まない) \\
日本語テストセット & 旅行会話データ 467発声 (機械翻訳の学習セット) \\
意味的距離の閾値 & 1.0 \\
音韻的距離の閾値 & 0.3 \\ \hline
\end{tabular}
\end{center}
\end{table}


\subsection{訂正判断の精度}

テストセット467発声の音声認識結果に対する
訂正判断の結果と認識誤りの有無の関係を表\ref{JE-db-open-judgement}に示す．
{\bf 訂正不要}の判断は，認識結果が同一であるため
\ref{section-JE-closed}章での結果と一致している．
一方，訂正処理が必要({\bf 訂正不可}，{\bf 訂正可能}の和)と判断された
発声に対して{\bf 訂正可能}の発声の占める割合は12.2\%(18/148)である．
これは，\ref{section-JE-closed}章での割合42.6\%(63/148)と比べて
大幅に小さく，データベースの違いが反映されている．

\begin{table}
\begin{center}
\caption{テストセットに対する認識誤りと訂正判断(入力会話を含まないデータベース)}
\label{JE-db-open-judgement}
\begin{tabular}{|c||c|c|c||c|} \hline
入力の認識 & 訂正不要  & 訂正不可 & 訂正可能 & 合計\\ \hline\hline
誤りなし & 147 & 0 & 0 & 147 \\ \hline
誤りあり & 172 & 130 & 18 & 320 \\ \hline\hline
合計 & 319 & 130 & 18 & 467 \\ \hline
\end{tabular}
\end{center}
\end{table}


\subsection{訂正前後での単語誤り率}

表\ref{JE-db-open-R-rank}では，単語誤り率 $R$ の値を4段階
($R = 0\%$, $0\% < R \leq 20\%$, $20\% < R \leq 40\%$, $40\% < R$)
に分け，訂正前後での各訂正判断に対する発声の誤り率 $R$ に関する
分布を示した．
テストセット全体の発声の分布からは，
訂正の前後でほとんど変化が見られない．
{\bf 訂正可能}の発声に関しても同様の傾向であり，
オープンなデータベースの実験では，
{訂正の対象となる発声の割合が小さく，
訂正の効果が誤り率に現れない}
傾向にあると結論される．

\begin{table}
\begin{center}
\caption{発声の単語誤り率での分布(入力会話を含まないデータベース)}
\label{JE-db-open-R-rank}
\begin{tabular}{|c||c|c|c||c||c||c|} \hline
 & \multicolumn{4}{c||}{訂正前} & \multicolumn{2}{c|}{訂正後}\\ \cline{2-7}
単語誤り率 $R$ & 訂正不要 & 訂正不可 & 訂正可能 & 合計 & 訂正可能 & 合計\\ \hline\hline
$R = 0\%$ & 169 & 0 & 0 & 169 & 0 & 169 \\ \hline
$0\% < R \leq 20\%$ & 58 & 23 & 6 & 87 & 5 & 86 \\ \hline
$20\% < R \leq 40\%$ & 31 & 41 & 10 & 82 & 9 & 85 \\ \hline
$40\% < R$ & 61 & 66 & 2 & 129 & 4 & 131 \\ \hline
\end{tabular}
\end{center}
\end{table}

表\ref{JE-db-open-dp-total}に示した
テストセット全体に対する単語誤り率も，
訂正によって$33.1\%$から$33.3\%$へと増加しており，
オープンなデータベースによる訂正の有効性に関して
否定的な結果である．
しかしながら以下の例に示すように，
実験で得られた訂正結果の中には，
誤り率には訂正の効果は現れないが，
意味的には正解と同等なものが得られている．

\begin{table}
\begin{center}
\caption{テストセット全体に対する単語誤り率(入力会話を含まないデータベース)}
\begin{tabular}{|c|c|c||c||c||c|} \hline
\multicolumn{4}{|c||}{訂正前} & \multicolumn{2}{c|}{訂正後} \\ \hline
訂正不要  & 訂正不可 & 訂正可能 & 合計 & 訂正可能 & 合計 \\ \hline\hline
26.1\% & 45.5\% & 24.6\% & 33.1\% & 28.6\% & 33.3\% \\
(689/2636) & (736/1616) & (50/203) & (1475/4455) & (58/203) & (1483/4455) \\ \hline
\end{tabular}
\label{JE-db-open-dp-total}
\end{center}
\end{table}

この例では，正解での表現``スケジュールが知りたい''に対して，
意味的に近い表現``スケジュール{\bf を教えていただきたい}''が
訂正で用いられており，意味的には誤りが回復されているといえる．
しかし単語誤り率で見ると，訂正によって$23.1\%(3/13)$から
$30.8\%(4/13)$へと増加している．
このことから，
{\bf 誤り率は正解との表層的な照合に基づくため，
表層に現れない意味レベルでの訂正の効果を測ることはできない}ことがわかる．
したがって，訂正の効果の有無を単語誤り率のみによって結論するのは
不十分であるといえる．

\begin{center}
\begin{tabular}{|ll|}
\multicolumn{2}{c}{誤り率に現れないが意味的に有効な訂正(1)}\\
\hline
正解: & そこからラスベガスまでのバスのスケジュールが知りたいのです{\bf が} \\
認識結果: & そこからラスベガスまでのバスの{\bf スケジュールし}たいのですが \\
訂正結果: & そこからラスベガスまでのバスのスケジュール{\bf を教えていただきたい}のです \\
\hline
\end{tabular}
\end{center}


\subsection{翻訳文の主観評価}

ここでは，オープンなデータベースを用いた訂正手法の
音声翻訳における有効性を検証するために，
音声認識結果および訂正結果をもとに機械翻訳された日英翻訳
結果に対して主観評価を行なう．
翻訳および評価方法については\ref{section-JE-closed}
と同じ方法を用いた．
音声認識結果，およびその訂正結果を入力として
翻訳システム(TDMT)を用いて得られた翻訳結果に関する主観評価を
表\ref{JE-db-open-trans-rank}に示す．


\begin{table}
\begin{center}
\caption{翻訳結果の評価値(入力会話を含まないデータベース)}
\label{JE-db-open-trans-rank}
\begin{tabular}{|c||c|c|c||c||c||c|} \hline
 & \multicolumn{4}{c||}{訂正前} & \multicolumn{2}{c|}{訂正後}\\ \cline{2-7}
評価値 & 訂正不要 & 訂正不可 & 訂正可能 & 合計 & 訂正可能 & 合計 \\ \hline\hline
A & 190 & 2 & 1 & 193 & 5 & 197 \\ \hline
B & 35 & 12 & 3 & 50 & 3 & 50 \\ \hline
C & 18 & 17 & 4 & 39 & 4 & 39 \\ \hline
D & 75 & 99 & 10 & 184 & 6 & 180 \\ \hline\hline
翻訳率:$\frac{N_A+N_B+N_C}{N_A+N_B+N_C+N_D}$ & 76.4\% & 23.8\% & 44.4\% & 60.5\% & 66.7\% & 61.4\% \\ \hline
\end{tabular}
\end{center}
\end{table}


まず，テストセット全体に対する翻訳率は
訂正によって$60.5\%$から$61.4\%$へと$0.9$ポイントの改善が見られる．
{\bf さらに，訂正可能と判断された発声に関しては，
$44.4\%$から$66.7\%$へと増加している．}
この結果は，先に示した認識結果に対する単語誤り率における傾向
と相反している．
このことは，表層的な誤り率には現れないが
翻訳結果を意味レベルで回復するような訂正結果が存在する
ことによって説明される．
以下にそのような実例を示す．

\begin{center}
\begin{tabular}{|ll|}
\multicolumn{2}{c}{誤り率に現れないが意味的に有効な訂正(2)}\\
\hline
正解: & {\bf え}ラスベガスからロサンジェルスまでの運賃はおいくらくらいですか \\
認識結果: & ラスベガスからロサンジェルスまでの{\bf 音痴な}おいくらくらいですか \\
訂正結果: & ラスベガスから{\bf ロサンゼルス}までの{\bf 料金}はおいくら{\bf ぐらい}ですか \\
\hline
正解翻訳: & "{\bf Oh} , how much is the fare from Las Vegas to Los Angeles ?" \\
認識翻訳: & "{\bf Tone-deaf} from Las Vegas to Los Angeles \_\_ {\bf how much is it} ?" \\
訂正翻訳: & "How much is the {\bf charge} from Las Vegas to Los Angeles ?" \\
\hline
\end{tabular}
\end{center}

例は\ref{section-JE-closed}章で既に示した例と同じ認識結果であるが，
ここではデータベース中に正解と一致する表現``運賃はおいくら''
を含む用例が存在しないため，
訂正では意味的に近い表現``{\bf 料金}はおいくら''が用いられている．
認識結果の単語誤り率は，訂正によって$23.1\%(3/13)$から
$30.8\%(4/13)$へと増加しているが，
訂正結果の翻訳結果は正解と意味的にほぼ同等であり，
主観評価ではdからaへ改善している．

\subsection{入力会話を含まないデータベースにおける問題}

入力会話を含まないデータベースを用いた訂正では，
入力の正解がデータベース中に用例として含まれることが保証されない．
このような条件下では，
(I)入力の誤りを適切に訂正するのに有効な用例が
データベース中に存在しないために訂正結果が得られない，
もしくは，
(II)不適切な用例の適用により，正解と意味の異なった訂正結果を得る，
といった問題に直面する．
前者は，訂正必要と判断された発声に対する訂正可能の発声の割合に
顕著に現れており，また後者は，
以下に示す実例の通りである．

\begin{center}
\begin{tabular}{|ll|}
\multicolumn{2}{c}{入力会話を含まないデータベースによる不適切な訂正結果(1)}\\
\hline
正解: & はいよく撮っていただけると思います \\
認識結果: & はい{\bf 約とっ}ていただけると思います \\
訂正結果: & はい{\bf 味わっ}ていただけると思います \\
\hline
正解翻訳: & "Yes , I think {\bf you} could take {\bf a photograph well} ." \\
認識翻訳: & "Yes , I think could take {\bf about} ." \\
訂正翻訳: & "Yes , I think you {\bf can taste} ." \\
\hline
\multicolumn{2}{c}{入力会話を含まないデータベースによる不適切な訂正結果(2)}\\
\hline
正解: & すみません{\bf できれば}バス付の部屋がいいのですけども \\
認識結果: & すみませんできればバス付の部屋{\bf ない}のですけども \\
訂正結果: & すみませんバス付の部屋{\bf は無い}のですけども \\
\hline
正解翻訳: & "Excuse me , {\bf if possible} , a room with a bath {\bf is good} ." \\
認識翻訳: & "Excuse me , if possible , {\bf there isn't} a room with a bath ." \\
訂正翻訳: & "Excuse me , {\bf there isn't} a room with a bath ." \\
\hline
\end{tabular}
\end{center}

1番目の例では，``よく撮って''に対して認識結果は
``{\bf 約とっ}て''となっており，両者は音韻的に非常に近い．
しかし，データベース中に正解の用例が含まれていないため，
訂正結果では別の用例からの``{\bf 味わっ}て''が用いられている．
また，2番目の例では，``部屋がいい''に対して認識結果では
``部屋{\bf ない}''となっている．
訂正結果ではこの誤り部分``部屋{\bf ない}''を
``部屋{\bf は無い}''に置換し，
さらに``{\bf できれば}''を削除している．
これらの訂正結果は，正解とは意味が異なるが，
音韻的距離と意味的距離の判断に基づき
妥当な訂正結果と判断されている．
このような
(1){\bf 用例の不足による訂正の失敗}，および
(2){\bf 意味の異なる誤った訂正の出力}，
といった入力会話を含まないデータベースで顕著な問題は，
今後，{\bf 用例の不足の解消}や
{\bf 訂正候補の妥当性判断の高精度化}
などの課題として解決されて行かなければならない．

\subsection{入力に対するデータベースのオープン性}

実験では，入力会話を含まないデータベースを
入力に対してオープンなデータベースとして用いている．
ここで，我々は同一もしくは類似した用例がデータベース中の
複数会話に出現することを仮定している．
この{\bf データベースにおける用例の冗長性の仮定}が
著しく破られているとすると，
誤り訂正実験において有用な結果は期待できない．

入力に対してデータベース中に同一，もしくは類似した
用例がどの程度存在するかを調べる方法としては，
データベース中のすべての用例の中から，
入力に対する類似度の高いものを求めるような方法が考えられる．
入力と用例の類似度としては，DPマッチングを用いて計算される
編集距離や，(連続)一致単語列の長さなどを用いることが考えられる．
データベースのオープン性の評価は検討中であり，
誤り訂正の効果と使用するデータベースのオープン性との関係に
ついては，今後さらに検証を行なっていく必要がある．



\section{おわりに}

本稿では，テキストコーパスを用いた音声認識誤りの訂正手法を提案し，
音声翻訳における有効性を実験的に検証した．

訂正が必要と判断された発声に対して，
実際に訂正が可能であるかどうかは，その誤りの程度と密接に
関係していることが分かった．
実験では，訂正が必要({\bf 訂正不可}，{\bf 訂正可能}の和)と
判断された発声のうち，単語誤り率が40\%以上の発声では9割近くが
{\bf 訂正不可}と判断されたが，
単語誤り率が40\%未満の発声では逆に7割が{\bf 訂正可能}と判断された．
{\bf 訂正可能}の単語誤り率では，$30.5\%$から$18.1\%$へと$12.4$ポイント
減少しており，テストセット全体に対する単語誤り率でも，訂正の前後で
$33.1\%$から$30.8\%$へと$2.3$ポイントの減少が見られた．
すなわち，誤りのひどい発声に対する訂正は困難であるが，
単語誤り率が40\%未満の発声に対しては有効な訂正結果が得られることが
分かった．
翻訳率でも，テストセット全体で$60.7\%$から$66.1\%$へと$5.4$ポイントの
増加が見られ，誤り訂正によって翻訳の品質が向上することが確認された．

また実際の音声認識を対象とした実験では，
(I)誤り単語の品詞によらず有効であること，
(II)``削除''誤りは``挿入''誤り，``置換''誤りと比べて
効果が少ないことが確認された．

今後，データベース中の用例のより効果的な利用方法を検討するとともに，
認識結果の訂正必要性判断，および訂正候補の妥当性判断の精度向上を図る必
要がある．
後者に関しては，意味的距離，音韻的距離の他に，音響モデル，言語モデルの
尤度の利用，さらに発話状況，会話ドメインなどの文外情報の利用などが考え
られる．

\acknowledgment

本研究を行なうにあたり，貴重な機会を賜わりましたATR音声翻訳通信研究所
の山本誠一社長，第3研究室の白井諭室長，また有意義なコメントを頂きまし
たATR音声翻訳通信研究所の皆様，角川類語新辞典を提供して頂きました角川
書店に深く感謝いたします．


\bibliographystyle{jnlpbbl}
\bibliography{paper-ishikawa}

\begin{biography}
\biotitle{略歴}
\bioauthor{石川 開}{
1996年東京大学大学院理学系研究科物理学専攻修士課程修了.
同年NEC入社.1997年ATR音声翻訳通信研究所出向.
現在,NEC情報通信メディア研究本部,研究員.
自然言語処理,音声翻訳の研究に従事.
情報処理学会会員.
}
\bioauthor{隅田 英一郎}{
1982年電気通信大学大学院計算機科学専攻修士課程修了.
1999年京都大学工学博士.
ATR音声言語通信研究所主任研究員.
自然言語処理,並列処理,機械翻訳,情報検索の研究に従事.
情報処理学会,電子情報通信学会各会員.
}

\bioreceived{受付}
\bioaccepted{採録}

\end{biography}

\end{document}
