\documentstyle[epsf,jnlpbbl]{jnlp_j_b5}

\setcounter{page}{111}
\setcounter{巻数}{5}
\setcounter{号数}{4}
\setcounter{年}{1998}
\setcounter{月}{10}
\受付{1998}{4}{1}
\採録{1998}{7}{10}

\setcounter{secnumdepth}{2}

\title{意味的類似性を用いた音声認識正解部分の特定法と\\正解部分のみ翻訳する音声翻訳手法}
\author{脇田 由実\affiref{ATR} \and 河井 淳\affiref{ATR}
\and 飯田 仁\affiref{ATR}}
\headauthor{脇田 由実・河井 淳・飯田 仁}
\headtitle{意味的類似性を用いた音声認識正解部分の特定法と正解部分のみ翻訳する音声翻訳手法}

\affilabel{ATR}{ATR 音声翻訳通信研究所}
{ATR Interpreting Telecommunications Research Laboratories}

\jabstract{音声対話および音声翻訳システムを実現するためには, 自由発話文
の音声認識誤り文に対する解析誤りの問題を解決する必要がある. その解決のた
めに, 文法以外の制約を積極的に用いて認識誤り文から正しく認識された部分を
特定するしくみを新たに導入し, 特定された部分, 或は, 特定されなかった部分
を修復しながら, 文を解析することが必要となる. 本論では, 予め学習された話
し言葉の表現パターンと入力文における表現パターンとの意味的類似性を用いて, 
認識結果文から正しく認識された部分を特定する手法を提案する. \\
さらに, 本正解部分特定法を音声翻訳システムに導入し, 音声認識結果の正解部
分のみを部分翻訳するシステムを作成した. このシステムを用いて正解部分特定
法の効果を評価し, その結果から次の効果を確認した. 本正解部分特定法により
特定された部分の信頼性は高く, 特定した部分の96\%が実際に正解部分であった. 
また, 特定された部分のみを提示することにより, 誤り文をそのまま誤った意味
に理解してしまう割合を半分以上軽減することができた. さらに, 特定された正
解部分のみを部分翻訳した結果, 従来翻訳できなかった誤り文の約７割に対して, 
正しいかもしくは部分的に正しく意味を理解できる翻訳結果を得ることができた. }

\jkeywords{音声翻訳，部分翻訳，正解部分特定，意味的距離}

\etitle{Correct part extraction from speech\\
recognition results using semantic dictance\\
calcuation and speech translation\\ 
by translation of extracted parts only\\
}
\eauthor{Yumi Wakita \affiref{ATR} \and Jun Wakita \affiref{ATR}
\and Hitoshi Iida \affiref{ATR}}

\eabstract{This paper proposes a method for extracting the correct parts
from speech recognition results by using an example-based approach for
parsing those results that include several recognition errors.\\
Correct parts are extracted using two factors: (1) the semantic distance
between the input expression and example expression, and (2) the
structure selected by the shortest semantic distance.\\
The examination results showed that the proposed method is able to
efficiently extract the correct parts from speech recognition
results. About ninety-six percent of the extracted parts are
correct. The results also showed that the proposed method is effective
in understanding misrecognition speech sentences and in improving speech
translation results. The misunderstanding rate for erroneous sentences
is reduced about half. Sixty-nine percent of speech translation results
are improved for misrecognized sentences.}

\ekeywords{speech translation, partail translation, correct part extraction, senmantic distance}

\begin{document}
\maketitle








\section{はじめに}

連続音声認識において，N-gramと呼ばれる統計的手法に基づいた言語モデルが広く使用
されており(Bahl, Jelinek and Mercer 1983), 限られた探索空間上で認識精度を向上させるためには，信頼できる単語連鎖統計値を得るための大量のデ−タを用いて, 大きなＮ値に設定されたN-gramを用いるのが効果的である. 
しかし, 大量のデータを用意することは非現実的であり, 実際には小さいＮ値であるbi-gramやtri-gramなどを用い，２単語や３単語など局所的な単語連鎖にのみ制約を与えて使用している. 
従って, 単語N-gramモデルを用いた認識誤りには, Ｎ単語以上, 実際には３から４単語以上からなる長い単語連鎖部分から判断すれば不自然なものが多い. 
音声対話や音声翻訳システムを実現するためには，上記のような認識誤りの特徴を考慮した上で, 認識誤り文を解析できる手段が必要となる. 

従来, 文脈自由文法に則って非文法的な文を解析する手法が提案されており
(Saitou and Tomita 1988; Mellish 1989), 一部の音声認識誤り文の解析にも有効であることが確認されている．
また，それを音声翻訳システムに導入した例も紹介されている(Lavie, Gates, 
Gavalda, Mayfield, Waibel and Levin 1996a). 
これらは，入力文中に解析できない部分があったとき，その部分を削除, あるいは他の単語を挿入，置換しながら解析を続行することにより，音声認識誤り文の解析を可能にしている. 
しかしこの方法は，基本的には, 誤認識さえなければ文全体を文法で記述することが可能であることを前提としている. 
実際の自然発話文に頻繁に出現すると思われる文法記述が困難な文を十分に解析できないのが問題となる. 

一方, 文全体を文法で記述することが困難であると思われる自然発声文の解析を可能とするために，発声の際のポーズで区切られた単位を１部分として, 文全体を部分毎に分け, 各々の部分文を部分木で記述し, この部分木を列挙したもので文全体を記述する方法も提案されている(竹沢, 森元 1996b). 　
この方法は自由発話文の解析を可能とする上で効果的な方法である. しかし，上記部分木もN-gramモデルと同様に, 局所的な一部分文の範囲で解析を行なうものであり，認識処理で不足している「長い単語連鎖からなる大局的な言語的制約」を補うものではない. 
従って，局所的には既に制御されている認識誤り文を誤りであると判断できず, 誤ったまま解析してしまうという問題がある. 

さらに，これら従来の解析方法は文脈自由文法による文法的制約を基本としているが
, 意味的な整合性を判断した解析ではないため, 文の「不自然さ」を判断するには不十分であると考えられる. 

我々は, 自由発話文の音声認識誤り文を解析するためには，文法以外の制約を積極的に用いて, 認識誤り文から正しく認識された部分を特定するしくみを新たに導入し, 特定された部分のみを対象として, または特定されなかった部分を修復しながら, 文を解析することが必要であると考えている. 
そこで本論では, その第１歩として, 単語N-gramのNの範囲を越えた大局的な部分を対象に, その意味的な自然性を判断することにより，認識結果文から正しく認識された部分のみを特定する方法を提案する. 
以下２章ではこの正解部分特定法について述べ，３章では日英翻訳システムを用いた正解部分特定法の評価結果について報告する．

\section{正解部分特定法}

\subsection{Constituent Boundaryを用いた自由発話文の解析}

自由発話文の翻訳をめざして，変換主導型機械翻訳（Transfer Driven Machine Translation 以下TDMTと記述する）と呼ぶ音声翻訳手法が提案されている(古瀬, 隅田, 飯田 1994a). 
TDMTでは, 自由発話文に頻繁に出てくる文法記述の困難な言い回しを取り扱うために, 実際の自由発話文に現われる種々の単語間の依存関係を表現パターンとして記述し, これらの表現パターンとその対訳とを蓄積しておく. 実際の翻訳の際には, 入力された文に類似した表現パターンを選択し, その対訳パターンを用いて翻訳を行う. 
この表現パターンには次の特徴がある. 

\vspace{0.5cm}

\begin{itemize}
\item[特徴１：] 表現パターンは表現を決定するマーカーと変数から構成されており, マーカーは機能語, 変数は内容語である場合が多い. 
たとえば「京都のホテル」という学習文における表現パターンは「ＸのＹ」となり, この際のマーカーは「の」, 変数Ｘ及びＹは「京都」と「ホテル」となる. 
このように多くの表現パターンは, 変数に相当する内容語間の依存関係を, マーカーに相当する機能語で表していることになる. 
\item[特徴２：] 表現パターンの単位は, 話し言葉の意味を理解する上での最小単位であることを基本とするため, パターンの長さは単語から句, 文まで様々である. この単位をconstituent boundary(CB)と呼ぶ. 
\end{itemize}

\vspace{0.5cm}

入力文に類似した表現パターン候補は複数選択されることがある. 
その中から最も適切な学習パターンを選択するために, 学習された表現パターンの変数に相当する単語と入力文の単語間との意味的な類似性を調べ, 入力文に含まれる単語と最も類似した単語を含んでいる表現を選択している(隅田, 古瀬, 飯田 1994b). 
この意味的距離は意味シソーラス辞書に従って算出される. 
この最適表現パターンの探索は, left-to-rightのボトムアップ探索処理にて行なわれる. 従って, もし文全体に相当する表現パターンが探索できなくても, 部分文に相当する表現パターンは探索可能である(Furuse and Iida 1996c). 


\subsection{正解部分の特定法}

上記のCBによる解析法で用いた表現パターンと解析結果を用いて，認識結果文から正しく認識された部分のみを特定する方法を提案する. 
正解部分の特定に上記解析法を用いる長所を以下に述べる. 

\vspace{0.5cm}
\begin{itemize}
\item[(a)] 文脈自由文法に基づいた文法規則では，話し言葉も音声認識誤りも同様に解析が困難であるため, 両者の区別がつかない場合が多かったが，上記解析法では実際の話し言葉の表現を学習することにより, 解析できない部分を音声認識誤りと判断できる
可能性がある. 
\item[(b)] 上記解析法で扱う表現パタ−ンは，N-gramのＮ個以上の単語からなるものも多くある. この表現パターン単位で文の自然性を判断することで, N-gramよりさらに大局的な部分を評価できる枠組である. 
\item[(c)] 解析をボトムアップに行っているため，文全体が解析できなくても，部分的な解析が可能である. 
\end{itemize}
\vspace{0.5cm}

音声認識の際に考慮されていない「大局的な部分」からの「意味的な不自然さ」を判断するために, 具体的には, 「入力文と学習文との単語は意味的類似性」と「１つの表現パタ−ンの形態素長」に注目して正解部分を特定する. 

正解部分特定条件は次の２つである. 
\vspace{0.5cm}

\begin{quote}
\begin{itemize}
\item[条件１：] ある入力文中の表現パターンが音声認識誤りを含んでいる場合には，学習パターン内の単語との意味距離値は大きくなると予想される．意味距離値が一定値より小さい表現パタ−ンを正解部分とする．
\item[条件２：] 単語N-gramにより制御された認識結果は, N個以下の単語からなる部分については既に制御されており, 結果が正解であるか誤りであるかに無関係に「自然」な系列である場合が多い. 従って, N+1個以上からなる範囲から判断して「自然」である場合のみ, 正解部分とする. 
\end{itemize}
\end{quote}
\vspace{0.5cm}

\begin{figure}
 \begin{center}
 \epsfile{file=example.ps,width=80mm}
 \end{center}
\vspace{-4mm}
 \caption{正解部分特定例}
 \label{fig:example}
\end{figure}


\subsection{正解部分の特定手順}

なるべく大局的な部分から優先して正解部分の特定を行なうために, ボトムアップに行なわれた解析結果を, トップダウンに判断しながら特定していく. 
具体的には, 次の手順で正解部分の特定を行なう. 

\vspace{0.5cm}

\begin{itemize}

\item [手順１：]長い語句の範囲の表現パターンから順にその意味的距離を判断
      し, 意味的距離が閾値より小さい場合は, その範囲に含まれる全ての部分
      を正解部分とする. 

\item [手順２：]もし意味的距離が閾値より大きい場合には, その部分のどこか
      に誤りが含まれているとみなして, より小さい部分の表現パターンについ
      て(手順１)の処理を繰り返す. 
\item [手順３：]この処理が繰り返され, 非常に短い語句の範囲での局所的な語
      句からなる表現パターンを扱うに至る場合は, 対象となる短い部分は, 他
      の部分と依存関係がなく文全体から見て不自然な部分であると判断する. 
      そこで, 解析範囲に含まれている形態素数に下限閾値を設け, 解析範囲が
      細分化されてその形態素数が閾値に達した場合には, 意味的距離がたとえ
      小さくでも, その部分を誤り部分と判断する. 
\end{itemize}
\vspace{0.5cm}

図\ref{fig:example}に正解部分特定例を示す. これは単語bi-gramを用いた音声
認識結果文を解析した例である. まず音声認識結果に対しボトムアップな解析を
行なうことで, いくつかの部分文に対し表現パターンが適応され, 結果として, 
図\ref{fig:example}に示したような構造と意味的距離値が得られたとする. こ
こでたとえば, 形態素数の下限閾値をbi-gramのNより１つ大きい３, 意味的距離
の上限閾値を0.2とすると, この結果は次のように処理される. この結果では, 
「料金」が「料決ま」と誤認識しているため, 文全体としての解析は失敗してい
る. そこで, 解析できた部分で最も大きい表現パターンである「エエ それぞれ
おいくらなんですか」の意味的距離0.4を閾値と比較する. この場合は閾値を上
回っているので, この範囲のどこかに誤りがあるとみなし, 一段階小さな表現パ
ターン「それぞれおいくらなんですか」を処理する. この部分の意味的距離
0.005は閾値より小さいので, この部分は全て正解部分と特定する. まだ, 判断
していない残りの「料決ま」の部分の意味的距離は閾値より小さいものの, この
範囲に含まれる形態素数２が, 形態素数閾値の３未満であるので, この部分は誤っ
た部分と判断する. 

\section{評価}

\begin{figure}
 \begin{center}
\hspace{10mm} \epsfile{file=struct_fine.ps,width=100mm}
 \end{center}
 \caption{音声翻訳システム概要}
 \label{fig:struct}
\vspace{-2mm}
\end{figure}

実際の音声翻訳システムＴＤＭＴに上記の正解部分特定法を導入し, 特定された部分の
みの部分翻訳が可能な音声翻訳システムを構築した. 図\ref{fig:struct}にシステムの概要を示す. 
音声認識結果文はまず原言語解析部に入力され, 解析部は文全体, または部分文の構造と意味距離値を出力する. これらを用いて正解部分を特定し, 特定された部分文のみを
目的言語変換部に入力し翻訳を行なう. 
このシステムを用いて, 本正解部分特定法にて特定された部分文やその翻訳結果文を出力し, これらを以下の観点から評価した. 
（１）正解部分特定率. 
（２）特定された部分のみを提示した場合の全体文に対する文理解率
（３）特定された部分のみを翻訳した場合の翻訳文理解率

音声認識手法として, 音素ＨＭＭと単語bi-gram言語モデルを使った
マルチパス探索でワードグラフを出力する連続音声認識方式(Shimizu 1996d)を用いた. 
データベースには旅行会話データベース(Morimoto 1994c)の中の９
会話分（９話者119文）を用いた. 
本方法は正解部分をトップダウンに特定するため, 
正しい文が入力され文全体が従来の解析にて成功した場合には, 従来と同様, 文全体を
出力する. 
特定された部分のみを出力することの効果を評価するため, ここでは, この119文を用いて音声認識実験を行ない, 誤認識した70文のみを評価に使用した. 

\subsection{正解部分特定率}

\begin{figure}
 \begin{center}
 \epsfile{file=eval_rate1.ps,width=80mm}
 \end{center}
\vspace{-3mm}
 \caption{形態素数の閾値と正解部分特定率との関係}
 \label{fig:rate1}
\end{figure}

\begin{figure}
 \begin{center}
 \epsfile{file=eval_rate2_fine.ps,width=80mm}
 \end{center}
 \caption{意味的距離の閾値と正解部分特定率との関係}
 \label{fig:rate2}
\end{figure}


本方法の正解部分の特定性能を確認するために，正解であると特定した部分に
含まれる正解単語の再現率及び適合率を調べ，正解部分
の特定を行う前の音声認識結果文の再現率及び適合率と比較した．

\[
{\rm 再現率} = \frac{\mbox{結果文に含まれる正解単語数}}{\mbox{正解文の総単語数}}
\]

\[
{\rm 適合率} = \frac{\mbox{結果文に含まれる正解単語数}}{\mbox{結果文の総単語数}}
\]

正解部分の特定に使用した意味的距離の閾値と１つの表現パターンに含まれる
形態素数の下限閾値とを様々に変えた場合の性能の違いも合わせて評価した. 
図\ref{fig:rate1}, 図\ref{fig:rate2}に示された再現率, 適合率より, 
次の結果を得た. 
\vspace*{0.5cm}

\begin{itemize}
 \item [　結果1-1：] どのような閾値の条件下でも，正解単語適合率は92\%を上
       回っており，特定する前の認識結果と比較しても約15\%前後向上してい
       る．特定した部分が正解である信頼性は高い. 
 \item [　結果1-2：] 正解単語再現率は20\%前後低下しており，本方法が特定し
       きれない正解部分も多い. 
 \item [　結果1-3：] 形態素数の閾値については, 閾値が大きくなるほど適合率
       は向上する. 特に閾値が３以上の場合は, 閾値が２の場合と比べて適合
       率は大きく向上している. 

本実験では音声認識時に単語bi-gramを用いており, たとえ誤った単語であっても２単語連鎖間だけを取り上げると自然なものが多い. 
閾値が２の場合は誤った２単語連鎖を正解部分と特定してしまったことが, ３以上の場合に比べて適合率が低かった原因である. 

 \item [　結果1-4：] 形態素数の閾値が４以上になると再現率が極端に低下する. 
 \item [　結果1-5：] 意味的距離の閾値については，その値が小さくなるほど再
       現率は高く適合率が低くなる傾向がある．しかし，閾値の違いによる性
       能の違いは, 形態素数の閾値を変化させた時に比べて少ない．
\item [　結果1-6：] 意味的距離の閾値が0.2以下になると適合率は徐々に低下す
       る. 
\end{itemize}

\newpage

本方法は, 学習された表現パターンに基づく解析結果から正解部分を特定ため, 
たとえ正しく認識された単語であっても, 表現パターンと適合しなければ正解部分と特定されず, 再現率は低くなっている. 
しかし, 本方法による適合率は高く, これは特定された部分が実際に正解単語である信頼性は高いことを示している. 
従って, 単語N-gramにより制約された認識結果から正解部分を特定するために, 学習パターン及び入力パターンに出現する単語間の意味的類似性を用いる本方法は, 高い信頼度で正解部分を特定するのに有効であると考えられる. 

また, 正解部分特定性能は形態素数閾値の変動に対しては敏感であり, たとえば, 音声認識時の言語モデルの制約範囲より小さい値に閾値を設定すると適合率は低下する. 言語モデルの制約範囲を越えた形態素数閾値を用いることが必要である. 

\vspace{-3mm}
\subsection{特定部分文からの文理解率}
\vspace{-1mm}

\begin{table}
\caption{正解部分特定前後の文理解率の違い}
\label{tab:eval_under}
\begin{center}
 \begin{tabular}{|c||c|c|c|c|c|}
\hline
レベル       & (L1)   & (L2)   & (L3)   & (L4)   & (L5)  \\ \hline \hline
特定前       & 19.6\% & 22.0\% & 23.0\% & 35.5\% & 0.0\%   \\ \hline
特定後       & 20.3\% & 22.6\% & 36.8\% & 15.2\% & 5.4\% \\
\hline
 \end{tabular}
\end{center}
\end{table}

本正解部分特定法が, 文の意味を理解する上で有効かどうかを確認する. 
ここでは, 音声認識誤り部分を含んだ文全体を提示した場合（特定前）と, 本正解部分特定法により特定された部分のみを提示した場合（特定後）との, 各々の文理解度を評価した. 
形態素数および意味距離値の閾値は, 前章の実験での最適値(3と0.2)を設定した. 
評価方法は, 特定前及び特定後の各々の結果文とそれに相当する正解文を比較して, 次の５段階の評価レベルを結果文に与えるものである. 評価は日本人５名で行なった. ５段階の評価レベル内容を以下に示す. 
\begin{itemize}
\item[　(L1)] 正解と比べて同じ意味であると理解できる. 
\vspace*{-2mm}
\item[　(L2)] 少し不自然だが, 意味は理解できる. 
\vspace*{-2mm}
\item[　(L3)] 全体の意味はわからないが, 部分的には理解できる. 
\vspace*{-2mm}
\item[　(L4)] 間違えた意味にとってしまう. 
\vspace*{-2mm}
\item[　(L5)] 正解部分がない. 
\end{itemize}

各レベルにおける５名の平均回答数を評価結果を表\ref{tab:eval_under}に示す. 
次のことがわかった. 
\begin{itemize}
\item [　結果2-1：] 本方法にて特定された部分のみ提示することで, 誤った意
      味に解釈される文が半分以上減少した. （(L4)が35.5\%→15.2\%）
\item [　結果2-2：] 本方法にて特定された部分のみ提示することで, 正しく意
      味が伝えられた文は増加したが, その割合は僅かである. （(L1)と(L2)の
      和が41.6\%→42.9\%）
\end{itemize}

本正解部分特定法により特定された部分のみを提示することは, 認識誤り文がそのまま誤った意味に解釈されてしまう問題を軽減する効果があった. 
しかし, より正しい意味を伝えるための効果は僅かであった. 
これは, 正しい部分のみ提示しなくても, 評価者が誤った文を自ら訂正しながら読むことで, 正しい意味を理解できることを示している. 

\subsection{翻訳正解率に対する効果}

次に, 本正解部分特定法が, 翻訳結果に及ぼす影響を確認する. 
ここでは, 音声認識誤り部分を含んだ文全体を翻訳した場合（特定前）と, 本正解部分特定法により特定された部分のみを翻訳した場合（特定後）との, 各々の翻訳文理解度を評価した. 閾値の条件は前章と同様に設定した. 
評価方法は, 特定前及び特定後の各々の結果文の翻訳結果文とそれに相当する正解文をに対する翻訳結果文とを比較して, 次の５段階の評価レベルを翻訳結果文に与えるものである. 
評価は英会話能力の高い日本人３名で行なった. 評価レベルを以下に示す. (L1)から(L4)までは, 前章の文理解率を評価する評価基準と同じである. (L5)は, 特定された部分がない, または翻訳過程で処理が失敗するという理由で, 翻訳結果が出なかったときに相当する. 
\begin{itemize}
\item[　(L1)] 正解と比べて同じ意味であると理解できる. 
\vspace*{-2mm}
\item[　(L2)] 少し不自然だが, 意味は理解できる. 
\vspace*{-2mm}
\item[　(L3)] 全体の意味はわからないが, 部分的には理解できる. 
\vspace*{-2mm}
\item[　(L4)] 間違えた意味にとってしまう. 
\vspace*{-2mm}
\item[　(L5)] 翻訳ができない. 
\end{itemize}


\begin{table}
\caption{正解部分特定前後の翻訳率の違い}
 \label{tab:eval_trans}
 \center
 \begin{tabular}{|c||c|c|c|c|c|}
\hline
レベル       & (L1)   & (L2)   & (L3)   & (L4)   & (L5)  \\ \hline \hline
特定前       & 11.9\%  & 0\%    & 0\%    & 2.4\%  & 85.7\%   \\ \hline
特定後       & 25.7\%  & 16.7\% & 26.6\% & 21.0\% & 10.0\% \\
\hline
 \end{tabular}
\end{table}

各評価レベルにおける回答数の３名の平均値を評価結果を表\ref{tab:eval_trans}に示す. 次の結果が得られた. 
\begin{itemize}
\item [　結果3-1：] 従来11.9\%であった翻訳正解率が, 本特定法の導入後は約
      ２倍の25.7\%に向上している. 
\item [　結果3-2：] 本正解部分特定法の導入前は, 85.2\%の文が翻訳できなかっ
      たが, 本特定法の導入後は, 69\%（(L1)25.7\%＋(L2)16.7\%＋(L3)26.6\%）
      の文に対し, 正しいかもしくは部分的にも理解できる翻訳文を出力できた. 
\item [　結果3-3：] 本正解部分特定法の導入前は, 誤った意味に翻訳されるこ
      とはほとんどなかったが, 本特定法の導入後は, 誤訳文が21\%に増加した. 
\end{itemize}
以上の結果は, 本正解部分特定法が翻訳結果に及ぼす効果は大きく, 従来ほとんど翻訳できなかった誤認識文の約７割に対し, 部分的にも意味を理解できる翻訳文を出力可能であることを示している. 
また, 文全体を翻訳できなくても, 内容の理解に必要な語が認識されていれば, その部分のみを翻訳することで, ほぼ正しく理解できる翻訳結果が出力できていた. 
この結果は, 特定されなかった部分の修復を検討する際には, 特定されない部分を全て修復する必要ななく, 必要な単語のみの修復で十分であり, 場合によっては, 修復の必要がないものも多いことをを示唆している. 
先に述べたように, 本正解部分特定法による特定部分の適合率は高く, 特定された部分はほとんどが実際に正解部分である. 
しかし部分翻訳結果は, 特定された原言語部分の順序で相当する部分翻訳結果を並べて提示しているため, 各部分文は適切に翻訳されていたとしても, 部分文系列から判断すると誤った意味に翻訳される場合があり, 誤訳文が増加している原因はここにある. 
このような誤訳に関しては, 今後解決していく必要がある. 

最後に次章にて, 上記の翻訳結果の分析を通して, 本正解部分特定法の音声翻訳に及ぼす効果と悪影響について考察する. 

\vspace{-2mm}
\section{考察}
\vspace{-2mm}

従来の翻訳でも, 誤認識文の11.9\%に対しては正しく翻訳することができている. 
これは使用した翻訳システムTDMTが, 話し言葉に対応するために助詞や一部
の文末表現が欠落した言い回しを学習しており, 認識誤りがこれらの脱落誤りであった場合にでも正しく解析できたためである. しかし, 実際の話し言葉には存在しないような言い回しに誤認識した場合には, 翻訳することができなかった. 

本正解部分特定法の導入により, 効果が見られた誤認識文の特徴は, 
主に以下のものである. 
\begin{itemize}
\item [(a)] 表現パターン間の挿入誤り
\item [(b)] 文末の言い回しの誤り
\item [(c)] N個以上の単語からなる不自然な表現への誤り
\item [(d)] 学習データに稀な表現への誤り
\end{itemize}
また, 誤認識ではないが, 従来翻訳できなかった文が, 本方法にて翻訳可能になったものに, 次ののもがある. 
\begin{itemize}
\item [(e)] 複数文からなる発話
\end{itemize}
また逆に, 本正解部分特定法を導入することで誤訳してしまった文の主な特徴は, 次のものである. 
\begin{itemize}
\item [(f)] 文末の, 人称, 立場, 肯定文か否定文か, などを決定する表現の誤り
\end{itemize}

以下に, 上記の各々の項目を実際の例を用いて説明する. 

\subsection{表現パターン間の挿入誤り}

\begin{table}
\caption{挿入誤りに対する部分翻訳結果例}
\label{tab:ex_error1}
\center
\begin{tabular}{|l|l|}
\hline
入力文 & 電話番号は五二七九です\\
          & ( The telephone number is five two seven nine )\\ \hline
認識結果  & 電話番号は \underline{っお} 五二七 \underline{あっ} 九です \\ \hline 
正解部分特定結果 & 電話番号は .. .. 五二七 .. .. ..\\ \hline
部分翻訳結果     & The telephone number .. .. five two seven .. .. .. \\ \hline 
 \end{tabular}
\end{table}

自由発話文では, 「ええ」や「あ」や「ん」などの冗長語が多く話されるため, 
音声認識では, これらの単語を認識単語として登録している場合が多い. 
ところが, 日本語の冗長語は, 短音素で構成されているものが多く, 認識時には, 他の単語の一部が, 度々, 冗長語と誤って認識されてしまう傾向がある. 
さらに, 冗長語は文全体のどこで話されるかが予測しにくく, 単語N-gramの枠組では制御しにくい性質がある. 
これらの理由で, 音声認識結果では, この冗長語の挿入誤りが頻繁に起こる. 

表\ref{tab:ex_error1}は冗長語の挿入誤りのために, 従来の翻訳処理では翻訳できなかった認識誤り文の例である. 正解部分を特定して翻訳することで, 「電話番号は」や「五二七」などの翻訳結果を出力することができている. 
ただし, 「九です」は, 冗長語「あっ」の挿入のために, 他の部分とは独立している２形態素の局所的な部分であるとみなされ, 正解部分と特定することができなかった. 

\subsection{文末表現の誤り}

\begin{table}
\caption{文末での置換誤りに対する部分翻訳結果例}
\label{tab:ex_error2}
\center
\begin{tabular}{|l|l|}
\hline
入力文 & 部屋の予約をお願いしたいんですけれども. \\
               & (I would like to reserve the room.)\\ \hline
認識結果  & 部屋の予約をお願いしたい \underline{ねすとも} \\ \hline
正解部分特定結果 & 部屋の予約をお願いしたい .. .. ..\\ \hline
部分翻訳結果     & .. .. .. would like to reserve the room  \\ \hline
 \end{tabular}
\end{table}


間接的な表現や丁寧な表現が文末で話されることが頻繁にあり, 
文末の発声が不明瞭な場合は, この部分で認識誤りが起こることも多い. 
しかし, これらの表現が聞き取れなくても問題なく文の内容が理解できることも多く, 
そのような場合には, 文末に至るまでの部分のみを翻訳することで, 
ほぼ意味が理解できる翻訳文を出力することができる. 

表\ref{tab:ex_error2}は文末での丁寧な表現の部分で音声認識誤りを起こした
例である. 前半部のみを特定し翻訳することで, 意味の理解できる翻訳結果を出力
することができている. ただしこの例の場合は, 文末表現が人称を決定しているため, 
主語の「I」を翻訳することはできなかった. 

\subsection{N個以上の単語からなる不自然な表現への誤り}

\begin{table}
\caption{大局的にみて不自然な表現に対する部分翻訳結果例}
\label{tab:ex_error3}
\center
\begin{tabular}{|l|l|}
\hline
入力文   & お部屋のご希望はございますか ? \\
         & ( Do you have any preference for the room )\\ \hline
認識結果 & \underline{親子} のご希望はございますか ? \\ \hline
正解部分特定結果 & .. gokibou wa gozai masu ka \\ \hline
部分翻訳結果   & Do you have any preference ..?  \\ 
\hline 
 \end{tabular}
\end{table}

単語N-gramにおけるN個の単語を越えた大局的な範囲で判断した時に, 
不自然であると思われる認識誤りは, 認識時には発見されない. 
本方法で正解部分を特定することにより, このような誤りを発見できる利点がある. 

表\ref{tab:ex_error3}は, 入力文の「お部屋」を「親子」と誤って認識した例である. 
しかしこの例では, 単語bi-gramで制御されている単語の２連鎖間の関係には
不自然さはなく, 文頭に「親子」と話すことも, 「親子」＋「の」の連鎖で話すことも
不自然ではない. 
しかし, 「親子」＋「の」＋「ご希望」の３連鎖でみると, その内容は少し不自然で
ある. 
本正解部分特定法を用いると, 「親子のご希望」の意味的距離値が閾値を越えることから, 「親子の」が除去され「ご希望はございますか」のみ翻訳することができる. 

\subsection{学習データに稀な表現への誤り}

\begin{table*}
\caption{学習データに稀な表現に対する部分翻訳結果例}
\label{tab:ex_error4}
\center
\begin{tabular}{|l|l|}
\hline
入力文   & 鈴木直子と言います\\
         & (I am Naoko Suzuki) \\ \hline
認識結果 & 鈴木直子と\underline{い}ます\\ 
         & (I stay with Naoko Suzuki) \\ \hline
正解部分特定結果 & 鈴木 直子 と .. ..\\ \hline
部分翻訳結果     & .. .. Naoko Suzuki \\
\hline
 \end{tabular}
\end{table*}

本翻訳システムは用例主導型のアプローチを採用しており, 一般に構造的または
意味的に曖昧性を含む文が入力されても, 既に学習された表現パターン採用することで, その曖昧性を解消することができる. 
そのために, 認識誤りの結果, 学習データには存在しないが一般には不自然ではな
い文に誤ってしまった場合でも, 誤ったまま翻訳は行なわず, 正解部分を特定して
部分的にのみ翻訳することができる. 

表\ref{tab:ex_error4}は, 入力文中の「言い」が「い」と誤認識した例である. 
しかし, 認識結果の「鈴木直子といます」は, 一般的には自然な文であり, 誤りを
判断することは難しい. 
しかし, 本旅行案内タスクの学習データには稀な文であるため, 意味距離値が閾値を
越えてしまい, 「鈴木直子と」の部分のみを翻訳することができた. 

\subsection{複数文からなる発話文の翻訳}

音声認識結果に誤りがなくても, 一発話に複数の文が含まれている場合には, 
従来の翻訳システムでは文の境界を解析できないため, 翻訳結果を出力できなかった. 
本方法を用いることで, 各文を独立に翻訳することが可能となるため, 
結果的には, 文境界を検出して各文を翻訳した場合と同じ結果を出力することが
可能となる. 
たとえば一発話として「わかりました, ありがとうございました」と発声した場合, 
従来の翻訳システムでは, 結果を出力できなかったが, 本部分翻訳を行なうことで, 
「I see, thank you very much」と翻訳することができた. 

\subsection{正解部分のみを翻訳することによる誤訳}

\begin{table*}
\caption{文末表現の認識誤りに対する部分翻訳の誤訳例}
\label{tab:ex_error5}
\center
\begin{tabular}{|l|l|}
\hline
入力文 & 都合で泊まれなくなった\\ 
       & (I can't stay for some reason) \\ \hline
認識結果 & 都合で泊まれ ＿＿ なった \\ \hline
正解部分特定結果 & 都合で泊まれ .. \\ \hline
部分翻訳結果     & .. can stay for some reason \\ 
\hline 
 \end{tabular}
\end{table*}

文末での, 肯定文か否定文か, あるいは, 平叙文か疑問文か, を決定する表現
が認識誤りを起こした場合, 本方法で特定された部分文のみ翻訳することで, 
違った意味に解釈される翻訳文を出力してしまうことがある. 

表\ref{tab:ex_error5}の例は, 入力文中の「なく」という否定を表す助動詞
が, 認識されず欠落してしまった例である. 結果的に, 「都合で泊まれ」のみが
特定され, 正しくは, 「can not」と否定文として翻訳されるべきものが, 
「can」と肯定文となり, 逆の意味に翻訳されてしまった. 

\section{まとめ}

自由発話文における音声認識誤り文を解析するために, 予め学習された話し言葉の表現パターンと入力文における表現パターンとの意味的類似性を用いて, 認識結果文から正しく認識された部分を特定する手法を提案した. 
さらに, 本正解部分特定機能を音声翻訳システムに導入し, 音声認識結果の正
解部分のみを部分翻訳するシステムを構築した. 

本正解部分特定率の評価は, 本方法が特定した部分の96\%が実際に正解
部分であり, 高い信頼度で正解部分を特定できることを示していた. 
また, 本正解部分特定法が文の意味の理解に及ぼす効果を評価した. 認識結果から特定された部分のみを提示することは, 誤りを含んだ認識結果をそのまま提示するよりも誤った意味に理解してしまう割合を半分以上軽減する効果があった. 
さらに, 特定した正解部分のみを部分翻訳することで, 従来翻訳できなかった誤り文の約７割に対して, 正しいか部分的にも正しい意味が理解できる翻訳文を出力できる効果が示された. 
このことは, 音声認識誤り文に対して誤り部分を全て修復しなくても, 必要な部分のみ
の修復, 場合によっては修復を行なわなくても, 意味の通じる音声翻訳が可能であることを示唆している. 
今後は, 音声認識誤り文に対する高品質な翻訳をめざして, 十分に意味が理解できなかったり, 誤った翻訳結果を出力した翻訳結果に対して, 特定できなかった部分の修復対策を検討する予定である. 


\begin{thebibliography}{}

 \bibitem[]{} Bahl,L.R., Jelinek,F., and Mercer,R.L.(1983). ``A Maximum
 Likelihood Approach to Continuous Speech Recognition,'' {\it IEEE
 Trans. on Pattern Analysis and Machine Intelligence}, 179-199.

 \bibitem[]{} Furuse,O. and Iida,H. (1996c). ``Incremental Translation
 Utilizing Constituent Boundary Patterns'' {\it proc. of COLING'96},
 412-417.

 \bibitem[]{} 古瀬蔵, 隅田英一郎, 飯田仁 (1994a).``経験的知識を活用する変換主
 導型機械翻訳''情報処理学会論文誌, Vol.35(3), 414-425.

 \bibitem[]{} Lavie,A., Gates,D., Gavalda,M., Mayfield,L., Waibel,A. and
 Levin,L.(1996a).  ``Multilingual Translation of Spontaneously Spoken
 Language in a Limited Domain''.  {\it Proc.of 16th ICCL}, 442-447.

 \bibitem[]{} Mellish,C.S.(1989). ``Some chart-based techniques for parsing
 ill-formed input.''  {\it proc. of the Annual Meeting of the ACL},
 102-109.

 \bibitem[]{} Morimoto,T., et al. (1994c). ``A Speech and language
 database for speech translation research'' {\it Proc. of ICSLP'94},
 1791-1794.

 \bibitem[]{} Saitou,H. and Tomita,M. (1988). ``Parsing noisy sentences,''
 {\it proc. of COLING'88}, 561-566.

 \bibitem[]{} Shimizu,T., Yamamoto,H., Masataki,H., Matsunaga,S. and
 Sagisaka,Y. (1996d).  ``Spon\-taneous Dialogue Speech Recognition using
 Cross-word Context Constrained Word Graphs'' {\it proc. of ICASSP'96},
 145-148.``

 \bibitem[]{} 隅田英一郎, 古瀬蔵, 飯田仁 (1994b).``英語前置詞句係り先の用例
 主導あいまい性解消''電子通信学会論文誌 D-II, Vol.J77-D-II(3), 557-565.

 \bibitem[]{} 竹沢寿幸, 森元逞 (1996b).``部分木に基づく構文規則と前終端記号バ
 イグラムを併用する対話音声認識手法''電子通信学会論文誌 D-II,
 Vol.J79-D-II(12), 2078-2085.

\end{thebibliography}

\begin{biography}
\biotitle{略歴}

\bioauthor{脇田 由実(非会員)}
{
1982年, 九州芸術工科大学音響設計学科卒業. 
同年, 松下電器（株）入社. 
松下電器音響研究所, 中央研究所を経て
94年より, （株）エイ・ティ・アール音声翻訳通信研究所に出向. 
音声認識処理, 音声翻訳処理の研究に従事. 
98年より, 松下電器（株）中央研究所に戻り, 
現在, 音声言語処理関連の研究開発に従事. 
日本音響学会, 電子通信学会, 各会員. 
}
\bioauthor{飯田 仁(正会員)}{
1972年, 早稲田大学理工学部数学科卒業. 74年同大学院修士課程(数学専攻)修了. 
同年. 日本電信電話公社武蔵野電気通信研究所入社. 
日本電信電話株式会社基礎研究所を経て
86年よりエイ・ティ・アール自動翻訳電話研究所に出向. 
同研究所終了に伴い93年よりエイ・ティ・アール音声翻訳通信研究所に再出向.　
現在, 音声対話の理解・翻訳の研究に従事. 
95年度科学技術庁長官賞受賞. 96年度科学技術情報センター賞受賞. 
言語処理学会, 情報処理学会, 電子情報通信学会, 人工知能学会, 日本認知科学会, 
ACL 各会員.
}
\bioauthor{河井　淳(非会員)}
{
1991年, 大阪市立大学理学部物理学科卒業. 
同年, （株）東洋情報システム入社. 
93年より, （株）ＡＴＲ音声翻訳通信研究所に出向. 
3年半の出向期間を終え, 現在は（株）東洋情報システムに勤務. 
自然言語処理, 音声認識処理関連の研究開発に従事. 
現在, 機械翻訳システムの開発などに従事. 
}

\bioreceived{受付}
\bioaccepted{採録}
\end{biography}
\end{document}
