    \documentclass[japanese]{jnlp_1.4}
\usepackage{jnlpbbl_1.3}
\usepackage[dvips]{graphicx}
\usepackage{amsmath}
\usepackage{hangcaption_jnlp}
\usepackage{udline}
\setulminsep{1.2ex}{0.2ex}
\let\underline


\Volume{17}
\Number{4}
\Month{July}
\Year{2010}


\received{2009}{2}{17}
\revised{2009}{5}{12}
\rerevised{2010}{2}{15}
\accepted{2010}{3}{15}

\setcounter{page}{111}


\jtitle{音声合成のための韻律制御コマンド作成方法の検討}
\jauthor{水野　　理\affiref{Author_1} \and 阿部　匡伸\affiref{Author_2}}
\jabstract{
音声合成をより使いやすくかつ表現力豊かにするために，我々は階層型音声合成記述言語 MSCL を開発した．MSCLは記述という方法によりニュアンスや心情，感情などを合成音声に付加することが可能である．MSCLはS層，I層，P層の3つの階層を有し，初学者から音声学的知識を有する者まで対応可能にする．一方，MSCLのS層が提供する新たなコマンドの作成手法そしてI層に備わる韻律制御コマンドによって生じる聴感上の効果（印象）の検討は MSCL における課題となっていた．そこで，本研究は MSCL の課題である韻律制御と印象の関係について実験を通じて見出した，8つの制御規則を提案し，それぞれの主な印象について連想法を通じて分析した．また，制御規則を組み合わせて得られる印象の変化についても分析を行った．さらに，韻律制御コマンドを利用する上での留意点について言及する．音声合成での韻律制御を行うための1つのアプローチを提案する．
}
\jkeywords{音声合成，階層型記述言語，韻律制御}

\etitle{Study for Prosodic Control Command Generation of Synthetic Speech}
\eauthor{Osamu Mizuno\affiref{Author_1} \and Masanobu Abe\affiref{Author_2}} 
\eabstract{
The Multi-layered Speech/Sound Synthesis Control Language (MSCL) proposed \linebreak
herein facilitates the synthesizing of several speech modes such as nuance, mental state and emotion, and allows speech to be synchronized to other media easily. MSCL is a multi-layered linguistic system and encompasses three layers: and semantic level layer (The S-layer), interpretation level layer (The I-layer), and parameter level layer (The P-layer). This multi-level description system is convenient for both laymen and professional users. Furthermore, research was conducted into mental state tendencies using a test that examined the perceptions of the subject's sensibility to the control of synthetic speech prosody. The results showed the relationships between prosodic control rules and non-verbal expressions. These relationships are of use for constructing semantic prosody control. This paper describes these functions and the effective prosodic feature controls possible with MSCL.
}
\ekeywords{Speech Synthesis, Multi-layered Linguistic System, Prosodic Feature Control, Control Language}

\headauthor{水野，阿部}
\headtitle{音声合成のための韻律制御コマンド作成方法の検討}

\affilabel{Author_1}{日本電信電話株式会社 NTTサイバースペース研究所}{NTT CyberSpace Labs.}
\affilabel{Author_2}{日本電信電話株式会社 NTTサイバーソリューション研究所}{NTT CyberSolution Labs.}



\begin{document}
\maketitle


\section{はじめに}

近年の音声合成技術の進歩により合成音声によるカーナビのガイダンスやパソコンによるテキストの読み上げなど様々な場面で合成音声が聞かれるようになった．また，Webを読み上げるための取り組みが進められており，Webコンテンツを音声に変換するための議論がなされている\cite{SOUMU,Guidance,Dialogue}．
音声合成の分野においては従来からTTS (Text-to-Speech) \cite{MITalk,TTS}により電子化されたテキストを音声に変換する試みがなされてきた．メール，電子図書，Webページに至るまで様々なテキストを合成音声によって流暢に朗読する仕組みが検討されている．そして近年では，テキストに制御タグを挿入して音声合成の韻律パラメータを制御する
    アプローチ (VoiceXML; Raman and Gries 1997; SSML) がなされている．\nocite{VoiceXML,Raman,SSML}
韻律パラメータの制御により，従来の朗読調をベースとした合成音声をより表情豊かな音声に変えられることが分かっている．合成音声を音声対話など様々な分野で利用するためには音声に含まれる表現力を高めることが重要であり，そのために韻律パラメータの制御を行うための仕組みづくりが重要になってきている．
我々は，韻律パラメータの制御を行うための記述言語 MSCL (Multi-layered Speech/Sound Synthesis Control Language) \cite{MSCL}を開発し，記述による柔軟な韻律制御を実現した．読み上げ用の電子テキストに直接韻律制御コマンドを記述することで韻律制御が可能となった．本研究では，MSCLをより効果的に利用するための韻律制御コマンドの作成方法について述べ，専門的な知識がなくとも新たな韻律制御規則を作成可能にするアプローチについて1つの方向性を提案する．


\subsection{記述言語による韻律制御}

PML \cite{Ramming}から発展したVoiceXML \citeauthor{VoiceXML}は記述というスタイルにより，音声対話システムの制御を行うフレームワークであり，音声合成から音声認識に至るまでの制御を一元的に行うことで，電話の音声ガイダンスや自動応答を可能にしている．VoiceXMLのように制御タグにより音声合成の制御を行うことの利点は，テキスト処理の範疇で編集作業や情報の伝送が可能になることである．また，Webコンテンツなどの豊富な電子テキスト情報に制御コマンドを付与し読み上げを行うことが容易になる．インターネット上の豊富なテキスト情報を取り込み，テキスト処理と制御タグの挿入により柔軟な音声ガイダンスシステムが可能になる．
しかし，従来の音声合成の記述言語では音声合成で用いる韻律パラメータの制御（以下，韻律制御）をするための制御タグを新たに定義することはできず，利用できるタグの数も限られている．例えば，SSMLなどでは
\begin{verbatim}
　　　　<voice gender="female">天気は晴れです</voice>
　　　　<prosody rate="-10
\end{verbatim}
のように，声質の変更(gender)や話速(rate)などのパラメータの変更を行うことは可能であるが，複数のパラメータを同時に変更する場合は，タグの記述が膨大になり可読性が損なわれる可能性もある．
韻律パラメータを直接指定する制御タグが主体であるためにタグの名称から韻律制御によって期待しうる効果（印象）を予測することができない．
このように，従来法ではきめ細かな韻律制御や直感的な制御ができないといった問題があった．MSCLはきめ細かな韻律制御を行うコマンド群の層と直感的な韻律制御が可能になるコマンド群の層に分離し，韻律制御の自由度や使いやすさを高めている．次節において MSCL について述べる．


\subsection{MSCLによるアプローチ}

利用者が簡単に制作を行えるインタフェースの原則として以下の3点\cite{Stgif}にまとめられている．
\begin{itemize}
     \item[ア.] 初心者保護の原則：レポートとは何か
     \item[イ.] 熟練者優遇の原則：レポートの必要十分条件
     \item[ウ.] 上級利用移行支援の原則：利用者に対して特化手段を用意し利用を促進する枠組み
\end{itemize}

\begin{figure}[b]
\begin{center}
\includegraphics{17-4ia7f1.eps}
\end{center}
    \caption{MSCLの階層構造}
\end{figure}

MSCLは，音声合成で必要となるピッチやパワーなどの韻律パラメータ群であるP層と，その韻律パラメータを制御するためのコマンド群であるI層と韻律パラメータに1つの解釈を与えるコマンド群であるS層の3つの階層（図1）がある．I層のコマンドは韻律パラメータを直接指定可能であるため，熟練者はより詳細な音声合成の韻律制御が可能になる．S層のコマンドは効果を直感的に理解した上での韻律制御が可能になり，初学者でも利用可能になる．


MSCLの利点をまとめると以下の通りである．
\begin{itemize}
\item 記述というスタイルで合成音声に様々な表現力を与える
\item 階層構造の記述体系を持つことで，初学者から専門的知識を持つ利用者までの様々なレベルへの対応が可能になる
\item 新たなコマンドを定義し，利用者独自の韻律制御方法を生み出せる
\end{itemize}
図1中の韻律制御のための記述がそのまま制御コマンド名になっている．特にS層コマンドであれば直感的な利用が可能となり，I層のコマンドの組み合わせにより利用者が定義した新たな制御コマンドを作成することが可能になる．例えば，以下のように記述できる．
\begin{verbatim}
　　　　[duration](0.8){ [〜＼](20 Hz){はい} }
        @define: 相槌=duration, 〜＼(0.8, 20 Hz){}
        @相槌{はい}
\end{verbatim}
1行目は，I層コマンド“〜＼”により最終母音「い」のピッチを20~Hz降下させており，さらに，``duration''より継続時間長を0.8倍して話速を上げている．この韻律制御をまとめて，「相槌」というS層のコマンド名に置き換えているのが2行目である．そして，3行目からは「相槌」というコマンド名を使うことで韻律制御可能となる．これらの利点により，MSCLはロボットを使った対話システム\cite{Yamato}，メール読み上げシステム\cite{Nakayama}，など多種多様な音声表現が必要な場面で利用されている．


\subsection{MSCLにおける課題}

これらの利点に対し MSCL の課題は，新たな韻律制御コマンドの作成が容易ではないことにある．韻律制御という営みは，Sesign \cite{Sesign}が示すように韻律パラメータの操作により合成音声の音程を上げたり，継続時間長を伸縮させたりすることである．例えば“疑問”であれば，最終母音のイントネーションを上昇パターンにさせることは良く知られている．また，文中のある単語について“目立たせる”合成音声を生成するためには，対象となる単語のピッチパターンのダイナミックレンジを広くすることが1つの方法\cite{Iwata}とされる．このようにSesignでは合成音声から目的とする印象を想起できるようになるまで韻律パラメータの操作を繰り返した後に韻律制御方法が決定されるため，利用者が効率的に編集作業を行うには韻律制御による効果を習熟する必要がある．MSCLにおいても韻律制御を行うには，韻律パラメータをどのように制御すれば良いか予め知る必要がある．韻律制御と印象の変化に関する知識を容易に獲得できれば編集の時間を短縮することが可能になる．特に制御コマンド名として効果が表現されていれば便利である．これまで韻律制御と印象の関連性については，感情音声と呼ばれる喜怒哀楽をイメージしながらサンプルテキストを読み上げた音声と平常時に読み上げた音声との韻律パラメータの違いを比較するものが多い\cite{Hirose,Arimoto}．しかし，韻律制御を行った合成音声に対しどのような印象が得られるかを検討した報告はあまりない． そこで，合成音声の韻律制御によって音声の印象がどのように変化するかを調べ，MSCLのS層のコマンドとして利用者に提供する．本研究では，韻律制御方法の提案と韻律制御と印象との関係を明らかにするとともに，効果的に韻律制御を行うための方法について述べる．


\subsection{本研究のアプローチ}

本研究は，韻律制御と印象との関係について明らかにすることで，音声学的な知識をあまり有さない利用者でもMSCLのコマンド作成が可能になるための1つの方向性を与えるものである．
音声合成のための韻律制御という観点で言えば，大きく2つのアプローチが考えられる．

\begin{itemize}
	\item[ア.] コーパスベースのアプローチ：コーパス毎に韻律パターンを保持し，適切なパターンを選択する\cite{Corpus}
	\item[イ.]韻律生成規則ベースのアプローチ：朗読調の韻律生成規則をベースに，新たな規則を加えることで物理パラメータを制御する
\end{itemize}

ア.はプリミティブな韻律制御規則を組み合わせて新たな制御コマンドを作るというMSCLのアプローチに適用することが困難である．イ.は物理パラメータの制御規則を制御コマンドとして置き換えることで，値の変更や組み合わせが可能になる．従って，ここではイ.のアプローチで進めていくことにする．まず，従来の音声合成の韻律生成規則によって生成された韻律パラメータに対し，一定の変化を与える制御規則を規定することで新たな韻律制御規則を作成する．次に韻律制御と印象の関係について聴取実験を行う．韻律パラメータを変化させることによって，聴取者が合成音声に対しどのような印象を持つかを連想法により分析する．また，韻律制御と言葉の意味の影響により印象がどのように変化するかを調べる．




\section{韻律制御に基づく印象の抽出}

\subsection{韻律制御規則}

音声合成の韻律生成規則をベースにしてさらに韻律制御を行うための制御規則を決める．ベースとなる合成音声の韻律生成規則はFluet \cite{Hakoda,FLUET}で利用されているものである．このモデルでは，話調成分，アクセント情報，音調結合情報などが考慮されており，藤崎モデル\cite{Fujisaki}などのモデルとの共通点がある．これに対し，図2に示す8つの韻律制御規則を提案する．


\begin{figure}[t]
\begin{center}
    \includegraphics{17-4ia7f2.eps}
\end{center}
    \caption{8つの韻律制御規則}
\end{figure}

\begin{itemize}
\item Pattern1： 最終母音のピッチパターンを上昇
\item Pattern2： 最終母音のピッチパターンを降下
\item Pattern3： 音声全体の継続時間長を一律に伸長
\item Pattern4： 音声全体の継続時間長を一律に縮小
\item Pattern5： ピッチパターンの振幅値を収縮
\item Pattern6： ピッチパターンの振幅値を拡大
\item Pattern7： ピークまでのピッチパターンを下に凸に変形
\item Pattern8： ピークまでのピッチパターンを上に凸に変形
\end{itemize}

ここでは，文節を制御範囲（スコープ）とした制御方法を検討した．対話ロボットの音声や電話での応答を合成音声によって実現する場合，「そうです！」「本当？」などのワンフレーズで返す場面が多いことと，このようなワンフレーズでの音声の韻律パターンは
多様に変化することによるためである．そこで，文節を制御単位とした韻律制御を行うこととした．対象とする韻律パラメータはピッチと継続時間長のみである．パワーについては，合成方式が音声素片接続型を用いているため，大声小声のための制御というよりは制御結果が音量の大小として聴取されることから用いていない．
ピッチパターンの韻律制御については，ピッチパターンのピーク位置から最終母音の始点までの変形を行うとアクセント位置がずれたように聞こえることがあり，異なった言語情報として聴取される可能性が高い．つまり，「雨」が「飴」として聞こえてしまうようにアクセント型が変化したように聴取されることがある．そこで，この区間を除いて適用できる制御規則を用いた．始端からピーク位置の区間，最終母音の区間，全体の抑揚の強さ，の制御についてはパターンを変化させてもアクセント型が変化しないことから，この区間を対象とした6つの韻律制御規則を選択した．特にPattern1は疑問文， Pattern5は単語の強調に関係するといわれており，Patetern7，8について印象になんらかの変化を与える\cite{Kawakami}との報告がある．継続時間長については音韻毎の伸縮も考えられるが，ここでは話速に関係するPattern3，4を用いている．この8つのパターンはMSCLのI層のコマンドに相当する．これらのコマンドを用いて合成音声を作成し，その音声から感じ取れる印象を抽出する．


\subsection{連想法による印象の抽出}

韻律制御と印象の関係を調べるには，事前に対象にしたい言葉を選択しておき，その中から適切なものを被験者に選択させる方法がよく使われている．例えば，感性工学においてはSD法 (Semantic Differential Method) が多く利用されている．相対する意味の言葉の対（明るい—暗い，暑い—寒い，等）を事前に用意しておき，被験者が印象に近いものを選択するという方法であり，効率的に統計的なデータを導くことができる．しかし，まず事前の知識（タスク，対象分野，条件などの情報）に基づき言葉の対がどの種類の言葉であるかを予測しておく必要があり，さらにはいくつかの言葉の候補から統計的に絞り込むという作業を繰り返さなくてはならない．本研究では事前の知識が用意されないため，SD法で調査を実施するには無数の実験を繰り返さなくてはならない．そこで，最初に連想法を用いて韻律制御と印象の関係を導くことにした．連想法を使えば被験者が自由に想起した印象を述べることができる．その想起された言葉の傾向を分析し，事前の知識とすることで，どのような印象が最も適するかを調べることが可能である．今回の実験では，提案した8つのパターンにより韻律制御した合成音声を刺激音とし，被験者に想起する印象（連想表現）を全て述べさせた．そこから得られた連想表現の頻度を求めクラスター分析によりパターンを最も要約する印象を求めた．


\subsection{連想法による実験}

Fluetの生成する韻律パラメータをベースに8つのパターンにより韻律制御したものを音声資料とした．被験者はヘッドフォンによって音声資料を聴取した．合成音声はサンプリング周波数12\,kHz，男性音声を用いている．被験者は関東圏内に在住する25歳から35歳までの男性3名，女性2名の計5名である．音声資料が数百msecといった短いものでありこれを聞き取り判断しなくてはならないため，音声ラベリング作業などに従事し合成音声に慣れた者を被験者とした．音声合成を行う際の入力テキストは“本当（1型アクセント）”“大丈夫（0型アクセント）”“分からない（2型アクセント）”の3単語を用いた．

最初にFluetにより生成された朗読調の合成音声を基準音として被験者に聴取させた上で，韻律パラメータを変化させた音声資料を聴取し，連想する言葉やシチュエーションなどを述べさせた．実験中，音声資料は何度聞いても良く，回答のための制限時間も設けなかった．実験中の様子は録音され，試験終了後に被験者の回答を全て書き起こした．被験者あたりの実験の平均時間は約61分となった．書き起こした被験者の回答の中には，名詞句，形容詞句，擬態語，固有名詞（○○さん風など），長文などがあった．これらの回答から韻律制御を最もよく表す連想表現を調べるために次の処理を行った．

\begin{itemize}
\item 長文など複数の印象を示す表現が含まれる回答は，印象を的確に表すと考えられる表現ごとに分割を行う
\item 同義語などは，国語辞典などを参考に1つの単語に統一する
\end{itemize}

この処理の結果，各被験者が1つの音声資料を聴取した場合に回答された連想表現の数は，異なり語数として平均で約6.5語となった．8つのパターンから想起される印象の傾向については，上記の連想表現の出現頻度を求めることで可能である．しかし，3つの単語に共通に得られる印象を調べるためにクラスター分析\cite{Cluster}を用いた．
クラスター分析を行うにあたり，3つの単語“本当”“大丈夫”“分からない”のそれぞれの単語に出現した連想表現の出現頻度を用い，分析の項目として実験で現れた連想表現を用いた．クラスター間の距離計算はウォード法を用いた．


\begin{figure}[b]
\setlength{\captionwidth}{0.45\textwidth}
 \begin{minipage}{0.45\textwidth}
  \begin{center}
    \includegraphics{17-4ia7f3.eps}
  \end{center}
  \hangcaption{Pattern1の連想表現のクラスター分析結果}
  \label{fig:one}
 \end{minipage}
\hfill
 \begin{minipage}{0.45\textwidth}
  \begin{center}
    \includegraphics{17-4ia7f4.eps}
  \end{center}
  \hangcaption{Pattern2の連想表現のクラスター分析結果}
  \label{fig:two}
 \end{minipage}
\end{figure}

Pattern1の実験結果を図3に示す．樹状図の下の葉の部分が連想表現とその出現頻度である．実験では5名が3つの単語に対しそれぞれ印象を述べるため，連想表現の出現頻度の最大値は15となる．また，分析対象とする最小頻度は3とした．例えば，連想表現「問いかけ」については14回の回答があったことになり最大値に近い結果が得られた．「意外」については，被験者が連想した回数が少なく3回となっている．葉から延びた線の高さがクラスター分析による連想表現間の距離を示しており，仮に出現頻度が同じでも出現する単語に偏りがあれば，連想表現間の距離は遠くなるため，高さが異なったり枝分かれすることがある．さらに，高い位置で分岐している連想表現がそのクラスターを要約するものであるといえる．図3では，「問いかけ」が連想表現としての出現頻度が高く，3つの単語に共通に現れた連想表現であった．樹状図においても最も高い位置で分岐しており，これらのことからPattern1の与える印象の1つであるといえる．図の右側「驚き」「意外」「疑問」「確認」については，“本当”の連想表現として多く出現した．“本当”という真実を表す言葉と共に情報がうまく処理できていないことを表していると考えられる．「気遣う」は“大丈夫”の連想表現として多く出現した．“大丈夫”という状態がしっかりしている様を表す言葉と共に状態が安定していないということを表していると考えられる．「軽い」も“大丈夫”の連想表現として現れたが，落ち着いた状態でないことを表していることに関係していると考えられる．そして頻度の高かった「問いかけ」により，Pattern1 の韻律制御によって，情報の信頼性やシチュエーションに対して不安定な状況にあることを伝える効果を持つことが分かる．


Pattern2の結果を図4に示す．「了解」が連想表現としての出現頻度も高く，Pattern2の与える印象の1つであるといえる．中央「相槌」「冷静」は“本当” の連想表現として多く出現しており，落ち着いた状態を示していることが分かる．「答える」は“大丈夫”の連想表現として多く出現し，右側の「納得」は“分からない”の連想表現として多く出現したが，何れも落ち着いている状態を示しているといえる．そして頻度の高かった「了解」により，Pattern2 の韻律制御によって，真意をみとめた落ち着いた状態を示す効果を持つことが分かる．

\begin{figure}[b]
\setlength{\captionwidth}{0.45\textwidth}
 \begin{minipage}{0.45\textwidth}
  \begin{center}
 \includegraphics{17-4ia7f5.eps}
  \end{center}
  \hangcaption{Pattern3の連想表現のクラスター分析結果}
  \label{fig:three}
 \end{minipage}
\hfill
 \begin{minipage}{0.45\textwidth}
  \begin{center}
 \includegraphics{17-4ia7f6.eps}
  \end{center}
  \hangcaption{Pattern4の連想表現のクラスター分析結果}
  \label{fig:four}
 \end{minipage}
\end{figure}

Pattern3の結果を図5に示す．「ゆっくり」が連想表現としての出現頻度も高く，Pattern3の与える印象の1つであるといえる．右側の「考えている」「内容を整理する」は出現頻度が少ないが3つの単語に対して共通に得られた印象であった．中央の「思い返す」「確かめる」は“本当” の連想表現として多く出現した．左側「念を押す」は“大丈夫”“本当” の連想表現として多く出現した．そして頻度の高かった「ゆっくり」により，Pattern3 の韻律制御によって，情報処理や動作について時間を要すること・要していることを示す効果を持つことが分かる．

Pattern4の結果を図6に示す．「せかす」そして「早口」が連想表現としての出現頻度が高く，Pattern4の与える印象の1つであるといえる．右側の「軽い」「テンポ良く」「遮る」は“本当” の連想表現として多く出現した．左側「大丈夫」は“大丈夫” の意味そのままに連想表現として出現した．
そして頻度の高かった「せかす」により，Pattern4 の韻律制御によって，情報処理や動作について短い時間で対応することを示す効果を持つことが分かる．

\begin{figure}[b]
\setlength{\captionwidth}{0.45\textwidth}
 \begin{minipage}{0.45\textwidth}
  \begin{center}
 \includegraphics{17-4ia7f7.eps}
  \end{center}
  \hangcaption{Pattern5の連想表現のクラスター分析結果}
  \label{fig:five}
 \end{minipage}
\hfill
 \begin{minipage}{0.45\textwidth}
  \begin{center}
 \includegraphics{17-4ia7f8.eps}
  \end{center}
  \hangcaption{Pattern6の連想表現のクラスター分析結果}
  \label{fig:six}
 \end{minipage}
\end{figure}


Pattern5の結果を図7に示す．「消極的」「沈んでいる」が連想表現としての出現頻度も高く，Pattern5の与える印象の1つであるといえる．右側「冷静」は出現頻度が少ないが3つの単語に対して共通に得られた印象であった．中央「我慢」は“大丈夫” の連想表現として多く出現した．左側「考え込む」「困る」は“分からない” の連想表現として多く出現した．そして頻度の高かった「消極的」「沈んでいる」により，Pattern5 の韻律制御によって，興奮を抑えた状態（沈静）を示す効果を持つことが分かる．

Pattern6の結果を図8に示す．「テンションの高い」が連想表現としての出現頻度も高く，Pattern6の与える印象の1つであるといえる．中央の「驚き」は“本当” の連想表現として多く出現した．左側「怒り」「いらいら」は“大丈夫”“分からない” の連想表現として多く出現した．右側「うれしそう」は“本当”の連想表現として多く出現した．そして頻度の高かった「テンションの高い」により，Pattern6の韻律制御によって，気持ちの高ぶっている様子を示す効果を持つことが分かる．

Pattern7の結果を図9に示す．「様子を伺う」が連想表現としての出現頻度も高く，Pattern7の与える印象の1つであるといえる．右側「低く構える」「心のこもらない」は“本当”の連想表現として多く出現した．中央の「冷静」は “本当” “大丈夫”の連想表現として多く出現した．左側の「威圧的」「困惑」は“分からない” の連想表現として多く出現した．そして頻度の高かった「様子を伺う」により，Pattern7の韻律制御によって相手に慎重な態度を示す効果を持つことが分かる．

Pattern8の結果を図10に示す．「あきれる」と「緊張感の無い」が連想表現として出現頻度が高く，Pattern8の与える印象の1つであるといえる．左側の「なだめる」は“大丈夫”に多く出現した．右側の「弱々しい」は“分からない”に多く出現した．そして頻度の高かった「あきれる」と「緊張感の無い」により，Pattern8の韻律制御によって相手に対し緊張感が無いことを示す効果を持つことが分かる．


\begin{figure}[t]
\setlength{\captionwidth}{0.45\textwidth}
 \begin{minipage}{0.45\textwidth}
  \begin{center}
 \includegraphics{17-4ia7f9.eps}
  \end{center}
  \hangcaption{Pattern7の連想表現のクラスター分析結果}
  \label{fig:seven}
 \end{minipage}
\hfill
 \begin{minipage}{0.45\textwidth}
  \begin{center}
 \includegraphics{17-4ia7f10.eps}
  \end{center}
  \hangcaption{Pattern8の連想表現のクラスター分析結果}
  \label{fig:eight}
 \end{minipage}
\end{figure}

\begin{table}[t]
\caption{制御パターン毎の主要な連想表現とその頻度}
\input{07table01.txt}
\end{table}

以上より，単語の意味の影響を受けながらも韻律制御によって与える印象について傾向があることがわかった．表1には，最も頻度の高かった印象（連想表現）をまとめている．各印象をMSCLのS層のコマンド名として付与することで韻律制御の結果のイメージがつき易くなり作業が格段に早くなるものと考えられる．但し， Pattern6の「うれしそう」と「怒り」（図8）のように同一の韻律制御規則の中でも対照的な印象が現れる場合もある．「うれしそう」と「怒り」は共に興奮している状態に起因していると考えられるが，様々な情報をそぎ落として1つの印象でコマンド名を表現する場合には十分な注意が必要であることが分かる．さらには，Pattern6とPattern1においては異なる制御方法であるにも関わらず「驚き」という連想表現が表れている．3章でも述べるが韻律制御と印象の関係が多対多の関係になる場合がある．しかし，記述言語というフレームワークにおいて1つのコマンド名に対し複数の効果のうちどれかを選択する方法を提供することは記述をより複雑にする可能性があり，S層のコマンドの持つ容易さを失うことになる．多対多の関係ではなく，一対多の関係であることが望ましい．このため，MSCLでは「驚き」に対して，「驚愕」や「びっくり」等の同義語や「驚き1」「驚き2」などの番号を付与し，その中で利用者が適した「驚き」を選択する，という方法で一対多の関係を維持することとした．コマンド名は，韻律制御のための1つのヒントを与えるものであるといえる．しかし，本実験により平易な言葉でコマンド名を付与していくということについては限界があることが分かった．より専門的な表現を使ったり，ユニークな番号を付与したりすることで対応可能であるが，初学者に対してはコマンドが持つ効果を解説する必要がある．今回の実験のように概念を構造化する手法などを用いて，利用者に分かりやすく説明する仕組みが必要であると考える．さらには，韻律制御において音声合成をしたいテキストに含まれる意味なども考慮しなくてはならないことがわかる．



\section{韻律制御に基づく印象の変化の実験}

次に表1の連想表現を印象語として用いて多数の被験者を対象に聴取評価実験を行う．被験者は前回と同様に8パターンによる韻律制御を行った合成音声を聴取し，8種類の印象語すべてに対して｛“1．あてはまらない”，“2．どちらでもない”，“3．あてはまる”｝の3件法で回答を行う．被験者は関東圏内に在住する25歳から35歳までの男性6名，女性9名の計15名である．最初に基準音として朗読調の合成音声を聞き，次に韻律制御を行った合成音声を一定間隔で6回提示する．その間に8つの項目全てを対象に印象として適切であるか回答を行う．前回と同様に音声合成には“本当”“大丈夫”“分からない”の3つの単語を用いている．

表2は評価結果の平均値を混同対照表 (Confusion Matrix) によって表したものである．左側に表1の8パターンの韻律制御によって期待される連想表現を列記しており，それぞれがコマンド名に相当すると考えられる．上段には評価に用いた全ての印象語を記している．高い値を示している連想表現がより適切な合成音声に対する印象を表していることになる．例えばPattern1によって生成された「問いかけ」の合成音声については，印象語「問いかけ」の評価が2.9となっており最も高い値となっている．その他の印象語については2を下回る値となっている．このことから，Pattern1によって生成された音声は「問いかけ」以外の7つの印象とは混同しにくいことが分かる．表の左上から右下にかけての値が全て高い値を示していることから，表1で得られた結果が概ね良好であることが分かる．但し，Pattern7によって生成された「様子を伺う」の合成音声については，「問いかけ」の印象が最も強く，その次に「様子を伺う」についての評価が高いという結果となった．Pattern7によって相手に慎重な態度を表すことを示したが，単一の言葉で表したときは「様子を伺う」に加えてさらに「問いかけ」という表現が受け入れやすいことが分かった．

\begin{table}[t]
\caption{聴取実験結果の混同対照表}
\input{07table02.txt}
\end{table}

次に表2の結果を箱ヒゲ図で用いて表したのが図11である．図の下に書かれた印象語に対し，評価値の分布がどのようになるかを示したものである．箱の中の太実線が平均値であり，コマンドに対する全印象語の評価平均を示す．例えば，「問いかけ」については，約1.6が平均値となっている．また，箱の両端が標準偏差を示している．図中の黒丸はコマンドが表す印象語の評価値であり，表2より2.9であることが分かる．各評価値の分布に対し，黒丸の位置は箱の上端より外に位置していることが分かる．この結果から，MSCLで表1の8つのコマンドを設定した場合，他の7つのコマンドに対して生成される合成音声の印象の違いを利用者が受け入れやすいものと考えられる．但し，表2の結果にもあるようにPattern7が「問いかけ」と「様子を伺う」の両方の印象として感じられる可能性が高いと考えられる．また，黒丸の平均値が2付近にあることから，コマンド名としてさらに適切なものも存在する可能性があると考えられる．

\begin{figure}[t]
\begin{center}
 \includegraphics{17-4ia7f11.eps}
\end{center}
\caption{箱ヒゲ図による回答の分布（3単語）}
\end{figure}

\section{言葉の意味による影響}

2章で述べたように，音声合成を行う単語などの持つ意味によって印象が変わる可能性がある．そこで，単語の意味による印象の変化について調べた．ここでは，“問いかけ”に着目し，問いかけ時に使われる単語“もしもし”“どうする”を用いて3章と同様の実験を行った．被験者は3章と同じ15名であり，2つの単語について8パターンの韻律制御を行った合成音声を生成し聴取させた．但し，問いかけ時に使う言葉ではあるが，デフォルトの韻律生成規則に対し最終母音が上昇パターンになる指定は行っていない．図12が実験結果である．黒丸の位置は全て分布の上端に来ていることから，8つの連想表現の中でそれぞれ韻律規則と関連の深いものが「あてはまる」と回答されやすいことを示している．

\begin{figure}[t]
\begin{center}
 \includegraphics{17-4ia7f12.eps}
\end{center}
\caption{単語の意味による評価結果の変化}
\end{figure}

図11とは異なり，“問いかけ”の平均値が2を超えている．“了解”全体の分布は1.5を下回っている．また，“様子を伺う”の平均値が2を超えている．つまり，“問いかけ”“様子を伺う”は全ての制御規則において当該の印象を感じやすくなっており，逆に“了解”の印象を感じにくくしていることが分かる．この結果から，韻律制御がもたらす印象の傾向はあるものの，言葉の意味が印象に影響を与えることも分かった．MSCLにおける韻律制御においては，韻律制御規則とその主な印象，そして音声合成する言葉の意味の3つを考慮して行うことが必要であることがわかった．



\section{制御規則の組み合わせによる印象の強調}

これまでの結果から，“様子を伺う”は連想法では強い傾向が得られたものの，聴取実験ではコンテクストなどを排除した単体の言葉による被験者の解釈によって，傾向として弱められた結果となった．つまり，2章の連想法での被験者の回答は，緊張した面持ちで相手を注視するようなイメージに基づいた“様子を伺う”であった．しかし，連想表現としてまとめあげた段階で“様子を伺う”に関する語幹に多様性が生まれ，例えば“問いかけ”よりもスコアが低くなってしまったものと考えられる．そこで，連想法で得られた結果のように，“様子を伺う”について評価値を上げる方法を検討した．これまでの先行研究（白井，岩田 1987; 有本，大野，飯田 2007）では，1つの印象を表現するためにいくつかの韻律制御を組み合わせることを行っている．継続時間長，抑揚，文末最終母音のピッチパターンなどのそれぞれの特徴的な傾向を複合的に用いることで，1つの印象を表現している．言い換えれば，韻律制御を因子とした線形結合で表されていると考えることができる．そこで我々は，“様子を伺う”について印象を補い合う（因子負荷が正となる）韻律制御を組み合わせて，評価値を上げることができるか実験を行った．
図13は，3章で得られた評価値と各項目の関係についてクラスター分析を行った結果である．図に示すように8つの韻律制御をパラメータとして用いた場合“様子を伺う”は“問いかけ”と近いクラスに属することが分かった．そこで，“問いかけ”で最も高い評価値を持つPattern1を用いて，Pattern7とPattern1を組み合わせた時の“様子を伺う”の評価値を調べる．

\begin{figure}[t]
  \setlength{\captionwidth}{0.45\textwidth}
 \begin{minipage}{0.45\textwidth}
  \begin{center}
 \includegraphics{17-4ia7f13.eps}
  \end{center}
  \caption{クラスター分析による類似度の分析}
  \label{fig:ten}
 \end{minipage}
\hfill
 \begin{minipage}{0.45\textwidth}
  \makeatletter
  \def\@captype{}
  \makeatother
\hangcaption{制御規則の組み合わせによる“様子を伺う”の評価結果}
\input{07table03.txt}
 \end{minipage}
\end{figure}


評価は，より詳細に印象の強さを調べるために「非常に含んでいる ($+3$)」から「非常に含んでいない ($-3$)までの7件法\cite{Psychology}を用いた．被験者は関東圏内に在住する25歳から35歳までの女性6名である．音声は“本当”の合成音声を用いている．“本当”の音声を選択した理由は3章の実験を行った際に，例えばPattern7の評価値が“様子を伺う”で2.5，“問いかけ”で2.3と連想表現と韻律制御が2章で行った連想法の実験に比較的似ていることが分かったためである．表2に結果を示す．


Pattern7のみの場合では評価の平均値が1.67（「やや含んでいる」と「かなり含んでいる」の中間）であった．これに対し2つの規則を組み合わせることで被験者の平均が3.0（「非常に含んでいる」）になった．この結果，Pattern7+Pattern1という組み合わせにより，S層の新たなコマンドである， “（より強い印象を与える）様子を伺う”が定義できることが分かった．本実験は組み合わせることの効果の一例ではあるが，このようにいくつかの組み合わせの手法を導き，それらを記述によって表現できる仕組みを検討していく予定である．



\section{まとめ}

本研究はMSCLを様々な利用者が利用するための韻律制御の1つの考え方やコマンドの作成方法について述べた．文節という制御単位ではあるが韻律制御規則の規定を行い，韻律制御規則と印象の関係を導くことで利用者がより直感的に編集可能になった．また，留意点としては，制御規則と印象が1対1の関係ではなく1対多の関係にあり，1つの制御規則に対して得られる印象をいくつか知っておく必要がある．MSCLで編集作業を行う際は，制御規則，印象，言葉の意味をセットで考慮することで，より高い効果での韻律制御が可能であることが分かった．さらには，MSCLの特徴である制御規則を組み合わせることで印象を強めることが可能であることが分かった．MSCLを利用する上で重要な要素のいくつかを確認できたが，より便利に使うためには，文節単位以上に，文単位あるいは文章単位での制御を可能にする制御規則が必要になってくると考えられる．また，8つの時系列変化パターンだけでなく，韻律制御規則を増やし，様々な印象が表現できるコマンドを用意していく必要がある．さらには，利用者がMSCLで編集作業を行うためのノウハウを体系的にまとめていきたいと考えている．その1つとして，韻律制御による効果をクラスター分析などにより構造化し，効果的に説明することを課題としている．今回は，物理パラメータの制御と印象の関係について分析を行ったが，被験者の所在地や年齢の範囲が限定的であるため，地域差や年齢差等による影響についても検討が必要であると考える．また，このレベルの検討を行いながら新たな制御規則を創出することは一般の利用者が行うことは難しいと考える．その労力を軽減するために，今回の韻律制御規則をテンプレートとして，実音声の韻律パターンを抽象化し，新しい制御規則の手がかりにする方法などがあり，これらが今後の課題であるといえる．



\bibliographystyle{jnlpbbl_1.5}
\begin{thebibliography}{}

\bibitem[\protect\BCAY{阿部 \Jetal }{阿部\Jetal }{2001}]{Sesign}
阿部匡伸 \Jetal  \BBOP 2001\BBCP.
\newblock 音声デザインツールSesign.\
\newblock \Jem{信学会論文誌D--II}, {\Bbf J84--D--II}  (6), \mbox{\BPGS\
  927--935}.

\bibitem[\protect\BCAY{Allen, Hunnicutt, \BBA\ Klatt}{Allen
  et~al.}{1987}]{MITalk}
Allen, J., Hunnicutt, M., \BBA\ Klatt, D. \BBOP 1987\BBCP.
\newblock {\Bem From text to speech: The MITalk system}.
\newblock Cambridge University Press.

\bibitem[\protect\BCAY{有本\JBA 大野\JBA 飯田}{有本 \Jetal }{2007}]{Arimoto}
有本\JBA 大野\JBA 飯田 \BBOP 2007\BBCP.
\newblock 「怒り」の発話を対象とした話者の感情の程度推定法.\
\newblock \Jem{自然言語処理}, {\Bbf 14}  (3), \mbox{\BPGS\ 149--163}.

\bibitem[\protect\BCAY{箱田\JBA 佐藤}{箱田\JBA 佐藤}{1980}]{Hakoda}
箱田\JBA 佐藤 \BBOP 1980\BBCP.
\newblock 文音声合成における音調規則.\
\newblock \Jem{信学会論文誌D--II}, {\Bbf J63--D}  (9), \mbox{\BPGS\ 715--722}.

\bibitem[\protect\BCAY{箱田\JBA 塚田\JBA 吉田\JBA 広川\JBA 水野}{箱田 \Jetal
  }{1996}]{FLUET}
箱田\JBA 塚田\JBA 吉田\JBA 広川\JBA 水野 \BBOP 1996\BBCP.
\newblock 波形合成法を用いたテキスト音声合成ソフトウェア (FLUET).\
\newblock \Jem{信学会ISソサイエティ大会}.

\bibitem[\protect\BCAY{Hartigan}{Hartigan}{1983}]{Cluster}
Hartigan, J.~A. \BBOP 1983\BBCP.
\newblock \Jem{クラスター分析}.
\newblock マイクロソフトウェア株式会社.

\bibitem[\protect\BCAY{広瀬\JBA 高橋\JBA 藤崎\JBA 大野}{広瀬 \Jetal
  }{1994}]{Hirose}
広瀬\JBA 高橋\JBA 藤崎\JBA 大野 \BBOP 1994\BBCP.
\newblock 音声の基本周波数パターンにおける話者の意図・感情の表現.\
\newblock \JTR, 信学技法 HC94-41, pp.~33--40.

\bibitem[\protect\BCAY{川上}{川上}{1956}]{Kawakami}
川上秦 \BBOP 1956\BBCP.
\newblock 文頭のイントネーション.\
\newblock \JTR, 国語学, 24, pp.~21-30.

\bibitem[\protect\BCAY{Klatt}{Klatt}{1987}]{TTS}
Klatt, D. \BBOP 1987\BBCP.
\newblock \BBOQ Reaview of text-to-speech conversion for English.\BBCQ\
\newblock {\Bem J. Acoust. Soc. Am}, {\Bbf 82}  (3), \mbox{\BPGS\ 737--793}.

\bibitem[\protect\BCAY{水野}{水野}{2005}]{Corpus}
水野秀之 \BBOP 2005\BBCP.
\newblock コーパスベース音声合成における音声合成単位とコーパスの設計方法.\
\newblock \Jem{信学技報}, {\Bbf SP2005}  (10), \mbox{\BPGS\ 25--30}.

\bibitem[\protect\BCAY{Mizuno \BBA\ Nakajima}{Mizuno \BBA\
  Nakajima}{1998}]{MSCL}
Mizuno, O.\BBACOMMA\ \BBA\ Nakajima, S. \BBOP 1998\BBCP.
\newblock \BBOQ Synthetic Speech/Sound Control Language: MSCL.\BBCQ\
\newblock In {\Bem Third ESCA/COCOSDA Workshop on Speech Synthesis},
  \mbox{\BPGS\ 21--26}.

\bibitem[\protect\BCAY{中山\JBA 町野\JBA 北岸\JBA 岩城\JBA 奥平}{中山 \Jetal
  }{2005}]{Nakayama}
中山\JBA 町野\JBA 北岸\JBA 岩城\JBA 奥平 \BBOP 2005\BBCP.
\newblock
  音を用いたモーションメディアコンテンツ流通方式の提案とそのネットワークコミュ
ニケーションサービスへの応用.\
\newblock \Jem{日本ロボット学会誌}, {\Bbf 23}  (5), \mbox{\BPGS\ 602--611}.

\bibitem[\protect\BCAY{成澤\JBA 峯松\JBA 広瀬\JBA 藤崎}{成澤 \Jetal
  }{2007}]{Fujisaki}
成澤\JBA 峯松\JBA 広瀬\JBA 藤崎 \BBOP 2007\BBCP.
\newblock 音声の基本周波数パターン生成過程モデルのパラメータ自動抽出法の評価.\
\newblock \JTR, 信学技法, SP2002-27.

\bibitem[\protect\BCAY{西本\JBA 志田\JBA 小林\JBA 白井}{西本 \Jetal
  }{1996}]{Stgif}
西本\JBA 志田\JBA 小林\JBA 白井 \BBOP 1996\BBCP.
\newblock
  マルチモーダル入力環境下における音声の協調的利用—音声作図システムS-tgifの設
計と評価.\
\newblock \Jem{信学会論文誌D--II}, {\Bbf J79--D--II}  (12), \mbox{\BPGS\
  2176--2183}.

\bibitem[\protect\BCAY{大山 \Jetal }{大山\Jetal }{1973}]{Psychology}
大山 \Jetal  \BBOP 1973\BBCP.
\newblock \Jem{心理学研究法　4　実験III}.
\newblock 東京大学出版.

\bibitem[\protect\BCAY{Raman \BBA\ Gries}{Raman \BBA\ Gries}{1997}]{Raman}
Raman, T.~V.\BBACOMMA\ \BBA\ Gries, D. \BBOP 1997\BBCP.
\newblock \BBOQ Audio formatting? Making spoken text and math
  comprehensible.\BBCQ\
\newblock {\Bem International Journal of Speech Technology}, {\Bbf 2}  (1),
  \mbox{\BPGS\ 21--31}.

\bibitem[\protect\BCAY{Ramming}{Ramming}{1998}]{Ramming}
Ramming, J.~C. \BBOP 1998\BBCP.
\newblock \BBOQ PML: A Language Interface to Networked Voice Response
  Units.\BBCQ\
\newblock In {\Bem Workshop on Internet Programming Languages, ICCL '98}.

\bibitem[\protect\BCAY{Sasajima, Yano, \BBA\ Kono}{Sasajima
  et~al.}{1999}]{Dialogue}
Sasajima, M., Yano, T., \BBA\ Kono, Y. \BBOP 1999\BBCP.
\newblock \BBOQ EUROPA: A Generic Framework for Developing Spoken Dialogue
  Systems.\BBCQ\
\newblock In {\Bem EUROSPEECH99}, \mbox{\BPGS\ 1163--1166}.

\bibitem[\protect\BCAY{白井\JBA 岩田}{白井\JBA 岩田}{1987}]{Iwata}
白井克彦\JBA 岩田和彦 \BBOP 1987\BBCP.
\newblock 音声合成のための単語の強調表現の規則化.\
\newblock \Jem{信学論文誌}, {\Bbf J70--A}  (5), \mbox{\BPGS\ 816--821}.

\bibitem[\protect\BCAY{総務省報告資料}{総務省報告資料}{2007}]{SOUMU}
総務省報告資料 \BBOP 2007\BBCP.
\newblock 電気通信アクセシビリティガイドラインの国際標準化.\
\newblock \JTR, 総務省.

\bibitem[\protect\BCAY{SSML}{SSML}{}]{SSML}
SSML.
\newblock \BBOQ SSML.\BBCQ\
\newblock \Turl{http://www.w3.org/TR/2007/WD-speech-synthesis11-20070110/}.

\bibitem[\protect\BCAY{翠\JBA 河原 \Jetal }{翠 \Jetal }{2007}]{Guidance}
翠\JBA 河原 \Jetal  \BBOP 2007\BBCP.
\newblock 質問応答・情報推薦機能を備えた音声による情報案内システム.\
\newblock \Jem{情報処理学会}, {\Bbf 48}  (12), \mbox{\BPGS\ 3602--3611}.

\bibitem[\protect\BCAY{VoiceXML}{VoiceXML}{}]{VoiceXML}
VoiceXML.
\newblock \BBOQ VoiceXML.\BBCQ\
\newblock \Turl{http://www.voicexml.org/}.

\bibitem[\protect\BCAY{Yamato, Shinozawa, Naya, \BBA\ Kogure}{Yamato
  et~al.}{2001}]{Yamato}
Yamato, J., Shinozawa, K., Naya, F., \BBA\ Kogure, K. \BBOP 2001\BBCP.
\newblock \BBOQ Effects of Conversational Agent and Robot on User
  Decision.\BBCQ\
\newblock \BTR, IJCAI-01 Workshop.

\end{thebibliography}

\begin{biography}
\bioauthor{水野　　理}{
1994年早大理工電気工学科大学院修了．同年日本電信電話株式会社入社．NTTサイバースペース研究所勤務．言語処理学会，日本音響学会各会員．
}
\bioauthor{阿部　匡伸}{
1982年早大・理工・電気卒．1984年同大大学院修了．博士（工学）．同年日本電信電話公社入社．1987年から1991年までATR自動翻訳電話研究所出向．1989年 MIT滞在研究員．1991年日本音響学会第8回粟屋潔学術奨励賞，1996年日本音響学会第36回佐藤論文賞各章受賞．現在，NTTサイバーソリューション研究所勤務 主幹研究員．著書「Recent progress in Japanese Speech Syn thesis」．日本音響学会，電子情報通信学会，IEEE各会員．
}

\end{biography}


\biodate




\end{document}
