    \documentclass[japanese]{jnlp_1.4}
\usepackage{jnlpbbl_1.1}
\usepackage[dvips]{graphicx}
\usepackage{amsmath}
\usepackage{hangcaption_jnlp}

\newcommand{\LowCell}[1]{}
\newcommand{\ZeroCell}[1]{}

\Volume{16}
\Number{1}
\Month{January}
\Year{2009}

\received{2008}{4}{10}
\revised{2008}{7}{21}
\accepted{2008}{10}{24}

\setcounter{page}{67}

\newcommand{\comment}[1]{}
\newcommand{\argmax}{}

\jtitle{優先順位型質問応答の解スコア分布に基づくリスト型質問応答}
\jauthor{石下　円香\affiref{YNU} \and 森　　辰則\affiref{EIS}}
\jabstract{
本論文では，リスト型質問応答に対する回答群の選択手法を提案する．
リスト型質問応答とは，与えられた質問に対し決められた知識源の中から過不足なく解を見つけ列挙するタスクである．
提案手法では，既存の質問応答システムが解候補に付与するスコア分布を利用する．
解候補を，そのスコアを基にいくつかのクラスタに分離することを考える．
すなわち，それぞれのクラスタを一つの確率分布とし，各確率分布のパラメタをEMアルゴリズムにより推定する．
そして，それぞれの分布を正解集合を形成するスコア分布と不正解集合を形成するスコア分布のどちらであるかを推定し，正解集合のスコア分布に由来すると推定された解候補群を最終的な回答とする．
質問応答システムには一般に不得意な質問が存在するが，提案手法では，
複数の分布のパラメタを比較することにより，質問応答システムが正解を適切に
見つけられているか否かを判定することも可能である．
評価実験によれば，スコア分布を求め，それを利用することがリスト型質問応答に対して有効に働くことがわかった．
}
\jkeywords{質問応答システム，リスト型質問応答，スコア分布}

\etitle{A Method of List-type Question-answering Based on the Distribution 
	of Anwer Score Generated by \\
	Ranking-type Q/A System}
\eauthor{Ishioroshi, Madoka\affiref{YNU} \and Mori, Tatsunori\affiref{EIS}} 
\eabstract{
In this paper, we propose a method of the list-type question-answering.
The list-type question-answering is the task in which a system is requested to enumerate all correct answers to given question.
In the method, we utilize the distribution of the score that an existing question answering system gives to answer candidates.
Answer candidates are separated into some clusters according to their scores.
Here, we assume that each cluster results from a probabilistic model.
Under the assumption, the parameters of these probabilistic distribution models are estimated by using the EM algorithm.
Then, the method judges whether each distribution model is a source of correct answers or a source of incorrect answers.
Answer candidates that originate from the distribution models corresponding to correct answers are regarded as final answers.
Moreover, by comparing model parameters, we can also judge whether or not the question-answering system appropriately found correct answers.
The experimental results show that the use of the score distribution is effective in the list-type question-answering.
}
\ekeywords{Q/A system, list type Q/A, score distribution}

\headauthor{石下，森}
\headtitle{優先順位型質問応答の解スコア分布に基づくリスト型質問応答}

\affilabel{YNU}{横浜国立大学大学院環境情報学府}{Graduate School of Environment and Information Sciences, Yokohama National University}
\affilabel{EIS}{横浜国立大学大学院環境情報研究院}{Graduate School of Environment and Information Sciences, Yokohama National University}



\begin{document}
\maketitle



\section{はじめに}\label{Chapter:introduction}


近年，文書情報に対するアクセス技術として，質問応答が注目されている．
質問応答は，利用者が与えた自然言語の質問文に対し，その答を知識源となる大量の文書集合から見つける技術である．
利用者が，ある疑問に対する解を知るために質問応答システムを単体で利用する場合には，各解候補のスコアに基づき，解候補群を順序づけて上位から提示することが多い．
本稿では，この処理を優先順位型質問応答と呼ぶことにする．
この場合は解答として採用するか否かは，利用者の判断に委ねられている．

一方，質問応答技術は他の文書処理技術の中で活用されることも期待されている．
質問応答の出力を他の文書処理技術の入力として容易に利用可能とするためには，
優先順位型質問応答において利用者が行なっていた上記判断を自動的に行なう必要がある．
また，「日本三景は何と何と何か」といったように複数の正解が存在する質問が存在することも考慮すべきである．
これらのことより，決められた知識源の中から過不足なく与えられた質問の解を見つけ列挙する能力も重要であると考えられる．
優先順位型質問応答の用件に加え，この能力を持つ仕組みをリスト型質問応答と呼ぶ\cite{Fukumoto:QAC1}\cite{加藤:リスト型質問応答の特徴付けと評価指標}．

本稿では，上記の背景の下，リスト型質問応答を行なうための一手法を提案する．
本手法では，優先順位型質問応答により得られた解候補の集合のスコアを基にいくつかのクラスタに分離することを考える．
それぞれのクラスタを一つの確率分布とし，各確率分布のパラメタをEMアルゴリズムにより推定し，いくつかの分布に分離する．
最後に，それぞれの分布を正解集合のスコアの分布と不正解集合のスコア分布のどちらであるかを判定し，各解候補がいずれの分布に由来するものなのかを推定し，最終的な正解集合を求める．
質問応答システムには一般に精度が低くなりがちな質問（以下，「不得意な質問」と記す）が質問の型等に依存して存在するが\footnote{例えば，質問応答システムが採用している固有表現抽出器等のサブシステムの精度に依存する．固有表現抽出において一般に製品名は，人名や地名に比較して抽出精度が低い．}，本手法では，複数の分布のパラメタを比較することにより，優先順位型質問応答により正解が適切に見つけられているか否かを判断することも可能である．
ここで，正解が適切に見つけられているとは，優先順位型質問応答により正しい解が
求められており，その解が上位にある（複数の場合は上位に集まっている）場合を
指すこととする．









\section{関連研究}

リスト型質問応答については，米国における大規模検索実験プロジェクトである，TREC (Text REtrieval Conference) における，Qusetion Answering Track（以下，TREC QAと記述）で議論されている．

TREC QA でリスト型質問応答のタスクが始まったのは，2001年からである．
2001年\linebreak
\cite{TRECoverview01}と2002年\cite{TRECoverview02}のリスト型質問応答のタスクでは，正解の個数は質問文中に示されており，
システムは示された個数の解候補を出力し，その精度で評価された．
2003年\cite{TRECoverview03}では，リスト型質問応答はメインタスクに含まれる質問のうちの一種類になった．
2003年からは正解数が陽に示されることはなくなり，システムは
正解の個数を判定しなければならなくなった．
システムの評価はF値で行なわれる．
2004〜2006年\cite{TRECoverview04}\cite{TRECoverview05}\cite{TRECoverview06}のTREC QA 
のメインタスクの質問セットは，シリーズ型質問の集合になっている．
シリーズ型質問には，初めにそのシリーズの話題が示されており，
その次に何問かのfactoid質問，list質問があり，
最後にother質問がある．
factoid質問とlist質問では，どちらも事実を問う質問であり，要求される解の種類は
同じである．factoid質問とlist質問の違いは正解の数で，正解数が一つの質問はfactoid質問，正解数が複数の質問はlist質問という様に分けられている．
factoid質問ではシステムはただ一つの回答を出力し，list質問ではリスト形式で回答を出力する．
other質問は，質問文は与えられておらず，
そのシリーズの話題に関連することを出力することが要求される．ただし，factoid質問とlist質問で問われていないことのみを出力しなければならない．
各質問がfactoid, list, otherのどれであるかは質問文と共に与えられている．

list質問では，システムは与えられた質問の正解を過不足無く出力することが要求される．正解の数は明記されておらず，システム自身が判定する必要がある．
2006年の質問セットでは，全質問の正解の平均数は10個であり，最小のものは2個，最大のものでは50個ある．

factoid質問とlist質問は要求される回答数が違うだけであるので，参加したほとんどのチームは，そのチーム自身のfactoid質問に対するシステムと同じものを用い，出力する回答数のみを変えていた．以下に，具体例を紹介する．
F値のみではリスト型処理の善し悪しが分からないため，factoid質問に対する精度 (Accuracy) も併記する．

Harabagiu et al \cite{Harabagiu:AnswerMiningbyCombiningExtractionTechniqueswithAbductiveReasoning}は，一位の解候補と二位以下の各解候補の間の類似度を求め，
類似度に閾値を設けて回答選択をする手法を提案している．
閾値は一位の解候補と最下位の解候補の類似度を基に求められる．
類似度が閾値以上になる解候補のうち，最下位に順位づけされているものまで
を回答リストに加えている．
このシステムのlist型質問に対する精度は，F値で0.433であった．
また，このシステムの基になったfactoid質問に対するシステムの精度は，0.578であった．

Bos \cite{Bos:TheLaSapienzaQuestionAnsweringsystematTREC2006}は，質問文から正解の個数が推定できる場合には，
上位からその個数を回答とし，
それ以外の場合にはあらかじめ決められた個数の解候補を回答とする手法を用いていた．
このシステムのlist型質問に対する精度は，F値で0.127であった．
また，このシステムの基になったfactoid質問に対するシステムの精度は，0.15であった．

Burger \cite{Burger:MITREsQandaatTREC15}は，期待されるF値を求め，それを最大化するように
回答の個数を決める手法を提案している．
このシステムのlist型質問に対する精度は，F値で0.208であった．
また，このシステムの基になったfactoid質問に対するシステムの精度は，0.087であった．

また，国立情報学研究所主催の質問応答に関する一連の評価型ワークショップであるNTCIR QACにおいても同様にリスト型質問応答について議論されている．

NTCIR4 QAC2のsubtask1では，システムは与えられた質問に対して，順位付けされた5つの回答を出力することが求められる．
システムの精度にはMRR（Mean Reciprocal Rank．正解順位の逆数の各質問平均）が用いられる．
正解が複数存在する質問に対しては，システムはそのうちの一つを出力できれば良いとされている．

NTCIR4 QAC2のsubtask2（リスト型タスク）\cite{Fukumoto:QAC2Subtask12}でもTREC QAのlist質問と同様に，システムは与えられた質問の正解を過不足無く出力することが要求される．全質問の解の平均数は3.2個であり，最小のものは1個，最大のもので15個あり，TREC QAに比べると少なくなっている．各質問に対する正解の数が与えられていないこともTREC QAと同様であるが，
TREC QAでは正解数が1個のfactoid質問と2個以上のlist質問が分けられていたのに対し，NTCIR4 QAC2のリスト型タスクでは分けられていないという違いがある．
システムの精度には，修正F値（MF値）の全質問平均である，MMF値が用いられる．
修正F値の詳しい説明は，\ref{Chapter:exp-eval}節で述べる．

NTCIR4 QAC2に参加したシステムはTREC QAに参加したシステムと同様に，factoid質問に対するシステムを基にしており，各解候補に付けられたスコアの値を基に上位何件を回答するかの線引きを行なっている．
以下に具体例を説明する．MMF値のみでは順位付けの善し悪しが分からないため，
QAC2 subtask1に対する精度 (MRR) も併記する．

秋葉ら\cite{秋葉:質問応答における常識的な解の選択と期待効用に基づく回答群の決定}は期待効用最大化原理に基づく回答群選択手法を提案している．これは，リスト型質問応答の評価指標であるF値に着目し，その期待値を求め，期待値を最大化するように回答数を求める手法である．また，リスト内の解候補の重複を避けるために，複数の解候補が同じ内容を指していると判断される時には，スコアの高いものを残して削除するということをしている．このシステムの，QAC2 subtask2のテストセットに対する精度は，MMFで0.318であった．また，このシステムの
基になったfactoid質問に対するシステムの，QAC2 subtask1のテストセットに対する精度は，MRRで0.495であった．

福本ら\cite{Fukumoto:Rits-QA}は，スコアの差が最も開いているところよりも上位のものを回答とする手法を提案している．さらに，質問文の表層表現から解の個数を判別している（「誰と誰」なら二つ，など）．このシステムのQAC2 subtask2のテストセットに対する精度は，MMFで0.164であった．また，このシステムの
基になったfactoid質問に対するシステムの，QAC2 subtask1のテストセットに対する精度は，MRRで0.311であった．

村田ら\cite{Murata:JapaneseQAsystemUsingDecreasedAddingwithMultipleAnswers}は
最大スコアに対する比率に閾値を設けて回答を選択する手法を採用しており，
QAC2 subtask2のテストセットに対する精度は，MMFで0.321であった．
また，このシステムの
基になったfactoid質問に対するシステムの，QAC2 subtask1のテストセットに対する精度は，MRRで0.566であった．

高木ら\cite{Takaki:NTTDATA-QAatNTCIRQAC2}は
n番目の解候補のスコアとn+1番目の解候補のスコアの比率を求め，
それが閾値以上ならばn番目までの解候補を回答とするという手法を
用いている．このシステムのQAC2 subtask2のテストセットに対する精度は，MMFで0.229であった．また，このシステムの
基になったfactoid質問に対するシステムの，QAC2 subtask1のテストセットに対する精度は，MRRで0.335であった．

上記の各手法と本論文で提案する手法でとでは，
スコアの並びを見て動的に回答の数を変えるという点で類似している．
しかし，スコアが複数の混合分布から生成されると仮定することにより，
スコア分布のパラメタより解候補が適切に見つかっているかどうかを判定できるという付加機能を有する点において，我々の提案手法は新しい．
また，精度についても
他の単純な手法に対して比べて精度が高いという結果となった．



\section{優先順位型質問応答システム}

\subsection{システムの概要}

本節では，本研究で使用している質問応答システム\cite{Mori:NTCIR4WN:JapaneseQASystemUsingA*SearchAndItsImprovement}の概要を説明する．
この質問応答システムでは，利用者が自然言語で質問文を入力すると，
各解候補のスコアに基づき，
解候補群を順序付けて上位から利用者が指定した数だけ提示する．
各解候補のスコアは，知識源の文書中の，各解候補と質問文中に含まれるキーワードとの近さなどを基にしている．
本稿ではこれを優先順位型質問応答システムと呼ぶことにする．
本研究で使用している質問応答システムの全体の構成を図\ref{fig:Ranking-type-QA}に示す．本システムは主に四つのモジュール，すなわち，質問文解析モジュール，文書検索モジュール，パッセージ検索モジュール，そして解抽出モジュールから構成されている．
解抽出モジュールの中には，解を整形するサブモジュールもある．

\begin{figure}[t]
\begin{center}
\includegraphics{16-1ia4f1.eps}
\end{center}
\caption{質問応答システム概要}
\label{fig:Ranking-type-QA}
\end{figure}


\subsubsection{質問文解析モジュール}

利用者が入力した質問文から質問応答に有用な情報を抽出するのが質問文解析モジュールの役割である．解析により得られる情報を次に示す．

\begin{itemize}
\item 形態素解析および構文解析の結果
\item キーワード（質問文中の内容語）
\item 人名，地名など質問の求める回答の種類を表す質問型
\item 疑問詞に対応する数量表現（質問型が数量表現であった場合）
\end{itemize}


\subsubsection{文書検索モジュール} 

本モジュールは質問文解析により得られたキーワードを元に，文書検索を行う．検索エンジンには，TFIDFによる語の重みづけとベクトル空間法による類似度尺度を用いて，与えられたキーワード集合と各文書の類似度を求めるものを採用している．

\subsubsection{パッセージ検索モジュール}

文書検索で得られた関連文書の中でも，質問の解となる情報が書かれているのはその一部だけである．
文書全体から解抽出を行なうことは計算量の面で非効率的なので，正解に関わる文脈を小さなコストで先に切り出しておいたほうがよい．
これを行うのがパッセージ検索モジュールである．パッセージとは，文章における連続した一部分のことであり，パッセージ検索は文書集合から正解を含む可能性の高いパッセージを取り出すために行う．本システムのパッセージ検索では，一パッセージを三文として抽出を行なっている．
パッセージを三文とした時の有効性は，村田ら
\cite{Murata:DcreasedAddingJapaneseQusetionAnswering}により考察されている．
それぞれのパッセージには，パッセージ中に出現するキーワードの異なり数などを基にしたスコアが付けられ，スコアが大きいパッセージが次の解抽出モジュールに渡される．

\subsubsection{解抽出モジュール}\label{subsec:解生成}

解抽出は，パッセージ検索までの処理で得られたパッセージから，質問の解を抜き出す処理である．パッセージを文単位に分割し，それぞれの文（これを検索文と呼ぶ）と質問文とを照合することにより，
解となる形態素を決定する．
スコアが高い形態素が得られたら，その形態素を中心にして最終的な解候補を生成する．

本システムの文照合は2-gram照合，キーワード照合，係り受け照合，質問型照合の四種の照合からなる．それぞれの照合において照合の一致の度合に応じて検索文の文字または形態素にスコアが与えられ，全てのスコアの和がその形態素のスコアとなる．
そしてスコアの高い形態素から順に解候補が生成される．

2-gram照合とキーワード照合では，
解を含む可能性の高い文の中で，ある形態素を解と仮定した時の
質問文との照合の良さを，2-gramとキーワードの観点から測定する．
一方，質問型照合は，
質問型と一致する形態素にスコアを与えるために行なわれる．
質問タイプには，人名，地名，組織名，その他数量表現などがある．
係り受け照合では，質問文と検索文との構造の一致の度合を見る．
本システムの係り受け照合では，一文対一文の照合を基本としているが，質問文の内容が検索文の二文以上にわかれて出現している場合もある．
そこで，このような場合には前文の最後の文節を次文の提題の文節に仮想的に係り受けさせるという手法で複数文を連結し，仮想的に一文であるとみなして質問文との照合を行なっている．

形態素$mor$の最終スコアは，2 gram，キーワード，係り受け，質問型の各照合によって与えられたスコアの和$S(mor,L_i)$で表され，スコアの和の高い形態素$mor$から，解を整形するサブモジュールを用いて解が作成される．
ここで，$L_i$は検索文である．
\begin{gather}
S(mor,L_i) = Sb(mor,L_i) + Sk(mor,L_i) + Sd(mor,L_i) +St(mor,L_i) \\
\begin{split}
 Sb(mor,L_i)&= 2 gram照合でのスコア\\
Sk(mor,L_i) &= キーワード照合でのスコア\\
Sd(mor,L_i)&= 係り受け照合でのスコア\\
St(mor,L_i) &= 質問型照合でのスコア
\end{split}
\nonumber
\end{gather}

解を整形するモジュールで作られた解候補$AC$のスコア$S(AC,L_i)$は，
解を形成している形態素のうち，スコア$S(mor,L_i)$が最大のものとなる．

複数の異なる検索文から見つかった同じ解候補に対してより高いスコアを付与する，疑似的な多数決方式がこのシステムでは採用されている．さまざまな質問応答システムにおいて，解候補の冗長性を解の選定に役立てることが有効であることが示されている
\cite{Clarke:Exploitingredundancyinquestionanswering}\cite{Xu:TREC2003QAatBBN:Answeringdefinitionalquestions}．多数決方式はその一つである．一方で，我々のシステムでは，探索制御が行なわれており指定される数の解が見つかった時点で残りの解候補を調べることはせずに探索を打ち切る．
そのため，探索の過程において，通常の多数決方式は採用できない．しかし，指定された求める解の数は異なり数である．そのため，指定された数になるまでにすでに求められている解と同じものが改めて見つかる可能性がある．そこで，その時にはその解のスコアを出現回数に応じて高くしている．
以下では，複数回同じ解が求められた場合，
その解に複数投票が入った，と表現することにする．

多数決方式を用いたときの
ある解候補$AC$の最終スコア$score_{raw}(AC)$は，以下の式で与えられる．
\begin{equation}
score_{raw}(AC) = \{1+\log_{10} frec(AC,AnsList)\} \cdot  \max_{L_i} S(AC,L_i)
\label{Eq:多数決}
\end{equation}

ここで，$AnsList$は解候補のリストであり，$frec(x,L)$は$L$中の$x$の頻度である．

式(\ref{Eq:多数決})に示される通り，多数決方式のスコアは単純に頻度を
最大のスコアに乗じるのではなく，頻度の対数値を乗じることにより頻度に対するスコアの上がり具合が穏やかになるように調整されている．
このような，頻度に対するスコアの上がり具合を調整する
多数決方式の有効性は，村田ら
\cite{Murata:DcreasedAddingJapaneseQusetionAnswering}
により考察がなされており，
この手法は，高精度の他の多数決手法と同等程度の性能を持つことが示されている．

\newcommand{\InH}[1]{}


\section{解スコア分布に基づくリスト型質問応答}\label{Chapter:list-qa}

質問応答の基本的な仕組みは，先に述べたように，
\par\InH{段階1}
 知識源となる文書集合の中から，与えられた質問に対する解候補群を見つけること，

\InH{段階2}
 各解候補に対し，その質問に対する答としての「良さ」を与える数値，すなわち，スコアを付与すること

\noindent
からなる．
リスト型質問応答の基本は，上記の二段階に加え，
\par\InH{段階3}
 優先順位型質問応答システムの出力，
 すなわち，スコア付きの解候補群を正解（と思しき）集合（最終的な回答群）と不正解（と思しき）集合の二つに分割する

\noindent
ことである．
これは，スコアの値に基づき，上位何件の解候補を正解と判断するかを決定することに等しい．

我々はその為の手法として，解候補の集合を，そのスコアを基にいくつかのクラスタに
分離することを考える．
そこで，本手法では，まず，確率密度分布に基づくクラスタリングで用いられる混合分布モデルと同様に
\par\InH{仮説1}
 あるクラスタ中の解候補のスコアの値密度分布が，ある一つの確率分布に従っており，異なるクラスタは異なるパラメタの確率分布に由来すること，そして，

\InH{仮説2}
 解候補群全体のスコアの密度分布はこの複数の確率分布の混合分布に従っていること

\noindent
を仮定する．
次に，各確率分布のパラメタをEMアルゴリズムにより推定し，いくつかの分布に
分離する．
最後に，それぞれの分布を正解集合のスコアの分布と不正解集合のスコア分布のどちらであるかを判定し，各解候補がいずれの分布に由来するものなのかを推定し，最終的な正解集合を求める．
ここで，上記クラスタ数はいくつの群に分けて分析をするかを表す一種のパラメタであり，何らかの手法で決める必要がある．正解集合には何らかの共通点があり1〜2程度の少数のクラスタから構成されることが期待されるが，不正解集合にこのような性質があるとは限らない．しかし本論文では，手法の分析のしやすさから，2〜3程度のクラスタに分ける場合について検討を行なう．


一方，基本となる優先順位型質問応答において，システムの求める解析精度が十分でないこともある．
例えば，我々の利用しているシステム\cite{Mori:NTCIR4WN:JapaneseQASystemUsingA*SearchAndItsImprovement}では，順位づけにおいても未だ満足のいくものではない．
同システムでは，MRR値
が0.5程度であり，平均すると2位に正解を見つけることができるという評価
であるが，実際のところは1/3程度の問題について1位に正解を返し，2〜5位に正解を返すのが1/3程度，残りの問題については全く正解を得ることが出来ていない．
つまり，システムにとって得意な問題と不得意な問題が存在している．

我々は，不得意な問題の場合は，各解候補に対するスコア付けがうまくいっておらず，上述の仮説1，仮説2が成立していないと考えた．
そこで，推定した確率分布のパラメタに基づき，複数に分割された分布それぞれが正解集合の分布であるか，不正解集合のそれかを判定し，正解集合の分布と不正解集合の分布とが明確に分割できるか否かを調べる．
これにより，正解が適切に見つかっているか否かを判断することがある程度可能であると考える．

解候補のスコア分布が正解集合の分布と不正解集合の分布とに分けられるとしている
本提案手法では，全ての質問対し，一つ以上の正解があることを前提としており，
最低でも一つの回答を出力する．
正解が全くない質問については，
正解が適切に見つかっていないと判定された質問の一部と
とらえることができるが，
現在対応できていない．


\subsection{解候補スコアの分布の計算}\label{sec:分布の計算}

優先順位型質問応答システムの出力は解候補とそのスコアの組のリストであり，
スコアを数直線上に示すと，図\ref{fig:ScoreDensity}（上）の様になる．
それを視覚的に分かりやすくするために，一定区間で区切ってヒストグラムに
したものが，図\ref{fig:ScoreDensity}（中）である．これは説明の為に示した図であり，
実際の処理ではヒストグラムは求めていない．
本研究では平滑化した確率密度関数を求めるための手法として，
スコア分布をいくつかの正規分布の混合分布とみなし，
各分布のパラメタを求めるのにEMアルゴリズムを用いている．

\begin{figure}[t]
\begin{center}
\includegraphics{16-1ia4f2.eps}
\end{center}
\caption{スコア分布の計算}
\label{fig:ScoreDensity}
\vspace{-1\baselineskip}
\end{figure}


本提案手法では，複雑な要因（本手法では，\ref{subsec:解生成}節に示す，解候補のスコア）が重なりあってできるばらつき
は正規分布に近付くという，統計学における中心極限定理を基にして，
仮定する分布を正規分布とした．
解候補のスコアの分布が，正解集合が成すいくつかの分布と不正解集合のそれとの混合分布であること，並びにそれらの分布がいずれも正規分布であることを仮定すると，
混合分布は式(\ref{Eq:MixtureDist})で与えられる．
なお，本稿では，各解候補のスコアは全て，各問について各解候補のスコアを最大値で除し，[0,1]の範囲となるように正規化したものを用いる．
\begin{equation}
p_s(x) = \sum_{i=1}^n \xi_i\phi_i(x:\mu_i,\sigma_i^2)
\label{Eq:MixtureDist}
\end{equation}

ここで，$x$はスコアの値に対応する確率変数，$n$は仮定する分布数，$\phi_i(x:\mu_i,\sigma_i^2)$は平均値$\mu_i$，分散$\sigma_i^2$の正規分布，$\xi_i$はそれぞれの確率分布の混合比を決めるパラメタである．
解のスコア付けが正しく行なわれ，スコア分布が混合分布であるという仮説が成り立つのであれば，スコアの平均値が大きい分布が正解集合がなす分布となる．
以降では，スコアの平均値の大きい方の分布から順に番号をつけ$\phi_1,\phi_2\ldots$とする．

解候補スコアの観測値の集合が与えられた場合，
式(\ref{Eq:MixtureDist})における各パラメタの推定は，EMアルゴリズムにより行なうことができる．
これらの分布のパラメタから次節で述べる手法により正解集合の分布と不正解集合の分布とが明確に分割できると判定できる場合には，スコアにより回答候補群を正解の群と不正解の群に分けられると判断する．

また，使用している優先順位型質問応答システムには，\ref{subsec:解生成}節に示すように，スコア付けに，多数決方式が採用されている．
この多数決スコアがスコアの分布に大きな影響を及ぼしていると考えられる（図\ref{fig:WeightedScore}）．複数回出現した解候補のスコアはその出現回数に応じて高くなり，
複数回出現した解候補のグループが，スコアの高い分布を形成しやすくなり，
分布が別れやすくなる．
このことについては\ref{sec:問題判定}節において実験，考察する．

\begin{figure}[t]
\small
\begin{center}
\includegraphics{16-1ia4f3a.eps} \\
(a) 多数決方式を用いない場合（同じ表現の解候補はスコアが高いものだけを使用）\\[1\baselineskip]
\includegraphics{16-1ia4f3b.eps} \\
(b) 多数決方式を用いた場合（出現回数が2以上の解候補のスコアが多数決方式により上昇）\\
\end{center}
\caption{多数決方式によるスコアの変化}
\label{fig:WeightedScore}
\end{figure}


\subsection{解候補スコアの分布の分割の明確さの判定}\label{sec:分布の判定}

スコアの降順で解候補が並んでおり，$i$番目の解候補を$AC_i$，その最終スコア$score_{raw}(AC_i)$を正規化したスコアを$score(AC_i)$とする．
解候補のスコアが明確に分割できるかどうかの判定は，
隣接した正規分布の平均値の差の値の最大値 ($\max_j \{\mu_j-\mu_{j+1}\}$)，
隣接解候補のスコアの差の最大値($\max_k \{score(AC_k)-score(AC_{k+1})\}$)に基づいて行なう．
これは，解候補を二群に分けるという観点において，隣接した正規分布の平均値の差の値の最大値($\max_j \{\mu_j-\mu_{j+1}\}$)が大きいほど，スコア分布が大きく二つのグループに分離できると考えられるからである．
また，
解の分布の如何によらず，解候補をスコアにしたがって二群に分けることを考えると，
最も素朴な手法は，
隣接する解候補のスコアの差が最も大きい箇所で分離するものであろう．
この時，その差の最大値が大きい時ほどスコアの分布が明確に二つに分かれると考えられる．

本稿では，以上の二つの指標，すなわち
\begin{description}
\item[分離指標1] $\max_j {\mu_j - \mu_{j+1}} \geq Th_{\mu_{\mathit{diff}}}$
\item[分離指標2] $\max_k \{score(AC_k)-score(AC_{k+1})\} \geq Th_{\mathit{diff}}$
\end{description}
を採用することとし，上記分離指標のいずれかを満たす場合を，スコアの分布が明確に分かれていると判断した．
ここで，$Th_{\mu_{\mathit{diff}}}$，$Th_{\mathit{diff}}$はそれぞれスコア分布が明確に分離できる
と判断する閾値である．

図\ref{fig:RealScore}は実際に質問応答システムが出力した
解候補のスコア分布の例である．
上位30件を採用した．
それぞれの質問文は，図\ref{fig:RealScore}(a)では「サッカーのワールドカップフランス大会で日本が対戦した国はどこですか。」（QAC2subtask2のテストセット中の質問．IDはQAC2-20055-01）
であり，知識源は毎日新聞，読売新聞それぞれの98年と99年の2年分の記事である．
図\ref{fig:RealScore}(b)では「小沢征爾はいつからボストン交響楽団の音楽監督を務めていましたか。」（QAC1のテストセット中の質問．IDはQAC1-1047-01）であり，知識源は毎日新聞の98年と99年の2年分の記事である．
棒グラフが実際の解の分布（ヒストグラム）を示しており，
実線がEMアルゴリズムにより推定された複数の分布，破線がその混合分布である．
図\ref{fig:RealScore}(a)は上位の解候補に正解が含まれている場合，
図\ref{fig:RealScore}(b)は上位の解候補に正解が含まれていない場合であり，
正解の位置はそれぞれの図に矢印で示してある．

\begin{figure}[t]
\small
\begin{center}
\includegraphics{16-1ia4f4a.eps}\\
 (a) 正解が上位に含まれているもの \\[1\baselineskip]
\includegraphics{16-1ia4f4b.eps} \\
 (b) 正解が上位に含まれていないもの \\
\end{center}
\caption{実際のスコアの分布}
\label{fig:RealScore}
\vspace{-0.5\baselineskip}
\end{figure}


上位に正解が含まれている場合（図\ref{fig:RealScore}(a)）
では
隣接した分布同士の平均値の差が，最大の所で0.16と大きく，
いくつかの分布が独立しているように見え，スコアの大きい分布と
小さい分布とに明確に分けられそうである．
それに対して，
上位の解候補に正解が含まれていない場合（図\ref{fig:RealScore}(b)）では
隣接した分布同士の平均値の差が最大の所でも0.05と小さくなっており，
全体で大きな一つの分布であるかように観察される．
このことから，大きく二つの分布に分けられるときには上位に正解があり，
そうでないときには上位に正解が含まれていないということが
期待される．


\subsection{分割する分布の数の決定}\label{sec:分布数判定}


分割する分布の数
（以下，分布数と表記）
は，スコアを正解集合と不正解集合に
分けると言う観点では二つと考えられるが，
二つの分布に分けた時にうまくいかない例が存在するため，
二つ以上のクラスタに分けることを考える．


二つの分布で分離した時にうまくいかない例を図\ref{fig:DistNum}に示す．
棒グラフが実際の解の分布（ヒストグラム）を示しており，
実線がEMアルゴリズムにより推定された二つ，もしくは三つの分布である．
図中の破線は，スコアが一番大きい分布を正解集合の分布と考えた場合の
正解分布と不正解分布の境界となるスコアの値であり，これより大きいスコアを持つ
解候補が回答として選ばれる．
二つの分布で分離した場合（図\ref{fig:DistNum}(a)）
を見ると，スコアが小さいところで一つの大きな分布が計算されており，
もう一つの分布はそれ以外の部分を被覆するように，
分散が大きな分布が計算されている．
二つの分布で分離し，スコアの高い方の分布を正解分布として回答選択をすると，
正解以外の解候補も多数回答に含まれてしまい，
回答の精度が悪くなってしまう．
一方，
三つの分布で分離した場合（図\ref{fig:DistNum}(b)）
を見ると，二つの場合と比べ，スコアが大きい分布が新たに
計算されている．
三つの分布で分離し，スコアの最も高い分布を正解分布として回答選択をすると，
余計なものを含まずに
正解を精度良く回答することが可能になる．

パラメタ調整用に用いた質問セット200問（QAC1の1〜50問目と101〜150問目及びQAC2の51〜150問目）では，
実際に上位に正解があるかどうかに関わらず，分布の形として
図\ref{fig:DistNum}と同様の傾向を持つ質問が約40問あった．
この様な例は，最上位の解候補のスコアと，最下位の解候補のスコアの差が
大きい時によく見られた．
最上位の解候補のスコアが，他の解候補よりも格段に高いスコアであった場合，
それが正解である可能性が高いと考えられる．
そのため，
図\ref{fig:DistNum}(a)の様に，二分布に分けた結果を用いて，多数の解候補を回答とするのは望ましくない．
図\ref{fig:DistNum}の例だけでなく，パラメタ調整用の質問セット中の
同様の質問においても，
図\ref{fig:DistNum}(b)の様に分布数を三つにすることで，
回答の数が不適当に多くなってしまうことをある程度解消できる
ことが分かった．

\begin{figure}[t]
\small
\begin{center}
\includegraphics{16-1ia4f5a.eps}\\
  (a) 二つの分布で分離した場合 \\[1\baselineskip]
\includegraphics{16-1ia4f5b.eps} \\
  (b) 三つの分布で分離した場合 \\
\end{center}
\caption{分離する分布の数の違い}
\label{fig:DistNum}
\end{figure}


このため，我々は二つに分けてうまくいかない例は三つにすれば
カバーできると考え，混合分布の数は二つか三つに限定した．

あるスコア群を二つの分布に分けるのか，三つの分布に分けるかの決定法には
以下のものが考えられる．
指標2，3は，EMアルゴリズムを用いて求められた分布と実際のスコアの並びを観察した結果得られたものである．

\begin{description}
\item [分布数決定指標1] MDL (minimum description length)\cite{MDL}を用いて最適な分布数を決定する．
MDLはパラメタで記述されたモデルのクラスからモデルを選択する基準である．
MDLの値が小さくなる方の分布を適切な分布とする．
MDLの値は以下のように計算する．
\begin{gather}
 MDL = - \log \mathit{\mathit{fit}}_m + \frac{3m-1}{2} \log N\\
 \mathit{fit}_m = \sum^{N}_{i=1} p_s(score(AC_i))\nonumber
\end{gather}
ここで，$m$は仮定する分布の数，$\mathit{fit}_m$は仮定した分布の数が$m$個のときの実際のスコア分布との適合度の度合であり，Nは優先順位型質問応答システムが出力した解候補の数である．
2項目の$3m-1$は，パラメタ数を表している．各分布には，混合比，平均値，分散という3つのパラメタがあるが，混合比は合計値が1と決まっているために，一つの分布については求める必要がない．そのため，パラメタ数は$3m-1$となる．
MDLの値が小さい方の分布数を採用する．

\item [分布数決定指標2] スコア分布を二つの分布の混合分布と仮定した時，スコアが大きい分布の分散と，小さい分布の分散の比率が閾値$Th_q$以上なら分布の数を三つに増やす． 
すなわち，スコア分布を二つの分布の混合分布とした時，$\sigma_1^2/\sigma_2^2 \ge Th_q$ならば，分布の数を三つにする．

これは，図\ref{fig:DistNum}
の例にあるように，二分布で分離した時にスコアの大きな分布が回答を多くとりすぎてしまう場合，スコアの小さいところで一つの大きな分布ができ，スコアの大きい方の分布はその他の部分を被覆するために，分散が大きな分布になっているという観察結果を基にしている．

\item [分布数決定指標3] スコア分布を二つの分布の混合分布と仮定した時，二分布の平均値の差が
閾値$Th_{\mu_r}$以上の時は，分布の数を三つにする．
すなわち，スコア分布を二つの分布の混合分布とした時，$\mu_1-\mu_2 \ge Th_{\mu_r}$ならば，分布の数を三つにする．

これは二分布の平均値の差の値が極近い分布では，全解候補中に正解があっても上位に位置していない場合が多いため，回答数が多くなる傾向にある二分布で正解判定をすると言う考えである．
\end{description}



\subsection{解候補の正解判定}\label{sec:回答判定}

解候補の正解判断では，まず，複数に分割した分布それぞれが正解集合の分布（以下，正解分布と呼ぶ）であるか，
不正解集合のそれ（以下，不正解分布と呼ぶ）であるかを判定する．
その後，正解分布に含まれる解候補を回答とする．
そのために，式(\ref{Eq:square})で定義される閾値$Th_s$を設け，
閾値以上のスコアを持つ解候補を回答とする．
\begin{gather}
Th_s = \argmax_t \{S_{correct}(t)-S_{incorrect}(t)\}
\label{Eq:square} \\
\begin{split}
{}& S_{correct}(t)= \sum_{i\in D_{correct}} \int^{\infty}_{t} \phi_i(x) dx \\
{}& S_{incorrect}(t)= \sum_{j\in D_{incorrect}} \int^{\infty}_{t} \phi_j(x) dx \\
{}& D_{correct} = 正解分布と判定された分布の番号の集合 \\
{}& D_{incorrest} = 不正解分布と判定された分布の番号の集合
\nonumber
\end{split}
\end{gather}

また，正解分布は以下のように決める．正解分布と判定されなかった分布は不正解分布とする．
\begin{description}
\item [分布数が二つの時] スコアの大きい方の分布を正解分布とする．
\item [分布数が三つの時] 以下のものが考えられる．
\begin{itemize}
\item スコアの大きい方からいくつめの分布までを正解分布とするかあらかじめ決めておく
\item 隣接分布間の距離が大きいところで正解分布と不正解分布とに分ける（$j=\linebreak\argmax_j \{\mu_j-\mu_{j+1}\}$となるとき，$j$番目の分布までを正解分布とする）．
\end{itemize} 
\end{description}

なお，この閾値を設けて回答を決める手法は，Murata et al \cite{Murata:JapaneseQAsystemUsingDecreasedAddingwithMultipleAnswers}などで用いられている，スコアの閾値に基づく手法に似ているが，
確率分布の上で閾値を設定している点が異なる．

\vspace{-0.5\baselineskip}
\section{実験及び評価}\label{Chapter:exp-eval}

NTCIR3 QAC1\cite{Fukumoto:QAC1}及びNTCIR4 QAC2のtask2（リスト型タスク）\cite{Fukumoto:QAC2Subtask12}のテストコレクションを用いて実験を行なった．
知識源は，QAC1の質問に対しては，毎日新聞の98年と99年の2年分の記事を用い，QAC2の問いに対しては，読売新聞と毎日新聞の98年と99年の2年分の記事を用いている．
また，優先順位型質問応答システムからの出力は上位10件を採用している．
リスト型質問の評価は一問あたりのF値の全質問平均の平均MF値（Mean Modified F-measure, MMF値）を用いる．
なお，ここでのF値は加藤らが提案する修正F値である\cite{加藤:リスト型質問応答の特徴付けと評価指標}．
すなわち，同じ解答もしくは同じものを表現する異なる表現を複数リストに含めた場合は，そのうちひとつだけを正解とし，それ以外は誤答とする．
また，正解のない質問には空リストを返した時にのみ1.0が与えられ，それ以外の場合はすべて0.0とする．

本節の構成は以下の通りである．\ref{sec:問題判定}節では正解が適切に見つかっている質問の判定に対する
分離指標の有効性を調べる．
特に，\ref{subsec:多数決}節では，多数決方式の違いによる結果の違いを見る．
多数決方式の有無やその方法により，スコアの分布が違ってくることが考えられ，
それにより正解が適切に見つかっている質問の判定をしたときの結果が違ってくる
ことが考えられる．
多数決方式を変えて\ref{sec:分離指標の有効性}節と同様の実験をし，その結果の違いを調べた．
\ref{subsec:他のスコア付け}節では，\ref{subsec:解生成}節に示した
スコア付け手法以外の手法でも，分離指標が有効かどうかを調べた．
また，多数決方式の有無による結果の違いが\ref{subsec:多数決}節での結果と
同様のものになるかどうかも実験した．

\ref{sec:相関}節では，用いた分離指標の妥当性を見るために，
スコアの分布が二つに明確に分割できると判断するための各尺度と
精度であるF値との相関関係を求めた．

\ref{sec:正解判断指標の有効性}節では，\ref{sec:回答判定}節に示した
正解判断のための閾値決定法及び\ref{sec:分布数判定}節に示した分布数判定指標の有効性を調べるために
実験を行なった．

\ref{sec:問題判定}節〜\ref{sec:正解判断指標の有効性}節では，
スコアの分布として正規分布を仮定して実験を行なっているが，
\ref{sec:他の分布}節では，正規分布以外の分布としてポアソン分布を
仮定し，\ref{sec:問題判定}節〜\ref{sec:正解判断指標の有効性}節の実験と
同様の実験をし，その結果が正規分布を用いた時と
同じような傾向になるかどうかを調べた．


\subsection{正解が適切に見つかっている質問の判定}\label{sec:問題判定}

本節では，NTCIR3 QAC1 \cite{Fukumoto:QAC1}及びNTCIR4 QAC2のtask2（リスト型タスク）\cite{Fukumoto:QAC2Subtask12}のテストコレクションを
平均正解数が同じになるように，二つの組に分け，一方をパラメタ調整用，もう一方を評価用とした．
パラメタ調整用の質問は，QAC1の1〜50問目と101〜150問目及びQAC2の51〜150問目の計200問である．
評価用の質問は，QAC1の51〜100問目と151〜200問目及びQAC2の1〜50問目と151〜200問目であり，うち一問が不適切な質問とされているため，計199問である．
パラメタ調整用のセットの平均正解数は2.31個，評価用のセットの平均正解数は2.33個である．


\subsubsection{分離指標の有効性}\label{sec:分離指標の有効性}

まず，分布の分割の明確さを判定することの有効性を見るために，スコアの分布の分離が明確な場合とそうでない場合とに分割し，それぞれの場合について\ref{sec:回答判定}節の手法で解候補の正解判定を行なった．
回答選択の手法は，
分布数の判定を行なわない手法を用いた．
\ref{sec:正解判断指標の有効性}節において，分布数の推定を行なっているが，
推定が失敗する可能性を考慮にいれて，分布数は固定とした．
ここでは，分布数の判定を行なわない手法の中で最もMMFが高い，
すべての質問において
三つの分布の混合分布であると仮定し，三つの分布のうち正解分布はスコアが一番大きい分布のみとした手法を用いている．

また，スコアの分布の分離が明確かどうかの判定には，\ref{sec:分布の判定}節で
述べた分離指標を用い，次のいずれかを満たすものをスコアの分布の分離が明確であると判断している．
以下で示している各パラメタは予備実験の結果に基づきその値を決定した．
予備実験ではパラメタ調整用の質問セットを用い，それぞれの閾値を0.01単位で動かした時に，正解が適切に求められている質問（解候補中に正解があり，かつそれらが上位に順位づけされている）とそうでない質問とを有効に分けられるかどうかの結果を基に決定した．
\begin{align}
Th_{\mu_{\mathit{diff}}} & = 0.25 \\
Th_{\mathit{diff}} & = 0.2
\end{align}

評価用の質問セットについて
上記閾値に基づき\ref{sec:分布の判定}節の分離指標により，スコアの分布の分離が明確な場合とそうでない場合とに分割した時の
平均回答数とMMFを表\ref{tab:分布の分割の違い}に示す．

表\ref{tab:分布の分割の違い}によると，分布の分割が明確な場合と不明確な場合とでMMFに明確な差がでている．
また，分布の分割が明確な場合，平均回答数を見ると正解の平均数よりも
少ない傾向にあるが，MMFが高く，選んだ回答群の精度が良いことが窺える．
分布の分割が不明確な場合には平均回答数が多くなっており，平均正解数に
近い値ではあるが，MMFは低く，回答の精度が低いことが分かる．

\begin{table}[b]
\caption{スコアの分布の分離の明確さの違いによる平均回答数とMMFの違い}
\label{tab:分布の分割の違い}
\begin{center}
\input{04table01.txt}
\end{center}
\end{table}

このことから，提案手法により正解が見つかっており，かつそれが上位に順位づけされている
質問のみを抽出することがある程度可能であることが分かる．


\subsubsection{多数決方式の違いによる精度の違い}\label{subsec:多数決}

多数決方式による解候補のスコア付けは，解候補のスコア分布に
大きな影響を与えていると考えられる．
多数決方式を用いた場合，複数投票が入った解候補はスコアが高くなり，
回答として選ばれやすくなる．
まず，複数投票が入った解候補の有無（多数決方式による
スコアの変化の有無）という観点で質問文を分けた時の精度の違いを求めた．
結果を表\ref{tab:複数投票}に示す．

\begin{table}[b]
\caption{複数投票が入った解候補がある質問と無い質問とでの平均回答数とMMF}
\label{tab:複数投票}
\begin{center}
\input{04table02.txt}
\end{center}
\end{table}

表\ref{tab:複数投票}より，複数投票が入った解候補がある場合と無い場合とで，
精度に大きな差があるのが分かる．
このことより，解候補が適切に見つかっているかどうかの判定に，
複数投票が入った解候補のある，なしという情報も使えるということが分かる．
表\ref{tab:分布の分割の違い}と比べると，
スコアの分布の分割が明確な場合と，複数投票が入った解候補がある場合とでは
スコアの分布の分割が明確な場合の方がMMFが高く，より正解が適切に見つかっている質問を抽出できている．
スコアの分布の分割が不明確な場合と，複数投票が入った解候補がない場合とでは
複数投票が入った解候補がない場合の方がMMFが低く，より正解が見つかっていない質問を抽出できると考えられる．

また，多数決方式を利用したスコアの分布と
多数決方式を利用しない場合のスコア分布の違いを見るために，
分離指標を用いた以下の実験も行なった．
多数決方式によってスコアが変化するのは，複数投票が入った質問のみであるので，
表\ref{tab:複数投票}において，
複数投票が入った解候補があった121問に対して，
優先順位型質問応答システムの解スコアを利用してリスト型質問応答を実行した．
\ref{subsec:解生成}節に示した頻度に対する上がり具合を調整する
多数決方式（以後，最大値乗算方式と呼ぶ）の他に，
複数投票があった場合，その解候補のスコアを単純に加算する多数決方式（以後，単純加算方式と呼ぶ）を用いた場合
及び，
多数決方式を用いない場合，それぞれについて，分布の分割が明確かどうかを
分けたときの，平均回答数とMMFを求めた．

\ref{sec:分布の判定}節で述べた，分布が明確に分離できるかどうかの
各分離指標のパラメタは，
\ref{sec:分離指標の有効性}節と同様の予備実験を行ない，以下のように決定した．
この時に使用した質問は，質問セット中の，複数投票が入った質問のみである．

\begin{itemize}
\item 最大値乗算方式の多数決方式を用いた場合
\begin{align}
Th_{\mu_{\mathit{diff}}} & = 0.3 \\
Th_{\mathit{diff}} & = 0.25
\end{align}
\item 単純加算方式の多数決方式を用いた場合
\begin{align}
Th_{\mu_{\mathit{diff}}} & = 0.5 \\
Th_{\mathit{diff}} & = 0.5
\end{align}
\item 多数決方式を用いない場合
\vspace{-0.5\baselineskip}
\begin{align}
Th_{\mu_{\mathit{diff}}} & = 0.15 \\
Th_{\mathit{diff}} & = 0.1
\end{align}
\end{itemize}

結果を表\ref{tab:多数決方式による結果の違い}に示す．

表\ref{tab:多数決方式による結果の違い}より，どの手法においても
分布の分割が明確な場合と不明確な場合で，MMFに大きく差が出ている．
このことから，
多数決方式の違いに関わらず，
分布の分割の明確さをみることで，
正解が適切に見つかっている質問を抽出することが，ある程度可能であることが
分かる．

また，表\ref{tab:多数決方式による結果の違い}での，121問全体のMMFの違いを見てみると，\ref{subsec:解生成}節に示した頻度に対する上がり具合を調整する
最大値乗算方式を用いた場合で0.446と最も高い値となっている．

最大値乗算方式を用いた場合のMF値と
単純加算方式や多数決方式を用いない場合でのMF値との
間に統計的有意差があるか，
表\ref{tab:多数決方式による結果の違い}で用いた121問で
ウィルコクソンの符合付順位和検定（両側検定）によって
求めた．
その結果，
最大値乗算方式と単純加算方式との間で
有意水準5\%で統計的有意差があったが($p=0.033<0.05$)，
最大値乗算方式と多数決方式を用いない場合との間では，
統計的有意差は認められない($p=0.23$)ということが分かった．

\begin{table}[t]
\caption{多数決方式の違いによる結果の違い}
\label{tab:多数決方式による結果の違い}
\begin{center}
\input{04table03.txt}
\end{center}
\end{table}


\subsubsection{スコア付け手法の違いによる精度の違い}\label{subsec:他のスコア付け}

\ref{subsec:解生成}節で示した以外の解候補のスコア付け手法でも
分離指標が有効に働くかどうかを調べるために，
質問文中のキーワードと解候補との距離に基づいた単純なスコア付け方法を
用いて同様の実験を行なった．
この距離に基づいたスコア付け手法は，構文解析を用いずに解候補のスコアを決定する素朴な手法である．この手法では，全てのキーワードからの距離が近い解候補ほど
大きなスコアが与えられる．
このスコア$S_{dist}(mor)$は，式(\ref{Eq:distance})によって与えられる．
ここで，$K_n$は質問文中の$n$番目のキーワードである．
\begin{gather}
S_{dist}(mor)=\sum_n \frac{1}{\log dist(mor,K_n)+1}
\label{Eq:distance} \\
\begin{split}
{}&dist(mor,K_n) \\
 & \qquad = 解候補となる形態素morとキーワードK_nとの間の距離を形態素単位で計ったもの
\end{split} \nonumber
\end{gather}
この手法でも，探索制御において，同じ解が複数回求められた場合には\ref{subsec:解生成}節で
示した多数決方式を用いて最終的なスコアを求めている．
スコアの分布が明確に分離できるかどうかの各パラメタは，パラメタ調整用質問セットを用いた予備実験の結果以下のように決定した．
\begin{align}
Th_{\mu_{\mathit{diff}}} & = 0.25 \\
Th_{\mathit{diff}} & = 0.2
\end{align}

解候補のスコア分布は，\ref{sec:分離指標の有効性}節と同じく三つの分布の混合分布であると仮定し，
三つの分布のうち正解分布はスコアが一番大きい
分布のみとしている．

スコア分布が明確に分割できる質問とそうでない質問とに分けた時の平均回答数とMMFを表\ref{tab:距離スコアでの分割}，複数投票が入った解候補がある場合とない場合とで分けた時の同様の結果を表\ref{tab:距離スコアで複数投票}に示す．

\begin{table}[b]
\vspace{-1\baselineskip}
\hangcaption{距離に基づいたスコアを使った時の，スコアの分布の分割の度合の違いによる
平均回答数とMMFの違い}
\label{tab:距離スコアでの分割}
\begin{center}
\input{04table04.txt}
\end{center}
\end{table}
\begin{table}[b]
\hangcaption{距離に基づいたスコアを使った時の，複数投票が入った解候補がある質問とない質問との結果の違い}
\label{tab:距離スコアで複数投票}
\begin{center}
\input{04table05.txt}
\end{center}
\end{table}

表\ref{tab:距離スコアでの分割}，表\ref{tab:距離スコアで複数投票}より，
分布の分割が明確な場合とそうでない場合，
また複数投票が入った解候補がある場合とない場合とで
MMFに明確な差がでているのが分かり，\ref{subsec:解生成}節で示した解候補のスコア付け法を用いた場合と同様の結果が得られた．
分布の分割が明確な場合は正解が適切に見つかっている質問を
抽出でき，複数投票が入った解候補がない場合では正解が適切に見つかっていない
質問を抽出できるという傾向も同じである．

距離に基づいたスコア付け方法でも\ref{subsec:多数決}節と同様に，
多数決方式を利用したスコア分布と多数決方式を利用しない場合のスコア分布の違いを見るための，分離指標を用いた
実験を行なった．
表\ref{tab:距離スコアで複数投票}において複数投票が入った解候補があった
125問に対して，
リスト型質問応答を実行した．
分布の分割が明確かどうかの判断のためのパラメタは，予備実験の結果，以下のように決定した．
その結果を表\ref{tab:距離スコアで多数決}に示す．

\begin{table}[b]
\caption{距離に基づいたスコアを使った時の，多数決方式のあるなしによる精度の違い}
\label{tab:距離スコアで多数決}
\vspace{-0.5\baselineskip}
\input{04table06.txt}
\end{table}

\pagebreak

\begin{itemize}
\item 最大値乗算方式の多数決方式を用いた場合
\begin{align}
Th_{\mu_{\mathit{diff}}} & = 0.25 \\
Th_{\mathit{diff}} & = 0.2
\end{align}
\item 多数決方式を用いない場合
\begin{align}
Th_{\mu_{\mathit{diff}}} & = 0.1 \\
Th_{\mathit{diff}} & = 0.1
\end{align}
\end{itemize}

表\ref{tab:距離スコアで多数決}より，
いずれの場合でも，ある程度正解が適切に見つかっている質問を
分けることができた．
また多数決方式を用いた場合とそうでない場合とではMF値について，125問全体を対象にした時のMF値にも差が出ているが，統計的有意差は認められない（ウィルコクソンの符合付順位和検定（両側検定）で，$p=0.31$）．

距離に基づいたスコア付け手法を利用した際にも
分離指標が有効であること，
複数投票が入った解候補がある質問とない質問で精度に大きく差がでること
などから本論文で提案した解候補の分割の指標及び解候補の選択手法は
解候補に対するスコア付け手法が単純なものであっても，
有効であると考えられる．


\subsection{スコアの分布が二つに分離できると判断するための各尺度の間の相関関係}\label{sec:相関}

\begin{table}[b]
\vspace{-0.5\baselineskip}
\caption{スコアの分布が二つに分離できると判断するための各尺度の相関関係}
\label{tab:正規分布の各尺度の相関係数}
\begin{center}
\input{04table07.txt}
\end{center}
\end{table}

分離指標としていた尺度の妥当性の検証のために，スコアの分布の分離指標として用いていた
各尺度と回答精度であるMF値との相関関係を調べた．
ここで用いた質問は，QAC1の51〜100問目と151〜200問目及びQAC2の1〜50問目と151〜200問目（うち一問が不適切な質問とされている）の計199問である．
相関を求める際，MF値は質問毎に，優先順位型質問応答システムの出力のうち
上位n件に対する解候補のF値をnを変化させて求め，その最大値
（以後最大F値と表す）を用いている．
相関を求めた結果を表\ref{tab:正規分布の各尺度の相関係数}に示す．表中の値はピアソンの相関係数である．
$\mu_{\mathit{diff}}(2)$は，スコア分布を二つの分布の混合分布としたときの，二つの正規分布の平均値の差，$\mu_{\mathit{diff}}(3)$は，スコア分布を三つの分布の混合分布したときの，隣接した正規分布の平均値の差の大きい方，
$max_{\mathit{diff}}$は隣接スコアの差の最大値($max_{\mathit{diff}}=\max_j \{score(AC_j)-score(AC_{j+1})\}$)，を表している．
以上の値に注目したのは，
$\mu_{\mathit{diff}}$と$max_{\mathit{diff}}$はその値が大きいほどスコア分布は分布は明確に分離できると期待できるためである．


表\ref{tab:正規分布の各尺度の相関係数}より，各尺度間には非常に強い相関があることがわかる．また，各尺度と最大MF値にも相関があることが示されている．
最大F値が高い質問は上位に正解が集まっている質問といえる．
各尺度と最大MF値との間に相関関係があるということから，各尺度が，
正解が上位に順位付けされている質問を抽出するための
分離指標として，利用可能である
考えられる．


\subsection{正解判断指標の有効性}\label{sec:正解判断指標の有効性}

\ref{sec:回答判定}節で提案した回答選択手法の有効性を調べるために，実験を行なった．
提案手法では，
「分布数の決定法」ならびに
「分布数が三つの場合の正解分布の決め方」
に各々数種類ずつ選択肢がある．
また，比較対象であるベースラインとなる手法についても様々な観点からいくつかの候補がある．
そのため，
QAC1及びQAC2のテストコレクションをパラメタ調整セット，開発セット，
評価用セットの三つに分けた．
まず，パラメタ調整セットにより各パラメタを調整する．
そして，開発セットによって，有効なベースライン手法及び，
提案手法における各選択肢の有効な組合せを決定した後，
テストセットによって，ベースライン手法と提案手法の精度の比較を行なう．
パラメタ調整用の質問セットは，QAC1の34〜66問目，167〜200問目及びQAC2の1〜33問目，134〜166問目（計133問，平均正解数2.32個），
開発用の質問セットは，QAC1の67〜133問目及びQAC2の34〜66問目，167〜200問目であり，うち一問が不適切な質問とされている（計133問，平均正解数2.34個）．
評価用の質問セットは，QAC1の1〜33問目，134〜166問目及びQAC2の67〜133問目（計133問，平均正解数2.29個）である．


\subsubsection{ベースライン手法の決定}\label{subsubsec:ベースライン}

ベースライン手法の候補として，先行研究を考慮し以下のものを検討する．
\begin{itemize}
\item スコアの値の上位から決まった個数の解候補を回答とする手法．
\item スコアの値に単純な閾値を設ける手法．$score(AC_i) \ge  Th_r$なる$AC_i$のリストを回答とする．ただし，提案手法が式(\ref{Eq:square})で求める値と違い，$Th_r$は全問に共通の一定の値である．また，$score(AC_i)$は最大値が1になるように正規化されていることに注意されたい．
\item 秋葉ら\cite{秋葉:質問応答における常識的な解の選択と期待効用に基づく回答群の決定}の手法を用いて回答する手法．
\end{itemize}

質問の正解数の平均は約2.3個であるため，決まった個数の解候補を回答とする手法では，回答とする解候補の数を1〜3個の場合それぞれについて結果を求めた．

スコアの値に単純な閾値を設ける手法での閾値$Th_r$は，値を0.5から0.99まで0.01刻みで変えていき，パラメタ調整用の質問セットで
最もMMFが高かった以下の値を採用した．
\begin{equation} 
 Th_r = 0.78
\end{equation}

開発セットにおけるベースライン手法の各候補の精度を，
\pagebreak
表\ref{tab:ベースライン手法，開発セット}に示す．
表中の再現率，適合率はそれぞれ，

再現率＝全質問に対する正答数／全質問の正解数の合計，

適合率＝全質問に対する正答数／全回答数，\\
と計算した．ここで，正答数とは，回答中に現れた正解の数であり，全回答数
は，全質問に対する回答数である．
表中のMMFは上記の再現率，適合率から求めた値ではなく，
それぞれの質問のMF値の全質問平均であることに注意されたい．

\begin{table}[t]
\caption{開発セットにおけるベースライン手法の精度}
\label{tab:ベースライン手法，開発セット}
\begin{center}
\input{04table08.txt}
\end{center}
\end{table}


表\ref{tab:ベースライン手法，開発セット}より，MMF値が最も高い秋葉らの手法を，提案手法と比較するベースライン手法として採用する．


\subsubsection{提案手法における，「分布数の決定法」及び，「分布数が三つの場合の正解分布の決定法」の組合せの決定}\label{subsubsec:提案手法}

提案手法では回答は\ref{sec:回答判定}節の式(\ref{Eq:square})で
求められる閾値以上のスコアを持つ解候補を回答とする．
ここで，「分割する分布数の決定法」及び，「分割されたいくつかの分布のうち，どこまでを正解分布とするかの決定法」についてそれぞれいくつかの候補が存在する．
本節では，開発セットを用いて，「分布数の決め方」と「分布数が三つの場合の正解分布の決め方」の最も良い組合せを選ぶ．

分布数が二つの時は，スコアの大きい方の分布が正解分布となる．
分布数が三つの時の正解分布の決め方として，以下の三種類を検討する．
\begin{description}
\item[固定(1)] 最もスコアが大きい分布を正解分布とする．
\item[固定(2)] スコアが大きい方から二つ目の分布までを正解分布とする．
\item[可変] 隣接分布の平均値の差が大きいところで正解分布と不正解分布とに分ける（$j=\linebreak\argmax_j \{\mu_j-\mu_{j+1}\}$となるとき，$j$番目の分布までを正解分布とする）)．
\end{description}

また，分布数の決定法は以下の場合を検討する．
\begin{itemize}
\item 分布数をあらかじめ決定しておく．
\item \ref{sec:分布数判定}節の分布数決定指標1を用いて分布数を決定する．
\item \ref{sec:分布数判定}節の分布数決定指標2を用いて分布数を決定する．
\item \ref{sec:分布数判定}節の分布数決定指標3を用いて分布数を決定する．
\item \ref{sec:分布数判定}節の分布数決定指標2と3の両方を用いて分布数を決定する．分布数決定指標2と同3の両方で分布数が三つと判定された質問だけを分布数が三であると仮定し，それ以外は分布数を二と仮定する．
\end{itemize}

各候補の組合せを表\ref{tab:設定組合せ}に示す．表\ref{tab:設定組合せ}では，
それぞれの設定において，パラメタ調整用のセットで調整する必要がある
パラメタ名を併せて示している．

\begin{table}[b]
\hangcaption{提案手法の「分布数の決定法」と「分布数が三つの場合の正解分布の決定法」のそれぞれの候補の設定の組合せ}
\label{tab:設定組合せ}
\begin{center}
\input{04table09.txt}
\end{center}
\end{table}


分布数決定指標2のパラメタ$Th_q$はパラメタ調整用の質問セットを用いて，値を1から10まで0.5刻みで変えて実験した結果，式(\ref{Eq:Th_q})の通りに決定した．
また，分布数決定指標3のパラメタ$Th_{\mu_r}$はパラメタ調整用の質問セットを用いて，値を0.01から0.2まで0.01刻みで変えて実験した結果，式(\ref{Eq:Th_mu_r})の通りに決定した．
\begin{align} 
Th_q & = 2.5 \label{Eq:Th_q}\\
Th_{\mu_r} & = 0.15 \label{Eq:Th_mu_r}
\end{align}

「分布数の決定法」と「分布数が三つの場合の正解分布の決定法」のそれぞれの候補の組合せにおける求解精度を表\ref{tab:提案手法，開発セット}に示す．

\begin{table}[b]
\hangcaption{開発セットにおける，「分布数の決定法」と「分布数が三つの時の正解分布の決定法」のそれぞれの候補の組合せにおける求解精度}
\label{tab:提案手法，開発セット}
\begin{center}
\input{04table10.txt}
\end{center}
\end{table}


表\ref{tab:提案手法，開発セット}より，最もMMF値が高い，
「分布数決定指標2で分布数を決定し，分布数が三つの場合には最もスコアが高い分布のみを正解分布とする手法」を最終的な提案手法とする． 


\subsubsection{提案手法とベースライン手法の精度比較}

評価用の質問セットを用いて，\ref{subsubsec:ベースライン}節及び\ref{subsubsec:提案手法}節で
\pagebreak
選んだベースライン手法と提案手法の精度の比較を行なった．
ベースライン手法は秋葉らの手法\cite{秋葉:質問応答における常識的な解の選択と期待効用に基づく回答群の決定}である．
提案手法は，\ref{sec:分布数判定}節の分布数決定指標2で分布数を決定し，分布数が三つの場合には最もスコアが高い分布のみを正解分布とし，\ref{sec:回答判定}節の式(\ref{Eq:square})で
求められる閾値以上のスコアを持つ解候補を回答とする手法である．
分布数決定指標2のパラメタ$Th_q$の値は2.5である．

結果を表\ref{tab:提案手法vsベースライン}に示す．

\begin{table}[b]
\caption{評価用セットにおける，提案手法とベースライン手法の精度比較}
\label{tab:提案手法vsベースライン}
\begin{center}
\input{04table11.txt}
\end{center}
\end{table}


表\ref{tab:提案手法vsベースライン}より，提案手法のMMF値がベースライン手法を若干上回っていることが分かる．
ただし，この差に統計的有意差は無く（ウィルコクソンの符合付順位和検定（両側検定）でのp値=0.453），同等の精度であるといえる．
一方で，再現率と適合率を見ると，再現率には大きな差がないのに対し，適合率は
提案手法の方が大きく勝っている．
再現率を下げずに平均回答数を
少なくすることに成功していることが分かる．


\subsection{スコアの分布に正規分布以外の分布を使った時の求解精度}\label{sec:他の分布}

本研究では，スコアの分布として，正規分布を仮定して分布を求めていた．
これは，統計学における中心極限定理に根拠をおいている．
しかしながら，正規分布による近似が最適であるという保証はない．

一方，言語処理において，単語の出現頻度の確率分布は，
ポアソン分布に近似できるといわれている．
ポアソン分布は，一定の期間や一定の大きさの空間において，ごく稀に起こる
現象の確率分布である
そこで本節では，スコアの確率分布をモデル化する正規分布以外の分布として，ポアソン分布を仮定し，正規分布の場合と同様の求解手順により求められた解の精度を調べることとする．

ポアソン分布は二項分布の特殊例で，
二項分布の期待値と分散が等しい場合となる．
ポアソン分布の式は以下のように表される．
\begin{equation}
p(x) = \frac{e^{-\lambda} \cdot \lambda^{x}}{x!} \hspace{20pt}x=0,1,2\cdots
\end{equation}

ここで，$\lambda$は平均値で，0以上の値をとる．解候補スコアの分布を
ポアソン分布と仮定して，同じようにEMアルゴリズムで分離した．
ポアソン分布は離散分布であるので，解候補のスコアを非負の整数で表現する
必要がある．そこで，最大値を100とするために正規化スコアを100倍し，
小数点以下は四捨五入したものを用いた．


\subsubsection{仮定する分布の違いによるスコア分布の違い}

図\ref{fig:Poisson}(a)は優先順位型質問応答システムが出力した，上位30件の正規化した解候補スコアのヒストグラム（ヒストグラムのデータ区間は0.04毎）であり，実線はハニング窓関数を用いてスコアの密度分布を求めたものである（ハニング窓関数の窓幅は0.02）．
図\ref{fig:Poisson}(b)は正規分布，ポアソン分布それぞれの混合分布でスコア分布を近似したものである．ハニング窓関数を用いて求めた密度分布がだいたい三つの分布
から成り立っているように観察できるため，分布数は三つとしている．
正規分布の混合分布とポアソン分布の混合分布を比べると，ポアソン分布の混合分布の方が，なだらかに変化しており，分布の切れ目が判断しづらい．
図\ref{fig:Poisson}(a)のハニング窓関数を用いて平滑化したものと図\ref{fig:Poisson}(b)の
各分布を比べてみると，
正規分布で近似したもののほうが類似しているのが見てとれる．
このことから，正規分布の方がより正確に近似できていると言えそうである．
この違いは，ポアソン分布のパラメタ数と正規分布のパラメタ数の差から来ている．ポアソン分布ではパラメタが平均値$\lambda$のみであるのに対し，正規分布では平均値$\mu$と分散$\sigma^2$があるため，実際のスコア分布に対する近似はパラメタ数の多い正規分布の方が優れていると考えられる．

\begin{figure}[t]
\small
\begin{center}
\includegraphics{16-1ia4f6a.eps}\\
 (a) スコアのヒストグラム \\[1\baselineskip]
\includegraphics{16-1ia4f6b.eps}  \\
 (b) 混合分布\\
\end{center}
\caption{仮定するスコアの分布による混合分布の違い}
\label{fig:Poisson}
\end{figure}


\subsubsection{ポアソン分布を仮定した場合のリスト型質問応答}\label{subsec:ポアソンでの精度}

解候補スコアの分布として正規分布を仮定した場合とポアソン分布を仮定した場合の
違いを比較する．
用いた質問の内訳は\ref{sec:問題判定}節と同様で，
パラメタ調整用の質問は，QAC1の1〜50問目と101〜150問目及びQAC2の51〜150問目の計200問（平均正解数2.31個）である．
評価用の質問は，QAC1の51〜100問目と151〜200問目及びQAC2の1〜50問目と151〜200問目（うち一問が不適切な質問とされている）の計199問（平均正解数2.33個）である．

まず，\ref{sec:分布の判定}節の分離指標を用いて，回答が適切に見つかっている質問の判定ができるかどうか実験を行なった．分離指標に関する各パラメタは予備実験の結果，以下のように決定した．
予備実験ではパラメタ調整用の質問セットを用い，それぞれの閾値を0.01単位で動かした時に，正解が適切に求められている質問（解候補中に正解があり，かつそれらが上位に順位づけされている）とそうでない質問とを有効に分けられるかどうかの結果を基に決定した．
\begin{align}
Th_{\mu_{\mathit{diff}}} & = 0.2 \\
Th_{\mathit{diff}} & = 0.2
\end{align}

ここでは，すべての質問において，
解候補のスコア分布は，三つの分布の混合分布であるとし，三つの分布のうち正解分布はスコアが一番大きい
分布のみとしている．
結果を表\ref{tab:分布の分割の違いポアソン}に示す．

\begin{table}[b]
\caption{ポアソン分布を仮定した時のスコアの分布の分割の度合の違いによる平均回答数とMMFの違い}
\label{tab:分布の分割の違いポアソン}
\begin{center}
\input{04table12.txt}
\end{center}
\end{table}

表\ref{tab:分布の分割の違いポアソン}より，分布の分割が明確な場合と
不明確な場合とでMMFに差がでており，ポアソン分布を仮定した場合にも，
正解が適切に見つかっている質問を判定するのに分離指標は有効であるといえる．
ただし，この結果は表\ref{tab:分布の分割の違い}とは少し違い，
分布の分割が不明確な質問のMMFがかなり低く，どちらかといえば，
正解が適切に見つかっていない質問の判定に適しているといえる．

次に，解候補スコアの分布として正規分布を仮定した場合とポアソン分布を仮定した場合の，リスト型質問応答としての精度の違いを比較する．
ここでは，すべての質問において，
解候補のスコア分布は，三つの分布の混合分布であるとし，三つの分布のうち正解分布はスコアが一番大きい
分布のみとしている．

結果を表\ref{tab:ポアソン分布を用いた場合}に示す．
表中の再現率と適合率の値については\ref{sec:正解判断指標の有効性}節でのものと
計算法は同じである．

\begin{table}[b]
\caption{スコアの分布とリスト型質問応答の精度の違い}
\label{tab:ポアソン分布を用いた場合}
\begin{center}
\input{04table13.txt}
\end{center}
\end{table}

表\ref{tab:ポアソン分布を用いた場合}より，
MMFにやや差がでており，正規分布を仮定した場合の方が精度が良くなっている．
ただし，ポアソン分布を仮定した場合と正規分布を仮定した場合とでは，
MF値について，ウィルコクソンの符合付順位和検定（両側検定）を行った結果，統計的有意差は認められなかった($p=0.089$)．
また，ポアソン分布を仮定した場合と正規分布を仮定した場合の平均回答数は，ポアソンを仮定した場合の方が少なめである．
再現率と適合率を見ても，平均回答数が少なめのポアソン分布の方は
適合率が高くなっており，平均回答数が多めの正規分布では
ポアソン分布を仮定した場合と比べ，
再現率が高く，適合率が低くなっており，
傾向が違っているのが観察される．


\subsubsection{ポアソン分布を仮定した際のスコアの分布が二つに分離できると判断するための各尺度の相関関係}

\ref{sec:相関}節と同様に，ポアソン分布を仮定した際のスコアの分布が二つに分離できると判断するための各尺度と最大MF値の相関係数を
求めた．
用いた質問は，\ref{sec:相関}節と同様，QAC1の51〜100問目と151〜200問目及びQAC2の1〜50問目と151〜200問目（うち一問が不適切な質問とされている）の計199問である．

\begin{table}[t]
\hangcaption{ポアソン分布を仮定した際の，スコアの分布が二つに分離できると判断するための各尺度の相関関係}
\label{tab:ポアソン分布の各尺度の相関係数}
\begin{center}
\input{04table14.txt}
\end{center}
\end{table}

その結果を表\ref{tab:ポアソン分布の各尺度の相関係数}に示す．
表中の値はピアソンの相関係数である．
$\mu_{\mathit{diff}}(2)$は，スコア分布を二つの分布の混合分布としたときの，二つの正規分布の平均値の差，$\mu_{\mathit{diff}}(3)$は，スコア分布を三つの分布の混合分布したときの，隣接した正規分布の平均値の差の大きい方，
$max_{\mathit{diff}}$は隣接スコアの差の最大値($max_{\mathit{diff}}=\max_j \{score(AC_j)-score(AC_{j+1})\}$)，を表している．

表\ref{tab:ポアソン分布の各尺度の相関係数}より，\ref{sec:相関}節での
結果と同様の傾向を持つ結果となっているのが分かる．
この結果より，
スコア分布を二つの分布の混合分布としたときの，二つの正規分布の平均値の差や，スコア分布を三つの分布の混合分布したときの，隣接した正規分布の平均値の差の大きい方，
という尺度は，ポアソン分布，正規分布のいずれの分布を仮定した時でも
有効な指標であると考えられる．



\section{考察}\label{Chapter:discussion}
 

\subsection{スコアの分布の分割の有効性}


\ref{sec:問題判定}節から\ref{sec:正解判断指標の有効性}節の結果より，
提案手法は，
ベースライン手法の候補の中で最も優れていた秋葉らの手法\cite{秋葉:質問応答における常識的な解の選択と期待効用に基づく回答群の決定}と同等以上の精度があることが分かった．
さらに秋葉らの手法に対し，スコアの分布を求めることにより，正解が適切に見つかっている質問を
判定できるという点で，本手法は優れている．

\ref{sec:分布の判定}節で
提案した分離指標を用いてスコアの分布が明確に分離できるかどうか
判断し，正解が適切に見つかっているか否かの判断をすることは可能である
ということが分かった．
しかし，正解が適切に見つかっている質問を全て抽出できているわけではない．
例えば，1位に正解があるような例でも適切に判断できないこともある．
これは，解候補のスコアの分布が明確だと判断する条件をある程度厳しくしている為だと考えられる．
条件を厳しくしているのは確実な質問についてのみ求解を行なうためである．
判断の基準を変えることによって，より確実な質問に重点をおくのか，
正解を見つけられていない質問を見つけることに重点をおくのかなどの
調整は可能である．

さらに，\ref{sec:分布数判定}節に示した分布数決定指標のうち，
経験則である分布数決定指標2を用いた手法が最も有効であることが分かった．
しかし，MDLを用いた分布数決定法は有効でないことが分かった．
この理由の一つとして，MDLの計算に用いるパラメタ数がある．
一つの分布につきパラメタは，混合比，平均値，分散と三つあるため，
分布が一つ増えただけでパラメタ数の増大が大きく，MDL値が大きくなりやすくなるため多くの質問のスコア分布が二つと判定されてしまったと考えられる．
しかし，それ以外の，精度が良くない原因
については現在調査中であり，今後の課題としたい．


\subsection{スコアの分布として仮定した確率分布の違いによる結果}

スコアの分布としてポアソン分布として仮定した場合，正規分布を
仮定した場合と比べて\ref{sec:他の分布}節の結果より
以下のことが言える．
\begin{enumerate}
\item 正規分布を仮定したときと同様に，\ref{sec:分布の判定}節で提案した分離指標を用いて，正解が適切に見つかっている質問を判定することが可能である．
\item 正解が適切に見つかっていると判断された質問については，正規分布を仮定した場合と同等のMMFである．
\item 正解が適切に見つかっていないと判断された質問については，MMFはとても低い．
\item 全体として，ポアソン分布を用いてリスト型質問応答を行ったときと，正規分布を用いた時では，ポアソン分布を
仮定した時の方が平均回答数が少なく，MMFがやや悪くなっている．
\end{enumerate}



\section{おわりに}\label{Chapter:conclusion}

本稿では，リスト型質問応答処理にスコアの分布を用いる手法を提案した．
リスト型の回答を作る際に，
解候補のスコアの分布を求めることにより正解が適切に見つかっている質問の判定をする手法も提案した．

我々は，優先順位型質問応答システムの出力する解候補群の
スコアをまずいくつかのクラスタに分けることを考え，
それぞれのクラスタを一つの確率分布と考えた．
さらに，正解集合のスコア分布と不正解集合のスコア分布
に明確に分割できる場合には，
その質問の回答が適切に見つかっていると判断できると考えた．
この考えを基に，
正解集合に含まれる解候補を回答とするための正解判定法と，
二つの分布が明確に分割できるかどうか判断するための分離指標を
用いる手法を提案した．

これらの手法は解候補の頻度情報を用いた，頻度によるスコアの上がり具合を
調整する多数決方式を用いたスコアの分布に有効であることが分かった．
また，スコアの分布を用いた正解判断指標は他の単純な指標に比べて精度が
高かった．
正解判断の指標をスコアの分布により使い分けることも有効であるということも
分かったが，使い分けるための有効な手法を検討する必要がある．

今後は，正解が存在しない質問への対応が課題である．
また，本手法で正解が適切に求められていないと判定された質問に対して，
解候補の最順位づけなどを行なうことによって，精度の向上が期待できる．
Parger et al \cite{Prager:ImprovingQAAccuracybyQuestionInversion}は，解候補を用いて質問文中のキーワードを解答とする
新たな質問文を作り，解候補の検証を行なうことによって，
解候補候補の再順位づけ及び正解無しの判定を行なう手法を提案している．
本手法で正解が適切に求められていないと判定された質問に対して，
このような手法が有効であるか検討したい．




\bibliographystyle{jnlpbbl_1.3}
\newcommand{\nop}[1]{}\makeatletter \@ifundefined{nop}{ \def\nop#1{} }{ }
  \makeatother
\begin{thebibliography}{}

\bibitem[\protect\BCAY{Bos}{Bos}{2006}]{Bos:TheLaSapienzaQuestionAnsweringsyst
ematTREC2006}
Bos, J. \BBOP 2006\BBCP.
\newblock \JBOQ {The “La Sapienza” Question Answering system at
  TREC-2006}\JBCQ\
\newblock In {\Bem {The Fifteenth Text REtrieval Conference Proceedings}}.

\bibitem[\protect\BCAY{Burger}{Burger}{2006}]{Burger:MITREsQandaatTREC15}
Burger, J.~D. \BBOP 2006\BBCP.
\newblock \JBOQ {MITRE’s Qanda at TREC-15}\JBCQ\
\newblock In {\Bem {The Fifteenth Text REtrieval Conference Proceedings}}.

\bibitem[\protect\BCAY{Clarke, Cormack, \BBA\ Lynam}{Clarke
  et~al.}{2001}]{Clarke:Exploitingredundancyinquestionanswering}
Clarke, C.~L., Cormack, G.~V., \BBA\ Lynam, T.~R. \BBOP 2001\BBCP.
\newblock \BBOQ {Exploiting redundancy in question answering}\BBCQ\
\newblock \Jem{{Proceeding of SIGIR’01: the 24th Annual International ACM
  SIGIR Confersnce on Reserch and Development in Information Retrival}}.

\bibitem[\protect\BCAY{Dong, Lin, \BBA\ Kelly}{Dong
  et~al.}{2006}]{TRECoverview06}
Dong, H.~T., Lin, J., \BBA\ Kelly, D. \BBOP 2006\BBCP.
\newblock \BBOQ {Overview of the TREC 2006 Question Answering Track}\BBCQ\
\newblock In {\Bem {The Fifteenth Text REtrieval Conference Proceedings}}.

\bibitem[\protect\BCAY{Fukumoto, Kato, \BBA\ Masui}{Fukumoto
  et~al.}{2002}]{Fukumoto:QAC1}
Fukumoto, J., Kato, T., \BBA\ Masui, F. \BBOP 2002\BBCP.
\newblock \BBOQ {Question Answering Challenge (QAC-1) --- Question answering
  evaluation at NTCIR Workshop 3 ---}\BBCQ\
\newblock In {\Bem Proceedings of the Third NTCIR Workshop Meeting},
  \mbox{\BPGS\ 1--6}.

\bibitem[\protect\BCAY{Fukumoto, Kato, \BBA\ Masui}{Fukumoto
  et~al.}{2004a}]{Fukumoto:QAC2Subtask12}
Fukumoto, J., Kato, T., \BBA\ Masui, F. \BBOP 2004a\BBCP.
\newblock \BBOQ {Question Answering Challenge for Five Ranked Answers and List
  Answers - Overview of NTCIR4 QAC2 Subtask 1 and 2}\BBCQ\
\newblock In {\Bem {Proceedings of the Fourth NTCIR Workshop Meeting}}.

\bibitem[\protect\BCAY{Fukumoto, Niwa, Itogawa, \BBA\ Matsuda}{Fukumoto
  et~al.}{2004b}]{Fukumoto:Rits-QA}
Fukumoto, J., Niwa, T., Itogawa, M., \BBA\ Matsuda, M. \BBOP 2004b\BBCP.
\newblock \BBOQ {Rits-QA: List Answer Detection and Context Task with Zero
  Anaphora Handling}\BBCQ\
\newblock In {\Bem {Proceedings of the Fourth NTCIR Workshop Meeting}}.

\bibitem[\protect\BCAY{Harabagiu, Moldovan, Clark, Bowden, Williams, \BBA\
  Mensly}{Harabagiu
  et~al.}{2003}]{Harabagiu:AnswerMiningbyCombiningExtractionTechniqueswithAbdu
ctiveReasoning}
Harabagiu, S., Moldovan, D., Clark, C., Bowden, M., Williams, J., \BBA\ Mensly,
  J. \BBOP 2003\BBCP.
\newblock \BBOQ {Answer Mining by Combining Extraction Techniques with
  Abductive Reasoning}\BBCQ\
\newblock In {\Bem {The Tewlfth Text REtrieval Conference Proceedings}}.

\bibitem[\protect\BCAY{Mori}{Mori}{2004}]{Mori:NTCIR4WN:JapaneseQASystemUsingA
*SearchAndItsImprovement}
Mori, T. \BBOP 2004\BBCP.
\newblock \BBOQ {Japanese Q/A System using A$^*$ Search and Its Improvement:
  Yokohama National University at QAC2}\BBCQ\
\newblock In {\Bem {Proceedings of the Fourth NTCIR Workshop Meeting}}.

\bibitem[\protect\BCAY{Murata, Utiyama, \BBA\ Isahara}{Murata
  et~al.}{2004}]{Murata:JapaneseQAsystemUsingDecreasedAddingwithMultipleAnswer
s}
Murata, M., Utiyama, M., \BBA\ Isahara, H. \BBOP 2004\BBCP.
\newblock \BBOQ {Japanese Question-Answering System Using Decreased Adding with
  Multiple Answers}\BBCQ\
\newblock In {\Bem {Proceedings of the Fourth NTCIR Workshop Meeting}}.

\bibitem[\protect\BCAY{Murata, Utiyama, \BBA\ Isahara}{Murata
  et~al.}{2005}]{Murata:DcreasedAddingJapaneseQusetionAnswering}
Murata, M., Utiyama, M., \BBA\ Isahara, H. \BBOP 2005\BBCP.
\newblock \BBOQ {Use of Multiple Documents as Evidence with Dcreased Adding in
  a Japanese Qusetion Answering}\BBCQ\
\newblock In {\Bem {Journal of Natural Language Processing Volume 12 Number
  2}}.

\bibitem[\protect\BCAY{M.Voorhees}{M.Voorhees}{2001}]{TRECoverview01}
M.Voorhees, E. \BBOP 2001\BBCP.
\newblock \BBOQ {Overview of the TREC 2001 Question Answering Track}\BBCQ\
\newblock In {\Bem {The Tenth Text REtrieval Conference Proceedings}}.

\bibitem[\protect\BCAY{M.Voorhees}{M.Voorhees}{2002}]{TRECoverview02}
M.Voorhees, E. \BBOP 2002\BBCP.
\newblock \BBOQ {Overview of the TREC 2002 Question Answering Track}\BBCQ\
\newblock In {\Bem {The Eleventh Text REtrieval Conference Proceedings}}.

\bibitem[\protect\BCAY{M.Voorhees}{M.Voorhees}{2003}]{TRECoverview03}
M.Voorhees, E. \BBOP 2003\BBCP.
\newblock \BBOQ {Overview of the TREC 2003 Question Answering Track}\BBCQ\
\newblock In {\Bem {The Tewlfth Text REtrieval Conference Proceedings}}.

\bibitem[\protect\BCAY{M.Voorhees}{M.Voorhees}{2004}]{TRECoverview04}
M.Voorhees, E. \BBOP 2004\BBCP.
\newblock \BBOQ {Overview of the TREC 2004 Question Answering Track}\BBCQ\
\newblock In {\Bem {The Thirteenth Text REtrieval Conference Proceedings}}.

\bibitem[\protect\BCAY{M.Voorhees \BBA\ Dong}{M.Voorhees \BBA\
  Dong}{2005}]{TRECoverview05}
M.Voorhees, E.\BBACOMMA\ \BBA\ Dong, H.~T. \BBOP 2005\BBCP.
\newblock \BBOQ {Overview of the TREC 2005 Question Answering Track}\BBCQ\
\newblock In {\Bem {The Fourteenth Text REtrieval Conference Proceedings}}.

\bibitem[\protect\BCAY{Prager, Duboue, \BBA\ Chu-Carroll}{Prager
  et~al.}{2006}]{Prager:ImprovingQAAccuracybyQuestionInversion}
Prager, J., Duboue, P., \BBA\ Chu-Carroll, J. \BBOP 2006\BBCP.
\newblock \BBOQ {Improving QA Accuracy by Question Inversion}\BBCQ\
\newblock In {\Bem {Proceeding of the 21st International Conference on
  Comoutational Linguistics and 44th Annual Meeting of the ACL}}.

\bibitem[\protect\BCAY{Rissanen}{Rissanen}{1999}]{MDL}
Rissanen, J. \BBOP 1999\BBCP.
\newblock \BBOQ {MDL Denoising}\BBCQ\
\newblock In {\Bem {IEEE Trans. Information Theory}}.

\bibitem[\protect\BCAY{Takaki}{Takaki}{2004}]{Takaki:NTTDATA-QAatNTCIRQAC2}
Takaki, T. \BBOP 2004\BBCP.
\newblock \BBOQ {NTT DATA Question-Answering Experiment at the NTCIR-4
  QAC2}\BBCQ\
\newblock In {\Bem {Proceedings of the Fourth NTCIR Workshop Meeting}}.

\bibitem[\protect\BCAY{Xu, Licuanan, \BBA\ Weischendel}{Xu
  et~al.}{2003}]{Xu:TREC2003QAatBBN:Answeringdefinitionalquestions}
Xu, J., Licuanan, A., \BBA\ Weischendel, R. \BBOP 2003\BBCP.
\newblock \BBOQ {TREC2003 QA at BBN:Answering definitional questions}\BBCQ\
\newblock In {\Bem {The Tewlfth Text REtrieval Conference Proceedings}}.

\bibitem[\protect\BCAY{加藤\JBA 桝井\JBA 福本\JBA 神門}{加藤\Jetal
  }{2004}]{加藤:リスト型質問応答の特徴付けと評価指標}
加藤恒昭\JBA 桝井文人\JBA 福本淳一\JBA 神門典子 \BBOP 2004\BBCP.
\newblock \JBOQ リスト型質問応答の特徴付けと評価指標\JBCQ\
\newblock 自然言語処理研究会報告\ 2004-NL-163, 情報処理学会.

\bibitem[\protect\BCAY{秋葉\JBA 伊藤\JBA 藤井}{秋葉\Jetal
  }{2004}]{秋葉:質問応答における常識的な解の選択と期待効用に基づく回答群の決定}
秋葉友良\JBA 伊藤克亘\JBA 藤井敦 \BBOP 2004\BBCP.
\newblock \JBOQ
  質問応答における常識的な解の選択と期待効用に基づく回答群の決定\JBCQ\
\newblock 自然言語処理研究会報告\ 2004-NL-163, 情報処理学会.

\end{thebibliography}

\begin{biography}
\bioauthor{石下　円香}{
2006年横浜国立大学大学院環境情報学府情報メディア環境学専攻博士課程前期修了．
同年同専攻博士課程後期進学，現在に至る．
自然言語処理に関する研究に従事．
}
\bioauthor{森　　辰則}{
1986年横浜国立大学工学部情報工学科卒業．
1991年同大学大学院工学研究科博士課程後期修了．
工学博士．
同年，同大学工学部助手着任．
同講師、同助教授を経て，現在，同大学大学院環境情報研究院教授．
この間，1998年2月より11月までStanford大学CSLI客員研究員．
自然言語処理，情報検索，情報抽出などの研究に従事．
言語処理学会，情報処理学会，人工知能学会，ACM各会員．
}

\end{biography}


\biodate

\end{document}
