    \documentclass[japanese]{jnlp_1.4}
\usepackage{jnlpbbl_1.1}
\usepackage[dvips]{graphicx}
\usepackage{amsmath}


\Volume{15}
\Number{3}
\Month{July}
\Year{2008}
\received{2007}{9}{3}
\revised{2008}{1}{11}
\accepted{2008}{3}{3}

\setcounter{page}{53}


\jtitle{情報アクセス対話のための質問応答技術評価タスク}
\jauthor{加藤　恒昭\affiref{UT} \and 福本　淳一\affiref{Rits} \and 桝井　文人\affiref{Mie} 
	\and 神門　典子\affiref{NII}}
\jabstract{
あるトピックに関して対話的に行われる一連の情報アクセスを質問応答システムが支援する能力，情報アクセス対話の対話相手として情報を提供するために質問応答システムが持つべき能力を定量的に評価するためのタスクを提案する．このタスクでは，対話の実現の基本となる対話文脈を考慮した質問の解釈，つまり照応解消や省略処理等のいわゆる文脈処理の能力を評価する．本稿では，タスクの設計を示し，その根拠となる調査結果を報告する．提案するタスクは以下の点で新規かつ有益である．対話的情報アクセスを対象として，そこで必要な質問応答技術が効果的に評価できるという課題設定と構成の独自性を持つ．評価尺度については応答の自然性において問題となる回答の質や回答列挙の体系の違いに配慮し，複数の体系を許す多段階評価手法を備えている．システムの文脈処理能力をある程度まで切り離して評価することを可能とする参照用テストセットと呼ぶ枠組みを有している．}
\jkeywords{質問応答，評価タスク，対話，文脈処理}

\etitle{Evaluation Task of Question Answering for \\
	Information Access Dialogues}
\eauthor{Tsuneaki Kato\affiref{UT} \and Jun'ichi Fukumoto\affiref{Rits} \and Fumito Masui\affiref{Mie} \and Noriko Kando\affiref{NII}} 
\eabstract{
A novel task for evaluating question answering technologies
is proposed.  This task assumes interactive use of question answering
systems and evaluates among other things, the abilities needed under
such circumstances, i.e. proper interpretation of questions under a
given dialogue context; in other words, context processing abilities
such as anaphora resolution and ellipses handling. This paper shows the
design of the task and its empirical background. The task proposed is
not only novel as an evaluation of the handling of information access
dialogues, but also includes several valuable ideas such as a measuring
metric in order to obtain intuitive evaluation of the answers to
list-type questions and reference test sets for obtaining information on
context processing ability in isolation.}
\ekeywords{Question Answering, Evaluation Task, Dialogue, Context Processing}

\headauthor{加藤，福本，桝井，神門}
\headtitle{情報アクセス対話のための質問応答技術評価タスク}

\affilabel{UT}{東京大学}{The University of Tokyo}
\affilabel{Rits}{立命館大学}{Ritsumeikan University}
\affilabel{Mie}{三重大学}{Mie University}
\affilabel{NII}{国立情報学研究所}{National Institute of Informatics}


\begin{document}
\maketitle


\section{はじめに}

質問応答技術は自然言語によって表現された質問に文書でなく情報そのもので回
答する事を可能とするもので，情報アクセスの新しい形として期待されている
\cite{Voorhees00}．事実に関する独立した質問に一問一答形式で回答するもの
を中心に研究が始められたが，近年は様々な面で研究の展開が見られ，そのひと
つに対話性の重視があげられる．

質問応答技術を牽引してきたといってよいTREC \cite{Voorhees05,TREC}では，
TREC2001において対話的な利用を前提とした文脈処理の能力を評価する試みがな
されている\cite{Voorhees01}．その後，TREC 2004から，相互に独立した質問で
はなく，あるトピックに関する一連の質問の集まりという形で課題を与えるよう
になっている\cite{Voorhees04}．文脈処理の能力を評価するものでないとはい
え，あるトピックに関して一連の質問を行うという利用場面が自然であると考え
られている点が注目される．また，あるトピックに関する複数の質問にどの程度
回答できるかを，複数文書要約の評価指標とすることが試みられており
\cite{Mani98}，ここでも，あるトピックに関する一連の質問に回答できること
が重視されている．

一連の質問に回答するという利用形態は質問応答システムの進むべき方向のひと
つとしても議論されており，例えば，新人レポータがある事件の記事を執筆する
ために，彼の記事で答えられるべき大きな質問をより簡単な質問の集まりに言い換えて
システムに訊ねるという形で，アナリストやレポータが利用しうる質問応答
システムへの発展が提案されている\cite{Burger01}．また，ARDAのAQUAINT
program \cite{AQUAINT}ではアナリストが分析的に用いる質問応答システムの構
築がその目的とされており，より積極的に対話的な質問応答の研究が進められて
いる．質問の分解を含めて，分析的説明的な質問にどう答えるか，
明確化等の利用者とのやりとりはどうするか等が研究の関心となってい
る\cite{Hickl04,Small03}．

本稿では，あるトピックに関して対話的に行われる一連の情報アクセスを質問応
答システムが支援する能力，情報アクセス対話の対話相手として情報を提供する
ために質問応答システムが持つべき能力を定量的に評価するためのタスク，IAD 
タスク\footnote{
	IADは情報アクセス対話 (Information Access Dialogue) の頭
	文字からとった．
}を提案する．質問応答システムが情報アクセス対話に参加す
るために必要となる様々な能力\cite{Burger01}の中で，IADタスクでは，そもそ
も情報アクセス対話を扱うためにはどのような質問に答えられる必要があるのか，
そして，対話の実現の基本となる対話文脈を考慮した質問の解釈，つまり照応解
消や省略処理等のいわゆる文脈処理はどの程度必要なのかに着目し，その能力を
評価する．

IADタスクは，情報アクセス技術に関する一連の評価ワークショップ NTCIR
Workshop \cite{NTCIR}において，NTCIR-4のQAC2 Subtask 3\cite{Kato04,Kato05a}，
NTCIR-5のQAC3\cite{Kato05b,KatoJ06}として実施されたものに基づいている．対
話的な質問応答というそもそものアイディアはNTCIR-3のQAC1 Subtask
3\cite{Fukumoto03}に遡るが，NTCIR-4のQAC2 Subtask 3での実施においてタスク
の抜本的な改変を行い本稿で述べる形態を固め，同時にタスクの裏付けについて
の実験を行った．その後，そこでの経験を基に幾つかの洗練を行って，NTCIR-5の
QAC3として実施している．

ここで，評価タスクの提案という本稿の特殊性について一言述べておく．研究や
技術の進展や加速のために共通の評価が必要であり．それを得るための評価タス
クが重要であることは，議論の余地がまったくないとはいえないまでも
\cite{Sekine05}，大概の合意を得ていると思われる\cite{Ogawa02}．一方で個々の評価
タスクについて考えると，ある評価タスクが価値あるものであるためには，それ
が評価する研究や技術が評価されるに値するものであり，かつ，その評価のため
に適切に設計されている必要がある．前者は研究や技術の価値の議論であり，後
者も何をもって適切とするかが絡んで必ずしも明快な議論とはならない．本稿で
は，ここで提案するIADタスクにおいて高い評価を得たシステムあるいは技術が
可能とする利用場面を示し，前者の根拠とする．加えて，後者については，少な
くとも2回の実施を通じて明らかとなった問題について一定を解決を与えている
ことを根拠とする．設計ということで一部に恣意的な決定を含んでいるし，この
評価タスクであらゆるデータが収集できるわけではない．実施できなければなら
ないという現実性との妥協もある．そのような一連の留保を前提にしているとは
いえ，本提案が，課題設定の独自性，評価に関する様々な配慮，情報収集のため
の仕組み等の点で，新規かつ有益なものであることを主張する．

本稿の構成は以下の通り．\ref{Sec2}節でIAD タスクの枠組みを説明する．タス
ク設計の中心となる質問シリーズを説明し，それがトピック推移の観点から収集
型とブラウジング型に分類されることを述べる．加えて，IAD タスクの枠組み
の根拠となった実験結果を示し，このタスクによって評価される技術が可能とす
る質問応答技術の利用場面を示唆する．\ref{Sec3}節では，評価の枠組みとして，
回答の列挙に複数の体系を許し回答の2種類の質を考慮した多段階評価手法を提
案する．そして，なぜそのような枠組みが必要であるかを実例に基づいて説明す
る．\ref{Sec4}節ではより多くの情報を得るための補助的な仕組みとしての参照
用テストセットについて説明し，それがシステムの文脈処理能力をある程度まで
切り離した評価を可能とすることを示す．\ref{Sec5}節では関連する取り組みを
述べ，それとの比較を通じて本提案の有効性を示し，特に収集型とブラウジン
グ型への分類を含む質問シリーズの構成方法が重要であることを述べる．
\ref{Sec6}節で全体をまとめる．また，IADタスクに対して，最先端のシステム
がどのような結果を示すのかを付録にまとめた．


\section{タスクの枠組み} \label{Sec2}

IADタスクは，対話的な情報アクセスでの質問応答システムの利用を考え，そこ
で必要な照応解消や省略処理等のいわゆる文脈処理の能力を評価することを目的
とする．様々なバラエティを持つ情報アクセス対話の中で，特に，与えられたト
ピックについてのレポートを書くための素材となる情報を得るような対話を想定
している．これはある事件の記事を執筆するために，必要な情報を比較的簡単な
質問の集まりとしてシステムに訊ねるという形態とも近い．

\subsection{質問シリーズ}

IADタスクでは，システムに一連の質問（シリーズと呼ぶ）を与え，それに次々
と回答させてゆく．シリーズの先頭以外の質問は，それ以前の質問の一部もしく
はその回答を参照する照応表現を含んでいる\footnote{
	省略やゼロ代名詞，英語の
	定名詞句に相当する一般名詞の反復を含む．表層から明らかでないので不適切
	かもしれないが，「表現」と呼ぶことにする．
}．この一連の質問とそれへの回
答が情報アクセス対話を構成する．実際の利用場面ではシステムは対話的に質問
に回答することが期待されるが，本タスクではその対話性は模擬されるだけで，
複数のシリーズ（テストセットと呼ぶ）をバッチ的に与え，それに回答すること
をシステムに求める．ここで，システムはある質問がシリーズの先頭であるとい
う情報は利用してよいが，ある質問に回答する際にそれに続く質問を参照するこ
とは許されない．これは本タスクが対話的な状況でのシステムの利用を模擬して
いることからの制約である．対話の展開があらかじめ定められていることは対話
本来のダイナミクスを失わせているが，その一方で，本タスクの実施に参加した
システムがすべて同じ質問に回答するので，相互比較可能な結果が得られること
に加え，正解をプーリングすることでテストセットが再利用可能となるという利
点を有している．

IADタスクでは大きく分けて収集型とブラウジング型という2種類のシリーズを
設定している．これは，情報アクセス対話が，利用者があるトピックについての
レポートや要約を作成するための情報を収集する等の目的でそれに関する一連の
質問を行なうような対話（収集型）と，利用者の興味の赴くところに従って対話
の進行と共にトピックが変わっていくような対話（ブラウジング型）との2つの
極を持つという直観に基づいている．タスクにおいて，あるシリーズがどちらの
型に属するかは与えられず，システムはそれを自分で判定しなければならない．
IADタスクが想定している情報アクセス対話は与えられたトピックについての様々
な情報を収集するもので，当然収集型の対話が支配的であるが，後述するように
実際の場面ではその部分部分にブラウジング的な要素が含まれる．これが本タス
クにブラウジング型を含め，かつシリーズの型の同定をシステムに求めている理
由である．なお，シリーズ単位で型を区別したことには分析が容易になることへ
の期待がある．

IADタスクのシリーズの例を図\ref{samples}に示す．収集型は，広い意味で共通
のトピックに関する質問からなり，そのトピックはシリーズ先頭の質問で導入さ
れる．すべての照応表現がそのトピックを参照するというのがもっとも厳しい意
味での収集型（狭義の収集型と呼ぶ）である．図\ref{samples}のSeries 2-14は
そのような収集型で，先頭質問で述べられている「小沢征爾」を補うことで，す
べての質問の文脈処理が行える．一般には，複数の照応表現を持ち，その一方が
トピックを参照するような質問や，トピックが関連した出来事やその一般化を参
照するような表現をもつ質問等も収集型のシリーズに含まれる．Series 2-20は
その例で．第3問は複数の照応表現を含み，第6問は先頭質問文で述べられてい
るトピックであるジョージ・マロリーが関連したイベントを参照している．ブラウ
ジング型はそのような大域的なトピックを持たず，質問中の照応表現は，直前の
質問の回答や以前の質問中で言及された事物を参照している．Series 2-22はブ
ラウジング型の例である．

\begin{figure}[b]
\input{03fig1.txt}
\caption{シリーズの例}
\label{samples}
\end{figure}



\subsection{個々の質問の範囲}

IADタスクのシリーズを構成する質問は，疑問代名詞を含む文の形式を持ち，名
称を正解とする質問である．ここで，名称というのは，人名や組織名等いわゆる
固有表現に留まらず，日付け，数量を含み，種の名称，機械や身体的部分等の一
般名称を含む．統語的には複合名詞が正解の範囲とほぼ重なるが，小説や映画の
タイトル等そこから外れるものも含まれる．システムはこれらの名称をそれを含
んだ部分でなく，過不足なく抜き出してひとつの回答とし，複数の正解があると
判断される場合はそれらをリストとして列挙することを求められる．質問の正解
が知識源中に存在することは保証されていないので，回答が存在しないこと，空
リストが正解ということもありうる．各回答（回答リストの要素）は，それを抜
き出した文書であり，それが正解であることの根拠となる文書の識別子を伴って
いなければならい．

回答リストの要素として日付や数量を含む名称の表現を過不足なく抜き出すこと
を要求すること，回答リストとしてすべての回答の過不足ない列挙を求めること
は，文書でなく情報そのもので回答するという質問応答の流れから当然と考える
が，実際にタスクとして実施する場合，細部の検討が必要となる．日付や数量の
表現については，質問への自然な回答を可能とするため，以下の表現も正解範囲
であることを明示する必要がある．なお，名称という正解範囲の根拠づけは
\ref{Sec2_3}節において，過不足のない列挙の問題は評価に関する\ref{Sec3}節
において論じる．

\begin{description}
\item[数値表現に属性の詳細化具体化を行うための表現が付属したもの]「年間
	   300台」「タテ50~cmヨコ30~cm」「一人当たり3リットル」
	   「重さ3トン」等．
\item[範囲表現（定型的，慣用的なもの）]「10〜12\%」「8世紀後期から9世紀初期」「四国から九州まで」「30人以上」 「30人以上50人以下」等．「東京大阪間」「羽田—千歳」「千葉県内」等，空間的な範囲表現（区間表現）も含む．
\item[概数表現（蓋然表現）]「約100人」「3億円程度」等．「シカゴ近郊」「東京都近辺」「舞浜駅前」「大使館裏」等，空間的な蓋然表現も含む．
\end{description}

これらを正解の範囲としない場合，まず，「どのくらい利用されていますか」に
年間なのか月間なのかが不明確であるような「300台」と回答する，「どのくら
いの大きさですか」に「50~cm」と長さで回答する等の不自然さを強いること
になる．不自然さの問題に加え，これらを許さないことは正解の網羅的な列挙や
重複の判断でも問題となる．「タテ50~cmヨコ30~cm」と回答できずに「50~cm」「30~cm」の両方を挙げる必要があるとか，「10〜12\%」において，
「12\%」は抜き出しという形で得られるが，「10」だけでは単位が含まれな
いので正解として抜き出せないとか，「約100人」は「102人」と同一の情
報としていいかもしれないが「100人」はどうか等の問題が生じてくる．



\subsection{タスクの根拠} \label{Sec2_3}

IADタスクの根拠として，レポート作成の情報を得るための対話的情報アクセス
で名称を正解の範囲とする質問応答システムが使われうるのか，そして，その状
況での質問にはどのような照応表現がどの程度含まれるかを調査した\footnote{
	ここで用いたデータ収集の手法はテストセット構築にも利用できる．なお，これらの調
	査は本提案の基となったNTCIR-4,5での実施におけるテストセット構築と並行し
	て行ったものである．
}．


\subsubsection{データ収集}

調査は，IADタスクが前提とする状況で利用者から発せられるであろう質問を収
集し，分析することで行った．新聞記事から選択した人物，組織，出来事等のト
ピックを被験者に提示し，それに関するレポートを執筆するという状況を設定し
た．レポートは与えられたトピックの事実関係をまとめたもので予測や意見はそ
こに含めないものとし，質問の文型は疑問代名詞を含むWh型に限定するように指示
した．以下の2種類の収集を実施した．

\begin{description}
\item[アンケート方式による調査]レポートに含めたいと考える情報を質問文の
	   形式で表現するように指示することで，レポート執筆のための一連
	   の質問を作成させた．作成する質問数は1トピックあたり10問を目
	   安とした．作成した質問に次々と回答が得られるという想定で，ひ
	   とつのトピックについて複数の質問を作成させ，質問中に代名詞等
	   の表現を含めることを許した．これにより自然な質問の系列が作成
	   されることを期待した．60のトピックについて，30人の被験者に一
	   人あたり30トピックを割り当てた．トピックの提示は20文字程度の
	   短い記述，それについての短い記事，それについての記事5編，と
	   3種類の方法を均等に混ぜた．集めたデータのうち，40トピックに
	   ついての各9系列を構成するWh質問，3,401文を分析した\footnote{
		トピックの提示方法の詳細，分析データ選択の過程等に
		   ついては\cite{KatoJ04a}に詳しい．
	}．

\item[WOZ方式による調査]レポート執筆という状況設定で，質問を事前に考えた
	   のち，WOZ方式で模擬された質問応答システムと情報アクセス対話を
	   行うことで情報収集を行わせた．質問数は1トピックあたり10問を
	   目安とした．20のトピックについて，6人の被験者に各10トピック
	   を割り当て，被験者にはトピックと100文字程度の概要を提示した．
	   WOZ役の協力者は4名で，事前に担当するトピックについて800文字
	   から1,600 文字程度の要旨を作成するという事前準備をしており，
	   作成した要旨，新聞記事全文検索システム，自分の記憶を用いて，
	   利用者からの質問に対話的に回答した．対話はキーボードを用いて
	   行った．被験者には事実に関する簡単な質問に回答できる質問応答
	   システムを利用していると説明し，WOZ役にも理由や意見を訊ねる質
	   問については回答できないと応答する，必要な場合は問い返しを行っ
	   てかまわない，回答は簡潔を旨とするが自然な協調的振る舞い
	   を禁じるものではない等，その役割を教示した．集めたデータ
	   すべて，20トピックについての各3系列を構成する質問等，620文
	   を分析した\footnote{
		13\%程度のYesNo質問や命令文が含まれている．
		   それらの扱いを含めて，ここで論じていない明確化発話や協
		   調的応答の分析については\cite{Kato06}に詳しい．
	}．
\end{description}



\subsubsection{質問と回答のタイプに関する分析}

質問の種類，質問が何をたずねているかを分類した結果を表\ref{qtype}に示す．
ここで，4W 質問は「小沢征爾氏は誰に師事しましたか」のように具体的な人名
等を訊ねる質問で，「〜って誰ですか」「〜とは何ですか」という質問は定義・説明・
記述を訊ねる質問に分類している．WOZ方式の収集において，YesNo質問の
場合はそれに対する協調的応答の内容から判断して訊ねている内容を決定した．

\begin{table}[b]
\caption{質問で訊ねている内容の分類}
\label{qtype}
\input{03table1.txt}
\end{table}
\begin{table}[b]
\caption{（推測される）回答による分類}
\label{atype}
\input{03table2.txt}
\end{table}

表\ref{atype}は回答のタイプによる分類である．ここで，「一般名称」は名称
から数量や日付の表現，固有表現（固有名称）を除いたものである．「固有名称」
には小説や映画のタイトルが含まれる．この分類は表\ref{qtype}に示した分類
と強く関連する．例えばWhy質問に回答するためには一般に節や文が必要となる．
しかし一方で，4W質問に分類された質問がすべて名称によって回答できるわけで
はない．例えば，場所を訊ねる質問でも「ロブスタが好んで住むのはどこで
すか」には名称での回答は困難で，一定の量の記述や説明を必要とする．アンケー
ト方式では，この分析を質問だけを見ることで行ったため，幾つかの質問につい
ては確定的な分類が行えなかった．「たぶん名称」と分類されたものは「AIBOの由
来は何ですか」のような質問で，AIBOが何かのアクロニムであれば名称の範囲に
収まるが，その由来が長い物語となるかもしれないものである．このように質問
だけからは予想される回答が複数のカテゴリにまたがるものは他の分類の間でも
存在するが，簡単のためにそれらは複雑な方に分類した．WOZ方式の場合，分類
はWOZ役の発話に基づいて行ったが，発話全体の形式ではなく．質問への回答その
ものに注目した．例えば，「いつ生まれましたか」への回答の「3月13日に生ま
れました」の場合，その分類は節や文ではなく日付表現である．



\subsubsection{照応表現の特徴に関する分析}

質問中に含まれる照応表現として，前方照応のための手段を，指示代名詞（連体詞を
含む），ゼロ代名詞，英語等の定名詞句に相当する前出名詞の繰り返し，省略の
4つに分けて，その出現頻度を調べた．2つの状況を比較するために（出現頻度 / （質問文数−系列先頭の質問文数））で計算される相対頻度をまとめたものを表\ref{coref}
に示す．合計は100\%を越えるが，例えば，「{\em それまで}誰が{\em その}国の指導者だっ
たのですか」のように複数の照応表現がひとつの質問文中に含まれる場合がある
ためである．

\begin{table}[b]
\caption{質問中に表れる照応表現}
\label{coref}
\input{03table3.txt}
\end{table}


省略を除く照応表現のうち，与えられたトピック，つまり大域的トピック以外を
参照するものの割合は，アンケート方式で29\%，WOZ方式で22\%であり，そのう
ち同じ質問文中に大域的トピックを参照する表現を持たないものがそれぞれ
92\%, 81\%であった．このような質問の存在は質問系列中で焦点が推移しており，
大域的トピックでないものが焦点となっていることを示している．

系列の先頭以外で，照応表現を含まない質問のうち，アンケート方式で55\%，
WOZ方式で68\%が，焦点となっているものを代名詞化しないでそのまま表現する
ケースであった．これは例えば，人物を姓のみで参照する場合や，ニホンカワウ
ソやハイブリッド車等．名詞で表現されるクラスが焦点となっている場合で，前
出名詞の繰り返しとも考えられるものである．それ以外は焦点の変化と関連す
る．例えば，あるニュース番組のダイオキシン汚染に関する誤報道をトピックと
した場合に，その番組に対する一連の質問に続いて「ダイオキシンの毒性はどの
くらいですか」と訊ねるような場合，逆にチャールズ皇太子が与えられたトピッ
クで，その息子達に関する質問が幾つか続いた後に，「チャールズ皇太子の長年
の恋人とは誰ですか」と焦点が戻る場合等がある．WOZ方式では質問の回答に含
まれた内容へと焦点が移る場合もあった．


\subsubsection{考察}

表\ref{atype}からわかるように，レポート作成のための質問のうち，アンケート方式で
58\%--75\%，WOZ方式で62\%が数量等を含む名称を回答とする質問となる．レポー
トを執筆するための情報を訊ねる質問を収集した状況では，節や文で回答することが多
いと思われる「なぜ」を訊ねる質問は少なく，説明や定義を求める質問も予想さ
れたほど多くはない．これは，「小沢征爾って誰ですか」という質問が，例えば
彼の誕生日や出身地を訊ねるような具体的な質問に展開されているためであると
考えられる．60\%強という数字は決定的ではないが，名称を正解の範囲とするよ
うな質問応答システムはこのような状況で充分に有用であると判断できる．ちな
みに，アンケート方式で収集した質問のうち，名称を回答とする737問について，
その正解が新聞記事集合から得られるかを調査したところ，84\%について正解が
得られ，新聞記事等の大規模文書を知識源とすることが現実的であることもわか
る．

更に重要なことは，このような状況で得られた質問文に様々な照応表現が含まれ
ることである．照応表現が頻出することに加えて，その参照先は単に情報収集の
中心となる大域的なトピックに限られるような簡単なものではない．情報アクセ
ス対話は，その焦点が対話の進行によって推移し，サブダイアログも含む複雑な
ものともなりうるため，それに応じた文脈処理が必要であることがわかる．

ここで示された状況が，IADタスクの設定で模擬されている．IADタスクが評価す
るのは，ここで示された状況に対応し，対話的な情報アクセスを実現するための
質問応答技術であり，このタスクで高い評価を得た技術は，本節の実験で模擬さ
れたような対話的な情報アクセスの実現に有効である．



\section{評価手法} \label{Sec3}

\subsection{対話性に伴う問題}

IADタスクでは，各質問に対して，存在しないことを含めていくつ存在するかわ
からない正解を過不足なく収集し，それらすべてを列挙したリストをひとつ返す
ことを求める．正解数は問題毎に異なり事前に与えられないので，個々の質問に
関する評価は精度と再現率の両方を考慮した$F$値を採用する．システムの総合
評価はその評価のテストセット全体の平均である．情報検索一般とは異なる質問
応答の特殊性から普通の$F$値ではなく，様々な配慮が必要となるが，これにつ
いては\ref{Sec3_2}節で述べる．ある回答が正解であるかは，回答とそれと合わ
せて提示される根拠記事の適切性によって判断される．質問と無関係な記事を根
拠としていれば文字列として正解と同一であっても不正解として扱われる．

対話的な情報アクセスという特徴から質問の解釈が文脈に依存し，それが正解に
影響するという問題がある．IADタスクでは，質問の正解は判定者である人間が
適切と判断した文脈の下でおこなった解釈によって決定され，システムの解釈や
システムのそれ以前の回答とは無関係であるとする．例えば，図\ref{samples} 
のSeries 2-22の2番目の質問の正解は，常にニューヨーク・ヤンキースの本拠
地であるヤンキースタジアムが建てられた1923年であり，システムが最初の質問
にシェイスタジアムと誤って答え，2番目の質問にそれが建てられた年である
1964年を``正しく''回答しても不正解とする．一方，最初の質問にシェイスタジ
アムと答えていても，適切な根拠記事と共に1923年を回答していれば，2番目の
質問については正解と判断される．特に後者については若干の違和感があるが，
システムが文脈を内包的に管理し，2番目の質問を「ニューヨーク・ヤンキース
の本拠地となっている球場は何年に造られたものですか」と解釈したと考えれば，
不正解にする理由はない．また，収集型のシリーズでは，質問文は直前の質問や
回答よりもシリーズの先頭で導入されたトピックを参照していることが多く，直
前の質問に正解することが現在の質問に正解する必要条件になっている場合は必
ずしも多くない．これらの理由に加えて，システムが起こしうる誤った解釈すべ
てについてその後の正解がどうあるべきかを事前に判断するのは不可能というこ
とから，このような方式としている．


\subsection{評価尺度} \label{Sec3_2}

対話性の問題以外に，可能な正解すべてを列挙したリストをひとつ返すこと
を求めるリスト型課題の評価には以下のような難しさがある\cite{KatoJ04b}．

\begin{description}
\item[重複の扱い]同じ事物を指す複数の表現，人名における役職の有無，外人
	   名の異表記，貨幣単位の違い，時間帯の違い（現地時間と日本時間）
	   等があるため，同じ事物を指すこれらの表現を複数個回答リスト
	   に含めたような重複があると考えられる場合の扱いを決めなけれ
	   ばいけない．
\item[回答の質に関する問題]同じ事物を指す上記の表現の中には，フルネーム
	   と略称のように情報の質が異なるものがある．日付や場所の場合は
	   「00年」「00年1月3日」，「日本」「千葉県浦安市」のように粒
	   度（詳細度）の異なるバリエーションがある．これら表現の質の問
	   題を扱い，評価に反映させる必要がある．加えて，表現の問題では
	   なく，回答自体（指示されている事物）の質が異なると思える場合
	   がある．例えば，記事中で事実もしくは伝聞として述べられている
	   が，誤報もしくは発表者側の誤りにより事実と異なる数値や日付，
	   記事中では確定的な予定として述べられているがその後に変更となっ
	   た日付等を正当な正解と同じように扱ってよいのかには疑問が残り，
	   その質の差に見合った評価が求められる．
\item[列挙の体系の問題]可能な正解すべてを列挙するといっても，その列
	   挙の体系が複数ある場合がある．「東海三県」と「三重県」「愛知
	   県」「岐阜県」のように（一定の知識を前提とすれば）同じ情報が
	   違う形で伝えられる場合がある．例示を含んだ「川魚，エビ，カニ
	   等の魚介類」において．「川魚」「エビ」「カニ」「魚介類」は明
	   らかに並べられるものではないが，「川魚」「エビ」「カニ」とい
	   う列挙と「魚介類」という回答とのどちらが優れているかは自明で
	   はない．この問題は粒度と関連して生じることが多い．あるイベン
	   トの開催地をそれが行われた国名で列挙するか都市名で列挙するか
	   の選択もある．また，あるイベントが「12月10日」と「12月
	   20日」の2回行われたとき，その開催日を「12月」と答えてし
	   まうと2回行われたという情報は伝わらない．この場合「12月」
	   と「12月10日」のふたつを答えても，伝わる情報は「12月10日」だけを答えた場合と同じである．表現の粒度の問題は表現の
	   質の問題であるが，この例のようにその粒度が荒くなって他の回答
	   と区別できなくなった時，そこにとどまらなくなる．加えて範囲表
	   現等を正解範囲に含めているため，例えば，「8世紀後期から9世
	   紀初期」をひとつの要素とするリストと「8世紀後期」「9世紀初
	   期」のふたつを要素とするリストとを等しく扱わなければならない．
\end{description}

これらの難しさを考慮し，可能な限り直観に合う評価を行うため，以下のような
評価の枠組みを提案する．中心となるのは，正解セットという考え方の導入と回答
の2種類の質を区別した多段階評価である．

各質問について，複数の正解セット$\mathit{CAS}$を用意する．ひとつの正解セットとは，
ひとつの列挙の体系に対応するもので，上の例では，｛「東海三県」｝がひとつ，
｛「三重県」「愛知県」「岐阜県」｝がひとつのセットをなす．また，｛「12
月」｝がひとつ，｛「12月10日」「12月20日」｝がひとつである．正
解セット毎にそのセットの正解を網羅した際の係数$h$ ($0.0 < h \leq 1.0$) が与えられる．多くの場合，その係数は1.0であるが，上例の｛「12月」｝のセッ
トの場合，このセットを網羅しても他方のセットの正解を網羅した場合の半分の
情報しか与えられないとして，例えば係数$h=0.5$が与えられる．

ある正解セットは，同じ事物を指す様々な正解表現$e$の集まり（これを表現集
合$\mathit{ES}$と呼ぶ）の集まりである．人名における役職の有無や貨幣単位の違いのよ
うに同じ事物を指し，重複した回答として扱うべき表現に加えて，フルネームと
略称のように情報を表現の質が異なるものや日付や場所において粒度が異なるも
のも，同じ事物を指す複数の表現として，ひとつの表現集合に含まれる正解表現
となる．実際には正解判定は表現と根拠記事との対に対して行われるので，異な
る根拠記事を持つ同じ表現も同じ表現集合に属するとして扱う．それぞれの表現
集合についてそれが指すものの質に関する係数$g$ ($0.0 < g \leq 1.0$) が付
与される．表現集合中の正解表現それぞれには表現の質に関する係数$f$ ($0.0
< f \leq 1.0$) が付与される．

システムが返した回答リスト$O$が与えられた時，ある正解セット$\mathit{CAS}_i$に関す
る精度$P_{\mathit{CAS}_i}$と再現率$Q_{\mathit{CAS}_i}$は図\ref{mmfdef}の式で与えられる．こ
れに基づいて$F_{\mathit{CAS}_i}$ 値が求められ，最も大きい$F_{\mathit{CAS}_i}$値を与える正
解セット$\mathit{CAS}_i$を用いた評価がその回答リストに対する評価となる．なお，正解
が存在しない質問については，回答数が0の場合（空リストを回答とした場合）
に$F$値1.0，それ以外は0 とする．この定義による$F$値を$\mathit{MF}$値\footnote{
	若干
	の修正を含んでいるということでModifiedの$M$を付けた．
	}，テストセッ
トについてのその平均を$\mathit{MMF}$値と呼ぶ．


\begin{figure}[t]
\input{03fig2.txt}
\caption{評価尺度の$\mathit{MF}$値の定義}
\label{mmfdef}
\end{figure}



この評価が意図しているのは，
\begin{itemize}
\item 表現の質は係数$f$で表現し，質の低い表現を選んだ場合は精度再現率の
      分子となる正解数の当該部分にそれを乗じることでよりよい表現を回答し
      た場合と差を付ける．
\item 正解そのものの質は係数$g$で表現し，再現率の分子分母の正解数両方にそれを乗じることで，再現率に正解の質を反映させる
\item 同一物を指示する異表現はその同定をシステムの能力の一部と考え，同じ表現集合に属する正解を複数回答した場合は，その中で表現の質が最もよいものひとつを正解とし，それ以外は誤答として扱うことで精度を下げる．
\item 正解の列挙については，ひとつの列挙の体系に基づいて回答することを期
      待し，それぞれの正解セットに従って採点を行い，最も高い評価となるセッ
      トの値を採用する．ただし，各セットでの採点において，そのセットでは
      誤答であるが，他のセットでの正解であるような回答は回答数に含めない
      ことで，誤答と区別する．これにより様々な正解セットに含まれる正解を
      混在させた時の精度の減少を防ぎ，ペナルティをなくす．
\end{itemize}

一例として，「東京ディズニーランドはどこにありますか」という質問に「千葉
県浦安市」「舞浜駅前」のふたつの正解があるとする．このふたつが同じ場所を
指す異表現と考えるなら，同じ正解セットの同じ表現集合にこのふたつを含める
ことになる．その場合，一方を回答リストに含めればよく，両方を含めた場合，
精度が下がる．これらふたつは違う情報であり，両方を列挙すべきであると判断
した場合は，同じ正解セットの異なる表現集合に含める．この場合，両方を回答
リストに含めないと再現率が下がる．このふたつは異なる回答の仕方でありどち
らもひとつで充分な情報を持っているとの判断であれば，これらふたつを異なる
正解セットとする．この場合，一方を回答すればよく，両方を含めても精度は下
がらない．両方回答すべき（同じ場所の別表現ではない）であるが，「千葉県浦
安市」の方がより適切とする場合は，「舞浜駅前」の正解そのものの質に関する
係数$g$を落とす．この場合，例えば「千葉県浦安市」だけで再現率0.67，「舞浜
駅前」のみで0.33というような重み付けが可能となる．更に「千葉県」も正解と
するが，これは「千葉県浦安市」と同じ場所を指し，表現として劣ると判断する
のであれば，「千葉県浦安市」と同じ表現集合に含め，その表現に関する係数$f$
を落とせばよい．



\section{参照用テストセット} \label{Sec4}

一問一答形式の質問応答システム，特にリスト型課題にまだ研究の余地がある現
状においては，システムの能力は様々な要因に左右され，情報アクセス対話にお
ける質問応答の能力だけでは決まらない．例えば，ある質問の正答率
が低い時にその難しさがその文脈処理の側面にあるのかどうかは明らかでない．
情報アクセス対話における質問応答でのシステム全体の能力を測定すること
がIADタスクの目的であるが，その改善に向けた分析が可能となるような材料が
収集できることも望まれる．

そのような情報を得るための道具立てとして，あるテストセット（本節では主テ
ストセットと呼ぶ）を用いたIADタスクの実施と並行して，その主テストセット
から作成される2種類の参照用テストセットを用いて同じタスクを実施すること
を提案する．第一の参照用テストセットは，主テストセットに含まれる照応表現
をすべて人手で解消し，それを補った独立の質問からなるセットである．第二の
参照用テストセットは，主テストセットに含まれる照応表現のうち，代名詞＋助詞や連
体詞等，表層に現れているものをすべて機械的に除去した独立の質問からなるセッ
トである．こちらは意味的には，大半の質問が誰のものかを指定しないで誕生日を訊
ねるような特定化が不充分なものとなるが，日本語であることが幸いして統語的
には文法的である．図\ref{samples}に示した質問シリーズseries 2-20に対応するこれら参照
用テストセットの部分を図\ref{refsamples}
に示す．第一の参照用テストセットの結果は文脈処理の上限，第二
の結果は文脈処理なしで回答できる下限を示している．もちろん，文脈処理の
結果得られる表現はひとつではないし，文脈処理が悪い影響を与えることも多い
ので，これらの結果は参考にとどまるが，このような参照用テストセットは技術
の特徴を検討するのに有益である．

参照用テストセットによる実施が貴重な情報を提供する例として，NTCIR-4での
実施での例を挙げる．表\ref{rsmmf}は主テストセットのシリーズ最初の問題と2番目以降の
問題について，上位10システムの$\mathit{MMF}$値を平均したものと，第一の参照用テス
トセットについて，それに対応する値とを比較したものである．主テストセット
では当然，2番目以降の問題の平均$\mathit{MMF}$値が大きく落ちているが，参照用テスト
セットでもそれに対応する問題で平均$\mathit{MMF}$値が低くなっている．予想される理由
は，あるトピックに関する一連の質問を行うと比較的簡単なものが先頭に来るこ
とである．このような分析により，単にシリーズ最初の問題と2番目以降の問題
についての$\mathit{MMF}$値を比較して，文脈処理の困難さを過度に主張するという間違っ
た結論を避けることができる．ちなみに，2番目以降の問題について，参照用テス
トセットと主テストセットの平均$\mathit{MMF}$値の差は有意であることから，文脈処理の
不十分さが2番目以降の問題の成績を悪くしていることも確認されている．

\begin{figure}[t]
\input{03fig3.txt}
\caption{参照用テストセットを構成する質問の例}
\label{refsamples}
\end{figure}
\begin{table}[t]
\caption{質問の位置による評価（平均$\mathit{MMF}$値）の差}
\label{rsmmf}
\input{03table4.txt}
\end{table}
\begin{table}[t]
\caption{シリーズの型の違いによる評価（平均$\mathit{MMF}$値）の差}
\label{rsseries}
\input{03table5.txt}
\end{table}


同様にシリーズの種類毎にみた上位10システムの平均$\mathit{MMF}$値を表
\ref{rsseries}に示す．シリーズをすべての照応表現が最初の質問で導入された
トピックを参照するという厳しい意味での収集型である狭義の収集型，
その他の収集型，ブラウジング型に分類したものである．主テストセットではブ
ラウジング型の平均$\mathit{MMF}$値が低いが，参照用テストセットにおいてはそれに対応
する質問群について最も高い値が得られている．参照用テストセットにおけるこ
の違いは，シリーズ先頭の質問が比較的容易なのと同じ理由で，ブラウジング型
のシリーズに含まれる様々なトピックに関する個々の質問は比較的容易なものに
なっていることによるのであろう．比較的簡単な個々の質問もブラウ
ジング型のシリーズとして組織化されると難度の高いものになるということで，
ブラウジング型シリーズにおける文脈処理が困難であることを再確認することが
できる．




第2の参照用テストセットの用途のひとつは，それぞれの質問について，その正
解を得るために本当に文脈処理が必要かの情報が得られることである．例えば，
図\ref{samples} のSeries 2-20の第7問に対応するものの平均$\mathit{MF}$値は，ふたつの
参照用テストセットの間で殆ど差がなく，その値は主テストセットでの値よりも
高い．これは，エベレストで最後に目撃された人間はマロリーの他には多くない
（いない）ために，キーワードとしてマロリーがなくても正解を求められるため
と思われる．同様の例で，「豊田章一郎氏が会長を務めていた自動車会社はどこ
ですか。」「そこが97年に発売したハイブリッド車は何という名前ですか。」
と続くシリーズにおいて，第2の質問に対応するものの$\mathit{MF}$値もふたつの参照
用テストセットの間で殆ど差がないが，日本でこの年に発売されたハイブリット
車は1車種のみであり，会社名による限定が必要ないためであった．これらの情報
は背景となる知識源の内容と関連し，事前に問題を検査して得るのは難しいが，
参照用テストセットによって容易に明らかにすることができる．



\section{関連研究} \label{Sec5}

本稿での提案と最も近い取り組みは，TREC 2001で行われたContext Taskで，こ
れは質問応答システムの文脈追跡（文脈処理）能力を測定するために一連の質問
に回答させるというもので，基本的な目的は本稿の提案と同じである\cite{Voorhees01}．
このタスクの実施では，システムがある質問に正解できるかがそれ以前の質問に
正解したかに依存しないという「予想に反する」結果が得られている．これは最
初の質問によってそのシリーズの質問すべての回答を含んだ少数の記事が同定さ
れてしまい，その後の質問に正解できるかは文脈処理の能力よりも特定のタイプ
の質問に回答できるかに依存してしまうためであるとされている．このため，こ
のようなタスクは現状では文脈処理能力を測定するのに不適切と判断され，その
後のTRECでは実施されていない．

このような結果となったひとつの理由は，シリーズを構成する質問の数が3から
4と少ないことにあると思われる．IADタスクではひとつのシリーズは7つ程度
の質問で構成することを考えている．また，IADタスクでいうところのブラウ
ジング型を含んでいないことも大きな原因であろう．TRECのContext Taskについ
ては，隣り合う質問の回答のうち85\%が同じパラグラフに存在したという報告
\cite{Harabagiu01}があるが，NTCIR-4で用いたテストセットでは，隣り合う質
問の少なくともひとつの回答が同じ記事（一概に比較できないが段落より大きい
単位と言ってよいと考える）内に存在する割合は，収集型でも83\%であったが，
ブラウジング型では66\%であった．シリーズ全体を考えれば，ブラウジング型の
場合，ニューヨーク・ヤンキーズからキャンベルスープまでを含んだ記事はありえ
ないので，最初の質問に関する処理だけでその後の質問に正解できる記事が得ら
れることはありえない．収集型についても，すべてが狭義の収集型ではないので，
そのトピックに関する記事すべてを検索してもそこから正しく回答を選択するこ
とは，何らかの文脈処理なしでは困難である．狭義の収集型についても，例えば，
「小沢征爾」をキーワードとする記事は知識源中に155件あり，そのうちの22件
が彼のウィーンフィルへの移籍を扱っているが，その中で彼の誕生日に言及して
いるものは2件のみである．また，収集型については，確かにある質問に回答で
きることと以前の質問への正解率との関係は不明確であるが，狭義の収集型であ
れば，そこに関係のある必然性はないし，そのことが文脈処理の不必要性の議論
につながるとは思えない．加えて重要なことは，このようなタスク設計がレポー
ト作成を目的とした情報アクセス対話という場面設定の状況に近いということで
あり，そこに現れる状況に対処する技術として必要とされている点である．

評価尺度についての$\mathit{MF}$値の提案は，IADタスクに限定されるものではなく，リ
スト型課題に共通するものである．TRECのQA Trackでも，2003年より正解数を指
定しないリスト型課題が開始されている\cite{Voorhees03}．評価には単純な$F$
値が用いられている．2003年のこの課題の質問は37問とあまり多くなく，``List
the names of chewing gums.'', ``Who are female boxers?''等，すべてが事物
の列挙を求めるもので，その殆どは，``What Chinese provinces have a
McDonald's restaurant?''のように回答のクラスが巧みに指定されており，粒度
の問題が生じるような表現，例えば``Where in China does McDnald have a
restaurant?''は避けられている．質問文のみからの判断であるが，問題が出る
可能性のあるのはわずかに``What foods can cause allergic reaction in
people?''の1問だけである．TRECにしてこのような状況であり，本稿で議論し
たようなリスト型課題の問題に注目した提案は著者の知る限り全く行われていな
い．

参照用のテストセットという考えについては，これもTREC-9において，同じ正解
を意図した表現の異なる質問を多数テストセットに含めるという試みがなされて
いる\cite{Voorhees04}．参照用のテストセットという明確な考えはなく，そこ
から何が得られたかも明らかにされていないが，より深い分析のための情報を得
る試みであったと思われる．この試みはその後続けられていない．一問一答型の
質問応答システムも質問解析，文書選択，回答抽出等の複数のモジュールから構
成されることを考えると，本稿で提案した参照用テストセットだけで充分な情報
が得られるわけではないが，少なくとも情報アクセス対話のための質問応答技術
をある程度まで区別する役割を果たしていると考える．

対話的な質問応答システムの評価ということでは，テストセットの枠組みに基づ
かない，より実際に近い状況での実験の報告がある\cite{Liddy04,Kelly06}．こ
れらの実験と本稿で提案したテストセットによる評価は，情報検索技術の評価に
おける検索実験での，現実状況での検証と研究室での検証\cite{Kishida98}とにそれぞれ
対応すると考えられる．前者は実際の利用場面により近い環境での評価となり，
多種多様な情報が得られるが，それらの情報は複雑かつ非定型で分析も難しく，
実験の実施も一般に高価である．一方で後者は，本来の利用場面の複雑さを切り捨
て，理想化単純化された状況での能力を測定することになるが，得られるデータ
の相互比較が比較的容易で，テストセットの再利用が可能なこと等，その実施も
安価である．このように，これらにはそれぞれの長所短所があり，相補的な役割
を持っていると考えている．



\section{おわりに} \label{Sec6}

あるトピックに関して一連の情報アクセスを対話的に行うという状況で用いられ
る質問応答システムの能力を定量的に評価するためのタスク，IADタスクを提案
した．対話的な情報アクセスを模擬した実験を通じて，数量等を含む名称を正解
の範囲とするような質問応答システムがそのような状況で有効であること，その
ようなシステムは様々な照応表現を処理できる必要があることを示し，タスクが
評価する技術の重要性を示唆した．IADタスクは，対話的情報アクセスを対象と
して，そこで必要な質問応答技術が効果的に評価できるというその枠組みの独自性
に加えて，質問中の参照表現を人手で解消もしくは機械的に削除した参照用テス
トセットを併用することで，情報アクセス対話におけるシステムの文脈処理能力
をある程度まで切り離して評価できる枠組みを持っている．評価尺度についても
自然な質問への応答を考えた場合に問題になる事例に配慮して，回答の列挙に複
数の体系を許し回答の2種類の質を考慮に入れた多段階評価手法という，リスト
型課題一般の評価手法に関する新しい提案を含んでいる．



\section*{付録}

\begin{figure}[b]
\centerline{\includegraphics{15-3ia3f4.eps}}
\caption{$\mathit{MMF}$値による評価}
\label{mmf1}
\end{figure}
\begin{figure}[b]
\centerline{\includegraphics{15-3ia3f5.eps}}
\caption{シリーズの型による$\mathit{MMF}$値の差異}
\label{mmf2}
\end{figure}

提案するIADタスクが最先端の質問応答技術にとって，決して不可能な課題では
なく，同時に既に解決された課題でもないことを示すために，NTCIR-5における
QAC3での実施において，高い評価を得た3チーム，7システムについてその評価
を示す．この実施では「施工ミス」「送電線切断」「墜落炎上」のような事象の
複合名詞表現を正解範囲に含んでいたが，その位置づけが不明確なことから，今
回の提案ではそれを除いている．その点を除けば，この実施は，本稿で提案して
いるIAD タスクであり，事象の複合名詞表現を正解とする質問は少数であるため，
全体の傾向への影響は少ない．図\ref{mmf1}は，テストセット全体，各シリーズ
の先頭質問，2番目以降の質問について，$\mathit{MMF}$値を示したものである．図
\ref{mmf2}は，シリーズを収集型とブラウジング型に分類して，テストセット全
体とそれらの$\mathit{MMF}$値を比較している．これらのシステムに用いられている技術
については，NTCIR-5でのQAC3実施に関する報告\cite{Kato05b,KatoJ06}に加え，
\cite{Murata07,Akiba06,Mori07}に詳しい．



\acknowledgment

NTCIR-4のQAC2 Subtask 3，NTCIR-5のQAC3に参加していただき，貴重なコメント
いただきました皆様に感謝します．加えて，qac-jのメイリングリストでの議論
に積極的に加わってくださった皆様にも感謝します．また，本稿の中に直接活か
すことはできませんでしたが，村田真樹，秋葉友良，森辰則の3氏は，NTCIR-4での
テストセットを用いた再度の実施を快く引き受けてくださいました．御尽力にお
礼申し上げます．本研究の一部は，国立情報学研究所との共同研究として支援
されています．

\bibliographystyle{jnlpbbl_1.3}
\begin{thebibliography}{}

\bibitem[\protect\BCAY{Akiba}{Akiba}{2006}]{Akiba06}
Akiba, T. \BBOP 2006\BBCP.
\newblock \BBOQ Exploiting Dynamic Passage Retrieval for Spoken Question
  Recognition and Context Processing towards Speech-driven Information
  Access\BBCQ\
\newblock In {\Bem Proceedings of The International Conference on Language
  Resources and Evaluation (LREC)}, \mbox{\BPGS\ 1530--1535}.

\bibitem[\protect\BCAY{ARDA}{ARDA}{2007}]{AQUAINT}
ARDA.
\newblock \BBOQ AQUAINT Home Page: Advanced Question \& Answering for
  Intelligence\BBCQ, \Turl{http://\linebreak[2]www.ic-arda.org/\linebreak[2]InfoExploit/\linebreak[2]aquaint/}.

\bibitem[\protect\BCAY{Burger, Cardie, et~al.}{Burger et~al.}{2001}]{Burger01}
Burger, J., Cardie, C., et.~al.
\newblock \BBOQ Issues, Tasks and Program Structures to Roadmap Research in
  Question \& Answering (Q\&A)\BBCQ,
  \Turl{http://www-nlpir.nist.gov/\linebreak[2]projrcts/\linebreak[2]duc/\linebreak[2]roadmapping.html}.

\bibitem[\protect\BCAY{Fukumoto, Kato, \BBA\ Masui}{Fukumoto
  et~al.}{2003}]{Fukumoto03}
Fukumoto, J., Kato, T., \BBA\ Masui, F. \BBOP 2003\BBCP.
\newblock \BBOQ Question Answering Challenge (QAC-1) An Evaluation of Question
  Answering Tasks at the NTCIR Workshop 3\BBCQ\
\newblock In {\Bem AAAI 2003 Spring Symposium New Directions in Question
  Answering}, \mbox{\BPGS\ 122--133}.

\bibitem[\protect\BCAY{Harabagiu, Moldovan, et~al.}{Harabagiu
  et~al.}{2001}]{Harabagiu01}
Harabagiu, S., Moldovan, D., et.~al \BBOP 2001\BBCP.
\newblock \BBOQ Answering complex, list and context questions with LCC's
  Question-Answering Server\BBCQ\
\newblock In {\Bem Proceedings of TREC 2001}.

\bibitem[\protect\BCAY{Hickl, Lehmann, Williams, \BBA\ Harabagiu}{Hickl
  et~al.}{2004}]{Hickl04}
Hickl, A., Lehmann, J., Williams, J., \BBA\ Harabagiu, S. \BBOP 2004\BBCP.
\newblock \BBOQ Experiments with Interactive Question Answering in Complex
  Scenarios\BBCQ\
\newblock In {\Bem Proceedings of HLT-NAACL2004 Workshop on Pragmatics of
  Question Answering}, \mbox{\BPGS\ 60--69}.

\bibitem[\protect\BCAY{加藤\JBA 福本\JBA 桝井\JBA 神門}{加藤\Jetal
  }{2004a}]{KatoJ04b}
加藤恒昭\JBA 福本淳一\JBA 桝井文人\JBA 神門典子 \BBOP 2004a\BBCP.
\newblock \JBOQ リスト型質問応答の特徴付けと評価指標\JBCQ\
\newblock \Jem{情報処理学会自然言語処理研究会 2004-NL-163}, \mbox{\BPGS\
  115--112}.

\bibitem[\protect\BCAY{加藤\JBA 福本\JBA 桝井\JBA 神門}{加藤\Jetal
  }{2004b}]{KatoJ04a}
加藤恒昭\JBA 福本淳一\JBA 桝井文人\JBA 神門典子 \BBOP 2004b\BBCP.
\newblock \JBOQ 質問応答技術は情報アクセス対話を実現できるか\JBCQ\
\newblock \Jem{情報処理学会自然言語処理研究会 2004-NL-162}, \mbox{\BPGS\
  145--150}.

\bibitem[\protect\BCAY{加藤\JBA 福本\JBA 桝井\JBA 神門}{加藤\Jetal
  }{2006}]{KatoJ06}
加藤恒昭\JBA 福本淳一\JBA 桝井文人\JBA 神門典子 \BBOP 2006\BBCP.
\newblock \JBOQ 情報アクセス対話に向けた質問応答技術の評価ふたたび—NTCIR-5
  QAC3での試み—\JBCQ\
\newblock \Jem{情報処理学会自然言語処理研究会 2004-NL-172}, \mbox{\BPGS\
  55--62}.

\bibitem[\protect\BCAY{Kato, Fukumoto, \BBA\ Masui}{Kato
  et~al.}{2004a}]{Kato05b}
Kato, T., Fukumoto, J., \BBA\ Masui, F. \BBOP 2004a\BBCP.
\newblock \BBOQ An Overview of NTCIR-5 QAC3\BBCQ\
\newblock In {\Bem Proceedings of Fifth NTCIR Workshop Meeting}, \mbox{\BPGS\
  361--372}.

\bibitem[\protect\BCAY{Kato, Fukumoto, \BBA\ Masui}{Kato
  et~al.}{2004b}]{Kato04}
Kato, T., Fukumoto, J., \BBA\ Masui, F. \BBOP 2004b\BBCP.
\newblock \BBOQ Question Answering Challenge for Information Access
  Dialogue---Overview of NTCIR4 QAC2 Subtask3---\BBCQ\
\newblock In {\Bem Working notes on the Fourth NTCIR Workshop Meeting},
  \mbox{\BPGS\ 291--296}.

\bibitem[\protect\BCAY{Kato, Fukumoto, Masui, \BBA\ Kando}{Kato
  et~al.}{2005}]{Kato05a}
Kato, T., Fukumoto, J., Masui, F., \BBA\ Kando, N. \BBOP 2005\BBCP.
\newblock \BBOQ Are Open-domain Question Answering Technologies Useful for
  Information Access Dialogues? ---An empirical study and a proposal of a novel
  challenge---\BBCQ\
\newblock {\Bem ACM TALIP (Trans. of Asian Language Information Processing)},
  {\Bbf 4}  (3), \mbox{\BPGS\ 243--262}.

\bibitem[\protect\BCAY{Kato, Fukumoto, Masui, \BBA\ Kando}{Kato
  et~al.}{2006}]{Kato06}
Kato, T., Fukumoto, J., Masui, F., \BBA\ Kando, N. \BBOP 2006\BBCP.
\newblock \BBOQ WoZ Simulation of Interactive Question Answering\BBCQ\
\newblock In {\Bem Proceedings of HLT-NAACL2006 Workshop on Interactive
  Question Answering}, \mbox{\BPGS\ 9--16}.

\bibitem[\protect\BCAY{Kelly, Kantor, Morse, et~al.}{Kelly
  et~al.}{2006}]{Kelly06}
Kelly, D., Kantor, P., Morse, E., et.~al \BBOP 2006\BBCP.
\newblock \BBOQ User-Centered Evaluation of Interactive Question Answering
  Systems\BBCQ\
\newblock In {\Bem Proceedings of HLT-NAACL2006 Workshop on Interactive
  Question Answering}, \mbox{\BPGS\ 49--56}.

\bibitem[\protect\BCAY{岸田}{岸田}{1998}]{Kishida98}
岸田和明 \BBOP 1998\BBCP.
\newblock \Jem{情報検索の理論と技術}.
\newblock 勁草書房.

\bibitem[\protect\BCAY{Liddy, Diekema, \BBA\ Yilmazel}{Liddy
  et~al.}{2004}]{Liddy04}
Liddy, E.~D., Diekema, A.~R., \BBA\ Yilmazel, O. \BBOP 2004\BBCP.
\newblock \BBOQ Context-Based Question-Answering Evaluation\BBCQ\
\newblock In {\Bem Proceedings of the 27th Annual International ACM SIGIR
  Conference}, \mbox{\BPGS\ 508--509}.

\bibitem[\protect\BCAY{Mani, House, et~al.}{Mani et~al.}{1998}]{Mani98}
Mani, I., House, D., et.~al \BBOP 1998\BBCP.
\newblock \BBOQ The TIPSER SUMMAC text summarization evaluation final
  report\BBCQ\
\newblock \BTR\ MTR98W0000138, The MITRE Corporation.

\bibitem[\protect\BCAY{Mori, Kawaguchi, \BBA\ Ishioroshi}{Mori
  et~al.}{2007}]{Mori07}
Mori, T., Kawaguchi, S., \BBA\ Ishioroshi, M. \BBOP 2007\BBCP.
\newblock \BBOQ Answering Contextual Questions Based on the Cohesion with
  Knowledge\BBCQ\
\newblock {\Bem International Journal of Computer Processing of Oriental
  Languages (IJCPOL)}, {\Bbf 20}  (2\&3), \mbox{\BPGS\ 115--135}.

\bibitem[\protect\BCAY{NII}{NII}{2007}]{NTCIR}
NII.
\newblock \BBOQ NTCIR (NII-NACSIS Test Collection for IR Systems) Project Home
  Page\BBCQ, \Turl{http://\linebreak[2]research.nii.ac.jp/\linebreak[2]ntcir/\linebreak[2]index-ja.html}.

\bibitem[\protect\BCAY{NIST}{NIST}{2007}]{TREC}
NIST.
\newblock \BBOQ TREC Home Page\BBCQ, \Turl{http://\linebreak[2]trec.nist.gov/}.

\bibitem[\protect\BCAY{小川\JBA 佐々木\JBA 増山\JBA 村田\JBA 吉岡}{小川\Jetal
  }{2002}]{Ogawa02}
小川泰嗣\JBA 佐々木裕\JBA 増山繁\JBA 村田真樹\JBA 吉岡真治 \BBOP 2002\BBCP.
\newblock \JBOQ 参加者から見たNTCIR\JBCQ\
\newblock \Jem{人工知能学会誌}, {\Bbf 17}  (3), \mbox{\BPGS\ 306--311}.

\bibitem[\protect\BCAY{関根\JBA 影浦\JBA 奥村\JBA 乾}{関根\Jetal
  }{2005}]{Sekine05}
関根聡\JBA 影浦峡\JBA 奥村学\JBA 乾健太郎 \BBOP 2005\BBCP.
\newblock \JBOQ 研究の場としての評価型ワークショップになるために\JBCQ\
\newblock \Jem{言語処理学会第11回年次大会
  併設ワークショップ「評価型ワークショップを考える」}.

\bibitem[\protect\BCAY{Small, Shimizu, et~al.}{Small et~al.}{2003}]{Small03}
Small, S., Shimizu, N., et.~al \BBOP 2003\BBCP.
\newblock \BBOQ HITIQA: A Data Driven Approach to Interactive Question
  Answering: A Preliminary Report\BBCQ\
\newblock In {\Bem AAAI 2003 Spring Symposium New Directions in Question
  Answering}, \mbox{\BPGS\ 94--104}.

\bibitem[\protect\BCAY{Voorhees}{Voorhees}{2001}]{Voorhees01}
Voorhees, E.~M. \BBOP 2001\BBCP.
\newblock \BBOQ Overview of the TREC 2001 Question Answering Track\BBCQ\
\newblock In {\Bem Proceedings of TREC 2001}.

\bibitem[\protect\BCAY{Voorhees}{Voorhees}{2003}]{Voorhees03}
Voorhees, E.~M. \BBOP 2003\BBCP.
\newblock \BBOQ Overview of the TREC 2003 Question Answering Track\BBCQ\
\newblock In {\Bem Proceedings of TREC 2003}, \mbox{\BPGS\ 14--27}.

\bibitem[\protect\BCAY{Voorhees}{Voorhees}{2004}]{Voorhees04}
Voorhees, E.~M. \BBOP 2004\BBCP.
\newblock \BBOQ Overview of the TREC 2004 Question Answering Track\BBCQ\
\newblock In {\Bem Proceedings of TREC 2004}.

\bibitem[\protect\BCAY{Voorhees}{Voorhees}{2005}]{Voorhees05}
Voorhees, E.~M. \BBOP 2005\BBCP.
\newblock \BBOQ Question Answering in TREC\BBCQ\
\newblock In Voorhees, E.~M.\BBACOMMA\ \BBA\ Harman, D.~K.\BEDS, {\Bem TREC
  Experiment and Evaluation in Information Retrieval}. The MIT Press.

\bibitem[\protect\BCAY{Voorhees \BBA\ Tice}{Voorhees \BBA\
  Tice}{2000}]{Voorhees00}
Voorhees, E.~M.\BBACOMMA\ \BBA\ Tice, D.~M. \BBOP 2000\BBCP.
\newblock \BBOQ Building a Question Answering Test Collection\BBCQ\
\newblock In {\Bem Proceedings of the 23rd Annual International ACM SIGIR
  Conference}, \mbox{\BPGS\ 200--207}.

\bibitem[\protect\BCAY{村田\JBA 内山\JBA 白土\JBA 井佐原}{村田\Jetal
  }{2007}]{Murata07}
村田真樹\JBA 内山将夫\JBA 白土保\JBA 井佐原均 \BBOP 2007\BBCP.
\newblock \JBOQ
  シリーズ型質問文に対して単純結合法を利用した逓減的加点質問応答システ厶\JBCQ\
\newblock \Jem{システム制御情報学会論文誌}, {\Bbf 20}  (8), \mbox{\BPGS\
  338--346}.

\end{thebibliography}

\begin{biography}
\bioauthor{加藤　恒昭}{
1983年東京工業大学大学院総合理工学研究科修士課程修了．同年，日本電信電話
 公社（現NTT）に入社．2000 年東京大学大学院総合文化研究科言語情報科学専
 攻准教授，現在に至る．1993年米国ロチェスター大学客員研究員．2005年米国
 USC/ISI客員研究員．博士（工学）．質問応答，情報編纂，語彙意味論に関する
 研究に従事．
}
\bioauthor{福本　淳一}{
1986年広島大学大学院工学研究科博士前期課程修了．同年，沖電気工業（株）に入
 社．1992--94年英国マンチェスター科学技術大学Ph.~D.コース．2000年立命館大
 理工学部助教授．2004年米国USC/ISI客員研究員．2006年立命館大情報理工学部
 教授，現在に至る．Ph.~D．質問応答システム，情報抽出，談話構造解析の研究
 に従事．
}
\bioauthor{桝井　文人}{
1990年岡山大学理学部・地学科卒業．同年，沖電気工業（株）に入社．2000年三重大学
 工学部情報工学助手．2004--05年北海道大学情報科学研究科研究員．現在，
 三重大学大学院工学研究科助教．博士（工学）．自然言語処理，教育工学，
 設備保全などの研究に興味を持つ．
}
\bioauthor{神門　典子}{
1994年慶応義塾大学文学研究科博士課程修了．博士（図書館・情報学）．同年学
 術情報センター助手．米国シラキウス大学情報学部，デンマーク王立図書館情報大
 学客員研究員を経て，1998年学術情報センター助教授．2000年国立情報学研究
 所助教授．2004年同教授．現在に至る．テキスト構造を用いた検索と情報活用
 支援，言語横断検索，情報検索システムの評価等の研究に従事．
}
\end{biography}


\biodate


\end{document}

