    \documentclass[japanese]{jnlp_1.4}
\usepackage{jnlpbbl_1.3}
\usepackage[dvips]{graphicx}
\usepackage{amsmath}


\Volume{21}
\Number{2}
\Month{April}
\Year{2014}

\received{2013}{9}{20}
\revised{2013}{12}{6}
\accepted{2014}{1}{17}

\setcounter{page}{157}

\jtitle{情報信憑性判断支援のための \\
	Web 文書向け要約生成タスクにおけるアノテーション}
\jauthor{渋木　英潔\affiref{Author_1} \and 中野　正寛\affiref{Author_2} \and 宮崎林太郎\affiref{Author_2} \and 石下　円香\affiref{Author_1} \and \\ 金子　浩一\affiref{Author_2} \and 永井　隆広\affiref{Author_2} \and 森　　辰則\affiref{Author_1}}
\jabstract{
我々は，利用者が信憑性を判断する上で必要となる情報を Web 文書から探し出し，要約・整理して提示する，情報信憑性判断支援のための要約に関する研究を行っている．
この研究を行う上で基礎となる分析・評価用のコーパスを，改良を重ねながら 3 年間で延べ 4 回構築した．
本論文では，人間の要約過程を観察するための情報と，性能を評価するための正解情報の両方を満たすタグセットとタグ付与の方法について述べる．
また，全数調査が困難な Web 文書を要約対象とする研究において，タグ付与の対象文書集合をどのように決定するかといった問題に対して，我々がどのように対応したかを述べ，コーパス構築を通して得られた知見を報告する．
}
\jkeywords{アノテーション，コーパス，要約，調停要約，情報信憑性}

\etitle{Annotation of Web Documents for Automatic \\ Summarization to Verify Information Credibility}
\eauthor{Hideyuki Shibuki\affiref{Author_1} \and Masahiro Nakano\affiref{Author_2} \and Rintaro Miyazaki\affiref{Author_2} \and Madoka Ishioroshi\affiref{Author_1} \and Koichi Kaneko\affiref{Author_2} \and Takahiro Nagai\affiref{Author_2} \and Tatsunori Mori\affiref{Author_1}} 
\eabstract{
Over a span of three years, we have constructed and improved four corpora that are the basis for generating summaries for the verification of information credibility.
The summary generated to verify the credibility of information is a brief document composed of extracts from Web documents; it provides material to the user for judging the validity of a statement.
In this paper, we describe a set of tags designed for observing annotation and preparing a gold standard for the summary. Further, we describe the method of annotation.
Because examining each web document for its appropriateness in contributing to the summary is difficult, we describe the methodology of obtaining appropriate documents. 
Furthermore, we share our observations and learnings from the process of constructing these corpora.
}
\ekeywords{\it annotation, corpus, summarization, mediatory summary, information \linebreak
credibility}

\headauthor{渋木，{\kern-0.5zw}中野，{\kern-0.5zw}宮崎，{\kern-0.5zw}石下，{\kern-0.5zw}金子，{\kern-0.5zw}永井，{\kern-0.5zw}森}
\headtitle{情報信憑性判断支援のWeb文書向け要約生成タスクにおけるアノテーション}

\affilabel{Author_1}{横浜国立大学大学院環境情報研究院}{Graduate School of Environment and Information Sciences, Yokohama National University}
\affilabel{Author_2}{横浜国立大学大学院環境情報学府}{Graduate School of Environment and Information Sciences, Yokohama National University}



\begin{document}
\maketitle


\section{はじめに}
\label{sc:introduction}


近年，Webを情報源として，人間の情報分析や情報信憑性判断などの支援を目的としたシステム開発に関する研究が行われている\cite{Akamine2009,Akamine2010,Ennals2010,Finn2001,Kaneko2009,Miyazaki2009,Murakami2010,Shibuki2010,Shibuki2013,Kato2010,Kawai2011,Matsumoto2009,Nakano2011,Fujii2008,Yamamoto2010}．
このようなシステムの開発においては，そもそも，どのような情報を提示することが効果的な支援につながるか，また，そのためにどのような処理を行う必要があるか，といった点から検討しなくてはならないことが多く，そういった検討に必要な情報が付与されたコーパスが必要となる．
加えて，開発されたシステムの性能を評価するための正解情報が付与されたコーパスも必要となる．
そういった情報が付与されたコーパスは，一般に利用可能でないことが多いため，開発の基礎となるコーパスを構築する研究が行われている\cite{Nakano2010,Ptaszynski2012,Radev2000,Wiebe2005,Shibuki2009,Shibuki2011b,Matsuyoshi2010,Nakano2008,Iida2010,Hashimoto2011}．

我々は，これまで，「ディーゼル車は環境に良い」といった，利用者が信憑性を判断したい言明\footnote{本論文では，主観的な意見や評価だけでなく，疑問の表明や客観的事実の記述を含めたテキスト情報を広く言明と呼ぶこととする．}（{\bf 着目言明}）に対して，その信憑性判断を支援するために有用なテキスト群をWeb文書から探し，要約・整理して提示する研究を行ってきており，その基礎となるコーパスを3年間で延べ4回\footnote{初年度で2回，次年度以降は年1回のペースで構築した．}構築している．
研究当初，我々は，情報信憑性判断支援のための要約として，言明間の論理的関係の全体像を把握するのに有用な，論理的関係の要所に位置する言明を重要言明とみなし，それらを優先的に提示することによって情報量を抑える，サーベイレポート的な要約を考えて{いた．}
この考え方の下で，着目言明に関連する重要言明をWeb文書集合から網羅するようなアノテーションを第1回と第2回のコーパス構築において行った．
こうして構築されたコーパスを分析した結果，一見すると互いに対立しているようにみえる二つの言明の組が，実際には対立しておらず，ある条件や状況の下で両立可能となっている場合（{\bf 疑似対立}）があることが分かった．
また，疑似対立の場合に両立可能となる状況を第三者視点から簡潔に説明している記述が少数ではあるがWeb文書中に存在していることも分かり，そのような記述を利用者に提示することができれば，利用者の信憑性判断支援に役立つと考えた．
以上の経緯から，我々は，二つの言明の組が疑似対立である場合に，第三者視点から両立可能となる状況を簡潔に説明している記述をWeb文書から見つける要約を{\bf 調停要約}として提案した．
以後，調停要約を信憑性判断支援のための要約の中心に位置付けて，第3回と第4回のコーパス構築を行い，調停要約を自動生成する手法を開発した．
{我々は}，サーベイレポート要約と調停要約を，それぞれ情報信憑性判断支援のための要約の一つとして位置づけている．

情報信憑性判断支援のための要約といった比較的ユニークな研究課題に新しく取り組むに当たって，構築されるコーパスには，手法のアルゴリズム等を検討するための分析用コーパスとしての役割と，手法の性能を測るための評価用コーパスとしての役割の両方が要求される．
したがって，本論文では，この要求に応えるタグセットとタグ付与の方法について述べる．
また，要約対象は，Web検索等により得られた任意のWeb文書集合であるため，アノテーションの対象となる文書集合をどのように決定するかという問題が生じる．
この問題に対して，我々が採った方法についても述べる．
また，情報信憑性判断のための要約といった同一の研究課題で，作業内容の改良を重ねながら4回のコーパス構築を行った事例は少なく，そういった希少な事例としても報告したい．

本論文では，4回にわたって構築したコーパスを，着目言明に関連する重要言明を網羅することを目的として構築された，第1回と第2回の{\bf サーベイレポートコーパス}と，調停要約に焦点を当てて構築された，第3回と第4回の{\bf 調停要約コーパス}に大きく分けて説明する．
また，それぞれのコーパスを構築する際に直面した課題について，我々がどのように対応したかを述べ，コーパス構築を通して得られた知見を報告する．

本論文の構成は以下の通りである．
\ref{sc:summary4ic}節では，コーパス構築の目的である，情報信憑性判断支援のための要約における我々の基本的な考えを述べる．
\ref{sc:survey_report}節では，サーベイレポートコーパスの構築における背景を述べた後，どのような課題が存在し，我々がどのように対応しようとしたかを述べる．
また，実際のコーパス構築手順とアノテーションに用いたタグセットを述べ，構築されたサーベイレポートコーパスを分析した結果について報告し，考察を行う．
\ref{sc:mediatory_summary}節では，調停要約コーパスについて\ref{sc:survey_report}節と同様の記述をする．
\ref{sc:related_work}節では，コーパス構築の関連研究について述べ，情報信憑性判断支援のための要約に関するコーパス構築の位置付けを明確にする．
\ref{sc:conclusion}節はまとめである．


\section{情報信憑性判断支援のための要約}
\label{sc:summary4ic}


Web上に存在する情報の中には，出所が不確かな情報や利用者に不利益をもたらす情報などが含まれており，信頼できる情報を利用者が容易に得るための技術に対する要望が高まっている．
{情報}信憑性の判断を対象とした研究には，システムが信憑性を自動的に検証することと，利用者の信憑性判断が容易になるようシステムが支援することの2通りのアプローチが考えられる．
しかしながら，情報の内容の真偽や正確性を自動的に検証することは困難である上に，その情報が意見などの主観を述べるものである場合には，利用者により考え方や受け止め方が異なることから，その真偽や正確性を検証することはさらに困難なものとなる．
そのため，情報の信憑性は，最終的に個々の情報利用者が判断しなければなら{ない}と考えている．
したがって，情報の信憑性を自動的に検証する技術に優先して，利用者による信憑性の判断を支援する技術の実現を目指している．

情報信憑性判断を支援する技術には，着目言明に関する意見など判断の参考となる情報を抽出する技術\shortcite{Akamine2009,Akamine2010,Miyazaki2010}，対立や根拠など抽出された情報間の関係を解析する技術\shortcite{Murakami2010}，抽出・解析された情報を重要性の高い順に提示するといった要約・整理に関する技術\shortcite{Kaneko2009,Shibuki2010,Shibuki2013}などが存在する．
我々は，この中の要約・整理に関する研究に取り組んでいる．

我々が目的とする，情報信憑性判断支援のための要約は，Web文書を対象とした複数文書要約の一種である．
しかしながら，従来の新聞記事等を対象とした複数文書要約\shortcite{Yoshioka2004}と比較して以下のような特徴がある．
従来の複数文書要約では，どの情報も同等に信じられるとしており，言明の間にも矛盾はないとしていた．
一方で，情報信憑性判断においては，原文書の情報が全て信じられるとは限らず，どの言明が本当に正しいのか分からない場合がある．
その結果，言明間に矛盾が存在しうることが考えられ，サーベイレポートにおいては，利用者が根拠関係や対立関係が理解できるように，調停要約においては，疑似対立である二言明が両立可能であることを理解できるように要約する必要がある．
また，複数文書要約において情報の発信者は複数存在するのが普通であるが，言明間の矛盾や対立関係を明らかにするためには情報発信者による情報の区分が重要となる．
このように，情報信憑性判断支援のための要約は今まで広く行われてきた複数文書要約と異なる部分があり，アノテーションにおいても上記の点を考慮して行う必要がある．


\section{サーベイレポートコーパスの構築}
\label{sc:survey_report}

\subsection{サーベイレポートコーパス構築の背景}
\label{ssc:survey_report_background}

研究当初の段階では，情報信憑性判断支援に資する要約とは何かということが漠然としか定まっておらず，研究の大部分が手探り状態であった．
それゆえ，人間が情報信憑性判断支援のための要約を作成する際に，どのような情報を重視して要約を作成するのか，また，どのような知識が要約の作成に必要だったのかといった点から検討する必要があり，作成結果となる要約だけではなく，人間の要約作成過程を可能な限り詳細にトレースできるようなアノテーションを行う必要があった．

また，システムが自動生成した情報信憑性判断支援のための要約を自動的に評価するために，正解となる参照要約を準備することもコーパス構築の目的のひとつであった．
自動要約システムの理想的な正解は人間が自由記述形式で作成した要約そのものであるが，人間と違って機械が最初から文章を書き起こすことは困難である．
それゆえ，要約対象文書中の記述を抜粋して要約するTextRank\shortcite{Mihalcea2004}のようなアルゴリズムを用いることを想定していた．
そこで，人間が作成した要約を要約対象文書中の記述と関連付けておくことで，機械が要約を作成する際の正解の一部として利用できるようなアノテーションを行う必要があった．

図\ref{fg:survey_report}に，{サーベイ}レポートの例を示す．
この例では，着目言明として「朝，バナナを食べるだけでダイエットできる」が入力された場合を想定している．
{我々は}，着目言明の信憑性が問われる主な原因として，着目言明の内容を否定するような言明の存在があると考え，Web上で矛盾や対立などが存在する言明を論点と定義する．
サーベイレポートは，{\bf 利用者が{論点}を把握するため{の}要約}と{\bf 利用者が{論点}を判断するのに役立つ要約}の2つに大きく分かれて{いる．}
前者はさらに，{着目言明の関連情報である}{\bf 関連キーワード}と{\bf 背景}となる記述，{\bf 各論点の主張}を理解するための記述に分かれている．
関連キーワードは，着目言明と関連するWeb文書集合に現れる主たる語句，背景は着目言明の内容がWeb上で大きく話題となった日時と事件を列挙したものである．
各論点の主張では，着目言明の内容を肯定するWeb上の言明と，着目言明の内容を否定するような言明（{\bf 対立言明}）を根拠や反論の有無とともに示している．
{ここで}，着目言明や対立言明の根拠や反論は一般に複数あることに注意されたい．
図\ref{fg:survey_report}の例では，着目言明の根拠として「酵素」と「食物繊維」の効果が挙げられている．
これに対し，「バナナの酵素が代謝を高めることはない」という反論は，酵素の効果を否定しているだけであり，食物繊維の効果に対する反論としては適切ではない．
反論等の信憑性判断は，適切な対応関係にある根拠等を明確にした上で行われるべきである．
したがって，着目言明側と対立言明側の主張の対応関係が利用者に分かるように整理することが，利用者が論点を判断する上で役立つと考えられる．
利用者が{論点}を判断するのに役立つ要約では，反論などの対立関係にある言明の組をWeb文書からパッセージ\footnote{本論文では，連続した文のまとまりをパッセージと呼ぶ．}単位で抜粋し，{\bf 情報発信者}とともに提示している．
本論文では，情報発信者を言明を発信している個人や組織と定義する．
また，提示されたパッセージや情報発信者を元に，利用者にどのような点を判断してもらいたいかが，{言明}の組の上下に注釈として記されている．

\begin{figure}[t]
\begin{center}
\includegraphics{21-2iaCA3f1.eps}
\end{center}
\caption{サーベイレポートの例}
\label{fg:survey_report}
\end{figure}

図\ref{fg:survey_report}に示すようなサーベイレポートをシステムが生成するにあたって，根拠や対立等の言明間の関係の把握に関しては言論マップ\shortcite{Murakami2010}の出力を，話題となった日時と事件に関しては時系列分析\shortcite{Kawai2011}の出力をそれぞれ利用することを想定していた．
それゆえ，サーベイレポートコーパスの構築は，着目言明に関連する言明の抽出，情報発信者の抽出，利用者が{論点}を判断するのに役立つ要約の作成を作業の中心とすることとした．


\subsection{サーベイレポートコーパス構築における課題}
\label{ssc:survey_report_problems}

\subsubsection{着目言明の決定}

まず，コーパスに収録されるサーベイレポートのトピックとなる着目言明をどのように決定するかを考える．
本研究ではWeb文書を要約対象とするため，着目言明に関連するWeb文書が存在しない場合，サーベイレポートを生成することができない．
そのような場合，自動要約システムの挙動としては，関連するWeb文書が存在しなかったことを示せば良いが，開発の基礎となるコーパスを構築するという点においては，十分な分析を行える量のサーベイレポートを確保する必要がある．
一方で，サーベイレポートを作成しやすい着目言明のみでコーパスを構築すると，紋切り型のサーベイレポートになり，人間の要約作成過程を観察する際の多様性が乏しくなる恐れがある．
したがって，予め着目言明の候補を比較的多く作成し，着目言明に関連するWeb文書がどの程度存在しているのか，また，論点になりそうな言明はどの程度存在しているのか，といった調査をWeb検索エンジンを用いて行い，その結果を元に，多様性をもったサーベイレポートが作成できそうな着目言明を選別することとした．


\subsubsection{要約作成過程の観察}

{ある}着目言明が与えられた際に，その信憑性の判断を支援するための要約を人間が作成する場合を考えると，まず，着目言明に関連する文書集合をWeb検索等により収集した後，収集した文書に目を通して，要約の作成に必要な記述（{\bf 重要記述}）がありそうな文書を選別し，最後に，文書中の重要記述を中心に要約を作成すると考えられる．
言い換えると，収集した文書から要約に必要な記述を得るためには，文書の収集や選別，重要記述の抽出など何度かの絞り込みを行っていると考えられる．
しかしながら，その絞り込みの方法の詳細は不明であるため，人間が実際に要約を作成する際に行う絞り込みの過程を観察できるようにする必要がある．
本来であれば，如何なる制約もない自然な流れでの絞り込み過程を観察することが望ましいが，複数の人間による絞り込みの途中経過を比較することが困難になる．
それゆえ，絞り込みの過程を幾つかの段階に分割し，各段階でアノテーションを行うこととした．
こうすることで，各段階のアノテーション結果を参照することが可能になり，複数の人間が行う絞り込みの一致率を途中経過を含めて調査できるようになる．
もしも，絞り込みの過程が作業者によって大きく異なるならば，重要だと考える基準が作業者によって大きく異なるということであり，安定した自動要約を実現するのが困難になると考えられる．

作業者が絞り込みを適切に行うためには，着目言明に関する{\bf 背景知識}や，さまざまな{\bf 文書内の情報}が必要になると考えられる．
本論文では，「背景知識」を要約対象文書以外からでも獲得できる知識，「文書内の情報」を要約対象文書中に実際に含まれる記述から獲得できる情報と定義する．
着目言明に関する背景知識は，一般的には要約を作成する際に必須のものではないが，着目言明に関する問題点や，問題点に対する意見などの背景知識をもつことで，問題を判断するためにどのような情報を重要視すべきかを作業者が適切に判断できるようになる．
また，サーベイレポートを読んだ人間が多角的に判断できるようにするためには，着目言明に関する文書内の情報を網羅的に提示する必要がある．
どのような論点が存在するのかに関する背景知識を作業者が予めもっていれば，各論点における文書内の情報を見落とす可能性が小さくなると考えられる．
したがって，背景知識が豊富な作業者であるほど，作成される要約の質が向上すると考えられる．
しかしながら，事前に各作業者がもっている背景知識には差がある．
それゆえ，要約の質を均一にするために，作業者が背景知識が獲得できるような作業段階を最初に設けることとした．
{作業者}の労力軽減という観点からは，作業管理者等が事前に背景知識を調査しておき，それを作業者全員で共有するといった方法が考えられる．
しかしながら，背景知識を共有することで，作成されるサーベイレポートや作成過程から多様性が失われる恐れがある．
また，自ら調査して得た知識と他人から与えられた知識では理解の程度に差が生じ，その差が作業内容に影響を及ぼすことも考えられる．
したがって，作業者間で背景知識の共有はせず，各作業者が自ら獲得するようにした．
また，作業者が背景知識や文書内の情報をどのように獲得し，どの知識や情報を重視したかを観察できるような情報をアノテーションすることとした．


\subsubsection{対象文書の決定}

膨大なWeb文書の中から着目言明に関連する重要記述を抽出して整理する，情報信憑性判断支援のための要約は，情報検索などの情報アクセス技術の一種と捉えることができる．
情報検索の分野において，利用者の情報要求と適合する文書を検索できたかどうかは，精度と再現率による検索有効性を用いて評価されるが，再現率を計算するためには，対象文書中の全適合文書数が必要となる．
しかしながら，Web文書のように全数調査が不可能に近いサイズの対象文書である場合，網羅的に適合文書を調査することが困難である．
この問題に対して，TREC\footnote{http://trec.nist.gov}，NTCIR\footnote{http://research.nii.ac.jp/ntcir/index-ja.html}，CLEF\footnote{http://www.clef-campaign.org}などの評価型ワークショップでは，プーリングによりテストコレクションを構築している\cite{Buckley2007}．
プーリングとは，異なる複数の検索システムが同一の検索要求について検索を行い，その検索結果を集めて，正解文書の候補とする方法であるが，本研究のように初めて取り組む研究においては，該当するシステムが存在しないため，そのままプーリングの方法を用いることはできない．
そこで，人間がシステムの代わりを務めることでプーリングに相当する結果を得られるようにした．
すなわち，複数の作業者がそれぞれ着目言明に関連する文書集合を収集し，収集された文書集合をマージすることで対象文書の範囲を決定した．


\subsubsection{参照要約の作成}

情報信憑性判断支援のための要約を評価する上でのもう一つの問題は，参照要約をどのように作成するかという点である．
要約を読んだ人間に分かりやすく伝えるには，どのような表現が適切かということを調査する必要があり，そのためには，自由記述形式で要約を作成することが望ましい．
しかしながら，一般的な要約の自動評価手法であるROUGE \shortcite{Lin2003}は，N-gramの一致度により評価するため，表層的な表現の違いによる影響を受けやすい．
\ref{ssc:survey_report_background}節で述べたように，我々は抜粋型の要約アルゴリズムを用いることを想定していたため，参照要約を自由記述形式とすると，表層的な表現の違いにより，不当に低く評価される恐れがあった．
それゆえ，理想的な要約の表現を分析するための，自由記述形式で作成した要約（{\bf 自由記述要約}）と，システムを評価するための，要約対象文書からの抽出物を主たる部品として作成した要約（{\bf 抜粋要約}）の二種類の要約を作成することとした．


\subsubsection{情報発信者の情報}

最後に，サーベイレポートに提示すべき情報発信者の情報に関して考える．
まず，匿名よりも実名の情報発信者の方が一般に信頼できると考えられるため，情報発信者の名称を提示すべきである．
また，例えば，「ディーゼル車は環境に良い」という着目言明の場合，「自動車メーカー勤務の技術者」のような専門知識をもっているであろう情報発信者の方が信頼できると考えられるため，情報発信者の専門性を示す属性情報も提示すべきである．
しかしながら，文書内に記述されていない情報をシステムが自動的に推測することは困難であるため，文書内の記述を抽出する形式で名称や属性情報を提示することとした．

情報発信者の名称や属性情報に加えて，情報発信者の同一性の情報も言明の信憑性を判断する上で重要な情報である．
例えば，ある言明が多くのWeb文書に存在していたとしても，その言明が同じ情報発信者（{\bf 同一発信者}）によるものであった場合，多くの人々が支持する言明とみなすことはできない．
したがって，仮に情報発信者の名称が異なっていても，Web文書のURLや記述のスタイルなどから同一発信者であることが推測できるのであれば，その情報を提示すべきである．
それゆえ，個々の言明の情報発信者の名称と属性情報に加えて，同一発信者を識別できるようなアノテーションを行うこととした．


ここで問題となるのは，アノテーションする情報発信者の単位である．
情報発信者には，ウィキペディア\footnote{http://ja.wikipedia.org}や，2ちゃんねる\footnote{http://www.2ch.net}といった情報を発信した場所を示すWebページ単位の情報発信者と，掲示板における投稿やコメントごとの書き手を示す記事単位の情報発信者が存在する．
出版に例えるならば，前者は{\bf 発行者としての発信者}，後者は{\bf 著者としての発信者}とみなすことができる．
どちらの情報発信者も，信憑性を判断する上で重要な情報であるが，サーベイレポートには，より詳細な単位である著者としての発信者を優先して提示すべきであると考えた．
また，政府の発表や会社の広報など，発信される情報の中には，発信者個人の情報よりも企業や団体などの所属する組織の情報の方が重視されるものがあり，その観点から{\bf 個人発信者}と{\bf 組織発信者}に区分する必要がある．
一例を挙げると，「A大学の学生である山田太郎が2ちゃんねるに書いた記述」の情報発信者は，表\ref{tb:exam_information_sender}に示す情報になる．
したがって，これらの情報に関するアノテーションを行うこととした．
なお，引用が存在する記述，例えば，「チョムスキーは『文法の構造』の中で『無色の緑の概念が激しく眠る』と書いた」という「2ちゃんねるでの山田太郎の記述」の場合でも，以下の理由から「2ちゃんねる」を発行者としての発信者，「山田太郎」を著者としての発信者とすることとした．
『無色の緑の概念が激しく眠る』といった引用記述の情報発信者を「チョムスキー」や『文法の構造』とするためには，「チョムスキー」や『文法の構造』という情報発信者の存在や，実際に当該の記述が書かれているかといった点を確認する必要がある．
こういった確認を行うためにはWeb以外の情報源にあたる必要がある上に，そもそも「隣のBさんが言った」などの現実的に確認が不可能な引用記述も存在する．
一方で，引用という形式をとっていても，当該の記述を「2ちゃんねる」に「山田太郎」が書いたことは確認できる事実である．
それゆえ，引用された記述の情報発信者に関しても，引用している記述の情報発信者とすることとした．

\begin{table}[t]
 \caption{情報発信者の情報の例}
 \label{tb:exam_information_sender}
\input{ca03table01.txt}
\end{table}


\subsubsection{アノテーションの質の管理}

これまで述べてきたように，サーベイレポートコーパスを構築する上でアノテーションすべき項目は多岐に及ぶ．
それゆえ，作業者の負担が多大なものとなり，作業の質の低下やヒューマンエラーなどを誘発することが予想された．
そこで，{図}\ref{fg:SR_tool}に示す専用のアノテーションツールを開発し利用することで，作業者の負担を軽減し，質の低下やヒューマンエラーなどの問題を可能な限り回避することとした．
アノテーションツールは，殆どの作業をマウス操作で行えるように設計されており，作業者が直接XMLタグ等を記述しなくとも良いようになっている．
例えば，図\ref{fg:SR_tool}に示すツールの下部には，注釈対象となるWeb文書のテキストが表示されており，重要記述や情報発信者の名称の抽出作業は，作業者が抽出したい範囲のテキストをクリックすることで行うことができる．
また，抜粋要約の作成作業は，抽出したテキスト群から作業者が部品となるテキストを選択し，加工して組み合わせることで行えるようになっている．

\begin{figure}[t]
\begin{center}
\includegraphics{21-2iaCA3f2.eps}
\end{center}
\caption{サーベイレポート用アノテーションツール}
\label{fg:SR_tool}
\end{figure}

{作業者}への指示は，作業を始める前に，文書として一人ひとりに配布し，口頭での説明を行った．
また，事前に予想できなかった問題等が作業中に生じた場合には，問題の内容を可能な限り具体的にメモに記録すると同時に，逐次，作業管理者に報告して指示を仰ぐよう指示した．
作業管理者は，報告された問題の解決方法を示すとともに，Wikiやメーリングリスト等を用いて，全ての作業者で問題と解決方法を共有できるようにした．
ただし，作業管理者の出張等，指示を仰ぐことが困難な状況で，作業が長時間中断されてしまう場合には，生じた問題に対してどのように対処や解決したかを可能な限り具体的に記録することで作業を進めることを許可した．


\subsection{サーベイレポートコーパス構築の手順}
\label{ssc:survey_report_step}

サーベイレポートコーパスの構築は，第1回と第2回のコーパス構築で行っているが，手順等が洗練された第2回のコーパス構築を中心に説明する．
表\ref{tb:survey_report_task}に第2回のコーパス構築の手順を示す．
3.2.2節で述べたように，絞り込みの各段階での結果を比較できるように，作業の流れはT1.からT6.へ一方向に進むものとし，作業管理者\footnote{作業管理者は第一著者が務めた．}が特別に認めた場合\footnote{アノテーションツールの不具合によるデータの消失が該当する．}を除き，前の段階の作業に戻ってはならないよう指示をした．

\begin{table}[t]
 \caption{サーベイレポートコーパス構築作業の流れ}
 \label{tb:survey_report_task}
\input{ca03table02.txt}
\end{table}
\begin{figure}[t]
\begin{center}
\includegraphics{21-2iaCA3f3.eps}
\end{center}
 \caption{サーベイレポートコーパスにおけるWeb文書の例（一部）}
 \label{fg:SR_webdoc}
\end{figure}

\begin{figure}[t]
\begin{center}
\includegraphics{21-2iaCA3f4.eps}
\end{center}
 \caption{サーベイレポートコーパスにおける抜粋要約の例（一部）}
 \label{fg:SR_report}
\end{figure}
サーベイレポートコーパスには，着目言明，Web文書集合，自由記述要約，抜粋要約，背景知識，検索クエリ，作業の疑問点等のメモが含まれている．
各Web文書と抜粋要約には，作業結果を示すXML形式のタグが埋め込まれている．
{Web文書}と抜粋要約のXMLタグの一覧と文書型定義を付録Aに示す．
3.2.6節で述べたように，これらのタグは，専用のアノテーションツールを通して付与される．
{XMLタグ}が付与されたWeb文書と抜粋要約の例を，図\ref{fg:SR_webdoc}と図\ref{fg:SR_report}にそれぞれ示す．
実際の文書には，もっと多数のタグが付与されているが，紙面の都合により，各タグの代表的な例のみを示している．
以下，作業の流れに従って説明する．


\subsubsection{背景知識の獲得}

作業者は最初に，T1.において，与えられた着目言明に関して，3.2.2節で述べた背景知識の獲得を行う．
すなわち，各作業者は着目言明に関連してどのような論点が存在し，各論点においてどのような意見や根拠が存在しているかを調査する．
この調査の結果は，{作業者}ごとに把握した論点を自由記述形式で記録する．
これにより，後の分析において，最終的に作成されたサーベイレポートの内容と比較することで，T2.以降の作業において当初の論点からどのように変化したのか調査できるようになる．
また，他の作業者が獲得した背景知識と比較することで，どの程度網羅的に論点を把握していたのか調査できるようになる．
サーベイレポートコーパスに収録された背景知識{の例}として，「アスベストは危険性がない」という着目言明において，ある作業者が獲得した背景知識を表\ref{tb:exam_background}に示す．
背景知識を獲得する情報源には，Web文書に限らず，新聞記事や雑誌などあらゆる媒体を許可した．
サーベイレポートコーパスには背景知識自体も収録されている．

\begin{table}[t]
 \caption{獲得された背景知識の例}
 \label{tb:exam_background}
\input{ca03table03.txt}
\end{table}


\subsubsection{文書の収集}

T2.では，作業者が実際にどのような文書を収集したかの情報を記録する．
作業者の労力を軽減するために収集する文書数に制限を設ける一方で，ある程度の論点の多様性も保証したい．
{一つの}クエリを用いて収集した場合，そのクエリが問う論点のみに偏った文書集合になる．
そこで，異なる論点を問う複数のクエリを用いて文書集合を収集し，それらを1つの文書集合にマージすることで，多様な論点を含む文書集合を決定することとした．
一般に，異なる論点を問うクエリで収集した文書集合同士であっても，共通の文書が存在する．
そのため，マージした後の異なり文書数は，マージする前の文書集合の要素数の総和とはならない．
そこで，文書の収集をT2-1.とT2-2.の二段階で行う．
T2-1.で重要記述が含まれている文書集合が検索上位に来るようなクエリを調査し，T2-2.で多様な論点の重要記述が含まれている文書集合から順にマージしていくことにより，一定量の文書集合において論点の多様性を保証しようとした．
T2-1.のクエリの調査には，検索エンジンTSUBAKI \cite{Shinzato2008}を利用し，少なくとも20種類以上のクエリを調査するよう指示した．
重要記述を含む文書集合を絞り込むのに効果的なクエリが存在するか調査するために，着目言明の表現に囚われない自由な形式のクエリ\footnote{TSUBAKIは自然文検索とキーワード検索の両方が可能である．}を許可した．
T2-2.では，クエリごとに上位100件のWeb文書を収集し，
\pagebreak
多様な重要記述が含まれている文書集合から順に500件以上になるまでマージするよう指示した．
また，マージした文書集合を検索するのに用いたクエリには，検索に用いなかったクエリと区別できるよう記録し，サーベイレポートに含まれた論点と含まれなかった論点の分析ができるようにした．
Web文書を識別するためにTSUBAKIの文書IDを利用し，{\sf $<$FileId$>$}の値としている．
サーベイレポートコーパスには，T2.で調査に用いた検索クエリと収集されたWeb文書集合が収録されている．


\subsubsection{重要記述の絞り込み}

T3.とT4.では，T2.においてマージされた文書集合を対象に，3.2.2節で述べた重要記述の絞り込みの過程を記録する．
T3.では文書単位での絞り込みの結果，T4.では文単位での絞り込みの結果をそれぞれ記録する．
より詳細な過程を観察するためには，段落などの単位でも絞り込み，作業の段階数を増やすことも考えられるが，作業者の労力の観点から，二段階で記録することとした．
また，文より小さい単位での絞り込みは，実際に要約を作成する段階にならないと分からないことも多いため，T4.の段階では文単位での絞り込みに留めた．
絞り込みの際には，{たとえ}同一の表現を持つ文書や文であっても，異なる出典のものを網羅的に選別・抽出した．
これにより，システムによる重要文書の選別や重要文の抽出などを評価する際の再現率の計算を可能にしている．
T3.で選別された文書は{\sf $<$FileId$>$}の属性{\sf Selected}の値を1としており，選別されなかった文書は0としている．
T4.で抽出された重要記述は{\sf $<$Passage$>$}で囲っており，属性{\sf PassageId}には文書ごとに1から通し番号を割り当てている．
なお，T4.で抽出された重要記述は，アノテーションツールの内部で抽出元の文書と文書中の位置の情報を保持しており，T6.において抜粋要約を作成する際の部品となる．


\subsubsection{情報発信者の抽出}

T5.では，T4.で抽出された重要記述を含む文書集合を対象に，3.2.5節で述べた情報発信者に関する作業を行う．
情報発信者の情報の内，同一発信者に関しては複数の文書における情報発信者を参照しなくてはならないのに対し，同一発信者以外の情報は文書内の記述を参照するだけで作業できる．
それゆえ，各文書を参照して同一発信者以外の情報を抽出した後，抽出された情報発信者を参照して同一発信者と思われる情報発信者をグループ化するという流れで行った．
作業者の負担を軽減するために，発行者としての発信者は文書のURLのみで識別することとした．
著者としての発信者は，個人発信者と組織発信者それぞれの名称と属性情報を文書中の記述から抽出することとし，もしも文書中の記述に存在しないならば不明のままとした．
{作業者には，}抽出すべき属性情報として，個人発信者であれば，役職，年齢，性別など，組織発信者であれば，業種，所在地などを例として示した．
また，個人発信者と組織発信者のどちらを重視すべきかの情報を付与した．
情報発信者の情報は{\sf $<$Holder$>$}に記録されており，属性{\sf LocalId}は文書ごとの番号，属性{\sf GlobalId}は全文書を通しての番号を示している．
属性{\sf P1Element}と属性{\sf P2Element}は抽出された個人発信者の名称と属性情報，属性{\sf O1Element}と属性{\sf O2Element}は抽出された組織発信者の名称と属性情報をそれぞれ示しており，これらの名称または属性情報を構成する文字を，0を開始位置とした文書中の位置情報とともに示している．
例えば，図\ref{fg:SR_webdoc}の4行目の{\sf $<$Holder$>$}の場合，「川口解体工業株式会社」という組織発信者の名称を構成する「川」の文字が0文目の15文字目にあることを「川\_0\_15」と示している．
属性{\sf OrgHolder}の値は，組織発信者{側}を重視する場合は1，個人発信者{側}を重視する場合は0としている．
属性{\sf LocalName}は，作業者がサーベイレポートで提示するのに最適と思われる情報発信者の名称を示している．
同一発信者に関しては，複数の文書に及ぶ情報であるため，T6.で作成される抜粋要約中の属性{\sf SameHolder}に示している．
なお，T4.の重要記述と同様に，アノテーションツールは，抽出された情報発信者に関する抽出元の文書と文書中の位置の情報を保持している．


\subsubsection{要約の作成}

T6.は，情報信憑性判断支援のための要約を作成する作業である．
3.2.4節で述べた，自由記述要約と抜粋要約の2種類の要約を作成するため，自由記述要約を作成するT6-1.と，抜粋要約を作成するT6-2.の2段階で行う．
T6-1.では，T4.で抽出した重要記述の集合を参照しながら，T6-2.で作成する抜粋要約と内容的に齟齬が生じないよう，理想とする情報信憑性判断支援のための要約を自由記述形式で作成する．
一般的な要約であれば，文字数などの要約の長さに関する制約が与えられるが，情報信憑性判断支援のための要約では，読み手が信憑性を判断するための情報を得られることが何よりも優先されなくてはならない．
それゆえ，作業者には，信憑性の判断に十分な情報を含むことを優先して作成することを指示し，自由記述要約，抜粋要約ともに，要約の長さに関しては指示しなかった．
{図}\ref{fg:SR_freestyle}に自由記述要約の例を示す．
T6-2.では，T4.で抽出した重要記述を文字単位でさらに絞り込みながら組み合わせることで抜粋要約を作成する．
抜粋要約として不要な文字列を削除した記述を組み合わせて作成するため，抜粋要約は自由記述要約と表層的な表現が異なっても構わないとした．
しかしながら，重要記述を組み合わせる際，逆接や対比といった重要記述間の関係を明確にするため，重要記述内には存在しない助詞や接続詞などの語句が必要となることが考えられる．
そのような場合，任意の文字列を重要記述間に挿入できるようにした．
作成された抜粋要約において，挿入された文字列は{\sf $<$Extra$>$}で囲み，{\sf $<$Citation$>$}で囲まれる重要記述の文字列と区別できるようにされている．
また，重要記述の抽出元であるWeb文書において，実際に抜粋要約に用いられた重要記述の部分を{\sf $<$Cited$>$}，不要な文字列として削除された部分を{\sf $<$Deserted$>$}で囲っている．

\begin{figure}[t]
\begin{center}
\includegraphics{21-2iaCA3f5.eps}
\end{center}
\caption{サーベイレポートコーパスにおける自由記述要約の例}
\label{fg:SR_freestyle}
\end{figure}


\subsection{サーベイレポートコーパスの統計と分析}

\subsubsection{サーベイレポートコーパス}

第1回と第2回のコーパス構築で用いた着目言明を表\ref{tb:survey_report_topic}に示す．
第1回の時点では，利用者が信憑性を判断したいトピックを示す単語を用いていた．
しかしながら，単語を用いた場合，例えば，「マイナスイオン」のトピックにおいて，マイナスイオンが健康に良いかどうかを判断したいのか，それとも，マイナスイオンが発生するかどうかを判断したいのか，といった利用者の関心がある論点を絞り込むことができない．
一般に，論点は数多く考えられるため，あらゆる論点に言及する要約を作成することとなる．そのような要約は，利用者にとって，関心がない論点の記述が多くを占めるものとなり，結果として，利用者の情報信憑性判断支援に役立たない要約となってしまう恐れがある．
それゆえ，第2回では，論点が比較的絞り込まれている着目言明を用いることとした．
また，「レーシック手術は安全である」と「レーシック手術は痛みがある」のように，「レーシック手術」という大きなトピックに包含される着目言明を用意することで，論点の違いによる影響を調査できるようにした．
以下では，第2回のコーパスを中心に説明する．

\begin{table}[t]
 \caption{サーベイレポートコーパス構築に用いた着目言明（トピック）}
 \label{tb:survey_report_topic}
\input{ca03table04.txt}
\end{table}

1つの着目言明には，3.2.3節で述べたプーリングに相当する結果を得るために，4名の作業者を割り当てた．
作業者は，情報工学を専攻する大学生及び大学院生である．
1名の作業者が1つの抜粋要約を作成するために，T2.で収集したWeb文書集合の1着目言明あたりの平均文書数は532.0文書であり，収集された全Web文書の文字数を合計した値は1着目言明あたり平均して約280万文字であった．
作成された抜粋要約の1着目言明あたりの平均文字数は2,564文字であるため，最終的に約0.1\%の要約率となるが，段階的に絞り込みを行っているため，実際はもっと緩やかな要約過程となる．
T3.の段階で選別された文書数は平均して177文書となり，T4.の段階で抽出された文の合計文字数は1着目言明あたり平均して57,121文字にまで絞り込まれている．
したがって，T4.からT6.への過程での要約率は約4.5\%となった．


\subsubsection{収集された文書集合における論点の多様性に関する考察}

ここで，収集されたWeb文書集合における論点の多様性について考察する．
図\ref{fg:viewpoint}に，第2回のコーパス構築で用いた6つの着目言明をクエリとして，それぞれ検索した上位文書の件数と，文書中に存在する着目言明に関する論点の異なり数の関係を示す．
論点の有無は，第二著者および情報工学を専攻とする大学院生2名が実際に文書を読むことで判断した．
着目言明の違いによる差はあるが，全体として最初の30文書までに殆どの論点が現れており，それ以降，新しい論点は殆ど出現せず飽和状態となっている．
\ref{ssc:survey_report_step}節で述べたように，T2.では，作業者が多様な論点を含むと考える複数のクエリを用いて100文書ずつ収集することにより要約対象となる文書集合を決定している．
したがって，収集されたWeb文書集合は，論点の多様性をある程度保証していると考えられる．

\begin{figure}[t]
\begin{center}
\includegraphics{21-2iaCA3f6.eps}
\end{center}
\caption{検索文書数と論点の異なり数の推移}
\label{fg:viewpoint}
\end{figure}


\subsubsection{作業者間の一致率に関する考察}

次に，各作業者が収集したWeb文書集合を絞り込む過程における作業者間の一致率について考察する．
3.2.2節で述べたように，絞り込みの過程が作業者によって大きく異なるならば，安定した自動要約を実現するのが困難になる．
そのため，文書単位での選別を行ったT3.の段階における一致率を{Fleiss'} kappaを用いて計算した．
結果として，{0.23}，すなわち，低い一致率を示すこととなった．
また，要約の最終過程であるT6.の段階における一致率を以下の2種類の方法で評価した．

第一の方法は，ROUGE-1による評価である．
ROUGE-1は，二つの要約の間で一致する1-gramの割合を示した自動評価手法であり，自動要約の評価型ワークショップであるDUC\footnote{http://duc.nist.gov/}等においても用いられている．
6つの着目言明を対象として，着目言明ごとに，二つの抜粋要約の組に対してそれぞれ計算し，全ての組の値を平均した結果，0.40の値を示した．
{0.40}という値は，2005年から2007年のDUCにおいて最も成績が良かった手法のROUGE-1の値と同程度の値である．
本論文が人手による要約の間の一致であるのに対し，DUCが自動生成された要約と正解となる要約との一致である点を考慮する必要があるが，全体として比較的一致した要約が作成されていると考えられる．

\begin{table}[t]
 \caption{「レーシック手術は安全である」に関する抜粋要約中の論点の一覧}
 \label{tb:SR_viewpoint}
\input{ca03table05.txt}
\end{table}

ROUGEは表記の一致による評価であるため，論点が一致しているかどうかまでは保証しない．
そこで，第二の方法として，抜粋要約間で共通している論点の数による評価を行った．
評価の対象は，労力の観点から，第2回のコーパス構築で作成された抜粋要約のみを対象とした．
論点が共通しているかどうかを判断する際には，論点の粒度が問題となる．
例えば，「レーシック手術」などのトピックレベルの粗さで論点を捉えた場合，殆どの記述が共通の論点となってしまう．
共通性を判断するのに適した粒度をトップダウン的に決定することは困難であるため，我々は，以下に述べるボトムアップ的な方法で論点を決定した．
まず，実際に各々の抜粋要約を読み，「レーシック手術の種類」や「レーシック手術の方法」といったサブトピックレベルの粒度で，抜粋要約の内容を論点の候補として網羅した．
次に，二つの抜粋要約を比較して，サブトピックレベルでは同じ論点の候補であっても，書き手が伝えたいであろうポイントが異なる記述が一方にしか存在しない場合は，さらに論点の細分化を行った．
例えば，「レーシック手術により起こりうる合併症」というサブトピックであっても，
\pagebreak
その「原因」に言及する記述が，一方の抜粋要約には存在するがもう一方には存在しない場合，「レーシック手術により起こりうる合併症の原因」という論点を別に設定した．
以上の論点に関する作業は，第二著者および情報工学を専攻する大学院生1名により行った．

{表}\ref{tb:SR_viewpoint}に，AからDの4名の作業者が作成した「レーシック手術は安全である」に関する抜粋要約に含まれる論点の一覧と，各作業者の抜粋要約に各論点が含まれるか否かを示す．
また，付録Bとして，他の5つの着目言明に関する抜粋要約に含まれる論点の一覧を収録した．
表中の「○」で示される論点が抜粋要約に含まれている論点である．
「レーシック手術は安全である」の場合，全部で20の論点があり，4つの抜粋要約全てに共通して含まれている論点の数は3であり，2つ以上の抜粋要約に共通している論点の数は11であった．
6つの着目言明全体では，全部で65の論点があり，4つ全てに共通している論点は9，2つ以上に共通している論点は34であった．
したがって，比較的共通した論点に関する要約が作成されていると考えられる．

\begin{table}[t]
 \caption{サーベイレポートコーパスにおける情報発信者の延べ注釈数}
 \label{tb:SR_holder_result}
\input{ca03table06.txt}
\vspace{-1\Cvs}
\end{table}


\subsubsection{情報発信者に関する考察}

{情報}発信者に関する延べ注釈数を表\ref{tb:SR_holder_result}に示す．
抽出された4,061の重要記述の内，何らかの情報発信者の注釈があるものは3,067（約75.5\%）であった．
また，発行者としての発信者は871，著者としての発信者は3,049であった．
1つの重要記述に，発行者としての発信者と著者としての発信者の両方が注釈される可能性があることに注意されたい．
したがって，特定できた情報発信者の殆どは著者としての発信者であるといえる．
著者としての発信者の内，個人発信者が注釈されたものは776，組織発信者が注釈されたものは2,503であった．
ここでも，個人発信者と組織発信者の両方が注釈された発信者がいることに注意されたい．
したがって，著者としての発信者の多くが組織発信者であり，個人発信者は比較的少なかった．
また，著者としての発信者3,049の内，作業者が組織発信者側を重視すると判断した場合も2,217存在することから，組織発信者の重要性が伺える．
また，名称がある個人発信者は731，属性情報がある個人発信者は182，名称がある組織発信者は2,490，属性情報がある組織発信者は73であった．
ここでも，名称と属性情報の両方が注釈された発信者がいることに注意されたい．
個人発信者と組織発信者の両方で，属性情報より名称が記述されている割合が高いが，組織発信者の場合，属性情報の記述は極めて少ない（約2.9\%）といえる．
また，同一発信者が存在すると注釈された個人発信者と組織発信者の数は，それぞれ139と556であった．
したがって，無視できない割合で同一発信者の存在があるといえる．

情報信憑性判断において，同一発信者が互いに矛盾するような主張を行っているかどうかは興味のあるところである．
そこで，抜粋要約に用いられた重要記述の情報発信者を対象に，矛盾するような記述がないか調査した．
6つの着目言明における全ての抜粋要約に対して調査した結果，矛盾するような記述を見つけることはできなかった．
今後，全ての情報発信者を対象に調査したいと考えている．


\section{調停要約コーパスの構築}
\label{sc:mediatory_summary}

\subsection{調停要約コーパス構築の背景}

第1回と第2回のコーパス構築では，着目言明に関連する論点を網羅することに主眼を置いた要約を作成した．
そのようにして作成された要約を分析した結果，自分の意見の正当性を主張するために，対立意見に反論するのとは異なる，第三者視点から公平に両方の意見に言及している記述が存在することが分かった．
例えば，着目言明「アスベストは危険性がない」に関する要約には，「アスベストの成分は石や土と同じ成分であり舐めたり触ったりしても毒ではありません」という記述と，「人体への有毒性が指摘されているアスベスト」という記述が含まれており，一見すると互いに矛盾しているように見える．
しかしながら，それらの記述とは別に，「アスベストの毒性は，その成分ではなく，その形状と通常の状態では半永久的に分解や変質しない性質によるものです」という記述を提示することで，両方の記述が，化学的性質を述べたものか，それとも，物理的性質を述べたものかという視点の違いによる疑似対立であることを読み手に伝えることができる．
この疑似対立である場合に，両立できる視点や状況を示すという考え方は，従来研究にない新しい考え方であることから，両立できる視点や状況に関する記述の提示を調停要約と定義し，情報信憑性判断支援のための要約の主軸とすることとした．

{なお}，疑似対立であるか否かの最終的な判断は，利用者が行うことを想定している．
ある調停要約を利用者が読んで，両立できる視点や状況が存在することを納得できるならば，調停要約に書かれている対立は，少なくともその視点からの調停が可能な疑似対立である．
したがって，システムは，着目言明と対立言明の関係が疑似対立であると仮定して調停要約を生成し，利用者は，生成された調停要約を読んで疑似対立であるか否かを判断することを想定している．

\begin{figure}[t]
\begin{center}
\includegraphics{21-2iaCA3f7.eps}
\end{center}
\caption{調停要約{を}中心とした情報信憑性判断支援のための要約の例}
\label{fg:mediatory_summary}
\end{figure}

図\ref{fg:mediatory_summary}に，「朝バナナダイエットでダイエットできる」を着目言明とした場合の調停要約{を}中心とした情報信憑性判断支援のための要約の例を示す．
{図\ref{fg:mediatory_summary}中の}，(P)，(N)，(M)のボックス内の記述は，実際のWeb文書から抽出された記述であり，それ以外の記述は作例である．
着目言明を肯定する根拠として「バナナは低カロリーで満腹感があります」，また，否定する根拠として「バナナは果物の中では水分が少ないためカロリーは高めです」という記述がそれぞれWeb上に存在していたので，対立関係にあるようにみえるとして，該当する記述を(P)と(N)のボックス内に表示している．
また，(M)のボックス内が調停要約としてWeb上に存在する文書から抜粋された記述である．
Web上には，こういった対立関係について，それらが両立可能であることを示した記述が存在していることがあり，そのような記述をパッセージ単位で抜粋して提示するというのが調停要約の基本的な考え方である．
図\ref{fg:survey_report}のコメント部分の生成も将来における課題であるが，まずは調停要約の中核となる(P)，(N)，(M)の部分の記述を生成することを目的として，調停要約コーパスの構築を行うこととした．


\subsection{調停要約コーパス構築の課題}
\label{ssc:mediatory_summary_problems}

\subsubsection{調停要約とサーベイレポートとの関係}

調停要約は，図\ref{fg:survey_report}における，利用者が{論点}を判断する際に役立つ要約の一種である．
したがって，調停要約コーパスの構築においても，\ref{ssc:survey_report_problems}節に述べたサーベイレポートコーパスの構築と同様の問題が存在し，その対応も\ref{ssc:survey_report_problems}節や\ref{ssc:survey_report_step}節で述べたのと同様に行うことができる．

\subsubsection{対立関係の詳細化}

調停要約を作成する上での固有の問題としては，以下の問題が挙げられる．
まず，調停という性質上，網羅すべき論点として，対立関係にある言明の組が主となる．
このとき，着目言明との対立関係を示す軸（{\bf 対立軸}）は1つとは限らないことに注意されたい．
例えば，「ダイエット」に関する文書集合においては，「痩せるvs.太る」という対立軸の他にも，美容観点の「美しいvs.醜い」，医療観点の「健康vs.病気」といった対立軸が考えられる．
したがって，「ダイエットする」を支持する内容として，「痩せる」，「美しい」，「健康」といった記述，「ダイエットする」と対立する内容として，「太る」，「醜い」，「病気になる」といった記述を全て抽出することとした．


\subsubsection{対象文書に関する変更}

{調停}要約の作成における別の問題としては，{対立}関係にある言明の組を網羅するために収集した文書集合中に，調停要約として適切な記述（{\bf 調停記述}）を含む文書が存在するかが保証されていないことが挙げられる．
それゆえ，論点を網羅するための文書収集とは別に，調停記述を含む文書（{\bf 調停記述文書}）を収集する過程が必要となる．
また，調停記述文書を適切に収集するためには，作業者が事前に対立関係をどのように調停できるかに関する知識（{\bf 調停知識}）をもっていることが望ましい．
しかしながら，調停知識を得るためには，その前提として，どのような対立関係が存在するかを把握していなくてはならない．
以上の考えから，着目言明と対立関係にある言明（{\bf 対立言明}）を網羅的に抽出した後に，調停知識の獲得，および，調停記述文書の収集を行うこととした．

本来であれば，サーベイレポートコーパスの構築と同様に，作業者には着目言明のみを与えて，背景知識の獲得を行った後，対立言明を網羅的に抽出するための文書の収集から作業を開始することが望ましい．
しかしながら，その後に続く，調停知識の獲得，調停記述文書の収集を考慮すると作業者の負担が著しく増大する．
また，対立言明の抽出対象となる文書集合が作業者間で異なる場合，作業者が把握する対立関係に差が生じるため，収集された調停記述文書の作業者間の比較が困難になると考えられる．
それゆえ，着目言明に加えて，対立言明を網羅的に抽出するための初期文書集合を，{\bf 4.3.1}節に述べるように与えることとした．


\subsubsection{抜粋要約に関する変更}

Kaneko et al.\citeyear{Kaneko2009}において，調停要約には，一つのパッセージで両立可能となる状況を明示的に説明する{\bf 直接調停要約}と，状況の一部を説明するパッセージを複数組み合わせて状況の全体を暗に示す{\bf 間接調停要約}の2種類があると定義している．
間接調停要約の方が，どのようにパッセージを組み合わせるかといった点を考慮しなくてはならないため，要約生成過程において分析する項目が多くなる一方で，直接調停要約の方が，一つのパッセージで全てを説明しなくてはならないため，正解となりうるパッセージの数は少なくなる．
それゆえ，第3回のコーパス構築では，要約生成過程の分析を優先して，複数のパッセージを組み合わせて抜粋要約を作成することとし，第4回のコーパス構築では，直接調停要約の正解情報作成に焦点を絞って，一つのパッセージで正解となるパッセージの抽出をもって抜粋要約を作成することとした．


\subsubsection{絞り込み過程のシームレス化}

\begin{figure}[t]
\begin{center}
\includegraphics{21-2iaCA3f8.eps}
\end{center}
\caption{調停要約用アノテーションツール}
\label{fg:MS_tool}
\end{figure}

サーベイレポートコーパスの構築作業において，絞り込みの過程を観察するために，T3.での文書単位での選別とT4.での文単位の抽出とを別の段階での作業としていた．
しかしながら，作業者からは，本文を読んで文書を選別する際に，重要記述を含む文についてもある程度判断できるため，二度手間のような作業になり，両者を区別せずに行いたいという要望が出されていた．
そこで，第4回のコーパス構築に用いたアノテーションツールには，各段階の作業ログを自動的に記録する機能を実装することとした．
作業ログには，対象文書や作業内容の情報に加え，マウスとキーボードの操作レベルの情報が記録されている．
{図}\ref{fg:MS_tool}と図\ref{fg:log}に，第4回のアノテーションツールと作業ログの例をそれぞれ示す．
図\ref{fg:log}のログから，作業者は，「飲酒は健康に良い」という着目言明のT2.（対立関係にある言明の抽出）において，ID:01217676-1の文書を開き，4文目の1文字目から48文字目までをドラッグして言明を抽出したことが分かる．
図\ref{fg:MS_tool}に示すように，表示の都合上，ツール上の行番号と文番号が必ずしも一致するわけではないため，ログには文番号と文字位置に加えて，括弧内にツール上のカーソル座標を記録している．
続く作業では，7文目の11文字目から34文字目，8文目の4文字目から60文字目を抽出した後，9行目までスクロールさせて，9文目の1文字目から22文字目を抽出していることが分かる．
また，図\ref{fg:log}の作業者が，最初に文書全体を読んでから抽出せずに，読み進めながら逐次的に抽出している様子が読み取れる．
したがって，作業ログを分析することで，どの文書のどの部分にどのような作業を行ったかといった内容を復元できる．
これにより，第4回のコーパス構築では，作業者は，文書単位や文単位といった作業段階を意識することなく，自然に重要記述の絞り込みを行うことが可能となった．

\begin{figure}[t]
\begin{center}
\includegraphics{21-2iaCA3f9.eps}
\end{center}
 \caption{作業ログの例}
 \label{fg:log}
\end{figure}


\subsubsection{情報発信者に関する変更}

第4回のコーパス構築では，情報発信者に関して，調停要約を主軸としたことによる若干の修正を加える．
第3回までのコーパス構築では，3.2.5節で述べたように，幅広く情報発信者の情報の抽出を行った．
しかしながら，第4回のコーパス構築では，調停要約の情報発信者として必要と思われる情報として，著者としての発信者における，名称，組織発信者か否か，専門的知識を備えている（{\bf 専門的発信者}）か否か，調停者として第三者の立場から公平に述べている（{\bf 調停的発信者}）か否か，の4種類に整理した．
また，情報発信者として提示すべき情報に加えて，これらの情報を何を手掛かりとして抽出したかに関する情報も，システムが自動的に提示する上で必要である．
それゆえ，情報発信者の情報を抽出する際に，抽出の手掛かりとなった記述も合わせて抽出することとした．


\subsection{調停要約コーパス構築の手順}
\label{ssc:mediatory_summary_step}


調停要約コーパスの構築は，第3回と第4回のコーパス構築で行っているが，手順等が洗練された第4回のコーパス構築を中心に説明する．
作成作業は表\ref{tb:task}に示す10段階で行うこととし，サーベイレポートコーパスの構築と同様に，T1.からT10.へ一方向に進む流れで作業を行った．
調停要約コーパスには，着目言明，Web文書集合，調停要約文書，背景知識，調停知識，検索クエリ，作業の疑問点等のメモ，作業ログが含まれている．
{Web文書}と抜粋要約のXMLタグの一覧と文書型定義を付録Cに示す．
また，{実際に}，XMLタグが付与されたWeb文書と調停要約文書の例を，図\ref{fg:MS_webdoc}と図\ref{fg:MS_report}にそれぞれ示す．
以下，作業の流れに従って説明する．

\begin{table}[t]
 \caption{調停要約作成作業の流れ}
 \label{tb:task}
\input{ca03table07.txt}
\end{table}


\subsubsection{背景知識の獲得}

{最初}に，各作業者には，着目言明と初期文書集合を与えた．
初期文書集合を決定するにあたり，初期文書集合の決定する人物の意思が作業者に影響を及ぼさないよう機械的に求めることとし，着目言明をクエリとして検索した上位250件のWeb文書を初期文書集合とした．
初期文書集合に含まれるWeb文書には，{\sf $<$FileId$>$}の属性{\sf Common}の値を1として，T4.で各作業者が独自に収集するWeb文書と区別できるようにしている．
T1.では，対立言明を公平な視点から網羅的に抽出できるよう，各作業者は着目言明に関連してどのような論点が存在し，各論点においてどのような意見や根拠が存在しているかの背景知識を獲得する．
獲得された背景知識は，作業者ごとに自由記述形式で書かれ，調停要約コーパスに収録されている．

\begin{figure}[p]
\begin{center}
\includegraphics{21-2iaCA3f10.eps}
\end{center}
 \caption{調停要約コーパスにおけるWeb文書の例（一部）}
 \label{fg:MS_webdoc}
\end{figure}
\begin{figure}[p]
\begin{center}
\includegraphics{21-2iaCA3f11.eps}
\end{center}
 \caption{調停要約コーパスにおける調停要約文書の例（一部）}
 \label{fg:MS_report}
\end{figure}


\subsubsection{対立関係にある言明の抽出}

T2.では，与えられた{初期}文書集合から着目言明を支持する内容の言明と対立する内容の言明を文字単位で網羅的に抽出する．
抽出された言明は，{\sf $<$Text$>$}で囲まれた本文とは別の{\sf $<$Conflict$>$}内に記述され，属性{\sf SentenceId}に抽出元の文番号，属性{\sf Start}に言明の開始位置，属性{\sf Length}に言明の長さが記されている．


\subsubsection{調停知識の獲得}

T3.では，T2.で抽出された言明がどの対立軸に関する内容であるかに基づいて人手でクラスタリングを行った後，各クラスタの対立軸に関する調停知識の獲得を行う．
クラスタリングは，1つの言明が複数の対立軸に属することを許可しており，クラスタ内の言明に対しては，着目言明を支持する内容であるか，それとも，着目言明と対立する内容であるかの極性を付与している．
また，各クラスタの対立軸を表現する「ディーゼル車は環境に良いvs.ディーゼル車は環境に悪い」といった形式のラベルを付与する．
以下に，クラスタリングの方法を例を用いて説明する．
例えば，「ディーゼル車は環境に良い」という着目言明の初期文書集合から，「ディーゼル車排出ガスは東京の空を汚す最大の要因になっています」という言明が抽出されたとする．
この言明から，作業者は「ディーゼル車は大気汚染の原因でないvs.ディーゼル車は大気汚染の原因である」といった初期文書集合中に対立する内容の記述が存在していそうな対立軸の候補を幾つか設定し，それぞれにラベルを付与する．
また，当該の言明は着目言明と対立する内容であるという極性を付与して，任意の数の対立軸の候補に属させる．
抽出された全ての言明を対立軸の候補に属させた後，同じ対立軸に属する言明群を一つのクラスタとした．


各作業者には，対立関係の曖昧性がなくなるように任意の数の対立軸を独自に設定できるよう許可した．
ただし，3つの対立軸に関しては，T4.以降の作業者間の比較を容易にするため，事前に我々が初期文書集合を調査した結果に基づいて{予め}3つの対立軸を設定し，初期文書集合と共に作業者に与えている．
クラスタの情報は，調停要約文書の{\sf $<$Conflict$>$}で示され，対立軸のラベルは{\sf $<$Label$>$}，クラスタ内の言明は{\sf $<$Statement$>$}に記述されている．
{\sf $<$Statement$>$}の属性は，Web文書の同名タグと同一であるが，抽出元の文書番号を示す属性{\sf FileId}と，着目言明の支持/対立の極性を示す属性{\sf Polarity}が追加されている．
各作業者は，独自に設定した対立軸ごとに，両立可能となりうるか，なるとすればどのような状況かといった調停知識を調査した後，疑似対立である対立軸を独自に見つけて，その中から2つを選び，与えられた3つの対立軸に追加して，計5つの{\bf {主要}対立軸}に対して調停要約を作成することとした．
なお，事前に与えた3つの対立軸に対して，独自に追加する対立軸を2つに限定したのは，作業者の労力を考慮したものである．
獲得された調停知識は，作業者ごとに自由記述形式で書かれ{ている}．
調停要約コーパスに収録された調停知識の例として，「飲酒は健康に良い」という着目言明において，ある作業者が獲得した調停知識の一部を表\ref{tb:mediation_knowledge}に示す．
表\ref{tb:mediation_knowledge}の「○」で示された対立軸は主要対立軸を示す．

\begin{table}[t]
 \caption{獲得された調停知識の例}
 \label{tb:mediation_knowledge}
\input{ca03table08.txt}
\end{table}


\subsubsection{調停記述文書の収集}

4.2.3節で述べたように，{対立関係}にある言明を網羅するための初期文書集合は調停要約として適切な記述を必ずしも含んでいるとは限らない．
そのため，T4.において，調停要約の記述を含むような文書集合を任意のクエリを用いて検索し，初期文書集合に加えることとした．
すなわち，この段階で要約対象となる文書集合が確定し，作業者ごとに差異が現れることとなる．
具体的には，T3.で選択した{主要}対立軸ごとに，TSUBAKIでの検索結果から，調停要約の対象となる文書集合を求めるのに最適と思われるクエリを1つ決定し，そのクエリによる上位50件の文書を初期文書集合に加える．
したがって，5つの対立軸で250件の文書が加えられることになるが，重複する文書の存在があるため，要約対象となる文書数は最終的に500弱となる．
追加されたWeb文書は，{\sf $<$FileId$>$}の属性{\sf Common}の値を0としている．


\subsubsection{調停記述の抽出}

T5.では，調停要約として適切な記述を1つのパッセージ（{\bf 調停パッセージ}）として抽出する．
4.2.4節で述べたように，第4回のコーパス構築作業では，直接調停要約の正解情報となる，1つのパッセージで両立可能となる状況を明確に説明するタイプの調停要約の作成を対象としている．
したがって，調停要約の一部として必要な記述ではあるが，その記述だけでは両立可能であることを明確に伝えられない記述は調停パッセージとして抽出しなかった．
なお，調停要約の一部として必要な記述の抽出，および，それらを用いた調停要約の作成は，第3回のコーパス構築で行っている．
また，調停パッセージの抽出の際，その記述がなぜ調停パッセージとして適切と判断したのかの手掛かりとなった文字列も抽出している．
抽出された調停パッセージは，{\sf $<$Mediation$>$}内に，調停パッセージの判断の手掛かりとなった文字列は，{\sf $<$MediationKeyExpression$>$}内にそれぞれ記述され，どちらの記述も{\sf $<$Statement$>$}と同じ属性{\sf SentenceId}，属性{\sf Start}，属性{\sf Length}により抽出元の情報を保持している．
また，{\sf $<$Mediation$>$}の属性{\sf Type}の値を{\sf Direct}として直接調停要約であることを示している．


\subsubsection{情報発信者の注釈}

T6.では，T5.で抽出された調停パッセージを含む文書集合を対象に，情報発信者に関する情報，および，その手掛かりとなる記述の抽出を行う．
情報発信者の名称となる記述を抽出し，その情報発信者が，組織発信者であるか，専門的発信者であるか，調停的発信者であるかを，それぞれ文書中の記述から判断する．
また，その抽出や判断の手掛かりとなった記述もそれぞれ抽出した．
情報発信者の名称は，{\sf $<$Sender$>$}内に記述され，{\sf $<$Statement$>$}と同じ属性{\sf SentenceId}，属性{\sf Start}，属性{\sf Length}により抽出元の情報を保持している．
情報発信者が組織発信者である場合は，属性{\sf IsOrganization}の値を，専門的発信者の場合は属性{\sf IsExpert}の値を，調停的発信者の場合は属性{\sf IsMediator}の値をぞれぞれ1としている．
また，名称，専門的発信者，調停的専門者の判断の手掛かりとなった記述を，{\sf $<$SenderKeyExpression$>$}，{\sf $<$SenderExpe{rt}KeyExpression$>$}，{\sf $<$SenderMediationKeyExpression$>$}に，抽出元の情報とともに記述している．

T7.は，同一発信者と思われる情報発信者のグループ化を行うが，\ref{ssc:survey_report_step}節のサーベイレポートコーパス構築と同じ作業であるため説明を省略する．


\subsubsection{調停要約の作成}

T8.では，T3.で選択した{主要}対立軸ごとに，理想とする調停要約の自由記述要約を作成する．
自由記述要約は，調停要約文書の{\sf $<$Mediation$>$}の一つに，属性{\sf Type}の値を{\sf Model}として調停パッセージと区別できるように記述されている．

T9.では，T5.で抽出した調停パッセージが，T3.で選択した{主要}対立軸の調停要約となっているかを分類する．
分類は，1つの調停パッセージが複数の対立軸の調停要約となることを許可している．
分類された調停パッセージは，調停要約文書の{\sf $<$Conflict$>$}内の{\sf $<$Mediation$>$}に記述されている．

T10.では，T9.の対立軸ごとに分類された調停パッセージに対して，調停要約としての適切性の観点から{全て}の調停パッセージの対に対して順序を付けた．
また，各パッセージに対し，T8.で作成した理想の調停要約との内容や表現などの近さを総合的に判断して，調停要約としての適切性について4段階の絶対評価を行う．
ランキングされた結果は，調停要約文書の{\sf $<$Conflict$>$}内の{\sf $<$Mediation$>$}の順序として反映され{ている．}
また，絶対評価は，属性{\sf Evaluation}の値として，{\sf Excellent}，{\sf Good}，{\sf Fair}，{\sf Poor}の4段階で示されている．


\subsection{調停要約コーパスの統計と分析}
\label{ssc:mediatory_summary_analysis}


\subsubsection{調停要約コーパス}

\begin{table}[t]
 \caption{調停要約コーパス構築に用いた着目言明}
 \label{tb:mediatory_summary_topic}
\input{ca03table09.txt}
\end{table}

第3回と第4回のコーパス構築で用いた着目言明を表\ref{tb:mediatory_summary_topic}に示す．
調停要約は，疑似対立である場合に両立可能となる状況を説明する要約であるため，前提として，疑似対立となる対立言明が存在している必要がある．
それゆえ，調停要約に関する着目言明は，60以上の着目言明の候補を対象に疑似対立の有無の調査を行い，疑似対立が存在する候補の中で多様性に富むと思われる着目言明を選択した．
{なお，}疑似対立の有無は，客観的であるか否か，科学的に証明できるか否かなどとは別の概念であることに注意されたい．
例えば，「CO2は地球温暖化の原因である」という着目言明の場合，「CO2の温室効果や排出量」を示して地球温暖化の原因であるとする主張と，「氷期と間氷期のサイクル」を示して地球温暖化の原因ではないとする主張との間で疑似対立が生じている．
この場合，調停要約の例としては，「20世紀後半の温暖化は人類の活動により排出されたCO2が原因であるが，20世紀前半の温暖化は自然の活動が原因である可能性が高い」といったものが考えられる．
表\ref{tb:mediatory_summary_topic}に示した着目言明は，全て疑似対立が存在することを確認している．

調停要約コーパスの構築作業では，1つの着目言明に対して4名の作業者を割り当てた．
なお，作業者は情報工学を専攻する大学生および大学院生である．
調停要約コーパスは，\ref{ssc:mediatory_summary_problems}節や\ref{ssc:mediatory_summary_step}節で述べたように，抽出の手掛かりとなった記述や，操作レベルの作業ログ等の豊富な情報を含んでいるが，まだ十分な分析が行われていない．
{4.4.2}節から4.4.4節にかけて，「飲酒は健康に良い」を着目言明とした場合の注釈結果に基づき，以下の{3}点について分析を行う．
1点目はT3.において各作業者が選択した対立軸に関して，2点目は調停要約の対象となる文書集合を決定するためにT4.で用いられた検索クエリに関して，3点目はT5.で抽出された調停パッセージとT8.で作成された自由記述による調停要約との差に関してである．
4.4.5節と4.4.6節では，調停要約コーパス全体を対象として，情報発信者と作業ログに関する分析をそれぞれ行う．


\subsubsection{対立軸に関する考察}

\begin{table}[t]
 \caption{T3.で選択された主要対立軸}
 \label{tb:conflict}
\input{ca03table10.txt}
\end{table}

各作業者が，「飲酒は健康に良い」に関して，T3.で選択した{主要}対立軸を表\ref{tb:conflict}に示す．
(a)から(c)は，初期文書集合と共に与えられた作業者共通の{主要}対立軸であり，(d)と(e)が，調停要約を作成できそうな対立軸として，各作業者が任意に作成した対立軸から選択した{主要対立}軸である．
主要対立軸に選択されなかった対立軸に関しては，その数だけを「他n組」のように示している．
すなわち，表\ref{tb:conflict}の作業者1は，22組の対立軸を作成し，その中から(d)と(e)に示す対立軸を主要対立軸として選択している．
各作業者の主要対立軸を比較すると，作業者1の(d)と作業者2の(e)を除いて，複数の作業者が共通で主要対立軸として選択している対立軸は存在しなかった．
しかしながら，例えば，作業者1の(e)は，主要対立軸として選択してはいないが，作業者2，作業者3，作業者4の全員が対立軸として作成しており，ある作業者が主要対立軸として選択した対立軸は全て，表現の違いはあれど他の3名の作業者が任意に作成した対立軸の集合において存在していた．
{したがって}，どのような対立軸が存在しているかに関しては作業者間で共通の認識をしているが，どの対立軸が調停要約を作成する上で重要と考えるかは作業者によって異なる可能性が示唆された．


\subsubsection{検索クエリに関する考察}

{各}作業者が要約対象とした文書集合の重複度合いを{表}\ref{tb:overlap}に示す．
表\ref{tb:overlap}は，「○」で示された作業者間に共通する文書数を表しており，1行目であれば作業者1が要約対象とした文書数が495件，5行目であれば作業者1と作業者2が共通した要約対象文書数が275件であることを示している．
全作業者に共通の254文書の内，250文書は初期文書集合であるため，T4.において追加された文書集合において全作業者に共通する文書数は4であり，検索された文書集合はほとんど重複しなかった．
T5.において抽出された調停パッセージを含む文書は，異なり数で203文書存在した．
この203文書の内訳は，初期文書集合からが66文書，T4.で追加された文書集合からが173文書であった．
要約対象とする文書集合の決定は調停要約の精度に影響する重要な処理であり，文書集合を決定するための検索クエリも重要な要素である．

\begin{table}[t]
 \caption{要約対象文書集合の重複度}
 \label{tb:overlap}
\input{ca03table11.txt}
\end{table}

各作業者がT4.で用いた検索クエリを対立軸ごとに整理したものを表\ref{tb:query}に示す．
表\ref{tb:query}の対立軸の記号は表\ref{tb:conflict}の記号に対応している．
TSUBAKIが自然文で検索可能であることは各作業者も理解しており，T4.において3名の作業者が調査した計57クエリの内，22クエリは自然文でのクエリであった．
しかしながら，TSUBAKIを用いた場合には初期文書集合に加えた文書集合の検索に用いたクエリは表\ref{tb:query}に示すように単語列であるものが多かった．
この結果について各作業者に質問したところ，「最初に自然文で入力したが，思うような文書が検索されなかったため単語列で検索した」という回答であった．
この原因として「飲酒　健康　良い　悪い」のように，良い面と悪い面の両方を記述している文書を検索するという調停要約特有の要求を満たすクエリを文の形式で表現しにくかったことが考えられる．
以上から，調停要約として適切な記述を含む文書を検索するという観点からは，検索エンジンによる影響を考慮する必要があるが，単語列を用いた方が適している可能性が示唆された．
ただし，「飲酒　糖尿病のリスクを低下」のように単語と句を組み合わせたクエリも存在したことから，必ずしも単語列が最適というわけではない．
この点に関する分析を今後さらに進めていきたい．


\subsubsection{調停要約と調停パッセージに関する考察}

\begin{table}[t]
 \caption{T4.で用いられた検索クエリ}
 \label{tb:query}
\input{ca03table12.txt}
\end{table}
\begin{table}[t]
 \caption{各評価における調停パッセージの延べ数}
 \label{tb:evaluation}
\input{ca03table13.txt}
\end{table}

表\ref{tb:evaluation}に，T10.のランキングにおける各評価の調停パッセージの延べ数を示す．
\pagebreak
また，内訳として，初期文書から抽出された数と，T4.で追加された調停記述文書から抽出された数を示す．
同じ調停パッセージであっても，対立軸が異なれば評価も異なり，調停要約とみなされなかった場合もあることに注意されたい．
作業者によるバラツキが存在するが，全体として，{\sf Fair}，{\sf Poor}，{\sf Good}，{\sf Excellent}の順に評価された数が多く，理想の調停要約に極めて近いことを示す{\sf Excellent}と評価された調停パッセージは殆ど存在しなかった．
初期文書と調停記述文書の内訳から，調停記述文書の方が比較的評価が高い調停パッセージを多く含んでいたことが分かる．
しかしながら，適切な調停記述文書を自動的に検索する方法は現段階で不明であり，今後も分析を続けていきたい．

\begin{table}[t]
 \caption{T8.で作成された自由記述による調停要約}
 \label{tb:freetext}
\input{ca03table14.txt}
\end{table}

\begin{table}[t]
 \caption{T10.で1位にランキングされた調停パッセージ}
 \label{tb:extractive}
\input{ca03table15.txt}
\end{table}

表\ref{tb:freetext}は「飲酒は健康に良いvs.飲酒は健康に悪い」の対立軸に対してT8.で作成された理想の調停要約であり，表\ref{tb:extractive}は同じ対立軸においてT10.のランキングで1位となった調停パッセージである．
理想とする調停要約に関しては，作業者1と作業者3が「病気の種類」という観点からも記述しているが，基本的には4名とも「飲酒量」という観点からまとめており，多くの人に共通する調停要約の観点が存在するように思われる．
一方，表\ref{tb:freetext}の調停要約と表\ref{tb:extractive}の調停パッセージを比較した場合，「飲酒量」などの大意は共通しているが細かな違いが生じている．
また，作業者1の調停要約で存在した「コレステロール」や「ワイン」などの話題は，調停パッセージには存在していない．
したがって，1つのパッセージを抽出して提示する直接調停要約の考え方に大きな問題はないが，より理想的な調停要約を生成するためには複数の調停パッセージを組み合わせる必要があると考えられる．


\subsubsection{情報発信者に関する考察}

{情報}発信者に関する延べ注釈数を表\ref{tb:MS_holder_result}に示す．
注釈された3,221の情報発信者は全て著者としての発信者であり，その内，組織発信者であるのは1,990，専門的発信者であるのは840，調停的発信者であるのは759であった．
ある発信者に，組織発信者，専門的発信者，調停的発信者の2つ以上が注釈される可能性があることに注意されたい．
組織発信者{側}を重視する場合に限り，組織発信者を抽出しているため，表\ref{tb:MS_holder_result}における組織発信者の数は，表\ref{tb:SR_holder_result}における組織発信者{側}を重視する場合の数に相当する．
したがって，著者としての発信者における組織発信者の割合は，サーベイレポート要約で約72.7\% (2,217/3,049)，調停要約コーパスで約61.8\% (1,990/3,221) となり，一般に6割から7割程度であると考えられる．
また，同一発信者が存在すると注釈された個人発信者と組織発信者は，それぞれ，691と1,183であった．
サーベイレポートコーパスと同じく，調停要約コーパスにおいても，同一発信者は無視できない割合で存在している．

\begin{table}[t]
 \caption{調停要約コーパスにおける情報発信者の延べ注釈数}
 \label{tb:MS_holder_result}
\input{ca03table16.txt}
\end{table}


\subsubsection{作業ログに関する考察}

表\ref{tb:log_num}に，作業ログを元にした，各段階における作業者の行動の回数を示す．
作業ログは，図\ref{fg:log}に示すように，マウスやキーボードの操作レベルで記録されているが，表\ref{tb:log_num}では，その操作がもたらす効果のレベルで示している．
また，文書から文字列を絞り込む過程に関連する作業段階と行動に限定している．

\begin{table}[t]
 \caption{各段階における作業者の行動の回数}
 \label{tb:log_num}
\input{ca03table17.txt}
\end{table}

一般に，下方向のスクロールに対する上方向へのスクロールの割合が大きいほど，文書を何度も読み返していると考えられる．
対立関係にある言明を抽出するT2.では約21.0\% (39,795/189,079)，調停記述を抽出するT5.では約14.9\% (39,412/265,347) であったのに対し，情報発信者を抽出するT6.では54.1\% (58,894/108,855) という高い値であった．
一般に，後の作業では，前の作業で既に読んだ文書に対して作業を行うため，読み返す必要性は低下すると考えられる．
T6.で上方向へのスクロールの割合が高かった理由は，以下のように考えられる．
4.3.6節で述べたように，T6.では，情報発信者の名称，専門的発信者，調停的発信者を判断する手掛かりとなった表現を抽出するよう指示している．
手掛かり表現は文書中に散在しているため，3種類の手掛かり表現を求めて文書内を探した結果，上方向へのスクロールの割合が高くなったと考えられる．

また，どの作業段階においても，抽出した文字列を取り消す行動が無視できない割合で存在している．
対立関係にある言明の抽出では約18.1\% (1,651/9,139) ，調停パッセージの抽出では約23.8\% (527/2,218)，情報発信者の抽出では約16.7\% (664/3,978) であった．
抽出した文字列を取り消すという行動は，必ずしも作業者が熟慮した上で行われているわけではないであろうが，取り消す行動の割合が高いほど，作業者の判断を揺らがせるような作業であった可能性がある．
仮にそうであったとするならば，情報発信者の抽出に比べて，調停パッセージの抽出は判断が難しい作業であったといえる．


\section{関連研究}
\label{sc:related_work}


コーパス構築に関する研究には以下のものがある．
飯田ら\citeyear{Iida2010}は，新聞記事を対象に，述語項構造・共参照タグを付与する基準について報告し，事態性名詞のタグ付与において，具体物のタグ付与と項のタグ付与を独立して行うことで作業品質を向上させている．
宮崎ら\citeyear{Miyazaki2010}は，Web文書を対象に，製品の様態と評価を分離した評判情報のモデルを提案し，評判情報コーパスを構築する際の注釈者間の注釈揺れを削減する方法について論じている．
しかしながら，これらのコーパス構築の目的は，本研究の目的である情報信憑性判断支援のための要約と異なる．

文書の書き手の意見を理解できるよう支援することを目的としてアノテーションを行う研究として，Weibe et al.~\citeyear{Wiebe2005}，西原ら\cite{Nishihara2011}，松吉ら\cite{Matsuyoshi2010}などの研究がある．
Wiebe et al.~\citeyear{Wiebe2005}は，意見や感情などのprivate stateを人手でアノテーションする方法を提案し，新聞記事を対象としたMPQAコーパスにアノテーションを行った．
西原ら\citeyear{Nishihara2011}は，文書の書き手の意見を理解することを支援するために，文書においてアノテーションを付与すべき文を推薦するシステムを提案した．
松吉ら\citeyear{Matsuyoshi2010}は，書き手が表明する真偽判断，価値判断等の，事象に対する総合的な情報を表すタグ体系を提案し，このタグ体系に基づくコーパスを基礎とした解析システムを開発した．
Wiebe et al.，西原ら，松吉らの研究の目的は，本研究の目的である信憑性判断支援と関連があるが，本研究が支援のための手段として要約を対象としている点で異なる．

要約を目的としてコーパスを構築した研究としては，Radev et al.~\citeyear{Radev2000}，綾ら\cite{Aya2005}，伊藤ら\shortcite{Ito2004}などの研究がある．
Radev et al.~\citeyear{Radev2000}は，RST (Rhetorical Structure Theory)を文書間関係に拡張したCST (Cross-document Structure Theory)を提唱し，CSTの関係をアノテーションしたCST Bankの構築を行った．
綾ら\citeyear{Aya2005}は，セマンティックオーサリングで得られたグラフを想定し，修辞関係等を明示的に与えた複数文書に対し要約を作成する手法を提案した．
しかしながら，Radev et al.や綾らはWeb文書ではなく新聞記事を対象としている．
伊藤ら\citeyear{Ito2004}は，汎用アノテーション記述言語MAMLを提案し，複数メール要約や動画像の検索・要約を行う研究を行っている．
メーラやブラウザ等を利用する際に入力されたデータをアノテーションデータとすることで，利用者が特に意識せずともアノテーションデータを生成できるようにした．
本研究では，情報信憑性判断支援のための要約という新しい要約概念を対象とするため，要約の生成過程を調査する必要があり，そのためのアノテーションを行っている点で異なる．

テキストの表層的な情報を使うだけでは十分に解決できない，より深い言語処理課題においては，アノテーションの際に，アノテーションの結果だけではなく，作業者がどのような情報を利用してアノテーションを行ったかといったアノテーション中の過程にも関心を払うことの重要性が，徳永ら\shortcite{Tokunaga2013}や光田ら\shortcite{Mitsuda2013}により指摘されている．
本研究では，重要記述の絞り込みの過程や，抽出の手掛かりとなった記述，作業中の疑問点のメモ，操作レベルの作業ログといった，要約作成の過程に関するアノテーションを行っており，これらの情報を分析して得られた知見に基づいて調停要約生成システムの開発を行っている．

Web文書を情報源としてコーパスを構築する研究として，Ptaszynski et al.~\citeyear{Ptaszynski2012}，鍜治ら\shortcite{Kaji2008}，関口ら\shortcite{Sekiguchi2003}などの研究がある．
Ptaszynski et al.~\citeyear{Ptaszynski2012}は，日本語のブログを自動収集して構築した，3.5億文からなるコーパスYACISに対して自動的に感情情報を付与した．
鍜治ら\citeyear{Kaji2008}は，大規模なHTML文書集合から評価文を自動収集する手法を提案し，約10億件のHTML文書から約65万文からなる評価文コーパスを自動的に構築した．
関口ら\citeyear{Sekiguchi2003}は，Web文書中のリンク情報を手掛かりとして連鎖的にWeb文書を収集し，単語や格フレームの異なり数の点で良質なコーパスを自動的に構築した．
Ptaszynski et al.，鍜治ら，関口らの研究で構築されたコーパスは，不特定トピックのWeb文書集合を自動的に収集して構築したものであり，着目言明に関連したWeb文書集合を人手で収集して構築した本研究のコーパスと性質が異なる．

アノテーションの対象となる文書集合を決定する方法として，文書そのものを新しく作成する橋本ら\citeyear{Hashimoto2011}の方法や，適合文書に必須となる情報を用いる吉岡ら\shortcite{Yoshioka2012}の方法がある．
橋本ら\citeyear{Hashimoto2011}は，ブログを対象とした自然言語処理の高精度化に寄与することを目的として，81名の大学生に4つのテーマで執筆させた249記事のブログに，文境界，形態素，係り受け，格・省略・照応，固有表現，評価表現に関するアノテーションを行った．
本研究でも，自由記述要約として作業者が理想の要約文書を作成しているが，同時に，表層の一致による評価を行うために，Web文書の重要記述を組み合わせた抜粋要約を作成する必要があり，要約対象となるWeb文書集合を決定する必要があった．
吉岡ら\citeyear{Yoshioka2012}は，質問応答を目的としたテストコレクションの構築において，適合文書に必須の情報である回答を用いて検索することで，一定以上の網羅性を担保したテストコレクションが作成できる可能性を示した．
しかしながら，本研究では，情報信憑性判断支援のための要約において必須の情報が不明であったため，適切な検索クエリを調査する必要があり，作業で用いられた検索クエリをコーパスに収録している．

情報信憑性判断支援のための要約に関するコーパス構築と分析は，Nakano et al.~\citeyear{Nakano2010}，渋木ら\citeyear{Shibuki2011b}でも行っている．
Nakano et al.，渋木らの分析結果は本研究の一部と共通しているが，本研究では，さらに情報発信者や作業ログ等に関する分析を進めている．


\section{おわりに}
\label{sc:conclusion}


本論文では，情報信憑性判断支援のための要約に関する研究を行う上で基礎となる分析・評価用のコーパスを3年間で延べ4回構築した結果について，{現時点}での試行の１つであるが報告した．
情報信憑性判断支援のための要約では，利用者が着目する言明の信憑性を判断する上で必要となる情報をWeb文書から探し出し，要約・整理して提示する．
情報信憑性判断支援のための要約{の基礎}となるコーパス構築においては，人間の要約過程を観察するための情報と，性能を評価するための正解情報が求められており，両方の情報を満たすタグセットとタグ付与の方法について説明した．
また，全数調査が困難なWeb文書を要約対象とする研究において，タグ付与の対象となる文書集合をどのように決定するかといった問題に対して，評価型ワークショップのテストコレクション構築で用いられるプーリングを参考とした方法を述べた．

{本論文}で構築したコーパスを一般公開することは，収集したWeb文書の再配布が著作権の観点から法律上の問題がある可能性があるため，現時点では難しい．
今後，NTCIRのWEBテストコレクションや言論マップコーパス\footnote{http://www.cl.ecei.tohoku.ac.jp/index.php?Open\%20Resources\%2FStatement\%20Map\%20Corpus}の配布方法などを参考に公開の方法を検討していきたいと考えている．
また，本コーパスは，人間の要約の作成過程を分析する上で豊富な情報を含んでいるが，その分析は充分に行われていない．
今後は，さらに詳細な分析を行い，その結果を要約生成システムに反映させたいと考えている．



\acknowledgment

本研究の一部は，JSPS科研費25330254，ならびに，横浜国立大学大学院環境情報研究院共同研究推進プログラムの助成を受けたものである．



\bibliographystyle{jnlpbbl_1.5}
\begin{thebibliography}{}

\bibitem[\protect\BCAY{Akamine, Kawahara, Kato, Nakagawa, Inui, Kurohashi,
  \BBA\ Kidawara}{Akamine et~al.}{2009}]{Akamine2009}
Akamine, S., Kawahara, D., Kato, Y., Nakagawa, T., Inui, K., Kurohashi, S.,
  \BBA\ Kidawara, Y. \BBOP 2009\BBCP.
\newblock \BBOQ WISDOM: A Web Information Credibility Analysis System.\BBCQ\
\newblock In {\Bem the ACL-IJCNLP 2009 Software Demonstrations}, \mbox{\BPGS\
  1--4}.

\bibitem[\protect\BCAY{Akamine, Kawahara, Kato, Nakagawa, Leon-Suematsu,
  Kawada, Inui, Kurohashi, \BBA\ Kidawara}{Akamine et~al.}{2010}]{Akamine2010}
Akamine, S., Kawahara, D., Kato, Y., Nakagawa, T., Leon-Suematsu, Y.~I.,
  Kawada, T., Inui, K., Kurohashi, S., \BBA\ Kidawara, Y. \BBOP 2010\BBCP.
\newblock \BBOQ Organizing Information on the Web to Support User Judgments on
  Information Credibility.\BBCQ\
\newblock In {\Bem the 4th International Universal Communication Symposium
  (IUCS2010)}, \mbox{\BPGS\ 123--130}.

\bibitem[\protect\BCAY{綾\JBA 松尾\JBA 岡崎\JBA 橋田\JBA 石塚}{綾 \Jetal
  }{2005}]{Aya2005}
綾聡平\JBA 松尾豊\JBA 岡崎直観\JBA 橋田浩一\JBA 石塚満 \BBOP 2005\BBCP.
\newblock 修辞構造のアノテーションに基づく要約生成.\
\newblock \Jem{人工知能学会論文誌}, {\Bbf 20}  (3), \mbox{\BPGS\ 149--158}.

\bibitem[\protect\BCAY{Buckley, Dimmick, Soboroff, \BBA\ Voorhees}{Buckley
  et~al.}{2007}]{Buckley2007}
Buckley, C., Dimmick, D., Soboroff, I., \BBA\ Voorhees, E. \BBOP 2007\BBCP.
\newblock \BBOQ Bias and the Limits of Pooling for Large Collections.\BBCQ\
\newblock {\Bem Information Retrieval}, {\Bbf 10}  (6), \mbox{\BPGS\ 491--508}.

\bibitem[\protect\BCAY{Ennals, Trushkowsky, \BBA\ Agosta}{Ennals
  et~al.}{2010}]{Ennals2010}
Ennals, R., Trushkowsky, B., \BBA\ Agosta, J.~M. \BBOP 2010\BBCP.
\newblock \BBOQ Highlighting Disputed Claims on the Web.\BBCQ\
\newblock In {\Bem the 19th International World Wide Web Conference (WWW
  2010)}, \mbox{\BPGS\ 341--350}.

\bibitem[\protect\BCAY{Finn, Kushmerick, \BBA\ Smyth}{Finn
  et~al.}{2001}]{Finn2001}
Finn, A., Kushmerick, N., \BBA\ Smyth, B. \BBOP 2001\BBCP.
\newblock \BBOQ Fact or fiction: Content Classification for Digital
  Libraries.\BBCQ\
\newblock In {\Bem the Second DELOS Network of Excellence Workshop on
  Personalisation and Recommender Systems in Digital Libraries}, \mbox{\BPGS\
  18--20}.

\bibitem[\protect\BCAY{藤井}{藤井}{2008}]{Fujii2008}
藤井敦 \BBOP 2008\BBCP.
\newblock OpinionReader:
  意思決定支援を目的とした主観情報の集約・可視化システム.\
\newblock \Jem{電子情報通信学会論文誌 (D)}, {\Bbf J91-D}  (2), \mbox{\BPGS\
  459--470}.

\bibitem[\protect\BCAY{橋本\JBA 黒橋\JBA 河原\JBA 新里\JBA 永田}{橋本 \Jetal
  }{2011}]{Hashimoto2011}
橋本力\JBA 黒橋禎夫\JBA 河原大輔\JBA 新里圭司\JBA 永田昌明 \BBOP 2011\BBCP.
\newblock 構文・照応・評価情報つきブログコーパスの構築.\
\newblock \Jem{自然言語処理}, {\Bbf 18}  (2), \mbox{\BPGS\ 175--201}.

\bibitem[\protect\BCAY{飯田\JBA 小町\JBA 乾\JBA 松本}{飯田 \Jetal
  }{2010}]{Iida2010}
飯田龍\JBA 小町守\JBA 乾健太郎\JBA 松本裕治 \BBOP 2010\BBCP.
\newblock 述語項構造と照応関係のアノテーション：NAIST
  テキストコーパス構築の経験から.\
\newblock \Jem{自然言語処理}, {\Bbf 17}  (2), \mbox{\BPGS\ 25--50}.

\bibitem[\protect\BCAY{伊藤\JBA 斎藤}{伊藤\JBA 斎藤}{2004}]{Ito2004}
伊藤一成\JBA 斎藤博昭 \BBOP 2004\BBCP.
\newblock アノテーションの副次生成とテキスト処理への応用.\
\newblock \Jem{日本データベース学会論文誌 DBSJ Letters}, {\Bbf 3}  (1),
  \mbox{\BPGS\ 117--120}.

\bibitem[\protect\BCAY{鍜治\JBA 喜連川}{鍜治\JBA 喜連川}{2008}]{Kaji2008}
鍜治伸裕\JBA 喜連川優 \BBOP 2008\BBCP.
\newblock HTML文書集合からの評価文の自動収集.\
\newblock \Jem{自然言語処理}, {\Bbf 15}  (3), \mbox{\BPGS\ 77--90}.

\bibitem[\protect\BCAY{Kaneko, Shibuki, Nakano, Miyazaki, Ishioroshi, \BBA\
  Morii}{Kaneko et~al.}{2009}]{Kaneko2009}
Kaneko, K., Shibuki, H., Nakano, M., Miyazaki, R., Ishioroshi, M., \BBA\ Morii,
  T. \BBOP 2009\BBCP.
\newblock \BBOQ Mediatory Summary Genaration: Summary-Passage Extraction for
  Information Credibility on the Web.\BBCQ\
\newblock In {\Bem the 23rd Pacific Asia Conference on Language, Information
  and Computation}, \mbox{\BPGS\ 240--249}.

\bibitem[\protect\BCAY{加藤\JBA 河原\JBA 乾\JBA 黒橋\JBA 柴田}{加藤 \Jetal
  }{2010}]{Kato2010}
加藤義清\JBA 河原大輔\JBA 乾健太郎\JBA 黒橋禎夫\JBA 柴田知秀 \BBOP 2010\BBCP.
\newblock Web ページの情報発信者の同定.\
\newblock \Jem{人工知能学会論文誌}, {\Bbf 25}  (1), \mbox{\BPGS\ 90--103}.

\bibitem[\protect\BCAY{河合\JBA 岡嶋\JBA 中澤}{河合 \Jetal }{2007}]{Kawai2011}
河合剛巨\JBA 岡嶋穣\JBA 中澤聡 \BBOP 2007\BBCP.
\newblock Web 文書の時系列分析に基づく意見変化イベントの抽出.\
\newblock \Jem{言語処理学会第 17 回年次大会発表論文集}, \mbox{\BPGS\ 264--267}.

\bibitem[\protect\BCAY{Lin \BBA\ Hovy}{Lin \BBA\ Hovy}{2003}]{Lin2003}
Lin, C.-Y.\BBACOMMA\ \BBA\ Hovy, E. \BBOP 2003\BBCP.
\newblock \BBOQ Automatic Evaluation of Summaries Using N-gram Co-Occurrence
  Statistics.\BBCQ\
\newblock In {\Bem the 2003 Conference of the North American Chapter of the
  Association for Computational Linguistics on Human Language Technology -
  Volume 1 (NAACL'03)}, \mbox{\BPGS\ 71--78}.

\bibitem[\protect\BCAY{松本\JBA 小西\JBA 高木\JBA 小山\JBA 三宅\JBA 伊東}{松本
  \Jetal }{2009}]{Matsumoto2009}
松本章代\JBA 小西達裕\JBA 高木朗\JBA 小山照夫\JBA 三宅芳雄\JBA 伊東幸宏 \BBOP
  2009\BBCP.
\newblock 文末表現を利用したウェブページの主観・客観度の判定.\
\newblock \Jem{第 1 回データ工学と情報マネジメントに関するフォーラム (DEIM),
  A5-4}.

\bibitem[\protect\BCAY{松吉\JBA 江口\JBA 佐尾\JBA 村上\JBA 乾\JBA 松本}{松吉
  \Jetal }{2010}]{Matsuyoshi2010}
松吉俊\JBA 江口萌\JBA 佐尾ちとせ\JBA 村上浩司\JBA 乾健太郎\JBA 松本裕治 \BBOP
  2010\BBCP.
\newblock テキスト情報分析のための判断情報アノテーション.\
\newblock \Jem{電子情報通信学会論文誌 (D)}, {\Bbf J93-D}  (6), \mbox{\BPGS\
  705--713}.

\bibitem[\protect\BCAY{Mihalcea \BBA\ Tarau}{Mihalcea \BBA\
  Tarau}{2004}]{Mihalcea2004}
Mihalcea, R.\BBACOMMA\ \BBA\ Tarau, P. \BBOP 2004\BBCP.
\newblock \BBOQ TextRank: Bringing Order into Texts.\BBCQ\
\newblock In {\Bem the Conference on Empirical Methods in Natural Language
  Processing (EMNLP 2004)}, \mbox{\BPGS\ 404--411}.

\bibitem[\protect\BCAY{光田\JBA 飯田\JBA 徳永}{光田 \Jetal
  }{2013}]{Mitsuda2013}
光田航\JBA 飯田龍\JBA 徳永健伸 \BBOP 2013\BBCP.
\newblock テキストアノテーションにおける視線と操作履歴の収集と分析.\
\newblock \Jem{言語処理学会第 19 回年次大会発表論文集}, \mbox{\BPGS\ 449--452}.

\bibitem[\protect\BCAY{宮崎\JBA 森}{宮崎\JBA 森}{2010}]{Miyazaki2010}
宮崎林太郎\JBA 森辰則 \BBOP 2010\BBCP.
\newblock 注釈事例参照を用いた複数注釈者による評判情報コーパスの作成.\
\newblock \Jem{自然言語処理}, {\Bbf 17}  (5), \mbox{\BPGS\ 3--50}.

\bibitem[\protect\BCAY{Miyazaki, Momose, Shibuki, \BBA\ Mori}{Miyazaki
  et~al.}{2009}]{Miyazaki2009}
Miyazaki, R., Momose, R., Shibuki, H., \BBA\ Mori, T. \BBOP 2009\BBCP.
\newblock \BBOQ Using Web Page Layout for Extraction of Sender Names.\BBCQ\
\newblock In {\Bem the 3rd International Universal Communication Symposium
  (IUCS 2009)}, \mbox{\BPGS\ 181--186}.

\bibitem[\protect\BCAY{Murakami, Nichols, Mizuno, Watanabe, Masuda, Goto, Ohki,
  Sao, Matsuyoshi, Inui, \BBA\ Matsumoto}{Murakami et~al.}{2010}]{Murakami2010}
Murakami, K., Nichols, E., Mizuno, J., Watanabe, Y., Masuda, S., Goto, H.,
  Ohki, M., Sao, C., Matsuyoshi, S., Inui, K., \BBA\ Matsumoto, Y. \BBOP
  2010\BBCP.
\newblock \BBOQ Statement Map: Reducing Web Information Credibility Noise
  through Opinion Classification.\BBCQ\
\newblock In {\Bem the Fourth Workshop on Analytics for Noisy Unstructured Text
  Data (AND 2010)}, \mbox{\BPGS\ 59--66}.

\bibitem[\protect\BCAY{中野\JBA 渋木\JBA 宮崎\JBA 石下\JBA 森}{中野 \Jetal
  }{2008}]{Nakano2008}
中野正寛\JBA 渋木英潔\JBA 宮崎林太郎\JBA 石下円香\JBA 森辰則 \BBOP 2008\BBCP.
\newblock
  情報信憑性判断のための自動要約に向けた人手による要約作成実験とその分析.\
\newblock \Jem{自然言語処理研究会報告 2008-NL-187}, \mbox{\BPGS\ 107--114}.

\bibitem[\protect\BCAY{中野\JBA 渋木\JBA 宮崎\JBA 石下\JBA 金子\JBA 永井\JBA
  森}{中野 \Jetal }{2011}]{Nakano2011}
中野正寛\JBA 渋木英潔\JBA 宮崎林太郎\JBA 石下円香\JBA 金子浩一\JBA 永井隆広\JBA
  森辰則 \BBOP 2011\BBCP.
\newblock 情報信憑性判断支援のための直接調停要約生成手法.\
\newblock \Jem{電子情報通信学会論文誌 (D)}, {\Bbf J94-D}  (11), \mbox{\BPGS\
  1019--1030}.

\bibitem[\protect\BCAY{Nakano, Shibuki, Miyazaki, Ishioroshi, Kaneko, \BBA\
  Mori}{Nakano et~al.}{2010}]{Nakano2010}
Nakano, M., Shibuki, H., Miyazaki, R., Ishioroshi, M., Kaneko, K., \BBA\ Mori,
  T. \BBOP 2010\BBCP.
\newblock \BBOQ Construction of Text Summarization Corpus for the Credibility
  of Information on the Web.\BBCQ\
\newblock In {\Bem the 7th Language Resources and Evaluation Conference (LREC
  2010)}, \mbox{\BPGS\ 3125--3131}.

\bibitem[\protect\BCAY{西原\JBA 伊藤\JBA 大澤}{西原 \Jetal
  }{2011}]{Nishihara2011}
西原陽子\JBA 伊藤彩\JBA 大澤幸生 \BBOP 2011\BBCP.
\newblock 意見の理解を支援するアノテーションシステム.\
\newblock \Jem{マイニングツールの統合と活用＆情報編纂研究会
  (TETDM-01-SIG-IC-06-01)}, \mbox{\BPGS\ 1--6}.

\bibitem[\protect\BCAY{Ptaszynski, Rzepka, Araki, \BBA\ Momouchi}{Ptaszynski
  et~al.}{2012}]{Ptaszynski2012}
Ptaszynski, M., Rzepka, R., Araki, K., \BBA\ Momouchi, Y. \BBOP 2012\BBCP.
\newblock \BBOQ Automatically Annotating A Five-Billion-Word Corpus of Japanese
  Blogs for Sentiment and Affect Analysis.\BBCQ\
\newblock In {\Bem the 3rd Workshop on Computational Approaches to Subjectivity
  and Sentiment Analysis}, \mbox{\BPGS\ 89--98}.

\bibitem[\protect\BCAY{Radev, Otterbacher, \BBA\ Zhang}{Radev
  et~al.}{2004}]{Radev2000}
Radev, D., Otterbacher, J., \BBA\ Zhang, Z. \BBOP 2004\BBCP.
\newblock \BBOQ CST Bank: A Corpus for the Study of Cross-document Structural
  Relationships.\BBCQ\
\newblock In {\Bem the 4th International Language Resourace and Evaluation
  (LREC'04)}, \mbox{\BPGS\ 1783--1786}.

\bibitem[\protect\BCAY{関口\JBA 山本}{関口\JBA 山本}{2003}]{Sekiguchi2003}
関口洋一\JBA 山本和英 \BBOP 2003\BBCP.
\newblock Web コーパスの提案.\
\newblock \Jem{情報処理学会研究報告, NL157-17/FI72-17}.

\bibitem[\protect\BCAY{渋木\JBA 中野\JBA 宮崎\JBA 石下\JBA 鈴木\JBA 森}{渋木
  \Jetal }{2009}]{Shibuki2009}
渋木英潔\JBA 中野正寛\JBA 宮崎林太郎\JBA 石下円香\JBA 鈴木貴子\JBA 森辰則 \BBOP
  2009\BBCP.
\newblock 情報信憑性判断のための要約に関する基礎的検討.\
\newblock \Jem{言語処理学会第 15 回年次大会発表論文集}, \mbox{\BPGS\ 123--130}.

\bibitem[\protect\BCAY{渋木\JBA 中野\JBA 宮崎\JBA 石下\JBA 永井\JBA 森}{渋木
  \Jetal }{2011}]{Shibuki2011b}
渋木英潔\JBA 中野正寛\JBA 宮崎林太郎\JBA 石下円香\JBA 永井隆広\JBA 森辰則 \BBOP
  2011\BBCP.
\newblock 調停要約のための正解コーパスの作成とその分析.\
\newblock \Jem{言語処理学会第 17 回年次大会発表論文集}, \mbox{\BPGS\ 364--367}.

\bibitem[\protect\BCAY{渋木\JBA 永井\JBA 中野\JBA 石下\JBA 松本\JBA 森}{渋木
  \Jetal }{2013}]{Shibuki2013}
渋木英潔\JBA 永井隆広\JBA 中野正寛\JBA 石下円香\JBA 松本拓也\JBA 森辰則 \BBOP
  2013\BBCP.
\newblock 情報信憑性判断支援のための対話型調停要約生成手法.\
\newblock \Jem{自然言語処理}, {\Bbf 20}  (2), \mbox{\BPGS\ 75--103}.

\bibitem[\protect\BCAY{Shibuki, Nagai, Nakano, Miyazaki, Ishioroshi, \BBA\
  Mori}{Shibuki et~al.}{2010}]{Shibuki2010}
Shibuki, H., Nagai, T., Nakano, M., Miyazaki, R., Ishioroshi, M., \BBA\ Mori,
  T. \BBOP 2010\BBCP.
\newblock \BBOQ A Method for Automatically Generating a Mediatory Summary to
  Verify Credibility of Information on the Web.\BBCQ\
\newblock In {\Bem the 23rd International Conference on Computational
  Linguistics (COLING 2010)}, \mbox{\BPGS\ 1140--1148}.

\bibitem[\protect\BCAY{Shinzato, Shibata, Kawahara, Hashimoto, \BBA\
  Kurohashi}{Shinzato et~al.}{2008}]{Shinzato2008}
Shinzato, K., Shibata, T., Kawahara, D., Hashimoto, C., \BBA\ Kurohashi, S.
  \BBOP 2008\BBCP.
\newblock \BBOQ TSUBAKI: An Open Search Engine Infrastructure for Developing
  New Information Access Methodology.\BBCQ\
\newblock In {\Bem the Third International Joint Conference on Natural Language
  Processing}, \mbox{\BPGS\ 189--196}.

\bibitem[\protect\BCAY{徳永\JBA 飯田}{徳永\JBA 飯田}{2013}]{Tokunaga2013}
徳永健伸\JBA 飯田龍 \BBOP 2013\BBCP.
\newblock アノテーションのためのアノテーション.\
\newblock \Jem{言語処理学会第 19 回年次大会発表論文集}, \mbox{\BPGS\ 70--73}.

\bibitem[\protect\BCAY{Wiebe, Wilson, \BBA\ Cardie}{Wiebe
  et~al.}{2005}]{Wiebe2005}
Wiebe, J., Wilson, T., \BBA\ Cardie, C. \BBOP 2005\BBCP.
\newblock \BBOQ Annotating Expressions of Opinions and Emotions in
  Language.\BBCQ\
\newblock {\Bem Language Resources and Evaluation}, {\Bbf 39}  (2--3),
  \mbox{\BPGS\ 165--210}.

\bibitem[\protect\BCAY{山本\JBA 田中}{山本\JBA 田中}{2010}]{Yamamoto2010}
山本祐輔\JBA 田中克己 \BBOP 2010\BBCP.
\newblock データ対間のサポート関係分析に基づく Web 情報の信憑性評価.\
\newblock \Jem{情報処理学会論文誌：データベース}, {\Bbf 3}  (2), \mbox{\BPGS\
  61--79}.

\bibitem[\protect\BCAY{吉岡\JBA 原口}{吉岡\JBA 原口}{2004}]{Yoshioka2004}
吉岡真治\JBA 原口誠 \BBOP 2004\BBCP.
\newblock イベントの参照関係に注目した新聞記事の複数文書要約.\
\newblock \Jem{言語処理学会第 10 回年次大会発表論文集}, \mbox{\BPGS\ 257--260}.

\bibitem[\protect\BCAY{吉岡\JBA 神門}{吉岡\JBA 神門}{2012}]{Yoshioka2012}
吉岡真治\JBA 神門典子 \BBOP 2012\BBCP.
\newblock タスクを考慮した情報検索テストコレクション構築に関する考察.\
\newblock \Jem{情報アクセスシンポジウム 2012}, \mbox{\BPGS\ 1--7}.

\end{thebibliography}


\clearpage
\appendix



\section{サーベイレポートコーパスのタグ一覧と文書型定義}


サーベイレポートコーパスに収録されたWeb文書と抜粋要約のタグの一覧を，表\ref{tb:survey_report_web_tagset}と表\ref{tb:survey_report_sum_tagset}にそれぞれ示す．
また，文書型定義を，図\ref{fg:survey_report_web_dtd}と図\ref{fg:survey_report_sum_dtd}にそれぞれ示す．


\begin{table}[h]
 \caption{サーベイレポートコーパスに収録されたWeb文書のタグの一覧}
 \label{tb:survey_report_web_tagset}
\input{ca03tableA1.txt}
\end{table}

\clearpage
\begin{table}[p]
 \caption{サーベイレポートコーパスに収録された抜粋要約のタグの一覧}
 \label{tb:survey_report_sum_tagset}
\input{ca03tableA2.txt}
\end{table}

\clearpage
\begin{figure}[p]
\begin{center}
\includegraphics{21-2iaCA3fa.eps}
\end{center}
 \caption{サーベイレポートコーパスに収録されたWeb文書の文書型定義}
 \label{fg:survey_report_web_dtd}
\end{figure}
\begin{figure}[p]
\begin{center}
\includegraphics{21-2iaCA3fb.eps}
\end{center}
 \caption{サーベイレポートコーパスに収録された抜粋要約の文書型定義}
 \label{fg:survey_report_sum_dtd}
\end{figure}

\clearpage
\section{抜粋要約中の論点の一覧}


3.4.3節で述べた作業者間の一致率に関する考察として行った，第2回のサーベイレポートコーパスに収録された抜粋要約中の論点数を調査した結果を，表\ref{tb:SR_viewpoint_LAS_PAIN}から表\ref{tb:SR_viewpoint_XYL_TOOTH}にそれぞれ示す．

\begin{table}[h]
 \caption{「レーシック手術は痛みがある」に関する抜粋要約中の論点の一覧}
 \label{tb:SR_viewpoint_LAS_PAIN}
\input{ca03tableB1.txt}
\end{table}
\begin{table}[h]
 \caption{「無洗米は水を汚さない」に関する抜粋要約中の論点の一覧}
 \label{tb:SR_viewpoint_RIC_CLEAN}
\input{ca03tableB2.txt}
\end{table}

\clearpage
\begin{table}[p]
 \caption{「無洗米はおいしい」に関する抜粋要約中の論点の一覧}
 \label{tb:SR_viewpoint_RIC_TASTE}
\input{ca03tableB3.txt}
\end{table}
\begin{table}[p]
 \caption{「アスベストは危険性がない」に関する抜粋要約中の論点の一覧}
 \label{tb:SR_viewpoint_ASB_RISK}
\input{ca03tableB4.txt}
\end{table}
\begin{table}[p]
 \caption{「キシリトールは虫歯にならない」に関する抜粋要約中の論点の一覧}
 \label{tb:SR_viewpoint_XYL_TOOTH}
\input{ca03tableB5.txt}
\end{table}

\clearpage
\section{調停要約コーパスのタグ一覧と文書型定義}


調停要約コーパスに収録されたWeb文書のタグの一覧を表\ref{tb:mediatory_summary_web_tagset1}と表\ref{tb:mediatory_summary_web_tagset2}に，抜粋要約のタグの一覧を表\ref{tb:mediatory_summary_sum_tagset}にそれぞれ示す．
また，文書型定義を，図\ref{fg:mediatory_summary_web_dtd}と図\ref{fg:mediatory_summary_sum_dtd}にそれぞれ示す．

\begin{table}[h]
 \caption{調停要約コーパスにおけるWeb文書のタグの一覧（前半）}
 \label{tb:mediatory_summary_web_tagset1}
\input{ca03tableC1.txt}
\end{table}

\clearpage
\begin{table}[p]
 \caption{調停要約コーパスにおけるWeb文書のタグの一覧（後半）}
 \label{tb:mediatory_summary_web_tagset2}
\input{ca03tableC2.txt}
\end{table}


\clearpage
\begin{table}[p]
 \caption{調停要約コーパスにおける調停要約文書のタグの一覧}
 \label{tb:mediatory_summary_sum_tagset}
\input{ca03tableC3.txt}
\end{table}

\clearpage
\begin{figure}[p]
\begin{center}
\includegraphics{21-2iaCA3fc.eps}
\end{center}
 \caption{調停要約コーパスに収録されたWeb文書の文書型定義}
 \label{fg:mediatory_summary_web_dtd}
\end{figure}

\clearpage
\begin{figure}[p]
\begin{center}
\includegraphics{21-2iaCA3fd.eps}
\end{center}
 \caption{調停要約コーパスに収録された抜粋要約の文書型定義}
 \label{fg:mediatory_summary_sum_dtd}
\end{figure}

\clearpage
\begin{biography}
\bioauthor{渋木　英潔}{
1997年小樽商科大学商学部商業教員養成課程卒業．
1999年同大学大学院商学研究科修士課程修了．
2002年北海道大学大学院工学研究科博士後期課程修了．
博士（工学）．
2006年北海学園大学大学院経営学研究科博士後期課程終了．
博士（経営学）．
現在，横浜国立大学環境情報研究院科学研究費研究員．
自然言語処理に関する研究に従事．
言語処理学会，情報処理学会，電子情報通信学会，日本認知科学会各会員．
}
\bioauthor{中野　正寛}{
2005年横浜国立大学大学院環境情報学府情報メディア環境学専攻博士課程前期修了．
2011年同専攻博士課程後期単位取得退学．
修士（情報学）．
2011年から2012年まで同学府研究生．
この間，自然言語処理に関する研究に従事．
}
\bioauthor{宮崎林太郎}{
2004年神奈川大学大学院理学研究科情報科学専攻博士課程前期修了.
2011年横浜国立大学大学院環境情報学府情報メディア環境学専攻博士課程後期修了．
博士（情報学）．
在学中は，自然言語処理に関する研究に従事．
}
\bioauthor{石下　円香}{
2009年横浜国立大学大学院環境情報学府情報メディア環境学専攻博士課程後期修了．
現在，国立情報学研究所特任研究員．
博士（情報学）．
自然言語処理に関する研究に従事．
言語処理学会，人工知能学会各会員．
}
\bioauthor{金子　浩一}{
2008年横浜国立大学工学部電子情報工学科卒業．
2010年同大学大学院環境情報学府情報メディア環境学専攻博士課程前期修了．
修士（情報学）．
在学中は自然言語処理に関する研究に従事．
}
\bioauthor{永井　隆広}{
2010年横浜国立大学工学部電子情報工学科卒業．
2012年同大学大学院環境情報学府情報メディア環境学専攻博士課程前期修了．
修士（情報学）．
在学中は自然言語処理に関する研究に従事．
}
\bioauthor{森　　辰則}{
1986年横浜国立大学工学部情報工学科卒業．
1991年同大学大学院工学研究科博士課程後期修了．
工学博士．
同年，同大学工学部助手着任．
同講師，同助教授を経て，現在，同大学大学院環境情報研究院教授．
この間，1998年2月より11月までStanford大学CSLI客員研究員．
自然言語処理，情報検索，情報抽出などの研究に従事．
言語処理学会，情報処理学会，電子情報通信学会，人工知能学会，ACM各会員．
}

\end{biography}


\biodate


\end{document}
