



\documentstyle[epsf,jnlpbbl]{jnlp_j_b5}

\setcounter{page}{19}
\setcounter{巻数}{10}
\setcounter{号数}{2}
\setcounter{年}{2003}
\setcounter{月}{4}
\受付{2002}{7}{19}
\再受付{2002}{10}{8}
\採録{2003}{1}{10}

\setcounter{secnumdepth}{2}

\newcommand{\cir}[1]{}
\def\sec#1{}
\def\ssec#1{}
\def\sssec#1{}
\def\eq#1{}
\def\fig#1{}
\def\tab#1{}

\title{表層表現に着目した自由回答アンケートの\\意図に基づく自動分類}
\author{乾 裕子\affiref{CRL} \and 村田 真樹\affiref{CRL} \and 内元 清
貴\affiref{CRL} \and 井佐原 均\affiref{CRL}}

\headauthor{乾，村田，内元，井佐原}
\headtitle{表層表現に着目した自由回答アンケートの意図に基づく自動分類}

\affilabel{CRL}{通信総合研究所}
{Communications Research Laboratory}

\jabstract{自由記述形式のアンケート調査の回答は，選択型回答のアンケー
トと異なり，回答者の自由な意見を集約できる効果があるため社会的にも注目
されている．アンケート調査（質問紙調査法）について研究されてきた社会学・
心理学の分野では，アンケートの回答分類はコーディングと呼ばれ，選択型回
答・自由回答ともに人手で分析・分類されることが多い．特に自由回答のコー
ディングには多大なコストがかかるうえに，人の判断による作業は主観的な分
類結果を招くという懸念もある．このような背景から，本研究では言語処理の
要素技術であるテキスト分類の技術を取り入れアンケート回答の自動分類を行
うことで，その結果を自由回答のコーディングに活用するためのコーディング
支援を試みた．テキストの分類には，学習アルゴリズムのひとつである最大エ
ントロピー法を用いている．分類にあたり，まずはテキストへのタグ付与実験
をもとに意図タグの決定を行った．これらの意図タグを付与した意図タグ付き
正解データを作成し，このデータを訓練データとしてN-gram抽出を行い，各タ
グに特徴的な表現を取り出した．この表現を素性とし，訓練データに対して最
大エントロピー法を用いて学習し，分類を行った結果，約8割弱の分類精度が
得られた．この手法によって，自由回答テキストに対して回答者の意図を反映
した分類を行うことができた．これにより，回答を一件ずつ読みながら類似の
内容を持つ回答を探すという，自由回答の人手による分類コストを軽減するこ
とができた．また，辞書を用いる形態素解析を使わずに，最大エントロピー法
による素性と意図タグの学習を行うことで，「です」「ません」「べき」「必
要」「図る」「化」など断片的な情報が意図タグ付与に効果的であることが明
らかになった．}

\jkeywords{自由記述型アンケート，自由回答，テキスト分類，意図タグ，表
層表現，最大エントロピー法}

\etitle{Classification of Open-Ended Questionnaire \\Texts based on
Surface Expressions}
\eauthor{Hiroko Inui\affiref{CRL} \and Masaki Murata\affiref{CRL} \and
Kiyotaka Uchimoto\affiref{CRL} \and Hitoshi Isahara\affiref{CRL}}

\eabstract{While the open-ended questionnaire method is a good means
to collect free expressions of opinion, the analysis of collected
questionnaires is usually done manually, and thus is
costly. Furthermore, the results derived from such humans' judgments
tend to lack objectivity.  Given this background, we are exploring
computational approaches to the automatic classification of collected
open-ended questionnaires. This paper reports the results of our
preliminary experiments, where we used the maximum-entropy model for
questionnaire classification. The results show that our method works
well for extracting discriminative linguistic expressions for each
response type such as proposal, demand, approval, opposition, etc.,
and can produce questionnaire clusters analogous to those produced by
humans.}

\ekeywords{Open-ended questionnaire, open-ended text, text
categorization, intention tag, surface expression, maximum entropy
model}

\begin{document}
\thispagestyle{empty}
\maketitle


\section{はじめに}

アンケート調査は，さまざまな社会的問題を解決するために，問題解決に関連
する人々あるいは組織に対して同じ質問を行い，質問に対する回答としてデー
タを収集・解析することによって，問題解決に役立つ情報を引き出していくと
いう一連のプロセスである\cite{arima:87}．質問に対する回答には選択型と
自由記述型があるが，一般には回答収集後の解析のコストを避けるために，選
択型のアンケートを行うことが多い．したがって，従来は選択型アンケートを
行うための予備調査として小規模に実施する，あるいは選択型アンケートの中
で調査者が想定できなかった選択項目，例えば選択肢以外の「その他」に相当
する回答と位置付けられていた．

しかし，近年，インターネットの普及やパブリック・インボルブメントに対す
る関心の高まりから，想定できる意見を選んでもらうのではなく，回答者の自
由な個々の意見を聞くことが重視されている．その結果，自由回答が選択型ア
ンケートと同様に大規模に実施されるようになってきている
\cite{voice_report:96}．また，狭義にはアンケート調査によって得られる自
由回答とは異なるが，企業のホームページの掲示板やコールセンターなどに寄
せられる消費者のメールや意見，地方自治体や政府のホームページに集まる住
民からのメールは，自由回答同様に意見集約の対象とみなすことができる
\cite{nasukawa:01,yanase:02}．われわれは，これらの意見も自由回答と同様
に扱えると考えている．アンケートの自由回答は，このように交通計画や都市
計画の分野をはじめ\cite{suga:97,matsuda:98,takata:00}，テレビ番組に対
する視聴者の印象\cite{hitachi:00}などマーケティング・リサーチ対象とし
ても注目されている．

自由回答の解析は，回答の内容にしたがった人手による分類作業（コーディン
グ）と因子分析などによる解析を軸に行われる．コーディングの際に広く一般
的に用いられるKJ法は，回答を一件ずつ読んで類似する内容の回答ごとにグルー
ピングするため，大量のアンケート結果に対しては多大なコストがかかる．作
業コストの大きさに加え分類時の判断の主観性についても懸念されている．ま
た，回答を回収しても，解析されないまま終わることが多いことも指摘されて
いる\cite{arima:87}．

本研究のねらいは，これらのコーディングの過程にテキスト処理の技術を取り
入れることにより，人手作業のコストを軽減し，意見集約の対象データとして，
自由回答に記述された意見を活用することである．テキストからの情報抽出や，
要約・自動分類などの要素技術が蓄積されてきている言語処理技術を用いれば
上記の問題を解決できる可能性がある．

テキスト分類は，分類カテゴリを検索質問とみなした場合，情報検索と同じ問
題と考えることができる．したがって，テキストと分類カテゴリの類似度計算，
テキストに対してもっとも類似しているカテゴリの付与といった自動分類の基
本的な手続きにおいて，ベクトル空間モデルを用いた場合\cite{salton:88}，
確率モデルを用いた場合\cite{robertson:76,iwayama:94}，規則に基づくモデ
ルを用いた場合\cite{apte:94}など情報検索の基礎技術を利用できる．言語処
理におけるテキスト分類では，新聞記事テキストが対象になることが多い．新
聞を対象とする分類の場合，多岐に渡る内容を類似する記事ごとにまとめるこ
とが目的となる．新聞記事全体を対象にする場合には経済・社会・政治・スポー
ツなどの分野に，それらの各分野を対象とする場合には，さらに詳細化した内
容に分類される．

アンケート調査の自由回答テキストは一般に，上記に挙げた新聞の分野に基づ
く分類項目よりも，さらに分野に特化したテーマにおいて，そのテーマに対す
る様々な意見や提案が述べられている\cite{voice_report:96}．同じ設問に対
する回答であっても，内容語が必ずしも一定でなく，また，先に述べたとおり
設問に対して回答者がどのような意見を持っているのかといった回答者の意図
が重要になってくる．しかし，従来の自由回答テキストの処理では，分析・分
類対象を表す特徴的キーワードによる研究が主である
\cite{suga:97,oosumi:97,li:01}．

尚，「意図」という用語については，さまざまな分野で異なった定義がなされ
ている．言語行為論のように発話（回答）の意味を聞き手に対して命令や謝罪
といった意図を話者が伝えようとする行為と捉える立場もある
\cite{searle:69}．統語論では「表現意図を言語主体が文全体にこめるところ
の，いわゆる命令・質問・叙述・応答などの内容のこと」と定義され，文の表
現形式と対応させている\cite{kokken:60}．また，人工知能や言語処理にお
いて対話理解の手法であるプラン認識では，意図は信念と同様話者の心的状態
であり，信念と欲求から作られる，「何かをするつもりである」ものとする．この
ように「意図」の定義はさまざまであるが，本論文での意図は，統語論におけ
る意図の考え方に近く「表層の情報から得られる調査者の回答者に対する態度」
とする．意図を判定する手がかりになる表現形式があると考え，表層的な情報
から意図の抽出および分類が行えると考えている．

近年，自然言語処理の分野においても，アンケートの設問に対してどのような
ことが回答されているかという観点から，すなわち回答者が何を答えているか
という観点から自由回答をデータとして言語処理を行う際の問題点が議論され
始めている\cite{lebart:98}．この流れは，従来のような高頻度語や内容語を
分析の手がかりとする分類手法では不十分であり，内容だけでなく内容に対し
て「どのように捉えているか」「どのように考えているか」といった回答者の
意図を把握するための分類を行う必要があることを示している．

\begin{figure}[t]
\begin{center}
\leavevmode
\epsfile{file=clip001.eps,width=\columnwidth}
\caption{自由回答アンケートからの意図抽出処理アプローチ}
\label{fig:figure1}
\end{center}
\end{figure}

以上を踏まえ，本研究では\fig{figure1}に示したように，内容を表す名詞だ
けでなく，自由回答に現れた文末表現や接続表現に着目し，分析的に研究を進
めている\cite{inui:98:a,inui:01:a,inui:01:b}．\cite{inui:01:a} では，
文末表現の類型を意味の違いと単純に結びつけずに，回答に対して「てほしい」
という表現を加えた文に言い換えることができるかどうかによる判定を導入す
ることによって表層の表現にこだわらず，回答者の要求意図を特定する方法を
提案している．また，\cite{inui:01:b}では，人の推論プロセスを規則化する
ことにより，要求意図が明示されていない意見から要求意図を取り出す方法に
ついて提案している．同時に，学習を用いた自動分類の可能性についても研究
を進めている\cite{inui:98:b,inui:01:c}．このように本研究では，人手によ
る分析・規則作成の手法と統計的手法を並行して進めながら自由回答から回答
者の意図を抽出する手法について，より適切な処理を目指している．また，
\fig{figure1}の曲線矢印に示すように，それぞれの作業プロセスの結果をフィー
ドバックしている．

本論文では回答者の意図を考慮した統計的手法による自動分類についての実験
とその結果の考察について報告する．自由回答テキスト約1000文に対し，タグ
付与実験によって決めた賛成，反対，要望・提案，事実といった，回答が意図
するタグ（以下「意図タグ」と呼ぶ）を各回答文に付与する．これらのデータ
に対し表層表現の類似性に着目することによって，最大エントロピー法（ME法）
を用いた分類実験を行う．分類結果をもとに，自由回答テキストから回答者の
意図を抽出し分類するための手がかりとなる表現，および表現間の関係につい
て考察する．

\section{自由回答とは}
\label{sec:enquete}

本章では，アンケート調査および自由回答，自由回答に関する研究ならびに自
由回答の分類・分析に関する社会的ニーズについて述べる．

\subsection{アンケート調査の方法と自由回答}

冒頭にも述べたように，アンケート調査はさまざまな社会的問題を解決するた
めの手段である．アンケート調査を実施する際には，調査目的をはじめとする
さまざまな制約に照らし合わせ，下記の要素を選択することが必要である．

\begin{itemize}
\item アンケート調査の目的
\item 調査の内容（意識調査，行動調査）
\item 調査対象（個人，世帯，法人）
\item 調査の実施方法（面接調査，郵送調査，電話調査）
\item 回答の形式（選択型，自由回答型）
\end{itemize}

調査の目的すなわち問題解決の種類からアンケートを分類すると，
\tab{enquete_type}に示した7タイプを挙げることができ\cite{arima:87}，
これは，調査の実施方法や回答の形式を決定する際にも大きく影響する．

実施方法については，面接調査・郵送調査・電話調査の三種がおもに行なわれ
ている．これらの調査に関する回答や観察結果を記録するのが調査票であり，
調査票における回答様式の一形態が自由回答である．回答様式には，回答の自
由な形式と限定される形式がある．限定される形式ではyes-no質問型に代表さ
れる2項選択型や，複数の選択肢を用意した多肢選択法・分類法・一対比較法・
SD法などがある．
\begin{table}[t]
\begin{center}
\leavevmode
\caption{アンケート調査のタイプ\cite{arima:87}}
\label{tab:enquete_type}
\begin{tabular}{|l|l|l|}
\hline
&\multicolumn{1}{c|}{アンケート調査の目的}
&\multicolumn{1}{c|}{調査例}
\\ \hline \hline
\cir{1}
&基礎的な統計資料を得るため
&国勢調査，官公庁の事業所統計
\\ \hline
\cir{2}
&問題発見のため
&ブランドリサーチなどの市場調査
\\ \hline
\cir{3}
&問題の原因や構造を解明するため
&さまざまな意識調査
\\ \hline
\cir{4}
&問題の解決策を探るため
&製品・サービスの開発戦略のための消費者調査
\\ \hline
\cir{5}
&問題の解決策を選択するため
&広告コピー決定のための広告調査
\\ \hline
\cir{6}
&問題の解決策の実行可能性を探るため
&新商品の試用テスト，嗜好テスト
\\ \hline
\cir{7}
&予測のため
&選挙の結果予測，商品の需要予測
\\ \hline
\end{tabular}
\end{center}
\end{table}
回答の自由な形式には，言語連想法・文章完成法の形式とともに自由回答法が
ある\cite{tsuzuki:75}．

一般に，回答が限定される方式では，回答のしやすさ，質問の意味の通じやす
さ，データ解析の容易さにおいて利点がある．したがって，
\tab{enquete_type}の\cir{1}に示した基礎的な統計資料を得るために行うア
ンケートをはじめとして，多くのアンケート調査は選択型回答が採用される．
自由回答では回答の特徴が選択型回答と逆に現れるので，欠点として，回答し
にくいために無回答が増える，的外れの回答がある，コーディングに時間がか
かるといった問題が挙げられる\cite{tsuzuki:75,asai:87,arima:87}．また，
自由回答のコーディングは，人手作業の手間の問題だけでなく，結果の解釈に
関する調査者の主観についても指摘されている\cite{tsuzuki:75}．このため，
自由回答は選択型アンケート調査の予備調査としてか，あるいは，
\tab{enquete_type}の\cir{2}や\cir{4}に示したような問題発見に多く利用さ
れてきた．

\subsection{自由回答のコーディング}

アンケートのコーディングは次の三段階の作業過程から成り立っている
\cite{tsuzuki:75}．

\begin{enumerate}
\item 回答に対する分類カテゴリの決定
\item 各分類カテゴリに対する記号の決定とコード表の作成
\item 集計カード・コーディング表の作成と回答の記号化作業
\end{enumerate}

分類カテゴリ上記のコーディング過程のうち，もっとも重要なのは(1)の分類
カテゴリの決定と言われており，とくに自由記述形式の分類では，分類カテゴ
リを発見，構成すること自体が研究目的となることもある．

分類カテゴリの決定において，分類を行う目的となるのは原則的に，i) 自由
記述形式のアンケート，ii) 探索的研究（\tab{enquete_type}の
\cir{4}\cir{6}）のアンケートの二点と言われている\cite{tsuzuki:75}．前
者では回答から「典型」を抽出・発見し，出現頻度に関係のないカテゴリの型
を区別すること，すなわち分類カテゴリの樹立そのものが重要である．後者で
は出現頻度とも関連させた「意味のある傾向」を得ること，すなわちデータマ
イニングから特定の分類カテゴリを得ることが重要である．

分類カテゴリを作成するにあたっては，その作成過程において仮説検証的な作
業を繰り返す．すなわち，機能的分類と演繹的分類を繰り返し行うことにより
調査目的に適った分類カテゴリを作成していく．一般に，探索的研究において
は自由記述形式のアンケートを行うことが多いが，この対応は必然ではなく，
むしろコーディング過程では区別すべき点である．自由回答のコーディングは
これら一連の作業過程に大きなコストがかかるため，先に述べたとおり，本研
究ではコーディング支援のための分類を目標としている．

また，分類カテゴリの決定については，あくまで原則であり，調査の目的およ
びデータの性質などに依存するため，唯一決定的なものが存在するわけではな
いことも言及されている\cite{tsuzuki:75}．

\subsection{自由回答に関する研究}
\label{ssec:related_work}

研究の手法として社会調査が盛んである社会科学系の研究分野および心理学系
の研究分野では，自由回答は重視されてこなかった．しかし，すでに述べたよ
うに，自由記述型アンケートの回答を意見集約や問題解決の材料とするニーズ
は高まってきており，近年，自由回答の分析方法に対する自動・半自動
処理の検討も盛んになってきた\cite{oosumi:97,hitachi:00,takahashi:00}．
従来の自由回答に関する研究は，分析の対象が自由回答であっても，分類・分
析の手法は手作業が中心であったり\cite{suga:97}，回答の内容語を手がかり
に半自動的に行われたりするものである\cite{oosumi:97}．これらの研究はキー
ワードに着目した内容分類，すなわち従来のテキスト分類に近い．
社会学分野において自動分類を目指した研究に，言語処理技術を用いて格フレー
ムを利用した職業コード自動分類システムの開発がある\cite{takahashi:00}．
ここで対象とする自由回答は一語もしくは比較的単純な構造の一文であり，取
り出す情報は名詞を中心としている．

また，言語処理分野においては統計的学習手法を用いてテキストマイニングを
行っている研究がある\cite{li:01}．本研究では，回答者の意図を分類するこ
とを目的としているのに対し，李らの研究では，ある回答の記述対象に対する
特徴表現を取り出すことを目的としている．回答の対象（例えば「車」）につ
いての自由回答に現れた頻度の高い単語と，その回答が属するカテゴリ（例え
ば「ブランド」）との相関関係から分類ルールと相関ルールという二種類の規
則を学習する．この学習は，分類ルールとして取り出されたキーワードとその
特徴的な強さ，および頻度という構造をもった確率分布のクラスから統計的モ
デル選択を行うことに相当する．これにより，頻出単語でなく，ある分析対象
の特徴イメージを取り出している．

先に述べたように，現在進められている自由回答の自動分類に関する研究は萌
芽的なものであるが，自由回答に関する分類・分析手法への期待は近年高まっ
てきている．例えば，都市計画や交通計画において計画主体側が住民の意見を
広く収集するような場合である．このように計画主体側が住民側に働きかけて，
計画の策定に関与してもらうプロセスをパブリック・インボルブメント（PI）
という．
本研究で対象にした自由回答テキストもPI方式によるアンケート調査の回答で
ある．計画の初期に市民に関心を持ってもらう，また計画の実現段階で市民の
意見を計画に反映させるなどの目的でさまざまなパブリック・インボルブメン
ト手法が提案・検討されており，そのひとつに意識調査がある．この意識調査
は，標本抽出などを行わないインフォーマルな形式でのアンケートとして実現
されることもある\cite{saishu:98}．現在のところパブリック・インボルブメ
ントの方法および効果と，アンケートの方法・形式との関係はまだ十分議論さ
れていない．自由記述型アンケートの設計方法やその回答テキストを効率的に
処理する方法は，今後この分野において議論が高まると考えられる．

\subsection{本研究で用いた自由回答テキスト}

本研究で対象とした自由回答テキストについて説明する．われわれが使用した
ボイス・レポートとは，道路審議会基本政策部会「21世紀の道を考える委員会」
が平成8年5月から7月に実施したアンケート調査の自由回答である．将来的な
道路計画に市民の声を活かす目的で行われた調査で，回答人数35,674人，回答
数（意見数）113,316件の大規模調査である．意見は，ハガキ，封書，FAX，電
子メールによる回答の他，ホームページへの書き込みによって集められている．

\begin{figure}[t]
\begin{center}
\leavevmode
\epsfile{file=clip002.eps,width=.6\columnwidth}
\caption{対象としたアンケート調査の質問形式}
\label{fig:figure2}
\end{center}
\end{figure}

質問形式は\fig{figure2}に示したように，あらかじめ設定された12個の交通
に関連するテーマから回答者が関心の高いものを選択し回答する．回答形式は
120字程度の文字を記入できる回答欄に自由に意見を書くことができ，書きき
れない場合は別紙に記入できる自由記述形式である．しかし，\fig{figure2} 
の下部に示したように，各テーマに対して4〜5個の参考意見およびグラフや図
などの参考資料が提示されているため，選択型設問形式の性質も帯びている．
例えば，「Aさんに賛成」「Bさんの意見に同感」といった選択型回答に近い回
答例があり，これらは全体の1\,\%程度を占めている．

\section{意図タグの作成}

ここでは，本研究における自由回答テキストの分類手法について述べる．本論
文の冒頭で述べたように，自由回答テキストの分類では賛成，反対，提案といっ
た回答ごとの意図によって分類することが重要である．そこで，分類タグを定
義し，そのタグをテキストに自動付与することにより意図に基づく回答の分類
を行う．次節では，まず，分類タグの決定および決定のための試行実験につい
て述べる．ここで決定されたタグを意図タグ，また意図タグの付与されたデー
タを意図タグつき正解データと呼ぶ．\ssec{answer}では意図タグつき正解デー
タについて説明する．

\subsection{意図タグ決定のプロセス}
\label{ssec:process}

意図タグを決定するにあたり，まず，1) どのようなタグを用意するのか，ま
た，2) どのような単位に対して付与するのか，などの検討が必要である．し
かし，先に述べたように自由回答をどのように分類すべきかに関する十分な知
見がまだない．また，自由回答の分類にあたっては，調査者が必要とする分類
カテゴリを作成することが重要と考える．したがって，本研究では，アンケー
トの実施側になりうる都市計画・交通計画の研究者へのヒアリングをもとに，
アンケート分類の初期段階として，少なくとも「賛成」「反対」「提案」の区
別を可能にすることを目標とした．そして，タグ付与実験を行い，その結果か
ら試験的に意図タグを決定した．


\begin{table}[t]
\begin{center}
\leavevmode
\caption{タグ付与例}
\label{tab:tagging_example}
\begin{tabular}{|l|c|l|l|l|}
\hline
\multicolumn{1}{|c|}{例文}
&\multicolumn{1}{c|}{作業者}
&\multicolumn{1}{c|}{タグ1}
&\multicolumn{1}{c|}{タグ2}
&\multicolumn{1}{c|}{タグ3}
\\ \hline \hline
たとえば，見通しの良い道路空間，
&\multicolumn{1}{c|}{A}
&{\bf 提案}
&具体案
&例示
\\ \cline{2-5}
曲線が緩やかな道路線形，トンネル
&\multicolumn{1}{c|}{B}
&意思表示
&方策の{\bf 提案 }
&具体案の{\bf 提案}
\\ \cline{2-5}
内の照明をもっと明るく，幅員も余
&\multicolumn{1}{c|}{C}
&予定
&要望
&新規{\bf 提案}
\\ \cline{2-5}
裕あるものとする．
&\multicolumn{1}{c|}{D}
&例示
&主張
&{\bf 提案}:主張:具体:直接
\\ \hline
\end{tabular}
\end{center}
\end{table}


タグ付与実験では\tab{tagging_example}に示すように，100文のテストデータ
を対象に，筆者ら4人が作業者A〜Dとして個別に，「賛成」「反対」「提案」
以外のタグの種類は固定せず自由に意図タグ付与の試行実験を行った．また，
回答の表現に左右されずに回答者の意図をタグとして表現するよう留意した．
タグを付与する範囲は，一回答中に複数の文が含まれていれば，それぞれの文
に意図タグを付けた．意図タグを一回答ごとではなく回答中の一文ごとに付与
したのは，あるテーマに対する一つの自由回答にも賛成意見や部分的な反対意
見，また提案など複数の意図が含まれているためである．また，本論文では，
回答中の談話構造を考慮していないため回答文ごとに付与した．さらに，意図
のタグを各文一つに決定するのではなく，観点が異なる場合を考慮して3個ま
でつけられるようにした．3個の区別は，作業者それぞれによって異なり，a) 
文の表層的な意味と回答者の意図，b) 意図の詳細化，c) 異なる観点による意
図，など違いがあった．この試行実験のタグ付与テキストを各作業者が持ち寄
り，検討した結果，\tab{tagging_example}のボールド体で示されるよう
に共
通して記述された意図を意図タグとした．例えば，\tab{tagging_example}に
見られるように，同じ例文に対して作業者全員が共通して記述した「提案」を
この例文の意図タグとした．この検討によって，6個の意図タグと下位分類タ
グを用意することにした．\tab{intention_tag}に意図タグの種類と各タグの
説明を記述する．


\begin{table}[t]
\begin{center}
\leavevmode
\caption{意図タグ}
\label{tab:intention_tag}
\begin{tabular}{|ll|l|}
\hline
\multicolumn{2}{|c|}{意図タグおよび下位タグ}
&\multicolumn{1}{|c|}{タグの説明}
\\ \hline \hline
メタ & &アンケート自体に言及したもの \\ \hline
\multicolumn{2}{|l|}{賛成} &賛意を示したもの \\ \cline{3-3}
&個人 &Aさん，Bさんなど参照意見に対する賛意 \\ \cline{3-3}
&政策 &政策一般に対する賛意 \\ \hline
\multicolumn{2}{|l|}{反対} &反意を示したもの \\ \cline{3-3}
&個人 &Aさん，Bさんなど参照意見に対する賛意 \\ \cline{3-3}
&政策 &政策一般に対する賛意 \\ \hline
\multicolumn{2}{|l|}{要望・提案} &なんらかの要求があるもの．また，なんらかの案を示したもの \\ \cline{3-3}
&具体 &要望や提案が具体的なもの \\ \cline{3-3}
&抽象 &要望や提案が抽象的なもの \\ \hline
\multicolumn{2}{|l|}{事実} &事実あるいは事実の認識を述べたもの \\ \cline{3-3}
&ポジティブ &捉え方が肯定的なもの \\ \cline{3-3}
&ネガティブ &捉え方が否定的なもの \\ \cline{3-3}
&中立 &捉え方が中立的なもの \\ \cline{3-3}
&主張 &意見の個人性が強いもの \\ \hline
\multicolumn{2}{|l|}{疑問} &表層的に疑問文であるもの \\ \hline
\end{tabular}
\end{center}
\end{table}


\sec{enquete}で述べたように，自由回答の分類では，分類カテゴリ自体をど
のように作成するかが重要であり，仮説検証的な分類を繰り返し行う．したがっ
て，実験的に作成した\tab{intention_tag}のカテゴリは最終的な分類結果で
はない．しかし，ここでは，1) 調査者側の立場からのヒアリング，および 2) 
複数の作業者による実験的作業によって決定されたタグであることから，これ
らを採用し意図タグとする．また，ME法を用いたことにより，これらのカテゴ
リの元で分類された実験結果からカテゴリと回答の表現との対応を分析したう
えで，分類カテゴリを再定義することができる点は自由回答のコーディング支
援に適しているといえる．


\begin{table}[t]
\begin{center}
\leavevmode
\caption{意図タグ付き正解データ}
\label{tab:data_collection}
\begin{tabular}{|l|l|l|}
\hline
\multicolumn{1}{|c|}{意図タグ}
&\multicolumn{1}{c|}{下位タグ}
&\multicolumn{1}{c|}{タグが付与されるテキスト事例} \\ \hline \hline
メタ
& &テーマ番号2以降の内容と重複するので回答が難しい． \\ \cline{3-3}
& &もう一つ，自動返信メールの記載例から罫線は削除してください． \\ \cline{3-3}
& &この設問は生活道路についての質問と理解する． \\ \hline
賛成
&個人 &BさんとCさんの意見に賛成です． \\ \cline{3-3}
&     &A，Dに同意． \\ \cline{2-3}
&政策 &さらに，今21世紀のみちを考える委員会が実施しているやり方に非\\
&     &常に共鳴できます． \\ \hline
反対
&個人 &Bさんの意見に異論． \\ \cline{3-3}
&     &レポートにあるCの意見は傲慢です． \\ \cline{2-3}
&政策 &道路の景観について，国ベースで考え方を規制する考え方には賛成\\
&     &できない． \\ \hline
要望・提案
&抽象 &高齢者の運転機会が増大するため，高齢者の運動能力を考慮しきび\\
&     &しい運転環境を改善する． \\ \cline{3-3}
&     &そろそろ車から人に道路を取り戻しませんか． \\ \cline{2-3}
&具体 &お互いのマナーの向上ももちろんですが，通学路など特に自転車も\\
&     &歩行者も多いようなところには歩道の脇に自転車専用の道を設けて\\
&     &いただければと思います． \\ \cline{3-3}
&     &徹底的に違法駐車の取り締まりを行うべき． \\ \hline
事実
&ネガティブ &信号さえも車中心で道路を渡るのに何分も待たされる．\\ \cline{2-3}
&ポジティブ &そしてPARIS内のそれぞれの方向を示す標識があり，その掲示板，\\
&           &文字の大きさ共非常に大きく判りやすい． \\ \cline{2-3}
&中立 &横断歩道用信号の時間は，高齢者には短過ぎ，青になった直後に渡\\
&     &り始めても到着できないことがあります． \\ \cline{2-3}
&主張 &夜間は昼間より見通しが悪いのですから，少なくとも昼間と同じス\\
&     &ピードでなければならないのに，空いているからとスピード違反を\\
&     &する車が大半です． \\ \hline
疑問
& &交通渋滞等を把握するシステムは完備しているが，信号の管理シス\\
& &テムはもう一つ未解決のところがあるのでは? \\ \cline{3-3}
& &アメリカのようにプロジェクトチームを作り，期限を決めた上で成\\
& &果を出すというスタイルは出来ないのか? \\ \hline
\end{tabular}
\end{center}
\end{table}

\subsection{意図タグ付き正解データの作成}
\label{ssec:answer}
912文の自由回答テキストに対して，\ssec{process}で定めた意図タグを付与
した．これを意図タグ付き正解データと呼ぶ．\tab{data_collection}に各タ
グに対するテキスト事例を示す．

\tab{data_collection}に示した「Bさんに異論．」を例に，意図タグの付与に
ついて述べる．「Xに異論」の「X」を回答内容，「に異論」の部分を回答者の
態度とみなした場合，本論文では「に異論」といった回答者の態度に基づいて
タグを付与している．したがって，回答文「Xに異論」には「反対」のタグが
付与される．
本論文では，タグ付与によって「X」に該当する回答内容を明らかにすること
は対象としていないが，手法としてはタグを再定義することにより可能である．

\section{最大エントロピー法（ME法）を用いた学習および分類実験}

テキストの自動分類には，1) テキストの表層的な統計情報を用いた手法と，
2) シソーラスや辞書など人手で作成された言語知識の意味体系を用いた手法
がある．上述のとおり，現在のところ，回答の意図を知るための，意図と表現
形式を結びつけるような意味体系は存在しない．したがって，本研究では
\fig{figure3}に示したように，表層的な統計情報を用いて，前章で決定した
意図タグを自由回答テキストの分類先とする分類実験を行う．

\begin{figure}[t]
\begin{center}
\leavevmode
\epsfile{file=clip003.eps,width=.6\columnwidth}
\caption{自由回答の自動分類に関するシステム設計}
\label{fig:figure3}
\end{center}
\end{figure}

本章では，意図タグ付き正解データから各意図タグの特徴表現である素性とし
てのN-gramを自動抽出し，さらに意図タグ付き正解データから，素性を付与し
た訓練データを自動的に作成する方法について説明する．訓練データから統計
情報を学習する際には，最大エントロピー法を用いる．学習によるテキスト分
類の研究には，決定木を使ったものもあるが\cite{nakano:98}，本研究では，
高い精度を安定して出せることが期待できる最大エントロピー法を使っている．
しかし，今回，学習アルゴリズムを替えての精度比較は行っていない．自由回
答テキストの自動分類の可能性を確認する目的で利用している．以下，
\fig{figure3}の流れに従って，学習と分類実験について述べる．

\subsection{素性の抽出と訓練データの作成}
\label{ssec:data_preparation}

\ssec{answer}で説明した意図タグ付き正解データからN-gram抽出によって素
性を取り出す．後で詳しく述べるが，素性はME法によって学習される意図タグ
付き正解データにおいて，各意図タグを付与された回答文の特徴にあたる．素
性として，1〜15文字までの任意の連続文字列（N-gram）を使い，意図分類の
キーになるような表現を学習によって取り出している．例えば，「要望・提案」
という意図タグのついた「徹底的に違法駐車の取り締まりを行うべき」という
例文では，「徹／徹底／徹底的／...／底／底的／...／うべき／べ／べき／き」
などが素性として自動的に取り出される．また，文末情報は重要であると判断
し，文末に「\$」を挿入している．つまり文末の文字列は，文中の文字列と区
別してとらえることができる（例「のでは\$」）．また，文末の句点の有無は
回答によって異なるので，書式を統一させるために省いている．実際には，
912文の意図タグ付き正解データに現れた，5回以上出現のすべてのN-gramを素
性として約300種類（平均282個）を用意した．対象とした学習データのデータ
量が少ないため，5回以上出現の素性に絞っている．

ME法を用いた学習部への入力データとなる訓練データは，意図タグつき正解デー
タに対して，ここで抽出された素性が各文に出現しているかどうかを自動的に
調べその結果を表としたものである．\tab{training_data}に示すように，人
手で付与されたタグが1または0の値で表されている．回答テキストの事例に対
して該当する意図タグが1，そうでないタグは0である．意図タグは一回答文に
対して一つ付与されているため，1の値が複数与えられることはない．右側の
項目列はN-gram抽出によって取り出された素性で，事例の中に現れていれば1，
そうでなければ0が与えられる．


\begin{table}[t]
\begin{center}
\leavevmode
\caption{訓練データ例}
\label{tab:training_data}
\begin{tabular}{l|c@{}c@{}c@{}c@{}c@{}c|c@{}c@{}c@{}c@{}c@{}c@{}c@{}c}
\multicolumn{1}{c|}{事例}
&\multicolumn{6}{c|}{意図タグ}
&\multicolumn{8}{c}{素性}\\
&メ, &賛, &反, &要, &事, &疑
&Cさん, &に賛成\$, &賛, &べき\$, &締, &の, &です, &ていま \\ \hline \hline
Aさんに賛成です．
&0 &1 &0 &0 &0 &0
&0 &1 &1 &0 &0 &0 &1 &0 \\ \hline
Cさんの意見に賛成．
&0 &1 &0 &0 &0 &0
&1 &1 &1 &0 &0 &1 &0 &0 \\ \hline
違法駐車の取り締まりを行うべき．
&0 &0 &0 &1 &0 &0
&0 &0 &0 &1 &1 &1 &0 &0 \\ \hline
ドイツの厳格さを見習うべきである．
&0 &0 &0 &1 &0 &0
&0 &0 &0 &1 &0 &1 &0 &0 \\ \hline
事故が増えています．
&0 &0 &0 &0 &1 &0
&0 &0 &0 &0 &0 &0 &0 &1 \\
\multicolumn{15}{c}{:}
\end{tabular}
\end{center}
\end{table}


素性としてN-gramを抽出した理由は，新聞記事と異なり自由回答テキストには
表現形式に個人差や表現のゆれなどが現れやすいためである．例えば「〜しな
ければならない」という表現に対して，等価の意味の「しなくてはならない」
だけでなく，自由回答テキストでは「しなくちゃならない」「しなきゃならな
い」「しなくては」「しなきゃ」「しなければ」など様々な表現のバリエーショ
ンが回答に現れるため，あらかじめ形態素辞書などに登録しておくことが難し
い．なお，N-gramを用いたテキスト分類には，Eメールの分類を目的にした研
究がある\cite{cavnar:94}．メールにおけるスペルミスや文法誤り，またOCR 
でテキストを読み込む際の認識誤りなどに対処するためにN-gramが利用されて
いる．

\subsection{ME法による学習}
\label{ssec:learning}
この節では自由記述テキストの各回答文（事例）に付与するべき意図タグの尤
もらしさを計算するモデルについて述べる．われわれはこのモデルをMEモデル
として実装した．

MEモデルでは，確率分布の式は以下のように求められる．文脈の集合を$B$，
出力値の集合を$A$とするとき，文脈$b (\in B)$で出力値$a (\in A)$となる
事象$(a,b)$の確率分布$p(a,b)$をMEにより推定することを考える．出力値$a$
は$n$個の出力値$a_{i}~(1 \le i \le n)$のいずれかであるとし，文脈$b$は
$k$ 個の素性$f_{j}~(1 \le j \le k)$の集合で表す．そして，文脈$b$におい
て，素性$f_{j}$が観測されかつ出力値$a$が$a_{i}$となるときに1を返す以下
のような関数を定義する．


\begin{eqnarray*}
g_{i,j}(a,b) &= &\left\{\begin{array}{ll}
1 & ({\rm if}~exist(b,f_{j})=1~~\&~~a=a_{i}) \\
0 & (それ以外) \\
\end{array} \right.
\end{eqnarray*}

これを素性関数と呼ぶ．ここで，$exist(b, f_{j})$は，文脈$b$において素性
$f_{j}$が観測される場合に1を返す関数とする．われわれの場合，素性として
は文を構成するN-gramを用いる．例えば，素性関数として次のようなものを用
いる．詳しくは次節で述べる．


\begin{eqnarray*}
g_{i,j} &= &\left\{\begin{array}{ll}
1 & ({\rm if}~exist(b,f_{j})=1,~f=$``さんに賛成''$~~\&~~a=$``賛成''$) \cr
0 & (それ以外) \\
\end{array} \right.
\end{eqnarray*}

次に，それぞれの素性が既知のデータ中に現れた割合は未知のデータも含む全
データ中においても変わらないとする制約を加える．つまり，推定するべき確
率分布$p(a,b)$による素性$f_{j}$の期待値と，既知データにおける経験確率
分布$\tilde{p}(a,b)$による素性$f_{j}$の期待値が等しいと仮定する．これ
は以下の制約式で表せる．

\begin{eqnarray*}
\sum_{a \in A, b \in B} p(a,b)\,g_{i,j}(a,b) &= &\sum_{a \in A, b \in B}
\tilde{p}(a,b)\,g_{i,j}(a,b)~~~for~~ \forall i \forall j
\end{eqnarray*}

この式で，$p(a,b)=p(b)\,p(a|b)=\tilde{p}(b)\,p(a|b)$という近似を行い以
下の式を得る．

\begin{eqnarray}
\sum_{a \in A, b \in B} \tilde{p}(b)\,p(a|b)\,g_{i,j}(a,b) &= &\sum_{a
\in A, b \in B}\tilde{p}(a,b)\,g_{i,j}(a,b)~~~for~~\forall i \forall j
\label{eq:eq4}
\end{eqnarray}
ここで，$\tilde{p}(b)$，$\tilde{p}(a,b)$は，$freq(b)$，$freq(a,b)$をそ
れぞれ既知データにおける事象$b$の出現頻度，出力値$a$と事象$b$の共起頻
度として以下のように推定する．

\begin{eqnarray*}
\tilde{p}(b) &= &\frac{freq(b)}{\sum_{b \in B}freq(b)}
\end{eqnarray*}

\begin{eqnarray*}
\tilde{p}(a,b) &= &\frac{freq(a,b)}{\sum_{a \in A,b \in B}freq(a,b)}
\end{eqnarray*}
次に，\eq{eq4}の制約を満たす確率分布$p(a,b)$のうち，エントロピー

\begin{eqnarray*}
H(p) &= &-\sum_{a \in A, b \in B}\tilde{p}(b)\,p(a|b)\,\log(p(a,b))
\end{eqnarray*}
を最大にする確率分布を推定するべき確率分布とする．これは，\eq{eq4}の制
約を満たす確率分布のうちで最も一様な分布となる．このような確率分布は唯
一存在し，以下の確率分布$p^{\ast}$として記述される．

\begin{eqnarray}
p^{\ast}(a|b) =
\frac{\prod_{i,j}\alpha_{i,j}^{g_{i,j}(a,b)}}{Z_{\alpha}(b)}~~~(0<\alpha_{i,j}\le\infty)
\label{eq:eq8}
\end{eqnarray}

\begin{eqnarray*}
Z_{\alpha}(b) &= &\sum_{a}\prod_{i,j}\alpha_{i,j}^{g_{i,j}(a,b)}
\end{eqnarray*}
ただし，

\begin{eqnarray*}
\alpha_{i,j} &= &e^{\lambda_{i,j}}
\end{eqnarray*}
であり，$\lambda_{i,j}$は素性関数$g_{i,j}(a,b)$の重みである．この重み
は文脈$b$のもとで出力値$a$となることを予測するのに素性$f_{j}$がどれだ
け重要な役割を果たすかを表している．訓練集合が与えられたとき，
$\lambda_{i,j}$の推定にはImproved Iterative Scaling（IIS）アルゴリズム
\cite{pietra:95}が用いられる．ここでは，\eq{eq8}の導出については文献
\cite{berger:96,jaynes:59,jaynes:79}などを参照されたい．

\subsection{実験方法}

ここでは，実験の概要について説明する．\ssec{data_preparation}で説明し
た訓練データを入力として，ME法を用い，任意の入力に対して各意図タグが分
類先となる確率を学習する．分類実験では，912文の実験データに対して
N-gram抽出を行い，抽出したN-gramを素性として利用する．意図タグが分類先
となる確率の学習結果を用いて，その確率値がもっとも大きい意図タグを解と
する．

分類先の決定方法について述べる．着目する回答文にどの意図タグが付与され
るべきかについては，あらかじめ設定された閾値$\alpha$よりも解の確信度が
高いか等しい場合に，着目する意図タグを分類先とする．閾値は，0から1まで
の値をとる．解の確信度は，ME法で分類先を決定する際に算出される確率
$\beta$とする．すなわち，分類を決めるための判定条件は$\beta \ge
\alpha$ であり，この条件を満たす場合に解とする．解析結果のうち，もっと
も確率の値が大きい分類を解とする．\\
データ量が十分でないため，10分割のクロスバリデーションによる評価を行っ
ている．

\subsection{実験結果}

前節で述べたとおり，意図タグ付き正解データを訓練データとした学習結果を
用いて意図タグの分類実験を行った．結果は\tab{result}に示すとおりである．
\tab{result}は，実験方法を説明する際に述べた閾値が0の結果である．最左
列には分類先の意図タグが記されており，各意図タグに対する適合率および再
現率が示されている．タグ名の「要提」は「要望・提案」の略記である．意図
タグ全体に対するタグ付与結果は，再現率・適合率ともに76\,\%の精度が得られ
た．再現率は実験結果の正解数を意図タグ付き正解データのデータ数で割った
もの，適合率は実験結果の正解数をシステムが出力したデータ数で割ったもの
を示している．

ここで，意図タグのうち，もっとも頻度の高い事実タグの正解データ数420件
をデータ総数912件で割った値，すなわちすべてに事実というタグを付与した
際の正解の割合をベースラインとみなす．この場合，ベースラインの精度は 
46\,\%となる．われわれの手法の精度は76\,\%であったので，この手法はベースラ
インより精度が高いことがわかる．

疑問タグは適合率が81.3\,\%と比較的高い値が出ているのに対し，再現率は55.3
\,\%とやや低い．また，事実タグでは再現率に高い値が見られる．これらについ
ては後で考察する．四列目からは各意図タグの分類先の個数が示されている．
同じ意図タグの行と列が交差するセルに正しく分類された個数が示されている．
この誤りの傾向については，\sec{consideration}で考察する．


\begin{table}[t]
\begin{center}
\leavevmode
\caption{実験結果}
\label{tab:result}
\begin{tabular}{|l|r|r||r|r|r|r|r|r||r|}
\hline
&\multicolumn{1}{c|}{再現率(\%)}
&\multicolumn{1}{c||}{適合率(\%)}
&\multicolumn{1}{c|}{メタ}
&\multicolumn{1}{c|}{賛成}
&\multicolumn{1}{c|}{反対}
&\multicolumn{1}{c|}{要提}
&\multicolumn{1}{c|}{疑問}
&\multicolumn{1}{c||}{事実}
&\multicolumn{1}{c|}{正解データ}
\\ \hline \hline
メタ &0 &0 &0 &1 &0 &6 &0 &9 &16 \\ \hline
賛成 &83.3 &83.3 &0 &40 &0 &4 &0 &4 &48 \\ \hline
反対 &0 &0 &0 &4 &0 &2 &0 &7 &13 \\ \hline
要提 &77.7 &76.3 &0 &2 &1 &286 &4 &75 &368 \\ \hline
疑問 &55.3 &81.3 &0 &0 &0 &7 &26 &14 &47 \\ \hline
事実 &81.9 &75.9 &3 &1 &0 &70 &2 &344 &420 \\ \hline
\hline
総数 &76.3 &76.3 &3 &48 &1 &375 &32 &453 &912 \\ \hline
\end{tabular}
\end{center}
\end{table}


\begin{figure}[t]
\begin{center}
\leavevmode
\epsfile{file=clip004.eps,width=.6\columnwidth}
\caption{実験結果の再現率と適合率}
\label{fig:figure4}
\end{center}
\end{figure}

\begin{figure}[t]
\begin{center}
\leavevmode
\epsfile{file=clip005.eps,width=.6\columnwidth}
\caption{下位分類タグの分類結果}
\label{fig:figure5}
\end{center}
\end{figure}

\fig{figure4}のグラフは，閾値を0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7,
0.8, 0.9, 0.95, 0.98, 0.99とした場合の再現率と適合率を示している．閾値
を上げることにより，再現率が下がり適合率は上がっている．また，
\fig{figure5}に示すように，意図タグの下位分類については賛成および反対
が誰に対するものかを区分した「個人」「政策」のうち，閾値が0の際の再現
率および適合率が96.7\,\%（\fig{figure5}のC1），要望・提案の具体性・抽象
性を区分した
「具体」「抽象」の再現率および適合率が70.7\,\%（\fig{figure5}のC2），事
実の捉え方を区分した「ネガティブ」「ポジティブ」「中立」の再現率および
適合率が64.5\,\%（\fig{figure5}のC3），また，事実が事実的認識を述べたも
のか，回答者の主張であるかを区別した「事実」「事実（主張）」の再現率お
よび適合率が57.9\,\%（\fig{figure5}のC4）であった．

\section{考察}
\label{sec:consideration}

ここでは，自動的に意図タグ付与を正しく行った例（正解例）と誤った例（誤
り例）を比較分析することにより，今後，分類結果の精度を向上させるための
手がかりをさぐる．

意図タグ付与の正誤例を示した\tab{example}をもとに考察を進める．考察に
あたり，まず，\tab{example}の説明をする．事例を説明する際には，事例の
番号として表の最左列の番号を用いる．隣接する「出力」の列は，分類実験で
付与された意図タグである．このタグが正解であれば，「正誤」の列に「○」
が付いている．なお，\tab{example}でも「要望・提案」を「要提」と省略す
る．四列目の「正解」には，タグが正しく付与された場合に「出力」と同じ値
が，誤っている場合に意図タグつき正解データの値が示されている．「素性」
の列には，システムの出力に大きく影響した素性が記述されている．ここに示
した素性とは，\ssec{learning} の\eq{eq8}で，$a,b$がシステムの出力およ
び文脈のとき，$g_{i,j}$が1である素性$f_{j}$のうち$\alpha_{i,j}$の値の順で上位5個のものである．$\alpha_{i,j}$の大きさは素性の影響力を意味し，この値
が大きい素性を取り出している．「回答文」は実験対象の事例である．
\tab{effective_feat}は，システムが正しい解として出力した事例から，
\tab{example}に挙げた上位5個の素性の頻度統計を求めたもので，意図タグ，
頻度，素性の三項目を三列並べている．例えば，一列目最初の「事実, 36,は」
は，システムの出力および付与した正解の意図タグがともに「事実」であった
事例のうち，36個の事例で素性「は」が$\alpha$の値の順で上位5個以内にあったこと
を意味している．\tab{effective_feat}は，このような正解の出力に大きく影
響を与えた素性のうち，上位36個の頻度の高かった素性を示したものである．


\begin{table}[t]
\begin{center}
\leavevmode
\caption{実験結果の正誤例}
\label{tab:example}
\begin{tabular}{|@{}c@{}|@{~}c@{~}|@{~}c@{~}|@{~}c@{~}|l|l|}
\hline
No. &出力 &正解 &正誤
&\multicolumn{1}{@{~}c@{~}|}{素性}
&\multicolumn{1}{@{~}c@{~}|}{回答文}
\\ \hline \hline
1  &疑問 &疑問 &○
&か\$，うか\$，るの，うか，る
&歩道は，障害物がなくて初めて安全な道となる
\\
&&&
&のでは
&のではないでしょうか．
\\ \hline
2  &疑問 &疑問 &○
&か\$，うか\$，うか，では，
&地域地域の特性によるのではないでしょうか．
\\
&&&
&ょうか\$
&
\\ \hline
3  &疑問 &疑問 &○
&C, Cさんの，B，賛成です\$，
&BさんとCさんの意見に賛成です．
\\
&&&
&成です\$
&
\\ \hline
4  &賛成 &賛成 &○
&同，A，D，意
&A，Dに同意
\\ \hline
5  &事実 &事実 &○
&月，いる\$，ている\$，と言，
&ドイツ，ミュンヘンでの新空港建設には，多く
\\
&&&
&経
&の年月，裁判等を経てきたと言われている．
\\ \hline
6  &事実 &事実 &○
&のは，るのは，です\$，多く，
&これから高齢者の割合が多くなるのは明らかで
\\
&&&
&す\$
&す．
\\ \hline
7  &事実 &事実 &○
&やす，も，ありません\$，
&せっかくある歩道も，乳母車やホイールチェア
\\
&&&
&ません\$，せん\$
&で使用しやすい状況ではありません．
\\ \hline
8  &要提 &要提 &○
&街，べきであ，きであ，べき，
&また，細街路での違法駐車を制限すべきであろ
\\
&&&
&制
&う．
\\ \hline
9  &要提 &要提 &○
&する\$，関，しては，違反，
&駐車違反に関しては民間に委託する．
\\
&&&
&民
&
\\ \hline
10 &要提 &要提 &○
&必要\$，要\$，の道，も必要，
&過疎対策の道作りも必要．
\\
&&&
&策
&
\\ \hline
11 &要提 &要提 &○
&流通，通を，化，する\$，
&流通を鉄道と協同化するとか，不必要な車を使
\\
&&&
&にする
&わないようにする．
\\ \hline
12 &要提 &要提 &○
&度の，構，造，化，構造
&生活道路の速度規制および速度の出せない構造
\\
&&&
&
&化．
\\ \hline
13 &要提 &要提 &○
&を図る\$，図る\$，を図る，
&）（自動車および交通側からみた意見）○自動
\\
&&&
&を図，図る
&車自体の改善を図る．
\\ \hline
\hline
14 &疑問 &要提 &×
&か\$，のでは，いの，では，
&揮発油税の一部を情報ハイウエーの構築に役立
\\
&&&
&いので
&ててもいいのではないでしょうか．
\\ \hline
15 &賛成 &反対 &×
&Bさん，Bさ，B，さん，さ
&Bさんの意見に異論．
\\ \hline
16 &事実 &要提 &×
&前，の手，前に，ません\$，
&21世紀の道作りに取り掛かる前に，まず，今
\\
&&&
&せん\$
&すぐ出来ること，横断歩道の手前に段差をつけ
\\
&&&
&
&ることに取り組んでいただきたいと願ってや
\\
&&&
&
&みません．
\\ \hline
17 &事実 &要提 &×
&くす，電，なる\$，ラ，なる
&終電を遅くすれば，朝ラッシュの道路負荷は少
\\
&&&
&
&し軽くなる．
\\ \hline
18 &要提 &事実 &×
&考えられ，考えら，する\$，
&○人が集中すると中心部で働いて郊外に住むよ
\\
&&&
&化，集
&うになると考えられ，住環境が悪化する．
\\ \hline
19 &要提 &事実 &×
&する\$，れが，を，く，道
&それが，道路負荷を軽くする．
\\ \hline
\end{tabular}
\end{center}
\end{table}



\begin{table}[t]
\begin{center}
\leavevmode
\caption{正解の出力に寄与した素性のうち高頻度のもの}
\label{tab:effective_feat}
\begin{tabular}{|c|c|l||c|c|l||c|c|l|}
\hline
意図 &頻 &\multicolumn{1}{c||}{素性}
&意図 &頻 &\multicolumn{1}{c||}{素性}
&意図 &頻 &\multicolumn{1}{c|}{素性}
\\
タグ &度 &
&タグ &度 &
&タグ &度 &
\\ \hline \hline
事実 &36 &は       &事実 &15 &タ         &賛成 &15 &D      \\ \cline{2-3}\cline{5-9}
     &31 &です\$   &     &15 &的         &要提 &26 &する\$ \\ \cline{2-3}\cline{5-6}\cline{8-9}
     &28 &のは     &     &13 &いる\$     &     &20 &べき   \\ \cline{2-3}\cline{5-6}\cline{8-9}
     &26 &た\$     &     &13 &ています\$ &     &17 &化     \\ \cline{2-3}\cline{5-6}\cline{8-9}
     &25 &無       &     &13 &ている\$   &     &15 &き\$   \\ \cline{2-3}\cline{5-6}\cline{8-9}
     &20 &日       &     &13 &とい       &     &15 &べき\$ \\ \cline{2-6}\cline{8-9}
     &18 &不       &疑問 &15 &?          &     &15 &構     \\ \cline{2-3}\cline{5-6}\cline{8-9}
     &17 &す\$     &     &14 &?\$        &     &15 &特     \\ \cline{2-3}\cline{5-6}\cline{8-9}
     &17 &せん\$   &     &11 &か         &     &14 &るべき \\ \cline{2-6}\cline{8-9}
     &16 &ません\$ &賛成 &24 &さん     	 &     &13 &特に   \\ \cline{2-3}\cline{5-6}\cline{8-9}
     &15 &う\$     &     &17 &さ     	 &     &12 &の道   \\ \cline{2-3}\cline{5-6}\cline{8-9}
     &15 &しか     &     &15 &C     	 &     &12 &必要\$ \\ \hline
\end{tabular}
\end{center}
\end{table}


事実タグでは係助詞の「は」，文末に現れた断定の助動詞「です」，同じく文
末の否定形「せん」「ません」，アスペクト表現の「ている」「ています」な
どが頻出している．疑問タグでは疑問符「?」が文中，文末のい
ずれに現れた場合でも高頻度の素性として取り出されている．賛成タグに「さ
ん」「C」「D」といった表現が現れているのは，\ssec{related_work}で述べ
たように「Aさんに賛成」「Bさんの意見は一理ある」といった回答が記述され
る場合があることによる．要望・提案タグでは，文末に現れた「する」が高頻
度素性として取り出されている．これはアンケートの回答では「渋滞を解消す
る」と書けば「渋滞を解消してほしい」「渋滞を解消すべき」と同義になるた
めであり，アンケート回答に特徴的な表現と言える．

\tab{effective_feat}の素性を参照しながら，\tab{example}について以下詳
述する．疑問タグでは，文中および文末の終助詞「か」（例1,2），賛成タグ
であれば「A」「D」「Cさん」や「同」や「賛成です」といった文末表現（例
3,4）が特徴的であることがわかる．また，事実タグでは，文末のアスペクト
表現「ている」や丁寧の助動詞「ます」の否定形（例5〜7），要望・提案タグ
では文末に現れる補助動詞「する」，助動詞「べきだ」，動詞「図る」，提案
内容を示す表現「共同化」「構造化」などに現れる「〜化」（例8〜13）が特
徴的な表現として観察できる．

「ません\$」「せん\$」「しか」および「ている\$」「ています\$」「いる\$」
などが事実タグを出力とする素性として高頻度である理由は，これらが要望・
提案などの背景や要望の根拠を示す表現に関連するためである．「ません\$」
「せん\$」「しか」などの否定的意味を含意する表現は，現状の設備や制度の
不備に対する不満として回答文に現れる（例7）．また，「ている\$」「てい
ます\$」「いる\$」は，要望や提案の根拠として現状説明をする際に現れる
（例5）．上述した事実タグを出力する素性によって，例16に与えられた分類
タグも「事実」となっている．ここでは「〜ていただきたいと願ってやみませ
ん」という要望・提案表現の一部として，否定的表現「ません」が現れている．
したがって，これらを正解とするためには，「ません」で文が終わっていても，
「ていただく」「願って」などが素性として出現していれば「事実」でなく
「要望・提案」になると学習される必要がある．そのためには，学習コーパス
を増やすことが必要であろう．

学習コーパスを増やすことは，「Aさん」「Bさん」などの表現が強力な素性と
なっている賛成タグや反対タグが分類される際にも必要であり，これは例15 
に見られる．ここでは，「Bさん」だけでなく反対の意味を示す「異論」とい
う表現が素性として学習される必要がある．本研究で対象としたアンケートの
中では，反対を明示的に表明した回答文は少数であったため，反対タグを付与
されるべき回答の特徴が十分に学習されなかった．

また，例17に見られるように「終電を遅くすれば，朝ラッシュの道路負荷は少
し軽くなる」を「終電を遅くして，朝ラッシュの道路負荷を軽くしてほしい」
と言い換えられる表現がある．このとき，「れば〜なる」は「てほしい」とい
う要望・提案表現に対応する表現とみなすことができる．このため「れば〜な
る」も素性として利用すると例17も正しく分類できると期待される．しかし，
このように離れた位置に表れる文字列はN-gramでは抽出できないため，「れば〜
なる」を「れば」と「なる」の二つの素性の組み合わせで表すなど素性の組み
合わせを一つの素性として利用する必要がある．このように素性のバリエーショ
ンを増やすことによって精度を高められる可能性もある．

また，例18では「住環境が悪化する\$」のように，要望・提案の高頻度素性で
ある「する\$」が現れているが，これは要望・提案ではない．「する\$」を要
望・提案の手がかりとしてよいのは，「渋滞を解消する」のように「渋滞を解
消」といった要望内容になりうる事柄，すなわちポジティブな表現の場合であ
る．「悪化する\$」のように，ネガティブな表現の場合は直接的には要望・提
案とは考えにくい．したがって，これらの表現に対しては，ポジティブ表現か
ネガティブ表現かを推定するなどにより精度が高まる可能性がある．さらに，
この推定ができた場合，前後の文との関係に考慮が必要な場合もある．例19
「道路負荷を軽く」がポジティブな表現であることがわかった場合，要望内容
であると推察できる「それ」で示されている事柄があり，「道路負荷を軽く」
が「それ」の効果および要望理由であると考えられる際には「それが，道路負
荷を軽くする」という事例自体は事実を示していると解釈するほうが妥当であ
る．先に述べたように，本研究では回答内の談話的構造については考慮してい
ないため，これについても今後の課題と考える．

最後に，考察結果から今後の課題を下記にまとめておく．

\begin{itemize}
\item 学習コーパスを増やす
\item 「れば〜なる」といった呼応表現のように，N-gramで抽出できない表現
にたいしては素性の組み合わせを導入する
\item 表現の意味がポジティブであるかネガティブであるかを推定する
\item 回答における文間の談話的構造を考慮する
\item 意図タグの種類や付与基準を見直す
\end{itemize}

\section{おわりに}

本研究では，言語処理の要素技術であるテキスト分類の技術を取り入れアンケー
ト回答の自動分類を行うことで，その結果を自由回答のコーディングに活用す
るためのコーディング支援を行った．

回答者の意図を反映した意図タグを決定するために，100文の回答テキストへ
のタグ付与実験を行い，4人の作業者の作業結果に基づいて，メタ，賛成，反
対，要望・提案，事実，疑問といった意図タグを作成した．この意図タグを付
与した意図タグ付き正解データを作成し，各意図の特徴的な表現を素性として
取り出すため，N-gram抽出を行った．これにより取り出された素性の出現有無
の情報を，意図タグ付き正解データに加えて学習のための訓練データを作成し
た．この訓練データを入力とし，ME法を用いて意図タグが分類先となる確率を
学習し，その確率値がもっとも大きい意図タグを解とする実験を行った結果，
約8割弱の精度が得られた．

本研究により，自由回答テキストに対して回答者の意図を反映した分類を行う
ことができた．また，辞書を用いる形態素解析を使わずに，ME法による素性と
意図タグの学習を行うことで，「です」「ません」「べき」「必要」「図る」
「化」など断片的な情報が意図タグ付与に効果的であることが明らかになった．
さらに「図る」という動詞や「〜化」といった接尾辞が要望・提案の回答を分類
する上で意図を示す重要な表現であるといった発見もあった．

今後は，学習コーパスを増やすことを中心に，考察の結果，明らかになった問
題を解決する手法について検討する．

\acknowledgment

研究データとして道路審議会基本政策部会「21世紀の道を考える委員会」が実
施されたボイス・レポートについて研究利用を快諾してくださった（財）国土
技術研究センター調査第二部の前田様，川原様のご厚意に深謝いたします．



\bibliographystyle{jnlpbbl}
\bibliography{jpaper}

\begin{biography}
\biotitle{略歴}
\bioauthor{乾 裕子}{
1991年東京女子大学文理学部卒業．
同年から（財）計量計画研究所言語情報研究室勤務．
2001年5月から通信総合研究所特別研究員．
同年10月神戸大学大学院自然科学研究科入学．
自然言語処理，計量国語学の研究に従事．
言語処理学会，人工知能学会，計量国語学会，各会員．}
\bioauthor{村田真樹}{
1993年京都大学工学部卒業．
1995年同大学院修士課程修了．
1997年同大学院博士課程修了，博士（工学）．
同年，京都大学にて日本学術振興会リサーチ・アソシエイト．
1998年郵政省通信総合研究所入所．
現在，独立行政法人通信総合研究所主任研究員．
自然言語処理，機械翻訳，情報検索の研究に従事．
言語処理学会，情報処理学会，人工知能学会，電子情報通信学会，ACL，各会員．}
\bioauthor{内元 清貴}{
1994年京都大学工学部卒業．
1996年同大学院修士課程修了．
同年郵政省通信総合研究所入所．現在，独立行政法人通信総合研究所研究員．
自然言語処理の研究に従事．
言語処理学会，情報処理学会，ACL，各会員．}
\bioauthor{井佐原 均}{
1978年京都大学工学部電気工学第二学科卒業．
1980年同大学院修士課程修了．博士（工学）．
同年通商産業省電子技術総合研究所入所．
1995年郵政省通信総合研究所．
現在，独立行政法人通信総合研究所けいはんな情報通信融合研究センター自然言語グループリーダー．
自然言語処理，機械翻訳の研究に従事．
言語処理学会，情報処理学会，人工知能学会，日本認知科学会，各会員．}

\bioreceived{受付}
\biorevised{再受付}
\bioaccepted{採録}

\end{biography}

\end{document}
