    \documentclass[japanese]{jnlp_1.4}
\usepackage{jnlpbbl_1.3}
\usepackage[dvips]{graphicx}
\usepackage{amsmath}





\newcommand{\argmax}{}
\newcommand{\argmin}{}



\Volume{21}
\Number{3}
\Month{June}
\Year{2014}

\received{2013}{9}{10}
\revised{2013}{11}{5}
\rerevised{2014}{1}{15}
\accepted{2014}{1}{30}

\setcounter{page}{465}

\jtitle{表層類似度に基づくセンター試験『国語』現代文\\
	傍線部問題ソルバー}
\jauthor{佐藤　理史\affiref{NUEEG} \and 加納　隼人\affiref{NUEEG}
\and 西村　翔平\affiref{NUEE} \and 駒谷　和範\affiref{Osaka}}

\jabstract{
大学入試センター試験『国語』の現代文で出題される，いわゆる「傍線部問題」
を解く方法を定式化し，実装した．本方法は，問題の本文の一部と5つの選択肢
を照合し，表層的に最も類似した選択肢を選ぶことにより問題を解く．実装し
た方法は，「評論」の「傍線部問題」の半数以上に対して正解を出力した．}
\jkeywords{大学入試センター試験，国語現代文，傍線部問題，表層類似度}

\etitle{
A Surface-Similarity-Based Solver of Comprehension Questions Referring
to Underlined Passages in Contemporary Japanese of the National Center
Test}
\eauthor{Satoshi Sato\affiref{NUEEG} \and Hayato Kanou\affiref{NUEEG}
\and Shohei Nishimura\affiref{NUEE} \and Kazunori Komatani\affiref{Osaka}}
\eabstract{
We formalized and implemented a method for solving comprehension
questions referring to underlined passages in Contemporary Japanese of
the National Center Test. A target question consists of a text body
extracted from a critical essay or novel, a question sentence, and
five choices; the question sentence refers to an underlined passage in
the text body and asks a question related to the passage, such as the
interpretation of the passage, the reason for the author's claim (in
the essay), and the emotional state or feeling of a character (in the
novel). Given a question, the method determines which text segment is
the key to the question and selects the choice that is most similar to
the segment. The method correctly solved more than half the ``critical
essay'' questions in previous tests of the National Center Test.  }
\ekeywords{the National Center Test, Contemporary Japanese, questions
referring to \linebreak underlined passages, surface similarity}

\headauthor{佐藤，加納，西村，駒谷}
\headtitle{傍線部問題ソルバー}

\affilabel{NUEEG}{名古屋大学大学院工学研究科}{Graduate School of Engineering, Nagoya University}
\affilabel{NUEE}{名古屋大学工学部}{School of Engineering, Nagoya University}
\affilabel{Osaka}{大阪大学産業科学研究所}{The Institute of Scientific and Industrial Research, Osaka University}



\begin{document}
\maketitle


\section{はじめに}

日本において，大学入試問題は，学力（知力および知識力）を問う問題として定
着している．この大学入試問題を計算機に解かせようという試みが，国立情報
学研究所のグランドチャレンジ「ロボットは東大に入れるか」というプロジェ
クトとして2011年に開始された\cite{Arai2012}．このプロジェクトの中間目標
は，2016年までに大学入試センター試験で，東京大学の二次試験に進めるよう
な高得点を取ることである．

我々は，このプロジェクトに参画し，2013年度より，大学入試センター試験の
『国語』 現代文の問題を解くシステムの開発に取り組んでいる．次章で述べる
ように，『国語』の現代文の設問の過半は，{\bf 傍線部問題}とよばれる設問
である．船口\cite{Funaguchi}が暗に指摘しているように，『国語』の現代文
の「攻略」の中心は，傍線部問題の「攻略」にある．

我々の知る限り，大学入試の『国語』の傍線部問題を計算機に解かせる試みは，
これまでに存在しない\footnote{CLEF2013では，QA4MREのサブタスクの一つと
して，Entrance Examsが実施され，そこでは，センター試験の『英語』の問題
が使用された．}．そのため，この種の問題が，計算機にとってどの程度むずか
しいものであるかさえ，不明である．このような状況においては，色々な方法
を試すまえに，まずは，比較的単純な方法で，どのぐらいの正解率が得られる
のかを明らかにしておくことが重要である．

本論文では，このような背景に基づいて実施した，表層的な手がかりに基づく
解法の定式化・実装・評価について報告する．我々が実装したシステムの性能
は，我々の当初の予想を大幅に上回り，「評論」の傍線部問題の約半分を正し
く解くことができた．

以下，本稿は，次のように構成されている．まず，2章で，大学入試センター試
験の『国語』 の構成と，それに含まれる傍線部問題について説明する．3章で
は，我々が採用した定式化について述べ，4章ではその実装について述べる．5
章では，実施した実験の結果を示し，その結果について検討する．最後に，6章
で結論を述べる．


\section{センター試験『国語』 と傍線部問題}

\begin{table}[b]
\caption{センター試験『国語』の大問構成—出典\protect\cite{Kakomon2014}}
\label{table:questions}
\input{1001table01.txt}
\vspace{-0.5\Cvs}
\end{table}

大学入試センター試験の『国語』 では，毎年，大問4題が出題される
\cite{Kakomon2014}．その大問構成を表\ref{table:questions}に示す．この表に示
すように，現代文に関する出題は，第1問の「評論」と第2問の「小説」であり，
『国語』 の半分を占めている．

第1問の「評論」は，何らかの評論から抜き出された文章（本文）と，それに対す
る6問の設問から構成される．6問の内訳は，通常，以下のようになっている．
\begin{description}
\item[問1] 
漢字の書き取り問題が5つ出題される．
\item[問2--問5] 
本文中の傍線部について，その内容や理由が問われる．
\item[問6] 
本文全体にかかわる問題で，2006年以降は本文の論の進め方や本文の構
成上の特徴などが問われる．
\end{description}

一方，第2問の「小説」は，何らかの小説から抜き出された文章（本文）と，それ
に対する\mbox{6問}の設問から構成される．6問の内訳は，通常，以下のように
なっている．
\begin{description}
\item[問1] 
語句の意味内容を問う問題が3つ出題される．
\item[問2--問5] 
本文中の傍線部を参照し，登場人物の心情・人物像・
行動の理由などが説明問題の形で問われる．
\item[問6]
本文全体の趣旨や作者の意図，表現上の特徴などが問われる．
\end{description}

\begin{figure}[b]
\begin{center}
\includegraphics{21-3ia1001f1.eps}
\end{center}
\caption{傍線部問題の例（2011年度本試験第1問の問5 (2011M-E5)）}
\label{fig:2011M-E5}
\end{figure}

これらの設問のうち，「評論」「小説」の両者の\mbox{問2}から\mbox{問5}を
{\bf 傍線部問題}と呼ぶ．傍線部問題の具体例を図\ref{fig:2011M-E5}に示す．
この図に示すように，傍線部問題は，原則として5つの選択肢の中から正解を一
つ選ぶ5択問題である．傍線部問題の配点は，2009年度本試験では，第1問32点，
第2問\mbox{33点}の計65点であり，現代文の配点100点の約2/3を占める．



\subsection*{使用する試験問題}

本研究では，2001年度から2011年度の奇数年の大学入試センター試験の本試験
および追試験の『国語』（2005年以前は『国語I・II』）を使用する．ただし，
諸般の事情により，本文等が欠けているものがあり，それらは使用しない．
表\ref{table:all}に，本研究で使用する傍線部問題の一覧を示す．

\begin{table}[t]
\caption{使用する傍線部問題の一覧}
\label{table:all}
\input{1001table02.txt}
\end{table}

なお，以降では，設問を指し示すIDとして，以下のような4つの情報を盛り込んだ形式を採用する．
\begin{enumerate}
\item 年度（4桁）
\item 試験区分（M: 本試験，S: 追試験）
\item 出題区分（E: 評論，N: 小説） 
\item 設問番号（2, 3, 4, 5）
\end{enumerate}
たとえば，図\ref{fig:2011M-E5}に示した，2011年度本試験第1問「評論」の問5は，
「2011M-E5」と表す．なお，この例に示したとおり，(2)と(3)の間に，ハイフォン`-'を挟む．


\section{傍線部問題の定式化}


\subsection{定式化}

センター試験『国語』現代文傍線部問題では，正解となる選択肢の根拠が必ず
本文中に存在すると指摘されている\cite{Funaguchi}．そして，その根拠とな
る部分は，傍線部の付近に存在することが多いことが，板野の分析によって明
らかにされている\cite{Itano2010}．我々は，これらの知見に基づき，傍線部
問題を，図\ref{fig:formalization}に示すように定式化する．

\begin{figure}[t]
\begin{center}
\includegraphics{21-3ia1001f2.eps}
\end{center}
\caption{傍線部問題の定式化}
\label{fig:formalization}
\end{figure}

この定式化は，次のことを意味する．
\begin{enumerate}
\item 
それぞれの設問を入力とする．設問は，本文$T$，設問文$Q$，選択肢集合$C$か
ら構成されるものとする．（図\ref{fig:2011M-E5}では，これらのうち，本文
$T$ を除いた，設問文$Q$ と選択肢集合$C$を示している．）
\item
設問文$Q$と本文$T$から，選択肢と照合する本文の一部$\widehat{T}=\mathrm{extract}(T, Q)$を定める．
\item 
選択肢集合$C$の中から，実際に本文の一部$\widehat{T}$と照合する部分集合
$\widehat{C} = \mathrm{pre\_select}(C, Q)$を定める．これは，選択肢の事
前選抜に相当する．
\item 
設問文の極性$\mathrm{polarity}(Q)$を判定する．
この関数は，設問文$Q$が「適当なもの」を要求している場合に$+1$を，「適当でないもの」を要求して
いる場合に$-1$を返すものとする．
\item 
事前選択済の選択肢集合$\widehat{C}$に含まれる選択肢$c_i$と，本文の一部
$\widehat{T}$との照合スコア$\mathrm{score}(\widehat{T}, c_i)$を計算する．
これに設問文の極性$\mathrm{polarity}(Q)$をかけたものを，その選択肢の最
終スコアとする．
\item 
事前選択済の選択肢集合$\widehat{C}$に含まれる選択肢$c_i$のなかで，最終
スコアが最大のものを，解として出力する．
\end{enumerate}

この定式化の特徴は，図\ref{fig:formalization}に示した(a)--(d)の4つの関
数に集約される．これらの背後にある考え方について，以下で説明する．


\subsection{本文の一部と照合する}

正解の選択肢の根拠となる箇所は，多くの場合，本文中の傍線部の周辺にある
と考えるのが妥当である．先に述べたように，この点についての詳細な分析が，
板野によってなされている\cite{Itano2010}．実際，我々人間が傍線部問題を
解くとき，本文中の傍線部の前後に注目するのは，標準的な戦略である．

このような戦略は，選択肢$c_i$を本文$T$全体と照合するのではなく，あらか
じめ，本文から，根拠が書かれていそうな部分$\widehat{T}$を
抜き出し，$\widehat{T}$と$c_i$の照合スコアを計算することで，具体化でき
る．

本文の一部を取り出す方法として，
\begin{enumerate}
\item 
本文の先頭から，当該傍線部までを$\widehat{T}$とする，
\item 
一つ前の設問で参照された傍線部から，当該傍線部までを$\widehat{T}$とする，
\item 
傍線部の前後のある範囲を$\widehat{T}$とする，
\end{enumerate}
などの方法が考えられ，これらと，採用する単位（文または段落）を組み合わせ
ることにより，多くのバリエーションが生まれることになる．もちろん，設問毎に，設問文$Q$や
本文$T$に応じて異なる（適切な）方法を採用してもよい．

関数$\mathrm{extract}$は，これらの方法を抽象化したもので，以下のような関数として定義する．
\begin{equation}
\widehat{T} = \mathrm{extract}(T, Q)
\end{equation}

なお，厳密に言えば，設問文$Q$には一つ前の設問の傍線部の情報は含まれない
が，その情報は本文を参照することによって得られるものと仮定する．事実，
センター試験では，傍線部にはA, B, C, Dの記号が順に振られるため，当該傍
線部がBであれば，一つ前の設問の傍線部はAであることがわかる．


\subsection{照合スコアを採用する}

本文の一部$\widehat{T}$が，選択肢$c_i$とどの程度整合するか（その根拠とな
りうるか）を，照合スコア$\mathrm{score}(\widehat{T}, c_i)$として抽象化す
る．本来的には，整合するかしないかの2値であるが，そのような判定を機械的
に下すのは難しいので，0から1の実数をとるものとする．


\subsection{設問文の極性を考慮する}

ほとんどの傍線部問題の設問文は，「最も適当なものを，次の１〜５のうちか
ら一つ選べ」という形式となっている．しかし，2001S-E4のように，「適当で
ないものを，次の１〜５のうちから一つ選べ」という形式も存在する．このよ
うな「適当でないもの」を選ぶ設問に対しては，照合スコアを逆転させる（照合
スコアが最も小さなものを選択する）のが自然である．

上記のような設問形式に応じた選択法の変更を採用するために，設問文$Q$の極
性を判定する関数$\mathrm{polarity}(Q)$を導入する．この関数は，設問が
「適当なもの」を要求している場合に$+1$を，「適当でないもの」を要求して
いる場合に$-1$を返すものとする．


\subsection{選択肢の事前選抜を導入する}

本定式化では，「設問文と5つの選択肢をよく読めば，本文を参照せずとも，正
解にはならない選択肢のいくつかをあらかじめ排除できる」場合が存在すると
考え\footnote{実際にセンター試験を受験したことがある複数人の意見に基
づく．}，選択肢の事前選抜を明示的に導入する．事前選抜
$\mathrm{pre\_select}$は，選択肢集合$C$と設問文$Q$から，$C$の部分集合を
返す関数として定式化する．
\begin{equation}
\widehat{C} = \mathrm{pre\_select}(C, Q), \qquad \widehat{C} \subseteq C
\end{equation}


\section{実装}

\begin{table}[b]
\vspace{-0.3\Cvs}
\caption{実装の概要}
\label{table:implementation}
\input{1001table03.txt}
\vspace{-0.3\Cvs}
\end{table}

前節の定式化に基づいて傍線部問題ソルバーを実装するためには，
$\mathrm{score}$, $\mathrm{polarity}$, $\mathrm{extract}$,
$\mathrm{pre\_select}$の4つの関数を実装する必要がある．表
\ref{table:implementation}に，今回実装した方法の概要を示す（詳細は，以下で説明する）．
なお，前節の定式化では，正解と考えられる選択肢を一つ出力する形になって
いるが，実際のシステムは，選択肢を照合スコア順にソートした結果（すなわち，
それぞれの選択肢の順位）を出力する仕様となっている．なお，照合スコアが一
致した場合は，選択肢番号の若いものを上位とする\footnote{結果に再現性を
もたせるために，照合スコアが一致したものからランダムに選ぶ方法は採用し
ない．}．



\subsection{オーバーラップ率}

照合スコア$\mathrm{score}$，および，選択肢の事前選抜
$\mathrm{pre\_select}$の実装には，オーバーラップ率を用いる．
オーバーラップ率の定義には，服部と佐藤の定式化\cite{Hattori2013,SKL2013}を採用する．

この定式化では，まず，ある集合$E$を仮定する．この集合の要素が，オーバー
ラップ率を計算する際の基本単位となる．集合$E$としては，たとえば，文
字集合$A$，形態素集合$W$，あるいは，文字$n$-gramの集合$A^n$などを想定する．

オーバーラップ率の算出の出発点となる式は，2つの文字列$t_1$と$t_2$に共通に出
現する集合$E$の要素の数を求める次式である．
\begin{equation}
\mathrm{overlap}({E}; t_1, t_2) =
\sum_{e\in E} \min(\mathrm{fr}(e, t_1), 
\mathrm{fr}(e, t_2))
\end{equation}
ここで，$\mathrm{fr}(e, t)$は，文字列$t$における$e\: (\in E)$の出現回数を表す．
この値を，$t_2$の長さ，あるいは，$t_1$と$t_2$の長さの和で正規化することにより，
オーバーラップ率を定義する．
\begin{align}
\mathrm{overlap\_ratio}_D(E; t_1, t_2) & = 
\frac{\mathrm{overlap}(E; t_1, t_2)}{
\displaystyle\sum_{e\in E} \mathrm{fr}(e, t_2)} \label{eq:directional}\\
\mathrm{overlap\_ratio}_B(E; t_1, t_2) & = 
\frac{2 \ \mathrm{overlap}(E; t_1, t_2)}{
\displaystyle\sum_{e\in E} \mathrm{fr}(e, t_1) +
\sum_{e\in E} \mathrm{fr}(e, t_2)}
\end{align}
前者の$\mathrm{overlap\_ratio}_D$は，$t_2$の長さのみで正規化したもので，
方向性を持った(directional)オーバーラップ率となる．
後者の$\mathrm{overlap\_ratio}_B$は，$t_1$と$t_2$の長さの和で正規化したもので，
方向性を持たない，双方向性(bidirectional)のオーバーラップ率となる．


\subsection{照合スコア}

本文の一部$\widehat{T}$と選択肢$c_i$の照合スコアには，方向性を持ったオーバーラップ率
$\mathrm{overlap\_ratio}_D$を用いる．
\begin{equation}
\mathrm{score}(\widehat{T}, c_i) = \mathrm{overlap\_ratio}_D(E, \widehat{T}, c_i)
\end{equation}
ここで，オーバーラップを測る際の単位（要素）集合$E$として，以下の4種類を実装した．
\begin{enumerate}
\item $A$: 文字集合
\item $A^2$: 文字bigramの集合
\item $W$: 形態素表層形の集合
\item $L$: 形態素原形の集合
\end{enumerate}
いずれの場合も，句読点は要素に含めなかった．

形態素解析器にはmecab-0.994を，
形態素解析辞書には，ipadic-2.7.0 または unidic-2.1.0を用いた．
すなわち，$W$と$L$は，それぞれ2種類存在することになる．


\subsection{設問文の極性判定}

設問文の極性判定は，文字列マッチングで実装した．具体的には，正規表現
「\verb+/(適切|適当)でないものを/+」に一致した場合はnegative ($-1$)，そ
れ以外はpositive ($+1$)と判定する．対象とした問題は限られているので，極
性判定結果は，人間の判断とすべて一致する．


\subsection{本文の一部の抽出}

段落(P)単位および文(S)単位の抽出を実装した．抽出する領域
は，連続領域を採用した．すなわち，抽出単位，抽出開始点，抽出終了点の3つ
の情報によって，抽出領域は定まる．

抽出開始・終了点は，当該傍線部を含む単位（段落または文）を基準点0とし，そ
の前後何単位であるかを，整数で表す．たとえば，S-$m$-$n$は，当該傍線部を
含む文と，その前$m$文，後$n$文を表す（全部で$m+1+n$文となる）．この他に，
本文先頭(a)，前問の傍線部の位置(b)，本文末尾(e)という3種類の特別な位置
を指定できるようにした．さらに，当該傍線部を含む文を除外するというオプ
ション($\overline{X}$)も実装した\footnote{
設問の多くは，傍線部のある種の言い換えを求めているので，
傍線部自身は，選択肢を選ぶ根拠とはならないことが多いと考えられる．今回の実装では，テキストを扱う最小単位は文なので，
「当該傍線部を含む文」を除外するという実装となった．}．


\subsection{選択肢の事前選抜}

選択肢の事前選抜には，次の方法を採用した．
\begin{enumerate}
\item 
それぞれの選択肢$c_i$において，以下に示す事前選択スコア$\mathrm{ps}(c_i, C)$を
計算する．
\begin{equation}
\mathrm{ps}(c_i, C) = 
\frac{1}{|C|-1} \sum_{c_j \in C, \ c_j \ne c_i}  \mathrm{overlap\_ratio}_B(A; c_i, c_j)
\end{equation}
このスコアは，他の選択肢$c_j$との双方向文字オーバーラッ
プ率$\mathrm{overlap\_ratio}_B(A; c_i, c_j)$の平均値である．
\item
得られた事前選択スコアが低い選択肢を，選択肢集合から除外する．（最終順位
付けでは，かならず5位とする）
\end{enumerate}

なお，この実装は，いわば「もっとも仲間はずれの選択肢を一つ除外する」という考え方に基づいている．


\section{実験と検討}

\subsection{実験結果}

実装した傍線部問題ソルバーを用いて，評論傍線部問題40問を解いた結果を
表\ref{table:result1}および表\ref{table:result2}に示す．
この表の各行の先頭の欄(ID)は，本文抽出法($\mathrm{extract}$)に対応しており，
次の2つの数字は，その抽出法(ID)で抽出された文数（40問の平均値），および，
該当傍線部を含む文を除外した場合($\overline{\mbox{ID}}$)の文数を示す
\footnote{S-$m$-$n$で文数が$m+1+n$を越えるのは，2003S-E5の設問文が複数の傍
線部（正確には，波線部）を含むためである．この場合，最初に現れる波線部の
前方$m$文から，最後に現れる波線部の後方$n$文までを抽出する．}．斜線で区
切られた4つの数字は，ある要素集合を単位としてオーバーラップ率を計算した場合に対
応し，それぞれの数字は，順に，以下の場合の正解数を示す．
\begin{enumerate}
\item 抽出法ID + 事前選択なし(no)
\item 抽出法$\overline{\mbox{ID}}$ + 事前選択なし(no)
\item 抽出法ID + 事前選択あり(yes)
\item 抽出法$\overline{\mbox{ID}}$ + 事前選択あり(yes)
\end{enumerate}


表\ref{table:result1}の2行目(P-a-0)の$A$欄の最初の数字20が，我々に衝撃を与えた数
字である．これは，
\begin{quote}
本文の先頭から当該傍線部を含む段落までを$\widehat{T}$として抽出し
(P-a-0)，\\
$\widehat{T}$と各選択肢$c_i$との照合スコアを文字オーバーラップ率($A$)で計算して，\\
スコアが最大値を取る選択肢を選んだ場合，\\
{\bf 「評論」の傍線部問題の半分(20/40)が正しく解ける}
\end{quote}
ことを意味する．


センター試験の設問は5択問題であるので，解答する選択肢をランダムに選んだ
としても1/5の確率で正解する．40問においてランダムに解答を選んだ場合，正
解する問題数は，$8\pm 4.96$ ($p=0.05$)である\footnote{
$\displaystyle B\left(40,\ \frac{1}{5}\right) \approx N\left(8, \ 2.53^2\right)$．
故に$1.96\times2.53\approx4.96$
}．この値と比べ，正解数20問は有意に多い．

我々は，このような性能が得られることを，まったく予期していないかった．
この結果を受けて，我々は，色々な設定（$84 \times 6 \times 4 -12 = \mbox{2,004}$
通り）\footnote{傍線部を含む段落が1文のみから構
成されている場合があるので，抽出法$\overline{\mbox{P-0-0}}$は設定しない．
これが$-12$に相当する．
84は，表\ref{table:result1}--\ref{table:result2}の行数の合計を，
$6\times4$は1行に記述される設定数を示す．}での性能を網羅的に調べた．こ
うして得られたのが表
\ref{table:result1}と表\ref{table:result2}である．これらの表では，正解
数20以上をボールド体で表示した．さらに，正解数が22以上となった16の設定
とその設定における正解の順位分布（第$n$位として出力された正解がいくつあ
るか）を，表\ref{table2}に示した．

\begin{table}[p]
\caption{「評論」に対する実験結果（その1）}
\label{table:result1}
\input{1001table04.txt}
\end{table}

\clearpage

\begin{table}[t]
\caption{「評論」に対する実験結果（その2）}
\label{table:result2}
\input{1001table05.txt}
\end{table}

\subsection{実験結果を検討する}

表\ref{table:result1}と表\ref{table:result2}を観察すると，以下のことに気づく．

\begin{table}[t]
\caption{正解数が22以上の設定と正解の順位分布（「評論」）}
\label{table2}
\input{1001table06.txt}
\end{table}

\begin{enumerate}
\item 
照合するテキスト$\widehat{T}$が極端に短い場合を除き，ほとんどの場合
（2,004通り中1,828通りの設定）で，正解数はランダムな方法より有意に多い．すなわち，
「評論」の傍線部問題に対しては，本論文で示した解法は，有効に機能する．
\item 
照合スコアのオーバーラップ率の計算には，文字($A$)を用いると相対的に成績
がよい場合が多い．文字オーバーラップ率が有効に機能するという，この結果
は，日本語の含意認識(RITE2)における服部らの結果
\cite{Hattori2013,SKL2013}に合致する．文字オーバーラップ率が有効に機能
するのは，おそらく，日本語の文字の種類が多いこと，および，漢字1文字が内
容的情報を表しうること，の2つの理由によるものと考えられる．
\item 
照合スコアのオーバーラップ率の計算に，文字bigram ($A^2$)，形態素出現形($W$)，
形態素原形($L$)を用いた場合は，比較的短い$\widehat{T}$のいくつかに対して，
成績がよい．
これは，比較的短いテキストの照合では，語や文字bigramなどの，より長い要素の一致が大きな意味を持つためと考えられる．
今回の実験で最も成績がよかった正解数23は，抽出法$\overline{\mbox{S-9-0}}$，
照合法$A^2$または$L$-unidic，事前選抜あり(yes)の場合に得られた．
\item 
照合テキスト$\widehat{T}$から，当該傍線部を含む文を除外した方が，
除外しなかった場合よりも，成績は若干よい傾向を示す．
脚注4でも述べたように，傍線部の言い換えを求めるような設問では，
該当傍線部自身は，選択肢の根拠とはならないことが多い．このような設問に対しては，
該当傍線部を含む文を除外することによる効果があると考えられる．
\item 
選択肢の事前選抜は，正解数を増やす効果が見られる．なお，今回使用し
た40問において，正解が事前選抜によって除外される設問は，1問(2005M-3)だけ存在した．
\item 
用いる形態素解析辞書によって，得られる結果は若干異なる．これは，形態素として認定する単位，
および，原形の認定法の違い\footnote{unidicでは，語彙素を原形として採用した．}による．
今回の実験では，ipadicを使用した方が，相対的によい結果が得られた場合が多かった．
\end{enumerate}


\subsection{性能の上限を見積もる}

本論文で提案した方法で，どの程度の性能が達成可能であるかを見積
もってみよう．性能の上限は，それぞれの設問において，
\begin{enumerate}
\item 最も適切な本文の一部$\widehat{T}$が選択でき，かつ，
\item 最も適切な照合スコアを選択できる
\end{enumerate}
と仮定した場合の正解率で与えられる．ここでは，
\begin{itemize}
\item 形態素解析辞書にはipadicのみを用いる
\item 選択肢の事前選択は行なわない\footnote{事前選抜を上限の計算に含めるのは複雑なので，除外した．}
\end{itemize}
こととした668 ($=84\times 4-4$)通りの設定\footnote{
数字84は，表\ref{table:result1}--\ref{table:result2}の行数の合計に，
$4$は1行に対する設定数に，$-4$は抽出法$\overline{\mbox{P-0-0}}$は設定しないことに対応する．}を採用し，
各設問毎に668通りの設定の成績（正解の順位）を集計した．
その結果を表\ref{table:dist}に示す．

表 7 に示すように，668通りの設定のいずれにおいても正解を出力できなかっ
た設問は，\mbox{2問}(2001S-E5と2009M-E4)のみであった．すなわち，38/40(${}=95$\%)の設問
に対して，本論文で示した解法は正解を出力できる可能性がある．

表 7 において，1位となった設定数が多い設問は，言わば「ストライクゾーンが広い」設問である．
つまり，パラメータ選択に「鈍感」であり，機械にとってやさしい設問である．
たとえば，2003S-E3 （1行目）は，668通り中664通りの設定で正解が得られている．
逆に，1位となった設定数が少ない設問は，正解を出力するのが難しい設問である．
たとえば，2003M-E5 （下から3行目）は，668通り中14通りの設定でしか正解が得られない．

これらのことを考慮して，次に，もうすこし現実的な到達目標を考えよう．正
解率1/5でランダムに668回の試行を行なった場合の正解数は$133.6\pm
20.26\: (p=0.05)$である．この値の上限をひとつの目安として
\footnote{表\ref{table:dist}の左側の区切り線は，この境界を示
す．}，これよりも多い正解数が得られた設問は，設問に応じた適切なパラメー
タ選択により，正解を導ける可能性が高いとみなそう．このような設問は，40
問中27問(67.5\%) である．実際，今回の実験で得られた最大正解数は23であり，
正解数27は，現実的に到達可能な範囲にあると考えられる．

\begin{table}[t]
\caption{各設問における正解順位分布（「評論」）}\label{table:dist}
\input{1001table07.txt}
\end{table}


\subsection{好成績の理由を考える}

このような比較的単純な解法でも，半数以上の設問が正しく解けるのは，どうしてだろ
うか．その理由は，おそらく，「センター試験がよく練られた試験問題である」
ということになろう．センター試験の問題は，当然のことながら，「正解が一
意に定まる（大多数の人が，正解に納得できる）」ことが必要である．

答の一意性を保証できる『数学』の問題とは異なり，『国語』の傍線部問題は，
潜在的には多数の「正解文」が存在する．作問者の立場に立てば，そのうちの
一つを選択肢に含め，それ以外を選択肢に含めないように問題を作らなければ
ならない．そのため，正解選択肢とそれ以外の選択肢の間に，明示的な差異を
持ち込まざるを得なくなる．そして，そのために持ち込まれた差異は，オーバー
ラップ率のような表層的な指標においても，識別できる差異として現れてしま
うのであろう．もし，この推測が正しいとすれば，「良い問題であれば，機械
にも解ける」ということであり，本論文で提案した解法は，センター試
験ならではの性質を利用していることになろう．


\subsection{正解が得られない設問}

すでに何度も述べたように，我々は，本論文で提案した解法で「評論」の傍線
部問題の半数以上が解けてしまうことが驚きであり，解けない設問があること
に何の不思議さも感じない．しかしながら，査読者より，採録条件として，
「提案手法では正解が得られない設問に対する分析（定性的な議論）が必要であ
る」との指摘があったので，この点についての我々の見解を以下に述べる．

まず，（ある特定パラメータを使用した）この解法によって正解が得られない直
接的な理由は，抽出した本文の領域$\widehat{T}$ と正解選択肢との照合スコ
ア（オーバーラップ率）が低いことによる．この理由をさらに分解すると，次の
3つの理由に行きつく．
\begin{description}
\item[R1] そもそも本文中に根拠がない
\item[R2] 不適切な領域$\widehat{T}$を抽出している
\item[R3] 照合スコアが意味的整合性を反映していない
\end{description}
しかしながら，特定の設問が解けない理由を，このどれか一つに特定すること
は難しい．

まず，理由R1であるが，確かに，これがほぼ明白なケースは存在する．たとえ
ば，2003M-E4は，傍線部の「具体例」を問う問題であるが，本文中にはその具
体例は述べられていない．しかしながら，「根拠」という言葉はいささか曖昧
であり，広くも狭くも解釈できるため，その解釈を固定しない限り，根拠の有
無を明確に判断することは難しい．受験対策本がいう「根拠」は，「正解選択肢を選
ぶ手がかり」という広い意味であり，「『適切に語句や表現を言い換えれば，
選択肢の表現に変換できる』本文の一部」という狭い意味ではない．前者の意
味では，ほとんどの設問に根拠は存在するが，後者の意味では，ほとんどの設
題に根拠は存在しない．評論の傍線部問題で問われるのは，本文全体の理解に
基づく傍線部の解釈であり，表現レベルの単純な言い換えではない．

次に，理由R2であるが，今回の解法では，選択肢と照合する領域として文また
は段落を単位とする連続領域のみを扱っている．しかし，実際の（広い意味で
の）根拠は，より小さな句や節といった単位の場合もあり，かつ，不連続に
複数箇所存在する場合も多い．現在の実装の自由度における最適な領域が，
必ずしも真の意味で適切な領域であるとは限らない．

最後に，理由R3であるが，現在の照合スコアが意味的整合性を適切に反映しな
い場合が存在するのは自明である．しかし，問題はそれほど単純ではない．照
合スコアの具体的な値は，照合領域$\widehat{T}$に依存する．最適な領域が定
まれば，使用している照合スコア計算法の善し悪しを議論できるが，最適な領
域が不定であれば，正解を導けない原因を，領域抽出の失敗(R2)に帰すべきか，
照合スコアの不適切さ(R3)に帰すべきかは，容易には定まらない．

以上のように，特定の設問が解けない理由を追求し，解けない設問を類形化す
ることは，かなり難しい．さらに，チャンスレベルは20\%であるから，たまた
ま解ける設問も存在する\footnote{
前述の2003M-E4は正解する場合もある．
}．そのような
困難さを踏まえた上で，解けない設問を大胆に類形化するのであれば，次のよ
うになろう．
\begin{itemize}
\item 
正解選択肢を選ぶ根拠が，傍線部のかなり後方に位置する設問．
\item 
正解選択肢を選ぶ根拠が，本文全体に点在している設問．
\item
正解選択肢が，本文全体の理解・解釈を前提として，本文中には現れない表現
で記述されている設問．
\item 
本文と整合しない部分を含む選択肢を除外していく
こと（いわゆる消去法\cite{Itano2010}）によって，正解選択肢が導ける設問．
\end{itemize}


\subsection{「小説」に適用する}

本論文で提案した解法を，そのまま「小説」の傍線部問題に適用すると，どの
ような結果が得られるであろうか．その疑問に答えるために，「評論」と同様
の実験を，「小説」に対しても実施した．対象とした「小説」の傍線部問題は
計38問なので，ランダムに解答すると，$7.6\pm 4.83$問($p=0.05$)の正解が得
られることになる．

\begin{table}[b]
\caption{正解数が13以上の設定と正解の順位分布（「小説」）}
\label{table:novel}
\input{1001table08.txt}
\end{table}

実験において，統計的に有意な結果（正解数13以上）が得られたのは，2,004通り
中13通りの設定のみであった．これらを表\ref{table:novel}に示す．さらに，
「評論」と同様に，各設問に対しても668通りの実験結果を集計した
\footnote{ 表\ref{table:novel}の結果に基づき，形態素解析辞書にはipadic
ではなくunidicを採用した．} ．正解数が$133.6\pm 20.26$の上限を越えたの
は，38問中10問であった．これらの結果より，「小説」に対しては，本論文で
提案した解法の性能は，チャンスレベルと大差がないとみなすのが妥当であろ
う．


\section{結論}

本研究で得られた結果をまとめると，
次のようになる．
\begin{enumerate}
\item 
センター試験『国語』現代文の傍線部問題に対する解法を提案・定式化した．
\item 
本論文で示した解法は，「評論」の傍線部問題に対しては有効に機能し，
半数以上の設問に対して正解を出力することができる．今回の実験から
推測される性能の上限は95\%，現実的に到達可能な性能は65--70\%である．
\item 
本論文で示した解法は，「小説」の傍線部問題に対しては機能しない．
その性能はチャンスレベルと同等である．
\end{enumerate}

本論文で示した解法で「『評論』が解ける」という事実を言い換えるならば，
それは，「『評論』では，本文に書かれていることが問われる」ということで
ある．これに対して，「『小説』が解けない」という事実は，その裏返し，す
なわち，「『小説』では，本文に書かれていないこと（心情や行間）が問われる」
ということを示している．このような差異の存在を，船口\cite{Funaguchi}も
指摘しているが，表層的なオーバーラップ率を用いる比較的単純な方法におい
ても，その差異が明確な形で現れることが判明した．


\acknowledgment
 
本研究では，国立情報学研究所のプロジェクト「ロボットは東大に入れるか」から，
データの提供を受けて実施した．
本研究の一部は，JSPS科研費24300052の助成を受けて実施した．
本研究では，mecab/ipadic，mecab/unidicを使用した．

\begin{thebibliography}{}

\bibitem[\protect\BCAY{新井\JBA 松崎}{新井\JBA 松崎}{2012}]{Arai2012}
新井紀子\JBA 松崎拓也 \BBOP 2012\BBCP.
\newblock
  ロボットは東大に入れるか?—国立情報学研究所「人工頭脳」プロジェクト—. 
\newblock \Jem{人工知能学会誌}, {\Bbf 27}  (5), \mbox{\BPGS\ 463--469}.

\bibitem[\protect\BCAY{船口}{船口}{1997}]{Funaguchi}
船口明 \BBOP 1997\BBCP.
\newblock \Jem{きめる！センター国語現代文}.
\newblock 学研教育出版.

\bibitem[\protect\BCAY{服部\JBA 佐藤}{服部\JBA 佐藤}{2013}]{Hattori2013}
服部昇平\JBA 佐藤理史 \BBOP 2013\BBCP.
\newblock 多段階戦略に基づくテキストの意味関係認識：RITE2タスクへの適用
\newblock 情報処理学会研究報告, 2013-NLP-211 No.4/2013-SLP-96 No.4,
  情報処理学会.

\bibitem[\protect\BCAY{Hattori \BBA\ Sato}{Hattori \BBA\ Sato}{2013}]{SKL2013}
Hattori, S.\BBACOMMA\ \BBA\ Sato, S. \BBOP 2013\BBCP.
\newblock \BBOQ Team SKL's Straregy and Expericence in RITE2\BBCQ\
\newblock In {\Bem {Proceedings of the 10th NTCIR Conference}}, \mbox{\BPGS\
  435--442}.

\bibitem[\protect\BCAY{板野}{板野}{2010}]{Itano2010}
板野博行 \BBOP 2010\BBCP.
\newblock \Jem{ゴロゴ板野のセンター現代文解法パターン集}.
\newblock 星雲社.

\bibitem[\protect\BCAY{教学社編集部}{教学社編集部}{2013}]{Kakomon2014}
教学社編集部 \BBOP 2013\BBCP.
\newblock \Jem{センター試験過去問研究 国語（2014年版センター赤本シリーズ）}.
\newblock 教学社.

\end{thebibliography}


\begin{biography}
\bioauthor{佐藤　理史}{
1988年京都大学大学院工学研究科博士後期課程電気工学第二専攻
研究指導認定退学．京都大学工学部助手，北陸先端科学技術大学院大学助教授，
京都大学大学院情報学研究科助教授を経て，2005年より名古屋大学大学院工
学研究科教授．工学博士．現在，本学会理事．
}
\bioauthor{加納　隼人}{
2010年名古屋大学工学部電気電子・情報工学科入学．2014年同学科卒業．
現在，名古屋大学大学院工学研究科電子情報システム専攻在学中．
}
\bioauthor{西村　翔平}{
2010年名古屋大学工学部電気電子・情報工学科入学．2014年同学科卒業．
}
\bioauthor{駒谷　和範}{
1998年京都大学工学部情報工学科卒業．2000年同大学院情報学研究科知能情報学
専攻修士課程修了．2002年同大学院博士後期課程修了．博士（情報学）．京都大学
大学院情報学研究科助手・助教，名古屋大学大学院工学研究科准教授を経
て，2014年より大阪大学産業科学研究所教授．現在，SIGDIAL Scientific
Advisory Committee member．情報処理学会，電子情報通信学会，人工知能学
会，言語処理学会各会員．
}
\end{biography}


\biodate






\end{document}
