    \documentclass[japanese]{jnlp_1.4}
\usepackage{jnlpbbl_1.2}
\usepackage[dvips]{graphicx}
\usepackage{amsmath}
\usepackage{hangcaption_jnlp}
\usepackage{udline}
\setulminsep{1.2ex}{0.2ex}
\let\underline
\usepackage{biodateX}

\Volume{16}
\Number{4}
\Month{October}
\Year{2009}

\received{2008}{8}{31}
\revised{2008}{11}{17}
\rerevised{2009}{2}{4}
\rererevised{2009}{4}{3}
\accepted{2009}{7}{17}

\setcounter{page}{47}


\jtitle{多重タグ付き英語学習者コーパスの開発と\\
	英語能力自動測定への応用}
\jauthor{安田　圭志\affiref{N} \and 喜多村圭祐\affiref{D}\affiref{NEC} \and 山本　誠一\affiref{D} \and 柳田　益造\affiref{D}}
\jabstract{
本論文では，まず， eラーニングシステムの研究開発のために構築された英語学習者コーパスについて解説し，次に，このコーパスの分析と，これを用いた英語能力自動測定実験について述べている．本コーパスは，496名の被験者が各々300文の日本語文を英語に翻訳したテキストから構成されており，各被験者の英語の習熟度がTOEICにより測定されている．また，これらに加え，日英バイリンガルによる正解訳も整備されていることから，訳質自動評価の研究に利用することが可能である．このコーパスを用いた応用実験として，BLEU，NIST，WER，PER，METEOR，GTMの6つの翻訳自動評価スコアを用いた実験を行なっている．実験において，各自動評価スコアとTOEICスコアとの相関係数を求めたところ，GTMの相関係数が最も高く，0.74となった．次に，GTMや，英訳結果の文長や単語長などからなる5つのパラメータを説明変数とし，TOEICを目的変数とした重回帰分析を行なった結果，重相関係数は0.76となり，0.02の相関係数の改善が得られた．
}
\jkeywords{学習者コーパス，TOEIC，BLEU，e ラーニング}

\etitle{Development and Applications of an English Learner Corpus with Multiple Information Tags}
\eauthor{Keiji Yasuda\affiref{N} \and Keisuke Kitamura\affiref{D}\affiref{NEC} \and Seiichi Yamamoto\affiref{D} \and \\
	Masuzo Yanagida\affiref{D}}
\eabstract{Introduced in this paper is an English learner corpus built for the R \& D of an e-Learning system. Analysis and application experiments of the corpus are also shown. The corpus consists of English sentences that were translated from Japanese by Japanese English learners. Each of them translated 300 Japanese sentences into English. Their English proficiencies were measured through TOEIC. Reference sentences, translated by bilinguals, were also collected for automatic evaluation of the translation quality. In the experiments, automatic scores such as BLEU, NIST, WER, PER, METEOR and GTM were used. According to the experimental results, GTM gives the highest correlation, 0.74 for an automatic score and TOEIC. By  adding 4 parameters (sentence length, word length of the translation of the English learners, etc.) for the multiple linear regression analysis, the correlation improves to 0.76.
}
\ekeywords{English learner corpus, TOEIC, BLEU, e-learning}

\headauthor{安田　他}
\headtitle{多重タグ付き英語学習者コーパスの開発と英語能力自動測定への応用}

\affilabel{N}{独立行政法人情報通信研究機構}{National Institute of Information and Communications Technology}
\affilabel{D}{同志社大学工学部}{Department of Engineering, Doshisha University}
\affilabel{NEC}{現在NEC}{Currently with NEC}



\begin{document}
\maketitle



\section{はじめに}
経済のグローバル化に伴い，英語が言わば国際共通語となった現在，日本人の英語によるコミュニケーション能力を向上させることは，国際的なビジネスの場などでの発表や交渉・議論を効果的に行うためには極めて重要な課題である．このような能力を向上させるためには，従来型の学習方法に加え，情報通信技術を応用したeラーニングによる学習の効率化が有効な解決策となりうる．

ここで，英語によるコミュニケーションに必要な能力について注目する．英語による円滑なコミュニケーションを行なうには，以下に述べる種々の英語に関連した能力を総合的に向上させる必要がある．
\begin{itemize}
\item 英語表現を正確に聞き取る能力
\item 英語表現を正確に発音する能力
\item 語順や単語を適切に選んで英語文を構成する能力（英語表現能力）
\end{itemize}
これらの個別の能力の内，発音と聴き取りに関しては，既に eラーニングシステムの研究開発が進んでおり，一定の成果を上げている\cite{hirose_2001,yamada_ica_2004}．その反面，英語表現能力を扱った eラーニングシステムに関する取り組みは少ない．そこで本研究では，英語学習者コーパスの開発と英語表現能力を扱う eラーニングシステムの研究開発について取り組んでいる．


英語表現能力をeラーニングにおいて扱う場合，従来の授業型の英語学習で教師により行なわれている「学習者の習熟度に適合した課題の選択」と「翻訳誤りの指摘とその訂正」という機能を自動化する必要がある．これらの2つの機能を自動化する上で，まず，的確に英語表現能力を自動測定する手法の確立が必要である．


英語表現能力の測定においては，課題文を提示してその英訳文の適切性を評価する手法が一般的であるが，正解訳は一意に決定できないことから，学習者の作成した英文の評価は人手による主観的な評価によるのが現状である．英訳文の質を客観的に評価する手法については，機械翻訳の分野で，課題文に対する複数の正解訳文（以下参照訳と略称する）を予め用意しておき，編集距離や単語$n$グラムの一致度を用いて評価する手法が検討されている．このような評価手法は，統計的翻訳システムの評価においては，主観評価値と一定の相関を示すことが実証されているが\cite{papineni-EtAl:2002:ACL}，その反面，ルールベースなどの機械翻訳の方式によっては，必ずしも適切な指標とはならないことも指摘されている\cite{burch_eacl_2006}．

このような手法が英語学習者の翻訳文の評価においても有効であれば，英語表現能力の測定を自動化することが可能となる．この点を検証するためには，様々な英語能力を持つ英語学習者が翻訳した英訳文が必要である．現状の大規模学習者コーパスとしては，NICT JLEコーパス\cite{izumi}や，JEFLLコーパス\cite{JEFLL}があるが，これらは比較的自由度の高い会話やエッセイ方式によりデータ収集が行われているため，同一日本語文に対する複数の被験者による英訳文や，英語母語話者が翻訳した複数種類の英訳文を集積していないなど，英語表現能力の自動評価の検討を行うには，必ずしも十分満足できるものではない．そのため，まず，学習者の英語表現能力を自動評価する手法に対する検討のための基盤となる学習者コーパスを開発した．これは，学習者の英語表現能力の客観的評価手法の研究を行うための基盤として，TOEICスコアで表現される様々なレベルの英語能力を持つ英語学習者が同一の日本語文を翻訳した英訳文のデータを収集したコーパスである．

本論文では，まず，この学習者コーパスの収集方法に関する説明を行なう．次に，収集したコーパスの基本的な統計量について示すとともに，被験者による英訳難易度，英訳の平均文長，英訳の平均単語長などの特徴量と，TOEICスコアとの関係に関する分析を行なう．最後に，本コーパスの訳質自動測定への応用について述べる．

以下，\ref{sec:corpus}では開発した学習者コーパスの収集方法について述べ，\ref{sec:analysis}では，コーパスの基礎的な分析結果について述べる．\ref{sec:apli}では，本コーパスの訳質自動測定への応用について述べ，最後に，\ref{sec:conc}では全体をまとめる．


\section{学習者コーパスの収集方法}\label{sec:corpus}

\subsection{課題文}\label{subsec:text_type}

学習者コーパス収集に用いる英訳課題として，以下の6種からなる日本語文1,500文を利用した．
これらの1,500文をランダムに5等分し，300文からなる課題セットを5つ作成した．
\begin{itemize}
\item 英訳課題文の内訳（300文×5セット）
	\begin{itemize}
	\item 中学と高校の英語教科書に出題されている英訳問題文
	\item 旅行会話用フレーズブックから抽出された日本語文\cite{kikui_eurospeech_2003}
	\item e-mail用フレーズブックから抽出された日本語文
	\item ビジネス会話用フレーズブックから抽出された日本語文
	\item 留学用フレーズブックから抽出された日本語文
	\item 音声翻訳システムの研究開発のために収集された旅行会話(SLDB)\cite{takezawa_cocosda_99}の日本語文
	\end{itemize}
\end{itemize}

表\ref{tab:1}にこれらの英訳課題文の詳細を示す．

\begin{table}[t]
\caption{英訳課題文の詳細}
\begin{center}
\includegraphics{16-5ia3t1.eps}
\end{center}
\label{tab:1}
\end{table}


\subsection{英語学習者のデータ収集}\label{subsec:data}

英訳データの収集方法は，被験者1人につき，課題セット1つ（300文）を割り当て，課題文をWEBブラウザ上に提示し，496名の被験者に英訳を行なわせた．被験者毎にタイピング能力が異なることから，英訳時における時間制限は設けなかった．英訳時には，辞書や参考書の使用を禁止した．また，被験者には，英訳時において，各課題文に対する英訳の難易度を1〜5の5段階（1 非常に簡単，2 簡単，3 普通，4 難しい，5 非常に難しい）で主観評価させた．全ての課題文に対する英訳が終了した後，各被験者にスペルミスと思われる箇所を提示し，スペルミスの修正を行なわせた．スペルミスの修正作業時には，辞書や参考書の利用を許可した．

被験者の能力を測定するための試験としてTOEICを採用し，データ収集と同時期に，TOEIC公開テストか，団体試験であるTOEIC IPテストのどちらかを，全ての被験者に受験させている\footnote{2006年5月にTOEICの各パートの問題数が変更されたが，この変更以前の試験を受験させている．}．TOEIC IPテストは，過去のTOEIC公開テストの問題を用いた試験であり，スコア自体はTOEIC公開テストのものと等価であることから，これらのスコアは同等に扱っている．
なお，TOEICは，ReadingとListeningの試験から構成される試験であるものの，SpeakingやWritingの能力とも高い相関を示すスコアである点\cite{toeic2}や，日本における受験者が多く，多数の被験者を集めやすい点を勘案して採用した．

\subsection{バイリンガルによる参照訳の収集}\label{ref}

先に述べた英語学習者による英訳結果の他に，同じ英訳課題文1,500文に対して，英語を母語とする5名のバイリンガルによる参照訳を収集している．参照訳にバリエーションを持たせるため，英訳課題1文に対して，バイリンガル1名が2訳を作成することにより，のべ10文の参照訳を収集している．参照訳全体に対する1文あたりの平均単語数は，10.2単語である．

\subsection{バイリンガルによる英訳難易度評価}
\label{subsec:eval}

日本語を母語とするバイリンガル3名（通訳者，英語教育経験者，言語処理関連データ作成経験者）により，「英訳難易度」に関する評価を実施した．各評価者には，1,500文全ての課題文に対する評価を行なわせている．


\ref{subsec:data}で述べた被験者による作業は，英訳と英訳難易度評価を並行して行なう作業であるのに対し，ここでのバイリンガルによる作業は，英訳難易度評価のみを行なう作業である．そのため，評価作業に集中でき，同一評価者内における評価の一貫性の維持が比較的容易であると考えられる．これらの理由から，バイリンガルによる評価では，\ref{subsec:data}で述べた評価基準（5段階）とは異なり，より細かい7段階の評価基準（1 非常に簡単，2簡単，3 少し簡単，4 普通，5 少し難しい 6 難しい，7 とても難しい）にて評価を実施した．

次に，\ref{ref}で述べた参照訳収集と，英訳難易度評価とにおいて，バイリンガルの母語が異なる理由について述べる．参照訳収集では，英語として一切誤りの無い完璧な訳を収集する必要があるため，英語が母語であるバイリンガルに依頼した．一方，英訳難易度評価においては，日本語母語話者に対する，日本語を英訳する際の難易度の測定が目的であるため，日本語が母語であるバイリンガルに依頼した．


\section{学習者コーパスの分析}
\label{sec:analysis}

ここでは，\ref{sec:corpus}で述べた方法により収集されたデータの基本的な統計量について示すとともに，TOEICスコアとの関連性という観点からの分析を行なう．

まず，被験者のTOEICスコアの分布を示し，次に，被験者のTOEICスコアと，被験者による英訳難易度，英訳の平均文長，英訳の平均単語長などとの関係について分析する．最後に，3名のバイリンガルによって行なわれた英訳難易度の評価結果とその分析について示す．

\subsection{被験者のスコア分布}

図\ref{fig:histgram}に，英語学習者496名のTOEICスコアのヒストグラムを示す．ここでの平均は559.4，標準偏差は208.1である．日本人のTOEIC受験者全体のTOEICスコアの平均（580前後）と標準偏差（170前後）\cite{toeic}と比較すると，平均スコアは低く，標準偏差は大きくなっている．これは，被験者を募集する際に，英語能力の分布は，可能な範囲内で均一となるように努めたためである．


\subsection{TOEICスコアと英訳課題の主観的英訳難易度}
\label{class}

\begin{figure}[t]
\begin{center}
\includegraphics{16-5ia3f1.eps}
\end{center}
\caption{英語学習者のTOEICスコア}
\label{fig:histgram}
\end{figure}

ここでは分析のため，まず，496名の英語学習者をTOEICスコアが低い順に100名づつグーピングしていき，5つのグループに分けた．以下に各グループのTOEICスコア帯を示す．
\begin{description}
\item[グループ1 ]TOEICスコア175〜365の100名．
\item[グループ2 ]TOEICスコア365〜465の100名．
\item[グループ3 ]TOEICスコア470〜605の100名．
\item[グループ4 ]TOEICスコア605〜760の100名．
\item[グループ5 ]TOEICスコア765〜990の96名．
\end{description}
図\ref{fig:hist_dif}は，このグループ分けを用い，次式により定義する英語学習者($i$)ごとの課題文に対する主観難易度の平均値($D_{i}$)を，各グループごとにプロットしたヒストグラムである．
\begin{equation}
D_{i} = \frac{1}{n_{test}} \sum_{j=1}^{n_{test}}d\{i,j\}
\label{eq:dif}
\end{equation}
ただし，$n_{test}$は，英語学習者$i$が英訳した課題文の数（ここでは，300）で，$d\{i,j\}$は，英語学習者$i$が課題文$j$に対して付与した5段階の主観難易度（1〜5）である．

図\ref{fig:hist_dif}を見るとTOEICスコアが低い学習者ほど，難しい英訳問題であると感じており，TOEICスコアが上がるにつれ，簡単な問題であると評価する割合が高くなっていくことがわかる．

被験者全体における$D_{i}$の平均は，3.2であった．この点と，日本人の平均的なTOEICスコアであるグループ3の難易度が，3付近に集中している点とを考慮すると，英訳課題文の難易度の設定としては，程よいレベルであったといえる．


\begin{figure}[t]
\begin{center}
\includegraphics{16-5ia3f2.eps}
\end{center}
\caption{英語学習者による翻訳難易度}
\label{fig:hist_dif}
\end{figure}

\subsection{TOEICスコアと英訳結果の文長との関係}

\ref{ref}で述べたように，バイリンガルによる参照訳の平均文長は10.2単語であるが，これに比べると被験者全体での平均文長は短く，8.0単語であった．

被験者のTOEICスコアと英訳の文長の関係を見るため，\ref{class}で述べたものと同様の5グループ分類を用いてプロットした各被験者の英訳結果の平均文長（平均単語数）のヒストグラムが図\ref{fig:hist_sent}である．図\ref{fig:hist_sent}では，TOEICスコアが605以上の英語学習者の平均文長もこの付近に集中している．また，グループ5とグループ4とでは，分布に大きな差が無いが，グループ3以降，TOEICスコアが低くなるにつれ，平均文長が短くなっていく傾向にある．


\subsection{英訳の単語長とTOEICスコアの関係}

図\ref{fig:hist_word}は，図\ref{fig:hist_sent}の平均文長を平均単語長（1単語当たりの平均文字数）に置き換えてプロットしたヒストグラムである．全体的な傾向としては，図\ref{fig:hist_sent}で示した文長とTOEICスコアとの関係の場合と同様，TOEICスコアが高い英語学習者ほど長い単語を使うという傾向がみられた．

\begin{figure}[p]
\begin{center}
\includegraphics{16-5ia3f3.eps}
\end{center}
\caption{英訳結果の文長}
\label{fig:hist_sent}
\vspace{1\baselineskip}

\begin{center}
\includegraphics{16-5ia3f4.eps}
\end{center}
\caption{英訳結果の単語長}
\label{fig:hist_word}
\end{figure}



しかしながら，グループ毎に細かく見ていくと，文長の場合ではグループ5とグループ4が非常に似かよった分布となっている反面，単語長の場合については，グループ5とグループ4の分布形状は異なり，グループ4とグループ3が似かよった分布形状となっている．

これらのことから，TOEICのスコア帯が605から760のグループ4と，765〜990のグループ5では，英訳結果に含まれる文長（単語数）においては大きな差が無いものの，グループ5はグループ4と比較し，英訳時に長い単語を使う傾向があると言える．


\subsection{英訳におけるスペルミスとTOEICスコアの関係}
\label{subsec:misspell}

\ref{subsec:data}で述べたように，各英語学習者には，300文全ての翻訳が終了した後に，スペルミスと思われる箇所を提示し，修正させた\footnote{スペル修正については，各英語学習者の作業のみをもとに集計している．実際にスペルミスの箇所がデータ収集システムにより正しく指摘されていても，各英語学習者がスペルミスであると認めず，修正を行なわなければスペルミスとして扱っていない．}．ここでは，修正が行なわれた文数について分析する．

図\ref{fig:hist_misspell}は，スペル修正が行なわれた文の数を学習者ごとに合計し，プロットしたヒストグラムである．グループ分けの方法についてはこれまでと同様である．


\begin{figure}[b]
\begin{center}
\includegraphics{16-5ia3f5.eps}
\end{center}
\caption{スペルミスを含む英訳文数}
\label{fig:hist_misspell}
\end{figure}


図\ref{fig:hist_misspell}を見ると，英語学習者の能力が高いほど，スペル修正された文の数が少ないことが分かる．0〜30のランクで，TOEICスコアが最も低いグループ1の頻度が高くなっているが，これは，英語学習者による英訳が不可能で，英訳結果が空欄の場合については，スペルミスが無い英訳として集計していることが起因していると考えられる．


\subsection{バイリンガルによる英訳難易度評価に関する分析}

ここでは，\ref{subsec:eval}で述べた，バイリンガル3名により行なわれた英訳難易度評価の結果について分析する．図\ref{fig:hist_dif_bilin}は，3名の評価者により評価された1,500文の難易度のヒストグラムである．
図\ref{fig:hist_dif_bilin}では，図\ref{fig:hist_dif}とは異なり，全テスト文での平均をとるのではなく，
文単位の難易度を用いてプロットしている．図\ref{fig:hist_dif_bilin}を見ると，同一の課題文集合を評価しているにもかかわらず，難易度の分布が大きく異なることが分かる．特に評価者3においては，難易度3（少し簡単）と難易度4（普通）が多くなっている．

\begin{figure}[b]
\begin{center}
\includegraphics{16-5ia3f6.eps}
\end{center}
\caption{バイリンガルによる英訳難易度評価結果のヒストグラム}
\label{fig:hist_dif_bilin}
\end{figure}
\begin{table}[b]
\caption{バイリンガルによる英訳難易度評価の分析結果}
\begin{center}
\includegraphics{16-5ia3t2.eps}
\end{center}
\label{tab:2}
\end{table}

表\ref{tab:2}は，各評価者の難易度評価結果間の相関係数と$\kappa$係数\cite{cohen_1960}を示す．相関係数で見ると，全ての組み合わせにおいて，0.65以上の値が得られており，ある程度の相関があることが分かるが，$\kappa$係数で見ると0.2程度と非常に低く，評価結果の一致の度合いは非常に低いことが分かる．この点については，今後，評価指標の再検討，評価マニュアルの整備を行うなどして，安定した評価結果が得られるように検討していく必要がある．

図\ref{fig:mean_diff}は，表\ref{tab:1}の分類ごとに計算した平均難易度である．図\ref{fig:mean_diff}において，横軸は各分類ごとの平均難易度を，エラーバーは標準偏差をそれぞれ表している．図\ref{fig:mean_diff}を見ると，e-mail用フレーズブックの難易度が最も高くなっている．これは，表\ref{tab:1}に示したように，課題文1文あたりの文長が長いことが影響していると考えられる．ただし，SLDBと旅行会話用フレーズブックとを比較すると，SLDBの文長は，旅行会話用フレーズブックの文長の倍以上にもかかわらず，SLDBの難易度の方が低くなっており，必ずしも課題文の文長だけで説明できる訳ではない．今後，英訳難易度を自動判定するためには，英訳課題文に含まれる単語の性質も考慮に入れ，更なる分析を行っていく必要がある．

\begin{figure}[t]
\begin{center}
\includegraphics{16-5ia3f7.eps}
\end{center}
\caption{英訳課題文の各分類ごとの難易度}
\label{fig:mean_diff}
\end{figure}



\section{訳質自動評価への応用}
\label{sec:apli}

\ref{sec:corpus}では，英語学習者コーパスの収集方法について説明した．\ref{sec:analysis}においては，収集されたコーパスの基本的な統計量について示すとともに，TOEICスコアとの関連性という観点からの分析を行なった．ここでは，実際に収集されたコーパスをもとに，機械翻訳の分野における翻訳自動評価技術を，英語学習者による英訳の訳質評価に応用し，翻訳自動評価のスコアを英語学習者のTOEICスコアの自動推定に用いる実験を行っている．

まず，従来の英語能力測定法について述べ，次に，翻訳自動評価法について概説する．最後に，翻訳自動評価のスコアの妥当性を検証するための相関分析と，TOEICスコアを自動推定するための回帰分析について述べる．


\subsection{従来の能力測定法との関係}\label{subsec:conv}

TOEICに代表される現在の英語能力測定においては，採点の容易さから，多肢選択形式の問題が多用されている．このような問題形式は，文法的な規則に関する知識や，訳語選択に対する能力を直接的に測定することは容易であるが，英語表現能力を直接的に測定することは出来ない．そのため，英語表現能力を構成すると考えられる文法能力や訳語選択能力などの諸能力を測定することにより，間接的に英語表現能力を測定しているというのが現状である．

本実験では，このような方法ではなく，英訳問題を採点することにより，直接的に英語表現能力を測定するという方法をとる．このような方法は，従来では人手による英訳の採点が必要であることから，非常にコストの高い形式であった．しかしながら本研究では，近年の機械翻訳の研究開発において発展を遂げた翻訳自動評価技術を応用することにより，英訳採点部分を自動化し，高い評価コストをかけること無しに，英語表現能力を直接的に測定することを可能にすることを目的としている．


\subsection{翻訳自動評価法の概要}
\label{subsec:auto_summary}

本実験で用いる全ての翻訳自動評価手法は，参照訳と評価対象文とを比較し，類似度を計算するという考え方に基づいている．翻訳の正解は一つだけではないため，多数存在する翻訳の正解訳に対する網羅性を高める目的から，複数の参照訳を用いることが多く，また，これにより自動評価の性能を上げることができる．翻訳自動評価においては，参照訳と評価対象文の間の類似度をどのように計算するかによって，様々なスコアが存在する．本実験では，$n$-gramの一致率に基づくスコアであるBLEUとNIST，単語単位の一致率を測定するWERとPER，最長一致単語列を用いてスコアリングを行なうGTM，単語の一致度に関するスコアと一致した単語の連続性に関するスコアとの積により計算するMETEORの6つ\cite{yasuda_ai_08,gtm}を用いる．


\subsection{翻訳自動評価法による訳質評価}\label{subsec:auto}

\ref{ref}で述べたバイリンガルによる翻訳結果を参照訳として用い，BLEU，NIST，WER，PER，GTM，METEORの6つのスコアを，課題セット（300文）単位で計算した．図\ref{fig:scut}に，課題セット単位のBLEUスコアと，TOEICスコアの関係を示す．図中の縦軸はTOEICスコアを，横軸は課題セット単位のBLEUスコアをそれぞれ表している．また，\ref{subsec:text_type}で述べたように，課題セットは5種類あることから，それぞれの課題セットに対して異なるシンボルを割り当て，英語学習者1名を1つの点とし，496名分の結果をプロットしている．

通常，異なるセット間の自動評価スコアは，直接的に比較することは出来ないが，図\ref{fig:scut}を見ると，5つのセット全てが，ほぼ同様の分布となっており，それぞれの課題セットが同様の特性の課題文集合となっていることが示唆される．今回の課題セットについては，全課題文1,500文の集合から，各課題セットが300文になるようにランダムに振り分けることにより，このような結果が得られたが，課題セットのサイズを小さくしすぎると，課題セット毎にスコアが大きく異なるようになると考えられる．

\begin{figure}[t]
\begin{center}
\includegraphics{16-5ia3f8.eps}
\end{center}
\caption{TOEICスコアとBLEUスコアの関係}
\label{fig:scut}
\end{figure}
\begin{table}[t]
\caption{TOEICスコアと翻訳自動評価スコアの相関係数}
\begin{center}
\includegraphics{16-5ia3t3.eps}
\end{center}
\label{tab:miss}
\end{table}


表\ref{tab:miss}には，TOEICスコア，自動評価スコア間の相関係数を示している．ここでの相関係数は，課題セットの違いを無視し，全てのサンプル（496人分）を用いて計算した値である．表\ref{tab:miss}を見ると，全ての自動評価スコアにおいて，0.7以上の高い相関\footnote{WERとPERは，誤り率であるため，正しい翻訳ほど低いスコアとなる．このため相関係数は負の値となっている．}が得られており，中でもGTMが最も高い相関となっていることが分かる．

\subsection{重回帰分析}
\label{subsec:reg}

ここでは，先に述べた自動評価スコアと，\ref{class}〜\ref{subsec:misspell}で述べた4つのパラメータ（英語学習者自身による英訳難易度，英訳結果の平均文長，英訳結果の平均単語長，スペルミスが修正された文の数）とを用いた重回帰分析を行なう．

表\ref{tab:miss}から分かるように，翻訳自動評価間の相関は非常に高い．今回実施した重回帰分析では，多重共線性の問題を回避するため，GTMのみを用いている．

\begin{table}[t]
\caption{重相関分析の結果}
\begin{center}
\includegraphics{16-5ia3t4.eps}
\end{center}
\label{tab:reg}
\end{table}

表\ref{tab:reg}が，重回帰分析の結果で，各説明変数に対する重回帰係数と$P$値が示されている．ここでの$P$値は，各重回帰係数が0であるという帰無仮説を検定するための値である．また，表\ref{tab:reg}の重回帰係数を用いた場合の重相関係数は0.76，標準誤差は134.84であった．GTMのみを用いた場合と比較し，相関係数では約0.02，標準誤差で約6.37の改善が得られている．
表\ref{tab:reg}を見ると，英訳の平均文長(Sentence length)と英訳の平均単語長(Word length)の$P$値は非常に高くなっている．このことより，この2つの変数は，図\ref{fig:hist_sent}と図\ref{fig:hist_word}では，TOEICスコアとのある程度の関連性は観測されたものの，TOEICスコアを推定するための説明変数としては不適切であると言える．GTMについてみると，$P$値も低く，重回帰係数の値も大きいことから，最も重要な説明変数であると言える．また，英語学習者自身による英訳難易度とスペルミスが修正された文の数の2変数については，重回帰係数の値は低いため寄与は小さいものの，$P$値も低いことから有意な説明変数であると言える．

\section{まとめと今後の課題}
\label{sec:conc}

TOEICスコアで能力測定された496名の英語学習者が，300文からなる英訳課題を翻訳することにより収集された英語学習者コーパスについて解説した．まず，データの収集方法について説明し，次に，英語学習者自身による英訳難易度評価結果，英訳結果の平均文長，英訳結果の平均単語長，スペルミスの観点からのコーパスの分析結果について述べた．

最後に，本コーパスの応用例として，英語学習者の能力を自動測定するための実験を行なった．本実験では，まず，バイリンガルにより翻訳された参照訳と既存の翻訳自動評価技術とを用いて，英訳課題セット単位の自動評価スコアを計算した．BLEU，NIST，WER，PER，GTM，METERORの6つの自動評価スコアと，TOEICスコアとの相関係数を求めたところ，GTMの相関係数が最も高く，0.74となった．次に，GTMに，先の分析で用いた4つのパラメータ（英語学習者自身による英訳難易度評価結果，英訳結果の平均文長，英訳結果の平均単語長，スペルミスが修正された文の数）を加えてこれらを説明変数とし，TOEICを目的変数とした重回帰分析を行なった．重回帰分析の結果，重相関係数は0.76，標準誤差は134.68となり，GTMのみを用いた場合と比較し，相関係数では約0.02，標準誤差で約6.37の改善が得られた．

本研究においては，300文からなる課題セット単位での自動評価を取り扱ったが，今後は，パラグラフや文といったより小さな単位での自動評価や誤り検出への取り組みを行うとともに，英訳難易度の測定技術の研究を進め，「学習者の習熟度に合った英訳問題の提示」と「訳質自動評価と評価結果と診断結果の提示」とを繰り返すことにより効率的な学習を行うことができる eラーニングシステムの開発につなげて行きたい．

\acknowledgment
本研究は，科学研究費補助金（基盤研究B）（課題番号16300048）による助成研究の一部である．



\bibliographystyle{jnlpbbl_1.4}
\begin{thebibliography}{}

\bibitem[\protect\BCAY{Akahane-Yamada, Kato, Adachi, Watanabe, Komaki, Kubo,
  Takada, \BBA\ Ikuma}{Akahane-Yamada et~al.}{2004}]{yamada_ica_2004}
Akahane-Yamada, R., Kato, H., Adachi, T., Watanabe, H., Komaki, R., Kubo, R.,
  Takada, T., \BBA\ Ikuma, Y. \BBOP 2004\BBCP.
\newblock \BBOQ {ATR CALL}: A speech perception/production training system
  utilizing speech technology.\BBCQ\
\newblock In {\Bem Proceedings of the 18th International Congress on
  Acoustics}, \lowercase{\BVOL}\ III, \mbox{\BPGS\ 2319--2320}.

\bibitem[\protect\BCAY{Callison-Burch, Osborne, \BBA\ Koehn}{Callison-Burch
  et~al.}{2006}]{burch_eacl_2006}
Callison-Burch, C., Osborne, M., \BBA\ Koehn, P. \BBOP 2006\BBCP.
\newblock \BBOQ Re-evaluating the Role of Bleu in Machine Translation
  Research.\BBCQ\
\newblock In {\Bem Proceedings of the 11th Conference of the European Chapter
  of the Association for Computational Linguistics}, \mbox{\BPGS\ 249--256}.

\bibitem[\protect\BCAY{Cohen}{Cohen}{1960}]{cohen_1960}
Cohen, J.~A. \BBOP 1960\BBCP.
\newblock \BBOQ A coefficient of agreement for nominal scales.\BBCQ\
\newblock {\Bem Educational and Psychological measurements}, {\Bbf 20},
  \mbox{\BPGS\ 37--46}.

\bibitem[\protect\BCAY{ETS}{ETS}{2008}]{toeic}
ETS \BBOP 2008\BBCP.
\newblock \BBOQ http://www.toeic.or.jp/toeic/data/data\_avelist.html.\BBCQ.

\bibitem[\protect\BCAY{Hirose, Ishi, \BBA\ Kawai}{Hirose
  et~al.}{2001}]{hirose_2001}
Hirose, K., Ishi, C.~T., \BBA\ Kawai, G. \BBOP 2001\BBCP.
\newblock \BBOQ On the use of speech recognition technology for foreign
  language pronunciation teaching.\BBCQ\
\newblock {\Bem Journal of the Phonetic Society of Korea}, {\Bbf 42},
  \mbox{\BPGS\ 37--46}.

\bibitem[\protect\BCAY{Izumi, Uchimoto, \BBA\ Isahara}{Izumi
  et~al.}{2004}]{izumi}
Izumi, E., Uchimoto, K., \BBA\ Isahara, H. \BBOP 2004\BBCP.
\newblock \BBOQ The {NICT JLE} Corpus: Exploiting the language learners' speech
  database for research and education.\BBCQ\
\newblock {\Bem Special Issues of International Journal of the Computer, the
  Internet, and Management (IJCIM)}, {\Bbf 12}  (2), \mbox{\BPGS\ 119--125}.

\bibitem[\protect\BCAY{Kikui, Sumita, Takezawa, \BBA\ Yamamoto}{Kikui
  et~al.}{2003}]{kikui_eurospeech_2003}
Kikui, G., Sumita, E., Takezawa, T., \BBA\ Yamamoto, S. \BBOP 2003\BBCP.
\newblock \BBOQ Creating corpora for speech-to-speech translation.\BBCQ\
\newblock In {\Bem Proceedings of Eurospeech}, \mbox{\BPGS\ 381--384}.

\bibitem[\protect\BCAY{Papineni, Roukos, Ward, \BBA\ Zhu}{Papineni
  et~al.}{2002}]{papineni-EtAl:2002:ACL}
Papineni, K., Roukos, S., Ward, T., \BBA\ Zhu, W.-J. \BBOP 2002\BBCP.
\newblock \BBOQ Bleu: a Method for Automatic Evaluation of Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 40th Annual Meeting of the Association
  for Computational Linguistics (ACL)}, \mbox{\BPGS\ 311--318}.

\bibitem[\protect\BCAY{Takezawa}{Takezawa}{1999}]{takezawa_cocosda_99}
Takezawa, T. \BBOP 1999\BBCP.
\newblock \BBOQ Building a Bilingual Travel Conversation Database for Speech
  Translation Research.\BBCQ\
\newblock In {\Bem Proceedings of 2nd International Workshop on East-Asian
  Language-Resources and Evaluation---Oriental COCOSDA Workshop '99---},
  \mbox{\BPGS\ 17--20}.

\bibitem[\protect\BCAY{投野}{投野}{2007}]{JEFLL}
投野由紀夫 \BBOP 2007\BBCP.
\newblock
  \Jem{日本人中高生一万人の英語コーパス中高生が書く英文の実態とその分析}.
\newblock 小学館.

\bibitem[\protect\BCAY{Turian \BBA\ Luke~Shen}{Turian \BBA\
  Luke~Shen}{2003}]{gtm}
Turian, J.~P.\BBACOMMA\ \BBA\ Luke~Shen, I. D.~M. \BBOP 2003\BBCP.
\newblock \BBOQ Evaluation of Machine Translation and Its Evaluation.\BBCQ\
\newblock In {\Bem Proceedings of MT Summit}, \mbox{\BPGS\ 386--393}.

\bibitem[\protect\BCAY{Woodford}{Woodford}{1982}]{toeic2}
Woodford, P.~E. \BBOP 1982\BBCP.
\newblock {\Bem An introduction to TOEIC: The initial validity study}.
\newblock Educational Testing Service.

\bibitem[\protect\BCAY{安田\JBA 隅田}{安田\JBA 隅田}{2008}]{yasuda_ai_08}
安田圭志\JBA 隅田英一郎 \BBOP 2008\BBCP.
\newblock 機械翻訳の研究・開発における翻訳自動評価技術とその応用.\
\newblock \Jem{人口知能学会誌}, {\Bbf 23}  (1), \mbox{\BPGS\ 2--9}.

\end{thebibliography}

\begin{biography}
\bioauthor{安田　圭志}{
1999年同志社大学工学部知識工学科中退（飛び級進学のため）．2004年同志社大学大学院工学研究科博士課程了．工学博士．現在，独立行政法人　情報通信研究機構において機械翻訳システムの研究に従事．2006年電子情報通信学会ISSソサイエティ論文賞受賞．情報処理学会，電子情報通信学会，音響学会各会員．
}
\bioauthor{喜多村圭祐}{
2006年同志社大学工学部知識工学科卒業．2008年同大学大学院知識工学研究科修士課程了．工学修士．機械翻訳の研究開発に従事．現在（株）NEC．
}
\bioauthor{山本　誠一}{
1972年大阪大学工学部電子工学科卒業．1974年同大学大学院基礎工学研究科修士課程了．同年（株）KDD入社．ATR音声言語コミュニケーション所長などを経て，現在同志社大学理工学部教授．工学博士．この間，適応信号処理，音声合成，音声認識，音声翻訳の研究に従事．1981年度電子情報通信学会学術奨励賞，日本音響学会第3回技術開発賞，第5回技術開発賞，電子情報通信学会ISSソサイエティ論文賞，電気通信普及財団テレコム技術賞などを受賞．電子情報通信学会FELLOW, IEEE FELLOW．言語処理学会，日本音響学会各会員．
}
\bioauthor{柳田　益造}{
1969年大阪大学工学部電子工学科卒業．1971年同大学大学院修士課程了．同年NHK入局．1978年大阪大学大学院博士課程了．工学博士．同年大阪大学産業科学研究所助手，1978〜1979年オランダ国立Groningen大学音声研究所客員研究員，1987年郵政省電波研究所（現情報通信研究機構）音声研究室長などを経て，現在同志社大学理工学部教授．音響信号処理，音声言語情報処理ならびに音楽知覚・情報処理の研究に従事．2004日本音響学会佐藤論文賞，2006年電子情報通信学会ISSソサイエティ論文賞などを受賞．著書（分担執筆）：「ファジイ科学」（海文堂），「信号処理」（オーム社），「メディア情報処理」（オーム社），訳書（分担）：「ソフトコンピューティング」（海文堂）．日本音響学会音楽音響研究会委員長，日本音楽知覚認知学会理事，電子情報通信学会，情報処理学会，IEEE，米音響学会 など各会員．
}

\end{biography}


\biodate



\end{document}
