\documentclass[tombow,japanese]{jnlp_2.3}
\usepackage{jnlpbbl_1.3}
\usepackage[dvipdfm]{graphicx}
\usepackage{gentombow}
\usepackage{amsmath}
\usepackage{array}
\settombowbleed{5mm}

\allowdisplaybreaks
\newif\ifDRAFT
\DRAFTfalse
\newcommand{\modified}[1]{}

\Volume{26}
\Number{3}
\Month{September}
\Year{2019}

\received{2019}{1}{31}
\revised{2019}{4}{26}
\accepted{2019}{6}{22}

\setcounter{page}{635}

\jsubject{一般論文}
\jtitle{単語埋め込みに基づくサプライザル}
\jauthor{浅原　正幸\affiref{Author_1}}
\jabstract{
ヒトの文処理のモデル化として Hale によりサプライザルが提案されている．サプライザルは文処理の負荷に対する情報量基準に基づいた指標で，当該単語の文脈中の負の対数確率が文処理の困難さをモデル化するとしている．日本語において眼球運動測定を用いて文処理の負荷をモデル化する際に，統語における基本単位である文節単位の読み時間を集計する．一方，単語の文脈中の生起確率は形態素や単語といった単位で評価し，この齟齬が直接的なサプライザルのモデル化を難しくしていた．本論文では，この問題を解決するために単語埋め込みを用いる．skip-gram の単語埋め込みの加法構成性に基づき，文節構成語のベクトルから文節のベクトルを構成し，隣接文節間のベクトルのコサイン類似度を用いて，文脈中の隣接尤度をモデル化できることを確認した．さらに，skip-gram の単語埋め込みに基づいて構成した文節のベクトルのノルムが，日本語の読み時間のモデル化に寄与することを発見した．}
\jkeywords{リーダビリティ評価，読み時間，単語埋め込み，サプライザル}

\etitle{Surprisal through Word Embeddings}
\eauthor{Masayuki Asahara \affiref{Author_1}} 
\eabstract{
The concept of surprisal was proposed by Hale as a psycholinguistic model of sentence processing costs based on the information theory. Surprisal measures a word’s negative log probability in context and can be used to model the difficulty in processing a sentence. If this difficulty is estimated using the eye-tracking method, the reading time can be estimated using base phrase units in Japanese. In addition, word probability is estimated from the frequency of morphemes or word units in Japanese. We introduced word embeddings to address the discrepancy in units, which makes it difficult to model surprisal in Japanese. The additive property of skip-gram word embeddings enabled us to compose a base phrase vector from word vectors in the base phrase. We confirmed that the cosine similarity between two adjacent base phrase vectors can be used to model the contextual probability of the bi-gram of the base phrase and found that the norm of the base phrase correlates with reading time in Japanese.
}
\ekeywords{Readability, Reading Time, Word Embeddings, Surprisal}

\headauthor{浅原}
\headtitle{単語埋め込みに基づくサプライザル}

\affilabel{Author_1}{人間文化研究機構国立国語研究所}{NINJAL, Japan}



\begin{document}
\maketitle


\section{はじめに}

本研究では眼球運動に基づき文の読み時間を推定し，ヒトの文処理機構の解明を目指すとともに，
工学的な応用として文の読みやすさのモデル構築を行う．対象言語は日本語とする．

データとして\ref{subsec:bccwj-eyetrack}節に示す『現代日本語書き言葉均衡コーパス』(BCCWJ)
\cite{Maekawa-2014-LRE}の読み時間データ BCCWJ-EyeTrack \cite{Asahara-2019d}を用いる．\ref{subsec:prev}節に示す通り，過去の研究は統語・意味・談話レベルのアノテーションを重ね合わせることにより，
コーパス中に出現する言語現象と読み時間の相関について検討してきた．
一方，Hale は，\modified{言語構造の頻度(Structural frequency)}が文処理過程に影響を与えると言及し，漸進的な文処理
の困難さについて情報量基準に基づいたモデルをサプライザル\modified{理論}
(Surprisal Theory) として定式化している\cite{Hale-2001}．このサプライザル
\modified{理論}に基づく日本語の読み時間の分析が求められている．

しかしながら，日本語においては，心理言語学で行われる読み時間を評価する単位と，
コーパス言語学で行われる頻度を計数する単位に齟齬があり，この分析を難しくしていた．
具体的には，前者においては一般的に統語的な基本単位である文節が用いられるが，
後者においては斉一な単位である短い語（国語研短単位など）が用いられる．

この齟齬を吸収するために，単語埋め込み\cite{Mikolov-2013a}の利用を提案する．
単語埋め込みは前後文脈に基づき構成することにより，
単語の置き換え可能性を低次元の実数値ベクトル表現によりモデル化する．
このうち skip-gram モデルは加法構成性を持つと言われ\footnote{\modified{原論文
\cite{Mikolov-2013b} 5節 Additive Compositionality を参照．}}，
句を構成する単語のベクトルの線形和が，句の置き換え可能性をモデル化できる \cite{Mikolov-2013b}．

日本語の単語埋め込みとして，『国語研日本語ウェブコーパス』(NWJC)\cite{Asahara-2014}か
ら fastText \cite{fastText} により構成した NWJC2vec \cite{nwjc2vec}を用いた．
ベイジアン線形混合モデル\cite{Sorensen-2016}に基づく統計分析\footnote{\modified{本研究では，
複雑な要因分析の際にモデルの収束が容易なベイズ主義的な統計分析を行う．頻度主義
的な統計分析を用いない理由については，『言語研究』論文 \cite{Asahara-2019d}の付録を参照されたい．}}の結果，
skip-gram モデルに基づく単語埋め込みのノルムと隣接文節間のコサイン類似度が，
読み時間を予測する因子となりうることが分かった．
前者のノルムが\modified{読み時間を長くする文節の何らかの特性}を，
後者の隣接文節間のコサイン類似度が隣接\modified{尤度}をモデル化すると考える．
\modified{「隣接尤度」は文節の bigram 隣接尤度のようなものを想定する．}

以下，\ref{sec:related}節に前提となる関連情報について示す．
\ref{sec:method}節に分析手法について示す．
4節に結果と考察について示し，5節でまとめと今後の展開を示す．


\section{前提} \label{sec:related}

\subsection{BCCWJ-EyeTrack} \label{subsec:bccwj-eyetrack}

BCCWJ-EyeTrack \cite{Asahara-2019d}は，BCCWJ の新聞記事サンプル 20記事に対して，
日本語母語話者24人分（女性19人, 未回答1人, 男性4人; 20--55歳）の読み時間を収集して，データベース化したものである．
自己ペース読文法 (SELF: Self-Paced Reading) と視線走査法に基づく文節単位の5種類
の
読み時間 (FFT: First Fixation Time, FPT: First Pass Time, SPT: Second Pass Time,
RPT: Regression Path Time, Total: Total Time) が視線停留オフセット値に基づいて算
出されている．
\modified{自己ペース読文法は，実験協力者がスペースキーを押しながら1文節ずつ読む
方法で，スペースキーを押す時間間隔が当該文節を読む時間として計測される．基本的
に後戻りして読むことはできない．視線走査法は，視線走査装置を用いて眼球運動を計
測することにより，視線停留時間から読み時間を直接評価する手法である．}
図 \ref{fig:eyetrack} に読み時間のタイプの集計例を示す．

\begin{figure}[b]
\begin{center}
\includegraphics{26-3ia4f1.eps}
\end{center}
\caption{視線走査データの読み時間のタイプの集計例}
\label{fig:eyetrack}
\end{figure}

表 \ref{tbl:data} に BCCWJ-EyeTrack のデータ形式について示す．
{\tt surface} は単語の表層形である．
読み時間 (i.e., {\tt time}) は対数に変換したデータ (i.e., {\tt
logtime})も保持し，一般化線形混合モデル用に用いられる．
{\tt measure} は読み時間のタイプ \{SELF, FFT, FPT, RPT, SPT, TOTAL\}を表す．
{\tt sample, article, metadata\_orig, metadata} は記事に関連する情報である．
{\tt space} は文節境界に半角空白を入れたか否かを示す．
{\tt length} は表層形の文字数である．
{\tt is\_first,is\_last,is\_second\_last} はレイアウトに関する特徴量である．
{\tt sessionN, articleN, screenN, lineN, segmentN} は要素の呈示順に関する特徴量
である．
{\tt subj} は被験者のID で統計処理においてランダム要因として用いる．
{\tt dependent} は当該文節に係る文節の数を人手で付与したもの
\cite{Asahara-2016b}である．

\begin{table}[t]
\caption{BCCWJ-EyeTrack のデータ形式}
\label{tbl:data}
\input{04table01.tex}
\end{table}

また，被験者が記事をきちんと読んでいるか確認するために，各記事を読んだ後に，
Yes/Noで解答できる簡単な内容理解課題を課した．視線走査法の内容理解課題の正解率
は99.2\% (238/240)で，自己ペース読文法の内容理解課題の正解率77.9\% (187/240)より
有意に高かった(p$<$0.001)\footnote{\modified{自己ペース読文法は，読み戻しができないために
正解率が低くなったと考える．}}．



\subsection{サプライザル}
\label{subsec:surprisal}

\citeA{Hale-2001}は文脈中に出現する言語的な事象 $x$（音韻的特徴・単語・発話）が
伝達する情報を次式によりはかることができ，これを\modified{サプライザル
(surprisal)\footnote{\modified{以下，サプライザル理論一般を表す場合にカタカナ表記で，個々
の式を表す場合にアルファベット表記を用いる．}}}と呼んだ：
\[
{\tt Surprisal}(x) = \log_{2} \frac{1}{P(x|{\tt context})}
\]
Surprisal は $x$ の（文脈 {\tt context}による条件付き）確率が低い場合に大きい値をとり，確率が高い場合
に小さい値をとる．さらに単語を処理する認識努力(cognitive effort)はその surprisal に比
例するとしている：
\[
{\tt Effort} \propto {\tt Surprisal}
\]
Surprisal は前方部分単語列に基づいて選好される parse 木を再考するコストと
\pagebreak
ともに後方部分単語列を期待しうるか否かの困難さをモデル化する．
Surprisal は，確率的言語モデルに基づくもの\footnote{確率的言語モデル：${\tt Surprisal}_{k+1} = - \log_{2} P(w_{k+1}|w_{1} \ldots w_{k})$}・
N-gram Surprisal\footnote{N-gram：${\tt Surprisal}_{w_{k+1}} = - \log_{2} P(w_{k+1}|w_{k-2},w_{k-1},w_{k})$}・
Parser (PCFG) Surprisal\footnote{PCFG：${\tt Surprisal}_{n} = - \log_{2} P(T{i}, w_{i}|T_{1} \ldots T_{i-1}, w_{1} \ldots w_{i-1})$}などがあり，
\citeA{Hale-2001}は Earley 法に基づく Parser Surprisalを提案した．
\citeA{Levy-2008} は，前方部分単語列に対する可能な parse 木の確率分布を反映する 
KL ダイバージェンスに基づく surprisal\footnote{KL ダイバージェンス：${\tt Surprisal}_{k+1} = D(P_{k+1}||P_{k}) =
-\log P(w_{k+1}|w_{1} \ldots w_{k})$}を提案した．

また Pynte らは Latent Semantic Analysis (LSA) \cite{Landauer-1997}による分散表現を用
いた semantic surprisal \cite{Pynte-2008} を提案し，英語の視線走査データである
Dundee Corpus のモデル化を行っている．
具体的には，300次元の LSA モデルを用いて， \modified{wLSA\footnote{\modified{word level LSA}}}-based surprisal （前隣接単語と注
目単語との意味的類似度）と
\modified{sLSA\footnote{\modified{sentence level LSA}}}-based surprisal （従前に出現する前隣接単語以外の単語と注目単語の意味的類似度）
について一般化線形混合モデルにより調査した．wLSA-based surprisal は読み時
間を予測する効果が確認されたが，sLSA-based surprisal には効果が確認できなかった．
Mitchell らは，Latent Direchret Allocation (LDA) \cite{Blei-2003,Griffiths-2007}
による分散表現を用いた LDA-based surprisal を提案した\cite{Mitchell-2010}．


\subsection{単語埋め込みと NWJC2vec}
\label{subsec:nwjc2vec}

単語埋め込み\cite{Mikolov-2013a}\modified{は}単語を数百次元のベクトルで表現する技術である．
従来はその単語か否かを表す one-hot 表現が用いられていたため，
大規模語彙を表現するために高次元ベクトルになっていた．
学習の際のモデルとして，文脈から単語を推定する CBOW モデルと単語から文脈を推定する skip-gram モデルが提案されている．

単語埋め込みにより，単語の入れ替え可能性を低次元のベクトルで表現できるようになったほか，
skip-gram モデルには加法構成性と呼ばれる句を構成する語ベクトルの和が，
句ベクトルとして利用できるという良い性質を持つ．
本研究ではこの性質を，日本語における語を計数する単位と読み時間を評価する単位の齟
齬の吸収に用いる．

NWJC2vec \cite{nwjc2vec} は NWJC 258億語から訓練した日本語の単語埋め込みデータである．
fastText \cite{fastText}を用いて訓練した 300次元の CBOW および skip-gram モデル\footnote{CBOW か skip-gram か
以外のオプションは次の通り：{\tt -size 300
-window 8 -negative 25 -hs 0 -sample 1e-4 -iter 15}}を用いる．
この学習した単語ベクトルを用いて，視線走査データの集計単位である文節単位のベクト
ルを合成する．合成には線形和を用いた．


\subsection{BCCWJ-EyeTrack の過去の分析}
\label{subsec:prev}

BCCWJ-EyeTrack に対して，統語・意味・談話レベルのアノテーションを重ね合わせて，
様々な言語現象に対してヒトがどのような反応をするのかについて検討を進めてきた．
\citeA{Asahara-2017a}は被験者属性を対象とし，記憶力がある群は読む速度が速いが全読
み時間は記憶力がない群と変わらないこと，語彙力がある群が読み時間が長いことを明ら
かにした．
浅原ら\citeyear{Asahara-2019d}は文節係り受けアノテーション BCCWJ-DepPara \cite{Asahara-2016b}と対照比較を行い，係り受けの数が多い文節ほど読み時間が短くなることを明らかにした．
\citeA{Asahara-2018a}は節情報アノテーション BCCWJ-ToriClause \cite{Matsumoto-2018}
と対照比較を行い，節末の読み時間が短いことを明らかにした．
\citeA{Asahara-2017b}は分類語彙表番号アノテーション BCCWJ-WLSP \cite{Kato-2018}
と対照比較を行い，統語分類の「用の類」$<$「相の類」$<$「体の類」の順で読み時間が
長くなる傾向と，意味分類の「関係」が他の分類（「主体」「活動」「生産物」「自然
物」）と比べて読み時間が短くなる傾向を明らかにした．
\citeA{Asahara-2017c}は情報構造アノテーション BCCWJ-Infostr \cite{Miyauchi-2018}
と対照比較を行い，共有性において旧情報(hearer-old)が新情報(hearer-new)よりも読み時間が短いことを明らかにした．
\citeA{Asahara-2018b}は述語項構造・共参照情報アノテーション BCCWJ-PAS \cite{Ueda-2015,Asahara-2016c}
と対照比較を行い，主語がゼロ代名詞の際に外界照応として二人称を指す場合の述語にお
いて，SPT が短くなることを明らかにした．
これらの分析には，サンプルと被験者をランダム要因とし，アノテーションを固定要因と
した対数時間に対する一般化線形混合モデルかベイジアン線形混合モデル
\cite{Sorensen-2016}に基づく方法を用いている．


\section{分析手法}
\label{sec:method}

分析においては，いくつかの要因に基づく線形式に基づいて，読み時間をベイジアン線形
混合モデル\cite{Sorensen-2016}により推定し，その係数を見ることにより進める．
図 \ref{fig:formula} に推定に用いた線形式を示す．
分析は，
分散表現のノルムと隣接文節類似度に基づくもの ($\mu_{\tt wv}$)，
頻度情報に基づく当該文節の出現確率のみに基づくもの ($\mu_{\tt freq}$)，
両方を用いたもの\modified{に}基づくもの ($\mu_{\tt all}$)を対比する．
分散表現は \ref{subsec:nwjc2vec}節に示した fastText に基づく NWJC2vec 300次元のもの
を用い，CBOW モデルと skip-gram モデルの両方を比較した．
対象とする読み時間は，読み戻しが可能な視線走査法の FFT, FPT, RPT, TOTAL とする．
SPT については，\modified{付録}\ref{sec:spt} 節に述べる．

\begin{figure}[t]
\begin{center}
\includegraphics{26-3ia4f2.eps}
\end{center}
\caption{推定に用いた線形式}
\label{fig:formula}
\end{figure}

まず読み時間 {\tt time} を対数正規分布 lognormal によりモデル化し，
期待値を $\mu_{\tt *}$，分散を $\sigma$  とする．
式において $\mu_{\tt base}$ は基本的な要因を表し，$\alpha$ を切片とする．
$\beta^{\tt length}$ は文節の文字数に対する係数，
$\beta^{\tt space}$ は文節間に半角空白を入れたか否かの係数である．
$\beta^{\tt sessionN}$, $\beta^{\tt articleN}$, $\beta^{\tt screenN}$, $\beta^{\tt lineN}$, \linebreak
$\beta^{\tt segmentN}$ が呈示順に対する係数，
$\beta^{\tt is\_first}$, $\beta^{\tt is\_last}$, $\beta^{\tt is\_second\_last}$ がレ
イアウト情報に対する係数である．
その他，記事に対するランダム係数として $\gamma^{{\tt article}=a(x)}$を，
\modified{実験協力者}に対するランダム係数として $\gamma^{{\tt subj}=s(x)}$を考慮する．
\modified{このランダム係数により記事間の揺れと実験協力者間の揺れを，
それぞれ  $\sigma_{article}$，$\sigma_{subj}$ を標準偏差とする正規分布によりモデ
ル化することにより吸収する．}

$\beta^{\tt dependent}$ は当該文節に係る文節の数に対する係数である．
先行研究においては，PCFG の部分木により統語構造に基づく効果をモデル化していた．
日本語においては，比較的語順が自由な言語であるために句構造木ではなく，
文節係り受け木により評価する．
日本語は主辞後置言語であり，当該文節に係る文節は基本的に全て前置することから，
この係数によって実質的に統語構造に基づく効果がモデル化できると考える\footnote{\modified{詳細については『言語研究』論文 \cite{Asahara-2019d}の付録を参照されたい．}}．

単語ベクトルから構成した文節ベクトルの情報の二つの情報を用いる．
一つは当該文節ベクトルのノルム ${\tt wv\_norm} (x)$である．
もう一つは当該文節ベクトルと左隣接ベクトルのコサイン類似度
${\tt wv\_sim} (x)$である．
この上で，単語埋め込みを考慮した期待値として \modified{$\mu_{\tt wv\_all}$} を検討する．
$\beta^{\tt wm\_norm}$ は単語埋め込みに基づく文節ベクトルのノルムに対する係数，
$\beta^{\tt wm\_sim}$ は単語埋め込みに基づく左隣接文節とのコサイン\modified{類似
度}に対する係数であり，これを評価する．
分散表現のモデルとして，CBOW と skip-gram の二つを評価する．
\modified{また，比較のためにノルムのみのもの$\mu_{\tt wv\_norm}$とコサイン類似度
のみのもの$\mu_{\tt wv\_sim}$も評価する．}

比較対照として，単語の頻度を考慮した期待値として $\mu_{\tt freq}$を検討する．
$\beta^{\tt freq\_ave}$ は文節内頻度に対する係数である．
単語の頻度に基づく手法については，文節間の連接\modified{尤度}を考慮しない．
文節内頻度は文節内の単語の頻度の相乗平均を評価する\footnote{\modified{頻度を確率値とした場合に連接単語数で正規化した対数線形モデルに相当し，Surprisalの式と親和性が良いと考える．}}．
相乗平均を評価する際にゼロ頻度は 1 を乗じた．
なお，相加平均でも評価したがモデルが収束しなかった．

最後に，単語埋め込みと単語の頻度の両方を考慮した $\mu_{\tt all}$を検討する．

分析においては，\modified{RStan}\footnote{\modified{https://mc-stan.org/users/interfaces/rstan}} を用いた．
500 iter の warm up のあと，5000 iter を 4 chains 行った．

\begin{table}[b]
\caption{分析結果（概要）}
\label{tbl:result}
\input{04table02.tex}
\end{table}


\section{結果と考察}
\label{sec:result}

表 \ref{tbl:result} に各モデルの分析結果を示す．詳細な結果については，
\modified{付録}\ref{sec:detailed} 節に示す．

推定される mean が 0.00 から$\pm 2 $ SD 以上の差があるものに + もしくは $-$ を付与
する．
0 は mean が$\pm 2 $ SD 以内のものである．
+ はその値が大きければ，読み時間が長くなることを示す．
$- $はその値が大きければ，読み時間が短くなることを示す．

まず，
いずれの結果も \modified{($\beta_{\tt dependent}$)} で係り受
けが多ければ多いほど，読み時間が短くなった\footnote{\modified{先行文脈が統語的な
関係を持ち，予測に効くために読み時間が短くなる\cite{Levy-2008}．}}．
つまり，次に述べる結果は係り受けの効果を確認したうえでの付加的な効果である．
単語埋め込みに基づくモデル\modified{ ($\mu_{\tt wv\_all}$)}においては，
隣接文節間類似度が大きければ大きいほど
読み時間が短くなる傾向が見られた($\beta_{\tt wm\_sim}$)．
skip-gram モデルにおいては，ベクトルのノルムが大きければ大きいほど
読み時間が長くなる傾向が見られた($\beta_{\tt wm\_norm}$)．
この傾向は CBOW には見られなかった．
\modified{また，ノルムと類似度を個別にモデル化したもの($\mu_{\tt wv\_norm}$, $\mu_{\tt
wv\_sim}$)でも同じ傾向がみられた．}
次に，頻度の相乗平均に基づくモデル ($\mu_{\tt freq}$) においては，
高頻度のものが読み時間が短くなる傾向がみられた．
単語埋め込みと頻度の双方を考慮したモデル ($\mu_{\tt all}$)では，
skip-gram の FFT 以外において，両者を個別にモデル化したものを合成したような結果
が得られた．

以下，結果について考察する．

まず，文節間の隣接\modified{尤度}ついては，
\modified{隣接文節間類似度に関する係数$\beta_{\tt wm\_sim}$で確認できる．
類似度が大きいほど読み時間が短くなることにより，隣接\modified{尤度}による予測が効くことが考えられる．
つまり，}
wLSA-based surprisal
\cite{Pynte-2008}や LDA-based surprisal \cite{Mitchell-2010}\modified{などの既存
の semantic surprisal} と同様に，
fastText による単語埋め込みに基づくモデルでもモデル化できることが確認された．
単語の頻度情報からは文節単位の隣接尤度の推定が困難であった．
\modified{skip-gramの}加法構成性に基づき構成した文節単位のベクトルのコサイン類似度が，
適切に隣接尤度をモデル化できた．
\modified{一方，CBOW については加法構成性をもつか否かについては管見の限り報告さ
れていない．本稿の結果，読み時間の推定において CBOW は skip-gram ほどの明確な加法構成性が認められないことが示唆される．}

文節内の単語の頻度の相乗平均は，その文節の生起確率を表す．
確率が高ければ高いほど読み時間が短くなることが適切にモデル化できている．
これは文節単位の unigram surprisal を適切にモデル化できていると考える．

skip-gram の FFT 以外においては，この unigram surprisal と異なる文節単位の特徴と
して，
単語埋め込みのノルムの効果が認められた\modified{．}
単語埋め込みのノルム\modified{($\beta_{\tt wm\_norm}$)}は，他の単語の
\modified{特徴}を表現していると考えられる．
\modified{Schakel らは，単語埋め込みのノルムが，単語の頻度と同様に単語の重要度
(word significance) を表している \cite{Schakel-2015}とし，Luhn \citeyear{Luhn-1958}らの議論を引用しながら語の共起に関連する何らかの尺度を示してい
ることを議論している．我々はこのノルムが文節間の何らかの\modified{特性}を表している
と考える．}
\modified{加法構成性に基づき文節単位のベクトルを構成することにより，
ノルムが大きければ大きいほど予測が難しく，
読み時間が長い傾向が確認できた．
skip-gram のノルムの大きなものの例を見ると，数値表現\footnote{数値表現例：「２２６２億ドルで」「９９７５億１３００万円と」}・長い付属語連
接\footnote{長い付属語連接例：「掲載させていただくことがあります。」「持たせてくれるんですよね」}・
長い複合語\footnote{長い複合語例：「クラーク元北大西洋条約機構（ＮＡＴＯ）欧州連合軍最高司令官が、」「「２１世紀ＣＯＥ（センター・オブ・エクセレンス）プログラム」に」「農畜産業振興事業団（現農畜産業振興機構）から、」}が
見られた．数値表現や付属語連接は，一般的に構成要素の頻度が高くなり，頻度の相乗
平均の効果($\beta_{\tt freq\_ave}$)のみの場合は読みやすいと判定されるが，この部分の読みにくさがモデル化されているのではないかと考える．}
\modified{文脈から単語を推定する CBOW モデルではこの傾向が見られなかった．
skip-gram においてはその加法構成性を持つことが解説されている
\cite{Mikolov-2013b} が，CBOW に関してはそのモデル化の方向性のためか加法構成性
について議論がされていない．本研究結果でも CBOW の線形和に基づくノルムに対する
読み時間の効果は確認できなかった．
}

いずれの結果も係り受けの効果とともに表れていることから，
\modified{先行研究で示されている効果と従属性が低い特徴量}
が発見できたといえる．


\section{おわりに} 

本研究では，日本語の読み時間の推定のために単語埋め込みを用いることを提案した．
英語などで進められている surprisal の分析において，
単語の頻度に基づく確率が用いられている．
しかしながら，日本語においては頻度を計数する単位と読み時間を評価する単位との齟齬
があり，
この分析を難しくしていた．
今回 skip-gram の単語埋め込みを用いて，
ベクトルの線形和により文節ベクトルを構成することにより，この問題を解決した．
文節ベクトルのノルムが当該文節の\modified{頻度とは異なる何らかの特性}をモデル化し，ノルムが大きければ大きい
ほど読み時間が長くなることを確認した．
さらにこれらの結果は統語的なモデルとともに導入
されるものであり，新しい surprisal を発見したといえる．
また，先行研究と同様に，左隣接文節のベクトルと当該文節ベクトルのコサイン類似度が，
\modified{読み時間}を適切にモデル化できることを確認した．

\modified{今回，この文節ベクトルのノルムが読み時間に影響を与える何らかの特性を持ってい
ることを経験的に発見したが，
数学的に言語学的に何であるのかについての理論的検証については今後の課題としたい．}

工学的な応用として重要な点として，これらの単語埋め込みに関する情報は
形態素解析器などで単語単位に割り当て可能であり，
線形和やコサイン類似度など比較的軽い演算で計算できる．
今回用いた統計モデル\modified{は}線形式であることから，
\modified{任意の日本語文章に対して簡単に読み時間の推定が計算できる．
これまでの BCCWJ-EyeTrack の分析は，高度な統語・意味・談話情報アノテーションに基
づくものであり，読み時間のモデル化については，人手によりアノテーションを行う必要
があった．}
本研究で提案する単語埋め込みに基づくモデルは，NWJC2vec に収録されている語で
構成される文章であれば，人間が解釈しやすい線形式で読み時間を与えることができる．
本モデルを用いて，読み時間に基づく文章の読みやすさの自動評価ができると考える．


\acknowledgment

本研究は，国立国語研究所コーパス開発センター共同研究プロジェクト「コーパスアノテーションの拡張・統合・自動化に関する基礎研究」によるものです．
本研究の一部はJSPS科研費 基盤研究(A) 17H00917，挑戦的研究（萌芽） 18K18519，新学術領域研究 18H05521 の助成を受けたものです．


\bibliographystyle{jnlpbbl_1.5}
\begin{thebibliography}{}

\bibitem[\protect\BCAY{Asahara}{Asahara}{2018a}]{Asahara-2018b}
Asahara, M. \BBOP 2018a\BBCP.
\newblock \BBOQ Between Reading Time and Zero Exophora in Japanese.\BBCQ\
\newblock In {\Bem READ2018: International Interdisciplinary Symposium on
  Reading Experience \& Analysis of Documents}, \mbox{\BPGS\ 34--36}.

\bibitem[\protect\BCAY{Asahara}{Asahara}{2018b}]{nwjc2vec}
Asahara, M. \BBOP 2018b\BBCP.
\newblock \BBOQ NWJC2Vec: Word embedding dataset from `NINJAL Web Japanese
  Corpus'.\BBCQ\
\newblock {\Bem Terminology: International Journal of Theoretical and Applied
  Issues in Specialized Communication}, {\Bbf 24}  (2), \mbox{\BPGS\ 7--25}.

\bibitem[\protect\BCAY{浅原}{浅原}{2018}]{Asahara-2017c}
浅原正幸 \BBOP 2018\BBCP.
\newblock 名詞句の情報の状態と読み時間について.\
\newblock \Jem{自然言語処理}, {\Bbf 25}  (5), \mbox{\BPGS\ 527--554}.

\bibitem[\protect\BCAY{浅原}{浅原}{2019}]{Asahara-2018a}
浅原正幸 \BBOP 2019\BBCP.
\newblock 日本語の読み時間と節境界情報—主辞後置言語における wrap-up effect
  の検証.\
\newblock \Jem{自然言語処理}, {\Bbf 26}  (2), \mbox{\BPGS\ 301--328}.

\bibitem[\protect\BCAY{浅原\JBA 加藤}{浅原\JBA 加藤}{2019}]{Asahara-2017b}
浅原正幸\JBA 加藤祥 \BBOP 2019\BBCP.
\newblock 読み時間と統語・意味分類.\
\newblock \Jem{認知科学}, {\Bbf 26}  (2), \mbox{\BPGS\ 219--230}.

\bibitem[\protect\BCAY{Asahara, Maekawa, Imada, Kato, \BBA\ Konishi}{Asahara
  et~al.}{2014}]{Asahara-2014}
Asahara, M., Maekawa, K., Imada, M., Kato, S., \BBA\ Konishi, H. \BBOP
  2014\BBCP.
\newblock \BBOQ Archiving and Analysing Techniques of the Ultra-large-scale
  Web-based Corpus Project of NINJAL, Japan.\BBCQ\
\newblock {\Bem Alexandria: The Journal of National and International Library
  and Information Issues}, {\Bbf 25}  (1--2), \mbox{\BPGS\ 129--148}.

\bibitem[\protect\BCAY{浅原\JBA 松本}{浅原\JBA 松本}{2018}]{Asahara-2016b}
浅原正幸\JBA 松本裕治 \BBOP 2018\BBCP.
\newblock 『現代日本語書き言葉均衡コーパス』に対する文節係り受け・並列構造.\
\newblock \Jem{自然言語処理}, {\Bbf 25}  (4), \mbox{\BPGS\ 331--356}.

\bibitem[\protect\BCAY{浅原\JBA 小野\JBA 宮本}{浅原 \Jetal
  }{2017}]{Asahara-2017a}
浅原正幸\JBA 小野創\JBA 宮本エジソン正 \BBOP 2017\BBCP.
\newblock 『現代日本語書き言葉均衡コーパス』の読み時間とその被験者属性.\
\newblock \Jem{言語処理学会第 23 回年次大会発表論文集}, \mbox{\BPGS\ 473--476}.

\bibitem[\protect\BCAY{浅原\JBA 小野\JBA 宮本}{浅原 \Jetal
  }{2019}]{Asahara-2019d}
浅原正幸\JBA 小野創\JBA 宮本エジソン正 \BBOP 2019\BBCP.
\newblock BCCWJ-EyeTrack
  『現代日本語書き言葉均衡コーパス』に対する読み時間付与とその分析.\
\newblock \Jem{言語研究}, {\Bbf 156}, \mbox{\BPG\ To Appear}.

\bibitem[\protect\BCAY{浅原\JBA 大村}{浅原\JBA 大村}{2016}]{Asahara-2016c}
浅原正幸\JBA 大村舞 \BBOP 2016\BBCP.
\newblock BCCWJ-DepParaPAS:
  『現代日本語書き言葉均衡コーパス』の係り受け・並列構造と述語項構造・共参照アノテーションの重ね合わせと可視化.\
\newblock \Jem{言語処理学会第 22 回年次大会発表論文集}, \mbox{\BPGS\ 489--492}.

\bibitem[\protect\BCAY{Blei, Ng, \BBA\ Jordan}{Blei et~al.}{2003}]{Blei-2003}
Blei, D.~M., Ng, A.~Y., \BBA\ Jordan, M.~I. \BBOP 2003\BBCP.
\newblock \BBOQ Latent Dirichlet Allocation.\BBCQ\
\newblock {\Bem Journal of Machine Learning Research}, {\Bbf 3}, \mbox{\BPGS\
  993--1022}.

\bibitem[\protect\BCAY{Bojanowski, Grave, Joulin, \BBA\ Mikolov}{Bojanowski
  et~al.}{2017}]{fastText}
Bojanowski, P., Grave, E., Joulin, A., \BBA\ Mikolov, T. \BBOP 2017\BBCP.
\newblock \BBOQ Enriching Word Vectors with Subword Information.\BBCQ\
\newblock {\Bem Transactions of the Association for Computational Linguistics},
  {\Bbf 5}, \mbox{\BPGS\ 135--146}.

\bibitem[\protect\BCAY{Griffiths, Steyvers, \BBA\ Tanenbaum}{Griffiths
  et~al.}{2007}]{Griffiths-2007}
Griffiths, T.~L., Steyvers, M., \BBA\ Tanenbaum, J.~B. \BBOP 2007\BBCP.
\newblock \BBOQ Topics in Semantic Representation.\BBCQ\
\newblock {\Bem Psychological Review}, {\Bbf 114}  (2), \mbox{\BPGS\ 211--244}.

\bibitem[\protect\BCAY{Hale}{Hale}{2001}]{Hale-2001}
Hale, J. \BBOP 2001\BBCP.
\newblock \BBOQ A Probabilistic Earley Parser as a Psycholinguistic
  Model.\BBCQ\
\newblock In {\Bem Proceedings of the 2nd Conference of the North American
  Chapter of the Association for Computational Linguistics},
  \lowercase{\BVOL}~2, \mbox{\BPGS\ 159--166}.

\bibitem[\protect\BCAY{加藤\JBA 浅原\JBA 山崎}{加藤 \Jetal }{2019}]{Kato-2018}
加藤祥\JBA 浅原正幸\JBA 山崎誠 \BBOP 2019\BBCP.
\newblock
  分類語彙表番号を付与した『現代日本語書き言葉均衡コーパス』の書籍・新聞・雑誌データ.\
\newblock \Jem{日本語の研究}, {\Bbf 15}  (2), \mbox{\BPGS\ 134--141}.

\bibitem[\protect\BCAY{Landauer \BBA\ Dumais}{Landauer \BBA\
  Dumais}{1997}]{Landauer-1997}
Landauer, T.~K.\BBACOMMA\ \BBA\ Dumais, S.~T. \BBOP 1997\BBCP.
\newblock \BBOQ A Solution to Plato's problem: The Latent Semantic Analysis
  Theory of Acquisition, Induction and Representation of Knowledge.\BBCQ\
\newblock {\Bem Psyochological Review}, {\Bbf 104}  (2), \mbox{\BPGS\
  211--240}.

\bibitem[\protect\BCAY{Levy}{Levy}{2008}]{Levy-2008}
Levy, R. \BBOP 2008\BBCP.
\newblock \BBOQ Expectation-based Syntactic Comprehension.\BBCQ\
\newblock {\Bem Cognition}, {\Bbf 106}, \mbox{\BPGS\ 1126--1177}.

\bibitem[\protect\BCAY{Luhn}{Luhn}{1958}]{Luhn-1958}
Luhn, H.~P. \BBOP 1958\BBCP.
\newblock \BBOQ The Automatic Creation of Literature Abstracts.\BBCQ\
\newblock {\Bem IBM Journal of Research and Development}, {\Bbf 2}  (2),
  \mbox{\BPGS\ 159--165}.

\bibitem[\protect\BCAY{Maekawa, Yamazaki, Ogiso, Maruyama, Ogura, Kashino,
  Koiso, Yamaguchi, Tanaka, \BBA\ Den}{Maekawa et~al.}{2014}]{Maekawa-2014-LRE}
Maekawa, K., Yamazaki, M., Ogiso, T., Maruyama, T., Ogura, H., Kashino, W.,
  Koiso, H., Yamaguchi, M., Tanaka, M., \BBA\ Den, Y. \BBOP 2014\BBCP.
\newblock \BBOQ Balanced Corpus of Contemporary Written Japanese.\BBCQ\
\newblock {\Bem Language Resources and Evaluation}, {\Bbf 48}, \mbox{\BPGS\
  345--371}.

\bibitem[\protect\BCAY{Matsumoto, Asahara, \BBA\ Arita}{Matsumoto
  et~al.}{2018}]{Matsumoto-2018}
Matsumoto, S., Asahara, M., \BBA\ Arita, S. \BBOP 2018\BBCP.
\newblock \BBOQ Japanese Clause Classification Annotation on the `Balanced
  Corpus of Contemporary Written Japanese'.\BBCQ\
\newblock In {\Bem Proceedings of the 13th Workshop on Asian Language Resources
  (ALR12)}, \mbox{\BPGS\ 1--8}.

\bibitem[\protect\BCAY{Mikolov, Chen, Corrado, \BBA\ Dean}{Mikolov
  et~al.}{2013a}]{Mikolov-2013a}
Mikolov, T., Chen, K., Corrado, G., \BBA\ Dean, J. \BBOP 2013a\BBCP.
\newblock \BBOQ Efficient Estimation of Word Representations in Vector
  Space.\BBCQ\
\newblock In {\Bem International Conference on Learning Representations,
  {\upshape \textbf{abs/1301.3781}}}.

\bibitem[\protect\BCAY{Mikolov, Sutskever, Chen, Corrado, \BBA\ Dean}{Mikolov
  et~al.}{2013b}]{Mikolov-2013b}
Mikolov, T., Sutskever, I., Chen, K., Corrado, G., \BBA\ Dean, J. \BBOP
  2013b\BBCP.
\newblock \BBOQ Distributed Representations of Words and Phrases and their
  Compositionality.\BBCQ\
\newblock In {\Bem Advances in Neural Information Processing Systems},
  \mbox{\BPGS\ 3111--3119}.

\bibitem[\protect\BCAY{Mitchell, Lapata, Demberg, \BBA\ Keller}{Mitchell
  et~al.}{2010}]{Mitchell-2010}
Mitchell, J., Lapata, M., Demberg, V., \BBA\ Keller, F. \BBOP 2010\BBCP.
\newblock \BBOQ Syntactic and Semantic Factors in Processing Difficulty: An
  Integrated Measure.\BBCQ\
\newblock In {\Bem Proceedings of the 48th Annual Meeting of the Association
  for Computational Linguistics}, \mbox{\BPGS\ 196--206}.

\bibitem[\protect\BCAY{宮内\JBA 浅原\JBA 中川\JBA 加藤}{宮内 \Jetal
  }{2018}]{Miyauchi-2018}
宮内拓也\JBA 浅原正幸\JBA 中川奈津子\JBA 加藤祥 \BBOP 2018\BBCP.
\newblock
  『現代日本語書き言葉均衡コーパス』への情報構造アノテーションとその分析.\
\newblock \Jem{国立国語研究所論集}, {\Bbf 16}, \mbox{\BPGS\ 19--33}.

\bibitem[\protect\BCAY{Patterson \BBA\ Drummer}{Patterson \BBA\
  Drummer}{2016}]{Patterson-2016}
Patterson, C.\BBACOMMA\ \BBA\ Drummer, J. \BBOP 2016\BBCP.
\newblock \BBOQ EyeTracking--Focus: Eyetracking During Reading.\BBCQ\
\newblock Linguistischer Methodenworkshop (HU Berlin).

\bibitem[\protect\BCAY{Pynte, New, \BBA\ Kennedy}{Pynte
  et~al.}{2008}]{Pynte-2008}
Pynte, J., New, B., \BBA\ Kennedy, A. \BBOP 2008\BBCP.
\newblock \BBOQ On-line Contextual Influences During Reading Normal Text: A
  Multiple-regression Analysis.\BBCQ\
\newblock {\Bem Vision Research}, {\Bbf 48}, \mbox{\BPGS\ 2172--2183}.

\bibitem[\protect\BCAY{Schakel \BBA\ Wilson}{Schakel \BBA\
  Wilson}{2015}]{Schakel-2015}
Schakel, A. M.~J.\BBACOMMA\ \BBA\ Wilson, B.~J. \BBOP 2015\BBCP.
\newblock \BBOQ Measuring Word Significance using Distributed Representations
  of Words.\BBCQ\
\newblock {\Bem CoRR}, {\Bbf abs/1508.02297}.

\bibitem[\protect\BCAY{Sorensen, Hohenstein, \BBA\ Vasishth}{Sorensen
  et~al.}{2016}]{Sorensen-2016}
Sorensen, T., Hohenstein, S., \BBA\ Vasishth, S. \BBOP 2016\BBCP.
\newblock \BBOQ Bayesian Linear Mixed Models Using Stan: A Tutorial for
  Psychologists, Linguists, and Cognitive Scientists.\BBCQ\
\newblock {\Bem Quantitative Methods for Psychology}, {\Bbf 12}, \mbox{\BPGS\
  175--200}.

\bibitem[\protect\BCAY{植田\JBA 飯田\JBA 浅原\JBA 松本\JBA 徳永}{植田 \Jetal
  }{2015}]{Ueda-2015}
植田禎子\JBA 飯田龍\JBA 浅原正幸\JBA 松本裕治\JBA 徳永健伸 \BBOP 2015\BBCP.
\newblock
  『現代日本語書き言葉均衡コーパス』に対する述語項構造・共参照関係アノテーション.\
\newblock \Jem{第 8 回コーパス日本語学ワークショップ予稿集}, \mbox{\BPGS\
  205--214}.

\bibitem[\protect\BCAY{Vasishth \BBA\ Drenhaus}{Vasishth \BBA\
  Drenhaus}{2011}]{vasishth2011locality}
Vasishth, S.\BBACOMMA\ \BBA\ Drenhaus, H. \BBOP 2011\BBCP.
\newblock \BBOQ Locality in German.\BBCQ\
\newblock {\Bem Dialogue \& Discourse}, {\Bbf 2}  (1), \mbox{\BPGS\ 59--82}.

\end{thebibliography}



\appendix

\section{分析結果（詳細）} \label{sec:detailed}

本節では，skip-gram の最大モデル ($\mu_{all}$)の結果の詳細について示す．
Rhat が収束判定指標で chain 数 3 以上ですべての値が 1.1 以下を収束とみ
なす．本研究では全ての設定で chain 数 4 とした．
n\_eff が有効サンプル数，
mean がサンプルの期待値（事後平均），
sdが MCMC 標準偏差（事後標準偏差），
se\_mean が標準誤差で，MCMC のサンプルの分散を n\_eff で割った値の平方根を表す．
\modified{なお，表中 $\sigma$ が対数正規分布の標準偏差，
$\sigma_{article}$が記事に対するランダム係数をモデル化する分布の標準偏差，
$\sigma_{subj}$が実験協力者に対するランダム係数をモデル化する分布の標準偏差を
表す．}


\subsection{分析結果：FFT skip-gram}

表\ref{tbl:fft} に FFT skip-gram の最大モデル ($\mu_{all}$) の結果を示す．
FFT は文節内の最初の停留の注視時間を評価する．
\modified{1回の停留のみの評価のために，文節の長さが長い場合（文節内に複数回視線が停留する
場合）に，その2回目以降の停留は加算されない．このため短い文節でかつ文処理負荷
が高い文節で長くなる傾向がある．}
このため文節長の効果 ($\beta_{\tt length}$)や文節間に空白を入れるか否かの効果
($\beta_{\tt space}$) が確認されなかった．
呈示順($\beta_{\tt sessionN}$，$\beta_{\tt articleN}$，$\beta_{\tt screenN}$，
$\beta_{\tt lineN}$，$\beta_{\tt segmentN}$)・レイアウト情報 ($\beta_{\tt
is\_first}$，$\beta_{\tt is\_last}$，$\beta_{\tt is\_second\_last}$) に関して
は，
行呈示順($\beta_{\tt lineN}$) で読み時間が短くなる傾向が，
文節呈示順($\beta_{\tt segmentN}$) で読み時間が長くなる傾向が，
行内最右要素($\beta_{\tt is\_last}$) で読み時間が短くなる傾向が見られた．

\begin{table}[t]
\caption{分析結果：FFT skip-gram ($\mu_{all}$)}
\label{tbl:fft}
\input{04table03.tex}
\end{table}

係り受けの数が多いほど読み時間が短くなる傾向($\beta_{\tt dependent}$)がみられる．
ベクトルのノルム($\beta_{\tt wm\_norm}$) については，ノルムが大きくなればなるほ
ど読み時間が長くなるという弱い効果がみられる．
\modified{ベクトルのノルムは，長い文節ほど大きくなる傾向があるために，1回の停留
のみの評価では強い効果が出なかったのではないかと考える．}
隣接要素との類似度($\beta_{\tt wm\_sim}$) や頻度 ($\beta_{\tt freq\_ave}$)につい
ては，値が大きいほど読み時間が短くなるという強い効果がみられる．


\subsection{FPT skip-gram}

表\ref{tbl:fpt} に FPT skip-gram の最大モデル ($\mu_{all}$) の結果を示す．
FPT は文節内に初めて視線が停留し，その後文節から出るまでの総注視時間である．
出る方向は右方向でも左方向でも構わない．
\modified{一般に，予想と異なる文節とは異なるものが出てきた場合
(expectation-based)，短期記憶の負荷がかかる文節が出てきた場合 (memory-based)に
値が大きくなるとされている．}
文節長の効果 ($\beta_{\tt length}$)は視線停留対象の面積に相当するために，
正方向に効果が出る．
また，レジビリティの観点である文節間に空白を入れるか否かの効果($\beta_{\tt space}$)ついては，
空白を入れたほうが読み時間が短くなることが確認された．
呈示順($\beta_{\tt sessionN}$，$\beta_{\tt articleN}$，$\beta_{\tt screenN}$，
$\beta_{\tt lineN}$，$\beta_{\tt segmentN}$)に関しては，
記事呈示順以外で実験が進むにつれて読み時間が短くなる．
記事呈示順は実験計画として4パターンのみ準備しており，
記事に対するランダム効果 ($\sigma_{\tt article}$) に吸収されたと考える．
以上の傾向は，RPT， TOTAL についても共通してみられる．

\begin{table}[t]
\caption{分析結果：FPT skip-gram ($\mu_{all}$)}
\label{tbl:fpt}
\input{04table04.tex}
\end{table}

レイアウト情報 ($\beta_{\tt  is\_first}$，$\beta_{\tt is\_last}$，$\beta_{\tt is\_second\_last}$) 
は，
行内最左要素($\beta_{\tt is\_first}$) と右から 2 番目の要素 ($\beta_{\tt
is\_second\_last}$) で読み時間が長くなる傾向が見られた．
これは，注視点の復帰改行の移動の効果だと考える．

係り受けの数が多いほど読み時間が短くなる傾向($\beta_{\tt dependent}$)がみられる．
ベクトルのノルム($\beta_{\tt wm\_norm}$) については，ノルムが大きくなればなるほ
ど読み時間が長くなるという強い効果がみられる．
隣接要素との類似度($\beta_{\tt wm\_sim}$) や頻度 ($\beta_{\tt freq\_ave}$)につい
ては，値が大きいほど読み時間が短くなるという強い効果がみられる．


\subsection{RPT skip-gram}

表\ref{tbl:rpt} に RPT skip-gram の最大モデル ($\mu_{all}$) の結果を示す．
RPT は文節内に初めて視線が停留し，その後文節の右側から出るまでの総注視時間である．
左側に抜ける場合は継続して合算する．
\modified{当該文節が予想と異なった場合に事前文脈を再確認する時間を評価している．}

\begin{table}[t]
\caption{分析結果：RPT skip-gram ($\mu_{all}$)}
\label{tbl:rpt}
\input{04table05.tex}
\end{table}

文節長・空白・呈示順については，FPT と同じ傾向であった．

レイアウト情報 ($\beta_{\tt  is\_first}$，$\beta_{\tt is\_last}$，$\beta_{\tt is\_second\_last}$) 
は，
行内最右要素($\beta_{\tt is\_last}$) と右から 2 番目の要素 ($\beta_{\tt
is\_second\_last}$) で読み時間が長くなる傾向が見られた．
これは，RPT の読み時間の定義から，最右要素や右から 2 番目の要素はこれ以上右につき
ぬけにくいためであろう．

係り受けの数が多いほど読み時間が短くなる傾向($\beta_{\tt dependent}$)がみられる．
ベクトルのノルム($\beta_{\tt wm\_norm}$) については，ノルムが大きくなればなるほ
ど読み時間が長くなるという強い効果がみられる．
隣接要素との類似度($\beta_{\tt wm\_sim}$) や頻度 ($\beta_{\tt freq\_ave}$)につい
ては，値が大きいほど読み時間が短くなるという強い効果がみられる．


\subsection{TOTAL skip-gram}

表\ref{tbl:total} に TOTAL skip-gram の最大モデル ($\mu_{all}$) の結果を示す．
TOTAL は文節内の総注視時間である．
\modified{2回目以降の確認作業も含めた読み時間を評価する．}
文節長・空白・呈示順については，FPT と同じ傾向であった．

\begin{table}[t]
\caption{分析結果：TOTAL skip-gram ($\mu_{all}$)}
\label{tbl:total}
\input{04table06.tex}
\end{table}

レイアウト情報 ($\beta_{\tt  is\_first}$，$\beta_{\tt is\_last}$，$\beta_{\tt is\_second\_last}$) 
は，FPT と同様に，
行内最左要素($\beta_{\tt is\_last}$) と右から 2 番目の要素 ($\beta_{\tt
is\_second\_last}$) で読み時間が長くなる傾向が見られた．

係り受けの数が多いほど読み時間が短くなる傾向($\beta_{\tt dependent}$)がみられる．
ベクトルのノルム($\beta_{\tt wm\_norm}$) については，ノルムが大きくなればなるほ
ど読み時間が長くなるという強い効果がみられる．
隣接要素との類似度($\beta_{\tt wm\_sim}$) や頻度 ($\beta_{\tt freq\_ave}$)につい
ては，値が大きいほど読み時間が短くなるという強い効果がみられる．


\section{Second Pass Time について}
\label{sec:spt} 

Second Pass Time (SPT)は研究者によって，ゼロ読み時間（読み飛ばし）の扱いが異なり，査読などで議論が対立することが多く，本稿では SPT の結果を除外した．

自己ペース読文法においては，実験協力者は必ずすべての文節を見るために読み飛ばしが
発生しない．
視線走査法の FFT, FPT, RPT, TOTAL においては，ゼロ読み時間を考慮しないことが研究
コミュニティにおいて共有されている．
SPT はゼロ読み時間を扱う研究とゼロ読み時間を扱わない研究があり，BCCWJ-EyeTrack
では後者の扱いをとっている．

著者らが考える理由は三つある．
一つ目は TOTAL と FPT の関係である．
SPT においてゼロ読み時間をする場合，TOTAL においてゼロ読み時間の場合を除いて
$\text{TOTAL} - \text{FPT}$ の値と SPT の値が完全従属する．
二つ目は対数正規分布 {\tt lognormal} によりモデル化できる点である．
対数正規分布は定義域が $0 < x < \infty$ であり，ゼロ読み時間を評価することができ
ない．
しかしながら，正規分布と異なり，サンプリングの際に自然に負の時間を回避できるほか，
外れ値の影響が軽減されるというメリットがある．
三つ目は，本質的に2回目の読み時間がないということは欠損値であると考え，
モデル化する対象から外すことで，
0の値を割り当てるという overspecified の問題を回避することができる．

Vasishth らは，ゼロ読み時間を扱うものを rereading time と呼び，
ゼロ読み時間を扱わないものを SPT として区別したうえで，
SPT を扱うべきとしている\cite{vasishth2011locality}．
さらに rereading time については UMASS の eyedry\footnote{http://blogs.umass.edu/eyelab/software/}など $\text{rereading time} = \text{RPT} - \text{FPT}$
としているものもある．
Patterson らは 2016年の時点で ``controversy over including 0 when no rereading'' \cite{Patterson-2016}とし，
この扱いについては，まだ議論が収束していない．

なお，SPT 分析結果としては，分散表現のノルムのみ（CBOW, skip-gram とも）が効果として確認され，
それ以外の効果（単語頻度の幾何平均・隣接文節との類似度）は確認されなかった．


\begin{biography}
\bioauthor{浅原　正幸}{
2003年奈良先端科学技術大学院大学情報科学研究博士後期課程修了．2004年より同大学助
教．2012年より人間文化研究機構国立国語研究所コーパス開発センター特任准教授．2019年より同教授．博士（工学）．言語処理学会，日本言語学会，日本語学会各会員．
}

\end{biography}


\biodate



\end{document}
