\documentclass[tombow,japanese]{jnlp_2.3}
\usepackage{jnlpbbl_1.3}
\usepackage[dvipdfm]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{array}
\newcommand{\Hy}{}

\usepackage{multirow}


\Volume{26}
\Number{2}
\Month{June}
\Year{2019}

\received{2018}{11}{1}
\revised{2019}{2}{8}
\accepted{2019}{3}{22}

\setcounter{page}{381}

\jtitle{ソーシャルメディアにおける単語の一般的ではない用法の検出}
\jauthor{青木　竜哉\affiref{Author_1} \and 笹野　遼平\affiref{Author_2} \and 高村　大也\affiref{Author_1}\affiref{Author_3} \and 奥村　　学\affiref{Author_1}\affiref{Author_4}}
\jabstract{
ソーシャルメディアにおいては，辞書に掲載されているような用法とは全く異なる使われ方がされている単語が存在する．本論文では，ソーシャルメディアにおける単語の一般的ではない用法を検出する手法を提案する．提案手法では，ある単語が一般的ではない使われ方がされていた場合，その周辺単語は一般的な用法として使われた場合の周辺単語と異なるという仮説に基づいて，着目単語とその周辺単語の単語ベクトルを利用し，注目している単語の周辺単語が均衡コーパスにおける一般的な用法の場合の周辺単語とどの程度異なっているかを評価することにより，一般的ではない用法の検出を行う．ソーシャルメディアにおいて一般的ではない用法を持つ40単語を対象に行った実験の結果，均衡コーパスと周辺単語ベクトルを用いる提案手法の有効性を確認できた．また，一般的でない用法の検出においては，単語ベクトルの学習手法，学習された単語ベクトルの扱い方，学習コーパスを適切に選択することが重要であることがわかった．
}
\jkeywords{分散表現，Skip-gram，非一般的用法}

\etitle{Detecting Nonstandard Word Usages on Social Media}
\eauthor{Tatsuya Aoki\affiref{Author_1} \and Ryohei Sasano\affiref{Author_2} \and Hiroya Takamura\affiref{Author_1}\affiref{Author_3} \and Manabu Okumura\affiref{Author_1}\affiref{Author_4}}
\eabstract{
We focus on nonstandard usages of common words on social media, where words, sometimes, are used in a totally different manner from that of their original or standard usage. In this work, we attempt to distinguish nonstandard usages on social media from standard ones in an unsupervised manner. We also constructed new Twitter dataset consisting of 40 words with nonstandard usages and then used the dataset for evaluation in an experiment. For this task, our basic idea is that nonstandard usage can be measured by the inconsistency between the target word's expected meaning and the given context. For this purpose, we use context embeddings derived from word embeddings. Our experimental results show that the model leveraging the context embedding outperforms other methods and also provide us with findings, for example, on how to construct context embeddings, and which corpus to use.
}
\ekeywords{Word Embedding, Skip-gram, Non-standard Word Usage}

\headauthor{青木，笹野，高村，奥村}
\headtitle{ソーシャルメディアにおける単語の一般的ではない用法の検出}

\affilabel{Author_1}{東京工業大学}{Tokyo Institute of Technology}
\affilabel{Author_2}{名古屋大学}{Nagoya University}
\affilabel{Author_3}{産業技術総合研究所}{National Institute of Advanced Industrial Science and Technology}
\affilabel{Author_4}{理研AIP}{RIKEN Center for Advanced Intelligence Project}



\begin{document}
\maketitle


\section{はじめに}
Twitterに代表されるソーシャルメディアにおいては，辞書に掲載されていない意味で使用されている語がしばしば出現する．
例として，Twitterから抜粋した以下の文における単語「鯖」の使われ方に着目する．

\quad (1) \space 今日、久々に{\bf 鯖$_1$}の塩焼き食べたよ とても美味しかった 

\quad (2) \space なんで、急に{\bf 鯖$_2$}落ちしてるのかと思ったらスマップだったのか(＾q＾) 

\noindent 文(1)と文(2)には，いずれも鯖という単語が出現しているが，その意味は異なり，文(1)における鯖$_1$は，青魚に分類される魚の鯖を示しているのに対し，文(2)における鯖$_2$は，コンピュータサーバのことを意味している．ここで，「鯖」という語がコンピュータサーバの意味で使用されているのは，「鯖」が「サーバ」と関連した意味を持っているからではなく，単に「鯖」と「サーバ」の読み方が似ているためである．
このように，ソーシャルメディアにおいては，既存の意味から派生したと考えられる用法ではなく，鯖のような音から連想される用法，チートを意味する升のような既存の単語に対する当て字などの処理を経て使用されるようになった用法，企業名Apple Inc.を意味する林檎など本来の単語を直訳することで使用されるようになった用法などが見られ，これらの用法は一般的な辞書に掲載されていないことが多い．
文(2)における鯖$_2$のように，文中のある単語が辞書に掲載されていない意味で使用されていた場合，多くの人は文脈から辞書に載っている用法\footnote{本研究では，一般的な辞書に採録されている単語の用法を一般的，そうでないものを一般的ではないとする．}と異なる用法で使用されていることには気付くことができるが，その意味を特定するためには，なんらかの事前情報が必要であることが多い．
特に，インターネットの掲示板では，援助交際や危険ドラッグなどの犯罪に関連する情報は隠語や俗語を用いて表現される傾向にある\cite{yamada}．
しかし，全体として，どのような単語が一般的ではない意味で使われているかということを把握することは難しい．

本研究では，このような性質を持つ単語の解析の手始めとして，ソーシャルメディアにおいて辞書に掲載されていない意味で使用される場合があることが分かっている単語を対象に，ソーシャルメディア中の文に出現する単語の一般的ではない用例の検出に取り組む．
ここで，単語の用法が一般的かそうでないかというような情報を多くの語に対し大量にアノテーションするコストは非常に大きいと考えられることから，本研究では教師なし学習の枠組みでこの問題に取り組む．
検出の手がかりとして，まず，非一般的用法で使用されている単語は，その単語が一般的用法で使用されている場合と周辺文脈が異なるであろうことに着目する．
具体的には，単語の用法を判断する上で基準とするテキスト集合における単語の用法と，着目している文中での用法の差異を計算し，これが大きい場合に非一般的用法と判断する．
以下，本稿では単語の用法を判断する上で基準とするテキスト集合のことを学習コーパスと呼ぶ．
非一般的用法を適切に検出するためには，学習コーパスとして，一般的用法で使用される場合が多いと考えられるテキスト集合を用いることが重要であると考えられることから，提案手法では，学習コーパスとして，新聞やインターネットを始めとする様々な分野から偏りなくサンプリングされたテキストの集合である均衡コーパスを使用する．
また，提案手法における，学習コーパスと評価用データにおける単語の使われ方の差異の計算には，Skip-gram Negative Sampling \cite{Mikolov2013nips}によって学習された単語ベクトルを使用する．


\section{評価データの作成}

本研究では，一般的ではない用法が存在する単語を対象として，文中における対象単語が一般的な用法かそうでないかをアノテートしたデータセットを新たに作成した．作成したデータセットは，コンピュータ，企業・サービス名，ネットスラングのドメインに出現した語から，非一般的用法として使用されることのある40語を含んだデータセットである．
データのソースとしてTwitterを使用し，2016年1月1日から2016年1月31日に投稿されたツイートを対象としてデータセットを作成した．
Twitterをデータのソースとして選択した理由は，Twitterにおいては，ある語が一般的な用法として使われる場合とそうでない場合が混在していると考えたためである．

データセットの作成に先立ち，以下の条件を全て満たす語を対象語を選定した．

\begin{enumerate}
\item コンピュータ，企業・サービス名，ネットスラングのドメインにおいて一般的ではない用法として使用される場合があることが分かっている語

\item ウェブ上に一般的ではない用法の説明が存在している語

\item 均衡コーパスにおける出現頻度が100以上の語
\end{enumerate}
本研究では，コンピュータ，企業・サービス名からそれぞれ10語ずつ，ネットスラングから20語，合計40語を対象語として選定した．選定した40語の一覧を表\ref{tb:word_list}に示す．

\begin{table}[p]
\caption{選定した40語とその一般的ではない用法の説明}
\label{tb:word_list}
\input{05table01.tex}
\end{table}

データセットの作成においては，まず，選定した40語が含まれるツイートに対して形態素解析を行い，選定した単語が一般名詞であると解析されたツイートを無作為に100ツイート選択した．
形態素解析には，MeCab\footnote{http://taku910.github.io/mecab/}を使用し，IPA辞書\footnote{http://ipadic.osdn.jp/}を用いた．
次に，選択したツイートにおいて，選定した単語が一般的な用法として用いられているか，固有表現の一部となっているか，一般的ではない用法として用いられているかという判断を2人のアノテータによって人手で行った．
固有表現の一部となっている事例というのは，例えば「井ノ尻」の中の「尻」のような事例を示す．
また，いずれかのアノテータが，与えられた情報だけからはツイート中で使用されている対象語の用法を決定できないと判断したツイート（96ツイート）\footnote{「(*´茸｀*)」の中の「茸」のような，顔文字の一部となっている事例などが含まれる．}は，データセットから除外した．
アノテーションが一致したツイートのうち，2人のアノテータが一般的な用法として用いられていると判断した事例と，一般的ではない用法として用いられている判断した事例の集合を最終的なデータセットとした\footnote{固有表現の一部となっている事例を除いたのは，将来的に固有表現認識を行うことにより機械的に除外できると考えたためである．}．
本アノテーションにおけるカッパ係数は0.808であった．
表\ref{tb:dataset}に，作成したデータセットの概要を示す．

\begin{table}[b]
\caption{作成したデータセットの概要}
\label{tb:dataset}
\input{05table02.tex}
\end{table}

作成したデータセットでは，単語ごとにラベルの偏りが見られた．
アノテーションの結果に基づいて，40語を，一般的な用法の事例が多い単語，非一般的用法として用いられている事例が多い単語，それ以外の単語の3つに分類した．
具体的には，7割以上が一般的用法としてアノテーションされた単語を一般的ラベル優勢，7割以上が非一般的用法としてアノテーションされた単語を非一般的ラベル優勢，それ以外をラベル偏りなしとしてクラス分けを行った．
表\ref{tb:dataset_annotation}に，アノテーション対象とした語の一覧をクラスごとに示す．
また，表\ref{tb:dataset_class}に，各クラスごとにアノテーションされた一般的用法，非一般的用法の内訳を示す．

\begin{table}[b]
\caption{アノテーション対象とした40語の内訳}
\label{tb:dataset_annotation}
\input{05table03.tex}
\end{table}

作成したデータセットは各単語に対する学習データ数が少ないため，教師あり学習のための学習コーパスとして使用するには，データ量の観点から適切ではないと考える．
そのため，本研究では，教師なし学習に基づいた単語の一般的ではない用法の検出手法を提案し，本データセットを評価用のデータセットとして用いる．
\label{seq:dataset}

\begin{table}[t]
\caption{クラスごとのデータセット内訳}
\label{tb:dataset_class}
\input{05table04.tex}
\end{table}


\section{単語の一般的ではない用法の検出}

提案手法では，もしある単語が一般的ではない用法として使われた場合，その周辺単語は一般的な用法として使われた場合の周辺単語と異なるという考えに基づき，単語の一般的ではない用法の検出を行う．
提案手法は単語の分散表現を活用したものであるため，本節では，まず，単語の分散表現を学習する手法として広く使われているSkip-gramの説明を行い，その後に提案手法の具体的なモデルの説明を行う．


\subsection{Skip-gram with Negative Sampling (SGNS)}

Skip-gram \cite{Mikolov2013nips}とは，単語の分散表現を学習する手法の一つとして広く使われており，学習コーパスから主に単語の共起情報を学習し，学習コーパス内に出現した単語をベクトルとして表現する手法である．
\label{seq:skipgram}
Skip-gramでは，訓練データにおける単語列を $w_1$, $w_2$, ..., $w_T$，窓幅を$m$とした時, $\frac{1}{T}\sum^T_{t=1}\sum_{-m\leq i \leq m, i\neq0} \log p(w_{t+i}|w_t)$が大きくなるように学習される．
{\it W}を訓練データにおける語彙とした時，$p(w_k|w_t)$は次の式によって表される：
\[
p(w_k|w_t) = \frac{\exp (v_{w_t}^{IN} \cdot {v_{w_k}^{OUT}})}{\sum^{}_{w \in W}\exp (v_{w_t}^{IN} \cdot {v_{w}^{OUT}} )}．
\]
Skip-gramは，着目単語の周辺単語を予測するモデルである．各単語は入力側の単語ベクトル$v^{IN}$と出力側の単語ベクトル$v^{OUT}$で表現され，確率値の計算には，これらが使用される．

\citeA{Mikolov2013nips} は，Skip-gramの学習時における計算コストを削減するためにSkip-gram with Negative Sampling (SGNS)を提案した．SGNSでは，学習コーパス内で単語$w_t$が$w_k$の近くに出現していた場合，$\log{\sigma({v_{w_t}^{IN}} \cdot {v_{w_k}^{OUT}})}+ \sum^{N}_{n=1} \mathbb{E}_{w_n \sim Z(w)} \log {\sigma({v_{w_t}^{IN}} \cdot {-v_{w_n}^{OUT}}})$が大きくなるようにそれぞれの単語に対応するベクトルが学習される．
ただし，$\sigma$はシグモイド関数を表す．
SGNSでは，$N$個の単語を確率分布$Z$から抽出し，これらを学習における負例単語として扱う．
その結果，単語$w_t$と単語$w_t$の近くに出現した単語$w_k$については，$\log {\sigma(v_{w_t}^{IN} \cdot {v_{w_k}^{OUT}})}$の値が大きくなるようにそれぞれのベクトルが学習され，単語$w_t$と負例単語$w_n$については，$\log {\sigma({v_{w_t}^{IN}} \cdot {v_{w_n}^{OUT}}})$が小さくなるように学習される．

単語間の類似度を測定するのにあたっては，入力側の単語ベクトル$v^{IN}$間における類似度を測る手法が広く用いられている．入力側の単語ベクトル $v^{IN}$は多くの研究で広く活用されているのに対して，\citeA{DBLP:journals/corr/MitraNCC16} や \citeA{eacl17oflr} などのように，出力側の単語ベクトル$v^{OUT}$を効果的に活用している研究は少ない．
一方で，Levyら\cite{NIPS2014_5477}は，Shifted Positive Pointwise Mutual Information (SPPMI)とSGNSの等価性を示しており，これによると，SGNSにおいて$v^{IN}$と$v^{OUT}$を使用することは，SPPMIを学習した際の単語の共起情報を参照することに関連し，これはある着目単語とその周辺単語のつながりの強さを計算することを意味する．
以上より，これまで述べたような入出力単語ベクトルの学習過程およびSPPMIとSGNSの等価性を考慮すると，ある単語$w_t$が訓練データ内で単語$w_k$が共起されやすいかどうかを測るためには，従来の研究で多く見られるような$v_{w_t}^{IN}$と${v_{w_k}^{IN}}$を用いた余弦類似度を用いる手法だけではなく，入力側と出力側の単語ベクトルを用いた${\sigma(v_{w_t}^{IN} \cdot v_{w_k}^{OUT})}$を活用する手法も，単語間の類似度を計算する上では考慮するべきであると考えられる．


\subsection{提案手法}

本研究では，SGNSの学習メカニズムを考慮して，非一般的用法の検出を試みる．
具体的には，まずSGNSを用いて均衡コーパスから単語の分散表現を学習し，続いて学習したベクトルを用いて着目単語とその周辺単語のベクトル間の内積値を算出し，その値が小さい場合，その着目単語の用法は一般的ではないと判断する．
均衡コーパスは，言語全体を把握するために偏りなくサンプリングされたテキストの集合であることから，均衡コーパスを用いることで，単語の用法の一般性がより反映された単語ベクトルの学習が行われると考えられ，上述の内積値が高い事例は一般的，低い事例は一般的ではない用法と判断することができると考えられる．
図~\ref{fig:method}に提案手法の概要を示す．

\begin{figure}[t]
\begin{center}
\includegraphics{26-2ia5f1.eps}
\end{center}
\caption{提案手法の概要}
\label{fig:method}
\end{figure}

提案手法では，SGNSによって単語ベクトルを学習し，学習された着目単語の入力側の単語ベクトル$v^{IN}$と，周辺単語の出力側の単語ベクトル$v^{OUT}$の類似度の加重平均に基づいて，単語の非一般的な用法を検出する．この過程で計算される類似度の加重平均を，単語の使われ方に対する一般性スコアと定義する．
一般性スコアとして，着目単語とその周辺単語との類似度の加重平均を採用している理由は，本研究で使用したSGNSの学習過程では，着目している単語と距離の近い単語に重みを付けた学習が行われているためである\cite{levy2015}．

窓幅を$m$，着目単語との距離を$d$と定義すると，加重平均の重み$\alpha$は，$\alpha=m+1-d$によって計算される整数値とする．
ただし，$d$は，着目単語を基準として，何単語離れているかを表す整数値である．
文中の着目単語を${w_t}$とし，着目単語の入力側の単語ベクトルを${v_{w_t}^{IN}}$，$w_t$を基準として前後$m$単語の単語集合を${\bf w_c}$，各周辺単語${w_j \in {\bf w_c}}$の出力側の単語ベクトルを$v_{w_j}^{OUT}$，その重みを$\alpha_{w_j}$と表すと，提案手法では，次の式(1)で計算されるスコアによって，着目単語$w_t$が一般的な使われ方かどうかを判断する：
\begin{equation}
\frac{\sum_{w_j \in {\bf w}_c} \sigma ({v_{w_t}^{IN}} \cdot v_{w_j}^{OUT}) \times \alpha_{w_j}}{\sum_{w_j \in {\bf w}_c}  \alpha_{w_j}} ,
\end{equation}
ただし，式(1)における$\sigma$はシグモイド関数を表す．
窓幅内に出現した未知語に対しては，未知語のトークンに対応する単語ベクトル$v_{unk}^{OUT}$を用いる．
なお，この$v_{unk}$は，単語ベクトルの学習に使用したコーパス内における低頻度語に対応する単語ベクトルである．
式(1)において，シグモイド関数を使用している理由は，SGNSの学習過程における非線形関数としてシグモイド関数が使用されていたためである\footnote{https://code.google.com/archive/p/word2vec/}．
算出された一般性スコアが小さい場合，着目単語の使われ方は非一般的であり，また反対に大きい時には，その使われ方は一般的であるとみなす．
\label{seq:method}


\subsection{比較手法}

本研究における提案手法には，3つの特徴がある．一つ目は単語ベクトルを学習する際に均衡コーパスを使用する点，二つ目は一般性スコアを計算する際に使用する単語ベクトルとして$v^{IN}$だけではなく$v^{OUT}$も使用する点，三つ目は一般性スコアの計算に加重平均を採用している点である．これらの特徴が非一般的な用法を検出するにあたり有用であるかを，比較実験を通して検証する．

提案手法では，学習コーパスの用法と評価用データセットにおける用法との差異を一般性スコアとして計算している．
この学習コーパスに含まれる単語の用法が非一般的用法検出を行う際の基準となるため，検出精度に大きく影響すると考えられる．
そこで，本研究では，4種類の異なる性質のコーパスを用意し，どのコーパスで単語ベクトルを学習するのが本タスクにより適しているかを調査する．
表\ref{tb:corpus}に，各コーパスの内容を示す\footnote{Webコーパスの収集には，\citeA{WEBcrawl}の手法を用いた．Wikipediaは，2016年7月時点でのWikipediaの記事を{https://dumps.wikimedia.org/jawiki/}からダウンロードしたものである．新聞については，毎日新聞，日経新聞，読売新聞を対象とした．}．

\begin{table}[b]
\caption{学習に使用したコーパスの内容}
\label{tb:corpus}
\input{05table05.tex}
\end{table}

提案手法は，一般的に使用される$v^{IN}$だけではなく，$v^{OUT}$も使用している．
$v^{OUT}$の有用性を検証するため，従来研究\cite{neelakantan-EtAl:2014:EMNLP2014,MWEemb}で用いられている手法と同様に，
$v^{IN}$のみを用いた手法との比較を行った．この比較手法では，式(1)における$\sigma (v_{w_t}^{IN} \cdot v_{w_j}^{OUT})$を，余弦類似度$\frac{{v_{w_t}^{IN}}^\top v_{w_j}^{IN}}{||{v_{w_t}^{IN}}|| \times||v_{w_j}^{IN} ||}$として一般性スコアを計算した．
さらに，SGNS以外の手法で学習した単語ベクトルでの実験結果を比較するために，相互情報量を用いて学習した単語ベクトルに対して，特異値分解 (SVD)によって次元削減を行った単語ベクトルを使用した手法\cite{levy2015,hamilton-EtAl:2016:EMNLP2016}による実験も行った．
この時，式(1)における$v_{w_t}^{IN}$，$v_{w_j}^{OUT}$は，それぞれ，SVDによって特異値分解されたあとの$t$
成分, $j$成分の値とする．
相互情報量には，Positive Pointwise Mutual Information (PPMI)を使用した．
また，SVDを用いた手法においても，一般性スコアの計算には余弦類似度を用いた\footnote{$v^{IN}$のみを用いた手法およびSVDを用いた手法において，類似度関数として余弦類似度の代わりにシグモイド関数を使用した場合においても実験を行ったが，この時の評価値は余弦類似度を用いた場合よりも低い値となった．}．

\ref{seq:method}節で述べたように，式(1)の$\alpha$は，着目単語を基準とした時の，周辺単語との距離に対する重みである．
この重み付けの有効性を調査するため，重み付けを行わず，式(1)において$\alpha = 1$とした場合との比較実験を行った．

これらに加えて，式(1)における周辺単語$\bf w_c$から，機能語である助詞，助動詞，接続詞として使われている単語を除いた条件での実験も行った．
図\ref{fig:method}にも示した通り，実際のテキストにおける周辺単語$w_j$は，助詞をはじめとする機能語にもなり得る．
しかし，機能語の単語ベクトルと着目単語の単語ベクトルとの類似度は，着目単語の用法の判断において効果的な要素ではない可能性が考えられる．
そこで，周辺単語${w_j \in {\bf w_c}}$から機能語を排除した時の部分集合${{\bf w_{c^{'}}} \subseteq {\bf w_c}}$を用いて
式(1)を計算するモデルにおいても実験を行った．
\cite{Mikolov2013nips} は，高頻度語のもつ情報量は低頻度語のもつ情報量よりも少ないという仮定に基づき，Skip-gramの学習時にサブサンプリングによって学習コーパス中に出現する単語の出現頻度に応じて文中からコーパス内の単語それぞれを確率的に除外した上で学習を行っているが\footnote{\citeA{Mikolov2013nips} における2.3節に詳細が記述されている．}，多くの機能語は高頻度語に該当することから類似した処理であると言える．


さらに，ニューラルネットの層の深さが検出精度に関係するか調査するため，文脈をベクトル化する手法として提案されているcontext2vec \cite{context2vec}との比較も行う．提案モデルが1層の浅いニューラルネットモデルであるのに対して，context2vecはBi-directional LSTM (Bi-LSTM) を活用した多層のモデルである．
また，Skip-gramが，着目単語の前後窓幅分の周辺単語を用いて着目単語を予測するのに対して，context2vecでは，入力文の左から着目単語まで，および右から着目単語までを使用して予測を行うという違いがある．
context2vecでは，文全体の単語埋め込みをBi-LSTMに入力し，着目単語の左側，および右側のBi-LSTMの出力層を結合し，2層の多層パーセプトロンに入力し，その出力層（文脈ベクトル）を用いて，着目単語を予測するモデルである．
本タスクにおいては，文脈ベクトルと着目単語の単語ベクトルの内積に対してシグモイド関数を適用した値を一般性スコアとして扱う．


\section{実験}

\subsection{実験設定}

単語ベクトルの学習にあたっては，次元を300とした．
また，各コーパスにおいて，出現頻度が5回未満の単語は，$<$unk$>$に置き換えて学習を行った．
SGNSによる単語ベクトルの学習には，Pythonライブラリの一つである {\small\verb|gensim|} \cite{rehurek_lrec}による実装を使用し，ネガティブサンプリングの数を10とした．
SVDによる単語ベクトルの学習には，\citeA{levy2015}の実装\footnote{https://bitbucket.org/omerlevy/hyperwords}を使用した．
学習epoch数は5とした．
また，単語ベクトルを学習する際の窓幅は2，5，10としてそれぞれ実験を行った．

context2vecの学習にあたっては，ネガティブサンプリング数を10，最適化手法にはAdam \cite{adam}を使用した．学習率は$10^{-3}$として学習を行った．その他の隠れ層や単語ベクトルの次元などの詳細なパラメータを表 \ref{tb:c2v_param} に示す．
また，学習の効率化のため，実験に使用するコーパスのうち，BCCWJとWebは中規模，WikipediaとNewspaperは大規模なコーパスであるとみなし，中規模コーパスで学習する際には，ミニバッチ数100，学習epoch数10，5回未満の出現頻度の単語を$<$unk$>$と置き換えて学習を行い，大規模コーパスで学習する際には，ミニバッチ数500，学習epoch数5，10回未満の出現頻度の単語を$<$unk$>$と置き換えて学習を行った．

\begin{table}[t]
\caption{context2vecのパラメータ}
\label{tb:c2v_param}
\input{05table06.tex}
\end{table}

評価には，テストセットの各事例で計算された一般性スコアを昇順にソートし， 一般性スコアが低い順に非一般的用法として分類した時の平均適合率を使用する．
さらに，これらの実験に加えて，3.3節に示した機能語を使用しない場合における実験も行う．
また，誤り分析を行うため，任意の値を閾値として設定し，計算された一般性スコアが閾値を下回った場合には非一般的用法，それ以外は一般的用法と分類する実験を行った．
閾値には，分類時に非一般的用法を正例とした時に計算されるF値が最も大きくとなるような閾値を使用した．


\subsection{結果}

表\ref{tb:res}に実験結果を示す．
表\ref{tb:res}におけるweightedおよびuniformは，それぞれ，着目単語の周辺単語に対する重み付けを行った場合，行わない場合に対応する．
また，ダガー ($\dagger$) は，提案手法であるBCCWJを用いた時のSGNS IN-OUT weightedモデルによる実験結果と，有意水準5$\%$で並べ替え検定を行った際に，統計的有意差が確認できたことを示している．
太字は，SGNS IN-OUT，SGNS IN-IN，SVDモデルによって得られた平均適合率のうち，設定された各窓幅2, 5, 10ごとでの実験結果を比較した際に最も平均適合率が高いことを示す．

\begin{table}[t]
\caption{各モデルによる平均適合率}
\label{tb:res}
\input{05table07.tex}
\end{table}


\subsubsection{各モデルごとの実験結果の比較}

表\ref{tb:res}より，最も高い平均適合率を達成したモデルは，学習コーパスとしてWikipediaを使用した時のcontext2vecであり，その値は0.845であった．提案手法であるSGNS IN-OUT weightedモデルは，学習コーパスとしてBCCWJを使用し，窓幅を5と設定した時に最も高い平均適合率を達成し，その値は0.839であった．
context2vecを用いた場合の平均適合率は0.803から0.845と高い値で安定していることがわかるため，ニューラルネットの層の深さは検出精度に貢献すると考えられる．実験結果から，提案手法であるSGNS IN-OUTのような層が浅いモデルでも，単語ベクトルの学習手法，学習された単語ベクトルの扱い方，学習コーパスを適切に選択することで，層が深いモデルと同等の性能を達成できることがわかった．

次に，設定された各窓幅ごとでの性能を比較する．
表\ref{tb:res}において，各モデルによって得られた平均適合率のうち，窓幅2，5，10ごとでの実験結果を比較すると，それぞれで最も平均適合率が高かったモデルは，全てBCCWJを学習コーパスとして使用した際のSGNS IN-OUTモデルであった．これより，BCCWJとSGNS IN-OUTを用いることによって，単語ベクトルの学習に使用する窓幅に関わらず高い平均適合率を達成する傾向があるといえる．
また，窓幅を2と設定した場合の実験結果では，全12モデル中11モデルにおいて，重み付けによる平均適合率の減少が見られた．
モデルが参照できる周辺単語が少ない場合では，重み付けによって着目単語周辺の機能語が強調されてしまい，これが悪影響となって平均適合率が減少した可能性が高い．
この点は，後述の機能語を使用しないモデルにおける実験結果との関連があると考えられる．
\label{seq:main_res}


\subsubsection{機能語を使用しないモデルにおける実験結果}

表\ref{tb:res_filter}に，一般性スコアの計算時に機能語を使用しないモデルにおける平均適合率を示す．
ダガー ($\dagger$)は，提案手法であるBCCWJを用いた時のSGNS IN-OUT weightedモデルによる実験結果と，有意水準5$\%$で並べ替え検定を行った際に，統計的有意差が確認できたことを示している．
表\ref{tb:res_filter}より，機能語を使用しない場合においては，提案手法であるSGNS IN-OUT weightedモデルが最も高い平均適合率を達成した．
これは，窓幅を5と設定し，学習コーパスとしてBCCWJ使用したモデルであり，平均適合率は0.857であった．

\begin{table}[b]
\caption{機能語を使用しないモデルにおける平均適合率}
\label{tb:res_filter}
\input{05table08.tex}
\end{table}
\begin{table}[b]
\caption{機能語を使用するモデルと使用しないモデルでの平均適合率に統計的有意差が見られたモデル}
\label{tb:filter_test}
\input{05table09.tex}
\end{table}

表\ref{tb:res}，表\ref{tb:res_filter}より，一般性スコアの計算時に機能語を使用しないことで，全76モデル中48モデルにおいて，平均適合率の向上が確認された．
このうち，12モデルにおいて，機能語を使用しない場合の平均適合率と，機能語を使用した場合の平均適合率との間に統計的有意差が確認された．この有意差が確認されたモデルを表\ref{tb:filter_test}に示す．
なお，26モデルでは，機能語を使用しないことで平均適合率の値が減少し，2つのモデルでは，平均適合率に変化がなかった．
特に，context2vecを用いた4モデルでは機能語を使用しないことで平均適合率が減少する傾向にある．
context2vecは，単語埋め込みを行った後，その情報をBi-LSTM，多層パーセプトロンに入力し着目単語の予測を行うモデルである．この時に，機能語を使用しないことによって，Bi-LSTMの言語モデルとしての働きを弱め，結果として予測がうまくいかなかったと考えられる．
最もスコアが向上したモデルは，窓幅を10と設定し，学習コーパスとしてWebを用いた時のSVD weightedモデルであり，0.144ポイントの向上が見られた．
また，最もスコアが減少したモデルは，学習コーパスとしてWebを用いた時のcontext2vecで，0.414ポイントの減少が見られた．
以上の実験結果より，機能語の扱い方を考慮することが平均適合率の向上に貢献する可能性が高いと考えられる．


次に，設定された各窓幅ごとでの性能を比較する．
表\ref{tb:res_filter}において，各モデルで得られた平均適合率のうち，窓幅2，5，10ごとでの実験結果を比較した際に，最も平均適合率が高かったモデルは，それぞれBCCWJを学習コーパスとして使用した際のSGNS IN-OUTモデルであり，実験結果の大まかな傾向は\ref{seq:main_res}項にあるものと同様であることがわかる．
また，窓幅を2と設定した場合の実験結果に着目すると，重み付けによる平均適合率の減少が見られたモデルは，全12モデル中3モデルであり，\ref{seq:main_res}項で見られた重み付けによる悪影響が軽減していることがわかる．
これは，窓幅が小さい設定においては，機能語による悪影響があったことを示唆している．


\subsubsection{重み付けの有無に関する実験結果の比較}

表\ref{tb:res}より，重み付けを行うモデル(weighted)と行わないモデル(uniform)間における平均適合率の変化を調査すると，36モデル中22モデルが重み付けを行うことによって平均適合率が向上している．また，13モデルでは平均適合率が減少し，1つのモデルでは平均適合率の変化が見られなかった．
表\ref{tb:res_filter}に示した機能語を使用しない条件での実験結果では，重み付けを行うことによって36モデル中30モデルにおいて平均適合率が向上した．4モデルにおいては平均適合率が減少し，2つのモデルでは平均適合率の変化が見られなかった．
重み付けの有意性を調査するため，これらの実験結果に対して検定を行ったところ，重み付けを行うモデルによって得られた平均適合率と，行わないモデルによって得られた平均適合率との間に統計的有意差が確認されたのは，72ペアのうち36ペアだった．
検定結果を表\ref{tb:weight}に示す\footnote{表\ref{tb:weight}における「w/機能語」は機能語を使用するモデル，「w/o機能語」は機能語を使用しないモデルに該当する．チェックマーク (\checkmark) は，重み付けを行うモデルによって得られた平均適合率が，行わないモデルによって得られた平均適合率よりも統計的に有意であることを表す．ただし，ダブルダガー ($\ddagger$)は，重み付けを行わないモデルによって得られた平均適合率が，重み付けを行うモデルによって得られた平均適合率よりも統計的に有意であることを示す．}．
全てのパターンで統計的な有意差は見られなかったものの，提案手法を使用するにあたっては，着目単語からより近い周辺単語が本タスクを解く上での手がかりとなっていることがわかった．

\begin{table}[b]
\caption{重み付けによる統計的有意性の調査}
\label{tb:weight}
\input{05table10.tex}
\end{table}


\subsubsection{各モデルにおける平均適合率の最高値の比較}

表\ref{tb:best_results}に，これまでの実験において各モデルで達成した平均適合率の最高値と実験設定をまとめる．
ダガー ($\dagger$) は，提案手法であるSGNS IN-OUTによって得られた実験結果と，有意水準5$\%$で並べ替え検定を行った際に，統計的有意差が確認できたことを示している．
提案手法であるSGNS IN-OUTモデルで得られた平均適合率と比較手法で得られた平均適合率との間に，統計的有意差が確認されたのはSVDモデルとSGNS IN-INモデルであった．
これらの結果から，本タスクにおいては，$v^{IN}$だけではなく$v^{OUT}$も使用することが平均適合率の向上に寄与していることがわかる．
また，SGNS IN-INモデルとSVDモデルにおける平均適合率の間で検定を行ったところp値は0.089であった．実験結果では，SGNSを用いた手法の方がより高い平均適合率を達成する傾向にあるが，その差は有意なものではなかった．


\begin{table}[b]
\caption{各モデルにおいて平均適合率が最も高かった時の実験設定}
\label{tb:best_results}
\input{05table11.tex}
\end{table}

続いて，各手法ごとでの実験設定に着目する．SGNSを用いる手法では，学習コーパスとしてBCCWJを使用，重み付けを適用し，機能語を使用しないことで，高い平均適合率を達成する傾向にある．また，SVDおよびcontext2vecを用いる手法ではWikipediaを学習コーパスとして使用し，機能語を使用することで最も高い平均適合率を達成している．
より高い平均適合率が達成することができる学習コーパスは，単語ベクトルの学習手法ごとに異なることから，各手法に適した学習コーパスを選択することが必要であると考えられる．


\subsection{誤り傾向と正解例・誤り例の分析}

これまでの実験では，評価データ中の文書に対して，各手法によって計算された一般性スコアを用いてソートした時のランキングに対する評価を行った．
本節では，誤り分析のため，ある閾値を設定し，計算された一般性スコアが閾値を下回った場合には非一般的用法，それ以外は一般的用法と分類する実験を行った．
本実験では，閾値を0.001から1.000の範囲で0.001刻みで設定し，それぞれの値をもって分類を行った時，分類時に計算されるF値が最も大きくとなるような閾値を使用した．

表\ref{tb:classification}に，各モデルごとで上述の閾値を用いた場合に計算される適合率，再現率，F値を示す．
太字は，各評価指標において最も性能が高いことを示し，ダガー ($\dagger$) は，提案手法であるSGNS IN-OUTモデルによる実験結果と，有意水準5$\%$で並べ替え検定を行った際に，統計的有意差が確認できたことを示している．
なお，実験には表\ref{tb:best_results}に示したモデルを使用した．
実験結果から，提案手法によって得られたF値が，各モデルによって得られたF値の中で最も高く，その値は0.796であった．
また，適合率が最高値となったモデルは，提案手法であるSGNS IN-OUTであり，再現率が最高値となったモデルはcontext2vecを用いた手法であった．

\begin{table}[b]
\caption{各モデルによって計算された非一般的ラベルに対する適合率・再現率・F値}
\label{tb:classification}
\input{05table12.tex}
\end{table}

次に，表\ref{tb:dataset_annotation}に示したそれぞれのクラスごとに対する評価値を調査する．
作成したデータセットでは，単語ごとにラベルの偏りが見られ，表\ref{tb:dataset_annotation}では，アノテーション対象とした40語がどちらのラベルに偏りがあったか，もしくは偏りがなかったかの3クラスを示した．
クラスごとでの各評価値の変化を調査するため，各クラスごとでの適合率，再現率，F値を計算した．
なお，実験に使用した閾値は上述の実験と同値である．
これらの結果を表\ref{tb:results_for_each_label}に示す．
ダガー ($\dagger$) は，提案手法であるSGNS IN-OUTモデルによる実験結果と，有意水準5$\%$で並べ替え検定を行った際に，統計的有意差が確認できたことを示している．
非一般的ラベル優勢クラスにおける適合率はそれぞれのモデルにおいて高い傾向にある一方で，一般的ラベル優勢クラスにおける適合率は低い傾向にあり，評価値の偏りが見られた．
これらの結果より，全体のF値が大きくなるような閾値を設定すると，多くの人が一般的ではない用法として扱うような単語に対する検出はうまくいくものの，少数の人のみが使用しているような用法を持つ単語については，誤検出が多いということがわかった．

\begin{table}[t]
\caption{各クラスごとの適合率・再現率・F値}
\label{tb:results_for_each_label}
\input{05table13.tex}
\end{table}

続いて，提案手法による実験結果に対する定性的評価を行う．
提案手法によって検出できた一般的ではない用法の例を次に示す．


\quad (i) \space うちの場合\textbf{\underline{林檎}}は父が触ったことないし、Android端末いっぱい買って...

\quad (ii) \space ...国立\textbf{\underline{駅弁}}よりすこし高いくらいかなでもそこにいったって好きな研究室いけるとも...

\quad (iii) \space 光村雨チケ今回何枚取れるかなー久しぶりだから\textbf{\underline{泥}}率上げてくれるよね…？

\quad (iv) ...やっぱりLTで他全員でガン\textbf{\underline{芋}}してるのが一番強いんじゃないかな

\quad (v) \space \textbf{\underline{鯖}}落ちだあああああああああああああああガチマに潜るなああああああああああ \\


(i)，(ii)の中の「林檎」や「駅弁」は，一般的ラベル優勢の単語に対しても一般的ではない用法を検出することができた例である．また，(iii)，(iv)中の「泥」や「芋」のように，表\ref{tb:dataset}に示したような用法とは異なる一般的ではない用法に対しても，これを正しく検出することができた\footnote{この時の「泥」は，主にソーシャルゲームにおける「ドロップ」，「芋」は主にオンラインゲームにおける「スナイパー」を意味する．}．
(v)の例は，context2vecを用いた手法で検出できなかったが，提案手法において検出が成功した事例である．context2vecは入力文全体を考慮する手法であるが，この事例は，全体を考慮することによって誤りとなった事例だと考えられる．一方で，提案手法は，着目単語の前後窓幅分の周辺単語に着目するため，周辺単語以外の情報に影響されずに，正しく検出することができたと考えられる．


次に，提案手法によって検出できなかった一般的ではない用法を示す．


\quad (vi) \space ニコ動で実況者がワードバスケットやってて\textbf{\underline{草}}

\quad (vii) \space 55連でテレーゼ、エクセ、ユイ、\textbf{\underline{虹}}星1。引きは微妙だけど一番欲しかった...

\quad (viii) \space あ〜、なんだこの気持ち。変なの\textbf{\underline{藁}}藁。醜い感情は押し殺せばいいか

\quad (ix) \space 零十サンの規制してしまった時用\textbf{\underline{垢}}。本垢フォローもよろしくでっす！！

\quad (x) \space \textbf{\underline{養分}}辞めたい吸収される側から…する側になるためには…カネが…カネが必要…！\\


(vi)の例のように，着目単語の周辺単語が少ない場合において，検出できなかった事例を確認した．しかし，(v)の例のように，周辺単語が少ないにも関わらず検出できた例も確認されているため，周辺単語の情報が少ない場合には，モデルの出力が不安定となると考えられる．
次に，(vii)中の，「ユイ」，「エクセ」などのように，着目単語の近くの周辺単語が低頻度語・未知語に該当する場合において，検出できない事例を確認した．
提案手法では，未知語が出現した場合には，予め学習された未知語に該当する単語ベクトルを使用しているが，このような事例に対応するためには，未知語の性質を考慮した個別な処理等が必要とされる．
続いて，(viii)，(ix)の例のように，着目単語の周辺単語として着目単語そのものが出現していた場合に，検出に失敗する傾向が見られた．これは，SGNSの学習過程より，着目単語自身の$v^{IN}$と$v^{OUT}$の内積値が高く計算される傾向にあることから\footnote{ランダムにサンプリングした10,000語を対象として，学習した単語ベクトルを用いて$v^{IN}$と$v^{OUT}$の内積値を計算したところ，ある着目単語自身の$v^{IN}$と$v^{OUT}$の内積値は，着目単語の$v^{IN}$とそれ以外の単語の$v^{OUT}$の内積値の平均値よりも高い傾向にあった．該当した事例は，10,000件中9,997件であった．なお，任意の単語自身の$v^{IN}$と$v^{IN}$の余弦類似度は常に1であるため，SGNS IN-INモデルにおいても本文中と同様の問題がある．}，全体的な一般性スコアが高く計算され，これが要因となって検出に失敗したと考えられる．
また，(x)の例は，提案手法で検出できなかったが，context2vecを用いた手法において検出が成功した事例である．提案手法は着目単語から固定窓幅分の周辺単語しか考慮しない手法である．そのため，(x)の例のように，着目単語と離れた位置にある「カネ」のような，単語の用法を判断する上で手がかりとなる要素を考慮することができず，検出に失敗したと考えられる．一方で，context2vecは，文脈全体を考慮するモデルであるため，検出に成功したと考えられる．

\begin{table}[b]
\begin{minipage}[t]{.45\textwidth}
\caption{提案手法における混同行列}
\label{tb:confusion_proposed}
\input{05table14.tex}
\end{minipage}  
\hfill
\begin{minipage}[t]{.45\textwidth}
\caption{context2vecにおける混同行列}
\label{tb:confusion_context2vec}
\input{05table15.tex}
\end{minipage}  
\end{table}


\subsection{混同行列による誤りの傾向分析}

本節では，表\ref{tb:classification}に示した実験結果に対して，混同行列を用いた誤りの傾向分析を行う．
ここでは，提案手法に加えて，表\ref{tb:best_results}, \ref{tb:classification}より，これまでの実験で性能が高かったcontext2vecにおける分析も行う．
表\ref{tb:confusion_proposed}, \ref{tb:confusion_context2vec}に，それぞれの実験結果に対する混同行列を示す．
本タスクにおける誤りとしては，表中の右上に該当する非一般的用法であるにも関わらずこれを検出できないような「見逃し」と，表中の左下に該当する一般的用法であるにも関わらず非一般的用法として判断してしまう「誤検出」の2パターンが存在する．

表\ref{tb:confusion_proposed}より，提案手法では，見逃しが220件，誤検出が332件であった．また，表\ref{tb:confusion_context2vec}より，比較手法であるcontext2vecを用いた手法では，見逃しが192件，誤検出が384件であった．これらを比較すると，提案手法は，見逃しが多く誤検出が少ない手法，context2vecを用いた手法は，反対に，誤検出が多く見逃しが少ない手法であると言える．

本タスクにおける誤りパターンである「見逃し」と「誤検出」のどちらがリスクとみなすかは，本研究を適用するアプリケーションに依存する．
例として，本研究を一般的ではない用法の辞書の作成に応用した場合を考える．このような辞書の作成においては，見逃された用法をコーパスから探すことは難しい一方で，誤って一般的ではないと判断された語を人手で確認することは容易である．したがって，本研究を一般的ではない用法の辞書作成に応用した場合には，相対的に「見逃し」が少ない手法が望ましいと考えられる．
次に，本研究を一般的ではない用法も解釈するような対話システムの作成に応用した場合を考える．このような対話システムでは，一般的ではない用法を検出できなかった場合と比べ，一般的な用法を誤って解釈した場合の方が，システムへの信頼性が低下しやすいと考えられる．したがって，対話システムに応用した場合には「誤検出」の少ない手法の方が望ましいと考えられる．


\subsection{提案手法・context2vecにおいてともに誤りを出力した事例}

本節では，4.3節で行った実験結果のうち，提案手法およびcontext2vecを用いた手法において，両方のモデルで共通した誤り事例に対する分析を行う．
両モデルにおける共通の誤り事例は235件あり，そのうち，「見逃し」に該当するものが84件，「誤検出」に該当するものが151件であった．
例として，表\ref{tb:false_all}に，誤りを出力した20件を示す．

\begin{table}[t]
\caption{提案手法およびcontext2vecを用いた手法において誤りを出力した事例}
\label{tb:false_all}
\input{05table16.tex}
\end{table}

まず，表中において「見逃し」に該当する(1)〜(10)に着目する．
(1)〜(3)は，着目単語が文の後半に位置していた事例である．このような事例に対して，提案手法においては，扱える周辺単語の情報が少ないため，モデルの出力が不安定となることが検出失敗の要因であると推測される．
context2vecを用いた手法では，入力ツイート中の文脈を考慮することができると考えられるが，周辺単語の情報量の不足による影響が少なからずあったと推測される．
また，(4)〜(6)中の「シャロン」，「ノンノ」，「グラブル」など，着目単語の周辺単語として，学習コーパス中における未知語または低頻度語に該当する単語が出現した場合に，モデルが正しく検出できない傾向が見られた．
これは，提案手法およびcontext2vecに限らず，機械学習を用いた手法における未知語の扱い方に関連する問題だと考えられる．この点については，例えば固有表現解析，係り受け解析，形態素解析などによって得られた結果を追加情報を活用することで，未知語による悪影響を軽減できる可能性がある．
さらに，(7)〜(8)のように，着目単語の周辺単語として，着目単語自身が出現している場合にも検出に失敗しやすいことがわかった．このような場合において，4.3節の実験結果では，提案手法による一般性スコアが高く計算される傾向にあることを示したが，context2vecを用いた手法においても同様の問題があった．
また，評価データ中のアノテーションにはミスが見られ，これによって誤りと判定される事例が確認された．
(9)中の「尼」は固有表現の一部であり，(10)中の「安価」は一般的用法として扱われていると考えられる．


次に，「誤検出」に該当する(11)〜(20)に着目する．
(11)〜(13)は，「見逃し」のパターンと同様に，着目単語の周辺単語の情報が少ない場合において誤りとなった事例であり，このような場合には，モデルの出力が不安定となることがわかった．
(14)〜(18)のように，着目単語の周辺単語として，人名や地名などの固有表現が出現した際に，モデルが誤りを出力する事例を確認した．これは，学習モデルにおける未知語や低頻度語の扱い方に関連する問題であると考えられる．この点については，文脈中に出現する固有表現に関する知識など，何らかの追加情報を活用することで，このような事例を正しく判断することができると考えられる．
また，(9)，(10)の事例と同様に，アノテーションのミスによって誤りと判定されている事例が確認された．
(19)中の「蔵」は固有表現の一部であり，(20)中の「草」は非一般的用法として扱われていると考えられる．


\section{関連研究}

本研究と関連している自然言語処理の研究分野として，新語義検出\cite{sinnou:2012}や新語義の用例のクラスタリング\cite{lau-EtAl:2012:EACL2012}が挙げられる．
しかし，本研究で扱う表現は，特定のドメインにおいて語義が変化するという性質を持つため，これらの一般的な語義に着目した研究とは枠組みが異なる．
また，\citeA{bamman-dyer-smith:2014:P14-2} は，話者の地域によって，語の持つ意味が異なるという点に着目し，状況に応じた語の意味表現ベクトルを獲得する手法を提案している．本研究も同様に，同一語の用法の違いに着目しているが，Bammanらが地域ごとの語の使われ方の違いに着目しているのに対し，本研究では語の使われ方が一般的であるかそうでないかに着目する．また，Multi-Word Expressionやイディオムのような形で表される単語の用法分類も行われてきた\cite{kiela-clark:2013:EMNLP,salehi-cook-baldwin:2015:NAACL-HLT,li2010}．本研究では，単語の用法の一般性という点に着目しているため，対象としている現象の性質という点で，これらは本研究とは異なる． 

Web上で使用される単語の一般的ではない用法に関する研究もいくつか存在する．
\citeA{cook-EtAl:2014:Coling} は，辞書に採録されていないような単語の用法の検出を行っている．
CookらがWeb上のテキストを対象としているのに対して，本研究では，ソーシャルメディアにおける単語の非一般的用法に着目している．
\citeA{sboev:2016} は，インターネットにおいてのみ使われる中国語の俗語表現の分析を行った．
\citeA{yamada} は，有害情報を表す隠語に焦点を当てて，隠語を概念化するフレームワークを提案し，隠語表現の分類を行った．
山田らは，隠語の知識を含んだ辞書を作成し，分類タスクを解いたが，作成した辞書のみでは隠語表現の多様性の対応に不十分であったと報告している．
本研究は，単語の一般的ではない用法の検出を行うことに主眼をおいているため，表現の分析に重きをおいているSboevの研究とは目的が異なる．
また，山田らが有害情報を表す隠語に着目しているのに対して，本研究では，隠語のみならず，俗語や若者言葉のような，本来の単語の意味が変化して使われるようになった表現に着目している．
加えて，山田らがドメインに特化した知識を用いているのに対し，本研究で提案する手法ではそのような知識を必要としないという違いがある．
\citeA{matsumoto2017WII-A} は，若者言葉を代表とする俗語を対象として，それを感性評価軸とその俗語が持っている意味ベクトルを用いることによって，俗語を標準語へ変換する手法を提案した．松本らが着目している単語は，臆病の意味で使用される「チキン」というように，その表現の意味する概念に対して感性的要素が含まれるような単語であった．しかし，本研究で着目している単語については，「サーバ」の意味で使用される場合の「鯖」など，必ずしも感性的な印象が付与されるとは限らないため，この点で松本らの研究と着目対象とする単語の性質が異なる．

また，近年，単語の分散表現を活用した研究は多肢に渡っており，時間変化による意味変化や地域による単語の使われ方の変化，単語の持つ感情極性の変化を分析するような研究でも広く使われている技術である \cite{mitra-EtAl:2014:P14-1,kulkarni2015statistically,TACL796,eisenstein-EtAl:2010:EMNLP,hamilton-EtAl:2016:EMNLP2016,yang2016sentiment}．
さらに，一般的な多義性を扱うための分散表現\cite{neelakantan-EtAl:2014:EMNLP2014,gaussian_emb_1,gaussian_emb_2,topic_emb}や文脈をうまく表現するための分散表現\cite{context2vec,elmo}なども研究されてきたが，本研究の目的は，ある特定領域で別の意味を持つ単語の検出であるため，これらの研究とは目的が異なる．
本研究で着目する出力側の単語ベクトル$v^{OUT}$を活用した研究は少ないが，$v^{OUT}$を効果的に使うことで，文書のランキングや \cite{DBLP:journals/corr/MitraNCC16} 言語モデルの改善 \cite{eacl17oflr,kobayashi-okazaki-inui:2017:I17-1}に有効だったと報告されている．また，\citeA{TACL1065}は本研究で用いたSGNSを単語に対する知識表現も学習できるように拡張し，$v^{IN}$は単語ベクトルを，$v^{OUT}$は$v^{IN}$に対応する単語の知識表現を学習することによって，Semantic Textual Similarity，Entity Linking，そしてFactoid型質問応答の3つのタスクにおいてState-of-the-artを達成している．


\section{まとめ}

本研究では，ソーシャルメディアにおいて辞書に掲載されていない意味で使用される場合があることが分かっている単語を対象に，単語の一般的ではない用法の自動検出を行った．
提案手法では，Skip-gram with Negative Sampling を用いて均衡コーパスから学習した単語ベクトルを用いて，着目単語の単語ベクトルと着目単語の周辺単語の単語ベクトルの内積に対してシグモイド関数を適用した値の加重平均を，着目単語の用法の一般性スコアとして扱い，一般性スコアが高い場合に一般的，低い場合に非一般的と判断する．この際，従来の研究で一般的に用いられている$v^{IN}$ だけではなく，$v^{OUT}$を組み合わせて使用した．

事前に選定した40 語を対象に，与えられた文における用法が一般的であるかそうでないかアノテーションしたデータセットを用いた評価実験の結果，均衡コーパスから学習されたベクトルを使用し，さらに$v^{OUT}$ベクトルと加重平均を一般性スコアの計算に活用することで，高い精度を達成できることを示した．
この結果，出力側単語ベクトル$v^{OUT}$が，文中のある単語とその周辺単語を参照するようなタスクにおいて有用であることを可能性を示している．
また，着目単語の周辺単語に対して，それらと着目単語との距離に応じて，単語ベクトルの重み付けを行うことによって評価値の向上が見られたことから，着目単語と距離の近い周辺単語が一般的ではない用法の検出において，より重要な手がかりとなっていると考えられる．
さらに，提案手法においては，一般性スコアの計算時に機能語を使用しないことで評価値の向上が見られたから，機能語が持つ情報は一般的ではない用法の検出においては重要ではない可能性があると思われる．

本研究は，ソーシャルメディア上で一般的ではない使われ方がされている語の分析の手始めとして取り組んだ．
本研究で提案した手法を拡張することにより，ソーシャルメディアにおける単語の用法の分析に貢献できると期待される．
本研究における評価実験は，作成したデータセットを用いたクローズドな問題設定だったが，提案手法によって計算された一般性スコアに対して閾値推定を施すことにより，未知のデータから一般的ではない用法を抽出するなど，オープンな問題設定に対しても適用可能だと考えられる．
ソーシャルメディアにおいて，どのくらいの語が非一般的用法で用いられているかの分析や，単語の一般的ではない用法の検出だけではなく，その意味の自動獲得などが，本研究のさらなる発展として考えられる．


\acknowledgment

本論文の一部は，The 2017 Conference on Empirical Methods in Natural Language Processing (EMNLP 2017) で発表したものです\cite{tatsuo}．




\bibliographystyle{jnlpbbl_1.5}
\begin{thebibliography}{}

\bibitem[\protect\BCAY{Aoki, Sasano, Takamura, \BBA\ Okumura}{Aoki
  et~al.}{2017}]{tatsuo}
Aoki, T., Sasano, R., Takamura, H., \BBA\ Okumura, M. \BBOP 2017\BBCP.
\newblock \BBOQ Distinguishing Japanese Non-standard Usages from Standard
  Ones.\BBCQ\
\newblock In {\Bem Proceedings of EMNLP '17}, \mbox{\BPGS\ 2323--2328}.

\bibitem[\protect\BCAY{Athiwaratkun \BBA\ Wilson}{Athiwaratkun \BBA\
  Wilson}{2017}]{gaussian_emb_2}
Athiwaratkun, B.\BBACOMMA\ \BBA\ Wilson, A. \BBOP 2017\BBCP.
\newblock \BBOQ Multimodal Word Distributions.\BBCQ\
\newblock In {\Bem Proceedings of ACL '17}, \mbox{\BPGS\ 1645--1656}.

\bibitem[\protect\BCAY{Bamman, Dyer, \BBA\ Smith}{Bamman
  et~al.}{2014}]{bamman-dyer-smith:2014:P14-2}
Bamman, D., Dyer, C., \BBA\ Smith, N.~A. \BBOP 2014\BBCP.
\newblock \BBOQ Distributed Representations of Geographically Situated
  Language.\BBCQ\
\newblock In {\Bem Proceedings of ACL '14}, \mbox{\BPGS\ 828--834}.

\bibitem[\protect\BCAY{Cook, Lau, McCarthy, \BBA\ Baldwin}{Cook
  et~al.}{2014}]{cook-EtAl:2014:Coling}
Cook, P., Lau, J.~H., McCarthy, D., \BBA\ Baldwin, T. \BBOP 2014\BBCP.
\newblock \BBOQ Novel Word-sense Identification.\BBCQ\
\newblock In {\Bem Proceedings of COLING '14}, \mbox{\BPGS\ 1624--1635}.

\bibitem[\protect\BCAY{Eisenstein, O'Connor, Smith, \BBA\ Xing}{Eisenstein
  et~al.}{2010}]{eisenstein-EtAl:2010:EMNLP}
Eisenstein, J., O'Connor, B., Smith, N.~A., \BBA\ Xing, E.~P. \BBOP 2010\BBCP.
\newblock \BBOQ A Latent Variable Model for Geographic Lexical Variation.\BBCQ\
\newblock In {\Bem Proceedings of EMNLP '10}, \mbox{\BPGS\ 1277--1287}.

\bibitem[\protect\BCAY{Fadaee, Bisazza, \BBA\ Monz}{Fadaee
  et~al.}{2017}]{topic_emb}
Fadaee, M., Bisazza, A., \BBA\ Monz, C. \BBOP 2017\BBCP.
\newblock \BBOQ Learning Topic-Sensitive Word Representations.\BBCQ\
\newblock In {\Bem Proceedings of ACL '17}, \mbox{\BPGS\ 441--447}.

\bibitem[\protect\BCAY{Frermann \BBA\ Lapata}{Frermann \BBA\
  Lapata}{2016}]{TACL796}
Frermann, L.\BBACOMMA\ \BBA\ Lapata, M. \BBOP 2016\BBCP.
\newblock \BBOQ A Bayesian Model of Diachronic Meaning Change.\BBCQ\
\newblock {\Bem Transactions of the Association for Computational Linguistics},
  {\Bbf 4}, \mbox{\BPGS\ 31--45}.

\bibitem[\protect\BCAY{Gharbieh, Virendra, \BBA\ Cook}{Gharbieh
  et~al.}{2016}]{MWEemb}
Gharbieh, W., Virendra, B., \BBA\ Cook, P. \BBOP 2016\BBCP.
\newblock \BBOQ A Word Embedding Approach to Identifying Verb-Noun Idiomatic
  Combinations.\BBCQ\
\newblock In {\Bem Proceedings of the 12th Workshop on Multiword Expressions},
  \mbox{\BPGS\ 112--118}.

\bibitem[\protect\BCAY{Hamilton, Clark, Leskovec, \BBA\ Jurafsky}{Hamilton
  et~al.}{2016}]{hamilton-EtAl:2016:EMNLP2016}
Hamilton, W.~L., Clark, K., Leskovec, J., \BBA\ Jurafsky, D. \BBOP 2016\BBCP.
\newblock \BBOQ Inducing Domain-Specific Sentiment Lexicons from Unlabeled
  Corpora.\BBCQ\
\newblock In {\Bem Proceedings of EMNLP '16}, \mbox{\BPGS\ 595--605}.

\bibitem[\protect\BCAY{Kawahara \BBA\ Kurohashi}{Kawahara \BBA\
  Kurohashi}{2006}]{WEBcrawl}
Kawahara, D.\BBACOMMA\ \BBA\ Kurohashi, S. \BBOP 2006\BBCP.
\newblock \BBOQ Case Frame Compilation from the Web using HighPerformance
  Computing.\BBCQ\
\newblock In {\Bem Proceedings of LREC '06}, \mbox{\BPGS\ 1344--1347}.

\bibitem[\protect\BCAY{Kiela \BBA\ Clark}{Kiela \BBA\
  Clark}{2013}]{kiela-clark:2013:EMNLP}
Kiela, D.\BBACOMMA\ \BBA\ Clark, S. \BBOP 2013\BBCP.
\newblock \BBOQ Detecting Compositionality of Multi-Word Expressions using
  Nearest Neighbours in Vector Space Models.\BBCQ\
\newblock In {\Bem Proceedings of EMNLP '13}, \mbox{\BPGS\ 1427--1432}.

\bibitem[\protect\BCAY{Kingma \BBA\ Ba}{Kingma \BBA\ Ba}{2015}]{adam}
Kingma, D.~P.\BBACOMMA\ \BBA\ Ba, J. \BBOP 2015\BBCP.
\newblock \BBOQ Adam: A Method for Stochastic Optimization.\BBCQ\
\newblock In {\Bem Proceedings of ICLR '15}.

\bibitem[\protect\BCAY{Kobayashi, Okazaki, \BBA\ Inui}{Kobayashi
  et~al.}{2017}]{kobayashi-okazaki-inui:2017:I17-1}
Kobayashi, S., Okazaki, N., \BBA\ Inui, K. \BBOP 2017\BBCP.
\newblock \BBOQ A Neural Language Model for Dynamically Representing the
  Meanings of Unknown Words and Entities in a Discourse.\BBCQ\
\newblock In {\Bem Proceedings of IJCNLP '17}, \mbox{\BPGS\ 473--483}.

\bibitem[\protect\BCAY{Kulkarni, Al-Rfou, Perozzi, \BBA\ Skiena}{Kulkarni
  et~al.}{2015}]{kulkarni2015statistically}
Kulkarni, V., Al-Rfou, R., Perozzi, B., \BBA\ Skiena, S. \BBOP 2015\BBCP.
\newblock \BBOQ Statistically Significant Detection of Linguistic Change.\BBCQ\
\newblock In {\Bem Proceedings of WWW '15}, \mbox{\BPGS\ 625--635}.

\bibitem[\protect\BCAY{Lau, Cook, McCarthy, Newman, \BBA\ Baldwin}{Lau
  et~al.}{2012}]{lau-EtAl:2012:EACL2012}
Lau, J.~H., Cook, P., McCarthy, D., Newman, D., \BBA\ Baldwin, T. \BBOP
  2012\BBCP.
\newblock \BBOQ Word Sense Induction for Novel Sense Detection.\BBCQ\
\newblock In {\Bem Proceedings of EACL '12}, \mbox{\BPGS\ 591--601}.

\bibitem[\protect\BCAY{Levy \BBA\ Goldberg}{Levy \BBA\
  Goldberg}{2014}]{NIPS2014_5477}
Levy, O.\BBACOMMA\ \BBA\ Goldberg, Y. \BBOP 2014\BBCP.
\newblock \BBOQ Neural Word Embedding as Implicit Matrix Factorization.\BBCQ\
\newblock In {\Bem Proceedings of NIPS '14}, \mbox{\BPGS\ 2177--2185}.

\bibitem[\protect\BCAY{Levy, Goldberg, \BBA\ Dagan}{Levy
  et~al.}{2015}]{levy2015}
Levy, O., Goldberg, Y., \BBA\ Dagan, I. \BBOP 2015\BBCP.
\newblock \BBOQ Improving Distributional Similarity with Lessons Learned from
  Word Embeddings.\BBCQ\
\newblock {\Bem Transactions of the Association for Computational Linguistics},
  {\Bbf 3}, \mbox{\BPGS\ 211--225}.

\bibitem[\protect\BCAY{Li \BBA\ Sporleder}{Li \BBA\ Sporleder}{2010}]{li2010}
Li, L.\BBACOMMA\ \BBA\ Sporleder, C. \BBOP 2010\BBCP.
\newblock \BBOQ Linguistic Cues for Distinguishing Literal and Non-Literal
  Usages.\BBCQ\
\newblock In {\Bem Proceedings of COLING '10}, \mbox{\BPGS\ 683--691}.

\bibitem[\protect\BCAY{Maekawa, Yamazaki, Maruyama, Yamaguchi, Ogura, Kashino,
  Ogiso, Koiso, \BBA\ Den}{Maekawa et~al.}{2010}]{BCCWJ}
Maekawa, K., Yamazaki, M., Maruyama, T., Yamaguchi, M., Ogura, H., Kashino, W.,
  Ogiso, T., Koiso, H., \BBA\ Den, Y. \BBOP 2010\BBCP.
\newblock \BBOQ Design, Compilation, and Preliminary Analyses of Balanced
  Corpus of Contemporary Written Japanese.\BBCQ\
\newblock In {\Bem Proceedings of LREC '10}, \mbox{\BPGS\ 1483--1486}.

\bibitem[\protect\BCAY{松本\JBA 土屋\JBA 芋野\JBA 吉田\JBA 北}{松本 \Jetal
  }{2017}]{matsumoto2017WII-A}
松本和幸\JBA 土屋誠司\JBA 芋野美紗子\JBA 吉田稔\JBA 北研二 \BBOP 2017\BBCP.
\newblock 感性を考慮した日本語俗語の標準語変換.\
\newblock \Jem{人工知能学会論文誌}, {\Bbf 32}  (1), \mbox{\BPG\
  WII{\Hy}A\_1{\Hy}12}.

\bibitem[\protect\BCAY{Melamud, Goldberger, \BBA\ Dagan}{Melamud
  et~al.}{2016}]{context2vec}
Melamud, O., Goldberger, J., \BBA\ Dagan, I. \BBOP 2016\BBCP.
\newblock \BBOQ context2vec: Learning Generic Context Embedding with
  Bidirectional LSTM.\BBCQ\
\newblock In {\Bem Proceedings of CoNLL '16}, \mbox{\BPGS\ 51--61}.

\bibitem[\protect\BCAY{Mikolov, Sutskever, Chen, Corrado, \BBA\ Dean}{Mikolov
  et~al.}{2013}]{Mikolov2013nips}
Mikolov, T., Sutskever, I., Chen, K., Corrado, G.~S., \BBA\ Dean, J. \BBOP
  2013\BBCP.
\newblock \BBOQ Distributed Representations of Words and Phrases and their
  Compositionality.\BBCQ\
\newblock In {\Bem Proceedings of NIPS '13}, \mbox{\BPGS\ 3111--3119}.

\bibitem[\protect\BCAY{Mitra, Nalisnick, Craswell, \BBA\ Caruana}{Mitra
  et~al.}{2016}]{DBLP:journals/corr/MitraNCC16}
Mitra, B., Nalisnick, E.~T., Craswell, N., \BBA\ Caruana, R. \BBOP 2016\BBCP.
\newblock \BBOQ A Dual Embedding Space Model for Document Ranking.\BBCQ\
\newblock {\Bem arXiv: 1602.01137}.

\bibitem[\protect\BCAY{Mitra, Mitra, Riedl, Biemann, Mukherjee, \BBA\
  Goyal}{Mitra et~al.}{2014}]{mitra-EtAl:2014:P14-1}
Mitra, S., Mitra, R., Riedl, M., Biemann, C., Mukherjee, A., \BBA\ Goyal, P.
  \BBOP 2014\BBCP.
\newblock \BBOQ That's Sick Dude!: Automatic Identification of Word Sense
  Change Across Different Timescales.\BBCQ\
\newblock In {\Bem Proceedings of ACL '14}, \mbox{\BPGS\ 1020--1029}.

\bibitem[\protect\BCAY{Neelakantan, Shankar, Passos, \BBA\
  McCallum}{Neelakantan et~al.}{2014}]{neelakantan-EtAl:2014:EMNLP2014}
Neelakantan, A., Shankar, J., Passos, A., \BBA\ McCallum, A. \BBOP 2014\BBCP.
\newblock \BBOQ Efficient Non-parametric Estimation of Multiple Embeddings per
  Word in Vector Space.\BBCQ\
\newblock In {\Bem Proceedings of EMNLP '14}, \mbox{\BPGS\ 1059--1069}.

\bibitem[\protect\BCAY{Peters, Neumann, Iyyer, Gardner, Clark, Lee, \BBA\
  Zettlemoyer}{Peters et~al.}{2018}]{elmo}
Peters, M.~E., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., \BBA\
  Zettlemoyer, L. \BBOP 2018\BBCP.
\newblock \BBOQ Deep Contextualized Word Representations.\BBCQ\
\newblock In {\Bem Proceedings of NAACL:HLT '18}, \mbox{\BPGS\ 2227--2237}.

\bibitem[\protect\BCAY{Press \BBA\ Wolf}{Press \BBA\ Wolf}{2017}]{eacl17oflr}
Press, O.\BBACOMMA\ \BBA\ Wolf, L. \BBOP 2017\BBCP.
\newblock \BBOQ Using the Output Embedding to Improve Language Models.\BBCQ\
\newblock In {\Bem Proceedings of EACL '17}, \mbox{\BPGS\ 157--163}.

\bibitem[\protect\BCAY{{\v{R}}eh{\r{u}}{\v{r}}ek \BBA\
  Sojka}{{\v{R}}eh{\r{u}}{\v{r}}ek \BBA\ Sojka}{2010}]{rehurek_lrec}
{\v{R}}eh{\r{u}}{\v{r}}ek, R.\BBACOMMA\ \BBA\ Sojka, P. \BBOP 2010\BBCP.
\newblock \BBOQ Software Framework for Topic Modelling with Large
  Corpora.\BBCQ\
\newblock In {\Bem Proceedings of Workshop on NewChallenges for NLP
  Frameworks}, \mbox{\BPGS\ 45--50}.

\bibitem[\protect\BCAY{Salehi, Cook, \BBA\ Baldwin}{Salehi
  et~al.}{2015}]{salehi-cook-baldwin:2015:NAACL-HLT}
Salehi, B., Cook, P., \BBA\ Baldwin, T. \BBOP 2015\BBCP.
\newblock \BBOQ A Word Embedding Approach to Predicting the Compositionality of
  Multiword Expressions.\BBCQ\
\newblock In {\Bem Proceedings of NAACL-HLT '15}, \mbox{\BPGS\ 977--983}.

\bibitem[\protect\BCAY{Sboev}{Sboev}{2016}]{sboev:2016}
Sboev, A. \BBOP 2016\BBCP.
\newblock \BBOQ The Sources of New Words and Expressions in the Chinese
  Internet Language and the Ways by Which They Enter the Internet
  Language.\BBCQ\
\newblock In {\Bem Proceedings of PACLIC '16}, \mbox{\BPGS\ 355--361}.

\bibitem[\protect\BCAY{新納\JBA 佐々木}{新納\JBA 佐々木}{2012}]{sinnou:2012}
新納浩幸\JBA 佐々木稔 \BBOP 2012\BBCP.
\newblock 外れ値検出手法を利用した新語義の検出.\
\newblock \Jem{自然言語処理}, {\Bbf 19}, \mbox{\BPGS\ 303--327}.

\bibitem[\protect\BCAY{Vilnis \BBA\ McCallum}{Vilnis \BBA\
  McCallum}{2015}]{gaussian_emb_1}
Vilnis, L.\BBACOMMA\ \BBA\ McCallum, A. \BBOP 2015\BBCP.
\newblock \BBOQ Word Representations via Gaussian Embedding.\BBCQ\
\newblock In {\Bem Proceedings of ICLR '15}.

\bibitem[\protect\BCAY{山田\JBA 安彦\JBA 長谷川\JBA Michal\JBA 中村\JBA
  佐久田}{山田 \Jetal }{2016}]{yamada}
山田大\JBA 安彦智史\JBA 長谷川大\JBA MichalPtaszynski\JBA 中村健二\JBA
  佐久田博司 \BBOP 2016\BBCP.
\newblock ID交換掲示板における書き込み有害性評価に向けた隠語概念化手法の提案.\
\newblock \Jem{言語処理学会第 22 回年次大会発表論文集}, \mbox{\BPGS\ 49--50}.

\bibitem[\protect\BCAY{Yamada, Shindo, Takeda, \BBA\ Takefuji}{Yamada
  et~al.}{2017}]{TACL1065}
Yamada, I., Shindo, H., Takeda, H., \BBA\ Takefuji, Y. \BBOP 2017\BBCP.
\newblock \BBOQ Learning Distributed Representations of Texts and Entities from
  Knowledge Base.\BBCQ\
\newblock {\Bem Transactions of the Association for Computational Linguistics},
  {\Bbf 5}, \mbox{\BPGS\ 397--411}.

\bibitem[\protect\BCAY{Yang \BBA\ Eisenstein}{Yang \BBA\
  Eisenstein}{2016}]{yang2016sentiment}
Yang, Y.\BBACOMMA\ \BBA\ Eisenstein, J. \BBOP 2016\BBCP.
\newblock \BBOQ Overcoming Language Variation in Sentiment Analysis with Social
  Attention.\BBCQ\
\newblock {\Bem arXiv:1511.06052}.

\end{thebibliography}


\clearpage
\begin{biography}
\bioauthor{青木　竜哉}{
2016年筑波大学情報学群情報メディア創成学類卒業．2018年東京工業大学工学院博士前期課程修了．同年より，同大学院博士後期課程に在籍．
}
\bioauthor{笹野　遼平}{
2009年東京大学大学院情報理工学系研究科博士課程修了．京都大学特定研究員，東京工業大学助教を経て，2017年より名古屋大学准教授．博士（情報理工学）．自然言語処理，特に述語項構造解析に関する研究に従事．言語処理学会，情報処理学会，人工知能学会各会員．
}

\bioauthor{高村　大也}{
1997 年東京大学工学部計数工学科卒業．2000 年同大大学院工学系研
究科計数工学専攻修了（1999 年はオーストリアウィーン工科大学にて研究）．
2003 年奈良先端科学技術大学院大学情報科学研究科博士課程修了. 博士（工
学）．2003 年から2010 年まで東京工業大学精密工学研究所助教．2006 年には
イリノイ大学にて客員研究員．2010 年から2016 年まで同准教授．2017 年よ
り同教授および産業技術総合研究所人工知能センター知識情報研究チーム研
究チーム長．計算言語学, 自然言語処理を専門とし, 特に機械学習の応用に興
味を持つ．
}

\bioauthor{奥村　　学}{
1962年生．1984年東京工業大学工学部情報工学科卒業．1989年同大学院博士課
程修了．同年，東京工業大学工学部情報工学科助手．1992年北陸先端科学技術
大学院大学情報科学研究科助教授，2000年東京工業大学精密工学研究所助教授，
2009年同教授，現在は，科学技術創成研究院教授．
2017年より，理化学研究所革新知能統合研究センター (AIP) 客員研究員を兼
務．工学博士．自然言語処理，テキスト要約，語学学習支援，テキスト評価分
析，テキストマイニングに関する研究に従事．情報処理学会，電子情報通信学会，
人工知能学会, AAAI，ACL, 認知科学会，計量国語学会各会員．
}

\end{biography}


\biodate




\end{document}
