\documentclass[japanese]{jnlp_3.8}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{array}
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition

%%%%%\usepackage{latexsym}

%%%%%\usepackage{lscape}
%%%%%\usepackage{times} % use Times Font instead of Computer Modern
% \usepackage[dvipdfmx]{graphicx}
%%%%%\usepackage[dvipdfmx]{xcolor}
% \usepackage{amssymb}
% \usepackage{amsmath}
%%%%%\usepackage{float}
% \usepackage{slashbox}
%%%%%\usepackage{multirow}
%%%%%\usepackage{algorithmic}
%\usepackage{algorithm}
%\usepackage{utf}
\usepackage{otf}
\usepackage{bm}
%\usepackage{cite}
\usepackage {arydshln}
%%%%%\usepackage{comment}

\usepackage{lingmacros}
\usepackage {booktabs}

%%%%%\renewcommand\UrlFont{\rmfamily}

\usepackage{hangcaption_jnlp}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{31}
\Number{4}
\Month{December}
\Year{2024}
%%%%\Issuetitle{「　　　　」特集号}

\received{2024}{4}{30}
\revised{2024}{8}{1}
%%%\rerevised{2006}{5}{6}
\accepted{2024}{9}{10}



\setcounter{page}{1665}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{文書ジオロケーション課題における地理的特定性指標の有効
性評価}
\jauthor{\UTF{9682}山　宗一\affiref{Author_1}\affiref{Author_2} \and 乾　　孝司
\affiref{Author_1}}


\jabstract{本論文では，文書内に出現する地名やランドマーク等の地理的位置属性をもつ言及に対し，その地理的位置の特定のしやすさを表す指標として地理的特定性指標を提案し，文書ジオロケーション課題への有効性を検証する．まず，地理的特定性を構成する要素として，地理的曖昧性および名称専有性の2つの概念を定義した後，既存のエンティティリンキング手法から着想を得た，Wikipedia データに基づく指標値の算出方法について述べる．その後，既存の文書ジオロケーション手法に地理的特定性の指標値情報を取り込んだ文書ジオロケーション実験を実施した．実験の結果，地理的特定性の構成要素である地理的曖昧性および名称専有性のそれぞれが文書ジオロケーション課題において有効であること，また，これら両方を組み合わせて利用することも有効であることを確認した．}
\jkeywords{文書ジオロケーション，地理的特定性，地名，ランドマーク，Wikipedia}

\etitle{Effectiveness of the Geographical Specificity Index in Document Geolocation}
\eauthor{Soichi Kageyama\affiref{Author_1}\affiref{Author_2} \and Takashi Inui\affiref{Author_1}}
\eabstract{This study proposes a method to measure geographic specificity for mentions containing geographic location attributes, such as place names and landmarks that appear in documents, and evaluates its effectiveness. We first introduce the two key components of geographic specificity: geographic ambiguity and name exclusivity. We then propose an approach for calculating index values derived from Wikipedia data, utilizing techniques inspired by existing entity-linking methods. Subsequently, we conducted document geolocation experiments, integrating geographic specificity information into current document geolocation methods. Our findings indicate that both components of geographic specificity significantly enhance the accuracy of document geolocation.}
\ekeywords{Document Geolocation, Geographic Specificity, Place Name, Landmark, \\ Wikipedia}

\headauthor{\UTF{9682}山，乾}
% \headauthor{陰山，乾}
\headtitle{文書ジオロケーション課題における地理的特定性指標の有効性評価}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\affilabel{Author_1}{筑波大学大学院システム情報工学研究群情報理工学位プログラム}{Master's Program in Computer Science, Degree Programs in Systems and Information Engineering, Graduate School of Science and Technology, University of Tsukuba }
\affilabel{Author_2}{現所属：LINEヤフー株式会社}{Present affiliation: LY Corporation}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle

\renewcommand{\thefootnote}{}
\footnote[0]{本論文は，2編の既報論文（\UTF{9682}山，乾2022）\nocite{kageyama-2022}および（\UTF{9682}山2023）\nocite{kageyama-2023}を拡張，再構成したものである．}
\renewcommand{\thefootnote}{\arabic{footnote}}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S1
\section{序論}
\label{chap:inin}
X（旧Twitter\footnote{研究期間中にサービス名称が変更された．以降，本論文ではTwitterの名称で統一表記する．}）やFacebookなどのSNSサービスの普及により，日々，多くの人々によって様々な情報がSNS上に投稿，発信されている．
その大量の投稿からは，しばしば利用者にとって有益な情報が取得でき，例え
ば，利用者は検索機能などを通して大量にある投稿の中から特定地域の天候情
報や災害状況など所望の情報を得ることができる
\cite{kruspe-etal-2021-changes}．
以前から，このようなユーザにとって有益な地域情報をあらかじめ地域ごとに
自動的にまとめ上げておき，ユーザ要求に応じて提示するサービスが望まれて
きたが，その実現のためには，情報源となる各投稿が投稿された場所を特定する
必要がある．
SNSサービスの中には投稿場所の情報をメタ情報として保持している場合も
あるが，例えば，Twitterにおける位置情報付き投稿は全投稿の1\%に満たない
ことが報告されている\cite{sloan2013knowing}．また，
SNS 投稿への位置メタ情報の付与は縮小傾向にあるとの報告もあり\cite{kruspe-etal-2021-changes}，
メタ情報から得られる投稿場所情報には限りがあると言える．

そこで近年，SNS投稿文書からそれが投稿された場所（地理的位置）を推定す
る文書ジオロケーション課題に関する研究が進められている\cite{okajimajapanese,lau2017end,hasni2021word}．
文書ジオロケーション課題では，文書内に現れる地名やランドマークへの言及
（例えば，「東京」や「東京タワー」）が，投稿がなされた地理的位置を推定
する有力な手がかりになることが多い．しかしながら，それらの中には地理的
な曖昧性を含んでいる場合もある．例えば，
図\ref{fig:document_geolocation}の例では，投稿文書内の「中華街」や
「ランタンフェスティバル」という言及が，この投稿文書が
投稿された地理的位置の絞り込みには寄与しそうであるが，この情報だけでは特定の一箇所に絞り込むま
でには至らない．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F1
\begin{figure}[b]
\begin{center}
\includegraphics{31-4ia9f1.pdf}
\end{center}
\hangcaption{47都道府県レベルでの文書ジオロケーション課題の様子（下線部は手がかりとなりそうであるが，この情報だけでは特定の一箇所に絞り込むには至らない）．}
    \label{fig:document_geolocation}
  \end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
  



以上の背景を受けて，本研究では，
文書内に出現する地理的位置属性をもつ事物への言及，
すなわち，
実世界上の地理的位置をあらわす地名や，
一定の期間，実世界上のある地理的位置に留まって存在してい
る施設や組織などへの言及に対し，
その地理的位置の特定のしやすさを表す指
標として，地理的特定性指標を提案する．
先程の例で言えば，文書内における「東京」や「東京タワー」という言及は地
理的特定性が高く，「中華街」や「ランタンフェスティバル」はそれらに比べ
ると地理的特定性が低くなると考えられるが，本研究では，このような値をデー
タから客観的に推定する．
そして，既存の文書ジオロケーション手法に地理的特定性指標の推定値の情報を取り込んだ文書ジオロケーション
実験を実施し，文書ジオロケーション課題における地理的特定性指標
の有効性を検証する．


なお，本論文では以降で「エンティティ」および「言及」という用語
を用いるが，本研究では研究遂行の便宜性から，エンティティリンキ
ング課題の一つの設定である Wikification 課題\cite{mihalcea2007wikify}を参考にし，Wikipedia の各エントリページを「エン
ティティ」と捉え，文書内でそれらエンティティを参照するために使
用されている個々の言語表現をエンティティに対応する「言及」と呼
ぶ．また，詳細は後述に譲るが，本研究では地理的特定性の値を算出するために
Wikipediaページ内にある一部のアンカ文字列に注目する．これらも
便宜的に「言及」と呼ぶ．両者の「言及」を図示す
ると，図\ref{fig:mentions}のようになる．
前者（図\ref{fig:mentions}左）の文書内の「言及」はエンティティリンキング課題と同様に文書内の各トークンを指す用語として使われる．一方，後者（図\ref{fig:mentions}右）のアンカ文字列である「言及」は，それぞれのアンカ文字列の文字列の違いを区別する意図で使われており，トークンではなくアンカ文字列のタイプを指している．




%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F2
\begin{figure}[b]
\begin{center}
\includegraphics{31-4ia9f2.pdf}
\end{center}
  \hangcaption{本論文での用語「エンティティ」と「言及」の整理．図左は文書内の言及，図右はWikipedia内アンカ文字列としての言及を示している．}
  \label{fig:mentions}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2
\section{関連研究}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2.1
\subsection{文書ジオロケーション}
\label{chap:ref_geolocation}
文書ジオロケーションとは，SNS投稿などの文書を入力とし，その入
力文書が投稿された地理的位置を推定する課題である．この課題
は，SNSサービスの普及に合わせて2010年代から取り組まれており，
欧米諸語で
は，WNUT2016 \cite{han2016sharedtask}, VarDial2020 \cite{gaman-etal-2020-report}, VarDial2021 \cite{chakravarthi-etal-2021-findings-vardial}
によって共有タスクに設定されるなど盛んに議論がなされている．
また，類似課題として，あるSNSユーザの複数投稿文書からユーザの
所在地を推定するユーザジオロケーション
\cite{tien2018a,miyazaki2018geolocation,huang2019a,tian2020a}
に関する研究も活発である．

初期の文書ジオロケーション手法では，入力文書中の単語に主に注目して，分類に有効な単語の選択処理
\cite{han2012geolocation}やフィルタリング処理
\cite{morikuni2015a}が提案されている．
Twitterデータを対象にする場合は，
ハッシュタグを特徴量に利用する研究
\cite{chi-etal-2016-geolocation}などもある．
深層学習の普及後は，単語埋め込み表現を利用した手法\cite{miura2016simplegeo}，
CNNに基づく手法\cite{fornaciari2019geolocation}，
LSTMに基づく手法\cite{mahajan2021a}，BERTに基づく手法
\cite{scherrer2021a}など，さまざまモデルやネットワークアーキテクチャが本課題に採用されている．
さらに，入力文書の情報に加えて分類に有益な追加情報を深層学習ベースのモデルに取り込む研究もある．
Lau らが提案した deepgeoモデル\cite{lau2017end}は，入力となるSNS投稿文書に加え，投稿文書の投稿時間や投稿者プロフィールの居住地情報を利用するLSTM-CNN ベースのニューラルモデルである．

以上のように，文書ジオロケーション課題に有効なモデルや特徴量を探る
さまざまな検討があるが，これまでのところ，本研究で提案する地理的特定性という概念を文書ジオロケーション課題に導入した研究はなされていない．

本研究では，後述する文書ジオロケーション実験でのベー
スラインモデルとしてdeepgeoを採用する．deepgeoの詳細については
\ref{chap:deepgeo}節で後述する．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2.2
\subsection{Toponym resolution}
Toponym resolutionとは，文書内に含まれる地理的位置属性をもつエンティティ
への言及に着目し，その言及が文書内で実際に参照しているエンティティを推
定する課題である．
先の文書ジオロケーションは文書単位で地理的位置を推定
する課題であったが，Toponym resolutionは文書内の言及単位で地理的位置
を推定する課題である．
例えば，マンチェスターという名前の都市はイギリスにもあるがアメリカ合衆
国にも存在する．この時，文書内に現れた「マンチェスター」がどの都市を参
照しているかを推定する．
Toponym resolutionは，Leidnerら\cite{leidner2007toponym}によって評価用
英語データセットが整備されたことにより，活発な研究が進められるようになっ
た．
その後，
松田ら\cite{ma2017}
によって日本語データを対象にした本課題に関連したコーパスが作成されて
いる．

地理的特定性の指標値を推定することは，Toponym resolutionを解くことに似
ているが，異なる部分も存在する．具体的には，Toponym resolutionでは言及
が参照しているエンティティを1つに絞り込むことを目的としているが，本研
究における地理的特定性の指標値は，言及が参照しているエンティティが所在
する地理的位置に関して，その特定のしやすさを推定していると言える．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2.3
\subsection{エンティティリンキング}
\label{chap:ref_el}
エンティティリンキング
とは，文書内に含まれる言及に既存知識ベースのエントリを対応
付ける課題である\cite{bunescu2006using}．
エンティティリンキング
では対応付け先を何らかの既存知識ベースに固定するものの，
地理的位置属性の有無に関わらず文書内に含まれる言及を処理の対象としてお
り，Toponym resolution をより一般化した課題であると言える．
特に，知識ベースとして
Wikipedia\footnote{\url{https://en.wikipedia.org/}}を採用し，文書内の
言及をそれが参照しているWikipediaのエントリページに対応付ける課題を
Wikificationという\cite{mihalcea2007wikify}．

Wikificationでは，ある言及が与えられた時，候補生成とエンティティ同定と
いう2ステップで処理が実行される．候補生成ではWikipediaページに含まれ
るアンカ文字列とそのリンク先ページを用いた手法によって言及の対応先とな
るページの候補が決定される．
そして，次のエンティティ同定において，候補の中から言及の対応先を1つに
特定する．
エンティティ同定の代表的な手法の一つにHoffartら
\cite{hoffart2011robust}の手法がある．この手法では，Wikipedia内のアン
カ文字列からエントリページへのリンク回数に基づいて，ある言及がエントリ
ページを参照する確率（ポピュラリティと呼ばれる）を求め，対応先の特定に
用いている．

本研究では，地理的特定性の指標値を推定する際に，Wikification の各ステッ
プの考え方を参考にする．詳細は\ref{chap:ent_geoinfo}節で述べる．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S3%
\section{地理的特定性の定義}
\label{chap:geo_spec}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S3.1
\subsection{地理的特定性の構成要素}
地理的位置属性をもつエンティティへの文書内での言及に注目し，それぞれの言
及に対する地理的位置の特定のしやすさを表す指標として地理的特定性を提案す
る．言及の地理的特定性を求める際に，エンティティに対する地理的特定
性の情報を用いるために，エンティティに対する地理的特定性指標も
あわせて検討する．
まず，本節において，地理的特定性の構成要素について述べ，続く
\ref{chap:ent_geoinfo}節および\ref{chap:mnt_geoinfo}節において，地理的
特定性の指標値の具体的な算出方法について述べる．

地理的特定性は，エンティティと言及との対応関係，および，それら関係に関す
る人々の一般的な認知の度合いという少なくとも2種類の要素から影響を受ける
と考えられる．そこで本研究では，地理的特定性は地理的曖昧性 (geographic ambiguity) および名称専有性 (name exclusivity) という2種類の指標の対
で表されるものとする．ここで，地理的曖昧性はエンティティと言及との対応関
係に基づく指標であり，名称専有性はエンティティと言及との対応関係に関する
人々の一般的な認知の度合いに基づく指標である．以下でそれぞれについて説明
する．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S3.2
\subsection{地理的曖昧性} \label{chap:amb_desc}
例えば，日本には「中央区」という地名がいくつか存在する．これらはエンティ
ティとしては，東京都に所在する中央区や大阪府大阪市に所在する中央区といっ
たように，それぞれ別の地理的位置をもつ地域であるが，名称が同一である．
このように複数の地域が同名となっている場合は，その名称単体では地理的位
置を特定する程度が弱い，すなわち，このようなエンティティおよびそれらへ
の言及はそうでない場合に比べて地理的特定性が低いと考えられる．
そこで本研究では，エンティティまたは言及が異なる地理的位置属性の地
域を同名でもっている程度を地理的曖昧性と定義する．
地理的曖昧性が高いほど，地理的特定性は低くなると考える．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S3.3
\subsection{名称専有性} \label{chap:exc_desc}
先程の「中央区」と同じように，日本には「横浜」と呼ばれる地域は複数箇所
存在する．このように名称に曖昧性がある場合，本研究では先述の通り，そう
でない場合に比べて地理的曖昧性は高くなると考える．
しかし，一般的な文脈において
\footnote{
完全な住所表記を伴う場合は，当然ながら，曖昧性は生じないが，
文書内での一般的な文脈において，完全な住所表記で地名を表すことは稀である．
}
「横浜」と言えば，高知県や福岡県に所在する地域である横浜よりも人々の認知
度のより高い地域であると考えられる神奈川県横浜市の事であると連想されやす
いだろう．
このように，複数の地域が同名で呼ばれており地理的曖昧性が高くなるような場
合でも，人々の一般的な認知の度合いによって，地理的位置の特定のされやすさ
は変化する．
そこで本研究では，エンティティまたは言及が特定のものとして認知される
程度を名称専有性と定義する．
先程の地理的曖昧性とは異なり，名称専有性が高いほど，地理的特定性は高く
なると考える．




%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S4
\section{エンティティに対する地理的特定性の推定}
\label{chap:ent_geoinfo}
本節では，言及に対する地理的特定性の指標値を推定する準備として，エンティ
ティに対する地理的特定性指標値を推定する具体的な方法について述べる．

\ref{chap:ref_el}節で見たように，エンティティリンキングでは，エンティティ同定
を行うために，
Wikipedia 内の個々のエントリページをエンティティ，それらエンティティへ
のリンクを形成するアンカ文字列を言及と捉え，
ある言及からエンティティへリンクする確率（ポピュラリティ）を推定する手
法がある\cite{hoffart2011robust}．
本研究では，この手法を参考にして，エンティティに対する地理的特定性指標
値を推定する．


日本語Wikipedia において，地理的特定性を求めたいページ（すなわちエンティ
  ティ）を$p_t$としたとき，まず，$p_t$へのリンクを形成するアンカ文字列
（すなわち，言及）をすべて抽出する．抽出された言及集合を$M_{p_t}$とし，そ
の要素を$m_i(i=1,2,...,|M_{p_t}|)$とする．
次に，$M_{p_t}$の要素である各言及に対して，それがアンカ文字列となってリンクしているすべてのエンティティを抽出する．
抽出されたエンティティ集合を$P_{p_t}$とし，その要素
を$p_j(j=1,2,...|P_{p_t}|)$とする．

このとき，$p_t$の地理的曖昧性$\mathrm{amb}({p_t})$は式 (\ref{eq:amb}) で表されると
する．すなわち，同じ言及で表される可能性のあるエンティティの数によって
エンティティの地理的曖昧性を求める．
\begin{eqnarray} \label{eq:amb}
  \mathrm{amb}({p_t}) &=& |P_{p_t}|
\end{eqnarray}
ここで，$\mathrm{amb}({p_t}) \geq 1$である．

次に，日本語Wikipediaにおいて，ある言及$m_i$が，あるエンティティ$p_j$へ
リンクを形成している回数を$l^{m_i}_{p_j}$としたとき，このリンク回数があ
る対象が認知される程度を近似的に表していると考え，
$p_t$の名称専有性$\mathrm{exc}({p_t})$は式 (\ref{eq:exc}) で表されるとする．
すなわち，対象とするエンティティへのリンクを形成している言及を含む全エン
ティティにおいて，そこから各言及を通して別のエンティティへリンクする際の
当該エンティティへとリンクする相対頻度によってエンティティの名称専有性を
求める．
\begin{eqnarray} \label{eq:exc}
  \mathrm{exc}({p_t}) &=& \frac{\displaystyle \sum_{m \in M_{p_t}} l^m_{p_t}}{\displaystyle \sum_{m \in M_{p_t}} \sum_{p \in P_{p_t}} l^m_p}
\end{eqnarray}
ここで，$0<\mathrm{exc}({p_t}) \leq 1$である．

エンティティ「福岡ソフトバンクホークス
\footnote{\url{https://ja.wikipedia.org/wiki/福岡ソフトバンクホー
  クス}}
」を例にして，エンティティの地理的特定性指標値の具体的な計算例を示す
（図\ref{fig:entity_geoinfo}も参照）．
この例では，$p_t = $ 「福岡ソフトバンクホークス」である．まず，
$p_t$ の地理的曖昧性であるが，「福岡ソフトバンクホークス」へのリンクを
形成する言及集合$M_{p_t}$は図\ref{fig:entity_geoinfo}の左側のようになる．
そして次に，$M_{p_t}$の要素である各言及からリンクしているすべてのエンティ
ティを抽出することで，図右の抽出されたエンティティ集合$P_{p_t}$を得る．こ
の集合の要素数は96件であるので，$\mathrm{amb}({p_t}) = 96$となる．
次に，$p_t$ の名称専有性であるが，これには図中央に示す$M_{p_t}$の各要素か
ら$P_{p_t}$の各要素へ形成されるリンクの回数を用いる．
図の例では，例えば言及「ソフトバンク」からエンティティ「福岡ソフトバンク
  ホークス」へのリンクが331回であることが示されている．
式 (\ref{eq:exc}) の分子は「福岡ソフトバンクホークス」へのリンク回数の和で
あるので$1+331+55+...+l^{m_i}_{p_t}+...$となる．また，分母は全体的な和で
あるので$527+605+1+331+55+...+l^{m_i}_{p_j}+...+1668$と計算され，（省略
部分の和も計算すると）最終的に$\mathrm{exc}({p_t}) = 0.568$となる．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F3
\begin{figure*}[t]
\begin{center}
\includegraphics{31-4ia9f3.pdf}
\end{center}
\hangcaption{エンティティ「福岡ソフトバンクホークス」の地理的特定性を計算
  する過程
  %
．「福岡ソフトバンクホークス」の地理的特定性の計算に関連するメ
ンションの集合を図左の赤色の四角，また，それらと同じ文字列のメンション
でリンクされるエンティティページの集合を図右の青色の四角で示してい
る．点線は左のメンションから右のエンティティページへリンクがあ
ることを示す．点線上の数値は当該リンクがWikipedia内に現れる回数である．視認性を意識し，始点が同じメンションの点線と数値は同色で描かれている．
 %
  }
\label{fig:entity_geoinfo}
\end{figure*}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%




%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S5
\section{言及に対する地理的特定性の推定}
\label{chap:mnt_geoinfo}
続いて，言及に対する地理的特定性の指標値を求める具体的な方法について述べ
る．
ある言及が文書中に現れた時，そのことによって地理的位置が特定されるその度
合いは，その言及によって表される可能性があるエンティティ候補の地理的特定
性に依存すると考えられる．
そこで，本節では，前節で述べたエンティティに対する地理的特定性の指標値に
基づいて，言及に対する地理的特定性指標値を求める．

また，エンティティと違い，言及は文書中の文字列として現れることで文書分類
などの応用課題における特徴量などに直接的に利用される．そのため，言及に対
する地理的特定性指標の表現方法は，後段の応用課題を考慮して検討することが
望ましい．本研究では応用課題として，入力文書をその作成位置（投稿位置）に
基づいて47都道府県に分類する文書ジオロケーション課題を想定したうえで言及
に対する地理的特定性指標の検討を進める．

地理的特定性を求めたい言及を$m_t$としたとき，日本語Wikipediaにおいて，
$m_t$がアンカ文字列となってリンクしているすべてのエンティティを抽出し，
その集合を$P_{m_t}$とする．
この時，Okajimaら\cite{okajimajapanese}の手法に基づき，$P_{m_t}$の各要素とな
るエンティティ$p_j$に対して，そのページの本文内容に初めて登場する都道府
県名の情報をそのページの都道府県要素として記憶する
\footnote{
実際，ページの都道府県要素を誤りなく決定することは難しく，将来的には本文情報の他に
Wikidata や Wikipedia infobox の構造化情報を利用することも考えられる．
また，エンティティによっては
複数箇所に所在する場合もあり，都道府県要素が1つに定められない場合もある．
}
．
次に，この都道府県要素の値に基づいて，$P_{m_t}$を47個の部分集合に分割する．
ある都道府県$k$に対応する$P_{m_t}$の部分集合を$P_{m_t}^k$としたとき，$P_{m_t}^k$の要
素に従って，都道府県$k$に関する，エンティティの地理的曖昧性の最大値
$\mathrm{max\_amb}(m_t,k)$を求める．
\begin{eqnarray}
\label{eq:ms}
\mathrm{max\_amb}(m_t,k) &=&
\begin{cases}
\max_{p \in P_{m_t}^k} \mathrm{amb}({p}) & P_{m_t}^k \ne \phi \\
0                           & otherwise
\end{cases}
\end{eqnarray}
また同様に，都道府県$k$に関する，エンティティの名称専有性の最大値$\mathrm{max\_exc}(m_t,k)$
を求める．
\begin{eqnarray}
\label{eq:ms2}
\mathrm{max\_exc}(m_t,k) &=&
\begin{cases}
\max_{p \in P_{m_t}^k} \mathrm{exc}({p}) & P_{m_t}^k \ne \phi \\
0                           & otherwise
\end{cases}
\end{eqnarray}

最後に，以上で求めた47都道府県に対応する$\mathrm{max\_amb}(m_t,k)$を要素とする47次元
ベクトルを構成し，これを言及$m_t$に対する地理的曖昧性の値とする．また同
様に，$\mathrm{max\_exc}(m_t,k)$を要素とする47次元ベクトルを言及$m_t$に対する名称専有
性の値とする．
式(\ref{eq:ms})，式(\ref{eq:ms2})において，
予備実験では最小値の採用も検討した
が，最大値に比べて地理的曖昧性では1付近，名称専有性では0付近
に値が過度に集中し，言及間の特徴が捉えづらくなる傾向が観察され
たことから今回は最大値を採用することにした．
先述の通り，本研究では応用課題として，47都道府県に分類する文書ジオロケー
ション課題を想定している．この場合は，都道府県ごとの情報が有用であると考
えられるため，指標値はスカラー値ではなく，都道府県に対応した47次元ベクト
ルで表現することにした．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S6
\section{評価実験}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S6.1
\subsection{実験目的}
\label{sec:exp_goal}
既存の文書ジオロケーション手法に地理的特定性指標の推定値の情報
を特徴量として追加することを通して，文書ジオロケーション課題における地理的特定性指標
の有効性を検証する．具体的な検証項目は以下である．
\begin{enumerate}
\item 地理的特定性の構成要素である地理的曖昧性と名称専有性のそれぞれが文書ジオロケーション課題において有効であるか
\item 
これら両方の構成要素を組み合わせて利用することが文書ジオロケーション課題において有効であるか
\end{enumerate}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S6.2
\subsection{文書データ}
\label{chap:data}

実験には，平川ら\cite{hi2020}が作成した観光ドメイン日本語Twitter投稿文書データを用いた．
このデータセットは，2014年と2015年に日本国内から投稿された日本語Tweet
から構成されている．全ての投稿には，ジオタグ（投稿した場所の緯度経度情
  報）が付与されている．本実験では，ジオタグから投稿が行われた都道府県
を特定し，それを正解ラベルとした．すなわち，本実験の出力クラス
数は都道府県47クラスである．
また，各投稿にはメタ情報として，文書ジオロケーションモデルへ入力として用いる
投稿文書の投稿時間情報，および投稿者プロフィールの居住地情報が付いている．
投稿時間情報は全ての投稿に付いているが，居住地情報はユーザの任意登録情報であるため，欠損がある．
本データセットは訓練データ200,000件，
開発データ4,000件，評価データ7,000件から成る．
評価データにおける最頻クラス上位5件の事例数とその割合を確認すると，
1位から順に，東京都：1,236件 (17.66\%)，
北海道：661 (9.44\%)，
大阪府：493 (7.04\%)，
愛知県：331 (4.73\%)，
京都府：321 (4.59\%)
であり，
47都道府県での平均事例数は148.9，標準偏差は206であった．全ての評価事例を最頻クラスである「東京都」に分類するベースライン精度を考えると，後述するAccuracyは17.66\%となる．
また平川らは，課題の難しさを測る基準のひとつとして，人手で47クラスを分類した場合の精度を求めている．
評価データからランダムにサンプリングされた 300件に対して人手に
よる分類を行った結果，そのAccuracyは 76.7\%であった．この値は
本評価実験における参考上限値と見なせる．
データセット内の事例の中には，非常に短く手がかり情報がまったく
含まれていない事例も無視できない程に存在しており，やや低めの参考上限値となっている．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S6.3
\subsection{指標値の推定対象}
指標値の推定に用いるWikipediaデータには，2021年5月20日付の日本語Wikipediaダンプデータ\footnote{\url{https://dumps.wikimedia.org/jawiki/}から取得}を用いた．このダンプデータの中から地理的位置属性をもつエンティティのページを処理対象ページとした．あるエンティティが地理的位置属性をもつか否かの判断は森羅プロジェクト\cite{shinra}\footnote{\url{http://2022.shinra-project.info/}}が提供する情報に基づいた．すなわち，森羅プロジェクトによって各エンティティに付与された拡張固有表現ラベル\footnote{\url{http://ene-project.info/}}のうち場所を表す固有表現である組織名，地名，施設名，イベント名のラベルが割り当てられたページを地理的位置属性をもつエンティティのページとした\footnote{「曖昧さ回避」ページは，通常のエントリではないため，事前に除外している．}．
そして，これら処理対象ページに対して，
WikiExtractor\footnote{\url{https://github.com/attardi/wikiextractor}}を
用いて本文を抽出し，その後，本文からBeautiful
Soup\footnote{\url{https://w ww.crummy.com/software/BeautifulSoup/}}を用
いてアンカ情報を取得した．
ただし，すべてのアンカ文字列を言及として採用するとノイズとなる事例が観
測されたことから，今回は，ある言及$m$からあるエンティティ$p$へのリンク情
報を取得する際，以下のいずれかの条件に該当するものは削除した．
\begin{enumerate}
\item 言及$m$と，そこからリンクされる
エンティティ$p$の（見出しの）名称の間に完全一致関係あるいは包含関係がない．
\item 言及$m$からエンティティ$p$へのリンク回数が5回未満であり，かつ，$p$へリ
      ンクする言及集合の中で$m$のリンク回数が最大でない．
\end{enumerate}
例えば，条件 (1) によって言及「北海道」からエン
ティティ「東京都」へのリンク情報が削除される．このような事例は
Wikipedeia 編集者の編集誤りであると考えられる．
  %
また，条件 (2) で削除される例として参照表現がある．例えば，言及「前回大会」からエンティティ「第 94回全国高等学校野
 球選手権大会」へリンクがある場合である．参照表現は通常の表現よ
 りもさまざまエンティティとリンク可能でノイズとなりやすいため削
 除した．ただし，このような表現が必ずしもノイズとな るわけでは
 ないため，今回は経験的に回数条件を設けた．
以上の手続きによって得られた推定対象に対し，
\ref{chap:ent_geoinfo}節および\ref{chap:mnt_geoinfo}節で述べた方法によって
地理的特定性の値を求めた．
この内，先述の観光ドメイン日本語Twitter投稿文書データに出現する
12,758件の言及
\footnote{参考として，これらの推定には，43,189件のエンティティに対する指標値の推定値が用いられていた．}
への推定値を実験に用いた．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T1
\begin{table}[b]
\input{09table01.tex}
    \caption{エンティティの地理的特定性の例
    （amb は地理的曖昧性， exc は名称専有性を示す）
    }
    \label{table:geoinfo_example}
    \end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%




ここで，推定値の具体例を確認しておく．まず，表\ref{table:geoinfo_example}は，エンティティに対する地理的特定性の例である．
ここでは，地理的曖昧性の値の高低と名称専有性の値の高低の組み合わせの例を示して
いる．
例えば，八坂神社は全国に数多くあるが，その総本社である京都府京都市に所在する八坂神社はとりわけ認知度が高いと思われる．
エンティティ「八坂神社（京都市）」は地理的曖昧性が高く，かつ名称専有性が高くなっており，想定に即した指標値となっている．
また，エンティティ「竹下通り（福岡市）」は地理的曖昧性が低く，かつ名称
専有性が低い例である．日本語Wikipediaへの登録データとして「竹下通り」
という名称をもつ場所は東京都渋谷区と福岡県福岡市の2ヶ所にのみ存在し，
地理的曖昧性は低い値となっている．また「竹下通り」という名称からは一般
的には渋谷区の竹下通りが連想され，福岡市の竹下通りは名称専有性が低い結
果となっている．
エンティティ「中央区（大阪市）」およびエンティティ「いろは坂（日光市）」
に関しても，\ref{chap:exc_desc}節の定義の際の予想に従った値の高低となっ
ていることが確認できる．


次に，言及に対する地理的特定性の例を
表\ref{tab:geovec_itsukushima}および表
\ref{tab:geovec_chuoku}に示す．
表\ref{tab:geovec_itsukushima}は言及「厳島神社」の例である．
厳島神社という名称の神社は複数の都道府県に存在するが，
一般には広島県に存在するエンティティへの言及であると連想されやすいと思われる．
表の値は確かに広島県で大きな値となっていることが確認できる．
また，表\ref{tab:geovec_chuoku}は言及「中央区」の例である．
中央区も複数の都道府県に存在するが，「中央区」で特に有名な都道府県は存在しないと思われる．表の値もそれを反映しており，「厳島神社」ほどの偏りは見受けらない．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T2
\begin{table}[t]
\input{09table02.tex}
\caption{言及「厳島神社」の地理的特定性}
\label{tab:geovec_itsukushima}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T3
\begin{table}[t]
\input{09table03.tex}
  \caption{言及「中央区」の地理的特定性}
\label{tab:geovec_chuoku}
{\vskip -5pt}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S6.4
\subsection{文書ジオロケーション手法}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S6.4.1
\subsubsection{deepgeo} \label{chap:deepgeo}

実験に用いるベースラインモデルとし
て，\ref{chap:ref_geolocation}節で述べた
deepgeo \cite{lau2017end}について説明する．
deepgeoは，投稿文書や投稿時間，投稿者プロフィールの居住地情報から地理的位置推定を行う
LSTM-CNNベースのニューラルモデルである．
deepgeoではTextNetworkというサブネットワークで投稿文書を処理している．
TextNetworkは，投稿文書の文字埋め込みベクトルの系列を入力として受け，
最終的に投稿文書に対するベクトル表現を得る．
入力の$t$番目の文字埋め込みベクトルを$\bm{x_t} (0\leq t \leq T-1)$としたとき，
TextNetworkは以下で表される．
ここで$T$は投稿文書の文字数である．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{eqnarray}
\bm{h_t^f}, \bm{h_t^b} &=& \mathit{BiLSTM}(\bm{x_t}) \label{eq:lstm_input}\\
\hat{\bm{x_t}} &=& \bm{h_{t-1}^f} \oplus \bm{x_t} \oplus \bm{h_{t+1}^b}\\
\bm{g_t} &=& \mathit{ReLU}(\mathit{Conv}(\hat{\bm{x_t}}))\\
\hat{\bm{g_{t'}}} &=& \mathit{max}(\bm{g_t}, \bm{g_{t+1}}, ..., \bm{g_{t+P-1}})\\
\alpha_{t'} &=& \bm{v^\top} tanh(W_v \hat{\bm{g_{t'}}})\\
a_{t'} &=& \frac{exp(\alpha_{t'})}{\sum^{T-P}_{j=0}exp(\alpha_j)} \label{eq:self_attention}\\
\bm{f_{text}} &=& \sum_{j=0}^{T-P} a_j \hat{\bm{g_j}}
\end{eqnarray}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
ここで，$\oplus$はベクトルの連結，$\it{Conv}$は畳み込み層の適用，
$\it{max}$はmax-over-time poolingを行う関数であり，
$\bm{v},W_v$は学習対象の重みパラメータである．
まず，BiLSTMと畳み込み層を用いて文字ごとの中間表現$\bm{g_t}$を得る．
その後，$\bm{g_t}$に対して窓幅$P$のmax-over-time poolingを適用することで，
$\hat{\bm{g_{t'}}} (0 \leq t' \leq T-P)$を得る．
この$\hat{\bm{g_{t'}}}$に対してセルフアテンションを適用し，
最終的なテキスト表現ベクトルとして$\bm{f_{text}}$を得る．

deepgeoの最終的な予測は，投稿文書を処理するTextNetworkの出力$\bm{f_{text}}$の他に，
投稿時間を処理するサブネットワークの出力$\bm{f_{time}}$と，
投稿者プロフィールの居住地を処理するサブネットワークの出力$\bm{f_{loc}}$から計算される．
具体的な計算方法を以下の式で表す．
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{eqnarray}
\hat{\bm{f}} &=& \bm{f_{text}} \oplus \bm{f_{time}} \oplus \bm{f_{loc}} \\
\bm{o} &=& tanh(W_o \hat{\bm{f}})\\
\bm{y} &=& softmax(\bm{o}) \label{eq:deepgeo_last}
\end{eqnarray}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
ここで$W_o$は学習対象の重みパラメータである．
また，詳細は割愛するが，投稿時間ベクトル
$\bm{f_{time}}$
は，投稿文書の投稿時間情報からRBFネットワークを
介することで得られ
\footnote{Lauらの原著では，時間に関する情報として他に，Timezone, UTC Offset, Acc. Creation Time の3種類を利用するが，本研究ではこれら情報は用いない．}
，居住地ベクトル
$\bm{f_{loc}}$
は，投稿者プロフィールの居住地テキストの文字系列から畳み込みネットワークを介することで得られる．
式(\ref{eq:deepgeo_last})の$\bm{y}$は47次元のベクトルで，それぞれの要素が各都道府県に対応する．
deepgeoの最終的な予測は，$\bm{y}$の最も大きい値を示した要素と対応する都道府県とする．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S6.4.2
\subsubsection{deepgeo+MentionVec}
Wikipediaベースの既存知識として，日本語Wikipediaエンティティベクトル
\footnote{\url{http://www.cl.ecei.tohoku.ac.jp/~m-suzuki/jawiki_vector/}}
（以下，エンティティベクトル）がある．
エンティティベクトルは，日本語Wikipediaの本文全文から学習した単語と
Wikipediaページの300次元の分散表現ベクトルである．
ここでは，後述する地理的特定性の情報を用いる手法の比較手法として，エン
ティティベクトルから作成した言及ベクトル (MentionVec) の情報を
deepgeo に加える手法を deepgeo+MentionVec とする．

具体的には，まず，各言及$m$に対して，それがアンカ文字列となっ
てリンクしている日本語Wikipedia内のエンティティをすべて抽出す
る．そして，それらエンティティに対応するエンティティベクトルの
平均ベクトルを言及$m$の言及ベクトルとして準備する．
これらを，言及をキー，その言及ベクトルを値とするメンショ
ンDBとして保存しておく．
そして，このベクトル情報を次のようにして deepgeo のTextNetwork に組み込む．
\begin{itemize}
  \item
TextNetworkへの入力において，先頭から$t$番目の文字埋め込みベクトル
$\bm{x}_t$に対して，$t$番目の文字が
言及ベクトルの付与対象であれば対応する言及ベクトルを，付与対象でなければ
言及ベクトルと同じ次元数（300次元）のゼロベクトルを連結してTextNetworkに入力する．
\end{itemize}
先頭から$t$番目の文字に対応する言及ベクトルを
$\bm{m}(\bm{x}_t)$
とすると，
deepgeo+MentionVec では，$\bm{x}_t$ の替わりに次の$\bm{x'}_t$を式
(\ref{eq:lstm_input})で採用する
\footnote{
この連結操作において，連結される言及が2文字以上で構成される場
合，その言及を構成する各文字に対して同じ言及ベクトルが連結され
ることになる．
}
．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{equation}
\bm{x'}_t = \bm{x}_t \oplus 
\bm{m}(\bm{x}_t)
\end{equation}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

ある文字が言及ベクトルの付与対象であるか否かの判定，および付与対
象である場合に付与する言及ベクトルの決定方法は以下の通りである．
まず，入力文書に対して
GiNZA\footnote{\url{https://megagonlabs.github.io/ginza/}}を用いて固有
表現抽出を行い，抽出された固有表現のうち，
場所
（組織名，地名，施設名およびイベント名）
を表す固有表現
（を構成す
  る各文字）が言及ベクトルの付与対象である．
付与する言及ベクトルは，付与対象となる場所を表す固有表現とメンショ
ンDBのキーである言及を照合することで決定する．照合処理は，完全一
致に加えて部分一致も許可する．固有表現と完全一致する言及はないが，
固有表現に包含される言及がある場合は，それらのうち最長のメンショ
ンを照合したとして，その言及をキーとする言及ベクトルを付与
する．もし，完全一致もしくは部分一致する言及が存在しない場合は，
付与対象から外れ，ゼロベクトルが使われる．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S6.4.3
\subsubsection{deepgeo+GeoVec}

deepgeoのTextNetworkに\ref{chap:mnt_geoinfo}節で述べた言及の地理
的特定性の値を取り込む．
付与されるベクトル情報が異なることを除けば，ベクトル情報の取り込み方は，
前項の deepgeo+MentionVec と同様である．すなわち，

\begin{itemize}
\item
TextNetworkへの入力において，先頭から$t$番目の文字埋め込みベクトル
$\bm{x}_t$に対して，$t$番目の文字が付与対象であれば対応する言及
の地理的特定性ベクトルを，付与対象でなければ地理的特定性ベクトルと同じ
次元数（$47+47=94$次元）のゼロベクトルを連結してTextNetworkに入力する．
\end{itemize}

先頭から$t$番目の文字に対応する地理的特定性ベクトルのうち，地理的曖昧
性ベクトルを
$\bm{av}(\bm{x}_t)$，名称専有性ベクトルを$\bm{ev}(\bm{x}_t)$とすると，
deepgeo+GeoVec では，$\bm{x}_t$ の替わりに次の$\bm{x'}_t$を式 (\ref{eq:lstm_input}) で用いる．

\begin{equation}
\bm{x'}_t = \bm{x}_t \oplus 
\bm{av}(\bm{x}_t)
\oplus 
\bm{ev}(\bm{x}_t)
\end{equation}

さらに，\ref{sec:exp_goal}節の実験目的で述べた事項を検証するために，地
理的特定性ベクトルのうち，地理的曖昧性ベクトル
$\bm{av}(\bm{x}_t)$
のみを連結す
る手法（deepgeo+GeoVec（曖昧性のみ）），名称専有性ベクトル
$\bm{ev}(\bm{x}_t)$
のみを連結する手法（deepgeo+GeoVec（専有性のみ））もあわせて検討する．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S6.4.3
\subsubsection{GeoVec（専有性のみ）}
deepgeoを使わない素朴な手法として，入力文書に含まれる言及の名称
専有性の値のみを用いて予測を行う．
GeoVec（専有性のみ）では，入力文書に含まれる言及の名称専有性ベク
トルの各要素の和をとり，その値が最大となる次元に対応する都道府県を出力
する．なお，この手法では他の手法とは違い，言及が含まれない場合は
何ら出力をおこなわないため，性能評価時においては，このような事例は必ず
誤り事例として扱われる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T4
\begin{table}[b]
\input{09table04.tex}
  \caption{各手法の文書ジオロケーション実験結果}
\label{table:result}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S6.5
\subsection{実験結果}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S6.5.1
\subsubsection{各手法の文書ジオロケーション実験結果}
実験の結果を表\ref{table:result}に示す．
符号検定の結果，deepgeo+GeoVecと表\ref{table:result}に示した他の手法の間に，有意水準0.01で有意差があった．
ここで，Accuracyは式 (\ref{eq:accuracy}) で定義される．

\begin{equation} \label{eq:accuracy}
Accuracy = \frac{正しく分類できた文書数}{入力文書数}
\end{equation}

表から，deepgeo に地理的特定性の値を加えた3つの手法
（deepgeo+GeoVec（曖昧性のみ），deepgeo+GeoVec（専有性のみ），deepgeo+GeoVec）はいずれもオリジナルの deepgeo よりも高い性能である
ことがわかる．
また，deepgeo+GeoVec（専有性のみ）および deepgeo+GeoVec の2つの手法は
deepgeo+MentionVec よりも高い性能であることがわかる．
MentionVecは日本語Wikipediaエンティティベクトルから作成した300次元のベ
クトルであり，地理的曖昧性と名称専有性はそれぞれ47次元のベクトルである．
地理的特定性のほうが当該言及に対する多様な情報を保持していないに
も関わらず，MentionVecよりも文書ジオロケーション課題において高い性能を示していることから，地理的特定性がより地理に特化した情報を保有できていることがわかる．

また，地理的曖昧性と名称専有性を単独で追加した手法よりも両方を追加した
手法のほうが高い性能となった．この結果から，地理的曖昧性と名称専有性は
それぞれ異なる情報を持つことがわかる．

以上の実験結果を受けて，\ref{sec:exp_goal}節で述べた2つの項目に関して
整理すると，以下となる．
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{enumerate}
\item 地理的特定性の構成要素である地理的曖昧性と名称専有性のそれぞれが文書ジオロケーション課題において有効である．
\item 
これら両方の構成要素を組み合わせて利用することが文書ジオロケーション課題において有効である．
\end{enumerate}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



次に，以上の結果を踏まえながら，関連する周辺的事項について考察する．




%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S6.5.2
\subsubsection{地理的位置を表す言及数ごとの予測結果}
\label{chap:multimention}
文書ジオロケーション課題において，deepgeo+GeoVec 手法で地理的特定性の
情報を活用するには，入力文書中に地理的位置を表す言及が存在している必要
があり，地理的位置を表す言及が存在していない文書では有効に働かないと予
想される．
このことを実験的に確認するために，評価データを，その中に含まれる地理的
位置を
表す言及の数によって5つに分割して再評価した結果を表
\ref{table:result_for_mention_num}に示す
\footnote{
言及数は，6.4.2節で述べた手続きによって言及ベクトルが得られた数を数えている．
}
．
前節までの結果を受けて，ここ
では，deepgeo と deepgeo+GeoVec の結果を比較し，性能の高い方を強調表示
している．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T5
\begin{table*}[b]
\input{09table05.tex}
  \caption{文書中に含まれる地理的位置を表す言及数ごとの結果 (Accuracy)}
  \label{table:result_for_mention_num}
  \end{table*}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



表\ref{table:result_for_mention_num}より，文書中に地理的位置を表す言及
が全く存在しない場合と比較して，1つ以上の言及が存在する場合のほ
うが予測性能が高いこと，また，1つ以上の言及が存在する場合は，
deepgeo よりもdeepgeo+GeoVec のほうが性能が高くなっていることが確認で
きる．
この結果から，文書中に地理的位置を表す言及が存在する場合は，
deepgeo+GeoVec が地理的特定性の情報を効果的に活用できている事がわかる．
同時に，地理的位置を表す言及が含まれないときはdeepgeoのほうが性能が高
くなっていることから，deepgeo+GeoVec が地理的特定性の情報に依存した予
測を行っていることもわかる．

言及の数が0個の場合の結果は，今回の課題設定の難しさを探る手助けに
なると考えられるが，表によると，
0個の場合でも40\%程度の事例が正答できていることがわかる．このこ
とから，入力文書内の言及の有無に関わらず，deepgeo が入力文書の文字系列か
ら分類に寄与する特徴量をある程度学習していること，および，投稿
者プロフィールの居住地情報が有力な特徴量として寄与していること
が推察される．
実際，deepgeo の原著\cite{lau2017end}でも，Lauらは
投稿者プロフィールの居住地情報の重要性を指摘しており，
今回の結果はLauらの結果を支持していると言える
\footnote{
  ただし，投稿者プロフィールの居住地情報は登録がない場
合や居住地とは無関係な情報も多く登録されているため，特徴量とし
て決定的なわけではない．
}
．

文書中の地理的位置を表す言及の数が0個から3個にかけては，deepgeo およ
び deepgeo+GeoVec のどちらとも言及数の増加とともに性能が上昇して
いるが，4個以上の場合は，言及数が3個の場合よりも，性能が下がっ
ている．
この原因として，以下の例のように，ひとつの文
書に複数の都道府県関連言及が含まれることが考えられる．
以前からこのような事例への対応は難しく，文書ジオロケーション課題におけ
る改善点のひとつであると指摘されている．今回の結果は，残念ながら地理的
特定性を導入してもこの問題の解決には至っていないことが示唆される．

\enumsentence[(a)]{
...\underline{長野}から\underline{金沢}まで新幹線で\underline{小松}から\underline{福岡}まで飛行機も...
（正解は「東京都」）
}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S6.5.3
\subsubsection{都道府県ごとの予測結果}
続いて，47都道府県ごとの性能を確認する．表
\ref{table:result_for_pref}に，都道府県ごとの実験結果を示す．表中の
$\uparrow$記号は，deepgeoよりもdeepgeo+GeoVecの方が性能が高くなったこ
とを示す．ここでは，クラス別に評価するため，評価指標としてF値を採用す
る．あるクラス（都道府県）$c$のF値は次の式で定義される．

\begin{eqnarray}
F &=& 2 \cdot \frac{Precision \cdot Recall}{Precision + Recall}
\end{eqnarray}
\begin{eqnarray}
Precision &=& \frac{正しくクラスcと予測した数}{クラスcと予測した数}
\end{eqnarray}
\begin{eqnarray}
Recall &=& \frac{正しくクラスcと予測した数}{クラスcのデータ数}
\end{eqnarray}

表より，ほとんどの都道府県でdeepgeoよりもdeepgeo+GeoVecの方が性能が高
いことが確認できる．
福井県では，F値が17.0ポイント向上しており，他のいくつかの都道府県でも10ポ
イント以上の向上があった．
それに対して性能低下では，最大で佐賀県の7.3ポイントで，ほとんどが5ポイン
ト未満であることがわかる．ここから地理的特定性は，特定の都道府県で大幅
な性能低下を起こさず，全体の性能向上に貢献したといえる．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T6
\begin{table*}[t]
\input{09table06.tex}
  \caption{都道府県ごとの予測結果（F値）}
  \label{table:result_for_pref}
  \end{table*}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S6.5.4
\subsubsection{予測が困難な都道府県に対する地理的特定性の有効性評価}
47都道府県のうち，地理的曖昧性が高いエンティティを多くもつ都道府県は，
ほかの都道府県に比べて文書ジオロケーションの予測が困難になると予想され
る．そこで，エンティティの地理的曖昧性に基づいて都道府県のグループを構
成し，グループ間で予測性能を比較することを通して，予測が困難な都道府県
グループでも地理的特定性が有効であるかを検証する．

まず，グループを構成する準備として，エンティティの地理的曖昧性の値を参
照し，以下の式(\ref{eq:pref_amb})によって，都道府県 $k$ の地
理的曖昧性 $\mathrm{pref\_amb}(k)$ を求める．
ここで，エンティティの地理的曖昧性は値は式(\ref{eq:amb})で求めるが，都道
府県の地理的曖昧性との区別を明瞭にするため，エンティティ$p_j$の地理的
曖昧性を$\mathrm{ent\_amp}(p_j)$と表記している．また，$P^k$は都道府県要素が
$k$であるエンティティの集合である．

\begin{equation} \label{eq:pref_amb}
  \mathrm{pref\_amb}(k) = \frac{1}{|P^k|} \sum_{p_j \in P^k} \mathrm{ent\_amb}(p_j)
\end{equation}

計算された47都道府県の地理的曖昧性について，
曖昧性の値が高かった上位10件と低かった下位10件を表\ref{table:pref_amb}に示す．
この上位10件の都道府県を地理的曖昧性が高いグループ，下位10件の都道府県
を地理的曖昧性が低いグループとして検証に用いる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T7
\begin{table}[t]
\input{09table07.tex}
\caption{都道府県の地理的曖昧性（上位10件と下位10件）}
\label{table:pref_amb}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



表\ref{table:result_for_amb_class}に，高曖昧性グループおよび低曖昧性グ
ループそれぞれのマイクロ平均F値を示す．
deepgeo および deepgeo+GeoVec のどちらの手法においても，高曖昧性グルー
プの結果は低曖昧性グループよりも低い値となった．
ただし，deepgeo と deepgeo+GeoVec の比較から地理的特定性の情報を加える
ことによる性能向上は，どちらのクラスでも1ポイント以上見られた．この結
果より，地理的特定性を用いた手法は，予測が難しいクラスに対しても有効で
あったといえる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T8
\begin{table}[t]
\input{09table08.tex}
\caption{地理的曖昧性が高い都道府県クラスと低い都道府県クラスでの予測
  性能（マイクロ平均F値）}
\label{table:result_for_amb_class}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S6.5.5
\subsubsection{事例分析}
表\ref{table:result_sample}に，deepgeo+GeoVecの予測が正解した例を示す．
表\ref{table:result_sample}の太字は，MentionVecまたはGeoVecが付与され
た文字列であることを示す．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T9
\begin{table*}[t]
\input{09table09.tex}
\caption{deepgeo+GeoVecの予測が正解した例 (MV: MentionVec, GV: GeoVec)}
\label{table:result_sample}
{\vskip -11pt}
\end{table*}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


事例$\langle 1 \rangle$ は，deepgeoでは予測を誤り，deepgeo+MentionVec
とdeepgeo+GeoVecでは正しい予測ができた例である．deepgeoには投稿者プロ
フィールに設定されている居住地を処理するサブネットワークが存在する．こ
の投稿をしたユーザの居住地は「東京」と設定されており，それが影響して
deepgeoは「東京都」と出力したと考えられる．一方，deepgeo+MentionVecと
deepgeo+GeoVecでは，文書に含まれる「大宮」という地名からWikipedia情報
を取得し，正しい予測に繋げることができている．

事例$\langle 1 \rangle$ 以外は，deepgeoとdeepgeo+MentionVecでは予測を
誤り，deepgeo+GeoVecでは正しい予測ができた例である．まず事例$\langle 2
\rangle$ および事例$\langle 3 \rangle$ の例に注目する．これらを予測するに
は，事例$\langle 2 \rangle$ ではエンティティ「荒川区役所前停留場」，事
例$\langle 3 \rangle$ ではエンティティ「高湯温泉」の都道府県要素を
Wikipediaページから適切に取り込む必要がある．GeoVecはWikipediaページの
本文から直接的な手法で都道府県要素を抽出しており，その情報を用いて正し
い予測に繋げることができた．一方，MentionVecは地理的な課題を目的として
作成されていないため，この例では都道府県要素を抽出できず，予測を誤った．

次に事例$\langle 4 \rangle$ ，事例$\langle 5 \rangle$ の例に注目する．
deepgeo+GeoVecは，事例$\langle 4 \rangle$ ではエンティティ「ホテルオー
  クラ東京ベイ」，事例$\langle 5 \rangle$ ではエンティティ「千代保稲荷
  神社」の都道府県要素を正しく取得することができ，正しい予測に繋げた．
一方，deepgeoとdeepgeo+MentionVecは，事例$\langle 4 \rangle$ では「東
  京」，事例$\langle 5 \rangle$ では「串カツ」に注目し予測を誤った．な
お，ここでの注目箇所とは，式(\ref{eq:self_attention})のセルフアテンショ
ンで得られる重みが大きい範囲のことを表す．

最後に事例$\langle 6 \rangle$ の例に注目する．投稿文書には「小浜温泉」
と「小浜」という地理的位置を表す言及が含まれる．「小浜」は日本にいくつ
か存在する地名であるが，一般的な認知としては福井県の地名を指すことが多
い．そのため，言及「小浜」の名称専有性ベクトルは福井県と対応する
要素が最大値となっている．deepgeo+MentionVecはこの投稿の「\#小浜」の部
分に注目し，予測も「福井県」とした．しかし，小浜温泉は長崎県にしか存在
せず，長崎県にも小浜という地名は存在する．deepgeo+GeoVecでは，GeoVecか
らこの情報を適切に取得することができ，正しく「長崎県」と予測したと考え
る．deepgeo+GeoVecの注目箇所は「小浜温泉」であった．





%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S7
\section{結論}

本研究では，SNS投稿文書内に出現している地理的位置属性をもつ言
及に対し，その地理的位置の特定のしやすさを表す指標として，地理
的特定性指標を提案した．
本指標は，地理的曖昧性および名称専有性の2つの構成要素から成るものとし，
日本語Wikipediaデータに基づいて指標値の推定を行った．
そして，文書ジオロケーション実験を通して，提案した地理的特定性指標の
両指標値が文書ジオロケーション課題において有効であること，
また，これら指標値を組み合わせて利用することも有効であることを確認した．

本研究を発展させる今後の主な課題としては以下が挙げられる．

\begin{itemize}

\item
本研究では，文書ジオロケーション実験を実施することで地理的特定性指標の
有効性を検証した．地理的特定性指標は課題とは独立した概念であ
り，\ref{chap:ref_geolocation}節で述べたToponym resolution や エンティティリンキングなど，ほかの課題
での有効性も検証したい．
 
\item
本研究では，文書ジオロケーション課題として，47都道府県への分類を検討したが，\ref{chap:inin}節で述べたようなサービスでは，分類する地理的粒度が細かい程，サービスの品質向上につながる．そのため，より地理的粒度の細かい分類課題に対する有効性の検証が必要である．
本手法では，言及に対する地理的特定性が特定できる地理的粒度は言及ベクトルの次元数を
調整することで制御可能であるが，本手法では言及ベクトルの次元数を増
やすことはベクトルが疎になる欠点がある．
今後は，分類粒度と言及ベクトルの次元数の関係性を調査すると共に，疎ベクトルを回避するための対策が必要である．

\item
本研究では，地理的特定性の指標値の推定において，言及が現れる文書内での
文脈情報を取り込んでいない．今後は，Awamuraら
\cite{awamura2015location}のように，文脈情報を考慮した指標値を検討し，
文脈情報が指標値に与える影響について考察を進めたい．
  
\item
文書ジオロケーション実験の誤り事例の観察から，誤り事例を幾つかのグループに分けることができる．
ひとつのグループは，\ref{chap:multimention}節で述べた多くの言及が含まれ
る事例グループである．
その他の事例グループとして，時制の理解が必要な事例グループがあった．通常では手がかり表現になりやすい言及であっても過去の活動（「この時期になると去年の\underline{京都}観光を思い出す」）や未来の活動（「はやく\underline{沖縄}行きたいな♪」）に関する投稿文書の場合は，その限りではない．このような事例グループを正しく分類するには，今回注目した地理的特定性のような概念では限界があり，有効な特徴量を獲得するためには，時制の解析を含むより高度な意味解析処理が必要になる．
\end{itemize}



%%% Acknowledgement %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本研究はJSPS科研費 21K12137 の助成を受けたものです．
Wikipediaの全記事に対する拡張固有表現ラベルは，
森羅プロジェクト
が公開しているデータを使用させて頂きました．



%%% Bibliography %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
    \bibliography{09refs}




%%% Biography %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{\UTF{9682}山　宗一}{%
%\bioauthor{陰山 宗一}{%
2021年筑波大学情報学群情報科学類卒業．
2023年筑波大学大学院システム情報工学研究群情報理工学位プログラム修士課程修了．
現在，LINEヤフー株式会社所属．
}
\bioauthor{乾　　孝司}{%
2004年奈良先端科学技術大学院大学情報科学研究科博士課程修了．
日本学術振興会特別研究員，東京工業大学統合研究院特任助教等を経て，
2009年筑波大学大学院システム情報工学研究科助教，
2011年筑波大学システム情報系助教，
2015年同准教授，現在に至る．
博士（工学）．
自然言語処理の研究に従事．
近年は地理空間情報と自然言語処理の融合分野に興味をもつ．
}

\end{biography}


\biodate   %%%% 受付日の出力（編集部で設定します）

\end{document}

