\documentclass[japanese]{jnlp_3.8}
\usepackage{jnlpbbl_2.3}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage[hyphens]{url}
\usepackage{array}
\usepackage{hangcaption_jnlp}
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%\usepackage{times}
%%%%\usepackage{latexsym}
%%%%\usepackage{graphicx,xcolor}
\usepackage{multirow}
%%%%\usepackage{url}
\usepackage{booktabs}
%%%%\usepackage{comment}
%%%%\usepackage{arydshln}
%%%%\usepackage[T1]{fontenc}
%%%%\usepackage[utf8]{inputenc}
%%%%\usepackage{microtype}
%%%%\usepackage{inconsolata}
%%%%\usepackage{ulem}
%%%%\usepackage{CJKutf8}
    \usepackage[scale=1]{otf}
%%%%\usepackage{color}
%%%%\usepackage{colortbl}
%%%%\usepackage{cancel}
%%%%\usepackage{jumoline}
\def\ar{\textsc{Arukikata}}
\def\mi{\textsc{Minna}}
\def\ho{\textsc{Hosomichi}}
\def\to{\textsc{Tokkan}}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


\Volume{32}
\Number{4}
\Month{December}
\Year{2025}
%%%%\Issuetitle{「　　　　」特集号}


\received{2025}{3}{1}
\revised{2025}{5}{31}
\accepted{2025}{7}{4}

\setcounter{page}{1103}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{場所参照表現抽出における言語モデルの時代横断型評価}
\jauthor{片山　歩希\affiref{NAIST} \and 東山　翔平\affiref{NICT}\affiref{NAIST}\affiref{NINJAL} \and 大内　啓樹\affiref{NAIST}\affiref{RIKEN}\affiref{NINJAL} \and 坂井　優介\affiref{NAIST} \and 竹内　綾乃\affiref{NIJL} \and \\
	坂東　　諒\affiref{NINJAL} \and 橋本　雄太\affiref{NME} \and 小木曽智信\affiref{NINJAL} \and 渡辺　太郎\affiref{NAIST}}
\jabstract{%
歴史的テキストからの場所参照表現の抽出は，大規模な史料に対する人文学的分析を支援するための基盤技術として重要である．本研究では，近世・近代日本語紀行文の場所参照表現抽出ラベル付きデータを構築するとともに，既存の近世災害記録，現代旅行記のラベル付きデータを活用し，これら近世・近代・現代の3時代のテキストに対する現代語Transformer言語モデル（マスク言語モデル，自己回帰言語モデル）による場所参照表現抽出精度を調査した．実験から，歴史的テキストからの抽出において現代語ラベル付きデータを活用することの有効性を確認した．一方で，現代語テキストで高い抽出精度（最大F1値0.890）が達成されたのに対し，歴史的テキストでは低～中程度の精度（最大F1値0.506--0.739）となり，現代語向けモデルの歴史的テキストへのより良い適応のために，さらなる手法の改善が必要であることも示された．
\renewcommand{\thefootnote}{}
\footnote[0]{本論文は，情報処理学会第258回自然言語処理研究発表会 \cite{katayama-2023-nl}，The 4th International Conference on Natural Language Processing for Digital Humanities (NLP4DH 2024) \cite{katayama-etal-2024-evaluating}，言語処理学会第31回年次大会の発表論文 \cite{katayama2025anlp}をもとに，実験の再実施・追加・取捨選択や和訳・加筆修正を行ったものである．}
\renewcommand{\thefootnote}{\arabic{footnote}}
}

\jkeywords{地理的テキスト解析，場所参照表現抽出，固有表現認識，歴史的日本語資料，言語モデル}

\etitle{Cross-Era Evaluation of Language Models for Location Referring Expression Extraction}
\eauthor{Ayuki Katayama\affiref{NAIST} \and Shohei Higashiyama\affiref{NICT}\affiref{NAIST}\affiref{NINJAL} \and Hiroki Ouchi\affiref{NAIST}\affiref{RIKEN}\affiref{NINJAL} \and Yusuke Sakai\affiref{NAIST} \and \\
	Ayano Takeuchi\affiref{NIJL} \and Ryo Bando\affiref{NINJAL} \and Yuta Hashimoto\affiref{NME} \and Toshinobu Ogiso\affiref{NINJAL} \and \\
	Taro Watanabe\affiref{NAIST}} 
\eabstract{%
Automatic extraction of location referring expressions (LREs) can facilitate humanities research by enabling the analysis of large collections of historical texts. In this study, we constructed LRE annotation datasets from early modern and modern travelogues. We then evaluated the performance of Transformer-based contemporary language models in extracting LREs from historical texts by combining these datasets with existing datasets of modern disaster records and contemporary travelogues. Our experiments demonstrated the effectiveness of leveraging contemporary annotated data for LRE extraction from historical texts. However, whereas extraction accuracy on contemporary texts was high (maximum F1 score of 0.890), accuracy on historical texts remained low to moderate (maximum F1 scores of 0.506--0.739), indicating that further model enhancements are needed to better adapt contemporary language models to historical text.
}
\ekeywords{Geographic Text Analysis, Location Referring Expression Extraction, Named Entity Recognition, Historical Japanese Text, Language Model}

\headauthor{片山，東山，大内，坂井，竹内，坂東，橋本，小木曽，渡辺}
\headtitle{場所参照表現抽出における時代横断型評価}

\affilabel{NAIST}{奈良先端科学技術大学院大学}{NAIST}
\affilabel{NICT}{情報通信研究機構}{NICT}
\affilabel{RIKEN}{理化学研究所}{RIKEN}
\affilabel{NIJL}{国文学研究資料館}{NIJL}
\affilabel{NINJAL}{国立国語研究所}{NINJAL}
\affilabel{NME}{国立歴史民俗博物館}{National Museum of Japanese History}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}
\label{sec:intro}

歴史的なテキストは，その時代の出来事や人物の活動が記録され，過去の人類史や自然史をより深く理解するための貴重な資料である．
特に地理的な観点から見ると，歴史的なテキストに含まれる地理的な情報，具体的には，場所参照表現 (Location Referring Expression, LRE) と呼ばれる地名や施設名の言及，さらには言及された場所に関連する事物や出来事の記述は，その時代の人々の空間的な認識や活動範囲など，当時の地理的な状況を理解するための手掛かりとして重要な情報である．

地理的な記述を豊富に含むテキストの代表例として，紀行文や災害記録が挙げられる．
紀行文は，筆者が訪れた場所での体験を記述したものであり，災害記録は，被災地域，被害の規模，人々の状況を記述したものである．
こうした地理的情報の，計算機による高精度な自動抽出・構造化---LREの抽出や，ジオコーディングと呼ばれる地理座標の特定---が実現されると，大規模な歴史的テキストの「遠読」とも呼ばれる横断的分析など，人文学研究における分析作業を支援することが可能になる．
具体的には，歴史的人物の旅程における経路・移動距離・歩行速度の推定や文献横断的な比較，歴史的災害の規模・範囲の推定やそれを踏まえたシミュレーションの実現などが考えられる．

我々は，こうした背景の下，歴史的テキストに対して，計算機による高精度な地理的テキスト解析を実現し，それを用いた応用を可能にすることを目標とする．
本研究では，まず，地理的テキスト解析の基本的なステップとして，歴史的日本語テキストからのLRE抽出に取り組む．
LRE抽出は，入力テキストに含まれるLREを抽出するタスクである\footnote{LRE抽出では，LREのスパンに加えて，LREの種類を表すラベルも決定する問題設定もあり得る．本研究では，地名と施設名を抽出対象とするが，ラベルの区別を行わない設定を採用した．}．たとえば，``\underline{名取川}渡りて\underline{仙台}に入る''という入力テキストに対しては，``名取川''および``仙台''を抽出することが目標となる．

LRE抽出は，固有表現一般を抽出対象とする固有表現抽出 (Named Entity Recognition, NER) の特殊なケースにあたり，情報抽出 (Information Extraction) タスクの一種に位置づけられる．
近年の固有表現抽出では，Transformerアーキテクチャ \cite{vaswani-2017}に基づく事前学習モデルを用いる方法が最先端の手法となっており \cite{keraghel-2024-recent}，Encoder-onlyモデルを用いたタグ付け・分類型の方法の他，Encoder-DecoderモデルやDecoder-onlyモデルを用いたテキスト生成型の方法も多く提案されている\cite{xu-2024-large-}．
このように，現代語テキストに対する高性能な固有表現抽出の実現には，高性能な現代語の事前学習モデルが欠かせない存在となっている．
一方，各時代の歴史的テキストの言語資源はラベルなしテキストを含めて限られており，現代語向けモデルのように高性能な古典語\footnote{本研究では，第二次世界大戦終結（1945年）以前の日本語を「古典語」と呼び，それ以降の日本語を「現代日本語」と呼ぶ．}事前学習モデルを構築することは難しい．
そこで，本研究では，歴史的テキストに対するLRE抽出に取り組むにあたり，古典語に対応した事前学習モデルが利用できない状況で，現代語事前学習モデルを活用する方法を探求する．

本研究で解析対象とするテキストは，LREアノテーションが施された3つの歴史的テキストと1つの現代語テキストである．
歴史的テキストとしては，我々がLREアノテーションを施した近世紀行文「おくのほそ道」および近代紀行文「突貫紀行」と，近世の災害記録からなる「みんなで翻刻データ」 \cite{hashimoto-2023-prototype}を用いる．
現代語テキストとして，現代の旅行記である「地球の歩き方旅行記」 \cite{arukikata-2022,ouchi-etal-2023-atd,higashiyama-etal-2024-arukikata}を用いる．

近世・近代\footnote{本研究では日本史研究における一般的な時代区分を採用し，安土桃山時代から江戸時代の終わり（1867年）までを「近世」，明治時代から第二次世界大戦終結（1945年）までを「近代」と呼ぶ．}という複数の時代の歴史的テキストに加え，現代のテキストを使用する理由は2つある．
1点目は，異なる時代のテキストに対する抽出精度の違いを調査することである．特に，現代語テキストに対する抽出精度は，歴史的テキストに対して達成可能な抽出精度の上限を見積もるのにも役立つ．
2点目は，歴史的テキストに対する抽出精度向上に向けた現代語テキストの活用の有効性を調査することである．歴史的テキストでは，前述のようなラベルなしテキストだけでなく，解析対象の時代のラベル付きテキストの観点でも低資源であるため，一種のドメイン適応として，現代語のラベル付きテキストを活用することを試みる．
なお，日本語LRE抽出において，近世・近代・現代の3時代を横断した評価・分析を行った研究は，我々が知る限り本研究が初である．

評価対象のモデルとして2種類のマスク言語モデル (Masked Language Model, MLM) と2種類の自己回帰言語モデル (Causal Language Model, CLM) を使用し，現代語旅行記と近世災害記録の一方または両方でのfine-tuningを行った実験\footnote{近世・近代紀行文は，データサイズが小さいことから評価のみに用いた．}の結果，以下の知見が得られた．
\begin{itemize}
 \setlength{\parskip}{0cm} 
 \setlength{\itemsep}{0.1cm}
 \item 全モデルとも，現代語テキストでは高い精度を達成したものの（F1値0.843--0.890），歴史的テキストでは低～中程度の精度となった（最大F1値0.328--0.739）．
 \item ドメイン内ラベル付きテキストが利用可能であった近世災害記録を除く，近世・近代・現代の3データにおいて，MLMよりもCLMが高い精度（F値 約$+$0.02～$+$0.20ポイント）を達成した．
 \item 近世のみでなく現代のラベル付きデータもfine-tuningに用いることで，各歴史的テキストでの抽出精度が向上した．
\end{itemize}

我々が構築した近世紀行文「おくのほそ道」および近代紀行文「突貫紀行」からなるLREアノテーションデータセットは，「JHistTravel：日本語歴史的紀行文アノテーションデータセット」として，次のURLで公開している：\url{https://github.com/naist-nlp/historical-travelogues}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}
\label{sec:related_work}

場所参照表現 (LRE) 抽出は，前述のように固有表現抽出の特殊なケースに相当する．
したがって，LRE抽出は固有表現抽出と同様のタスクとして定式化でき，固有表現抽出の手法をそのまま適用することが可能である．ただし，ニュース記事などの一般的な固有表現抽出データセットでは，地理的な多様性や粒度の観点で十分な地名・施設名が含まれておらず，LRE抽出に適したモデルの学習・評価が難しいと想定される\footnote{\citeauthor{higashiyama-etal-2024-arukikata} \citeyear{higashiyama-etal-2024-arukikata}は，LRE抽出や後述するジオコーディングのためのデータセットであっても，必ずしも施設名の言及を多く含むデータとなっていないことを述べている．}．そのため，LRE抽出に取り組む際には，LRE抽出を前提とした適切なデータセットでのモデル学習・評価が必要になる．なお，
LREが指す場所の地理座標を特定するタスクはジオコーディングと呼ばれ，LRE抽出は，ジオコーディングと合わせてジオパージング \cite{gritta-etal-2020-pragmatic}として取り組まれることも多い．

歴史的テキストを用いたLREアノテーションデータとしては，英語ニュース記事 \cite{Ardanuy-2022}，英語旅行記 \cite{rayson-etal-2017-deeply,sprugnoli2018arretium}，フランス語文学テキスト \cite{kogkitsidou-2020}，中国語歴史書 \cite{tang-etal-2024-chisiec}などのデータセットが構築され，機械学習システムの性能が評価されてきた．日本語では，地震史料集テキストデータベース \cite{kano-2023-jishin}や，みんなで翻刻 \cite{hashimoto-2023-prototype}など，歴史的な災害記録テキストに対して，LREとその地理座標を人手アノテーションする取り組みが行われている．

また，LREを含む固有表現の認識のための様々な手法について，歴史的テキストに対する性能が調査されてきた \cite{ehrmann-2023-survey}．
近年では，事前学習Transformerモデルを用いた研究も行われている．
\citeauthor{labusch2019bert} \citeyear{labusch2019bert}は，ドイツ語歴史的新聞記事に対するNERにおいて，BERT \cite{devlin-etal-2019-bert}のための学習戦略を調査した．同研究では，古典語ラベル付きデータでのfine-tuningの前に，大規模な古典語ラベルなしデータと，現代語ラベル付きデータの両方で事前学習したモデルが最も高精度であったことが示されている．
\citeauthor{tang-etal-2024-chisiec} \citeyear{tang-etal-2024-chisiec}は，古代中国の歴史的文書に対するNERにおいて，歴史的テキストで事前学習したMLMと，オープンおよびクローズドな現代語事前学習CLMを評価し，MLMがより高精度であることを示した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験設定とデータセット} \label{sec:exp_settings}

本研究では，LRE抽出タスクにおいて，大規模な現代語テキストで事前学習された言語モデルを，歴史的テキスト（古典語テキスト）に適応させるための実験を行う．
そこで，\ref{sec:intro}章で述べた4データセット（詳細は後述）を用いた学習・評価シナリオを設定した．
学習シナリオとして，
\begin{enumerate}
 \item 現代語のラベル付きデータ（地球の歩き方旅行記）でのfine-tuning
 \item 古典語のラベル付きデータ（みんなで翻刻・近世災害記録）でのfine-tuning
 \item 現代語・古典語両方のラベル付きデータでのfine-tuning
\end{enumerate}
の3種類を設定し，各学習済みモデルについて，現代語・古典語の各評価データで評価する．
これらの評価を通じて，MLMとCLMの精度を比較する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{データセット}
\label{sec:datasets}

既存の現代語データセット1件 (\ar) と古典語データセット1件 (\mi) に加え，新たに古典語データセット2件 (\ho, \to) を作成した．
各データセットの記述統計を表 \ref{tab:dataset}に示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[b]
\vspace*{-0.5\Cvs}
\input{03table01.tex}%
\hangcaption{各データセットの記述統計（文数，LRE数）．{\mi}の文数は，各文書をウィンドウサイズ50文字，ストライド幅40文字で分割したセグメントの数を表し，{\mi}のLRE数は，セグメント分割前の元文書中の件数を表す．}
\label{tab:dataset}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{地球の歩き方旅行記 ({\usefont{T1}{ptm}{b}{sc}Arukikata})} 

現代語テキストとして，\pagebreak
現代語の日本国内旅行記「地球の歩き方旅行記データセット」\cite{ouchi-etal-2023-atd}および同データセットへの人手LREアノテーション \cite{higashiyama-etal-2024-arukikata}を使用した．\texttt{LOC-NAME}（地名）または\texttt{FAC-NAME}（施設名）のラベルが付与された固有名のLREを対象とし，ラベルを\texttt{LOCATION}に統一した上で，実験に用いた．
学習・開発・テストセットの分割は，文献 \cite{higashiyama-etal-2024-arukikata}に従った．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{みんなで翻刻 ({\usefont{T1}{ptm}{b}{sc}Minna})}

1つ目の歴史的テキストとして，みんなで翻刻 \cite{hashimoto-2023-prototype}プロジェクト\footnote{\url{https://honkoku.org/index.html}}で構築されたアノテーションデータを使用した．
同データは，1800年代前後の近世日本の災害記録のテキストからなり，「日時」，「場所」，「現象・被害」，「人物」を表す表現が人手アノテーションされている\footnote{\url{https://wiki.honkoku.org/doku.php?id=annotation-top}}．データの前処理は次のように行った．
まず，「みんなで翻刻データ v1」\footnote{\url{https://github.com/yuta1984/honkoku-data/tree/master/v1}}の原文テキスト全体に，「場所」のアノテーション情報\footnote{\url{https://ansei2.vercel.app/api/annotations?type=location}}を\texttt{LOCATION}ラベルのLREとして統合した．次に，同一の書物に由来するtxtファイル（書物の見開き1ページに相当）の集合を1文書に連結し，全41文書を，概ね8：1：1となるよう，学習セット32文書，開発セット4文書，テストセット5文書に分割した．学習および評価処理では，各文書をウィンドウサイズ50文字，ストライド幅40文字でセグメントに分割し，各セグメントを文とみなして入力単位とした
\footnote{本データのテキストは，句点等の文区切りを示す情報を含んでいない場合が多く，統一した基準で文区切りを行うことが難しいため，文字数による機械的なセグメントへの分割を採用した．セグメントを跨ぐLREは，当該セグメントにおいてはLREでない扱いとなる．ただし，スライド処理により，いずれかのセグメントには正解LREが含まれることになり，また抽出タスクにおいて必要な文脈が欠落する可能性も最小限とした．}．
例として，100文字の文書 $(x_1, \dots, x_{100})$ があった場合，3つのセグメント $(x_{1}, \dots, x_{50})$，$(x_{41}, \dots, x_{90})$，$(x_{81}, \dots, x_{100})$ が作成される．評価時は，重複区間（この例では$x_{41}$～$x_{50}$および$x_{81}$～$x_{90}$）に対する抽出結果の重複を除去する処理を行った．

本データのテキストの特徴として，地震の場所や被害の描写を列挙するスタイルで書かれたものが多い点が挙げられる．
%%%%例えば，\begin{CJK}{UTF8}{ipxm}``\underline{小石川御門内}より\underline{するが臺}\,\underline{小川丁}\,\underline{筋違御門}迄少〻破損''\end{CJK}
    例えば，``\underline{小石川御門内}より\underline{するが臺}\,\underline{小川丁}\,\underline{筋違御門}迄少\UTF{303B}破損''
（下線部はLREを示す）．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{おくのほそ道 ({\usefont{T1}{ptm}{b}{sc}Hosomichi})}

2つ目の歴史的テキストとして，Wikisourceで公開されている「おくのほそ道」のテキスト\footnote{\texttt{{https://ja.wikisource.org/wiki/\%E3\%81\%8A\%E3\%81\%8F\%E3\%81\%AE\%E3\%81\%BB\%E3\%81\%9D\%E9\%81\%93}}}
を使用し，LREアノテーションデータセットを作成・使用した．
「おくのほそ道」は，1690年代頃に松尾芭蕉によって書かれたもので，同時代を代表する歴史的紀行文の1つである．
「おくのほそ道」は人間の地理的移動に焦点を当てた文学テキストであり，実用上の目的から地理的自然現象が記録された文書である「みんなで翻刻」のテキストと比較すると，ともに近い時代に書かれたテキストでありながら，異なる特徴を持つと考えられる．

アノテーション作業は，日本古典文学作品のコーパス構築経験のある著者2名により，文境界付与，LRE付与という手順で行った．
Wikisource版「おくのほそ道」の原文テキストは句点の情報を含んでいないため，小学館「新編日本古典文学全集 松尾芭蕉集」における句点を参考に，句点に相当する位置で文を分けた．「おくのほそ道」は，地の文の中に会話文の引用が埋め込まれたり（例：「\underline{$\cdots$此神社にて侍}と聞ば」），和歌・俳句が挿入されるスタイルで書かれており，会話文の前後および和歌・俳句の前後でも文を分けた．
LRE付与基準の概要は\ref{sec:app_anno}節に記す．
本データセットはサイズが小さいため，未知の近世テキストデータとして評価にのみ使用した\footnote{事前学習モデルの学習に生テキストが使用された可能性はあるが，ラベルについては未知である．}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{突貫紀行 ({\usefont{T1}{ptm}{b}{sc}Tokkan})}

3つ目の歴史的テキストとして，青空文庫で公開されている「突貫紀行」のテキスト\footnote{\url{https://www.aozora.gr.jp/cards/000051/files/830_14079.html}}を使用し，LREアノテーションデータセットを作成・使用した．「突貫紀行」は，明治時代に幸田露伴によって書かれ，1893年に発表されたもので，同時代を代表する歴史的紀行文の1つである．
「突貫紀行」は，「おくのほそ道」と同様に文学的な紀行文であるが，より現代に近い歴史的テキストである．

「おくのほそ道」と同様に，著者2名により文境界・LREのアノテーションを行った．
また，本データも，未知の近代テキストとして評価にのみ使用した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{アノテーション基準・方法}
\label{sec:app_anno}

LREのアノテーション基準を定める上で，LRE抽出の後にどのような後段タスクを想定するかという点の考慮が必要である．後段のタスクとして，抽出されたLREの地理座標―「点」の情報―を推定するジオコーディングや，紀行文等における人物の移動軌跡―「線」の情報―を復元するタスクなどが考えられる．これらのタスクを念頭に置きつつも，限定はせず，LRE抽出結果は広く活用できることが望ましい．このような考え方から，本研究では次の3点の方針を設け，アノテーション基準を設計した．
\begin{itemize}
 \item 場所を表す表現を幅広くカバーすること．
 \item 場所の内容（地名や施設名）や表され方（一般名詞句や固有名）の種別を分けたラベルの情報を付与し，目的に応じて種別を選択可能にすること．
 \item 全体として1つの場所を指すと考えられるひとまとまりの表現を1スパンとすること．
\end{itemize}
基準の策定にあたり，現代語テキストに対するLREアノテーションを行った文献 \cite{higashiyama-etal-2024-arukikata}を参考にしつつ，歴史的テキストに適した基準に更新した．詳細なアノテーション基準は付録\ref{sec:anno_criteria}に記す．定義したラベルを表\ref{tab:anno_label}に示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[t]
\input{03table02.tex}%
\caption{LREアノテーションにおけるラベルセット}
\label{tab:anno_label}
\vspace*{-0.5\Cvs}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

「おくのほそ道」および「突貫紀行」へのLREアノテーション作業では，これらの基準に従ってアノテーションを行った．
アノテーション品質・一貫性の向上のため，対象テキスト全体について，アノテーション担当の著者2名で同一範囲の作業・確認を行い，疑義がある点については他の著者も含めた議論を行いアノテーション内容を決定した\footnote{この方針を採用したため，アノテータ間一致率の計測ができず，本データセットについて一貫性の程度を示す定量的な指標は提示できない．今後，他のテキストにもLREアノテーションを実施することを検討しており，一部のデータで一致率を計測し，2名で独立に作業した場合にどの程度揺れが生じる基準となっているかの評価も行いたい．}．
なお，実験では，\texttt{LOC-NAME}および\texttt{FAC-NAME}ラベルを\texttt{LOCATION}ラベルに統一し，同ラベルの事例のみ対象とした．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{言語モデル}
\label{sec:language_model}

本研究では，大規模な現代日本語テキストを用いて事前学習されたMLMおよびCLMを評価対象のモデルとし，各2種類のモデルを評価した．
各モデルのfine-tuningにおけるハイパーパラメタの設定は，付録\ref{sec:parameter}に詳細を示す．

MLMとして，次の2つのモデルを用いた\footnote{MLMに基づく既製の固有表現抽出ツールとして，GiNZA \cite{matsuda-etal-2019-ginza}も挙げられる．文献 \cite{katayama-2023-nl}において，GiNZAの学習済みモデルを近世紀行文に適用してもF値0.3程度にとどまり，十分なLRE抽出精度に達しないことが報告されており，本研究では評価対象から除外した．なお，同文献でも「おくのほそ道」データを用いた実験を行っているが，本研究のデータセットとアノテーション内容が同一ではなく，本研究と実験条件は異なっている．}．
\begin{itemize}
 \item BERT：文字単位の日本語BERT \cite{devlin-etal-2019-bert}事前学習モデル\footnote{\url{https://huggingface.co/tohoku-nlp/bert-large-japanese-char-v2}}，Largeモデル（パラメタ数337M）．事前学習時のマスク戦略として，UniDic（国語研短単位）の単語単位に基づくWhole Word Maskingが採用されている．
 \item RoBERTa：文字単位の日本語RoBERTa \cite{liu2019roberta}事前学習モデル\footnote{\url{https://huggingface.co/ku-nlp/roberta-large-japanese-char-wwm}}，Largeモデル（パラメタ数337M）．事前学習時のマスク戦略として，形態素解析器Juman++の単語単位に基づくWhole Word Maskingが採用されている．
\end{itemize}
MLMを用いたLRE抽出では，\pagebreak
各文字トークンにラベル (\texttt{B-LOCATION}，\texttt{I-LOCATION}，\texttt{O}) を割り当てる系列ラベリングを採用した．既存のBERT/RoBERTaアーキテクチャにラベル分類用の全結合層を追加し，Softmax関数を用いた交差エントロピー損失関数を用いてfine-tuningを行った．

CLMとして，次の2つのモデルを用いた．
\begin{itemize}
 \item ELYZA：Llama-3 \cite{grattafiori2024llama3}に日本語データでの継続的事前学習を施したLlama-3-ELYZA-JP-8Bモデル\footnote{\url{https://huggingface.co/elyza/Llama-3-ELYZA-JP-8B}} \cite{elyzallama2024}（以降，ELYZAモデルと呼ぶ）．
 \item Swallow：Llama-3 \cite{grattafiori2024llama3}に日本語データでの継続的事前学習を施したLlama-3-Swallow-8B-v0.1モデル\footnote{\url{https://huggingface.co/tokyotech-llm/Llama-3-Swallow-8B-v0.1}} \cite{llama3modelcard}（以降，Swallowモデルと呼ぶ）．
\end{itemize}
CLMを用いたLRE抽出では，図 \ref{fig:prompt}に示すプロンプト形式を採用し，「回答:{\textbackslash}n」に続く出力テキストを生成させる方法を採用した．両モデルとも，QLoRA \cite{dettmers2023qlora}を用いてinstruction fine-tuningを行った．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[t]
\begin{center}
\includegraphics{32-4ia3f01.eps}
\end{center}
\hangcaption{CLMのinstruction fine-tuningに用いたプロンプト形式．``\{TEXT\}''には実際のテキストが挿入される．モデルの出力テキストに相当する個所を``\{OUTPUT\}''で示している．}
\label{fig:prompt}
\vspace*{-0.5\Cvs}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験結果}
\label{sec:results}

各学習シナリオ・各モデルについて，テストセットでの抽出精度を算出することで評価を行った．
具体的には，\ref{sec:exp_settings}章冒頭で述べた(1)～(3)の各学習シナリオについて，モデルごとに，異なる乱数シード値での3回の学習を実行し，各学習において開発セットでのF1値が最良であったモデルチェックポイントを評価対象とした．本節では，各学習シナリオ・モデル・テストセットごとに，3回分のモデルチェックポイントの予測結果に対する精度の平均の値を報告する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{主実験：F1値による評価結果}
\label{sec:result_main}

主たる実験結果として，各テストセットでの抽出精度（F1値）を表 \ref{tab:pre_bert_roberta_elyza_swallow}に示す．なお，各テストセットにおける各モデルのF1値の標準偏差は0.001--0.046の範囲であったが，平均F1値0.8以上のケースでは標準偏差は0.01未満であり，つまり，高い精度が達成される状況では乱数シード値によるばらつきが小さいという傾向が見られた．
以降，\ref{sec:result_arukikata}--\ref{sec:result_hoso_tokkan}節でデータ別での各モデル・学習シナリオについての結果を議論した後，\ref{sec:discussion}節
でデータ横断での結果を議論する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 3
\begin{table}[b]
\vspace{-0.5\Cvs}
\input{03table03.tex}%
\hangcaption{各モデルのLRE抽出精度．学習データの``\textsc{A}''は\ar データ，``\textsc{M}''は\mi データを指す．下線は同一モデル内，太字はモデル横断での最高精度を示す．}
\label{tab:pre_bert_roberta_elyza_swallow}
\vspace{-0.5\Cvs}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{現代旅行記での評価結果}
\label{sec:result_arukikata}

{\ar}テストセットでは，いずれのモデルについても，{\ar}学習セットを含むデータで学習した場合に高い精度（F1値0.843--0.890）を達成した．
また，{\ar}学習セットのみ用いた場合に比べ，{\mi}学習セットを追加した場合では，僅かな精度低下 ($\pm$0～$-$0.019) は見られたものの小さい影響であった．
精度向上に寄与しなかった主な理由として，{\ar}データに対する{\mi}データのスタイルや内容の違いが大きい点が挙げられる．

また，モデル間の比較では，大半の学習シナリオにおいて，{\ar}データ，{\ho}データ，{\to}データでは，ELYZA，SwallowがBERT，RoBERTaを上回る結果を示し，{\mi}データでは4モデルの精度はほぼ同等であった．
ELYZA\footnote{\url{https://note.com/elyza/n/n360b6084fdbd}}，Swallow\footnote{\url{https://zenn.dev/tokyotech_lm/articles/f65989d76baf2c}}とも，モデル公開時点では，同等サイズのCLMと比較して日本語の様々なタスクで高い性能を示すモデルであり，本タスクにおいても同様に高い性能を示す結果となった．この要因として，ベースモデルLlama-3の性能が高いことや，継続事前学習によって日本や現代日本語に関する高度な知識・読解能力を有するようになったことなどが仮説として考えられるが，追加の検証が必要である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{近世地震記録での評価結果}
\label{sec:result_minna}

{\mi}テストセットでは，BERT，RoBERTa，ELYZAの3モデルで，{\mi}学習セットのみ用いた場合に比べ，{\ar}学習セットを追加した場合に，やや精度が向上した．
{\ar}データには江戸（東京）地域を含む日本全国の様々な地名が含まれているため，江戸周辺の地名を中心に含む{\mi}データでの抽出にも有用であった可能性がある．
ただし，前述したような両データのスタイルの違いからか，{\ar}学習セットのみでの学習では非常に低い精度にとどまっている．

モデル間の比較としては，各学習シナリオにおいて各モデルは近い精度を示し，各モデルで最良のケースではほぼ同等の精度（F1値0.659--0.673）となった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{近世・近代紀行文での評価結果}
\label{sec:result_hoso_tokkan}

{\ho}テストセット，{\to}テストセットでは，全モデルのほとんどのケース\footnote{RoBERTaの{\ho}テストセットの評価結果のみ，{\mi}学習データのみで学習した場合に最良であった．}で，{\mi}，{\ar}の一方だけでなく両方の学習セットを用いた場合に顕著に精度が向上し，最高精度を示した．
つまり，近世・近代紀行文からの抽出において，現代の旅行者の記録である{\ar}データと，近世の地震の記録である{\mi}データは，異なる特徴を有しつつも共に有用であり，相補的な効果があったことを示している．

モデル間の比較では，{\ho}テストセット，{\to}テストセットとも，ELYZAおよびSwallowが，他の2モデルに比べて0.02--0.20ポイント程度高精度であった．なお，{\ho}データよりも{\to}データの方が現代語に近いテキストであり，4モデルとも後者のデータで高い精度を示した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{データ全体の傾向と議論}
\label{sec:discussion}

データ横断での全体的な傾向を述べる．
最も高精度となる傾向が見られた2つの学習セットを用いた場合に注目すると，全モデルで，{\ar}テストセットにおいて高い精度（F1値0.84以上）を示し，続いて{\mi}および{\to}において中程度の精度（F1値約0.66--0.74）を示し，{\ho}では最も低い精度（F1値約0.33--0.51）を示した．この点は，各言語モデルが現代日本語テキストで事前学習されており，{\mi}ではドメイン内データでの学習を行っている点，{\to}では比較的現代に近いテキストである点を踏まえると，直感的な結果である．

各歴史的テキストでの抽出精度を高めるためには，個別にドメイン内ラベル付きデータを作成（増量）して学習に用いる他，\citeauthor{labusch2019bert} \citeyear{labusch2019bert}と同様の戦略として，大規模な古典語のラベルなしデータや，指示学習データなどを事前学習に使用し，古典語の知識・処理能力を高めることも必要となる可能性がある．その際，現代語テキストをシードデータとして古典語風の疑似データを作成し，活用することも考えられる．
なお，現代，近代のテキストでは，BERT，RoBERTaよりもELYZA，Swallowが高い精度を達成したものの，現代から離れた時代のテキストにおいてどのようなモデルが高精度となるかは探求の余地がある．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{適合率・再現率による評価結果}

学習シナリオ・モデルごとのより詳細な抽出傾向を確認するため，\ref{sec:result_main}節と同一の実験において，適合率・再現率を算出した．結果を表\ref{tab:results_precision_recall}に示す.

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 4
\begin{table}[b]
\input{03table04.tex}%
\hangcaption{各モデルにおける適合率 (P)，再現率 (R), 「$\text{P}-\text{R}$」の差分 (Diff) を示す．同一のモデル・学習データ・テストセットの結果について，適合率と再現率のうち高い方を下線で示す．``A''，``M''は，それぞれ\ar\:，\mi\:データを表す．}
\label{tab:results_precision_recall}
\end{table} 
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

以下，各テストセットについて，学習データ・モデルによる適合率・再現率の傾向の違いを議論した後，全テストセットの横断的な評価結果の総括を述べる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{各データセットでの評価結果}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{{\usefont{T1}{ptm}{b}{sc}Arukikata} での評価結果} 
\ar\:学習セットのみで学習した場合，適合率・再現率両方で高い精度（0.8以上）を示した．\mi\:学習セットのみで学習した場合は，低い適合率 (0.243--0.554) で低～中程度の再現率 (0.358--0.759) となった．両方の学習セットで学習した場合，\ar\:学習セットのみの場合と比べ，適合率・再現率とも大きな変化は見られなかった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{{\usefont{T1}{ptm}{b}{sc}Minna} での評価結果}
\ar\:学習セットのみで学習した場合，適合率は低く (0.191--0.348)，再現率はさらに低い結果 (0.122--0.176) となった．
\mi\:学習セットのみで学習した場合，適合率・再現率とも中程度 (0.586--0.715) であった．両方の学習セットで学習した場合，\mi\:学習セットのみ用いた場合に比べ，4モデルとも同等かやや高い適合率・再現率となった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{{\usefont{T1}{ptm}{b}{sc}Hosomichi} での評価結果}
\ar\:学習セットのみで学習した場合，BERT，RoBERTaでは適合率よりも再現率がやや高くなり，ELYZA，Swallowでは逆に適合率が再現率よりもやや高くなった．\mi\:学習セットのみで学習した場合，BERTを除く3モデルにおいて大差で適合率よりも再現率が高くなった．両方の学習セットで学習した場合，一方の学習セットのみ用いた場合に比べ，全モデルとも，適合率・再現率ともに高い精度を示した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{{\usefont{T1}{ptm}{b}{sc}Tokkan} での評価結果}
\ar\:学習セットのみで学習した場合，Swallowでは適合率よりも再現率がやや高く，他の3モデルでは適合率がやや高くなった．\mi\:学習セットのみで学習した場合，4モデルとも適合率よりも再現率が顕著に高い傾向が見られた．両方の学習セットで学習した場合，一方の学習セットのみ用いた場合に比べ，4モデルで適合率が向上し，RoBERTaを除き再現率も向上した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{評価結果の総括}

現代旅行記の\ar\:学習セットと近世災害記録の\mi\:学習セットについて，どちらを用いた方が有効か，また適合率・再現率の相対的関係がどうなるかといった点は，モデル・テストセットにより異なる結果となり，端的な結論は述べにくい．目立った点として，\mi\:学習セットで学習した際は，\ar\:，\ho\:，\to\:テストセットで低適合率・高再現率の傾向が見られ，逆に\ar\:学習セットで学習した際は，\mi\:および\ho\:テストセットで適合率・再現率とも低くなった（{\to}では比較的高い適合率・再現率となった）．この説明として，(a) {\ar}と{\to}，(b) {\mi}，(c) {\ho}の各グループでLREの形態的特徴やLRE出現密度（テキスト量あたりのLRE数）などの観点での性質の違いが存在しており，性質の異なるデータ間での学習・評価では必要十分なLREの特徴が学習されず，特に\mi\:学習セットで学習した際は他データではLREではない表現が過剰に抽出される結果になったということが考えられる．
性質の異なる\ar\:，\mi\:の両方の学習セットを混ぜることは有効であり，歴史的テキストである\mi\:，\ho\:，\to\:の3テストセットでは，各モデルについて大半のケースで，両方の学習セットを用いることで適合率・再現率が向上した．
したがって，現代日本語対応モデルを用いた歴史的テキストからのLRE抽出では，現代・歴史的テキストの両方のアノテーションデータを用いる戦略が有効であると，本実験の範囲では結論できる．
なお，現代語テキストである\ar\:テストセットでは，前述の通り，現代日本語対応モデルが歴史的テキストのアノテーションデータ（\mi\:学習セット）を追加で用いることで得られる恩恵は確認できなかった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{事例分析}
\label{sec:analysis}

正確な抽出が難しい事例の傾向を確認するため，誤抽出（LREではないものを誤って抽出したもの）および抽出漏れ（正しいLREの抽出に失敗したもの）の観点で，\ho\:および\to\:テストセットでの抽出誤り事例の分析を行った．各モデルの予測事例については，3回の実行のうち1回目の実行結果を選択した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{誤抽出事例の分析}

以降，\ref{sec:analysis_same}--\ref{sec:analysis_noun_noun}節にて，3種類の誤抽出事例を示す．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{同格表現を含む地名}
\label{sec:analysis_same}

正確なスパンでの抽出が困難であった事例の1つ目に，「同格表現を含む地名」を挙げる．
ここでの同格表現とは，「という」「との」「とする」など，場所に関する固有名詞や一般名詞を繋げて1つの句を作る表現を指す．
同格表現を含む地名の例として，「いせの國長島といふ所」や「なごといふ浦」 (\ho)，「清水川という村」や「寿都という港」 (\to) が正解LREとしてアノテーションされている．
これらの正解アノテーションは，\ref{sec:app_anno}節で前述した「全体として1つの場所を指すと考えられるひとまとまりの表現を1スパンとする」という考え方に基づき施されたものである\footnote{後段タスクとしてジオコーディングを想定する場合，「寿都という港」を1スパンとして該当する港の地理座標と紐づけることは直感的と思われる．ただし，地域レベルの情報のみに興味がある場合に「寿都」のみスパンとする方法や，「寿都」と「港」と「寿都という港」という重なりのあるスパンをいずれも正解とする方法など，別のアノテーション方法もあると考えられる．}．本分析は，このアノテーション方法に即したモデルの予測が行われているかという観点で行う．
本ケースに該当する誤抽出事例の例を表\ref{fig:analyzer_1}に示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 5
\begin{table}[t]
\input{03table05.tex}%
\caption{「同格表現を含む地名」に対するモデル抽出結果の例（正解またはモデル出力スパンを下線で表す）．}
\label{fig:analyzer_1}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

表\ref{fig:analyzer_1}の事例(a)，(b)は，ともに\mi\:学習セットで学習したモデルの抽出結果であり，4モデルのほとんどのケースで同格表現の前方と後方の地名を分けて抽出しているか，前方の地名のみ抽出しているか，完全に抽出に失敗している．唯一，Swallowは事例(b)において正解LRE「清水川という村」を抽出できていた．
\mi\:学習セットには，「といふ」が正解スパンに含まれる事例は1例（「\underline{蛤丁金子横丁俗に中うらといふ此所より}$\cdots$」）のみ存在し，「といふ」が正解スパン外となっている事例は3例（例：「柳町\underline{常州屋} といふ質屋」）存在した\footnote{\mi\:データのアノテーションはクラウドソーシングで付けられたもので，アノテーション揺れはある程度存在していると想定される．}．このような形式の正例を含まない\ar\:学習セットのみで学習したCLMでは「AといふB」形式の事例の抽出に失敗することがより多かったことも踏まえると，これらCLMでは，僅か1件の正例であってもそこから正例のパターンを学習できる適応能力を有している，という可能性が考えられる\footnote{表\ref{fig:analyzer_1}に示した1つ目の乱数シード値$s_1$の結果の他，2つ目，3つ目の乱数シード値$s_2$，$s_3$の結果も確認した．ELYZA，Swallowの$s_2$，$s_3$の結果とも，{\ar}で学習した場合は「清水川」のみの抽出または抽出なしだったが，{\mi}で学習した場合は「清水川という村」の抽出に成功していた．}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{地名の連続}
\label{sec:analysis_continurous}

正確なスパンでの抽出が困難であった事例の2つ目に，「地名の連続」を挙げる．地名の連続とは，「\underline{月山} \underline{湯殿}」 (\ho) のように，異なる場所を指す地名が区切り記号なしで列挙され，それぞれを別のLREとして認識することが要求される事例を指す．
本ケースに該当する誤抽出事例を表\ref{fig:analyzer_2}に示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 6
\begin{table}[t]
\input{03table06.tex}%
\caption{「地名の連続」に対するモデル抽出結果の例．}
\label{fig:analyzer_2}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

表\ref{fig:analyzer_2}の事例(c)，(d)は，ともに\ar\:学習セットで学習したモデルの抽出結果であり，いずれのモデルも連続する2つの地名を1つのスパンとして誤抽出している．
\ar\:データでは，階層関係にある地名が連続する場合には全体を1スパンとするアノテーション（例：「\underline{佐賀県唐津市高島}」）が行われており，階層関係にない地名が連続する場合には読点などの区切り記号で区切られる．そのため，連続する地名全体を1スパンとして抽出するパターンをモデルが学習した，ということが理由として考えられる．
一方，\mi\:学習セットは，連続する地名を別スパンとする正例
（例：「\underline{桜田} \underline{久保丁} \underline{びせん丁} \underline{ふしミ丁}辺」）を含んでおり，同データで学習したモデルでは，事例(c${}^\prime$)，(d${}^\prime$)のように，連続する地名を分割する正しい抽出に成功するケースが多くなっていた．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{``名詞‐の‐名詞''型の地名}
\label{sec:analysis_noun_noun}

正確なスパンでの抽出が困難であった事例の3つ目に，「``名詞‐の‐名詞''型の地名」を挙げる．``名詞‐の‐名詞''型の地名とは，「\underline{加賀の府}」 (\ho) や「\underline{白石の町}」 (\to) のように，場所を表す固有名詞や一般名詞が格助詞「の」で連接され，全体として1つの場所を表している事例を指す．
本ケースに該当する誤抽出事例を表\ref{fig:analyzer_3}に示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 7
\begin{table}[t]
\input{03table07.tex}%
\caption{「``名詞‐の‐名詞''型の地名」に対するモデル抽出結果の例．}
\label{fig:analyzer_3}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

表\ref{fig:analyzer_3}の事例(e)，(f)は，\ar\:学習セットで学習したモデルの抽出結果であり，多くのモデルで``名詞‐の‐名詞''型のスパン全体の抽出に失敗している．
一方，\mi\:学習セットで学習したモデルの抽出結果については，事例(e${}^\prime$)では各モデルでスパン全体の抽出に成功した．事例(f${}^\prime$)は，「[地名1][地名2]の間」という形式の表現を1スパンとするややイレギュラーな事例であり，各モデルとも変わらず抽出失敗であったものの，BERTによる「郡山の間」のように惜しい抽出結果も見られた．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{抽出漏れ事例の分析}
\label{sec:analysis_recall}

抽出漏れが多かったタイプの事例の一例として，「``川''を含むLRE」を挙げる．
表\ref{fig:example}の事例(g)および(g${}^\prime$)のように，{\mi}学習セットで学習した4モデル中3モデルで「名とり川」の抽出に成功した一方，\ar\:学習セットで学習した4モデルは，「名とり川」といった川名の抽出に失敗していた．これは，本実験において，\ar\:データにおける川名のLREを正例として扱っていないことから，想定される結果である\footnote{\ar\:データのアノテーション基準では，地名の一種と言える川名と，施設名の一種と言える鉄道路線名・道路名などに対し，線状のLREを表す同一のラベル\texttt{LINE-NAME}を付与している．本実験では，路線名等を抽出対象に含めないために，同ラベルの付いた事例を正例から除外している．}．
例(h)の「湯の川」については，各モデルとも抽出できており，この表現を固有の地名として認識できていると言える．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 8
\begin{table}[t]
\input{03table08.tex}%
\caption{「``川''を含むLRE」に対するモデル抽出結果の例．}
\label{fig:example}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{誤り事例の解消に向けた議論}

モデルによる抽出が難しかった事例について，誤抽出事例として，
\begin{enumerate}
 \item 同格表現を含む地名（例：「\underline{なごといふ浦}」）
 \item 地名の連続（例：「\underline{月山} \underline{湯殿}」）
 \item ``名詞‐の‐名詞''型の地名（例：「\underline{加賀の府}」）
\end{enumerate}
を挙げ，抽出漏れ事例として，
\begin{enumerate}
 \setcounter{enumi}{3}
 \item ``川''を含むLRE（例：「\underline{名とり川}」）
\end{enumerate}
を挙げた．
ただし，誤り(1)～(4)は，抽出結果を観察し，件数が多くパターンとして類型化しやすいものを挙げたものであり，実際に生じている誤りを網羅的に説明するものではない点に留意されたい．
これらの誤りが生じた理由としては，(i)学習データ（特に現代語テキスト）と評価データでのアノテーション基準が単に異なっていたため，(ii)評価データである古典語テキストに特徴的な表現が存在するため，という2点が考えられる．

誤り(1)，(4)は，主に理由(i)アノテーション基準の違いに起因する部分が大きいと考えられ，必ずしも解析対象データと同時代・同ドメインのテキストでなくても，つまり代替的に現代語テキストを用いても，解析対象と同様の基準でアノテーションされた（疑似）学習事例を用意することである程度解決できる可能性がある．

誤り(2)，(3)は，現代語ではあまり見られない表現・スタイルであり，主に理由(ii)古典語テキストに特徴的な表現に起因する部分が大きいと考えられ，古典語のラベルなしまたはラベル付きデータの活用が必要と考えられる．ただし，抽出対象個所（つまりLRE）のみ古典語特有の表現であるような事例を，学習データに加えるだけでも有効なのか，周辺文脈も含めて古典語特有の表現やスタイルのテキストを用いた学習が必要であるのかは明らかでなく，さらなる調査が必要である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

本研究では，我々が構築した近代・近世紀行文の場所参照表現 (LRE) アノテーションデータセットとともに，既存の現代および近世テキストデータセットを使用し，各時代のテキストに対する日本語言語モデルのLRE抽出精度を調査した．
実験から，現代語・古典語両方のラベル付きデータでfine-tuningすることの有効性を確認した．
また，誤り事例の分析を行い，古典語テキストに特徴的な表現・スタイルで書かれたLREへの対応が必要であることを確認した．

今後の展望として，(1)古典語ラベルなしデータの活用も含め，歴史的テキストを高精度に解析可能とするモデル学習方法の探求，(2)新たな歴史的テキストへのLREアノテーションによる評価対象の拡充，(3)歴史的テキストを地図上に接地するジオコーディングのためのデータおよび手法の構築・評価，に取り組む予定である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本研究はJSPS科研費 JP23K24904と国立国語研究所 共同利用型共同研究 (B)「歴史的日本語資料のためのジオパージング」および基幹研究プロジェクト「開かれた共同構築環境による通時コーパスの拡張」の助成を受けたものです．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.8}
\bibliography{03refs}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\appendix

\section{アノテーション基準の詳細}
\label{sec:anno_criteria}

「おくのほそ道」および「突貫紀行」テキストに対するアノテーションは，以下のアノテーション基準に基づいて行った．
付与対象のラベルは\ref{sec:app_anno}節の表\ref{tab:anno_label}に示した通りである．ただし，場所としての種類（ラベル）や場所を指すかどうか自体が自明でない表現には，暫定的に\texttt{UNCERTAIN}ラベルを付与し，本実験では抽出対象外とした．
なお，例の多くは「おくのほそ道」の本文に含まれる実例だが，一部架空の作例も含む．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{基本方針}
 \begin{itemize}
 \item 実世界の地名・施設名・乗り物名を指し示す言語表現を場所参照表現としてアノテーションする．地名・施設名については，固有名か，一般名詞句かをラベルにより区別する．
\end{itemize}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{場所参照表現の範囲について}
\begin{enumerate}
 \item 「固有名詞＋一般名詞」で名詞句をなす場合，名詞句全体を1つの場所表現としてアノテーションする．
 \begin{itemize}
 \item 例）「\underline{不二の峰}\,${}_\texttt{LOC-NAME}$」，「\underline{千住といふ所}\,${}_\texttt{LOC-NAME}$」，「\underline{玉藻の前の古墳}\,${}_\texttt{UNCERTAIN}$」
 \end{itemize}
 \item 「一般名詞（＋格助詞``の''）＋一般名詞」で名詞句をなす場合，名詞句全体を1つの場所表現としてアノテーションする． 
 \begin{itemize}
 \item 例）「\underline{農夫の家}\,${}_\texttt{FAC-NOM}$」，「\underline{自の家}\,${}_\texttt{FAC-NOM}$」，「\underline{我國}\,${}_\texttt{UNCERTAIN}$」
 \end{itemize}
 \item 「指示語＋一般名詞」で名詞句をなす場合，名詞句全体を1つの場所表現としてアノテーションする． 
 \begin{itemize}
 \item 例）「\underline{此あたり}\,${}_\texttt{UNCERTAIN}$」
 \end{itemize}
 \item 地名が連続して表記される場合，（パターン1）連続する地名が階層をなす場合は全体でひとつの場所表現としてアノテーションする．（パターン2）単に別々の地名が並置されている場合は分けてアノテーションする．
 \begin{itemize}
 \item パターン1の例）「\underline{奈良県生駒市}\,${}_\texttt{LOC-NAME}$」
 \item パターン2の例）「\underline{桜井市}\,${}_\texttt{LOC-NAME}$ \underline{生駒市}\,${}_\texttt{LOC-NAME}$」
 \end{itemize}
 \item 主要部が地名ではない名詞句の場合，場所を指す表現でなければ場所参照表現としてアノテーションしない．
 \begin{itemize}
 \item 例）「\underline{松島}\,${}_\texttt{LOC-NAME}$の月」
 \end{itemize}
\end{enumerate}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{場所参照表現かどうかの認定について}
\begin{enumerate}
 \item 乗り物表現は，移動手段として実際に使用されているかに関わらずアノテーションする．
 \begin{itemize}
 \item 例）「\underline{舟}\,${}_\texttt{VEHICLE}$の上で働いて一生を送り」
 \end{itemize}
 \item 指示語等を伴う場合も，特定の場所を指すならアノテーションする．
 \begin{itemize}
 \item 例）「\underline{同所}\,${}_\texttt{LOC-NOM}$」，「\underline{近辺}\,${}_\texttt{LOC-NOM}$」
 \end{itemize}
 \item 例えや比喩にあたるような場合，暫定的に\texttt{UNCERTAIN}ラベルを付与する．
 \begin{itemize}
 \item 例）「\underline{草の戸}\,${}_\texttt{UNCERTAIN}$」（草庵），「\underline{幻の巷}\,${}_\texttt{UNCERTAIN}$」（別れ道），「\underline{黒髪山}\,${}_\texttt{UNCERTAIN}$」（和歌では黒染めの法衣のこと，地の文では男体山のこと）
 \end{itemize}
 \item 実在しない場所を指す表現や，指示対象の場所が曖昧である表現の場合，暫定的に\texttt{UNCERTAIN}ラベルを付与する．
 \begin{itemize}
 \item 例）「\underline{濁世塵土}\,${}_\texttt{UNCERTAIN}$」（「濁世」「塵土」ともに俗世のこと），「旅人の\underline{道}\,${}_\texttt{UNCERTAIN}$」
 \end{itemize}
\end{enumerate}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{アノテーションデータセットの記述統計}

表 \ref{tab:label_num}に，「おくのほそ道」 ({\ho}) および「突貫紀行」 ({\to}) データの文数とラベル別LRE件数を示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 9
\begin{table}[t]
\input{03table09.tex}%
\caption{{\ho}，{\to}データの文数・ラベル別LRE件数}
\label{tab:label_num}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{モデルのハイパーパラメタ}
\label{sec:parameter}

 MLMとCLMのfine-tuningで用いたハイパーパラメタの設定を表 \ref{tab:hyperparameter}に示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 10
\begin{table}[t]
\input{03table10.tex}%
\caption{モデル学習時に用いたハイパーパラメタ}
\label{tab:hyperparameter}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


\clearpage
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{片山　歩希}{2023年奈良工業高等専門学校専攻科卒業．2025年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了．現在，日立システムズに在籍．言語処理学会会員．}

\bioauthor{東山　翔平}{2014年神戸大学大学院システム情報学研究科博士課程前期課程修了．2022年奈良先端科学技術大学院大学先端科学技術研究科博士後期課程修了．博士（工学）．日本電気株式会社を経て，現在，情報通信研究機構研究員，奈良先端科学技術大学院大学客員助教，国立国語研究所共同研究員．自然言語処理の研究に従事．言語処理学会会員．}

\bioauthor{大内　啓樹}{奈良先端科学技術大学院大学先端科学技術研究科准教授．2015年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了．2018年同博士後期課程修了．博士（工学）．2018年から2021年まで理化学研究所AIPセンター特別研究員．2021年から2024年まで奈良先端科学技術大学院大学先端科学技術研究科助教．2021年より理化学研究所AIPセンター客員研究員．2024年より現職．情報処理学会，言語処理学会，地理情報システム学会各会員．}

\bioauthor{坂井　優介}{2024年奈良先端科学技術大学院大学博士後期課程修了．博士（工学）．同年より奈良先端科学技術大学院大学先端科学技術研究科情報科学領域助教．自然言語処理分野の研究に従事．情報処理学会，言語処理学会，ACL各会員．}

\bioauthor{竹内　綾乃}{国文学研究資料館特任助教. 2011年 University of California，Los Angeles，Department of East Asian Studies，MA課程修了．2019年 University of California，Los Angeles，Department of Asian Languages and Cultures，Ph.D課程修了．Ph.D. in Asian Languages and Cultures．2018年から2019年までシンガポール国立大学スマートシステム研究所グラヂュエートインターン．2020年から2024年まで国立国語研究所非常勤研究員．2024年より現職．Alliance of Digital Humanities Organization，The Poetics And Linguistic Association，日本語学会，European Association for Japanese Studies，言語処理学会各会員.}

\bioauthor{坂東　　諒}{2014年専修大学文学部日本語学科卒業．2017年より現職の国立国語研究所言語資源開発センター技術補佐員．}

\bioauthor{橋本　雄太}{人間文化研究機構国立歴史民俗博物館准教授．博士（文学）．2017年京都大学大学院文学研修科情報・史料学専修中退．2017年人間文化研究機構国立歴史民俗博物館テニュアトラック助教．2022年より現職．}

\bioauthor{小木曽智信}{1995年東京大学文学部日本語日本文学（国語学）専修課程卒業．1997年東京大学大学院人文社会系研究科日本文化研究専攻修士課程修了．2001年同博士課程中途退学．2014年奈良先端科学技術大学院大学情報科学研究科博士課程修了．博士（工学）．2001年明海大学講師等を経て，2009年人間文化研究機構国立国語研究所准教授，2016年より教授．言語処理学会，情報処理学会，日本語学会各会員．}

\bioauthor{渡辺　太郎}{1994年京都大学工学部情報工学科卒業．1997年京都大学大学院工学研究科情報工学専攻修士課程修了．2000年Language and Information Technologies，School of Computer Science, Carnegie Mellon University, Master of Science取得．
2004年京都大学博士（情報学）．ATRおよびNTT，NICTにて研究員，また，グーグルでソフトウェアエンジニアとして勤めた後，2020年より奈良先端科学技術大学院大学教授．自然言語処理や機械学習，言語モデル，機械翻訳の研究に従事．}

\end{biography}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\biodate



\end{document}


