\documentclass[japanese]{jnlp_3.7}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
\usepackage{array}
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition

% 追加したパッケージ
\usepackage{ascmac}
%%%%%\usepackage{comment}
\usepackage{enumitem}
\usepackage{multirow}
%%%%%\usepackage{multicol}

%プリアンブル
%%%%%\newcommand{\greenul}[1]{\textcolor{green}{\underline{\textcolor{black}{#1}}}}   %赤いアンダーライン


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{31}
\Number{2}
\Month{June}
\Year{2024}
%%%%\Issuetitle{「　　　　」特集号}

\received{2023}{11}{1}
\revised{2024}{2}{8}
%%%%%\rerevised{2006}{5}{6}
\accepted{2024}{3}{22}

\setcounter{page}{707}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{国会および地方議会の会議録に基づく\\大規模なコーパスと事前学習済み言語モデルの構築}
\jauthor{永渕　景祐\affiref{HU_IST_GS} \and 木村　泰知\affiref{OUC}\affiref{RIKEN_AIP} \and 門脇　一真\affiref{JRI} \and 荒木　健治\affiref{HU_IST_F}
}
\jabstract{
本研究では，Web上に公開されている国会および地方議会の会議録を収集し，大規模な会議録コーパスを構築した．
また，会議録コーパスを用いて，いくつかの派生系を含む日本語の政治ドメインに適応した事前学習済み言語モデルを構築した．
政治ドメインのタスクでは，提案モデルは従来のモデルよりも優れた性能を示し，汎用ドメインのタスクでも，提案モデルは従来のモデルに匹敵する性能を示した．
また，追加の事前学習によるドメイン適応において，学習ステップ数の増加が性能の向上に影響を大きく与えていることや，最初の事前学習で用いたコーパスも併用することで，非適応ドメインの性能を維持しつつ適応ドメインにおける性能を向上させることが可能であることを示した．
\renewcommand{\thefootnote}{}
\footnote[0]{本研究の一部は，電子情報通信学会技術研究報告 言語理解とコミュニケーション研究会 (c)ICICE 2023 \cite{nagafuchi-2023-nlc} に基づく．}
\renewcommand{\thefootnote}{\arabic{footnote}}
}
\jkeywords{事前学習済み言語モデル，コーパス構築，議会会議録，ドメイン適応}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\etitle{
Building a Large Corpus and Pre-trained Language Models from National and Local Assembly Minutes
}
\eauthor{Keiyu Nagafuchi\affiref{HU_IST_GS} \and Yasutomo Kimura\affiref{OUC}\affiref{RIKEN_AIP} \and Kazuma Kadowaki\affiref{JRI} \and {\linebreak}Kenji Araki\affiref{HU_IST_F}}

\eabstract{
In this study, we collected minutes from national and local assemblies published on the web, constructing a large corpus.
In addition, we developed pre-trained language models adapted to the Japanese political domain using the constructed corpus of meeting records, incorporating several derivatives.
Our models demonstrated superior and comparable performances to conventional models for tasks within the political and nonpolitical domains, respectively.
In addition, we showed that increasing the number of training steps during domain adaptation with additional pre-training improves performance significantly.
Furthermore, leveraging the corpus from the initial pre-training enhances performance in the adapted domain while maintaining performance {\newpage}in the non-adapted domains.
}
\ekeywords{Pre-Trained Language Model, Corpus Construction, Assembly Minutes, Domain Adaptation}

\headauthor{永渕，木村，門脇，荒木}
\headtitle{国会および地方議会の会議録に基づく大規模コーパスと事前学習済み言語モデルの構築}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\affilabel{HU_IST_GS}{北海道大学大学院情報科学院}{Graduate School of Information Science and Technology, Hokkaido University}
\affilabel{OUC}{小樽商科大学}{Otaru University of Commerce}
\affilabel{RIKEN_AIP}{理化学研究所革新知能統合研究センター}{Center for Advanced Intelligence Project, RIKEN}
\affilabel{JRI}{株式会社日本総合研究所}{The Japan Research Institute, Limited}
\affilabel{HU_IST_F}{北海道大学大学院情報科学研究院}{Faculty of Information Science and Technology, Hokkaido University}
% \affilabel{NLC_COPYRIGHT}{}{}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%





%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%sec1
\section{はじめに}\label{sec:introduction}

近年，BERT \cite{devlin-2019-bert} をはじめとする，Transformer \cite{vaswani-2017-transformer} に基づく事前学習済み言語モデルが，様々なダウンストリームタスクにおいて優れた性能を発揮している．

これらのモデルのタスクにおける性能をより高める主な手法として，事前学習における大規模なコーパスの使用や学習ステップ数の増加，およびドメイン適応の研究が行われている．

一般的に，事前学習における大規模なコーパスの使用や学習ステップ数の増加によって，モデルの性能は向上する．
Liuら\cite{liu-2019-roberta}は，RoBERTaを提案する際，事前学習に用いるコーパスのサイズを，16GBから160GBへと大きくすることによって，モデルの性能が向上することを示した．
また，学習ステップ数を，100Kステップから500Kステップへと増やすことによっても，モデルの性能が向上することを示した．
この研究は，以降に提案されるモデルに大きな影響を与えた．

特に，大規模なコーパスの使用に関しては，Kaplanら\cite{kaplan-2020-scaling}により観測されたスケーリング則やGPT-3 \cite{brown-2020-gpt3} の登場により，さらに裏付けられた．
その結果として，昨今のモデルは，Wikipediaのような小規模なテキストデータのみをコーパスとして用いるものから，CC-100 \cite{wenzek-2020-ccnet,conneau-2020-unsupervised}，mC4 \cite{raffel-2020-t5}，OSCAR \cite{ortiz-2019-asynchronous,ortiz-2020-monolingual}など，Webに基づく大規模なテキストデータもコーパスとして用いるものへと移り変わりつつある．

なお，本稿では，BERT \cite{devlin-2019-bert}の構築に用いられたWikipediaやBooksCorpusと同程度のデータサイズ（十数GB）のコーパスを小規模，Baevskiらのモデル \cite{baevski2019-cloze}やRoBERTa \cite{liu-2019-roberta}の構築に用いられたような，BERTのコーパスよりも大きなデータサイズ（数十GB以上）のコーパスを大規模と呼称する．

また，タスクのドメインが専門的なものである場合，モデルのドメイン適応が有効である．
代表的な研究として，生物医学ドメインの論文から構築したコーパスを用いて，汎用的なモデルのさらなる事前学習を行うことにより構築したBioBERT \cite{lee-2019-biobert}や，科学ドメインの論文から構築したコーパスを用いて，一からモデルの事前学習を行うことにより構築したSciBERT \cite{beltagy-2019-scibert}が知られており，どちらのモデルも適応ドメインのタスクにおいて，汎用的なモデルを上回る性能を示した．
日本語を対象とした研究においても，医療・科学・金融・法律などのドメインに適応したモデルが提案されており，それぞれのドメインのタスクにおいて優れた性能を示している \cite{kawazoe-2021-uthbert,yamauchi-2022-academicroberta,suzuki-2023-finbert,miyazaki-2022-jlbert}．
また，BioBERTのように，汎用的なモデルのさらなる事前学習を行う手法と，SciBERTのように，一からモデルの事前学習を行う手法のどちらが適しているかについても，議論がなされている．
日本語を対象とした研究において，金融ドメインに焦点を当てたSuzukiら \cite{suzuki-2023-finbert}や法律ドメインに焦点を当てたMiyazakiら \cite{miyazaki-2022-jlbert}は，汎用的なモデルのさらなる事前学習を行う手法の方が優れた性能を発揮することを示した．

しかし，従来の日本語を対象としたモデルのドメイン適応に関する研究には，下記の4つの課題があった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{enumerate}
    \item 
    一般的なドメインにおける大規模なコーパスの重要性と，ドメイン適応の重要性はそれぞれ独立には示されているものの，
    それらを組み合わせることによる有効性を評価する研究は行われておらず，大規模な適応ドメインのコーパスの構築も行われていない．既存のドメイン適応の研究では，
    ドメインの制限により，データの収集が困難であることから，いずれの研究も適応ドメインのコーパスが10GBを下回る小規模なものである．
    50GBを超えるような大規模な適応ドメインのコーパスの構築や，それを用いたモデルの構築は提案されていない．
    \item 
    日本語のドメイン適応に関する研究は，医療，科学，金融，法律などの分野では行われているものの，
    政治ドメインを対象とした研究が行われていない．
    英語を対象とした研究では，政治に関するテキストを処理することを目的に提案されたPoliBERTweet \cite{kawintiranon-2022-polibertweet}や，ConfliBERT \cite{hu-2022-conflibert}がある． 
    一方，日本語を対象とした研究は，筆者らの先行研究\cite{nagafuchi-2023-nlc}で構築したものを除いて，公開されているモデルは存在しない．
    日本語の政治ドメインのテキストを対象とした研究 \cite{poliinfo-2019-overview,poliinfo-2020-overview,poliinfo-2022-overview}が進められていることから，政治ドメインに特化したモデルの提案が望まれる．
    \item 一からモデルの事前学習を行う手法よりも，汎用的なモデルのさらなる事前学習を行う手法の方が優れている
    ことは示されているが\cite {suzuki-2023-finbert,miyazaki-2022-jlbert}，
    大規模なコーパスを用いた事前学習を行った場合に，どちらの手法が優れた結果を示すかは明らかにされていない．
    また，2つの手法の間に学習ステップ数の差が生じているため，コーパスによる影響なのか，学習ステップ数の増加による影響なのか，明確ではない．
    したがって，学習ステップの差を公平にしたモデルも構築し，比較検証する必要がある．
    \item 非適応ドメインのタスクによる検証が不十分である．
    ドメインの定義は明確にできるものではない．
    例えば，議会だよりのような一般に向けた文書を正しく処理したい場合に，政治ドメインについて会議録などで事前学習したモデルを用いるべきか，一般的なWikipediaなどで事前学習したモデルを用いるべきか，明確ではない．
    したがって，ドメイン適応による非適応ドメインへの悪影響がないことの保証や，悪影響を軽減する手法の提案が必要である．
\end{enumerate}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



そこで，本研究では，上記の4つの課題それぞれの解決のため，日本語の政治ドメインに着目し，国会および地方議会の会議録に基づく大規模なコーパスの構築と，それを用いた事前学習済み言語モデルの構築を行い，政治ドメインと汎用ドメイン\footnote{本稿では，WebやWikipedia等に存在するテキストを広く収集したコーパスを，特に政治・医療・法律・金融等のドメインでフィルタリングすることなく用いるものを汎用ドメインと呼称する．}のタスクにおける実験を行った．
本研究の貢献は，以下のとおりである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{enumerate}
    \item 日本の国会および地方議会の会議録を収集し，データサイズが約70GBに及ぶ大規模なドメインコーパスを構築した．
    \item 日本語の政治ドメインに適応したモデルを構築した．
    構築したモデルが，政治ドメインのタスクにおいて，汎用的なモデルを上回る性能を示すことを明らかにした．
    さらに，構築したコーパスとモデルを一般に公開した\footnote{
        \url{http://local-politics.jp/local-politics-bert/}
    }．
    \item 
    大規模なコーパスを用いて事前学習を行った場合でも， 一からモデルの事前学習を行う手法よりも，汎用的なモデルのさらなる事前学習を行う手法の方が優れていることを示した．
    また，従来の研究で指摘されていた汎用的なモデルのさらなる事前学習による性能向上は，学習ステップ数の増加による影響が大きく，コーパスのドメインだけに起因してはいないことを明らかにした．
    \item 
    ドメイン依存のコーパスから構築したモデルが，汎用ドメインのタスクにおいて，汎用的なモデルに匹敵する性能を示したことから，従来使われていたWikipediaなどのコーパスによる学習は必ずしも重要ではないことを明らかにした．
    また，汎用的なモデルのさらなる事前学習を行う場合，最初の事前学習で用いたコーパスも併用してさらなる事前学習を行うことで，非適応ドメインにおける性能を維持しつつ，適応ドメインにおける性能を向上させることが可能であることを明らかにした．
    このことから，ダウンストリームタスクのドメインが明確に判断できないようなケースにおいても，ドメイン依存のコーパスによる学習をすべきであることを示した．
\end{enumerate}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


本稿の残りの部分は，以下のように構成される．

\ref{sec:related_work}章では，事前学習済み言語モデルのドメイン適応や，政治ドメインのテキストを対象とした関連研究について述べる．
\ref{sec:building_corpus}章では，国会および地方議会の会議録の特徴やコーパスとしての利用について，従来のコーパスとの比較を交えて考察し，データの収集およびコーパスの構築を行ったことについて述べる．
\ref{sec:building_model}章では，\ref{sec:building_corpus}章にて構築したコーパスを用いて，コーパスの組み合わせや事前学習の手法の違いがある合計7つのモデルを構築したことについて述べる．
\ref{sec:experiment_political_domain}章では，政治ドメインのタスクによる構築したモデルと従来のモデルの比較検証について述べる．
その結果，日本の国会および地方議会の会議録に基づくコーパスによる事前学習が，政治ドメインのタスクにおけるモデルの性能向上に寄与することを明らかにした．
このとき，大規模なコーパスを使用した場合においても，従来研究と同様に，一から事前学習を行ったモデルよりも汎用的なモデルにさらなる事前学習を行ったモデルの方が高い性能を示すことがわかった．
また，汎用的なモデルのさらなる事前学習による性能向上は，コーパスが効果的なだけではなく，学習ステップ数の増加による影響が大きいことを明らかにした．
\ref{sec:experiment_general_domain}章では，汎用ドメインのタスクによる，構築したモデルと従来のモデルの比較検証について述べる．
その結果，汎用ドメインのタスクにおいて，日本の国会および地方議会の会議録に基づくコーパスによる事前学習が，汎用的なコーパスによる事前学習に匹敵する性能をもたらすことを明らかにした．
また，汎用的なモデルのさらなる事前学習を行う場合，最初の事前学習で用いたコーパスも併用してさらなる事前学習行うことで，非適応ドメインにおける性能を維持しつつ，適応ドメインにおける性能を向上させることが可能であることを明らかにした．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%sec2
\section{関連研究}\label{sec:related_work}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%sec2.1
\subsection{事前学習済み言語モデルのドメイン適応}

事前学習済み言語モデルを構築する際，WikipediaやCommon Crawlに基づくテキストデータをコーパスとして用いて事前学習を行うことが一般的である．
しかし，モデルのドメイン適応の研究では，これらのコーパスの他，適応させるドメインのテキストデータをコーパスとして用いてモデルを構築する手法が多く提案されている．

英語においては，モデルのドメイン適応の研究が盛んに行われている．
Leeら\cite{lee-2019-biobert}は，一般的なドメインのテキストと専門的なドメインのテキストでは，単語分布が大きく異なるため，専門的なドメインのタスクにおいてBERTのような事前学習済み言語モデルが性能を発揮するには，専門的なドメインのコーパスで事前学習を行う必要があることを主張し，生物医学ドメインのコーパスを用いてBERTの追加の事前学習を行ったモデルであるBioBERTを提案した．
その結果，生物医学ドメインのタスクにおいて，従来のモデルを上回る性能を示している．
また，Beltagyら\cite{beltagy-2019-scibert}は，専門的なドメインにおいて大規模なラベル付きデータを準備することが困難であることから，科学論文から構築したコーパスを用いてBERTの事前学習を一から行ったモデルであるSciBERTを提案した．
こちらもBioBERTと同様に，科学論文を対象としたタスクにおいて優れた性能を示している．

政治ドメインに適応したモデルもいくつか提案されており，Kawintiranonら\cite{kawintiranon-2022-polibertweet}は，フェイクニュース検出や選挙世論分析を行うことを目的として，Twitterから2020年のアメリカ大統領選挙に関連するTweetを収集し，それを用いて事前学習を行ったモデルであるPoliBERTweetを提案した．
その結果，TwitterのTweetから大統領候補者に対する立場を分類するタスクにおいて，優れた性能を示している．
また，Huら\cite{hu-2022-conflibert}は，政治的な暴力や紛争の分析を行うことを目的として，外交活動記録や国際的なニュースを扱う通信社の記事を収集し，それを用いて事前学習を行ったモデルであるConfliBERTを提案した．
こちらも同様に，政治的な暴力や紛争に関する複数のタスクにおいて，一貫して従来のモデルを上回る性能を示している．

そのほか，金融や法律ドメインにおいても，適応したモデルが提案されている \cite{araci-2019-finbert,chalkidis-2020-legalbert}．

日本語においても，モデルのドメイン適応の研究が注目を集めている．
英語と同様に，医療・科学・金融・法律ドメインに適応した事前学習済み言語モデルが提案されており，各ドメインのタスクにおいて優れた性能を示している \cite{kawazoe-2021-uthbert,yamauchi-2022-academicroberta,suzuki-2023-finbert,miyazaki-2022-jlbert}．

しかし，モデルの政治ドメインへの適応を試みた研究は限られており，筆者らの先行研究\cite{nagafuchi-2023-nlc}で構築したものを除いて，公開されているモデルは存在しない．

日本語におけるモデルのドメイン適応の研究の共通点として，専門的なドメインのコーパスが大規模ではないことが挙げられる． 
一般的にモデルの事前学習に用いられるコーパスであるCC-100の日本語部分の行数は約4億6,000万行，データサイズは約74GBとなっている．
これらのモデルの事前学習に用いられたコーパスは，いずれもCC-100の日本語部分より小規模である．

モデルをドメイン適応する際の事前学習の手法についても議論がなされている．
Chalkidisら \cite{chalkidis-2020-legalbert}とMiyazakiら \cite{miyazaki-2022-jlbert}は，法律ドメインのコーパスを用いたBERTのドメイン適応を行う際に，SciBERT \cite{beltagy-2019-scibert}のように，一からモデルの事前学習を行うSC (pre-training from scratch)と，BioBERTのように，汎用的なモデルのさらなる事前学習を行うFP (further pre-training) の2つ手法で比較を行っている．
また，Gururanganら \cite{gururangan-2020-dont}は，FPと同義であるDAPT (domain adaptive pre-training) の他に，与えられるタスクのラベルなしデータセットを用いて追加の事前学習を行うTAPT (task adaptive pre-training) を提案している．
しかし，これらの事前学習手法のどれが良いかは，構築することができるコーパスの規模や与えられるタスクによって変動し，常に有効な手法が確立されてはいない．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%2.2
\subsection{日本の政治ドメインのテキストデータを対象とした研究}

現在，日本では国および地方公共団体の保有する公共データを (1) 二次利用が可能，(2) 機械判読が容易，(3) 無償利用が可能な形式で公開する，オープンデータへの取り組みが推進されている\footnote{\url{https://www.digital.go.jp/resources/open_data/}}．
この取り組みによる諸課題の解決，経済の活性化，行政の高度化・効率化などが期待されており，政治ドメインにおいてデータを自動処理が重要であることがわかる．

このような背景から，日本の政治ドメインのデータを対象として自然言語処理技術を適用する研究が進展している．
2018年からNTCIRにおいて行われているQA Lab-PoliInfoでは，信憑性のある適切な政治情報を提示することを目的に，一次情報となる国会および地方議会の会議録を対象として，質問応答，自動要約，情報抽出といった自然言語処理のShared Taskを設計し実施している\cite{poliinfo-2019-overview}．
2021年から2022年にかけて実施されたNTCIR-16 QA Lab-PoliInfo-3では，Shared Taskの参加者により従来の事前学習済み言語モデルをシステムの一部として利用した手法が多く提案された\cite{poliinfo-2022-overview}．

このように，日本の政治ドメインのデータを対象とした研究においても，事前学習済み言語モデルの利用がデファクトスタンダードとなりつつある．
このことから，日本語を対象とした政治ドメインに特化したモデルの登場が望まれている．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%3
\section{国会および地方議会の会議録コーパスの構築}\label{sec:building_corpus}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%3.1
\subsection{国会会議録と地方議会会議録について}
国会および地方議会の会議録は，それぞれの議会において開かれる会議の記録を保存し，公表するものである．
国会会議録は日本国憲法第57条，地方議会会議録は地方自治法第123条により，公開が基本的に義務付けられている．
会議録には，議事の日程，出席議員名，発言内容，議案の提出と討議，投票結果などが記載されている．
会議録は，行政機関の透明性を確保し，説明責任を果たすために，非常に重要な役割を有している．

国会会議録は，国会会議録検索システム\footnote{\url{https://kokkai.ndl.go.jp/}}において一般に公開され，テキストまたはPDFの形式で閲覧ができる．
国会会議録検索システムには，第1回国会からのデータが収録されている．
また，国会会議録検索システムは，API\footnote{\url{https://kokkai.ndl.go.jp/api.html}}を提供しており，これを利用することにより，XMLまたはJSONの形式で取得ができる．
以上のことから，国会会議録をテキストの形式で収集することは，大規模かつ容易に可能となっている．

地方議会会議録は，地方公共団体によって，Webサイトにおける公開状況および公開形式が異なる．
例えば，すべての都道府県議会，市議会，区議会は，それぞれのWebサイトにおいて会議録を一般に公開しているが，一部の町議会，村議会は，Webサイトにおいて会議録を一般に公開していない\cite{takamaru-2017-local}．
また，札幌市議会\footnote{\url{http://sapporo.gijiroku.com/voices/}}のように会議録検索システムを利用して公開する団体が多いが，小樽市議会\footnote{\url{https://www.city.otaru.lg.jp/docs/2020113000634/}}のようにPDFの形式で公開している団体もある．
以上のことから，すべての地方議会会議録をテキスト形式で収集することは，国会会議録と比較して困難な状況にある．

国会および地方議会の会議録をコーパスとして使用する利点は，大きく2つある．
1つ目は，人の手によって整文されている点である．
整文とは，文法や表現の修正，不明瞭な部分の明確化，情報の整理や体系化などの作業のことであり，会議の内容を読みやすくするために行われる．
例えば， 第203回国会における菅内閣総理大臣の所信表明演説にて発言された「医療資源を重症者にゲンテン化します。」という言い間違いは，会議録では「医療資源を重症者に重点化します。」という意味が通じる表現に修正される\footnote{\url{https://kokkai.ndl.go.jp/txt/120305254X00120201026/24}}．
2つ目は，含まれる情報の信頼性が高い点である．
国会や地方議会で行われる本会議や委員会では，予算案や法律・条例案などについて討議がなされている．
それらは，人々の生活に密接に関連した広範な内容を含むとともに，公的な場で行われる討議であることから，含まれる情報の信頼性も高いと考えられる．

しかし，欠点もある．
質問応答における議員の発言では，同じ表現の繰り返しを防ぐための代名詞がよく用いられ，1文が長くなる傾向がある\cite{yamamoto-2005-national}． 
この傾向により，複雑な表現が多くなり，モデルが理解しづらい表現を学習してしまうことが考えられる．
また，国会や地方議会の会議録には，特定の政治的立場や価値観を反映されている可能性がある．
これが事前学習に用いられると，モデルもこれらのバイアスを学習してしまうことが考えられる．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%3.2
\subsection{コーパスの構築}\label{subsec:constructing_corpus}


本研究では，事前学習に用いるコーパスとして，3つのコーパスを構築する．
それぞれのコーパスの詳細を表\ref{tab:corpus_detail}に示す．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T1
\begin{table}[b]
\input{15table01.tex}
\caption{コーパスの詳細}
\label{tab:corpus_detail}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



1つ目は，国会会議録のコーパスである．
本研究では，国会会議録検索システム検索用APIを用いて，国会会議録をJSONの形式で収集した．
収集する対象は，1947年1月1日から2022年12月31日までの期間に開かれた本会議および委員会の会議録とし，合計で104,969件を収集した．
その後，議員の発言部分を抽出し，非発言部分や記号などのノイズを除去するクリーニング処理を施し，1行1文のテキストの形式へと加工した．
その結果，処理前は約17GB，処理後は約12GBのデータサイズとなった．

2つ目は，地方議会会議録のコーパスである．
本研究では，各地方公共団体のWebサイトをクローリングすることで，地方議会会議録をHTMLの形式で収集した．
収集する対象は，地方議会が設置されている47都道府県，1,718市町村，23特別区のうちの，710団体の2022年12月31日までの期間に開かれた地方議会の本会議および委員会の会議録とし，合計で553,823件を収集した．
また，PDFなどの形式で公開されているものについては，コーパスとしての利用が困難となるため，収集の対象外とした．
その後，国会会議録と同じく，議員の発言部分を抽出し，非発言部分や記号などのノイズを除去するクリーニング処理を施し，1行1文のテキストの形式へと加工した．
表\ref{tab:example_corpus_cleaning}にクリーニング処理の例を示す．
その結果，処理前は約72GB，処理後は約58GBのデータサイズとなった．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T2
\begin{table}[b]
\input{15table02.tex}
\caption{クリーニング処理の例}
\label{tab:example_corpus_cleaning}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



3つ目は，Wikipediaのコーパスである．
本研究では，Wikipedia日本語版の2021年8月23日時点のダンプデータから，コーパスを構築した．
約4.3GBのデータサイズとなった．

本研究では，モデルの構築に国会会議録および地方議会会議録のコーパスを主に使用し，比較に用いる派生系のモデルの構築にWikipediaのコーパスを使用する．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%3.3
\subsection{構築したコーパスの分析}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F1
\begin{figure}
\begin{center}
\includegraphics{31-2ia15f1.pdf}
\end{center}
%%%%%\includegraphics[width=0.75\linewidth]{figs/heatmap-crop.pdf}
\caption{テキスト間の類似度}
\label{fig:corpus_similarity}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



事前学習済み言語モデルを構築する際は，一般的にWikipediaやCC-100 \cite{wenzek-2020-ccnet,conneau-2020-unsupervised}などのコーパスが用いられる．
政治ドメインが専門的なドメインである場合，国会および地方議会の会議録のテキストと，WikipediaやCC-100のテキストは，類似していないことが考えられる．
そこで，\ref{subsec:constructing_corpus}章において構築した3つのコーパスとCC-100から，各50,000行ずつランダムサンプリングし，Dunnら \cite{dunn-2022-corpussimilarity}が提案し公開しているPythonライブラリ\footnote{\url{https://github.com/jonathandunn/corpus_similarity}}を用いて，各テキスト間の類似度を計算する．

図\ref{fig:corpus_similarity}に，Wikipedia，CC-100，国会会議録，地方議会会議録の各テキスト間の類似度を表したヒートマップを示す．
Wikipediaと国会会議録および地方議会会議録の類似度は，それぞれ49.60\%と54.61\%であり，非常に低い値となっている．
このことから，政治ドメインが専門性の高いドメインであることがわかる．
CC-100とその他のコーパスの類似度は，いずれも70\%を超えている．
このことから，CC-100は広範なドメインの内容を含んでいることがわかる．
国会会議録と地方議会会議録の類似度は，93.75\%であり，非常に高い値となっている．
このことから，会議録の性質は国会と地方議会に共通していることがわかる．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%4
\section{モデルの構築}\label{sec:building_model}

本研究では，構築した国会会議録および地方議会会議録のコーパスを用いて，BERTの事前学習を行いモデルを構築する．
また，Wikipediaのコーパスも用いたモデルや，日本語における事前学習済み言語モデルのドメイン適応に関する研究に倣ったモデルなどの派生系も含めて構築する．
ここでは，Chalkidisら\cite{chalkidis-2020-legalbert}に倣い，一から事前学習を行う手法をSC (pre-training from scratch)，追加の事前学習を行う手法をFP (further pre-training) と呼ぶ．
また，SCとFPのモデル間では，追加の事前学習による学習ステップ数の差が生じる．
より公平な比較を行うため，SCのモデルに同じコーパスによる追加の事前学習を行ったモデルも構築する．
これをSC-2M\footnote{学習ステップ数が2,000,000 (2Million) であるため．}と呼ぶ．

派生系を含んだ7つの構築するモデルを以下に示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{itemize}
 \item \textbf{SC-min}: 会議録
 \item \textbf{SC-minwiki}: 会議録 + Wikipedia
 \item \textbf{SC-2M-wiki}: Wikipedia → Wikipedia
 \item \textbf{SC-2M-min}: 会議録 → 会議録
 \item \textbf{SC-2M-minwiki}: 会議録 + Wikipedia → 会議録 + Wikipedia
 \item \textbf{FP-min}: Wikipedia → 会議録
 \item \textbf{FP-minwiki}: Wikipedia → 会議録 + Wikipedia
\end{itemize}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%4.1
\subsection{トークナイザの学習}

また，それぞれのモデルの最初の事前学習に用いるコーパスから，トークナイザを学習する．
すなわち，SC-minについては会議録のコーパス，SC-minwikiについては会議録とWikipediaのコーパスから学習を行う．
一方，FPの2つのモデルはWikipediaのコーパスのみから学習された東北大学のBERT\footnote{\url{https://huggingface.co/cl-tohoku/bert-base-japanese-v2}}のトークナイザをそのまま用いる．
本研究では，形態素解析器のMeCab\footnote{\url{https://taku910.github.io/mecab/}}と辞書のUnidic\footnote{\url{https://clrd.ninjal.ac.jp/unidic/}}を用いて分かち書きを行った後に，WordPiece \cite{schuster-2012-wordpiece}によってサブワードに分割することで，トークナイザを学習した．
語彙数は，[CLS]などの特殊なトークンも含めて，32,768語となっている.



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%4.2
\subsection{モデルの事前学習}

モデルの事前学習の際のハイパーパラメータは，東北大学が公開するBERTのGitHubリポジトリ\footnote{\url{https://github.com/cl-tohoku/bert-japanese/tree/v2.0}}と同一のものを使用した．
具体的には，batch sizeは256，warmup stepsは10,000，max seq lengthは512，short seq probは0.1，masked LM probは0.15 とし，whole word maskingを適用した．
ステップ数は，SCは1,000,000を設定し，SC-2MとFPは追加の事前学習を行うため，さらに1，000，000を加えた2,000,000を設定した．
また，learning rateは，1e-4に設定し，
SC-2MとFPの追加の事前学習の際には，Googleが公開する情報\footnote{
  BERTのGitHubリポジトリ (\url{https://github.com/google-research/bert}) の``Pre-training tips and caveats'' セクション．
}を参考に2e-5に設定した．
事前学習は8枚の NVIDIA A100 GPUを用いて行い，それぞれ約44時間で完了した．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%5
\section{政治ドメインのタスクによる実験}\label{sec:experiment_political_domain}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%5.1
\subsection{実験概要}


本実験では，政治ドメインのタスクにおいて，会議録コーパスを用いて構築したモデルが有効となるのかを明らかにする．

また，FPのモデルの方がSCのモデルよりも優れた性能を示すことの理由についても明らかにする．

そのため，従来のコーパスであるWikipediaのみを用いて構築したモデルや学習ステップ数の差を公平にしたモデルとの比較を行う．

さらに，実際のタスクにおける正例や負例を分析することで，会議録コーパスが政治ドメインにおいて有効である理由を考察する．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%5.2
\subsection{実験設定}
本実験には，NTCIR-14 QA Lab-PoliInfo\cite{poliinfo-2019-overview}のClassification taskを用いる．
本タスクは，議題 (Topic) と議員の発言 (Utterance) を比較し，関連があるか (Relevance)，事実検証が可能かb(Fact-checkability)，議員はどの立場をとっているか (Stance) について分類することで，根拠のある意見を見つけることを目的としたタスクである．
表\ref{tab:data_example_classification}にデータの例を示す．
Relevance，Fact-checkabilityのlabelは2値，Stanceのlabelは3値となっている．
本タスクのデータセットは，1つのUtteranceに対して3人または5人の注釈者による複数の正解ラベルが付与されている．
本研究では，評価の単純化のため，多数決により正解ラベルが1つとなるようにデータセットに加工を施した．
なお，この加工によってデータが欠損することはなかった．
表\ref{tab:num_data_classification}にデータセットに含まれるデータの数を示す．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T3
\begin{table}[b]
\input{15table03.tex}
\caption{NTCIR-14 QA Lab-PoliInfoのClassification taskのデータ例}
\label{tab:data_example_classification}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T4
\begin{table}[t]
\input{15table04.tex}
\caption{NTCIR-14 QA Lab-PoliInfoのClassification taskのデータ数}
\label{tab:num_data_classification}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



本タスクは，Relevanceの分類，Fact-checkabilityの分類，Stanceの分類を3つのサブタスクと捉え，分割して解くことができる．
そのため，RelevanceとStanceの分類タスクはTopicとUtteranceの2文をモデルに入力する文ペア分類タスクとし，Fact-checkabilityの分類タスクはUtteranceのみの1文をモデルに入力する文章分類タスクとする．
また，trainデータセットの10％を層化分割し，validationデータセットとして用いる．

fine-tuningのハイパーパラメータは，Mosbachら\cite{mosbach-2021-stability}を参考に設定する．
具体的には，batch sizeは32，learning rateは2e-5，epochは20，warmup ratioは0.1に設定する．
また，max seq lengthは，サブタスクに応じて変更し，RelevanceとStanceの分類では256，Fact-checkabilityの分類では128に設定する．
評価指標には，AccuracyとF1-scoreのマクロ平均を用いる．
このとき，5つの異なるシード値を用いて実験を行い，そのスコアの平均で評価を行う．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%5.3
\subsection{実験結果と考察}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T5
\begin{table}
\input{15table05.tex}
\caption{
    NTCIR-14 QA Lab-PoliInfo Classification taskによる実験結果．
    \textbf{太字}は比較対象8モデル間のベストスコアを表す．
}
\label{tab:result_poliinfo}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



表\ref{tab:result_poliinfo}に，実験結果を示す．
表中でSC-wikiと示しているものは東北大学が公開するBERTであり，これは本実験で構築したSC-min，SC-minwikiと同じハイパーパラメータで学習されコーパスのみが異なるため，比較対象とする．

Relevanceでは，FP-minwikiが0.933/0.956と最も高いAccuracy/F1-scoreを示した．
また，SC-2M-minとSC-2M-minwikiもFP-minwikiに並ぶF1-scoreを示した．
Fact-checkabilityでは，FP-minが0.860と最も高いAccuracyを示した．
また，SC-2M-wikiが0.735と最も高いF1-scoreを示した．
Stanceでは，FP-minモデルが0.657/0.685と最も高いAccuracy/F1-scoreを示した．
なお，すべてのサブタスクに共通して，SC-wikiが最も低いスコアを示した．

以下の節では，実験結果をもとにモデル間の比較を行い考察する．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%5.3.1
\subsubsection{会議録コーパスによる影響}
SCのモデル間を比較すると，すべてのタスクで，SC-minとSC-minwikiの方がSC-wikiよりも高いスコアを示している．
SC-2Mのモデル間を比較すると，Fact-checkabilityを除いた2つのサブタスクでは，SC-2M-minとSC-2M-minwikiの方がSC-2M-wikiよりも高いスコアを示している．
SC-2M-wikiとFPのモデル間では，Fact-checkabilityを除いた2つのサブタスクでは，FP-minとFP-minwikiの方がSC-2M-wikiよりも高いスコアを示しており，Fact-checkabilityでも，FP-minとFP-minwikiの方がSC-2M-wikiよりも高いAccuracyを示している．

これらの結果から，国会および地方議会の会議録に基づくコーパスによる事前学習が，政治ドメインのタスクにおけるモデルの性能向上に寄与することが確認された．特に，RelevanceやStanceのような2文の関係性を推論するタスクにおいては，より優れた性能を発揮する傾向が見られた．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%5.3.2
\subsubsection{事前学習手法とデータサイズ・学習ステップ数による影響}
SCのモデルとFPのモデルを比較すると，FPのモデルの方がSCのモデルよりも高いスコアを示している．
この結果は，従来の日本語を対象としたモデルのドメイン適応に関する研究\cite{suzuki-2023-finbert,miyazaki-2022-jlbert}で示された結果と一致している．
したがって，大規模なデータサイズのコーパスを用いて事前学習を行った場合においても，SCよりもFPの方が優れた性能を発揮することが明らかとなった．

しかし，学習ステップ数が同じであるSC-2MのモデルとFPのモデルを比較すると，Relevanceでは同等のスコアを示しており，Fact-checkabilityとStanceでも，FPのモデルの方がSC-2Mのモデルよりもわずかに高いスコアを示す程度の差しか見られなかった．
これらの結果から，FPによる性能向上は，コーパスが効果的なだけではなく，学習ステップ数の増加による影響が大きいことが確認された．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%5.4
\subsection{分析}
一般的に用いられるコーパスであるWikipediaのみを用いて事前学習を行ったモデルと，政治ドメインに特化したコーパスである会議録のみを用いて事前学習を行ったモデルを比較することで，コーパスによって得られる知識や傾向を分析する．
ここでは，Wikipediaのみをコーパスとして事前学習を行っているSC-2M-wiki，会議録のみをコーパスとして事前学習を行っているSC-2M-minの2つのモデルで比較を行う．

Relevanceサブタスクにおいて，すべての異なるシード値で，SC-2M-wikiが誤り，SC-2M-minが正解した13件の事例を分析したところ，会議録コーパスで事前学習学習を行ったモデルには，大きく3つの傾向が見られた．
以下に，実際のデータの例を交えてその傾向を述べる．

1つ目は，政治的なコンテキストの理解である．
\begin{screen}
\begin{description}[labelwidth=2cm, leftmargin=2.5cm, align=left]
\item[Topic] 特定秘密保護法案を進めるべきである
\item[Utterance] 12月6日深夜に自民党・公明党が特定秘密保護法の採決を強行したことに、満身の怒りをもって抗議いたしたいと思います。
\item[Relevance] 関連あり
\end{description}
\end{screen}
特定秘密保護法案は日本の政治において非常に複雑で議論の多い議題であり，その背景や議論の内容を正確に理解するためにはドメイン特有の知識や文脈が必要となる．
このような政治的なコンテキストを，会議録コーパスのみで学習したモデルが捉えられた事例である．
この傾向は13件中3件の事例において見られた．

2つ目は，ニュアンスや暗黙的な意味の理解である．
\begin{screen}
\begin{description}[labelwidth=2cm, leftmargin=2.5cm, align=left]
\item[Topic] 生活保護の基準額を引き下げるべきである
\item[Utterance] 先日、テレビの報道番組で、東京都内の体が普通どおり健康な55歳の男性が、たばこを吸い、携帯電話も使用して、一般の方々と何ら変わらない生活をしていて、13万5,310円と満額の生活保護費をもらっている様子が流れていました。
\item[Relevance] 関連あり
\end{description}
\end{screen}
この議員の発言は，直接的に「生活保護の基準額を引き下げるべきである」という主張を行っているわけではないが， 生活保護の基準額は高すぎるという批判の意味を含んでおり，関連ありとみなすことができる．
このようなニュアンスや暗黙的な意味を，会議録コーパスのみで学習したモデルが捉えられた事例である．
この傾向は13件中2件の事例において見られた．

3つ目は，複雑な関係性の理解である．
\begin{screen}
\begin{description}[labelwidth=2cm, leftmargin=2.5cm, align=left]
\item[Topic] 高齢者への医療助成を増やすべきである
\item[Utterance] そうした中で、雇用環境が特に厳しいしまへの定着を目指す若者らを対象とした創業等への場づくりとか、医療介護支援が比較的優位な本県の特性に着目した大都市圏の元気な高齢者の誘致につきましても検討を進めてまいりたいというように考えております。
\item[Relevance] 関連なし
\end{description}
\end{screen}
この議員の発言は，「医療介護支援」や「元気な高齢者」といった議題に関連しそうな表現が含まれているが，全体的には「若者を対象とした場づくりや高齢者の誘致による地域振興を進めるべき」という主張であり，「高齢者への医療助成を増やすべきである」という議題とは別の主張となるため，関連なしとみなすことができる．
このような，複雑な関係性を，会議録コーパスのみで学習したモデルが捉えられた事例である．
この傾向は13件中8件の事例において見られた．

これらの傾向から，会議録による事前学習を行ったモデルは，議題と議員の発言の関連を判断する際に，豊富な政治ドメインの背景知識を用いて，正確な文脈理解をしていると考えられる．
一方で，Wikipediaのみを用いて事前学習を行ったモデルは，政治ドメインの背景知識を十分に理解できていないため，誤った分類をしていると考えられる．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%6
\section{汎用ドメインのタスクによる実験}\label{sec:experiment_general_domain}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%6.1
\subsection{実験概要}

本実験では，汎用ドメインのタスクにおいて，政治ドメインへの適応のため会議録コーパスを用いて構築したモデルが，どの程度有効となるのかを明らかにする．
そのため，\ref{sec:experiment_political_domain}章の政治ドメインのタスクによる実験と同様に，従来のコーパスであるWikipediaのみを用いて構築したモデルとの比較を行う．
また，実際のタスクにおける正例や負例を分析することで，会議録コーパスの特性を明らかにする．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%6.2
\subsection{実験設定}
本実験には，日本語言語理解ベンチマークであるJGLUE \cite{kurihara-2022-jglue}のデータセットを使用する．

JGLUEのデータセットには，MARC-ja（感情分類），JSTS（意味的類似度計算），JNLI（自然言語推論），JSQuAD（機械読解），JCommonsenseQA（常識推論）が含まれている．

また，各タスクのtrainデータセットとdevデータセットは公開されているが，testは公開されていない．
本実験では，栗原ら \cite{kurihara-2022-jglue}の実験設定に従い，trainすべてを学習に用いて，devを評価に用いた．

fine-tuningの際のハイパーパラメータや評価指標は，JGLUEのGitHubリポジトリ\footnote{\url{https://github.com/yahoojapan/JGLUE}}に記載されているものに従った．
具体的には，batch sizeは32，warmup ratioは0.1に設定した．
max seq lengthは，タスクに応じて変更し，MARC-jaでは512，JSTS・JNLIでは128，JSQuADでは384，JCommonsenseQAでは64に設定した．
また，learning rateは\{5e-5, 3e-5, 2e-5\}，epochは\{3, 4\}の中から選択し，
探索の結果のうち，devデータセットにおいて最も良かったスコアを示した．
評価指標としては，MARC-ja，JNLI，JCommonsenseQAではAccuracy，JSTSではPearsonおよびSpearman相関係数，JSQuADではExact MatchとF1-scoreを使用した．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%6.3
\subsection{実験結果と考察}


表\ref{tab:result_jglue}に本実験の結果を示す．
\ref{sec:experiment_political_domain}章の政治ドメインのタスクによる実験と同様に，表中でSC-wikiと示しているものは東北大学が公開するBERTであり，比較対象としている．
その実験結果はJGLUEのGitHubリポジトリに記載された値を用いた．
このほか，参考値としてJGLUEのGitHubリポジトリで示されているNICT（BPEあり），Waseda (roberta-base-japanese)の結果も示している．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T6
\begin{table}[b]
\input{15table06.tex}
\hangcaption{
    JGLUEによる実験結果．
    \textbf{太字}はSC-wikiと構築したモデルの8モデル間のベストスコアを表し，\underline{下線}は参考であるNICT，Wasedaも含めた10モデル間のベストスコアを表す．
}
\label{tab:result_jglue}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



SC-wikiと構築したモデルの8モデル間において，MARC-jaでは，SC-2M-minが0.963と最も高いAccuracyを示した．
また，MARC-jaを除いた4つのタスクでは，SC-2M-wikiが最も高いスコアを示した．
具体的には，JSTSでは，0.914/0.874のPearson/Spearman相関係数，JNLIでは，0.908のAccuracy，
JSQuADでは，0.876/0.942のExact Match/F1-score，JCommonsenseQAでは，0.812のAccuracyを示した．
8モデルにNICTとWasedaを加えた10モデル間においては，JSQuADでは，NICTが0.897/0.947と最も高いExact Match/F1-scoreを示し，JCommonsenseQAでは，Wasedaが0.840と最も高いAccuracyを示した．
なお，8モデル間と10モデル間に共通して，MARC-jaでは，SC-2M-wiki，JSTS・JSQuAD・JCommonsenseQAでは，SC-min，JNLIでは，SC-minwikiがそれぞれ最も低いスコアを示した．

以下の節では，実験結果をもとにモデル間の比較を行い考察する．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%6.3.1
\subsubsection{会議録コーパスによる影響}
WikipeidiaのみをコーパスとしているSC-wikiやSC-2M-wikiと会議録のみをコーパスとしているSC-minやSC-2M-minを比較すると，MARC-jaを除いた4つのタスクでは，SC-wikiやSC-2M-wikiの方がSC-minやSC-2M-minよりも高いスコアを示している．
JSTS・JNLI・JSQuADではスコアの差はわずかとなっており，政治ドメインのタスクにおいて見られた2文の関係性を推論するタスクに対して優れた性能を発揮する傾向が，非適応ドメインにおいても確認できる．
しかし，JCommonsenseQAでのスコアの差が大きい．
JGLUEを提案したKuriharaら\cite{kurihara-2022-jglue}は，JCommonsenseQAでは，Wikipediaには記載されにくい常識的な知識を要求するため，Common Crawlに基づくデータをコーパスとしたモデルが高い性能を示す傾向があると述べている．
これは，10モデル間の比較において，CC-100を用いて事前学習を行ったWasedaが最も高いスコアを示していることからも確認できる．
このことから，会議録にはWikipediaよりも常識的な知識が含まれていないことがわかる．

一方，MARC-jaでは，SC-minやSC-2M-minの方がSC-wikiやSC-2M-wikiよりも高いAccuracyを示している．
また，そのほかの会議録をコーパスとして用いたモデルも，同様の結果を示している．
このことから，会議録コーパスがMARC-jaに対して有効であることがわかる．

これらの結果から，日本の国会および地方議会の会議録に基づくコーパスによる事前学習が，汎用的なコーパスによる事前学習に匹敵する性能をもたらすことを確認した．
特に，MARC-jaのような感情分類のタスクに対して，性能を発揮する傾向が見られた．
しかし，JCommonsenseQAのような常識的な知識を要するタスクに対しては，別のコーパスの利用を検討すべきである．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%6.3.2
\subsubsection{会議録コーパスとWikipediaコーパスの併用による影響}
会議録のみをコーパスとしているSC-minやSC-2M-minと会議録とWikipediaの両方をコーパスとしているSC-minwikiやSC-2M-minwikiを比較すると，MARC-jaを除いた3つのタスクでは，SC-minwikiやSC-2M-minwikiの方がSC-minやSC-2M-minよりも高いスコアを示している．
また，SC-wikiと構築したモデルの8モデル間を比較すると，すべてのタスクに共通して，FP-minwikiがベストなモデルに次いで高いスコアを示している．
\ref{sec:experiment_political_domain}章にて行った政治ドメインのタスクによる実験でも，FP-minwikiは一番もしくはそれに準ずる性能を示している．

これらの結果から，モデルのドメイン適応の際に，一般的なコーパスを併用した事前学習を行うと，非適応ドメインにおける性能の改善に繋がることを明らかにした．
特に，FPによるモデルのドメイン適応を行う場合，最初の事前学習で用いたコーパスも併用してさらなる事前学習行うことで，非適応ドメインにおける性能を維持しつつ，適応ドメインにおける性能を向上させることが可能であることを確認した．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%6.4
\subsection{分析}
政治ドメインのタスクによる検証と同様に，一般的に用いられるコーパスであるWikipediaのみを用いて事前学習を行ったモデルと，政治ドメインに特化したコーパスである会議録のみを用いて事前学習を行ったモデルを比較することで，コーパスによって得られる知識や傾向を分析する．
ここでは，Wikipediaのみをコーパスとして事前学習を行っているSC-2M-wiki，会議録のみをコーパスとして事前学習を行っているSC-2M-minの2つのモデルで比較を行う．
また，特徴的な実験結果が見られたMARC-ja，JCommonsenseQAを分析の対象とする．

まず，MARC-jaにおいて，すべての探索したハイパーパラメータで，SC-2M-wikiが誤り，SC-2M-minが正解した8件の事例を分析したところ，会議録のみをコーパスとして事前学習を行ったモデルには，大きく2つの傾向が見られた．

以下に，MARC-jaの実際のデータの例を示す．
\begin{screen}
\begin{description}[labelwidth=2cm, leftmargin=2.5cm, align=left]
\item[sentence] 名作中の名作でありながらなぜこの作品はＤＶＤ化はおろかテレビ放送（確か地上波で２回くらいしか放送されていない）されないのか？ここからはあくまで憶測だが、当時、あるテレビの映画枠（メジャーな番組）で、この映画は放送されたことがある。その数日後、ある団体からクレームがついた。これは一部新聞報道をされたので当時の新聞記事をあされば容易にわかると思う。クレームの内容はキャラクターの描写に問題がありそれにより間違った認識と差別を助長させるというものだった。おそらくこの点がネックになっているものと思われる。しかし、果たしてその団体のクレームは正当性があるものなのかは謎だ。この分野では先進的な位置にいるアメリカでは問題になっていないしヨーロッパでも同様だ。原作小説はピューリッツァー賞まで受賞しているのに。本国ではＤＶＤも小説も発売されている。どうも解せない。そろそろ関係者はきちっとこの問題に対して向き合う必要があるのではないだろうか？逆差別を増長させ、見えない検閲をのさばらせ、不当な封印を解かないと芸術的価値を理解できないままになると思うが。関係者の勇気ある決断を求む。
\item[label] negative
\end{description}
\end{screen}

1つ目は，政治ドメインのタスクによる検証における分析でも見られた，複雑な関係性への理解である．
基本的に商品のレビューは，商品に対する意見の表明であり，他人に読んでもらう前提で書かれている．
従って，疑問の提起や執筆者の意見が複雑に絡んだ長い文章となる傾向がある．
例のsentenceでは，「なぜこの作品はＤＶＤ化はおろかテレビ放送（確か地上波で２回くらいしか放送されていない）されないのか？」という疑問の提起から，「ここからはあくまで憶測だが」という推察や事実の記述が続く．
これは，会議録の質問応答でよく見られる特徴と類似している．
このような複雑な関係性を持つ文章を多く含む会議録を用いて事前学習をしているため，会議録のみをコーパスとして事前学習を行ったモデルは，正確な分類ができていると考えられる．
この傾向は8件中5件の事例において見られた．

2つ目は，硬い言い回しへの理解である．
例のsentenceでは，「果たして」や「解せない」など日常会話では耳にする機会が少ない，硬い表現の単語が散見される．
会議録は，公的な場で行われる討議を記録したものであり，さらに整文が加えられるため，硬い言い回しが多く含まれている．
そのため，会議録のみをコーパスとして事前学習を行ったモデルは，硬い言い回しに対して頑健になっていると考えられる．
この傾向は8件中4件の事例において見られた．

続いて，JCommonsenseQAにおいて，すべての探索したハイパーパラメータで，SC-2M-wikiが正解し，SC-2M-minが誤った108件を分析した．
以下に，JCommonsenseQAの実際のデータの例を示す．
なお，\underline{下線}は各問いにおける正解を示す．
\begin{screen}
Q.伸び縮するものは？ 
(1) ムーブメント 
(2) ナット 
(3) ボルト 
(4) 動作 
(5) \underline{バネ} 

Q.狩りに使うものは？ 
(1) 機関銃 
(2) \underline{ライフル銃} 
(3) 手袋 
(4) ピストル 
(5) 縄 

Q.アマチュアスポーツの祭典といえば何の大会？ 
(1) マラソン 
(2) \underline{オリンピック} 
(3) 県大会 
(4) ヨーロッパ 
(5) 国体 
\end{screen}
SC-2M-wikiが正解し，SC-2M-minが誤ったものの大部分は，例のように物質や文化に関する知識を問うものであり，会議録に含まれていないような内容のものであった．
会議録は，人々の生活に密接に関連した広範な内容を含んでいるが，このような一般常識的な知識に関しての説明は含まれていない．
対して，Wikipediaは，物事を説明するための記事であるため，このような一般常識的な知識に関しての説明を多分に含んでいる．
なおかつ，JCommonsenseQAはこのような質問の割合が非常に多いタスクとなっている．
そのため，会議録のみをコーパスとして事前学習を行ったモデルは，Wikipediaのみをコーパスとして事前学習を行ったモデルと比較して，劣っている性能を示したと考えられる．
この傾向は108件中90件の事例において見られた．

しかし，すべての探索したハイパーパラメータで，SC-2M-wikiが誤り，SC-2M-minが正解した33件の事例を分析したところ，以下のようなケースが見られた．
\begin{screen}
Q.社会での役割などについて、性別による固定観念をなくしていこうという考え方を表す言葉は？ 
(1) ジェンダーギャップ 
(2) ジェンダーベリフィケーション 
(3) ジェンダーバイアス 
(4) \underline{ジェンダーフリー} 
(5) ジェンダーコントラクション 

Q.ゆりかごからが墓場までの長い道のりをなんという？ 
(1) 目印 
(2) 高速道路 
(3) 学問 
(4) \underline{人生} 
(5) ビクトリーロード 

Q.日本と親しくすることは？ 
(1) 訪日 
(2) 来日 
(3) 十日 
(4) \underline{親日} 
(5) 暦  
\end{screen}
社会問題となっているジェンダーフリーの思想や社会保障の標語である「ゆりかごから墓場まで」に関する問いに対して，会議録のみをコーパスとして事前学習を行ったモデルは，しっかりと解答ができている．
このように，政治ドメインと深い関わりを持つ社会問題や用語に関する問いに対しては，頑健であることがわかる．
このことから，会議録による事前学習を行ったモデルは，JCommonsenseQAのような質問応答タスクにおいても，政治ドメインへの適応がしっかりとなされていることがわかる．
この傾向は33件中10件の事例において見られた．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%7
\section{おわりに}\label{sec:conclusion}
本研究では，人手により作成され一般に公開されている，国会会議録と地方議会会議録を大規模に収集し，会議録コーパスを構築した．
また，構築した会議録コーパスを用いて，一から事前学習を行うモデルや，Wikipediaのみを用いて事前学習をした後にさらなる事前学習を行うモデルといった，複数の派生系を含む事前学習済み言語モデルを構築した．

政治ドメインのタスクによる検証の結果，構築したモデルは，すべてのサブタスクにおいて，従来のモデルを上回る性能を示した．
このことから，会議録コーパスを用いた事前学習は，政治ドメインのタスクにおけるモデルの性能向上に寄与することを明らかにした．

また，大規模なコーパスを用いた場合においても，従来研究と同様に，一から事前学習を行うモデルよりもWikipediaのみを用いて事前学習をした後にさらなる事前学習を行うモデルの方が優れた性能を発揮することが明らかとなった．
しかし，これら2つの事前学習手法における学習ステップ数を公平にした場合，大きな性能の差は見られなかった．
このことから，ドメイン適応における汎用的なモデルのさらなる事前学習による性能向上は，コーパスが効果的なだけではなく，学習ステップ数の増加による影響が大きいことを明らかにした．

汎用ドメインのタスクによる検証の結果，構築したモデルは，ほとんどのタスクにおいて，汎用的なコーパスによる事前学習を行ったモデルに匹敵する性能を示した．
特に，感情分類タスクに対して性能を発揮する傾向が見られた．
一方，常識的な知識が乏しくなるため，別のコーパスの利用の検討も必要である．
また，会議録コーパスを用いた事前学習は，会議録でよく見られる複雑な関係性を持つ文章や硬い言い回しに対してはドメインに関わらず有効であることや，政治ドメインに関連する問いに対しては頑健であることを明らかにした．

また，両方の検証の結果から，汎用的なモデルのさらなる事前学習によるドメイン適応を行う際に，最初の事前学習で用いたコーパスも併用して学習を行うことで，非適応ドメインにおける性能を維持しつつ，適応ドメインにおける性能を向上させることが可能であることを明らかにした．

今後は，会議録コーパスに不足している一般常識に関する知識を，信頼性を損なわずに補うことができるデータを調査する．
また，会議録はその性質上，今回検証を行った政治ドメインの他に，金融や法律ドメインとも密接に関連しているため，それらのドメインでの検証も行う．



%%% Acknowledgement %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment
本研究はJSPS科研費JP21H03769の助成を受けたものです．



%%% Bibliography %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
    \bibliographystyle{jnlpbbl_1.7}
%%%%\bibliography{j_yourrefs}
    \bibliography{15refs}



%%% Biography %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{永渕　景祐}{%
2022年小樽商科大学商学部社会情報学科卒業．2024年北海道大学大学院情報科学院修士課程修了．自然言語処理，特に，国会および地方議会会議録を対象としたモデルの構築の研究に従事．
}
\bioauthor{木村　泰知}{%
2004年9月 北海道大学大学院工学研究科電子情報工学専攻修了．2005年4月～2007年3月 小樽商科大学助教授．2007年4月～2018年9月 小樽商科大学准教授．2018年10月～現在 小樽商科大学教授．2010年10月～2011年9月 New York University訪問研究員．2017年10月～現在 理化学研究所 AIPセンター客員研究員．自然言語処理の研究，特に，地方議会会議録を対象としたコーパス構築の整備に従事．
}
\bioauthor{門脇　一真}{%
2011年株式会社日本総合研究所入社．2017年より2020年国立研究開発法人情報通信研究機構研修員・協力研究員．同年より株式会社日本総合研究所先端技術ラボにて自然言語処理に関する研究開発に従事．現在に至る．
}
\bioauthor{荒木　健治}{%
1982年北海道大学工学部電子工学科卒業．1988年同大学大学院博士課程修了．工学博士．同年，北海学園大学工学部電子情報工学科助手．1989年同講師．1991年同助教授．1998年同教授．1998年北海道大学大学院工学研究科電子情報工学專攻助教授．2003年同教授，現在北海道大学大学院情報科学研究院メディアネットワーク部門特任教授．自然言語処理，特に，音声対話処理，機械翻訳，ユーモア処理などの研究に従事．
}
\end{biography}


\biodate   %%%% 受付日の出力（編集部で設定します）

\end{document}
