\documentclass[japanese]{jnlp_3.8}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{array}
\usepackage{hangcaption_jnlp}
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
\usepackage{multirow}
%%%%\usepackage{color}
%%%%\usepackage[dvipdfmx]{graphicx,xcolor}
%%%%\newcommand{\after}[1]{\textcolor{magenta}{#1}}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{31}
\Number{4}
\Month{December}
\Year{2024}
%%%%\Issuetitle{「　　　　」特集号}

\received{2024}{5}{1}
\revised{2024}{8}{1}
\accepted{2024}{8}{28}

\setcounter{page}{1545}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{Transformer モデルを利用したマイクロブログからの\\
	サッカー速報生成}
\jauthor{大鹿　雅史\affiref{Author_1} \and 山田　康輔\affiref{Author_1} \and 笹野　遼平\affiref{Author_1} \and 武田　浩一\affiref{Author_1} }
\jabstract{%
スポーツの試合の放送中，試合に関する多くのコメントがXに投稿されている場合，これらの投稿を読むことで大まかな試合経過の把握が可能である．しかし，投稿の内容は多岐にわたり，これらの投稿から瞬時に試合経過を把握することは容易ではない．そこで，本論文ではサッカーの試合に着目し，試合経過を瞬時に把握できるように X への投稿からスポーツ速報を生成するシステムの構築に取り組む．構築するシステムは，大規模言語モデル T5 をベースに，特定の試合に関連する X への投稿を入力し，一定時間毎に速報，あるいは生成しないことを示す ``NaN'' を生成するモデルを基本とする．しかし，単純なモデルでは速報の生成数が少ないという問題と同じイベントを指す速報文が複数生成される冗長性の問題という二つの問題が生じる．そこで，生成判定器を利用して速報生成数を制御する機構および過去の速報の内容を考慮して冗長性軽減を行う機構を組み込んだモデルを提案する．
\renewcommand{\thefootnote}{}
\footnote[0]{本論文の一部は，2023年度人工知能学会全国大会（第37回）\cite{oshika-jsai}，および，2023 Conference on Empirical Methods in Natural Language Processingで発表したもの\cite{Oshika}である．}
\renewcommand{\thefootnote}{\arabic{footnote}}
}
\jkeywords{時系列要約，ソーシャルメディア}

\etitle{Transformer-based Live Update Generation \\ for Soccer Matches from Microblog Posts}
\eauthor{Masashi Oshika\affiref{Author_1} \and Kosuke Yamada\affiref{Author_1} \and Ryohei Sasano\affiref{Author_1} \and Koichi Takeda\affiref{Author_1} } 
\eabstract{%
When a sports match is broadcast, X users often enjoy sharing the comment and it is possible to roughly understand a match's progress by reading these posts. However, because of the diverse nature of posts, it can be challenging to quickly grasp a match's progress. In this study, we focus on soccer matches and work on building a system to generate live updates from posts so that users can instantly grasp a match's progress. Our system is based on a large language model T5, and outputs updates at certain times by inputting posts related to a specific match. However simply applying the model to this task caused two problems of the number of generated updates and redundant updates. Therefore, we propose mechanisms that incorporate a classifier to control the number of generated updates and a mechanism that takes into account the previous updates to mitigate redundancy.}
\ekeywords{Timeline Summarization，Social Media}

\headauthor{大鹿，山田，笹野，武田}
\headtitle{Transformerモデルを利用したマイクロブログからのサッカー速報生成}

\affilabel{Author_1}{名古屋大学}{Nagoya University}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

マイクロブログの一種であるX\footnote{\url{https://x.com/}}では，多くのユーザによって日々の生活や世の中の出来事などについてポストと呼ばれるテキストベースの投稿が行われている．
テレビやインターネットで中継されるスポーツの試合は，多くのユーザがXにコメントを投稿する出来事の一つであり，試合の状況やプレーへの感情に関するコメントがリアルタイムに投稿される.
特に，特定のチームや選手に関する投稿についてはハッシュタグと呼ばれるキーワードと共に投稿されることが多く，Xのユーザーはこのハッシュタグを利用して気になる試合やチーム，選手の情報を収集することができる.
しかし，投稿の目的は様々であり，試合に関する投稿の内容は，図\ref{fig:tweet}の左に示すような試合内容の情報を多く含むものから，図\ref{fig:tweet}の右に示すような個人の感情を表しただけのものまで多岐にわたり，これらの投稿から試合経過を瞬時に把握することは容易ではない.
そこで，本研究ではサッカーの試合を対象に，試合経過を瞬時に把握することが可能となるよう，試合に関する投稿から試合の速報を生成するシステムの構築に取り組む．
\renewcommand{\thefootnote}{}
\footnote[2]{\llap{$^{2}$~}\texttt{https://x.com/pbw\_u1tksr/status/1595428151911280640}, \\\texttt{https://x.com/dragonbluejays/status/1595428049998483456}}
\renewcommand{\thefootnote}{\arabic{footnote}}
\addtocounter{footnote}{1}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[b]
\begin{center}
\includegraphics{31-4ia5f1.eps}
\end{center}
\caption{Xに投稿されたサッカーの試合に関する投稿例$^{2}$．}
\label{fig:tweet}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

本研究では，事前学習済み言語モデルをベースとした速報生成システムを提案する．
図\ref{fig:exam}に提案システムの概要を示す.
このシステムは，特定のサッカーの試合に関係する投稿集合を入力とし，事前学習済みの言語モデルText-to-Text Transfer Transformer (T5) \cite{T5}を用いてその試合の速報を生成する．
この際，速報は1分ごとに生成し，重要なイベントがなかった時刻については``NaN''を出力するものとする．
しかし，単純にモデルを適用するだけでは出現確率の高い``NaN''を適切な頻度よりも多く出力するという問題と同じイベントを指す速報文が複数生成される冗長性の問題という二つの問題が生じる．
そこで，速報の生成数を制御するために各時刻において速報を生成するべきかしないべきかを決定する二値分類器，および，冗長性を削減するために直前の速報を活用する機構を導入する.

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[t]
\begin{center}
\includegraphics{31-4ia5f2.pdf}
\end{center}
\hangcaption{速報生成システムの概要図．図中の「投稿データ」は\#WorldCupや\#Jリーグのようなハッシュタグが含まれていた投稿のテキストを示す．ただし，ハッシュタグは速報生成モデルへの入力前に削除されるため，投稿データに含まれていない．}
\label{fig:exam}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{複数文書要約と時系列要約}

本研究で取り組む課題はタイムラインに流れる複数の投稿を要約し速報として生成することから，複数文書要約\cite{MDS}や時系列要約\cite{trec}の一種と考えられる.
複数文書要約の研究には文書の階層的な構造を捉えることによって高品質な要約を生成することを目的とした研究が存在する\cite{fabbri,jin}.
しかし，Xへの投稿はそれぞれが独立したものであり，階層構造を考慮する必要はない．
また，Xへの投稿は時系列データであるため時系列を考慮していない複数文書要約の手法を本タスクにそのまま適用することはできない．

近年の時系列要約に対する代表的な手法として入力文書からグラフを作成し要約を生成する手法\cite{li,you}や，クラスタリングを行いイベントごとに文書をまとめた後に要約を生成する手法\cite{lee,steen}が挙げられる．
また，時系列要約において冗長性を考慮した手法としてMaximal Marginal Relevance (MMR) を応用した手法が存在している．
MMRは情報検索の分野で提案された手法であり，与えられた文書集合をクエリとの関連性と新規性をもとに順位付けを行う手法である．
Boudinら\cite{boudin}はMMRを時系列要約に応用させ，ある時刻の入力文書を文ごとにそれまでに生成した要約との関連性および新規性をもとに順位付けを行い，スコアの高い文を要約として抽出する手法を提案した．
しかし，Boudinらの手法は抽出型の要約において利用が可能な手法であるが，本研究で扱う抽象型の要約では利用できない．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{時系列を考慮した速報生成}

時系列要約の中でも特に速報生成は現在進行形のイベントについてリアルタイムに速報を生成するタスクであり，速報生成は速報を生成するタイミングによって二つのアプローチに分けることができる.
一つ目のアプローチは単位時間あたりの投稿数によって速報の生成タイミングを決定するアプローチである.
Nicholsら\cite{Nichols}は，分単位で計測した投稿数が前後と比べ増加した時刻をイベント発生区間とした上で，イベント発生区間内の投稿からフレーズグラフを構築し，単語の出現頻度に基づくスコアが高い投稿を，イベントを表す単語が重複しないように選ぶことで速報を生成する手法を提案している.
Kuboら\cite{kubo2013}は，人名やサッカーのプレーに関する単語を多く含むような情報量の多い投稿を行うユーザをまず抽出した上で，試合中の投稿数が急激に増加した時刻に，その時刻における代表的な投稿を，抽出したユーザの投稿集合から抽出することで速報を生成する手法を提案している．
Tagawaら\cite{tagawa}は不要な情報を含まない速報が生成できるよう，抽象型要約を用いた手法を提案した.
イベントが発生した時刻を投稿数の変動をもとに決定した後，イベント発生区間内の投稿を係り受け解析することで『堂安』と『ゴール』のような『動作主』と『動作』という関係性を複数取得し，これらの関係性をイベント発生区間内で連結することで，対象となるイベントに関して言及した速報を生成する手法を提案した.
しかし，これらのような投稿数の推移を元に速報生成の時刻を決定する手法では，イベントに言及する投稿数が少ないような重要度が相対的に低いイベントに関しては速報に含められない傾向がある.

二つ目のアプローチは一定の間隔で速報を生成するアプローチである.
Edouardら\cite{edouard}は一定区間内の投稿から固有表現抽出結果をもとにグラフを生成し，グラフからサブイベントの検出を行うことでタイムラインを生成する手法を提案している.
Dusartら\cite{dusart}は一定区間内の投稿の重要度を計算し，重要度の最も高い投稿を抽出して速報として出力する手法を提案した.
しかし，抽出型要約を用いた手法は，試合情報のみに言及した適切な投稿が存在しなかった場合，個人の感想なども含む速報が生成されてしまう.
また，同一のイベントに言及した投稿が異なる時刻に存在した場合，同じイベントの速報が重複して生成され冗長性が生じるという問題がある.


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{提案モデル}

本研究では，一定時間内に投稿された特定のハッシュタグが付与されたXへの投稿を入力とし，T5を用いて試合の速報を毎分生成するモデルを基本とする．
これは，速報を生成するタイミングを投稿数の増加によって検出する予備実験を行ったところ，ゴールや交代といったイベントの検出および速報が可能であった一方で，惜しいシュートやディフェンスの好プレーなどのイベントが検出されないことが確認されたためである．
具体的には，毎分速報を生成し，速報を生成するべきでないと判断した時刻においては``NaN''を出力するモデルの構築を目指す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 3
\begin{figure}[t]
\begin{center}
\includegraphics{31-4ia5f3.pdf}
\end{center}
\caption{ベースラインモデルおよび提案モデルの概略図．}
\label{fig:model}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

図\ref{fig:model} (a)に提案モデルのベースとするモデル$\mathcal{M}_\mathrm{base}$の概要を示す.
$\mathcal{M}_\mathrm{base}$は各時刻において投稿データから速報または``NaN''のどちらかを出力するモデルである．
しかし，$\mathcal{M}_\mathrm{base}$では，各時刻における速報は，直前に生成された速報とは独立に生成されるため，ゴールシーンなどのように長時間に渡って言及されるイベントが存在した場合，同一のイベントに関する速報が複数出力され，冗長な速報となる可能性が考えられる.
また，$\mathcal{M}_\mathrm{base}$は速報を生成すべきイベントが存在する時刻と存在しない時刻の速報生成を一つのモデルで行う．
このため，速報を生成する際に高い確率となるような生成候補がない場合，出現頻度の高い``NaN''を適切な頻度よりも多く出力してしまうことが考えられる．
本研究ではこれらの問題を解決するため，速報生成の前に``NaN''を出力するか，速報を生成するか否かを判定する機構，および，速報生成モデルに直前の速報を入力することで冗長性を軽減する機構をベースラインモデルに追加したモデルを提案する.


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{生成判定}

速報を生成するべきかしないべきかの判定精度の向上を目的とし，図\ref{fig:model} (b)に示すように，``NaN''を出力するかの判定を速報生成モデルと分離する$\mathcal{M}_\mathrm{+clf}$を導入する.
具体的には，本手法は速報を生成する前に投稿データから速報を生成するか否かの二値分類を行い，速報を生成すると判定した場合は速報生成モデルにより速報を生成し，それ以外の場合は``NaN''を出力する．
ここで，生成判定器と速報生成器の重みは共有しない．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{直前速報の考慮}

すでに出力された速報と重複した速報の生成を防ぐために，
\pagebreak
図\ref{fig:model} (c)のように投稿データ集合に加え，直前に生成された速報を文脈情報として入力する機構を導入する($\mathcal{M}_\mathrm{+cxt}$).
入力テキストと関連するテキストを結合して学習や推論を行うことで自然言語処理タスクのスコアが向上することが確認されており \cite{liu,liu-g,reina}，本手法においても直前の速報を利用することで直前の速報内容を考慮した速報が生成されることを期待する.
これら直前の速報はT5の特殊トークン$\texttt{<extra\_id\_0>}$を利用して投稿データと結合し，``[投稿データ] \texttt{<extra\_id\_0>} [直前速報]''の形式でモデルに入力する．
また，複数の直前速報を結合する際は，各速報間に\texttt{<extra\_id\_1>}，\texttt{<extra\_id\_2>}，\texttt{<extra\_id\_3>}などの特殊トークンを結合して入力する．
生成判定器と直前速報の考慮はそれぞれ独立した機構であり，図\ref{fig:model} (d)のように組み合わせて使用することが可能であることから，これらの機構を組み合わせたモデル$\mathcal{M}_\mathrm{+clf+cxt}$も構築する.


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{Fine-tuning設定}

生成判定器と速報生成器は共に事前学習済みのT5をfine-tuningすることで構築する\footnote{BERT \cite{BERT}やRoBERTa \cite{RoBERTa}といったTransformerエンコーダーモデルに基づく事前学習済みモデルを利用することも可能であるが，T5のみを利用してモデルを構築できる点から生成判定器においてもT5を利用する． }．
$\mathcal{M}_\mathrm{base}$と$\mathcal{M}_\mathrm{+cxt}$で用いる速報生成器は速報または``NaN''を生成するようにfine-tuningする．
また，$\mathcal{M}_\mathrm{+clf}$で用いる生成判定器は投稿データを，$\mathcal{M}_\mathrm{+clf+cxt}$で用いる生成判定器は投稿データと直前速報を入力することで``Yes''または``No''を出力するようにfine-tuningを行う．
この際，$\mathcal{M}_\mathrm{+clf}$と$\mathcal{M}_\mathrm{+clf+cxt}$で用いる速報生成器は訓練データのうち，正解速報が存在している時刻のみを利用してfine-tuningすることで必ず速報を生成するように構築する．
$\mathcal{M}_\mathrm{+cxt}$と$\mathcal{M}_\mathrm{+clf+cxt}$で用いる直前速報はfine-tuning時には訓練データ内の速報を利用し，生成時にはモデルが生成した速報を入力する．
投稿データは複数の投稿を投稿された順に一つのテキストに結合して与える．
この際，個々の文を分けるためによく用いられる\texttt{<sep>}のような特殊トークンは利用せずに一つのテキストに結合する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験}

本研究で提案した生成判定機構と直前速報を考慮する機構の有効性を検証するため，ベースラインモデル，三つの提案モデル，二つのオラクルモデルの性能を比較した．
また，本手法で採用した毎分速報を生成する設定の有効性を検証するために投稿数の増加で生成判定を行うモデルとの比較も行った．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{データセット}

2021年と2022年に行われた日本のプロサッカーリーグであるJリーグの68節分，
\pagebreak
全612試合のデータを収集し実験に使用した.
投稿の収集にはTwitter API\footnote{\url{https://developer.x.com/ja}}を用いた.
Jリーグの公式ホームページ\footnote{\url{https://www.jleague.jp}}より試合時刻と対戦チームの情報を取得し，これらをもとに試合ごとに収集対象とする時間\footnote{試合中および前後1時間を収集対象とした.}とハッシュタグが格納されたクエリを作成し収集を行った.
また，投稿内のURLやハッシュタグは速報生成に不要な情報であると考えたため，これらを削除する前処理を収集した投稿に対して行い，さらに，非公式の配信サイトへのリンクが含まれるような投稿は文字列の一致をもとに削除した．
投稿の収集には21チーム分，計39個のハッシュタグを利用した\footnote{実際に利用したハッシュタグの一覧と収集した投稿の試合ごとの平均数を付録\ref{sec:a1}に示す．}．
正解速報にはJリーグの公式ホームページが公開しているテキスト速報を利用した.
このテキスト速報は試合中にリアルタイムに作成されたものであり，データセット構築時にホームページから収集した．
この際，一部の速報には，前節の試合内容やこれまでの経歴に関する情報が含まれていた．
これらの多くは，試合開始時または得点時に，試合内容の速報に後続する形で記載されていた．そこで，試合内容の速報となっていないこれらの記載が正解速報に含まれないように，試合開始時刻と得点時刻の速報については先頭の一つ以外を削除した．
データセット構築に利用した投稿のデータはGithubにて公開している\footnote{\url{https://github.com/masashi-o-8/live_update_generation}}．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[b]
\input{05table01.tex}%
\caption{データセットの統計．}
\label{tb:data}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

実験には収集対象の時間内の投稿として，3,200以上の投稿が収集できた83試合を使用した．
これらの試合に関して収集された速報数の合計は8,502，投稿数の合計は324,835であった.
試合を単位として5分割し，3つを訓練セット，1つを検証セット，1つをテストセットとする5分割交差検証を行った．
訓練セットはモデルのfine-tuningに，テストセットはモデルの評価に利用した．
fine-tuning時のステップ数については，20,000ステップまで2,000ステップごとにモデルを保存し，各モデルで速報生成を行い，検証セットにおいて最も評価の高かったステップ数のモデルを評価に利用した．
表\ref{tb:data}に実験に用いたデータセットの統計を示す.


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{比較モデル}

本研究で提案したそれぞれの機構の有効性を検証するために$\mathcal{M}_\mathrm{+clf}$, $\mathcal{M}_\mathrm{+cxt}$, $\mathcal{M}_\mathrm{+clf+cxt}$の三つの提案モデルに加え，二つのオラクルモデル\textsc{Orcl}$_\mathrm{extr}$，\textsc{Orcl}$_\mathrm{+clf+cxt}$，および投稿数の増加で生成タイミングを判定するモデル$\mathcal{M}_\mathrm{burst}$を構築した.
\textsc{Orcl}$_\mathrm{extr}$はDussartら\cite{dusart}のオラクルモデルと見なすことができ，抽出型の手法の上限を検証するために利用する．
このモデルは各正解速報から3分後までの全ての投稿データに対して，正解速報との単語の重なりをもとにした類似度を計算し，最も類似度の高かった投稿を速報とする抽出型モデルである．
そのため，このモデルは正解速報が存在する時刻でのみ速報を生成するモデルとなる.
\textsc{Orcl}$_\mathrm{+clf+cxt}$は我々の提案モデルのオラクルモデルとみなすことができ，提案モデルの上限を検証するために利用する．
このモデルは，$\mathcal{M}_\mathrm{+clf+cxt}$において，生成判定器の出力として正解を与え，かつ，直前速報として直前4分間の正解速報を与えるモデルである．
$\mathcal{M}_\mathrm{burst}$は投稿数の増加によって速報を生成するかどうかの判定を行うモデルであり，投稿数の増加によるイベント検出の性能について検証する．
本研究では1分間の投稿数が直前の1分間よりも多ければ速報を生成する設定で実験を行った．
また，速報生成には$\mathcal{M}_\mathrm{+clf}$で構築した速報生成器を利用して生成を行った．

直前速報を利用する$\mathcal{M}_\mathrm{+cxt}$および$\mathcal{M}_\mathrm{+clf+cxt}$では直前速報として各時刻から4分前までの速報を利用した．
全ての手法において投稿データは各時刻から3分後までの投稿を利用した．この際，投稿データの平均投稿数は75件であった．
また，本研究ではT5のトークン数を512に設定しており，これを超えた新しい投稿は入力時に削除される．
また，事前学習済みモデルとしてHugging Faceが公開しているライブラリであるTranformersから日本語事前学習済みT5\footnote{\url{https://huggingface.co/megagonlabs/t5-base-japanese-web}}を利用した.
全てのモデルは三つの異なるランダムシードを利用してモデルを構築し，各モデルのスコアの平均値を最終的なスコアとして利用した．
また，ハイパーパラメータはバッチサイズを8，学習率を1e-5としてfine-tuningを行った．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{評価方法}

評価は正解速報と自動生成された速報を比較することで行った.
試合中には類似したイベントが複数回発生する場合があることから，速報全体で文字列の一致度を評価した場合，異なるイベントに関する速報が類似していると，不当に高く評価してしまう可能性が考えられる.
そこで，正解速報と生成速報を時系列順に対応付けた上で文字列の一致度を評価した.

テキスト生成の評価指標にはROUGE \cite{rouge}が広く用いられており，ROUGEを時系列要約の評価指標として発展させたAlignment-based ROUGE \cite{rouge-tls}が知られている.
Alignment-based ROUGEでは要約が生成された時間のずれに対して重み付けを行い，生成文に対して正解速報との類似度および生成された時間の二つの観点から評価を与える．
しかし，本タスクで時間のずれに重み付けを行った場合，異なる時刻に生成された正しい速報よりも同時刻に生成された誤った速報と対応付いてしまう可能性がある．
そのため，時間のずれに対して重み付けはせず，正解速報と生成速報の共通するn-gram数または最長共通部分列 (LCS) に基づき評価を行った.
単語の分割にはMeCabを利用し，形態素辞書としてはIPA辞書\footnote{mecab-ipadic-2.7.0-20070801}を利用した．
図\ref{fig:eval}は評価方法を図示したものであり，評価の手順は次の通りである.
この際，各手法の精度は，試合ごとに計算されたスコアのマクロ平均をとることで算出した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 4
\begin{figure}[b]
\begin{center}
\includegraphics{31-4ia5f4.pdf}
\end{center}
\hangcaption{unigramベースの評価の手順.行列は$g_i$と$r_j$の共通するunigram数を格納している.動的計画法を適用した後に対応付いた正解速報と生成速報に青い丸がつけられ，それらの経路が矢印で結ばれている.右側は正解速報と生成速報の例が示されており，対応付いた速報が線で結ばれている.}
\label{fig:eval}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\begin{enumerate} 
\item 自動生成された速報を格納する配列$\boldsymbol{g}$，正解速報を格納する配列$\boldsymbol{r}$，および，各速報同士の対応付けスコアを格納する行列$S=[s_{ij}]$を用意する.
 \item $s_{ij}$に生成速報$g_i$と正解速報$r_j$で共通するn-gram数またはLCSを代入する.ただし，配列の添字$i$，$j$はそれぞれ分単位の試合時刻を表すものとし，時間が大きくずれた速報同士が対応付かないようにするため，$|i-j|>1$ （2分以上のずれ）の場合は0を代入する.
\item $S$に対し動的計画法を適用し，一つの生成速報はたかだか一つの正解速報としか対応付けないという制約のもと，試合全体で共通するn-gram数の合計またはLCSの合計が最大となるように，生成速報と正解速報を対応付ける.以下では，共通するn-gram数の合計の最大値を\textbf{対応付いたn-gram数}，LCSの合計の最大値を\textbf{対応付いたLCS}と呼ぶ.
\item \textbf{対応付いたn-gram数}または\textbf{対応付いたLCS}に対して式(\ref{eq:re})，式(\ref{eq:pr})，式(\ref{eq:f})で定義される再現率，適合率，F値の三つの指標を用いてモデルの評価を行う.
\end{enumerate}
\begin{gather}
再現率=\frac{\text{対応付いたn-gram数またはLCS}}{\text{正解速報に含まれるn-gram数}}\tag{I}
\label{eq:re} \\[0.5ex]
適合率=\frac{{\mbox{対応付いたn-gram数またはLCS}}}{\mbox{生成速報に含まれるn-gram数}}\tag{II}
\label{eq:pr} \\[0.5ex]
\mbox{F}値=\frac{2*適合率*再現率}{適合率 + 再現率}\tag{III}
\label{eq:f}
\end{gather}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[b]
\input{05table02.tex}%
\caption{評価時にunigramを用いた場合の実験結果．}
\label{tb:res}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 3
\begin{table}[b]
\input{05table03.tex}%
\caption{評価時にbigramを用いた場合の実験結果．}
\label{tb:res2}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 4
\begin{table}[b]
\input{05table04.tex}%
\caption{評価時にLCSを用いた場合の実験結果．}
\label{tb:rougel}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実験結果}

評価にunigram，bigramおよびLCSを用いた場合の実験結果をそれぞれ表\ref{tb:res}，表\ref{tb:res2}，表\ref{tb:rougel}に示す．

$\mathcal{M}_\mathrm{base}$は生成したn-gram数が正解のn-gram数より大幅に少なく，多くの``NaN''が出力されたことがわかる．
一方，$\mathcal{M}_\mathrm{+clf}$では生成されたNaNの数が正解速報と近い値になっており，生成速報のn-gram数も増加しているため，生成判定器を導入することで速報を生成するかどうかの判断がより適切になっていることがわかる．
続いて$\mathcal{M}_\mathrm{base}$と$\mathcal{M}_\mathrm{+cxt}$を比較すると，unigramおよびLCSを用いた評価時には適合率が同等に保たれたまま，再現率が大幅に向上していることが分かる．
この結果から，直前の文脈を考慮することで冗長な速報の生成を抑えたまま生成速報の数をある程度制御することが可能であると言える．


続いて$\mathcal{M}_\mathrm{+cxt}$と$\mathcal{M}_\mathrm{+clf+cxt}$を比較すると，再現率はほぼ同等である一方で，適合率は大幅に低下しており，結果としてF値が低下している．
これは生成判定器を利用することで速報の頻度も考慮され，結果として投稿データ集合から適切な速報を生成するのが難しい時刻であっても，生成判定器が``Yes''と出力し，正解と大きく異なる速報が生成された結果であると考えられる．
全体として$\mathcal{M}_\mathrm{+cxt}$が提案モデルの中で最も高いスコアを示した．
$\mathcal{M}_\mathrm{+cxt}$とその他の提案モデルについて有意水準0.001で，試合を単位とする並べ替え検定\footnote{多重検定の補正のためボンフェローニ法を用いた補正を行った．}を行った結果，bigramの評価における$\mathcal{M}_\mathrm{+cxt}$と$\mathcal{M}_\mathrm{+clf}$との比較では有意であることが確認できなかったが，その他の評価においては，$\mathcal{M}_\mathrm{+cxt}$とそれ以外のモデルのF値の差は統計的に有意であることが確認できた.

次に，$\mathcal{M}_\mathrm{burst}$は適合率は比較的高い値となるものの，再現率，F値では提案モデルよりも低い値となっており，NaNの数が正解速報よりも大きくなっていることが確認できる．
この結果は，投稿数の増加によって生成判定を行う手法では検出できていないイベントが存在しているためであると考えられる．

最後に二つのオラクルモデルと提案モデルの比較を行う．
全ての提案モデルは\textsc{Orcl}$_\mathrm{extr}$よりも高い性能を示した．
これは抽出型の手法をこのタスクに適用するには明確な上限が存在することを示し，Xへの投稿からスポーツの速報を生成するには抽象型の手法が適しているということを示している．
また，\textsc{Orcl}$_\mathrm{+clf+cxt}$は$\mathcal{M}_\mathrm{+cxt}$に比べ適合率を保ったまま高い再現率を示し，最も高いF値を記録した.
再現率については0.03から0.06ポイントの向上が確認できたものの，適合率については大きな変化は確認できなかった．
このことは，正解速報が存在している時刻においても，リアルタイムのXへの投稿だけからでは生成が難しい場合が存在していることを示唆していると考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{考察}
各モデルで生成された速報の性質を明らかにするため，より詳細な比較を行う.

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{実際の速報生成例}

図\ref{fig:generate}に正解速報，$\mathcal{M}_\mathrm{base}$および最も性能の良かった$\mathcal{M}_\mathrm{+cxt}$が生成した速報の例を示す．
$\mathcal{M}_\mathrm{base}$は異なる時刻において同一の速報を生成しているのに対し，$\mathcal{M}_\mathrm{+cxt}$では冗長な速報が削減されていることが確認できる．
ただし，$\mathcal{M}_\mathrm{+cxt}$においても生成速報全体で確認した場合，冗長な速報は完全に削除されているとは言えず，冗長性のさらなる改善は今後の課題である.
続いて正解速報と$\mathcal{M}_\mathrm{+cxt}$の生成速報を比べると同一のイベントに言及した速報が1分ずれて生成されていることが分かる．
本研究では各時刻から3分後までの投稿を利用して速報生成をしていることから，ある時刻よりも後に発生したイベントについて言及する速報が生成されることがあり，このことが原因となり，生成時間にずれが生じる．
このような生成時間のずれは試合の概要を把握するという目的を考えると大きな問題ではないことから，1分の時間のずれを許容する評価手法は妥当であると言える.
また，正解速報ではハーフタイムに行われた選手交代について言及されているが，$\mathcal{M}_\mathrm{+cxt}$では選手交代についての言及ができていないことが確認できる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 5
\begin{figure}[b]
\begin{center}
\includegraphics{31-4ia5f5.pdf}
\end{center}
\hangcaption{実際の生成例．対応付いた速報が線で結んであり，下の行列は速報をunigram分割をした際の対応付けのスコアを示す．また，$r$,$g$,$g'$の添字は時刻（分）を表す．}
\label{fig:generate}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{重要なイベントに関する人手評価}
\label{subsec:human}

試合中の主要なイベントをそれぞれのモデルがどのくらい正確に検出できているか人手で評価した．
具体的には，ゴール，選手交代，カード提示の三つのイベントについて，``ゆるい''評価と``厳しい''評価の2種類の基準で評価を行った．
``ゆるい''評価ではそれぞれのイベントが正解要約から誤差2分以内に同一のイベントを含んだ速報が生成されていれば正しく検出できたとして，適合率，再現率，F値の三つの指標を用いて評価する．
``厳しい''評価ではそれぞれのイベントに加えイベントに含まれる要素が正しい場合にのみ正しく検出できたとして評価を行う．
イベントに含まれる要素とは，ゴールの場合には得点を決めた選手名，選手交代の場合では交代した2人の選手名，カード提示ではカードの種類および提示された選手名のこととする.

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 5
\begin{table}[b]
\input{05table05.tex}%
\caption{人手評価を行った際の実験結果. それぞれのセルは``ゆるい'' / ``厳しい''評価の結果を示す．}
\label{tb:human}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

人手評価は無作為に抽出した10試合について著者のうち1名が行った.
表\ref{tb:human}に人手評価の結果を示す.
全体として\textsc{Orcl}$_\mathrm{extr}$が高い性能を示しているが，このモデルは正解要約との単語の一致度を利用しているため高い性能となっていると考えられる．
オラクルモデルを除くと$\mathcal{M}_\mathrm{+cxt}$と$\mathcal{M}_\mathrm{+clf+cxt}$が比較的高い性能となった．
文脈情報を考慮することで冗長な速報の生成が削減され，結果として重要なイベント検出の精度が向上したと考えられる．
``ゆるい''評価において，ゴールについては$\mathcal{M}_\mathrm{+cxt}$は\textsc{Orcl}$_\mathrm{extr}$に匹敵する性能を示しており，ゴールイベントの検出自体には高い精度で成功していること言える.
一方で，選手交代に関しては提案モデルは抽出型の手法に大きく劣っていることが確認できる.
これは，交代に関与した選手名が検出できていても交代とは異なるイベントとして速報が生成されている例が多く存在することが原因の一つであると考えられる.
カード提示については提案モデルは\textsc{Orcl}$_\mathrm{extr}$よりも高いF値を達成した.
この要因として\textsc{Orcl}$_\mathrm{extr}$は単語の一致度を元に投稿を抽出しているため,イベントに言及した投稿以外に単語の一致度が大きい投稿が存在した場合にイベントに言及した投稿が選ばれなかったことが考えられる.

``厳しい''評価についても``ゆるい''評価と同様の傾向が確認できるが，全ての提案モデルにおいて大幅に低いスコアとなった.
特に，ゴールや選手交代については\textsc{Orcl}$_\mathrm{extr}$とのスコア差が``ゆるい''評価時よりも大きくなっている.
本実験に利用した正解速報では，得点を決めた選手以外にも得点の流れに関与した選手名が速報内に記載される.
提案モデルにより生成された速報ではこれらの実際にはゴールを決めていない選手が得点者として扱われているような誤った速報が生成されるケースが存在した.
また，選手交代では交代に関わる選手のうち一人は正確に捉えられているが，もう一人が誤っているケースや，同時に複数の交替が実施された場合に，誤った組み合わせの速報が生成されてしまうケースが存在した.
これらの誤りには．入力投稿データ内に含まれない選手名が生成されていることがあり，ハルシネーションが発生していると考えられる．
表\ref{tb:generate_error}に実際に生成に失敗している例を示す．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 6
\begin{table}[t]
\input{05table06.tex}%
\hangcaption{$\mathcal{M}_\mathrm{+cxt}$モデルにおいて，誤りを含む内容が生成された場合の正解速報と生成速報の例. 得点速報内の\textbf{下線}は選手名を示している. }
\label{tb:generate_error}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{まとめ}

本論文ではXへの投稿からのサッカーの試合速報生成に取り組んだ.
速報が存在しない時刻の出力も含めすべてを一つのT5に基づく要約として扱うモデルをベースに，生成する速報の数を制御するために生成判定機構，速報の冗長性を軽減するために直前の速報を考慮する機構を提案し，それらの有効性を検証した.
実験の結果，直前の速報を考慮する機構により冗長な速報の生成を抑制できることを確認した．
また，ベースラインモデルに生成判定機構を導入することで，速報の生成数を制御できることを確認した．
一方で，生成判定機構と直前速報を考慮する機構を組み合わせた場合にはほとんど効果がないことを確認した．

今後の課題として以下二つが挙げられる．
一つ目は，より頑健な冗長性抑制手法の開発である．
本研究で提案した機構では冗長な速報の生成は完全には抑制されていなかった．
より正確な速報生成システムの構築にはより頑健な冗長性抑制手法の開発が必要である．
二つ目は，イベントの要素の正確な同定である．
生成例の分析においてイベントの発生を捉えることができていてもその要素の同定に失敗している例が多くあることが確認できた．
そこでイベントの要素の同定をより正確にすることで提案システムの精度が向上すると考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\begingroup
\addtolength{\baselineskip}{-1pt}
\bibliography{05refs}
\endgroup

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 7
\begin{table}[b]
\input{05table07.tex}%
\caption{収集対象のチーム名と実際に使用したハッシュタグ，試合ごとの平均投稿数の一覧．}
\label{tb:hass}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\appendix

\vspace{-0.5\Cvs}
\section{利用したハッシュタグ}\label{sec:a1}

表\ref{tb:hass}に実験に利用した21チーム分，合計39個のハッシュタグとハッシュタグを利用して収集できた投稿の試合ごとの平均投稿数を示す．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{大鹿　雅史}{%
2023年名古屋大学情報学部コンピュータ科学科卒業．同大学院情報学研究科知能システム学専攻博士前期課程在学中．
}

\bioauthor{山田　康輔}{%
2024年名古屋大学情報学研究科博士後期課程を修了．同年より株式会社サイバーエージェント AI Lab リサーチサイエンティスト，名古屋大学大学院情報学研究科協力研究員．博士（情報学）．
}

\bioauthor{笹野　遼平}{%
2009年東京大学大学院情報理工学系研究科博士課程修了．京都大学特定研究員，東京工業大学助教を経て，2017年より名古屋大学准教授．2019年より理化学研究所AIPセンター客員研究員を兼任．博士（情報理工学）．
}

\bioauthor{武田　浩一}{%
1983年京都大学大学院工学研究科情報工学専攻修士課程修了．同年日本アイ・ビー・エム株式会社に入社．2017年より名古屋大学教授．2024年より国立情報学研究所特任教授．博士（情報学）．
}

\end{biography}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\biodate





\end{document}


