\documentclass[japanese]{jnlp_3.8}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{array}
\allowdisplaybreaks

\usepackage{hangcaption_jnlp}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition

\usepackage{multirow}
%%%%%\usepackage{wrapfig}
%%%%%\renewcommand\UrlFont{\rmfamily}

\usepackage[T1]{fontenc}
\newcommand{\ftext}{f_\text{text}}
\makeatletter
\def\ftime{\@ifnextchar[{\@with}{\@without}}
\def\@without{f_\text{time}}
\def\@with[#1]{\@without^\text{\fontsize{8pt}{8pt}\selectfont (#1)}}
\makeatother

\newcommand{\figurelegend}[1]{\texttt{#1}}

%%%%%\usepackage{ifxetex,ifluatex}
%%%%%\newif\ifunicode
%%%%%\ifxetex\unicodetrue\fi
%%%%%\ifluatex\unicodetrue\fi

%%%%%\ifunicode
%%%%%  \usepackage{fontspec}
%%%%%  \usepackage{newunicodechar}
%%%%%  \newcommand{\DeclareUnicodeCharacter}[2]{%
%%%%%    \begingroup\lccode`|=\string"#1\relax
%%%%%    \lowercase{\endgroup\newunicodechar{|}}{#2}%
%%%%%  }
%%%%%\else
%%%%%  \usepackage[utf8]{inputenc}
%%%%%\fi

%%%%%\usepackage{pgfplots}
%%%%%\DeclareUnicodeCharacter{2212}{−}
%%%%%\usepgfplotslibrary{groupplots,dateplot}
%%%%%\usetikzlibrary{patterns,shapes,arrows}
%%%%%\pgfplotsset{compat=newest}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{32}
\Number{3}
\Month{September}
\Year{2025}
%%%%\Issuetitle{「　　　　」特集号}

\received{2024}{10}{21}
\revised{2025}{2}{28}
\accepted{2025}{4}{14}


\setcounter{page}{800}


%%%%   タイトル部分                                      %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{発信時間差の予測を用いた\\リアルタイムコメントのシーン対応付け}
\jauthor{小早川　健\affiref{Author_1} \and 榊　　剛史\affiref{Author_2} \and 大知　正直\affiref{Author_3} \and 坂田　一郎\affiref{Author_2}}
\jabstract{%
テレビ番組のコンテンツ中のどのシーンへの反響が大きいかを知ることは，番組制作の分析，改善において重要である．特にオンエア中のテレビ番組を視聴しながら発信されるコメント（リアルタイムコメント）は映像を視聴した直後に発信されるフィードバックであり，分析対象として適している．従来研究では，テキストの内容か，もしくは，発信時刻のどちらか一方に重きを置くものが主流であり，長文のコメントなど投稿までに時間を要するものをシーンに適切に対応づけることは困難であった．そこで，この研究では，リアルタイムコメントに対して，そのコメントが言及しているシーンへ対応付けるための新たな手法を提案する．リアルタイムコメントの発信時刻と，それによって言及される番組シーンの放送時間との差は，かなりのばらつきがあり一様ではない．この時間差を扱うことが重要であるという見込みのもと，時間差を連続値として予測する回帰型のサブタスクを設定し，そのモデル化を行った．そして，このサブタスクを活用して，リアルタイムコメントのシーン別クラスタリングの大幅な精度改善を実現できることを示した．提案法は，テキストと発信時刻の両方を活用できる手法であり，サブタスクのためのモデルには，対照学習による単語埋込み層と全結合型の回帰層を統合したニューラルネットワークを採用することが有効であった．本研究の成果によって，SNS発信を用いた番組シーンの評価をより深く番組の内容を理解しているユーザーのコメントによって行うことができるため，これまでよりも多様な映像表現への改善に活用できる可能性がある．
}
\jkeywords{リアルタイムコメント，シーン対応付け，時間差回帰予測}

\etitle{A Scene Matching of User-Generated Real-Time Comments\\
  by Predicting Outgoing Time-Lag}
\eauthor{Takeshi S. Kobayakawa\affiref{Author_1} \and Takeshi Sakaki\affiref{Author_2} \and Masanao Ochi\affiref{Author_3} \and Ichiro Sakata\affiref{Author_2}}
\eabstract{%
  Knowing which scenes in a television program's content have generated the greatest response is important for analyzing and improving program production. In particular, comments posted while watching an on-air television program (real-time comments) are suitable for analysis, as they are feedback posted immediately after viewing the footage. Previous research has focused mainly on either the content of the text or the time of posting, making it difficult to properly match long comments and other comments that take time to post to scenes. Therefore, we propose a novel method to match real-time comments to the scenes they refer to. We hypothesized that the time difference between the time a real-time comment is posted and the program scene it refers to, is an effective feature, and we set up a regression subtask to predict this feature as a continuous value and modeled it. We found that by utilizing this subtask, we can significantly improve the accuracy of scene-specific clustering for real-time comments. The proposed method is capable of utilizing both text and time of posting, and it was effective to adopt a neural network that integrates a word embedding layer based on contrastive learning and a fully connected recurrent layer as a model for such subtask. The results of this research will enable the evaluation of program scenes posted on SNS through comments from users who have a deeper understanding of the program's content, which may be useful for improving video expression in a more diverse way than ever before.
}
\ekeywords{Real-Time Comments, Scene Matching, Time-Lag Regression Prediction}

\headauthor{小早川，榊，大知，坂田}
\headtitle{発信時間差の予測を用いたリアルタイムコメントのシーン対応付け}


%%%% 所属を指定して下さい．
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\affilabel{Author_1}{NHK}{NHK}
\affilabel{Author_2}{東京大学}{University of Tokyo}
\affilabel{Author_3}{大分大学}{Oita University}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S1
\section{はじめに}
\label{sec:はじめに}
ソーシャルメディア上に一般ユーザーが自発的に生成するテキストが多量に発信されるようになって久しい．テキストに含まれる価値判断や評価表現の意味を分析することは一般ユーザーの関心を広く掴むことのできる手法として着目されている\cite{absareview}．生成されるテキストで扱われる対象も年々幅広くなり，テレビや映像ストリーミングサービスのようなコンテンツに対するものも増えている．コンテンツに対する一般ユーザーからの発信は，コンテンツ中のどのシーンへの反響が大きいのかを類推するための材料となるなど，コンテンツへのアノテーション資源としての活用も期待される．また，過去のコンテンツへの反響の大きさは，幅広い視聴者層に対して，コンテンツ制作者の意図がどう伝わったのかや，興味・関心がどこにあるのかを把握し，将来のコンテンツ制作のための材料にもなりうる．このような利用を想定した反響の大きさを以下では反応強度と呼ぶことにする．

しかしながら，従来からの評判分析がテキスト解析に注力してきた\cite{Liu_2020}ため，リアルタイム視聴中のコメントを解析する場合に活用できる発信時刻の情報の扱いが不十分な面があった．コメントとシーンを対応付けるための十分な精度が達成できず，コンテンツへの反応強度を定量的に把握することが困難だった．本来，テキスト情報のみや時刻情報のみに頼るよりも優れた分析手法がありうるはずで，深層学習が大きく発展してきた現段階において，コメントとシーンを対応付ける反応強度分析がどの程度の精度で実現できるのかを研究動機としている．

この研究では，映像コンテンツの内容に対するユーザー生成テキストを扱う．時間的な性質に着目し，オンエア中に発信されるコメントをリアルタイムコメント，録画視聴やオンデマンド視聴で発信されるコメントをオフラインコメントと呼び区別し，リアルタイムコメントの分析手法を検討する．オフラインコメントは，作成に十分な時間をかけて内容を丁寧に表現できるため，発信されたテキストの内容から多くの手がかりが得られるという特徴を持つ．他方で，リアルタイムコメントは視聴中に発せられ，発信にかけられる時間が限られているため，テキストの内容から得られる手がかりが少ないという特徴がある．内容のどの部分に対するものかや，どういった評価をしているのかといった表現が極めて短いものになりがちである．そのことを鑑みると，リアルタイムコメントを解析するためには，テキストの内容だけを手がかりにするのは不十分で，むしろ，発信時刻も手がかりにすべきである．時刻的なコンテキストが決定的な情報を担い得るようなタスクにおいては，発信時刻以外をあまり考慮しない分析も十分成り立つ．

この研究では，リアルタイムコメントへの分析手法として，そのコメントが言及しているシーンへ対応付けるための新たな手法を提案する．その性能を検証するために，対応付けの精度を直接的な評価指標とするほか，シーン別クラスタリングの正解データを作成し，それを用いたクラスタリング精度も評価指標とする．ここで言うシーン別クラスタリングとは，コメントが言及しているシーンの放送時間が近いものが同一のクラスタに所属するようなテキストクラスタリングである．一般的なシーン別クラスタリングとは，映像データのクラスタリングにおいて，意味のあるシーンのまとまりでまとめ上げることを指すことが多いが，この研究では映像データを特徴量として用いることはしないので，意味合いが異なる．また，一般的なテキストクラスタリングは，テキスト特徴量のみから構成される距離を基にクラスタリングを行うが，後述するように，この研究ではテキスト特徴量と発信時刻の特徴量を組み合わせて用いるという点で，一般的なテキストクラスタリングとは異なる．

まず，我々は，テレビのリアルタイム視聴中のツイート発信から構成されるデータセットを構築し，個々の発信と番組内の具体的なシーンとの関連付けを人手によって作成し正解とした．分類と異なり，クラスタリングは予めの分類基準を必要としないことから，柔軟で扱いやすい側面を持っている．放送されるシーンの具体的な内容を知ることなく，そして，それに特化した分類器を作成することなく，放送されたシーン別の反応強度をクラスタリングによって把握することができる側面を持つ．

構築されたデータセットを観測したところ，視聴者が発信したテキストの発信時刻と関連付けられたシーンの放映時刻との間の時間差が一様ではないことがわかり，当然のように次の疑問が湧いた．この時間差を有効に活用できるのか，あるいは，時間差が一様でないことによって分析の障害になるのか．この問いを調べるために，時間差を扱うことが重要であるという見込みのもと，この時間差を予測することをサブタスクとし，そのサブタスクを扱うモデルからの出力が特徴量として活用できるか検討した．最も性能の良かったモデルは，対照学習によって得られた分散表現とニューラル回帰層を時間差の予測に用いたモデルであった．いくつかの比較実験でわかることだが，この研究で扱うようなテキストクラスタリングは，対照学習を基としたモデルでないと精度が著しく悪い．対照学習による分散表現が得られるようになったのは比較的最近という事情もあるのか，この種の発信時間差予測を用いた成功事例の報告は，著者らが知る限りこの研究が初めてである．

この研究の貢献は，以下の通りである．
%%%%%
\begin{enumerate}
 \item 映像をリアルタイム視聴している状態で発信されたコメントと，言及されているシーンと発信時刻との時間差を新たな特徴量として提案した．リアルタイム視聴で発せられるテキストをシーン別にクラスタリングするタスクにおいて，提案するその特徴量が有用であることを示した．
 \item 提案する特徴量を予測するモデルを提案し，対照学習によって獲得された分散表現と， 統一的な全結合型のニューラルネット回帰層が，その種のモデルに必須であることを示した．
\end{enumerate}
%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2
\section{関連研究}
\label{sec:関連研究}
本研究では，リアルタイムコメントのクラスタリング精度向上を主眼とし，その中で，テキストを入力とした発信時間差予測を行う．実応用の観点から，コンテンツへの反応強度の分析の一つとも言える．これら3つの観点から，本研究の関連研究について述べる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2.1
\subsection{リアルタイムコメントのクラスタリング}
テキストのクラスタリングは，自然言語処理 (NLP) 分野において長い歴史を持つ基本的なタスクであり，レビュー\cite{DBLP:journals/corr/abs-1801-07648}に詳しい．\citeA{walkowiak-gniewkowski-2019-evaluation}は，埋込みベクトルを生成するモデルをいくつか比較し，典型的なクラスタリングアルゴリズムに用いて比較した場合に，性能の差異がほとんどないことを報告している．\citeA{marcinczuk-etal-2021-text}は，対照学習を用いない場合の単語埋込みベクトルは，頻度特徴量や，WordNetなどのシソーラスを用いた特徴量よりも性能が劣ると報告している．テキストクラスタリングのためのデータ増強法は，\citeA{huang-etal-2020-unsupervised,zhang-etal-2021-supporting}で研究されている．

また，ソーシャルメディアの発信は時刻情報付き時系列データの一種である．時系列データのクラスタリングという観点で見ると，\citeA{Zolhavarieh2014ARO,AGHABOZORGI201516}らのレビューに詳しい．一般に，時系列データの種類によって，時系列クラスタリングは3種類の異なる問題に大別される．その一つが，一連の時系列データを一つの事例として扱い，事例どうしの近さでクラスタリングする問題で，Whole time series clustering と呼ばれる．他に，一つの時系列データを部分的な時間区間に分割して，時間区間の近さでクラスタリングする問題があり，Subsequence time series clustering と呼ばれる．さらに，時刻情報を伴うデータの一つ一つをクラスタリングする問題があり，Time point clustering と呼ばれる．この論文で扱う問題の種類は，Time point clustering である．Time point clustering の先行研究として，ゲノム情報に k-means法を用いたもの\cite{10.1145/640075.640091}や筋肉の活性化パターンの解析に自己組織化マップを用いたもの\cite{10.5555/1233864.1233868}がある．

我々の提案するシーン別クラスタリングは，教師ありクラスタリングの一種であり，関連するサブタスクで学習する手法に分類\footnote{レビュー\cite{DBLP:journals/corr/abs-1801-07648}に従うと，同文献2.3節 \textsc{Non-Clustering Loss} で，クラスタリングとは異なるタスク (Other tasks) を損失関数とするものに分類される．}されるものである．シーンの放送とそれに対する発信の時間差の予測が，このサブタスクに相当する．また，クラスタリングの観点をシーン別に定めることを明示したテキストクラスタリング研究はあまり前例が見当たらないが，シーン別クラスタリングを強調する理由は，手法に独自性があるというよりも，発信時間差を扱う上でクラスタリングの観点を明確にしておくことが重要と考えるからである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2.2
\subsection{テキストを入力とした予測タスク}
ニューラルネットワークによる各種タスクは，BERT \cite{devlin-etal-2019-bert}モデルを始め，多くの派生型が誕生している．現在のNLPにおいて，普遍的な言語モデルを学習し，転移学習としてファインチューニングすること\cite{howard-ruder-2018-universal,cer-etal-2018-universal}が基本となっている．本研究のサブタスクを解くモデルでも，BERT派生の言語モデルをファインチューニングするアプローチを採用している．

また，Triplet loss と呼ばれる損失関数を用いた Siamese network と呼ばれる対照学習\cite{NIPS1993_288cc0ff,CVPR2005_faceverification,koch2015siamese}が，画像認識の分野で提案されている．学習データと損失関数が，特徴量間の類似性を学習するようになっていて，その結果，より意味的な表現が獲得できていると考えられる．NLP 分野では，Sentence-BERT \cite{reimers-gurevych-2019-sentence}が最初の成功事例であり，意味的な扱いが重視されるさまざまなタスクにおいて極めて良好な性能を示している．表現獲得に関する近年の改良には，\citeA{9739828,PAN2022102734,WANG2022117084,9749108}がある．本研究では，対照学習を用いた埋込みベクトルと対照学習を用いない埋込みベクトルの双方を比較している．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2.3
\subsection{コンテンツへの反応強度の分析}
\label{sec:コンテンツへの反応強度の分析}
コンテンツへの反応強度の分析という観点からの先行研究も多い．この種の分析は，コンテンツ間のものとコンテンツ内のものの2種類に大別される．

コンテンツ間の分析は，コンテンツ単位での評価を異なるコンテンツ間で比較するものである．具体例は，番組Aと番組Bのどちらがより多くの関心を寄せられたかという分析をするものである．映画レビューやテレビ視聴率とソーシャルメディアの書き込みとの相関を調べた研究\cite{Oghina2012,schmit-wubben-2015-predicting,sommerdijk-etal-2016-tweets}がある．映画レビューサイトIMDbでの好不評の割合は，予め限定的なポジネガ語を選定し，その出現をテキスト特徴量とした場合の線型回帰の相関係数\cite{Oghina2012}や，単語の1～3-gramをテキスト特徴量とし，サポートベクターマシン (SVM) を用いた分類や回帰問題の性能\cite{schmit-wubben-2015-predicting}が研究されている．テレビ視聴調査への活用という観点からは，番組単位の視聴率とソーシャルメディアの書き込み数の相関の調査\cite{sommerdijk-etal-2016-tweets}がされ，視聴率の非常に高い番組に限定した場合の相関係数が高いことが報告されている．

コンテンツ内の分析は，一つのコンテンツ内での比較を基本としたものであり，具体例は，番組Cの中で，どの部分に関心が集まったかという分析をするものである．日本で有力な動画配信サービスであるニコニコ動画を対象とした先行研究が多い．\citeA{1050282812877455616}は，登場人物の名前が含まれるコメントの発信時刻分布から，登場人物が視聴者の着目を集めているかどうかを判定するタスクを扱っている．\citeA{1050580007681573120}は，「w」という文字の出現に着目した指標によって，ウケ狙いや笑えた番組であったかどうかを判定する手法を提案している．また，動画との相対的なコメント発信時刻だけでなく，絶対的なコメント発信時刻と他のコメントとの関係からの研究もある．\citeA{1050011097155558144}は，コメントが作成された絶対的発信時刻の時系列パターンから，不正動画を検出するタスクを扱っている．\citeA{1050564287859295872}は，面白い動画コメントを抽出する手法を検討しているが，コメントに含まれるテキストに対する簡単なルールによる抽出は難しく，かといって，発信時刻やその順位による抽出も難しいとして，「w」や「8」などの特定文字を手がかりにする方法を超えることができなかったと結論づけている．\citeA{1050855522100421504,1260282424595095424}は，コメントのテキストから感情を分類するSVMを作成し，その出力を基に特徴シーンを推定する手法を提案している．

この研究では，コンテンツ内の分析を扱う．ニコニコ動画に付与されるコメントは，シーンとコメント発信の相対的な時刻関係が得られることから，実験設定において本研究と共通する点が多い．しかしながら，動画との相対的なコメント発信時刻を用いるいずれの先行研究においても，シーンと発信時刻の差異（遅れ）に着目した研究はなく，筆者らが知る限り，この研究が初めてである．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S3
\section{タスクとデータセット}
\label{sec:datasets}

我々の研究は，視聴者であるユーザーが，オンエア中のテレビ番組を視聴しながら発信したと
思われるコメントをクラスタリングすることを目的とする．
選定された番組に対してユーザーが発信したものについて，次の収集条件のすべて満たすコメントを扱う．
%%%%%
\begin{enumerate}
\item X (Twitter) のプラットフォームに発信されたもの
\item 番組の放映時間帯に発信されたもの
\item 番組名の正式名称，または，広く流布している略称を発信テキストの表層に含むもの
  \footnote{ここでは，ハッシュタグ付き番組名や略称も収集条件に含めた．}
\item 発信テキストの内容に，番組に含まれるシーンについての言及が含まれるもの
\end{enumerate}
%%%%%
コメントに含まれるユーザーメンション，ハッシュタグ，URL，e-mailアドレスは匿名化し，
種別を表す文字列に置換した．

選定した番組は，NHKが放送する朝の連続テレビ小説（朝ドラ）カムカムエブリバディであり，
1作を，半年に渡って連日15分の帯枠で放送される日本語のテレビドラマ番組である．
ユーザー生成テキストをシーン別にクラスタリングする実験の性能測定のために，
2021年度下半期の放映期間の中から2日を無作為に選択し，
選択した日についてのコメントに対して，シーンのラベルを人手で付与して，
ラベルごとに分類したコメント集合を正解クラスタとする．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S3.1
\subsection{正解クラスタの作成}
\label{sec:正解クラスタの作成}
収集条件1～3は明確であり，曖昧性なく判別が可能であるのに対して，条件4は若干曖昧である．条件4を判断する場合には，シーンに言及している部分を人手によって読解して抽出することが必須であるが，その過程で曖昧性が存在するため，次に述べる方法を採用した．まず，字幕や解説放送などのメタデータのテキストを基に，それらが放送される区切りの単位で，テキストで記述されるシーン候補を予め作成した．そして，それらのシーン候補の中から，シーンに言及している部分に最も近いものを選択した．詳細は，付録\ref{sec:正解クラスタ作成の詳細}節に記す．2人のデータ作成者に作業していただき，データ作成者間の一致係数（Cohenの$\kappa$係数）は0.796であった．

以下に，作成したデータセットの構成と例を示す．参照される可能性のあるシーンはIDで管理された通し番号を振られていて，データ作成者は，ユーザー発信ごとに参照するシーンのIDを付与する作業を行う．データセットの中で，恋愛関係に至る前の主人公二人がいっときの別れをつげて帰路に着くまでの一連のシーンに対してのユーザー発信と対応づけられたシーンIDの例を{\tablename}\ref{tab:データセットの例}に示す．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T1
\begin{table}[b]
\input{02table01.tex}
  \caption{データセットの例}
  \label{tab:データセットの例}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S3.2
\subsection{正解クラスタの統計量}
\label{sec:dataset_statistics}
データセットの収集条件を満たしたユーザー発信の数を{\tablename}\ref{tab:number_posted}に示す．条件1～4のすべてを満たすものは，条件1～3を満たすものの約半数である．条件4とは，シーンについての言及があるものという条件なので，言及されるシーンを具体的な意見対象として含んでいるものということができる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%T2
\begin{table}[b]
\input{02table02.tex}
  \caption{各種条件を満たすユーザー生成テキストの発信数と発信者数}
  \label{tab:number_posted}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


シーン候補として選び出されたものの数と，少なくとも一つは発信によって参照されるというシーンの数（シーンと発信の対応が存在するシーン数）を{\tablename}\ref{tab:number_scene}に示す．第2列は，上記の方法でシーン候補として機械的に挙げられたものの数である．第3列は，第2列に掲げるシーンのうち，少なくとも一つの発信がそのシーンに対してあるものの数（内訳）である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T3
\begin{table}[b]
\input{02table03.tex}
  \caption{シーン数}
  \label{tab:number_scene}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


1発信あたりの単語数に関する統計量は，{\tablename}\ref{tab:number_words}に示す．平均単語数と標準偏差が示されている．収集条件4を満たすものと満たさないものをそれぞれ示してあり，単語数のみから収集条件4を識別することが難しいことがわかる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T4
\begin{table}[b]
\input{02table04.tex}
  \caption{収集条件別にみた1発信あたりの単語数の平均と標準偏差}
  \label{tab:number_words}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S3.3
\subsection{発信の時間差}
\label{sec:outgoing_timelag}
データセットの構築をする中で，各ユーザー生成テキストの発信時刻と，それが言及するシーンの放映時刻の時間差が明らかになってきた．発信の時間差がどのような性質を有するのか調べるために，2021年11月10日放映の番組について，ある2つのシーンに関する発信のヒストグラムを{\figurename}\ref{fig:posted_number_by_time}に示す．{\figurename}\ref{fig:posted_number_by_time}から，シーンの放送から発信に至るまでの時間分布がシーンによって異なることが見て取れる．着目する2シーンではなく，すべてのシーンに対して，シーン放送時刻から発信時刻の経過時間の分布を{\figurename}\ref{fig:time_lag_distribution}に示す．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%F1
\begin{figure}[b]
\begin{center}
\includegraphics{32-3ia2f01.eps}
\end{center}
  \hangcaption{ユーザー生成テキストの発信時刻とそれが参照する番組シーンの放送時刻で見た発信数分布．横軸は放送時刻開始からの経過時間を表し，対象とする番組は900秒（15分）の尺全体をカバーしている．縦軸は10秒でビニングしたツイート発信数のヒストグラムである．2つのシーンの発信時間差を対比できるように左右に並べて表示してあるが，左右の図それぞれが1つのシーンに限っての集計である．黒色はシーン放送時刻$\protect\ftime[corrected]$に対応する発信集合の総数を表しており，灰色はその発信集合を発信時刻$\protect\ftime[raw]$で集計したものである．つまり，同一図内において，灰色の総数と黒色の総数は等しくなる．なお，シーンは，付録A節で述べる方法で形式的に定め，シーン開始時を便宜的にシーンの時刻とした．}
  \label{fig:posted_number_by_time}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F2
\begin{figure}[b]
\begin{center}
\includegraphics{32-3ia2f02.eps}
\end{center}
  \caption{ユーザー生成テキストの発信時刻とそれが参照する番組シーンの放送時刻の差の分布}
  \label{fig:time_lag_distribution}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


また，発信の時間差と文字数の関係を見るために，出現事例の領域を{\figurename}\ref{fig:lengthbydelay}に描画した．時間差と文字数の相関係数は0.375であり，無相関ではないものの，文字数を時間差の予測に用いるにはかなり弱いと言える．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F3
\begin{figure}[t]
\begin{center}
\includegraphics{32-3ia2f03.eps}
\end{center}
  \hangcaption{発信の時間差と文字数の関係．スムージングのために時間差の軸を20のビンで集計し，発信時間差別に見た文字数の平均，最大，最小を示した．文字数の最大値と最小値で囲まれる領域を灰色で示し，平均を黒い実線で示した．}
  \label{fig:lengthbydelay}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S4
\section{モデル}
\label{sec:model}
我々の目的は，リアルタイムに発せられたコメントをクラスタリングすることである．この目的のために，言及されている映像シーンの放映時刻と発信の時間差を予測するサブタスクを解くことを試みる．それによって，コメントの内容に依存した発信時刻差を予測するモデルが構築されると予想される．

クラスタリングアルゴリズムの端的で形式的な記述は以下の通りである．個々のユーザー生成テキストは，テキスト特徴量$\ftext$と時刻特徴量$\ftime$と呼ばれる2種類の特徴量に変換される．単純なベースラインは素の時刻特徴量$\ftime[raw]$を用いるもので，シーン放映と同時に発信されたという仮定に基づく．クラスタリング処理$C_f$の出力は，クラスタを表す指標であり，
%%%%%
\begin{align}
  C_f: \ftext, \ftime[raw] \longmapsto \text{クラスタを表す指標}
\end{align}
%%%%%
と書く．

実験では，修正された時刻特徴量$\ftime[corrected]$を用いるほうが，$\ftime[raw]$を用いるよりも優れていることを示す．
%%%%%
\begin{align}
  C_f: \ftext, \ftime[corrected] \longmapsto \text{クラスタを表す指標}
\end{align}
%%%%%
修正された時刻特徴量は，相対的な時間差，つまり，シーン放映の時刻からの経過時間である．この修正された時刻特徴量を推定することを，発信時間差予測のサブタスクと呼ぶことにし，その予測モデルを，ユーザー生成テキストのテキスト特徴量のみに依存する関数として$M$と表記する．
%%%%%
\begin{align}
  \ftime[corrected] &= \ftime[raw] - \ftime[delay] \\
  \ftime[delay] &= M(\ftext)
\end{align}
%%%%%
ここで登場する時間や時間差は，いずれも連続値として扱われる．$M$は時間差を予測する関数であるが，検証実験においては，入力を平均0，分散1となるように正規化する変換を求め，出力にその逆変換を施すことによって，モデルの種類によって異なるバイアス依存性やスケール依存性の影響を回避する．メインタスクのクラスタリング・タスクとサブタスクの発信時間差予測タスク，そして，予測モデルがどのように関連しているかは，{\figurename}\ref{fig:提案法}(b) に示す．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%F4
\begin{figure}[b]
\begin{center}
\includegraphics{32-3ia2f04.eps}
\end{center}
  \caption{提案法}
  \label{fig:提案法}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


それでは，モデルの詳細を述べる．まず，対照学習によって獲得された分散表現を採用し，実験では，他の分散表現と比較する．このモデルは，定の時間差である連続値を予測するもので，離散値を予測するような，他の多くの自然言語処理と異なる．したがって，このモデルは，Sentence-BERTを拡張し，下層の埋込み層の上層に回帰層を
載せた構造になっている．

{\figurename}\ref{fig:提案法}(a) に，モデルの構造を示す．モデルは，単一のニューラルネットワークを構成し，BERTの埋込み層を再利用して転移学習を行う．学習は，事前学習とファインチューニングという2つのフェーズが実行される．事前学習のフェーズ（{\figurename}\ref{fig:提案法}(a) 左側）では，モデルは類似文ペアとその類似度を用いて学習される\footnote{実験においては，\url{https://huggingface.co/sonoisa/sentence-bert-base-ja-mean-tokens-v2}で配布されている事前学習済モデルを用いた．}．モデルは，bi-encoder \cite{reimers-gurevych-2019-sentence}として学習され，類似ペアの学習が効率的に進む．ファインチューニングのフェーズ（{\figurename}\ref{fig:提案法}(a) 右側）では，事前学習のフェーズで学習されたBERTの埋込み層のパラメータが再利用され，出力層として新たに回帰層が導入される．モデルは，発信時間差を教師データとして学習される．最終的に得られたモデルは，推論にも用いられる．

学習データは以下のように用いられる．まず，大規模テキストコーパスのみを用いてBERTモデルが学習される．これは，正解ラベルを必要としない，自己教師あり学習である．次に，類似文コーパスを用いてSentence-BERTモデルが教師ありで学習される．この時点で事前学習が完結する．最終的に，発信時間差のデータを用いて，提案するモデルがファインチューニングフェーズとして学習される．発信時間差は，\ref{sec:datasets}節で構築したデータセットから得られる．実験では，対照学習と，回帰層を含めた単一の結合ネットワークの両方が，この発信時間差予測タスクにとって不可欠であることを示す．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S5
\section{実験}
\label{sec:experiments}
提案する特徴量の有効性を実験によって検証するため，複数の指標で評価する．主に，最終的な利用形態であるアプリケーションタスク全体の性能であるクラスタリングの精度を用い，10回の試行による結果を箱ひげ図 (box-and-whisker diagrams) で描画する．また，特徴量抽出段階での発信時間差の予測精度を直接的に評価する．付録\ref{sec:評価指標の詳細}節に詳細を記す．

また，有効な特徴量抽出を実現するためのテキスト特徴量も比較する．
実験の設定一覧を\tablename~\ref{tab:実験設定の一覧}に示す．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T5
\begin{table}[b]
\input{02table05.tex}
  \caption{実験設定の一覧}
  \label{tab:実験設定の一覧}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S5.1
\subsection{設定}
\label{sec:setup}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S5.1.1
\subsubsection{テキスト特徴量の比較}
\label{sec:text_features}
テキスト特徴量を比較するために，{\tablename}\ref{tab:text_features_compared}に示す4種類の特徴量抽出を選び，比較した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T6
\begin{table}[b]
\input{02table06.tex}
  \caption{テキスト特徴量の比較}
  \label{tab:text_features_compared}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


1) は，日本語形態素解析器MeCab \cite{kudo-etal-2004-applying}を用いて単語分割を行い，その出現頻度を数えるものである．テキスト特徴量としては，ユニグラムのみならず，トライグラムまでの組み合わせを考慮し，単語の出現文脈の扱いを補う．絶対数で2つのドキュメントに出現した単語を最低の出現頻度とし，また，相対的に80\%のドキュメントに出現した単語を最高の出現頻度として，これらの条件を満たさない単語は除外する．2) は，対照学習を用いないword2vec型\cite{mikolov-etal-2013-linguistic}の日本語単語埋込み表現であり，\citeA{Matsuno2019}らのモデルを用いた．3), 4) は，対象学習を用いたBERT型の単語埋込み表現である．3) は多言語コーパス\cite{wang2022text}を，4) は日本語Wikipediaを用いて学習されたモデルである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S5.1.2
\subsubsection{特徴量の組合せ}
クラスタリングでは，テキスト特徴量$\ftext$と時刻特徴量$\ftime$という2種類の特徴量を用い，特徴量間の重み$w$を制御しながら連結\footnote{テキスト特徴量が$D$次元，時刻特徴量の1次元の実数とすると，連結とは，それらの直和となるような$D+1$次元の空間$\mathcal{R}^D \oplus \mathcal{R}^1$を構成することである．連結前のテキスト特徴量を$(u_1, u_2,\dots,u_D)$とすると，最後の0要素を追加した$D+1$次元の特徴量$(u_1, u_2,\dots, u_D, 0)$を連結されたテキスト特徴量とする．連結前の時刻特徴量が$v$である場合は，最初の$D$個の0要素を挿入して，$D+1$次元の特徴量$(0,\dots,0,v)$を連結された時刻特徴量とする．本稿では，集合として見た空間の直和に$\oplus$の記号をを用い，連結後の要素の加算には$+$の記号を用いる．}する．
%%%%%
\begin{align}
  \label{eq:f}
  f = \ftext + w \cdot \ftime
\end{align}
%%%%%
特徴量は，まず，各次元で正規化され，全データの平均が0，分散が1となるように線形変換される．次に，次元数の多いテキスト特徴量は，サンプルごとのノルムが1になるように正規化される．その結果，もしもテキスト特徴量と時刻特徴量が同程度の重要性を持つ場合には，最適な特徴量間の重みが1.0付近になる．重みは，0, 0.1, 0.2, 0.5, 1.0, 2.0, 5.0, 10.0の8つの値を調べた．実験で明らかになるが，性能が最大となる部分は (0, 10.0) の領域に含まれると見られるため，$w$の最適重みを厳密に求めることなく，最適重みにおける性能の比較を議論する．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S5.1.3
\subsubsection{クラスタリング関数}
実験では，クラスタリング関数$C_f$としてk-means法を一貫して用いる．一般的なクラスタリング問題において広く用いられるアルゴリズムであり，時系列データのクラスタリングにおいても，多くのアルゴリズムで採用されている\cite{AGHABOZORGI201516}．類似度を図るのには，テキスト特徴量と時刻特徴量の重みを調整した上で，一様なユークリッド距離を用いる．よく知られているように，k-means法は，クラスタを求めるための繰り返し計算が局所最適解に陥る可能性がある．それを避けるために，k-means++\cite{kmeans++}法でクラスタを初期化し，各実験設定で10回の試行を行う．

また，正解クラスタの粒度を調整するために，次の手順で再構成する．各クラスタはそれぞれにシーンの放送時刻が対応しているため，時間的に隣接するクラスタを結合\footnote{所与のクラスタ数になるようにクラスタを結合する手続きには，順序付き配列をほぼ均等の要素数になるように，順序を維持したまま分割するアルゴリズム\texttt{numpy.array\_split}と同等の実装を用いた．}することができる．\ref{sec:正解クラスタの作成}節で述べた手順は，正解クラスタの揺れを抑えるには効果的である一方，作業者の感じるシーンの粒度よりも粒度がかなり細かく，1シーンと感じられるものが複数のシーン候補に渡る．正解クラスタをこの手続きで再構成する理由は，シーン単位の感じ方に個人差が強いため，シーン単位を作業者に決めてもらうことはせずに，同尺で同類の番組で典型的なクラスタリングを人手で実施した場合のクラスタ数を参考に，クラスタ数を定める方法を採用することとした．クラスタリングアルゴリズムにも同じクラスタ数を与える．クラスタ数を変化させた場合の性能指標変化が少ないことから，以下では，クラスタ数を50と定め固定した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S5.2
\subsection{結果}
\label{sec:results}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S5.2.1
\subsubsection{発信時間差予測なしの場合}
\label{sec:発信時間差予測なしの場合}
まず，ベースラインとして，発信時間差の予測なしに素の時刻$\ftime[raw]$を用いた実験を行う．テキスト特徴量として\ref{sec:text_features}節に挙げた4種類を用い，事前学習されたモデルの単語埋込み表現出力をそのまま用いる．これらの条件のもとでの実験結果を{\figurename}\ref{fig:without-timelag}に示す．図の縦軸は調整ランド指数であり，横軸は，式\eqref{eq:f}にある時刻特徴量にかかる重み$w$である．実験結果が示すように，時刻特徴量にかかる重みを振る範囲は十分に広く，その範囲内に最適値があると見られる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F5
\begin{figure}[t]
\begin{center}
\includegraphics{32-3ia2f05.eps}
\end{center}
  \caption{発信時間差予測なしの場合}
  \label{fig:without-timelag}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


特殊なケースとして，$w$が0の場合は，テキスト特徴量のみが用いられていることに相当する．これは，ベースライン\cite{walkowiak-gniewkowski-2019-evaluation}の一種である．図から見て取れるように，性能は，$w$の増加に伴ってしばらく増大し，あるところから減少に転じる．それゆえ，最適値はこの区間のどこかにあると見られる．比較に用いたテキスト特徴量の中で，\figurelegend{sonoisa-sbert-embedding}が最良の性能を示す．最良値の比較を{\tablename}\ref{tab:without-timelag}に示す．比較した中での最適な重みにおける調整ランド指数の平均を数値として掲げる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T7
\begin{table}[t]
\input{02table07.tex}
  \caption{発信時間差予測がない場合のクラスタリング性能}
  \label{tab:without-timelag}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S5.2.2
\subsubsection{発信時間差予測ありの場合}
\label{sec:発信時間差予測ありの場合}
今度は，発信時間差を用いて発信時刻を補正するケースを検討する．テキスト特徴量として，前節で最良だった\figurelegend{sonoisa-sbert-embedding}を用いる．ここでは，発信時間差を予測するモデルとして3種類を比較する．1) 線型回帰 (LR) を逐次接続して，回帰層のみを学習するモデル（\figurelegend{Linear Regression}），2) 統合されたニューラルネットワークを構成し（{\figurename}\ref{fig:提案法}(a)），回帰層のみが学習されるモデル (\figurelegend{Joint NN model regression layer trainable})，3) 統合されたニューラルネットワークを構成し（{\figurename}\ref{fig:提案法}(a)），モデルのすべてのパラメータが学習されるモデル (\figurelegend{Joint NN model all params trainable}) である．

回帰モデルのバイアス依存性やスケール依存性を避けるために，回帰モデルの入力は，平均0分散1となるような変換を学習データから予め求めておき，学習時の入力にその変換を，出力にその逆変換を施す．また，発信時刻情報は，番組開始時からの相対時刻に変換し，秒単位の連続変数\footnote{pytorch（ver. 2.x系）で実装し，python言語のnumpyライブラリでnumpy.float64のデータ型として扱った．}として扱う．モデル2) と3) のパラメータは，6エポックの学習を行う．これは，予備実験によって1から10エポックを試した中で十分な学習効果が確認できた設定である．回帰層のみが学習可能なモデルでは，769個のパラメータが学習可能である．すべてのモデルが学習可能な結合モデルでは，1.1億個のパラメータが学習可能である．モデル3) の回帰モデルの学習には，10分割交差検定を用いる．

発信時間差予測を含むクラスタリング実験の結果を{\figurename}\ref{fig:with-timelag}に示す．\ref{sec:発信時間差予測なしの場合}節との比較のために，素の時刻特徴量を用いた\figurelegend{sonoisa-sbert-embedding} (\figurelegend{Without time-lag prediction}) も掲載する．縦軸と横軸は{\figurename}\ref{fig:without-timelag}と同様である．やはり，図中にピークを含むため，重みの最適値は実験範囲の中に含まれると思われる．比較のために，素の発信時刻を用いたものを最初の凡例に示す．明らかに，提案手法である\figurelegend{Joint NN model (all params trainable)} が，他のすべてのモデルを平均値でも最大値でも上回る．発信時間差の予測を行わない\figurelegend{Without time-lag prediction}は性能が悪く，発信時間差を線形予測する\figurelegend{Linear Regression}の性能はさらに悪い．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F6
\begin{figure}[b]
\begin{center}
\includegraphics{32-3ia2f06.eps}
\end{center}
  \caption{発信時間差予測ありの場合}
  \label{fig:with-timelag}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T8
\begin{table}[b]
\input{02table08.tex}
  \caption{発信時間差予測がある場合のクラスタリング性能}
  \label{tab:with-timelag}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



最適重みにおける性能を{\tablename}\ref{tab:with-timelag}に示す．{\figurename}\ref{fig:with-timelag}中の最適重みにおける平均値を載せている．\figurelegend{Joint NN model (all params trainable)} は，\figurelegend{Without time-lag prediction}と比較して，平均値において0.072ポイント上回る．これは，平均値の差に関するt検定でp値が$3.4 \times 10^{-6}$と有意である．加えて，最適重みにおいて，提案モデルの最低値は，他のすべてのモデルの最大値も上回る．

発信時間差予測を回帰モデルとして見た場合，回帰モデル単独の性能も評価することが可能である．回帰モデルは，一般に決定係数$r^2$によって性能を測ることができ，この実験設定による決定係数は{\tablename}\ref{tab:r2-score}に示すとおり，提案モデル\figurelegend{Joint NN model (all params trainable)} が最も良い回帰性能を示した．クラスタリングタスクの精度向上は，発信時間差の予測精度向上によって説明できることがわかる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T9
\begin{table}[t]
\input{02table09.tex}
  \caption{回帰モデルの決定係数}
  \label{tab:r2-score}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S5.2.3
\subsubsection{学習と推論が異なる日での実験}
\label{sec:学習と推論が異なる日での実験}
以上の結果から，提案モデルはクラスタリングタスクにおいて一定の性能向上を示すことが確認された．本節では，モデルの頑健性を検証するために，同日の交差検定による実験ではなく，学習を行った日とは異なる後日のデータを用いた推論実験について説明する．具体的に，モデルを2021年11月10日のコーパスで学習し，2021年12月25日のコーパスで実験を行う．

最適重みにおける実験結果を{\tablename}\ref{tab:differentday}に示す．その実験結果からわかるように，\figurelegend{Joint NN model (all params trainable)} が最も良い性能を示す．素の発信時刻を用いた\figurelegend{Without time-lag prediction}よりも0.013ポイント上回り，平均値の差のt検定で，p値が$3.2 \times 10^{-2}$となる有意性である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T10
\begin{table}[b]
\input{02table10.tex}
  \caption{学習と推論が異なる日におけるクラスタリング性能}
  \label{tab:differentday}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S6
\section{議論}
\label{sec:discussion}
テキスト特徴量の比較実験（{\tablename}\ref{tab:without-timelag}）からわかるように，Sentence-BERT型のモデルによって学習された高精度な意味表現が有効である．発信時間差の予測では，線型回帰 (LR) はこのタスクを解くのに明らかに不十分であり，非線形特性を持つ回帰層，中でも単語埋込層と一体化したニューラル回帰層が優れていることがわかる（{\tablename}\ref{tab:with-timelag}，{\figurename}\ref{fig:with-timelag}）．このタスクは，特徴量空間が線形分離不能であり，対照学習による単語埋込層と回帰層を統合したニューラルネットワークの構築が重要であることが示唆される．

この解釈を補強するために，発信時間差がリアルタイムコメントのクラスタリングに与える影響とエラーの考察を行う．例えば，単純で素早い反応であれば発信時刻差は短くなる，複雑な反応であれば発信時刻差が長くなる，など反応の意味的な違いが発信時刻差に影響を与えているのでは無いかという予想が考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F7
\begin{figure}[b]
\begin{center}
\includegraphics{32-3ia2f07.eps}
\end{center}
  \caption{発信時間差がクラスタリングに与える影響}
  \label{fig:timecheat}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S6.1
\subsection{発信時間差がリアルタイムコメントのクラスタリングに与える影響}
\label{sec:発信時間差がリアルタイムコメントのクラスタリングに与える影響}
この研究では，発信時間差がリアルタイムコメントのクラスタリングに悪影響を及ぼす前提でその時間差を予測する手法を提案している．発信時間差が既知の理想的な状況を調べることによって，発信時間差がクラスタリングに与える影響の感覚を掴むことができる．{\figurename}\ref{fig:timecheat}に示す破線は，発信時刻を発信時間差によって予め修正したものを時刻情報として用いる場合のクラスタリング実験である．今まで同様に，縦軸に調整ランド指数，横軸に特徴量重み$w$を用いたが，重み$w$は，$w \rightarrow \infty$の挙動を見たいので，大きめの値まで実験している．調整ランド指数が0.156と0.889のところに水平なグレーの破線が描画されているが，これは，テキスト特徴量を用いずに時刻特徴量のみを用いた場合の実験であり，それぞれ，素の時刻情報（調整ランド指数が0.156）と発信時刻修正済みの時刻情報（調整ランド指数が0.889）である．素の時刻特徴量を組み合わせたものを実線で，提案法を一点破線で示してある．

この図でも，左端の$w=0$の場所ではテキスト特徴量のみを用いた実験となっていて，いずれの方法も同じ特徴量が用いられていて，それゆえ，当然であるが結果に差がない．$w$を大きくするに従って，発信時刻を特徴量として活用する度合いが増していく．発信時間差で修正した時刻を用いた実験は，$w$が大きい領域では，実験結果が正解クラスタに近づく．つまり，発信時間差の正解を与えることは，正解クラスタを与えることと同じである．発信時間差の正解が予めわかる場合は，時刻特徴量のみを用いればよい．

発信時間差がリアルタイムコメントのクラスタリングに悪影響を及ぼすという考えからすると，その悪影響を除去する方法が2つ考えられる．一つが，時刻特徴量を全く用いない方法であり，$w=0$の場合となる．もう一つが，悪影響を全く与えない，発信時間差の正解を与える方法で，一点破線の実験に相当し，最適な重みは時刻特徴量のみを用いる$w \rightarrow \infty$の場合となる．現実には発信時間差の正解がわからないので，時刻特徴量とテキスト特徴量の両方を用い，適切な重みを設定することになる．この場合でも，発信時間差の正解を与えた実験は，$w$の値に応じた理論的上限\footnote{ここで言う上限値とは，発信時間差の予測精度を完璧な精度にまで高めることによって達成できるクラスタリング性能のことである．}と考えられる．$w$の最適値近辺において，提案法によるクラスタリングの精度改善は，理論的上限によって得られるはずのものを一定程度実現できている．

また，時刻特徴量の寄与が向上する状況では，特徴量重みの最適値が時刻特徴量を重視する側，つまり，$w$の最適値が大きい方に推移すると考えられる．\figurelegend{Joing NN model (all params trainable)} の$w$の最適値が他の従来法と比較して大きくなることは，発信時刻のズレが提案法によって有効に訂正された結果，$w$の最適値が大きい方向に推移したという自然な解釈が成り立つ．

なお，発信時刻修正済みの時刻情報のみを用いた実験での性能である，調整ランド指数が0.889は，ランド指数で0.992に相当する．このランド指数が1にならないのは，複数の異なるシーン記述のメタデータが同一時刻に放送されているものが含まれているためである．字幕と解説放送で若干異なる内容が同時刻に放送された場合，シーン記述としては区別されるが，時刻情報のみでは区別されない状況が生じる．これは，この研究で用いた実験データが持つ制約ではあるが，その影響はわずかである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S6.2
\subsection{エラー分析}
\label{sec:エラー分析}

実験結果のエラー分析を行ったところ，提案モデルの長所も見えてきた．ある一つのシーンに対して典型的な発信時間差が異なるような場合に，提案モデルは他のモデルよりも上手にクラスタリングする．例えば，{\figurename}\ref{fig:posted_number_by_time}のscene 2では，発信時刻にはいくつかの典型的な発信時間差があり，視聴者のシーン解釈に要する時間に差異がありうることが原因となっている．

エラー分析は，正解クラスタに対して，提案法と従来法によるクラスタリングを実施し，調整ランド指数を算出する手順で用いられるように，最も数の多いクラスタどうしを順番に貪欲に割り当てる方法を取る．この分析では，\ref{sec:発信時間差予測ありの場合}節での2つのモデルを最適重みで実験したものを用いた．以下，提案法と述べるものは\figurelegend{Joint NN model (all params trainable)}，従来法と述べるものは\figurelegend{Without time-lag prediction}である．

提案法の効果が捉えやすい事例を紹介する．2021年11月10日放送について，恋愛に関することではあるが，主人公どうしのすれ違いがしばらく経ってから判明するという描写が，番組の終了間際にある．すれ違っていることが判明してから，そのすれ違いに至るまでの経緯や登場人物の心の動きを理解するまでに若干の時間を要するため，放送から60～150秒ほど経過した後の発信が多い．また，オープニングが流れる時間をこのクライマックスのシーンに合わせるという演出上の工夫もあり，このシーンに対して，48件の発信があった．この事例の包含関係を{\figurename}\ref{fig:エラー分析に用いたシーンの手法別正誤関係}に，事例の発信のテキストと，発信時間差の正解値と予測値を{\tablename}\ref{tab:エラー分析の実例}に示す．提案法のクラスタに含まれ，かつ，従来法には含まれていなかった29件 ($\bigstar$)，従来法，提案法共にクラスタに含まれていなかった18件 ($\clubsuit$)，従来法に含まれるもので，クラスタになかった13件 ($\spadesuit$) の中から事例を選定した．従来法のクラスタに含まれ，かつ，提案法のクラスタに含まれないものがなかったことから，提案法での性能改善だけがみられ，性能改悪は見られなかった．


%%%%%%%%%%%%%%%%%%%%%%%%%%F8
\begin{figure}[b]
\begin{center}
\includegraphics{32-3ia2f08.eps}
\end{center}
  \caption{エラー分析に用いたシーンの手法別正誤関係}
  \label{fig:エラー分析に用いたシーンの手法別正誤関係}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%T11
\begin{table}[t]
\input{02table11.tex}
  \caption{エラー分析の実例}
  \label{tab:エラー分析の実例}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%


従来法で，対応付けがうまく機能しなかった発信は，「泣ける」や「涙が止まらない」や「辛い」のような，このシーンに特徴的な表現が別のシーンに対する発信に現れていることが，クラスタリングを誤る原因の一つとなったことが考えられる．

以上，1つのクラスタについて詳細に述べたが，この放送回の他のクラスタには，単純な素早い反応と，話が進んでから得られる複雑な反応の両方があるようなシーンが他もあり，そこでも若干の性能差が見られた．単純で素早い反応の代表例は，恋愛シーンの描写そのものに対するもので，複雑で反応に時間を要するものの代表例は，冗談やサプライズや気持ちの葛藤の解釈に関するものだった．この節では定性的な側面を述べたが，定量的な総合評価は第\ref{sec:experiments}章で述べた通りである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S6.3
\subsection{限界と今後の展開}
\label{sec:限界と今後の展開}
最後に，この研究の限界についても触れておく必要がある．まず，実験で扱ったデータは，朝ドラという放送時間が15分の連続ドラマを扱っている．\ref{sec:学習と推論が異なる日での実験}節の実験で見てきたように，同一シリーズの前の回の正解データで学習されたモデルを用いて，後の回の分析に有用であることが示された一方で，それを超えた頑健性は検証されていない．性質が異なる番組に対する分析にどこまで適用できるかや，放送途中に広告CMが挿入された場合にどのような影響があるのかも，この研究では明らかにされていない．また，実験で扱ったデータは，意見対象が含まれるものに限定しているため，意見対象が含まれるかどうかの自動判定も含めたシステム設計をする場合は，コンテンツ反応強度を測定する精度に影響が出ることを考慮に入れないといけない．より広範囲なデータを用いての検証は今後の課題である．

次に，実験において，クラスタ数を推定する問題が扱われていない点も注意を要する．クラスタ数そのものが未知の状況では，クラスタ数を推定することが重要になってくる場合があり，クラスタ数を推定する先行研究も多い．しかし，クラスタ数の推定から独立してクラスタリング特徴量のあり方を調べることが有意義であると考え，この研究では対象外とした．もちろん，クラスタ数を推定することが有意義であることは間違いないので，今後の課題である．

また，今後の展開として映像特徴の活用が考えられる．例えば，画像と言語のマルチモーダルなモデル\cite{DBLP:journals/corr/abs-2103-00020}が提案されている．このようなモデルの出力を用いることが，テキストとシーンの類似性を扱う上で有利であると期待されるので，この研究でのメインタスクであるシーン別クラスタリングに効果があるのかどうか，検討の価値がある．また，高精度な映像特徴を用いたシーンクラスタリングが実現できれば，発信テキストとシーンとの対応を分類問題として解くアプローチも考えられる．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S7
\section{おわりに}
\label{sec:conclusions}

ユーザー生成テキストの発信時間差を予測するためのモデルを提案した．発信時間差は，ユーザーが反応したシーンの放映時刻とユーザー生成テキストの発信時刻の差であり，これをうまく扱うことが，リアルタイム視聴におけるコメントをクラスタリングする問題を精度良く扱うことにつながることを実験によって示した．網羅的な実験によって，対照学習によって分散表現を学習したモデルと，それに結合した回帰層を単一のニューラルネットワークに構築することが非常に有効で不可欠であることがわかった．リアルタイム視聴におけるコメントをクラスタリングするタスクにおいての複数回の試行実験により，提案するモデルによる調整ランド指数の平均が0.394を達成し，同条件での発信時間差を扱わない素の発信時刻によるものとの比較で0.072ポイントの向上が得られ，明確な有意差を確認できた．また，学習と推論が異なる日における実験によって0.013ポイントの向上も見られ，一定程度の頑健性も確認できた．

本研究の成果によって，SNS発信を用いた番組シーンの評価をより高精度に実現できるようになる．リアルタイム視聴において，反応に時間を要するようなコメントに対しても対応付けが正確になり，これまでよりも多様な映像表現への改善に活用できる可能性が開けたと考える．



%%% Acknowledgement %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment
編集委員，および，査読者からの有益なご指摘に感謝いたします．
本研究は，JSPS科研費24K15191, 21K17860, 24K05080の助成を受けたものです．

%%% Bibliography %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\begingroup
\addtolength{\baselineskip}{-0.5pt}
\bibliography{02refs}
\endgroup
% \bibliography{jnlp2024}

\appendix
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S.A
\section{正解クラスタ作成の詳細}
\label{sec:正解クラスタ作成の詳細}
データセット作成において，ユーザー生成テキストがどのシーンについての言及なのかを定める際に曖昧性があるので，決め方の詳細を述べる．そもそも，一般的な言葉としてのシーンは曖昧な概念であり，粒度が明確ではないため，下記に述べる方法で機械的にシーンの候補を定め，データ作成者は，シーン候補から最も近いものを選択する方法をとる．

まず，シーンの定義であるが，この研究においてのシーンは，番組に付与されているメタデータの区切りの粒度と定める．用いた番組のメタデータとして，クローズド・キャプション，電子番組ガイド，オープンキャプションが利用可能\footnote{テレビ番組の大多数は，クローズド・キャプションと呼ばれる字幕付きで放送され，電子番組ガイドやオープンキャプションには出演者情報などが記載される．加えて，視覚障害者向けの解説が音声で提供されることもある．}であった．クローズド・キャプションや解説放送は時刻情報付きのテキストデータであり，主として用いた．それらに欠けていた一部の情報がオープニングやエンディングのスタッフロールなどに含まれていることがあり，それを電子番組ガイドやオープンキャプションを読み取って，放送時刻のシーンデータとした．メタデータは，字幕は一度に画面に表示されるもの，解説放送は一度に発話されるもの，その他のオープンキャプションは，画面に一度に表示されるものを単位として，区切りの粒度とした．天下り的ではあるが，このような機械的なルールによって，曖昧になりがちなシーンの粒度の制御に利用した．

データ作成者には，クラスタリングすべき発信の一つ一つを読解し，シーンに言及している部分を抽出し，シーン候補のテキストの中から，最も近いものを選択することを課した．この場合でも，ユーザー生成テキストに含まれる表現がシーンについての言及なのか，そして，どのように言及されているのかについて曖昧性が存在した．そこで，次のような規則を定め，データ作成者間の不一致を減らすことにした．ユーザー生成テキストが放送中のシーンを参照しているのかどうか，判断の難しい場合がある．上記の手順によってシーン候補を列挙することがある程度の効果があるものの，最終的に，以下の制約を課さなければならなかった：データ作成者は，最低一度は放送映像を閲覧してストーリを把握し，その後はユーザー生成テキストのみを閲覧することにして，他の情報を検索して補うことはしない．この制約を課しても，似たような他の発信を多数読んだあとに，同時刻の発信内容に関するコンテキストが無意識に補完されるようなことが生じる．そこで，詳細な決定規則をたくさん設けるよりも，データ作成者間の一致部分のみを採用することにする．

このような方法によって，データ作成者間のシーン対応付けの不一致を減らすことができた．データ作成者が閲覧するデータは，クラスタリングすべきツイートとシーン候補の一覧である．クラスタリングすべきツイートの例は，{\tablename}\ref{tab:データセットの例}で，最右列のScene IDを除くものである．シーン候補は，そのソースの種別（クローズド・キャプションや電子番組ガイドなど）と共に提示され，{\tablename}\ref{tab:シーン候補の例}に例示する．これらの情報を閲覧して，データ作成者は，{\tablename}\ref{tab:データセットの例}のScene IDの列を埋めていく．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T12
\begin{table}[t]
\input{02table12.tex}
  \caption{シーン候補の例}
  \label{tab:シーン候補の例}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S.B
\section{評価指標の詳細}
\label{sec:評価指標の詳細}
提案法は，発信時間差予測の単独性能と，クラスタリングに組み込まれた場合の性能の2つの指標で評価する．

まず，発信時間差予測は回帰予測の一種なので，単独の指標には決定係数である$r^2$scoreを用いる．決定係数が大きいほど，予測精度が高い．

次に，クラスタリングの評価指標には，正解クラスタとの対応精度を補正した調整ランド指数を用いる．調整ランド指数とは，2つのクラスタリング結果の類似性を図る尺度であり，予め正解が分かっているクラスタリングタスクにおいては，得られたクラスタリング結果がどれだけ正解と類似しているかを評価する指標となる．調整ランド指数が大きいほど，正解に近いクラスタリング結果である．

いずれの算出も，scikit-learn (ver.1.2.2) に含まれる次の関数を用いた．


%%%%%%%%%%%%%%%%%%%%%%%%%%%T13
\begin{table}[t]
\input{02table13.tex}
\caption{評価指標とその実装}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%% Biography %%%
%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{小早川　健}{%
1993年東北大学理学部物理学科卒業．1995年東京大学理学系研究科物理学専攻修了．同年4月から日本アイ・ビー・エム株式会社．1999年から日本放送協会．音声認識の研究を経て，現在は評判分析の研究に従事．言語処理学会会員．
}
\bioauthor{榊　　剛史}{%
2006年東京大学大学院情報理工学系研究科修士課程修了．電力会社での勤務を経て2013年同博士課程修了．博士（工学）2015年より現職ならびに株式会社ホットリンク所属．専門は，ウェブマイニング，計算社会科学．言語処理学会各会員．2020年中国・清華大学による「世界的AI研究者2000人」に選出．
}
\bioauthor{大知　正直}{%
2006年大阪大学基礎工学部電子物理科学科卒業．2012年電気通信大学情報理工学研究科総合情報学専攻修了，2017年東京大学工学系研究科技術経営戦略学専攻修了．博士（工学）．同年4月より同専攻において，特任研究員として，研究に従事．2023年10月より，特任助教．2024年5月より大分大学理工学部DX人材育成プログラム准教授．現在は社会ネットワーク分析，大規模ネットワーク向けのグラフ機械学習適用に関する研究に従事．
}
\bioauthor{坂田　一郎}{%
1989年東京大学経済学部卒．1997年ブランダイス大学より国際経済金融学修士号，2003年東京大学より博士号（工学）を取得．東京大学工学系研究科教授，総長特別参与及び地域未来社会連携研究機構長．現在，大規模科学技術データを用いた知識の構造化，未来予測及び技術経営の意思決定支援，SNSのデータを用いた計算社会科学等の研究に従事．
}
\end{biography}


\biodate   %%%% 受付日の出力（編集部で設定します）

\end{document}
