\documentclass[japanese]{jnlp_3.8}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{array}
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition

\usepackage{multirow}
%%%%%\usepackage{appendix}
    \usepackage{listings,plistings}
%%%%%\usepackage{here}

\lstset{
  basicstyle={\ttfamily},
  identifierstyle={\small},
  commentstyle={\smallitshape},
  keywordstyle={\small\bfseries},
  ndkeywordstyle={\small},
  stringstyle={\small\ttfamily},
  frame={tb},
  breaklines=true,
  columns=[l]{fullflexible},
  numbers=left,
  xrightmargin=0zw,
  xleftmargin=3zw,
  numberstyle={\scriptsize},
  stepnumber=1,
  numbersep=1zw,
  lineskip=-0.5ex
}
\renewcommand{\lstlistingname}{プロンプト}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{32}
\Number{3}
\Month{September}
\Year{2025}
%%%%\Issuetitle{「　　　　」特集号}

\received{2024}{11}{25}
\revised{2025}{2}{28}
\accepted{2025}{4}{3}


\setcounter{page}{770}


%%%%   タイトル部分                                      %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{オンライン動画共有サービスにおける視聴者感情の推定}
\jauthor{菅野　祐希\affiref{Author_1} \and 坂野　遼平\affiref{Author_2}}
\jabstract{%
近年のインターネットやスマートフォンの普及により，動画共有サービスに多くの人がアクセスするようになった．YouTube や TikTok に代表される動画共有サービスは，現代において様々な人の行動や選択に大きな影響力を持つようになっている．それにより動画共有サービスはビジネスやマーケティングの場としても活用されるようになった．視聴者が動画を閲覧することでどのような感情を得るかという情報は，視聴者とマーケターの両方において有益となる．本稿では，オンライン動画共有サービス上にアップロードされた動画に付けられたコメントから，動画の視聴者に引き起こされる感情の推定を行う手法を提案する．BERT 及び数種類の大規模言語モデル (LLM) を用い，動画コメントを利用した各モデルの感情推定に関する能力の違いを明らかにする．提案手法では，7種類の感情の強さを成分とした7次元ベクトルにより感情を表現し，推定を行う．実験の結果，100件のコメントを使用して精細な感情の強度を推定する場合には LLM が優位であることが分かった．また，10件の少ないコメント件数から最も強い感情を推定する場合，BERT が高いスコアを示した．\footnotetext{本論文は言語処理学会年次大会で発表された同一著者による研究\cite{kanno}に加え，使用したモデルと評価手法を増やす形で発展させたものである．}
}
\jkeywords{オンライン動画サービス，感情推定，BERT，大規模言語モデル}


\etitle{Estimating Viewer Emotions Using Comments on Online Video-sharing Services}
\eauthor{Yuki Kanno\affiref{Author_1} \and Ryohei Banno\affiref{Author_2}} 
\eabstract{
The rapid proliferation of internet access and smartphones has significantly increased engagement with video-sharing platforms like YouTube and TikTok. These platforms have emerged as powerful influencers of individual behavior and societal trends, particularly in the domains of marketing and consumer decision-making. Understanding the emotional responses elicited in viewers during video consumption holds substantial value for content creators and marketers. This study presents a novel approach for estimating viewer emotions based on user-generated comments associated with online videos. By leveraging Bidirectional Encoder Representations from Transformers (BERT) and various large language models (LLMs), the emotion estimation capabilities of different models are systematically compared. Emotions are represented as a seven-dimensional vector, where each component reflects the intensity of a specific emotional state. Experimental evaluations reveal that LLMs perform better in estimating nuanced emotional intensities when a larger set of comments (e.g., 100) is available. Conversely, BERT performs better in identifying the predominant emotion when only a limited number of comments (e.g., 10) are analyzed. These findings highlight the complementary strengths of different models and offer practical insights into emotion estimation from social media data.
}
\ekeywords{Online Video Services, Emotion Estimation, BERT, Large Language Models}

\headauthor{菅野，坂野}
\headtitle{オンライン動画共有サービスにおける視聴者感情の推定}


%%%% 所属を指定して下さい．
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\affilabel{Author_1}{工学院大学大学院 工学研究科}{Graduate School of Engineering, Kogakuin University}
\affilabel{Author_2}{一橋大学大学院 ソーシャル・データサイエンス研究科}{Graduate School of Social Data Science, 
Hitotsubashi University}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S1
\section{はじめに}
近年，動画共有サービスの普及が進んでいる．調査によって，インターネットの利用時間の内訳で，最も長い時間利用されているのが動画共有サービスであることが分かっている\cite{r5media}．動画共有サービスの中でも特に影響力を持つものとして，YouTube\footnote{\url{https://www.youtube.com}}やニコニコ動画\footnote{\url{https://www.nicovideo.jp}}，TikTok\footnote{\url{https://www.tiktok.com}}等が挙げられる．

動画共有サービスは，現在マーケティングの場としても扱われるようになっている\cite{Youtube,Youtubeimpact}．テレビを見ない代わりにインターネットを利用する傾向にある若年層にも効率的に商品を紹介することができ，企業等が著名なインフルエンサーに商品紹介を依頼して報酬を支払うという事例も多数存在する．

動画媒体は人間の感情に大きな影響を与えることが分かっている\cite{emot}．また，動画サイトにおける広告やテレビCMに代表される，動画を用いたマーケティングにおいて視聴者の感情をコントロールすることで商品に対する見方を変えられる事が実証されている\cite{syouhin}．
こうした事例から，動画視聴者がどのような感情を動画から受け取ったかという情報は，非常に有用な情報であると言える．
例えば，ある商品の広告を，その商品の購買意欲を促進する上で適した感情を誘起する動画コンテンツに差し込むといった応用が考えられる．また，動画をアップロードするクリエイターにとっても感情の変化を目的としたコンテンツ制作の際の重要な参考情報となるほか，メンタルヘルスの観点からも有益な情報となりえる．この他，感情情報の応用例としては，特定の感情を与える動画を検索可能とするシステムや，視聴動画と類似した感情を与える動画の推薦システムといったものが挙げられる．

図1に感情による動画推薦システムの概要を示す．感情を入力として，データベース内で動画に結びつけられた感情ラベルと比較を行い，入力された感情を発生させる動画を出力する．このように動画と感情を結び付けた応用例が考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F1
\begin{figure}[t]
\begin{center}
\includegraphics{32-3ia1f01.eps}
\end{center}
\caption{感情による動画検索・推薦システム概要}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


感情を推定する手法についてはこれまで様々な研究がなされてきている．視聴者の表情等，生体情報を用いて感情を測定する手法\cite{vemo1,vemo2}であった\mbox{り，視聴者にアンケートを}取る手法などが挙げられる\cite{vemo3}．これらを用いることで動画から得られた感情を推定することは可能である．しかし，動画コンテンツの数に対するスケーラビリティが問題となる．一例として，YouTubeでは2016年時点で20億本以上の動画がアップロードされている\cite{barron}．動画共有サービスの利用者数が増加傾\mbox{向にある中，各サービスに}おける動画コンテンツの数は一層増加していると考えられる．先述のような手法では，数多くの動画に対して視聴者が得た感情を判別することはコストや時間の\mbox{面で難しい．動画コンテンツ}そのものの映像や音声等の情報から視聴者に与える感情を推定\mbox{することは容易ではなく，}我々が知る限りでは高精度な推定を可能とする手法は実現されていない．

本研究では，世界的に最もよく知られた動画共有サービスの一つであるYouTubeを対象とし，コメント文を用いて動画が視聴者に与える感情を推定する手法を提案する．YouTube動画に\mbox{付加されているコメントは，}視聴者が感じ取ったことを含んでおり，視聴者の感情をある程度\mbox{反映していると考えられる．}そこで，YouTube動画コメントを利用することで，視聴者が得た\mbox{感情を言語モデルを用いて抽出し，}推定する．近年では大規模言語モデルが発達し様々なタス\mbox{クに応用されつつあるが，本稿で}提案している視聴者コメントに基づく動画視聴者の感情推\mbox{定については精度や推定の傾向は}明らかではない．そこで，BERT及び5種類の大規模言語モ\mbox{デル (LLM) を用い，}当該タスクにおける推定能力の差異を明らかにする．具体的には，深層学\mbox{習モデルとしてBERT} \cite{BERT}を，大規模言語モデルとしてGPT (3.5-turbo, 4, 4-turbo, 4o) \cite{GPT3,gpt4}，Claude (3.5 Sonnet, 3 Sonnet, 3 Opus) \cite{Claude3-5,Claude3}，Gemini (1.5 Pro, 1.5 Flash) \cite{gemini15,gemini}，Deepseek \cite{deepseek}，Llama-3-ELYZA-JP-8B \cite{llama3,llama3elyza}を使用している．

本論文の貢献は以下のとおりである．

%%%%%
\begin{itemize}
  \item オンライン動画サービスのコメントを用いて，言語モデルにより視聴者の詳細な感情を7次元ベクトルとして推定する手法を提案する．
  \item 評価に用いる正解データの作成に関する予備実験として，100名の実験協力者によるアンケートを実施し，正解データの作成に必要なアンケート回答件数を検証する．
  \item YouTube の実データを用い，1種類の深層学習モデル及び5種類の大規模言語モデルによる差異を明らかにする．7次元のベクトルの推定精度及び，最大感情の推定精度という2つの側面から評価を行う．
\end{itemize}
%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2
\section{関連研究}
機械学習を用いた感情推定の既存研究について，本研究と関連が深いものを以下に述べる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2.1
\subsection{ルールベース・深層学習による感情推定}
深層学習以前に存在した，文章による感情推定の手法としてルールベースによる研究が存在する\cite{rule1}．出現する単語や文章の形から感情の推定を行うものであり，現在主流であるBERTやLLMと比較すると，柔軟な推定が不可能であるため性能が低い傾向にある．

2017年に深層ニューラルネットワークモデルとして提案されたTransformer \cite{transformer}アーキテクチャは，2018年にBERTのモデル構造として採用されてから多くの場面において利用されることになった．機械翻訳\cite{berttrans}やテキスト分類\cite{bertclass}，文書要約\cite{bertsummary}などのNLPタスクに応用されている．NLPタスクの一つに挙げられる感情推定に関しても，BERTを始めとした深層学習モデルを用いた手法\cite{bertemo1}が提案されている．

サイバー虐待検知のために文章内における攻撃性の検知を行うシステムの提案\cite{cyberabuse}においては，エンコーダーに対し訓練用データセットを入力することによって各単語の複数のAttention特徴を学習することにより文章内の攻撃性の分類を可能とした．X（元Twitter）上のデータの感情分析及び感情認識へのアプローチ\cite{bertemo2}にもBERTが使用された．事前学習済みモデルに対し，Fine-tuningを行うことによって感情の分類を行う手法が提案されている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2.2
\subsection{LLMを用いた感情推定}
Transformerによる事前学習を発展させ，大規模なテキストコーパスを用いたGPTが提案された．BERTとの違いとして，Transformerのデコーダを利用している点が挙げられる．数億から数千億のパラメータによる学習を用いることにより，事前学習やFine-tuning無しでも高い言語処理能力を持つ．後続のモデルとしてGeminiやClaude，Llamaなどが発表され，現代においてLLMの選択肢は幅広い．大量のテキストを学習したLLMがどのような言語処理能力を有するかは不透明な点も多く，LLMによる判断や推定の特徴を評価する研究が多くなされている．

LLMがコーパスから獲得している社会集団に対する偏見や感情について評価を行う研究\cite{syakai}や，LLMが特定状況において想起する感情について，人間との比較を行っている研究\cite{emollm}などが存在する．それらの研究において，LLMが状況に応じて感情の強度やポジティブ・ネガティブを変化させること，LLMが持つ特定の社会集団に対する感情がすでに社会調査によって得られている人間の感情傾向と一致すること等が示されている．ここから，LLMは人間に近い感性や考えを，コーパスから獲得している可能性が示唆されている．

様々な言語のコーパスから学習を行っていることから，英語などのメジャーな言語のみならず，話者の少ない言語においてもタスクを遂行出来る．LLMと少数話者の言語に特化させたモデルとの感情推定能力の比較を行った研究\cite{gptisan}では，Fine-tuningを行っていないにも関わらず，多くの特定言語特化モデルに性能が匹敵したことが示された．

Hamaらの研究では，会話における感情認識にLLMを応用している\cite{HamaK}．LLMに会話文を入力して感情を予測させる1-Stepプロンプティング，及び会話文における発話の意味を問う質問の生成と回答をLLM自身に行わせたうえで感情を予測させるMulti-Stepプロンプティングを提案している．MELD及びIEMOCAPデータセットを用い，7種類の感情のマルチラベル分類を行う評価により，Multi-Stepプロンプティングが感情推定精度を向上し得ることが示されている．

薛らの研究では，Plutchikの感情の輪に存在する感情の有無をLLMにより測定する手法を提案している\cite{kobayashi}．この研究では，LLMに分析対象テキストとプロンプトを与え，48種類の感情によるマルチラベル分類を行っている．また，得られた感情を8次元の感情ベクトルに変換する手法も示されており，各成分は0から3の4段階の値を取る．

LLMによる感情推定は，AIコンパニオンアプリケーション\footnote{\url{https://www.yuna.io}}\textsuperscript{,}\footnote{\url{https://www.luzia.com/en}}による人間との対話等に応用されている．
こうしたアプリケーションによるLLMのメンタルヘルス等への活用は，LLMが人間の感情や感性を理解することへの社会的ニーズの一端を示している．

本節で言及した既存研究に対する本研究の主な特徴としては，感情推定の対象の違い，データセットの違い，比較検証範囲の違い，出力の違いなどが挙げられる．例えば，Hamaらの研究は会話文における発話の感情推定を想定し，MELD及びIEMOCAPデータセットを用いて1種類のLLMをBERTベースのSPCLと比較評価している．また，薛らの研究では，SNS投稿等の単一文章の感情推定を想定し，WRIMEデータセットを用いて4種類のLLMについて評価を行っている．これらに対し，本研究では動画視聴者の感情推定を目的としており，動画と紐づく複数のコメント文から感情推定を行う．Fine-tuning及び評価にはクラウドソーシング及びYouTube Data API を用いて収集・構築したデータセットを用いており，BERT及び5種類のLLMについてバージョンやパラメータの違いによる計15のバリエーションで幅広い比較検証を行っている．また，本研究では，7種類の感情の強度を成分とする感情ベクトルを出力しており，Hamaらの研究における7種類のマルチラベル分類や，田中らの研究におけるポジティブ・ネガティブ・ニュートラルの分類に基づく分析とは異なっている．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S2.3
\subsection{動画視聴者の感情推定}
動画の視聴者の感情を推定する研究について述べる．ルールベースや機械学習を用いた視聴者感情推定の手法\cite{emonlp,emoyoutube}が存在している．これら手法では，動画のコメントを用いてルールベースや機械学習により感情の推定を行っている．

また，視聴者の生体データから感情を探る手法\cite{vemo1}も提案されている．目の動きや反応等をもとに，活発さを示す覚醒度及び快適さを示す価値観の観点から感情を推定している．動画共有サイトにおける炎上に着目した研究\cite{sakai}では，YouTubeにおいて動画コメントのネガティブさを評価指標として，動画が炎上しているか否かの推定を行っている．BERTを用いた手法によって動画コメントの感情を推定している．

以上のように様々な研究がなされているものの，本研究のようにオンライン動画サービスのコメントを用い，深層学習モデルや大規模言語モデルにより視聴者の詳細な感情を同一の基準を用いて推定することは行われていない．必然的に，近年多数のバリエーションが生じている大規模言語モデル間の推定能力の差異も明らかではない．

本研究では，前述の課題に対し，BERT及びLLMを活用した感情推定手法を提案し，モデル間の感情推定能力の差異を明らかにする．オンライン動画サービスにおける視聴者コメントは，スラングを含んだ短文が多いことから，BERTを始めとする事前学習済みモデルより前の自然言語処理技術では，特徴量エンジニアリングに大きな労力を要する問題がある．また，感情推定の精度面も限定的と考えられ，実際に我々の過去の検証ではルールベースによる推定は精度がBERTに劣ることが確認されている\cite{DEIM}．松林らの研究\cite{matsui}においても，崩れた単文が多い点で動画コメントと類似しているSNSの投稿を対象とし，ランダムフォレストによる5種類の感情への分類を試みた結果，一般的な投稿文を用いた検証にて妥当と評価されたものは検証データ中35.5\%に留まった事が報告されている．また，前述のSoleymaniらの研究のような，視聴者の生体情報等に基づく感情推定手法も存在するが，膨大な量の動画コンテンツに対して個別に感情推定を行うことはコスト等の面で現実的ではない．これらを踏まえ，本研究ではBERT及びLLMを用いた感情推定を行う．LLMを用いた感情推定の既存研究に対する差異は，2.2節末尾に述べたとおりである．

なお，本研究では多数の動画コンテンツの感情を推定し，マーケティングや推薦等に適用することを想定している．各動画の感情推定を比較的少量のコメントで行うことが出来れば，実応用時のコストを低減でき，かつコメント数が少ない動画にも適用できることから，入力するコメントは全件ではなく100件あるいは10件としている．詳細については以降の章で述べる．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S3
\section{提案手法}
本節では，推定を行う感情について述べ，次にBERTによる感情推定手法について述べる．最後に大規模言語モデルを利用した感情推定手法について述べる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S3.1
\subsection{推定を行う感情について}
本研究では，推定を行う対象の感情について，日本語感情表現辞書\cite{jiwc}より，以下の7種類の感情に設定している．
%%%%%
\begin{itemize}
  \item sad（悲しみ）
  \item anxiety（不安）
  \item angry（怒り）
  \item disgust（嫌悪感）
  \item trust（信頼）
  \item surprise（驚き）
  \item joy（喜び）
\end{itemize}
%%%%%
これらの7種類の感情を，各成分0以上1以下の7次元の単位ベクトルとして扱う（以下，``感情ベクトル'' とする）．以降に述べる各手法では，コメントを入力とし，感情ベクトルを出力とする．

感情推定においては，2.3節に挙げた関連研究\cite{syakai}のように，感情極性を想定して分類や強度推定を行う事例が多く見られる．これに対し，本研究では7次元の感情ベクトルを用いる事で，より詳細な感情の推定を図る．

詳細な感情の推定は様々な応用において有用と考えられる．一例として，マーケティングにおいては特定の感情を誘起する動画コンテンツをユーザに推薦することで，ユーザの購買意欲を高められる可能性がある．その際，感情がポジティブ・ネガティブの2種類となっていると，不適切な感情を誘起してしまう恐れがある．例えば，視聴者が被災者の置かれている状況への共感をチャリティーグッズ販売に結び付ける必要がある場合，動画が分類される悲しみではなく，同じネガティブ感情である怒りや嫌悪感を誘起してしまうケースや，技術書販売において信頼の誘起が有効である場合に，同じポジティブ感情である喜びを誘起してしまうケース等が考えられる．本研究における7感情ベクトルは，こうした応用において有用となることが期待できる．

感情の分類については，様々なモデルが存在している．代表的なものとして，Ekmanによる分類や，Plutchikの感情の輪が挙げられる．日本語感情表現辞書は，広く認知された感情分類であるPlutchikの感情の輪をベースとしている．クラウドソーシングによって様々な体験に関する文章を収集したデータセットであるEPISODE BANKを用いており，文章と感情を結び付けたうえで，各感情中の単語の出現頻度に基づいて単語ごとの感情値を定めたものである．日本語感情表現辞書の7感情を用いる事で，これら単語ごとの感情値を活用して感情推定を行うアプローチとも比較することが出来，多面的な検証が可能となることから，本研究ではこの7感情を採用した．なお，単語ごとの感情値の活用については，実際にルールベースの感情推定手法の検証を行い，発表済みである\cite{DEIM}．

実応用においては，7次元感情ベクトルの全体を用いるケースや，最大感情を抽出して用いるケースが考えられる．例えば，ユーザが視聴している動画と類似する感情を得られる動画を推薦するシステムの場合，7次元ベクトルの類似度が高い動画を推薦対象とすることが考えられる．また，ユーザが指定する感情を得られる動画を提示するシステムの場合，7次元ベクトルの中で最も強く表れている成分をその動画の感情ラベルとし，指定感情とマッチする感情ラベルを持つ動画を提示することが考えられる．こうした応用例を想定し，5章では，7次元ベクトルの推定精度評価及び最大感情の推定精度評価を行っている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S3.2
\subsection{BERTによる感情推定手法}
大まかな流れとして，事前学習済みのBERTに対し，感情のラベルが付加された動画のコメントを用いてFine-tuningを行う．特定感情とコメントの間にある関係性を学習させることによってBERTを感情分類を行う分類器として用いる．その後，推定を行いたい動画のコメントを入力し，出力として感情ベクトルを得る．

本研究では，東北大学乾・鈴木研究室が公開している日本語事前学習済みBERTモデル\footnote{\url{https://github.com/cl-tohoku/bert-japanese?tab=readme-ov-file}}を用いる．当該モデルは日本語版のWikipediaコーパスによって学習が行われている．
感情ごとのコメントの傾向を学習させるために，Fine-tuningを行う．Fine-tuningで用いる動画のコメントは，クラウドソーシング\footnote{\url{https://crowdworks.jp}}を用いて収集した．150名の実験協力者を対象に，視聴した際に3.1節で示した7つの感情を得られる動画を1本ずつ提示させた．これにより，各感情につき150本ずつ，合計1,050本の動画のIDを得た．図2に動画ID収集時の作業手順書の内容を，図3に入力用フォームを示す．


%%%%%%%%%%%%%%%%%%%%%%%%%%%F2
\begin{figure}[b]
\begin{center}
\includegraphics{32-3ia1f02.eps}
\end{center}
\caption{動画ID入力作業手順書}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%F3
\begin{figure}[t]
\begin{center}
\includegraphics{32-3ia1f03.eps}
\end{center}
\caption{動画ID入力用フォーム}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



各動画からYouTube Data API\footnote{\url{https://developers.google.com/youtube/v3}}を用いて，人気順で上位100件のコメントを収集した．コメントを収集し，テキストファイルへと変換する際に絵文字・記号・英字・数字の削除を行っている．
人気順とは，コメントについたコメント（子コメント）や，コメントについたいいねの数量に基づいてコメントの人気を評価し，順序付けしたものである．本実験では，コメントの取得を全て人気順で行っている．

収集の際に提示された感情でコメントにラベルを付与した．例えば，sad（悲しみ）の感情を得る動画として提示された動画150本のコメントにはそれぞれsad（悲しみ）のラベルを付与した．こうして得られたラベル付きのコメントデータを用い，Fine-tuningを行った．Fine-tuningによって出力される感情ベクトルの値が変化するため，Fine-tuningと感情ベクトルの出力をセットとして，10回行った平均をBERTの出力結果としている．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S3.3
\subsection{大規模言語モデルによる感情推定手法}
LLMでは追加の学習を行わず，コメントからどのような感情を推定することが出来るかをプロンプトを用いて判別させる．大まかな流れとして，大規模言語モデルに推定を行いたい動画のコメントを入力する．1コメントずつの入力となり，プロンプトによって指定されたフォーマットによって感情値の返答が行われる．最終的に，返答された感情の値の平均を取ることによって，感情ベクトルを出力する．プロンプトを以下に示す．

{\vspace{5pt}}%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%listing
\begin{lstlisting}[caption=感情推定プロンプト,label=fuga]
"あなたには入力した動画のコメントから，動画が視聴者に与える感情の推定を行っていただきます．"
"条件として，感情は必ず次に示す7つの選択肢から選択してください．"
"[悲しい],[不安],[怒り],[嫌悪],[信頼],[驚き],[嬉しい]"
"感情の強さに応じて，0,1,2,3,4の5段階で評価してください．"
"感情が強く含まれる場合は大きい数字，感情が含まれない場合は小さい数字で評価してください．"
"今日は新発売のケーキを買った．最高の一日だ．"
"[悲しい:0][不安:0][怒り:0][嫌悪:0][信頼:0][驚き:1][嬉しい:4]"
"愛猫が亡くなってしまった．泣きながら一日眠ってしまった．"
"[悲しい:4][不安:2][怒り:0][嫌悪:0][信頼:0][驚き:2][嬉しい:0]"
\end{lstlisting}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


GPTやLlama，Claudeは，入力の例と理想の返答について設定することが可能である．Geminiに関しては入力例と返答例を送信することが不可能であるため，プロンプト1の下4行の例示を行っていない．例示として使用した文章は作成した物であり，文章の感情値は実験協力者5名にアンケートを取った平均である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S4
\section{正解データの作成に関する予備実験}
提案手法の評価においては，実験協力者に対し動画から得られる感情についてアンケートを実施し，結果を平均することで正解データを作成する．正解データを作成するために十分なアンケートの回答件数を明らかにするために，予備実験を行った．動画の中で最も強く得られる感情について，何件のコメントがあれば安定して取得可能かについて評価している．

3本の動画について，クラウドソーシングを用いて100名の実験協力者に対して動画を視聴させ，7つの感情の強度について1から5の5段階でアンケートを行った．図4に本研究で用いた感情評価用のアンケートフォームを示す．

手法として，100件のアンケート結果を平均した値を基準値とし，100件の中から一定件数をランダムに抽出して平均した値と比較する．この作業を50回繰り返す．基準値から値が大きく離れている場合はアンケートの件数として適さない．基準値と値が近い場合，特に最も強い感情が一致している場合はアンケートの件数として適していると考えられる．表1に抜き出し件数ごとの誤差の大きさの平均と最大感情の一致率を，表2に抜き出し件数ごとの一定以上の誤差を示した件数を示す．

誤差大きさ平均は，基準値と抜き出し平均のベクトル成分の誤差を示す．基準値と抜き出し平均において，同じ動画の同じベクトル成分から誤差の絶対値を求める．以上の作業を全ての動画，ベクトル成分に対して行う．最終的にそれらの平均を算出する．

最大感情一致率は基準値と抜き出し平均のベクトルを比較し，最も値の高い成分が一致した割合を示している．動画1から3において，基準値と抜き出し平均の感情ベクトルを比較し，最も高い成分が一致するかを判定する．最終的にそれらの割合を算出する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%F4
\begin{figure}[t]
\begin{center}
\includegraphics{32-3ia1f04.eps}
\end{center}
\caption{感情評価用アンケートフォーム}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%T1
\begin{table}[t]
\input{01table01.tex}
\caption{アンケート件数についての評価結果（誤差大きさ）}
{\vskip -4pt}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%T2
\begin{table}[t]
\input{01table02.tex}
\caption{アンケート件数についての評価結果（誤差件数）}
{\vskip -10pt}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



誤差数は基準値と抜き出し平均のベクトル成分の誤差を，誤差の絶対値の大きさごとにカウントしたものである．誤差大きさ平均と同様に，同じ動画の同じベクトル成分から誤差の大きさを求め，それらを集計した．$\pm0.05$の場合，誤差が$-0.05$以上0.05以下である数をカウントしている．

結果として，アンケート結果を10件以上抜き出すことで最大感情の一致率は95\%を越え，コメントを20件以上集めることで99\%を越えることが分かった．また，30件以上集めることで100件のコメントを集めた時と同一の最大感情一致率を示すことが分かった．誤差の大きさは，10件集めることで0.236となり，0.25を下回る．20件集めることで0.154となり0.2を下回ることが分かる．アンケート結果の成分ごとの誤差に関しては，30件以上収集することで，100件収集した時の成分と比較して，$\pm0.5$以上の誤差が発生しなくなる．

以上の結果より，10名以上のアンケート回答を平均化することで，95\%以上の確率で100名のアンケート回答と同様の最大感情を定められることが分かった．多くの動画について正解データを作成する場合，この結果に基づいてアンケート回答数を設定することで実験コストを抑えることが出来る．以降の実験では，5.1節において3本の動画について100名のアンケート回答から正解データを作成して用い，5.2節においては30本の動画について1本あたり10名のアンケート回答から正解データを作成して用いている．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S5
\section{評価実験}
本節では，提案手法の評価実験について説明する．二つの評価を実施した．一つ目は100件のコメントから7次元感情ベクトルを推定する精度の評価であり，二つ目は少数のコメント（10件）から最大感情を推定する精度の評価である．BERT及び5種類の大規模言語モデルについて，これら二種類の観点で評価を行い，言語モデル間の感情推定能力の比較を行う．

本研究では，以下のモデル及びバリエーションについて評価を行っている．

%%%%%
\begin{itemize}
  \item BERT
  \begin{itemize}
    \item 350 file 256 token, 350 file 512 token, 1,050 file 256 token, 1,050 file 512 token
  \end{itemize}
  \item GPT
  \begin{itemize}
    \item 3.5-turbo, 4, 4-turbo, 4o
  \end{itemize}
  \item Deepseek
  \item Gemini
  \begin{itemize}
    \item 1.5 Flash, 1.5 Pro
  \end{itemize}
  \item Claude
  \begin{itemize}
    \item 3 sonnet, 3 opus（類似度評価のみ），3.5 sonnet
  \end{itemize}
  \item Llama-3-ELYZA-JP-8B
\end{itemize}
%%%%%

BERTは，Fine-tuningの際のパラメータによって4種類の推定モデルを用意している．Fine-tuningに用いたテキストファイルの数 (350 file, 1,050 file) とFine-tuningの入力Token数 (256 token, 512 token) の組み合わせである．前者は学習に用いた動画の本数，後者は1動画ごとのコメント量と対応している．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S5.1
\subsection{7次元感情ベクトルの推定精度評価}
7次元感情ベクトルの推定精度評価では，推定を行いたい動画のコメント100件を入力とし，感情ベクトルを出力とし，正解データとの類似度を算出することで推定精度の評価を行う．評価に用いた動画は以下の3本である．

%%%%%
\begin{itemize}
  \item 動画1: 【衝撃】火山にゴミを捨てて処理する場合に起こること（VIENCE バイエンス）\footnote{\url{https://youtu.be/uJBHO2NXvxQ}}
  \item 動画2:  back number - 手紙 (full)\footnote{\url{https://youtu.be/woRV5VxJDkU}}
  \item 動画3:  貫禄ありすぎて、父親と間違われる引きこもり生徒【ジェラードン】\footnote{\url{https://youtu.be/OtJvFyqqeo0}}
\end{itemize}
%%%%%

各動画について，4章で示した100名のアンケート回答を用い，平均・正規化して単位ベクトルとしたものを正解データとした．アンケートでは1から5の5段階としたが，感情が得られない場合の値を0とするため，平均の際は0から4の5段階として扱った．各モデルから出力された感情ベクトルと正解データをコサイン類似度により比較し，その数値を評価の基準とした．

表3に各動画の感情ベクトルの正解データを示す．表3に示されている通り，動画1は信頼，驚き，喜びの3つの感情において高い数値を示しており，複数の感情が同時に表れやすい動画であることが示されている．動画2では悲しみが突出して高く，信頼と喜びも他の感情と比較してやや高い事が分かる．動画3では喜びの感情が最も高く，驚きの感情も高い事が示されている．全ての動画において感情の傾向が分かれていることが分かる．表4に評価結果を示す．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T3
\begin{table}[b]
\input{01table03.tex}
\caption{正解データの感情ベクトル}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T4
\begin{table}[t]
\input{01table04.tex}
\caption{言語モデルごとの7次元感情ベクトルと正解データのコサイン類似度}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


3つの動画において最も高いスコアを示したモデルは，動画1がGPT-4の0.9950，動画2がGemini-1.5-Proの0.9458，動画3がGPT-4-turboの0.9877となっている．LLMについては，ほとんどが0.9以上のスコアを示しており，0.95を越えるモデルも多い．BERTはLLMと比較してスコアが低く，その中では350 file 250 tokenで学習されたものは性能が比較的高く，1,050 file 256 tokenで学習されたものは動画2と動画3において高い性能を示している．

動画1に関しては複数の感情が高く，joyやsadなどの比較的分かりやすい感情以外が高いという特徴がある．GPT-4及びGPT-4oは複雑な成分の感情に対して強力であるという特徴がある．それ以外のLLMは0.9500程度が多く，複雑な感情の推定能力は一歩劣ると考えられる．

動画2に関しては全体的に0.9500以下になるものが多い．これはコメントの持つ感情の値と正解データに差が存在するためであると考えた．本動画は両親への家族愛を叙情的に書いた歌である\cite{Tegami}．コメントを行う人は基本的に家族や家族愛に対する言及をすることが多い．そのため，コメントから直接感情推定を行うことによって得られる感情は，主にtrust（信頼）が主になる傾向が見られた．また，sad（悲しみ）はあまり高い数値を示していない．しかし，クラウドソーシングによって集めた視聴者が感じた感情はsad（悲しみ）が中心である．そのため，1回見ただけの視聴者とコメントを行う層が食い違うことによって類似度の低下を招いたと考えられる．

動画3に関しては，基本的に0.95以上を示すモデルが多い．joy（喜び）が分かりやすい感情であるためだと考えている．しかし，最も高いスコアでも0.9900を越えていない．喜びが最も高く驚きが次いで高いことを推定したモデルは多いが，喜びと驚きのベクトルの成分の比率を高い精度で一致させたモデルが少ないためであると考えた．また，正解データにわずかに含まれているangry（怒り）とdisgust（嫌悪感）の感情が，LLMの推定においては極めて少なく推定されている（付録A）．そのずれによってわずかに低いスコアを示していると考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S5.2
\subsection{最大感情の推定精度評価}
最大感情の精度評価では，推定を行いたい動画のコメント10件を入力とし，感情ベクトルを出力とする．クラウドソーシングを用いて10名の実験協力者から3.1節で示した7つの感情を得られる動画を収集し，その中から各感情の動画が4から5本になるようにランダムに選定した30本の動画について感情推定を行った．表5に各感情ラベルが付与された動画の本数を示す．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T5
\begin{table}[b]
\input{01table05.tex}
\caption{選定動画のラベル}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


各動画について，クラウドソーシングを用いて100名の実験協力者に，30本の動画からランダムに選定した3本の動画を視聴させ，7つの感情の強度について1から5の5段階評価でアンケートを行った．各動画につき10名のアンケート結果が得られ，平均して正規化し，単位ベクトルとしたものを正解データとした．5.1節と同様に，感情が得られない場合の値を0とするため，平均の際は0から4の5段階として扱った．各モデルから出力された感情ベクトルの中で最も数値の大きいベクトル成分と，正解データで最も数値の大きいベクトル成分を比較し，一致した動画の数を評価の基準としている．

表6に結果を示す．正解数は30本の動画中で最大感情が正解データと一致した数，正解率はその割合，コサイン類似度平均は30本の動画ごとのコサイン類似度の平均を表している．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T6
\begin{table}[b]
\input{01table06.tex}
\caption{モデルごとの最大感情の推定結果}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


最もスコアの高いモデルは，BERTの1,050 file 256 tokenでFine-tuningを行ったモデルとなり，正解数は22で正解率は73\%となった．次に性能が高いモデルとして，BERTの1,050 file 512 tokenモデル，Gemini-1.5-ProとDeepseekとなった．ランダムに感情を選択した場合，正解率は1/7（約14\%）となるため，ランダムに感情を選択した場合よりも性能が高く，推定する能力は全てのモデルにおいて存在していることが分かる．
BERTはFine-tuningの際に，入力可能なTokenに上限がある．そのため，学習用のコメントを1動画につき1つのテキストファイルとして入力している関係上，入力されているコメントは人気順で上位のコメントに限られる．そのため，上位10件のコメントのみを使用した最大ベクトルの一致率評価において高い性能を示した可能性がある．それに対し，LLMは多数のコメントを平均することによって高い性能を持っていたが，少ないコメントではコメント一つ一つの持つ感情のバラつきを精細に感じ取ることで平均した際に想定していない感情が最も高くなる可能性を持つ．

詳細な結果（付録C）から分かることとして，全体的に正答率の高い感情として，joy（正答率80\%），trust（正答率73\%）が挙げられる．正答率の低い感情としては，sad（正答率45\%），disgust（正答率39\%）が挙げられる．

BERTはLLMと比較してネガティブ感情 (sad, anxiety, angry, disgust) の正解率が高い傾向にある．LLMの正答率が低い感情において高い正解率を示していることから，LLM自体がネガティブな感情の推定能力が低い可能性を示唆している．BERTは学習によって，ネガティブな動画のコメントが持っている雰囲気や傾向を上手く取得できていることが分かる．しかし，ポジティブな感情 (trust, surprise, joy) に関してはLLMの正答率の方が高い．そのため，Fine-tuningによる学習を行ったBERTとLLMは反対の性質を持っている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S6
\section{分析}
5章の評価結果より，各言語モデルの感情推定能力を考察する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S6.1
\subsection{BERTの感情推定性能}
BERTに関しては，基本的に1,050 file 256 tokenのものが高い性能を示していた．すなわち，より多くの動画について，より少ないコメントを学習したモデルが高い性能を示している．少ないコメントが良い結果を示している点については，YouTubeのコメントを人気順で取得している影響が考えられる．人気順とは，コメントに付けられる「いいね」評価の高さに応じた順番である．\footnote{\url{https://support.google.com/youtube/answer/9482556?hl=ja}} 「いいね」が多くついている，ユーザから共感を集めたコメントが上位となる．「いいね」が少ないコメントは，動画と無関係なものや内容が薄い物が含まれる場合があり，結果的に256 tokenが512 tokenを上回ったと考えられる．
また，学習に用いたテキストファイル数が多いほうがより高い精度での推定が可能であることが結果から考えられる．

LLMと比較すると，コメントそのものが持つ感情ではなく，特定の感情を与える動画とコメントの対応を学習しているという点で大きな違いがある．そのため，コメントから直接感情を感じることが出来ない場合に高い性能を示す．

正解率評価では，嫌悪感や怒りなどのネガティブな感情を与える動画に関しても推定を行った．それらの感情を人に与える動画のコメントは，直接的な感情がコメントから読み取ることが出来ないと考えられる．そのため，動画の与える感情とコメント内容の対応を学習したBERTが高い正解率を示した．

しかし，BERTの短所として感情推定の出力結果のベクトル成分の最低値が0.2500から0.3500程度になることが挙げられる（付録A）．LLMの場合，最低値は0.1000未満になる．動画を見て得られない感情は0に近い値になるためである．しかしBERTの場合は得られない感情でもわずかに高い数値を示してしまう．そのため，感情ベクトルの類似度評価において低い値を示したと考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S6.2
\subsection{LLMの感情推定性能}
全体を通して，Gemini-1.5-Flashを除いたLLMの感情推定の性能は高い．しかし，後発のモデル程性能が高いというわけではない．Claude 3 Sonnetと3.5 Sonnetを比較すると，動画1の精度は上昇しているが，それ以外の精度はわずかに減少している．GPTに関しても，4と4oは動画1において性能が高く，対して4-turboは動画3において性能が高い． 

LLMはコメントの入力件数を増加させることで動画視聴者の感情推定能力を向上させることが可能であることが分かる．コメントが少ない場合，GPTのモデルでは悲しみや嫌悪感，不安の正解数が低い．

また，LLMのコストと性能が必ずしも一致している訳ではない．表7に各大規模言語モデルの入出力1Mtoken（100万token）における2024年11月におけるコストを示す．GPT-4やClaude 3 Opusなどの高コストなモデルが，必ずしもGPT-4oやClaude 3 Sonnetより高いスコアを示しているわけではないことが分かる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T7
\begin{table}[t]
\input{01table07.tex}
\caption{モデルの1Mtokenあたりのコスト（単位：\$）}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S6.3
\subsection{BERTとLLMの違いについて}
本研究では，BERTとLLMのデータ入力の形式が異なっている．これはデータ入力をモデルごとに行いやすい形式へ変換して行っているためである．データ入力の形式が異なることによる影響が存在すると考えられる．

BERTへの入力は100件あるいは10件のコメントを結合したテキストファイルによって行われている．入力トークン数の制限によって，末端のコメントが読み込まれない場合がある．コメントは人気順で結合しており，上位には人目を惹く意外性のあるコメント等が入る場合がある一方，感情を表現した素朴なコメントは下位となる場合がある．動画から得られる感情を直接的には含んでいないコメント等が上位にあった場合，その影響が相対的に大きくなる可能性がある．学習時にもトークン数により上位コメントを相対的に多く学習しており，動画の感情の傾向と上位のコメントの傾向を学習することで，正解数評価において，入力コメントそのものが持つ感情ではなく，入力コメントが付きやすい動画の感情を推定できたと考えられる．

それに対しLLMは1件ずつコメントを入力する形式である．100件中の下位のコメントが削られるといったことなく，感情の推定が行われる．これにより，精度評価においては，人気下位であるものの視聴者感情が書かれたコメントを含むことでLLMが高いスコアを示すことに寄与した可能性がある．それに対し，正解数評価では入力コメント数は10件であり，上位のコメントのみで感情推定を行っている．動画と関係が薄いが多くいいねの付いたコメントや，動画の与える感情とは異なる感情の表現を含むコメントが10件の内多くを占めた場合，精度が低くなると考えられる．

また，正解率評価におけるBERTとLLMの性能の違いについては，特にネガティブな感情において性能差が見られた．これは，上記でも述べている通り，コメントそのものが持つ感情ではなく，特定感情の動画につきやすいコメントの傾向をBERTが学習していることが要因だと考えられる．BERTのFine-tuningにおいて用いたデータセットは，動画ごとに視聴者が最も強く感じた感情のラベルが付加されている．そのため，コメントそのものが持つ感情と動画の感情ラベルが異なる場合がある．表8に，実際にBERTのFine-tuningに用いた動画コメントから抜き出した，ネガティブな動画感情とコメントから読み取れる感情が異なる例と，そのコメントのLLM (GPT-4o) による感情推定結果を示す．これらのコメントはテキストファイルの中でも上位に位置するコメントであり，トークン数256 tokenでも読み込まれる．このように，動画の持つ感情とコメントから読み取れる感情が異なる事例も存在する．そのため，コメントから読み取れる感情だけでは視聴者感情を上手く推定出来ない動画において，動画とコメントの傾向を学習したBERTによる推定が有効に働くと考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T8
\begin{table}[t]
\input{01table08.tex}
\caption{動画感情とコメント感情の差異}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S6.4
\subsection{動画視聴回数による影響について}
5.1節で述べたように，動画の視聴回数が視聴者感情，ひいては本研究における評価結果に影響を与えている可能性がある．本研究ではクラウドソーシングを用いて視聴者感情を収集し，正解データとして用いている．クラウドソーシングでは視聴する動画を我々が指定しているため，各作業者にとっては初回視聴となる動画が多かったものと考えられる．すなわち，正解データはおおむね初回視聴者が得る感情を反映しているはずである．

一方，オンライン動画サービスにおいて人気順で上位のコメントを残すのは，いわゆるヘビーユーザであり，感情推定に用いているコメントは当該動画を繰り返し視聴しているユーザによるものである可能性がある．動画の内容によっては，視聴回数によって得られる感情が変化する場合があり，動画2において正解データが悲しみの感情を強く示していたのに対し，LLMがコメントから信頼を強く読み取った事は，その影響を受けている可能性が考えられる．

ただし，本研究が想定する応用においては，この点の影響は限定的と考えられる．5.1節で示したように，3件の動画に対して多くのLLMでは0.9000以上の結果が得られており，中には0.9900を超えているものもある．例えば，Gemini 1.5-ProやClaude 3 sonnet，Claude 3 Opusは動画3件共に0.9400を超えている．コサイン類似度のベースラインとして，ランダムな感情ベクトル同士のコサイン類似度を100回計算したところ，平均は約0.764となった．ジャンルの異なる3件の動画について，いずれもベースラインと比べて高いコサイン類似度が得られていることから，上記の影響が存在するとしても正解データとコメントに基づく感情ベクトルとの乖離は限定的と考えられる．

本研究ではマーケティングやコンテンツ推薦への応用を想定しており，感情推定の精度が高いことが好ましくはあるものの，正解データとの完全な一致を必要とするものではなく，そもそも視聴者によって得られる感情に多少の幅があるものであり，上記の影響は限定的と考えられる．また，繰り返し視聴されにくいジャンルの動画（時事ニュース等）であれば，コメントは初回視聴者によるものとなりやすく，上記の影響は生じづらいという想定の元，提案手法を適用可能と考えられる．

なお，初回視聴における感情の推定が求められる場合には，コメントから初回視聴によるものを選別して感情推定を行うアプローチが考えられる．YouTube Data APIにおいては，ユーザ個別の動画視聴回数は得られない事から，コメント内容に基づく選別が必要となる可能性がある．こうしたアプローチについては，本研究ではスコープ外としているが，今後検討すべき課題のひとつである．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S7
\section{おわりに}
本研究では，オンライン動画共有サービスにおける動画視聴者の感情を自然言語処理によって推定する手法を提案し，実際の視聴者の感情と提案手法による推定結果を比較することによって評価を行った．深層学習モデルとしてFine-tuningを行ったBERTを，大規模言語モデル (LLM) としてGPT-4を始めとした複数のLLMを使用し，これらモデル間の感情推定能力の差異を明らかにした．

精細な感情推定の能力を評価する感情ベクトル類似度評価では，GPT-4やGPT-4-turbo，Gemini-1.5-Proを始めとした2024年に発表された最先端のモデルにおいて高い性能を示した．対してBERTのスコアは比較的低い値を示した．

少数のコメントから最も強い感情を推定する能力を評価する最大ベクトルの一致率評価では，全てのLLMを越えてFine-tuningを行ったBERTが最も高いスコアを示す結果となった．次にGemini-1.5-ProやDeepseekが高いスコアを示した．また，BERTはネガティブな感情の正解率が高く，LLMはポジティブな感情の正解率が高い傾向が示された．

既存手法と比較し，提案手法では感情を7次元ベクトルで表現することにより，ポジティブ・ネガティブのみではない，詳細な推定が可能であり，複数の感情の強度を数値化できる．これにより，強い感情と弱い感情のみでなく，表出するが強くない感情などを捉えることも可能である．また，視聴者の生体情報等でなく，動画のコメントを入力として推定を行うため，数多くの動画に対して推定が可能である．

また，本研究では複数のLLMによる同一の手法による感情推定を行った．これによって，各LLMモデルの持つ感情推定能力にどのような差が存在するかについて結果を示すことが出来た．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S7.1
\subsection{今後の課題}
今後の課題として，BERTのFine-tuningの方法やデータの前処理方法に工夫を加えることで，推定能力の向上を図ることを考えている．また提案手法による感情推定を応用し，動画の検索や類似動画の推薦を行うシステムを検討していきたい．

また，提案手法の応用に際し，異なる複数の感情が共に強く表れるような動画において問題が生じる恐れがある．賛否両論であるトピックを扱う動画や，過激な内容を含む動画では，ポジティブ・ネガティブ両方のコメントが多く書き込まれる場合がある．こうした動画は，関連動画の推薦システムへの応用等において問題となり得る．例えば，喜びの感情を得られる動画を求めているユーザに推薦した動画が，そのユーザにとっては怒りの感情を誘起するものであるといった状況が生じる可能性がある．ナイーブな対処方法としては，7次元ベクトルとして出力が得られる点を活かし，複数の感情が共に強く表れる場合には推薦対象から除外するといった対応が考えられるが，推薦可能な動画コンテンツが限定されてしまう問題もある．こうした，異なる感情を強く与え得る動画の扱いについては，今後の課題である．

時間経過が及ぼす影響についても今後検討するべき事項である．本研究ではコメントを人気順で取得し感情推定を行っているが，動画の公開初期のコメントと，時間が経過した後のコメントでは，社会情勢等の変化により，異なる感情を内包している可能性がある．ひとつの動画内においても，長時間の動画の場合，視聴する箇所によって得られる感情が大きく異なる状況が考えられる．こうした，時間経過が及ぼす影響に対し，コメントの投稿日時やコメントが指し示す動画内の時間的位置を考慮した，感情推定についても検討したい．

この他，Plutchikの感情の輪をはじめとする各種感情分類モデルによる違いや，感情が発生しない場合を示すニュートラル感情の有無による影響を検証することも考えられる．本研究では7次元の感情ベクトルにおいて各要素が0に近い値を取ることで間接的にニュートラルな状態を表現可能であるが，実験用の動画URL収集等においてはニュートラル感情の存在は考慮していない．これを考慮することで，より精細な感情推定を行うことを検討したいと考えている．



%%% Bibliography %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\begingroup
\addtolength{\baselineskip}{-0.5pt}
\bibliography{01refs}
\endgroup

\appendix
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S.A
\section{ベクトル成分の類似度評価における詳細な出力}
各モデルが出力した詳細な感情ベクトルの成分を示す．表9に動画1の成分を，表10に動画2の成分を，表11に動画3の成分を示している．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T9
\begin{table}[t]
\input{01table09.tex}
\caption{ベクトル成分の類似度評価出力（動画1）}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T10
\begin{table}[t]
\input{01table10.tex}
\caption{ベクトル成分の類似度評価出力（動画2）}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T11
\begin{table}[t]
\input{01table11.tex}
\caption{ベクトル成分の類似度評価出力（動画3）}
{\vskip -1pt}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S.B
\section{最大ベクトルの一致率評価の詳細な出力}
各ラベルごとのコサイン類似度の値を示す．表12にLLMのコサイン類似度，表13にBERTのコサイン類似度を示す．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T12
\begin{table}[t]
\input{01table12.tex}
\caption{感情ラベルごとのコサイン類似度 (LLM)}
{\vskip -1pt}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T13
\begin{table}[t]
\input{01table13.tex}
\caption{感情ラベルごとのコサイン類似度 (BERT)}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%S.C
\section{感情ごとの正解数}
表14に，動画の感情ラベルごとの各モデルの正解数を，表15に動画30本に対する正解数と正解率を示す．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T14
\begin{table}[t]
\input{01table14.tex}
\caption{感情ごとの正解数}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%T15
\begin{table}[t]
\input{01table15.tex}
\caption{合計正解数と正解率}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%% Biography %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\clearpage%%%%%
\begin{biography}
\bioauthor{菅野　祐希}{
2023年工学院大学情報学部情報通信工学科卒業．同年同大学大学院工学研究科情報学専攻に進学，現在に至る．自然言語処理の研究に従事．
}
\bioauthor{坂野　遼平}{
2010年北海道大学工学部情報エレクトロニクス学科卒業．2012年同大学大学院情報科学研究科修士課程修了．2018年東京工業大学大学院情報理工学研究科博士課程修了．2012年日本電信電話株式会社入社．2018年東京工業大学情報理工学院研究員．2020年工学院大学情報学部情報通信工学科助教，2022年より准教授．2024年一橋大学大学院ソーシャル・データサイエンス研究科准教授，現在に至る．IoTシステム，オーバレイネットワーク等の研究に従事．博士（理学）（2018年9月，東京工業大学）．ACM, IEEE, IEICE, IPSJ各会員．}

\end{biography}


\biodate   %%%% 受付日の出力（編集部で設定します）

\end{document}

