\documentclass[japanese,other]{jnlp_3.3}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
%%%%\usepackage{hangcaption_jnlp}
%%%%\usepackage{array}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{28}
\Number{3}
\Month{September}
\Year{2021}
%%%%\Issuetitle{「　　　　」特集号}


\setcounter{page}{907}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{WRIME: 主観と客観の感情強度を付与した日本語データセット}
\jauthor{梶原　智之\affiref{ehime-u}}
\etitle{WRIME: A Japanese Dataset for Emotional Intensity Estimation with Subjective and Objective Annotations}
\eauthor{Tomoyuki Kajiwara\affiref{ehime-u}} 

\headauthor{梶原}
\headtitle{WRIME: 主観と客観の感情強度を付与した日本語データセット}

\affilabel{ehime-u}{愛媛大学大学院理工学研究科}{Graduate School of Science and Engineering, Ehime University}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle

\vspace*{-1.5\Cvs}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
% ==================================================
\section{はじめに}
% ==================================================

本稿では，NAACL 2021に採択された論文 ``WRIME: A New Dataset for Emotional Intensity Estimation with Subjective and Objective Annotations'' \cite{kajiwara-2021a}について，研究の過程を含めて紹介する．
本研究では，日本語の感情分析のために，テキストの書き手と読み手の両方の立場から感情強度を注釈付けしたデータセット\footnote{\url{https://github.com/ids-cv/wrime}}を構築した．
本稿の執筆時点では，80人の書き手から収集した43,200件のテキストを公開中であり，現在も拡張を続けている．


% ==================================================
\section{経緯}
% ==================================================

筆者が本研究に取り組むことになったのは，大阪大学データビリティフロンティア機構\footnote{\url{https://www.ids.osaka-u.ac.jp/}}への着任がきっかけである．
本機構は，生命科学・医歯薬学・理工学・人文科学等の様々な分野にデータ駆動型研究を導入し，研究スタイルの変革を図ることを目指して2016年に設置された組織である．
これまで言い換え表現の生成と認識を中心に自然言語処理の研究に従事してきた筆者も，2018年の本機構への着任を機に，
%%%%法学 \cite{chu-2019}・
    法学 (Chu 他 2019)・\nocite{chu-2019}
文学 \cite{tanaka-2020}・歯学 \cite{nishihara-2021}を専門とする研究者たちとの共同研究に取り組み始めた．

このような背景のもと，2018年度文部科学省「Society 5.0実現化研究拠点支援事業」に採択された「ライフデザイン・イノベーション研究拠点」事業\footnote{\url{https://www.ids.osaka-u.ac.jp/ildi/index.html}}の一部として，筆者らはソーシャル・ネットワーキング・サービス (SNS) 上のテキストデータの利活用について，研究を開始することとなった．
本プロジェクトは，心と体の健康増進やQOLの向上に役立つ高付加価値データベースの構築を通して，豊かな社会生活の実現を目指すものである．
本プロジェクトは日常生活の中の様々な活動データの利活用を推進するものであるが，筆者は自然言語処理が専門であるため，その中で特に，SNS上のテキストデータを対象とすることになった．
そして2018年12月から，心身の健康管理をサポートするためのSNSテキストの感情分析の研究を開始した．
なお，本研究は，データビリティフロンティア機構のChenhui Chu特任助教（現在は京都大学情報学研究科特定准教授），武村紀子准教授，中島悠太准教授，長原一教授とともに取り組んだ．


% ==================================================
\section{研究の流れ}
% ==================================================

% ==========
\subsection{先行研究の調査}
% ==========

2018年12月に研究に着手した．
まず，感情分析の先行研究について調査した．
日本語と英語の両方で，商品や映画のレビュー文書に感情極性（ポジティブおよびネガティブ．ニュートラルを含む場合もある．）のラベルを付与したデータセットが構築されており，感情極性分類が活発に研究されていることがわかった．
また，TwitterなどのSNSテキストに感情極性ラベルを付与したデータセットも構築されていることがわかった．

より詳細な感情分析の研究として，英語では感情分類や感情強度推定も研究されているが，日本語ではこのような詳細な感情を注釈付けしたデータセットは見つからなかった．
そこで本研究では，Plutchikの基本8感情\footnote{Plutchikの基本8感情：喜び，悲しみ，期待，驚き，怒り，恐れ，嫌悪，信頼} \cite{plutchik-1980}のような多様な感情を日本語テキストに付与し，日本語の感情分析のための新しいデータセットを構築することとした．

% ==========
\subsection{クラウドソーシングによるデータ収集その1}
% ==========

2019年1月からアノテーションの準備を開始した．
アノテーション管理会社の選定やアノテーション仕様書の作成に約2ヶ月，実際のアノテーションに約1ヶ月の時間をかけ，3月末に最初のアノテーション済みデータを受け取った．
このアノテーションでは，SNS上での過去の自身の日本語の投稿にPlutchikの基本8感情の強度をそれぞれ4段階（無・弱・中・強）で付与してもらい，50人から3,000件のテキストと感情強度ラベルを受け取った．

収集したデータを確認したところ，自動生成された投稿や，リンク先や添付ファイルの参照が必要な投稿など，投稿本文から書き手の感情を推定できない課題が見つかった．
また，全ての感情について最大強度のラベルを付与するなどの不真面目なアノテータも見つかった．
これらの分析とアノテーション仕様書の修正に約2ヶ月の時間をかけ，6月に2回目のアノテーションを発注した．
8月末に，200人から4,000件のテキストと感情強度ラベルを受け取った．

収集したデータを確認したところ，残念ながら，自動生成されたテキストは残っていた．
また，全て最大強度などの自動的に検出できる不真面目なアノテーションは除外できたものの，感情強度をランダムに振るなどの自動的に検出することが難しい不真面目なアノテーションは残っていた．
しかし，アノテーションツール上でこれらを検出することは難しいと判断し，大規模にデータを収集した後でこのようなものを除外するという方針に決め，3回目の大規模なアノテーションを発注した．
2019年12月末に，400人から14,000件のテキストと感情強度ラベルを受け取った．
ここから，自動生成された投稿，日本語を含まない投稿，自身の投稿を扱っていない人\footnote{企業や著名人の公式アカウントの投稿を扱っている人がいた}，感情強度のラベルをランダムに振っている人などを除外し，最終的に345人から11,000件のテキストと感情強度ラベルを得た．

% ==========
\subsection{クラウドソーシングによるデータ収集その2}
% ==========

前節で収集したテキストには，書き手自身による感情強度のラベルが付与されている．
これらの感情強度のラベルを確認する中で，我々がテキストを読んで想像した書き手の感情強度と実際にラベル付けされている感情強度に乖離があることがわかった．
書き手の感情と読み手の感情\footnote{正確には，テキストから読み手が想像する書き手の感情}の差異についての分析に興味を持った我々は，2020年3月に3人の作業者をクラウドソーシングサービスのランサーズ\footnote{\url{https://www.lancers.jp/}}で雇用し，全てのテキストに読み手の視点から感情強度のラベルを付与した．
そして，書き手によるラベルと読み手による平均ラベルの一致率を計算したところ，Quadratic Weighted Kappaで0.211と大きな乖離があることがわかった．

この時点で，書き手が持つ感情強度と読み手が持つ感情強度に大きな乖離があるという結論で原稿を書き投稿することも検討した．
しかし，前節のアノテーションでは指示に従わないアノテータや不真面目なアノテータが多く見られたため，書き手によるアノテーションをランサーズで再度実施してみることにした．
2020年5月に，100件ずつの自身の過去の投稿に感情強度を付与してもらい，30人から3,000件のデータを収集した．
そして，3人の作業者から読み手の視点での感情強度をラベル付けしてもらったところ，Quadratic Weighted Kappaで0.505と，書き手の感情強度と読み手の感情強度の間にmoderate agreementを確認できた．
前節のアノテーションではアノテータの管理をアノテーション会社に任せていたが，今回は筆者自身がアノテータと直接やり取りをしたため，指示に従わないアノテータや不真面目なアノテータに作業のやり直しを依頼したり契約を打ち切ったりできたため，品質を改善できた\footnote{そもそも，ランサーズの作業者は指示通りのアノテーションを真面目に実施してくれる場合がほとんどであった}．

ランサーズで書き手からのデータ収集および感情強度アノテーションと読み手からの感情強度アノテーションを続け，7月に50人の書き手からの17,000件のデータを収集できた．
このデータをもとに，書き手の感情強度と読み手の感情強度の差異について分析し，BERT\footnote{\url{https://huggingface.co/cl-tohoku/bert-base-japanese-whole-word-masking}} \cite{devlin-2019}による感情強度推定の実験を行い，11月にNAACLの原稿 \cite{kajiwara-2021a}および言語処理学会年次大会の原稿 \cite{kajiwara-2021b}を執筆した．
その後もアノテーションを続け，2021年2月までに80人の書き手から43,200件のデータを収集し，これを言語処理学会年次大会の発表に合わせて3月に公開した．


% ==================================================
\section{成果の概要}
% ==================================================

本研究では，テキストの書き手による主観的な感情強度ラベルとテキストの読み手による客観的な感情強度ラベルの両方を収集し，これらの差異について調査した．
まず，クラウドソーシング$^7$を用いて雇用した50人の作業者が，SNS上での自身の過去の投稿に主観的な感情強度を付与した．
そして，収集した全投稿に対して，3人の作業者が客観的な感情強度を付与した．
ここで，主観的な感情とはテキストの書き手自身が持つ感情であり，客観的な感情とはテキストの読み手が想像する書き手の感情である．
合計で，17,000件の投稿について，Plutchikの基本8感情{\kern 0pt}$^4$ \cite{plutchik-1980}の強度を，主観と客観の両方で4段階（無・弱・中・強）で付与した日本語のデータセット{\kern 0pt}$^1${\kern 0pt}を構築した．

英語を中心に，感情分析のために多くのデータセットが構築されているが，書き手と読み手の両方の感情を収集したのは本研究が初である．
3.1節でも書いたように，日本語では感情極性を付与したデータセットは構築されているが，多様な感情を扱ったのは本研究は初である．

アノテーションの一致率をQuadratic Weighted Kappaで評価したところ，書き手のラベルと読み手の平均ラベルの一致率は0.515，読み手間の一致率は0.547から0.585と，いずれもmoderate agreementを確認できた．
感情別に見ると，喜びの感情については書き手と読み手の一致率が0.6を超えている一方で，信頼の感情については0.2を下回っており，テキストから読み取りやすい感情と読み取りにくい感情が存在する．
また，怒りの感情については読み手間の一致率は0.6を超えているものの，書き手と読み手の一致率は0.4程度とギャップが見られた．

感情強度ラベルの分布を見ると，怒りおよび信頼の感情については，読み手が「無」の感情強度を付与する割合が95\%と極端に多い．
書き手と読み手の感情強度の差異に注目すると，書き手が「強」の感情強度を付与したうちの37\%および書き手が「中」の感情強度を付与したうちの52\%について読み手は「無」の感情強度を付与しており，全体的に読み手は書き手の感情を過小評価する傾向がある．
特に，怒りの感情については書き手が「強」のときに読み手が「無」の割合が59\%，信頼の感情については書き手が「強」のときに読み手が「無」の割合が82\%と，読み手は書き手の感情を充分に検出できていない．

BERT$^9$ \cite{devlin-2019}などの機械学習モデルによる感情強度推定の実験を実施した．
評価指標には，Quadratic Weighted Kappaを用いた．
書き手の感情強度ラベルを用いて学習および評価したところ，Bag of Words (BoW)では0.156，BERTでは0.135と，いずれも低い性能にとどまり，主観的な感情強度の推定が難しいタスクであることがわかった．
驚くべきことに，書き手の感情強度を推定する場合も，読み手の感情強度ラベルを用いて学習したBERTが0.242と，より高い性能を発揮した．
なお，読み手の感情強度ラベルを用いて学習および評価したところ，BoWでは0.277，BERTでは0.442と，比較的高い性能を確認できた．


% ==================================================
\section{おわりに}
% ==================================================

本稿では，NAACL 2021に採択された我々の論文 \cite{kajiwara-2021a}について，研究の過程を含めて紹介した．
感情強度を大規模にアノテーションするために，本研究ではクラウドソーシングを用いたが，アノテーション会社やアノテータとのコミュニケーションに苦労した．
最終的には，筆者とアノテータが直接やり取りすることによって，アノテーションの品質を改善できた．
書き手の主観的な感情強度を当該テキストのみから推定することは難しいため，今後は書き手の性格情報や過去の投稿履歴を考慮することで性能改善することを検討している．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本研究は文部科学省によるSociety 5.0実現化研究拠点支援事業の支援を受けたものです．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%\bibliographystyle{jnlpbbl_1.6}
%%%%\bibliography{26refs}
    \input{IA0262_26kajiwara_bbl.tex}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\begin{biography}

\bioauthor{梶原　智之}{愛媛大学大学院理工学研究科助教．2013年長岡技術科学大学工学部電気電子情報工学課程卒業．2015年同大学大学院工学研究科修士課程修了．2018年首都大学東京大学院システムデザイン研究科博士後期課程修了．博士（工学）．大阪大学データビリティフロンティア機構の特任助教を経て，2021年より現職．情報処理学会，人工知能学会，言語処理学会，ACL各会員．}

\end{biography}

%%%%\biodate   %%%% 受付日の出力（編集部で設定します）

\end{document}


