\documentclass[japanese]{jnlp_3.3}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
%%%%\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks
\usepackage{array}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%\usepackage[hyphens]{url}
%%%%\renewcommand\UrlFont{\rmfamily}
%%%%\usepackage{bxpapersize}
%%%%% パッケージ(村上追加分)
%%%%\urlstyle{same}
%%%%\usepackage{latexsym}
%%%%\usepackage{color}
\usepackage{booktabs}
%%%%\usepackage{multirow,tabularx}
    \usepackage{multirow}
%%%%\usepackage{bbding}
%%%%\usepackage{pifont}
%%%%\usepackage{wasysym}
%%%%% \usepackage[mnwidth=3cm]{mnotes} % 余白にコメントを記入
%%%%% \usepackage{geometry}
%%%%% \usepackage{marginnote}
\usepackage{bm}
%%%%\usepackage{multirow,tabularx}
%%%%\usepackage{calc}
%%%%\usepackage{subcaption}
%%%%\usepackage{gb4e,cgloss4e}
    \usepackage{gb4e}\noautomath
%%%%\noautomath
%%%%\usepackage{here}
%%%%\usepackage{amssymb}
\usepackage{arydshln}
%%%%\usepackage{ascmac}
\usepackage{otf} % ローマ数字
%%%%\usepackage{gb4e} % 番号つき引用文
%%%%% \newcommand{\draft}[1]{\textcolor{black}{#1}}
%%%%% Uncomment these lines for the submission
%%%%%%%%\newcommand{\draft}[1]{{#1}}  % 青文字を黒へ変更
\newcommand\header[1]{\multicolumn{1}{c}{{\textbf{#1}}}}
%%%%\newcommand\parentheses[1]{\left(#1\right)}
%%%%\newcommand\braces[1]{\left\{#1\right\}}
%%%%\newcommand\brackets[1]{\left[#1\right]}
%%%%\renewcommand\vec[1]{\bm{#1}}
%%%%\newcommand\x{\vec{x}}
%%%%\newcommand\ind{i}
%%%%\newcommand\varl{l}
%%%%\newcommand\supstd{\text{std}}
%%%%\newcommand\supmove{\text{move}}
%%%%\newcommand\subshort{\text{short}}
%%%%\newcommand\sublong{\text{long}}
%%%%% 図中の例文と衝突しないようにする
\renewcommand{\thexnumi}{\alph{xnumi}}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


\Volume{28}
\Number{4}
\Month{December}
\Year{2021}
%%%%\Issuetitle{「　　　　」特集号}

\received{2021}{4}{30}
\revised{2021}{7}{31}
%%%%\rerevised{2006}{5}{6}
\accepted{2021}{9}{6}

\setcounter{page}{1210}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{一般論文}
\jtitle{数値気象予報からの天気予報コメントの自動生成}
\jauthor{村上聡一朗\affiref{tokyotech} \and 田中　　天\affiref{tokyotech} \and 萩行　正嗣 \affiref{weathernews} \and 上垣外英剛\affiref{tokyotech} \and \\
	船越孝太郎 \affiref{tokyotech} \and 高村　大也\affiref{aist} \and 奥村　　学\affiref{tokyotech}
}
\jabstract{%
本研究では，数値気象予報のシミュレーション結果から天気予報コメントを自動生成するタスクに取り組む. 天気予報コメントの生成タスクには，(i) 様々な物理量の数値変化を考慮する必要がある，(ii) コメントの配信時刻や対象エリアに依存した表現が使われる，(iii) 天気予報コメントにおいて情報の有用性が重要視されている，といった特徴的な課題がある．本研究では，数値気象予報のシミュレーション結果，気象観測値，コメントのメタ情報を入力として， 上記の特徴を捉えた上でテキスト化するためのData-to-Textモデルを提案する．また，天気予報コメントにおける情報の有用性の向上のために，晴天や雨などの気象情報を表す「天気ラベル」を予測する内容選択モデルを導入し，予測結果をテキスト生成時に考慮することで有用な情報を明示的に記述できるようにした. 実験では，自動評価と人手評価を行い，提案モデルはベースラインに対して情報の有用性の観点で最も優れていることを示した．
}
\jkeywords{Data-to-Text，自然言語生成，ニューラルネットワーク}

\etitle{Generating Weather Comments from \\ Numerical Weather Prediction}
\eauthor{Soichiro Murakami\affiref{tokyotech} \and Sora Tanaka\affiref{tokyotech} \and Masatsugu Hangyo\affiref{weathernews} \and Hidetaka Kamigaito\affiref{tokyotech} \and Kotaro Funakoshi\affiref{tokyotech} \and Hiroya Takamura\affiref{tokyotech}\affiref{aist} \and Manabu Okumura\affiref{tokyotech}
}
\eabstract{%
This research investigates the task of generating weather-forecast comments from simulation results of numerical weather prediction. This task has the following requirements. (i) The changes in numerical values for various physical quantities must be considered; (ii) the weather comments should be dependent on delivery time and area information; and (iii) the comments should provide useful information for users. To meet these requirements, we propose a data-to-text model, incorporating three types of encoders for numerical forecast maps, observation data, and metadata. We also introduce \textit{weather labels} representing weather information, such as sunny or rain, in our model to describe useful information explicitly. Furthermore, we conducted automatic and human evaluations. The results indicate that our model exhibits the best performance when compared with baseline models in terms of informativeness.
}
\ekeywords{Data-to-Text, Natural Language Generation, Neural Networks}

\headauthor{村上，田中，萩行，上垣外，船越，高村，奥村}
\headtitle{数値気象予報からの天気予報コメントの自動生成}

\affilabel{tokyotech}{東京工業大学}{Tokyo Institute of Technology}
\affilabel{aist}{産業技術総合研究所}{National Institute of Advanced Industrial Science and Technology}
\affilabel{weathernews}{株式会社ウェザーニューズ}{Weathernews Inc.}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}
\label{sec:intro}

近年の天気予報は，ある時点の気象観測データと大気の状態に基づいて，風や気温などの時間変化を数理モデルによりコンピュータで計算し，将来の大気の状態を予測する数値気象予報(Numerical Weather Prediction; NWP)が主流となっている. 
ウェザーニュース\footnote{\url{https://weathernews.jp/}}やYahoo!天気\footnote{\url{https://weather.yahoo.co.jp/weather/}}の天気予報サイトでは，数値気象予報に基づき作成された天気図や表データと共に，気象情報をユーザーに分かりやすく伝えるための天気予報コメントが配信されている．
これらの天気予報コメントは，数値気象予報や過去の気象観測データ，専門知識に基づいて気象の専門家により記述されている. 
また，天気予報サイトでは，特定のエリアや施設周辺に限定して天気予報を伝えるピンポイント天気予報が一般的になっている. 
一方で，全国の天気予報コメントを作成するのは手間がかかる上に，専門的な知識を要するため作業コストが高い．
そのため，自然言語生成の分野では，天気予報コメントの自動生成タスクについて長年取り組まれている\cite{goldberg1994using,belz2007probabilistic}．

本論文では，数値気象予報のシミュレーション結果から天気予報コメントを生成するタスクに取り組む．
これまで取り組まれてきた天気予報コメント生成の研究では，数値気象予報のシミュレーション結果から気象の専門家の知識と経験に基づき作成した構造化データを用いた研究が中心であったが \cite{reiter2005choosing,sripada2004sumtime-mousam,liang-jordan-klein:2009:ACLIJCNLP}，
本研究では，数値気象予報の生のシミュレーション結果を用いる．
これは，気象の専門家が数値気象予報から天気予報コメントを記述する実際のシナリオに近い設定であり，天気予報コメントの作成作業の自動化においても有用であると考える．

ここで，図\ref{fig:example_comment_tokyo}を用いて，天気予報コメントの生成における特徴的な3つの問題について説明する．


まず，第一の問題は，コメントを記述する際に降水量や海面更正気圧等の複数の物理量とそれぞれの時間変化を考慮しなければならないことである. 
例えば，図\ref{fig:example_comment_tokyo}では，降水量や雲量といった複数の物理量の時間変化に応じて，日差しが出た後に雲が広がり雨が降ることについて言及されている．
次に，第二の問題は，天気予報コメントは，対象となる地域やコメントの配信時刻，日付といったメタ情報に基づいて記述されることである．
例えば，午前中に配信される天気予報コメントでは，図\ref{fig:example_comment_tokyo}のように，配信日当日の日中から夕方にかけた天気に言及することが多く，夕方以降に配信される天気予報コメントでは，配信日当日の夜から翌日の日中の天気に言及する傾向がある．
最後に，第三の問題は，天気予報サイトのユーザーは天気予報コメントの情報の有用性（以降では，{\bf 情報性}と呼称する）を重要視している点である．
特に，「晴れ」「雨」「曇り」「雪」といった気象情報は，ユーザーの服装や予定に大きな影響を与えることから明示的に記載する必要がある. 
例えば，図\ref{fig:example_comment_tokyo}では，降水量，雲量，気圧など，記述すべき内容はいくつか考えられるが，雨や傘の情報はユーザーの行動に大きな影響を与えるため，主に雨や傘の情報に焦点を当てている. 

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[t]
\begin{center}
\includegraphics{28-4ia11f1.pdf}
\end{center}
\caption{数値気象予報のシミュレーション結果と天気予報コメントの例}
\label{fig:example_comment_tokyo}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

これらの問題に対して，本研究では数値気象予報のシミュレーション結果から天気予報コメントを生成するためのData-to-Textモデルを提案する．
第一の問題に対しては，多層パーセプトロン(Multi-Layer Perceptron; MLP)や畳み込みニューラルネットワーク(Convolutional Neural Network; CNN)を用いて様々な物理量を捉え，それらの時間変化を双方向リカレントニューラルネットワーク(Bidirectional Recurrent Neural Network; Bi-RNN)を用いて考慮する. 
第二の問題については，エリア情報やコメントの配信時刻，日付などのメタ情報を生成モデルへ取り入れることでこれらの情報を考慮する．
第三の問題について，本研究では「晴れ」「雨」「曇り」「雪」に関する気象情報をユーザーにとって重要な情報と定義し，これらを適切に言及するための機構を提案する. 具体的には，言及すべき重要な情報を明示的に記述するために，数値気象予報のシミュレーション結果から「晴れ」「雨」「曇り」「雪」の気象情報を表す「天気ラベル」を予測する内容選択モデルを導入し，予測結果をテキスト生成時に考慮することで，生成テキストの情報性の向上に取り組む．

実験では，数値気象予報のシミュレーション結果，気象観測データ，および，人手で書かれた天気予報コメントを用いて提案手法の評価を行った．
自動評価では，人手で書かれた天気予報コメントと生成テキストの単語の一致度合いを評価するためのBLEUおよびROUGE, 
また，生成テキストにおいて天気ラベルが正確に反映されているかを評価するためのF値を使用し，提案手法がベースライン手法に比べて性能が改善することを確認した. 
さらに，人手評価では，提案手法はベースライン手法と比較して，天気予報コメントの情報性が向上していることが示された．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}
\label{sec:related_work}

時系列数値データや構造化データといった非言語データを人間にとって分かりやすく説明するために，様々なドメインにおいてData-to-Textタスクの研究が取り組まれている．
例えば，バスケットボールの試合における選手のスタッツやボックススコアからなる表データから試合要約テキストを生成する研究\cite{wiseman-etal-2017-challenges,puduppully2019aaai}，日経平均株価からなる時系列数値データから株価の概況テキストを生成する研究\cite{murakami-etal-2017-learning,aoki-etal-2018-generating,aoki-etal-2019-controlling}，レストランの概要を表すメタ情報から説明テキストを生成する研究\cite{novikova2017e2e}などが行われている．
本研究で取り組む気象シミュレーションからの天気予報コメントの生成タスクは，Data-to-Textタスク\cite{Gatt:2018:SSA:3241691.3241693}の一種である．

一般的にData-to-Textタスクは，(\ajroman{1})入力データの中で言及すべき内容を選択する{\bf 内容選択}({\it content selection})，(\ajroman{2})選択した内容をどのように言及するかを表す内容プラン({\it content plan})を作成するための{\bf 内容プランニング}({\it content planning})，(\ajroman{3})実際のテキストを生成する{\bf 表層化}({\it surface realization})の3つのサブタスクにより構成される\cite{Gatt:2018:SSA:3241691.3241693}．
従来，これらのサブタスクは，知識や経験に基づくルールベース\cite{kukich:1983:ACL,reiter_dale_1997,reiter2005choosing}や過去のデータから各サブタスクの規則を獲得する機械学習ベース\cite{duboue-mckeown-2001-empirically,duboue-mckeown-2003-statistical,barzilay2005collective}などの手法により，それぞれ個々に取り組まれてきた．
一方，近年では，情報通信分野の発展によりウェブから大規模データの収集が容易になったことで，入力データと出力テキストのペアから機械学習によりテキスト生成規則を自動的に獲得するEnd-to-Endな手法が広く用いられている\cite{LiuWSCS18,iso-etal-2019-learning}．
特に最近では，機械翻訳分野で提案されたニューラルネットワークに基づくエンコーダ・デコーダモデル\cite{bahdanau15alignandtranslate,sutskever2014sequence,cho-EtAl:2014:EMNLP2014}を用いた手法に注目が集まっており，様々なData-to-Textタスクにおいて有用性が報告されている\cite{ShaMLPLCS18,mei-bansal-walter:2016:N16-1,lebret-grangier-auli:2016:EMNLP2016}．
本研究では，近年取り組まれているこれらの研究と同様に，天気予報コメント生成タスクを数値気象予報のシミュレーション結果から天気予報コメントを生成する系列生成タスクとして考え，エンコーダ・デコーダを用いた手法を提案する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 2
\begin{figure}[b]
\begin{center}
\includegraphics{28-4ia11f2.pdf}
\end{center}
\caption{{\sc SUMTIME-METEO}の例}
\label{fig:sumtime-example}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

天気予報コメントは，一般的なユーザー向けの天気予報コメントと専門的な天気予報コメントの2種類に大別できる. 
一般的なユーザー向けの天気予報コメントとは，ウェザーニュースやYahoo!天気といった天気予報サイトで配信されている一般ユーザー向けの天気予報コメントのことを表す. 
また，専門的な天気予報コメントとは，海運や農業，航空業界といった特定の業界向けの専門的な天気予報コメントのことである. 
そのため，天気予報コメントは，対象とするユーザーや業種によって書かれる内容は様々である．
例えば，一般的なユーザー向けの地域の天気予報コメントの生成の研究\cite{kerpedjiev-1992-automatic,liang-jordan-klein:2009:ACLIJCNLP}では，雲の量や雨の時間帯，風の強さ，気温といった幅広い観点について言及する天気予報コメントの生成を対象としている．
一方，海運や海洋石油施設を対象とした海上の天気予報コメントの生成の研究\cite{kittredge-etal-1986-synthesizing,reiter2005choosing}では，海上の風の強さや波の高さを中心に言及するコメントの生成を対象としている．
本研究では，ウェザーニュースやYahoo!天気などの天気予報サイトで配信されている一般的なユーザー向けの天気予報コメントの生成を対象としている．

天気予報コメントの自動生成タスクは，Data-to-Textの分野において長年取り組まれている課題の1つである\cite{belz2007probabilistic,angeli-liang-klein:2010:EMNLP,mei-bansal-walter:2016:N16-1}．
これまでの研究において，天気予報コメント生成タスクを対象としたデータセットである，図\ref{fig:sumtime-example}の{\sc SUMTIME-METEO} \cite{sripada2003sumtime}や図\ref{fig:weathergov-example}の{\sc WeatherGov}\cite{liang-jordan-klein:2009:ACLIJCNLP}といったデータセットが公開され，様々な研究で広く用いられている．
これらのデータセットは，数値気象予報のシミュレーション結果を専門家の知識・経験に基づき修正した表やデータベース形式の構造化データと天気予報コメントのテキストデータから構成されている．
{\sc SUMTIME-METEO}は，{\sc SUMTIME}と呼ばれる時系列データの概況テキストの生成技術に関する研究プロジェクト\cite{sripada2001sumtimeproject}において作成された北海における海洋石油施設向けの海洋気象を対象としたデータセットである\footnote{当該研究プロジェクトにおけるその他のデータセットとして，ガスタービンや新生児集中治療室におけるセンサー値とそれらの概況テキストから構成される{\sc SUMTIME-TURBINE}と{\sc SUMTIME-NEONATE}がある．}．
本データの特徴として，図\ref{fig:sumtime-example}のように，海上の風や波の高さに関する時系列データと風や波などのそれぞれの物理量に対する人手で書かれた短文テキストから構成されていることが挙げられる．
また，{\sc WeatherGov}は，米国の都市を対象とした天気予報配信サイトWeather.gov\footnote{\url{https://www.weather.gov/}}から収集されたデータセットである．
本データの特徴としては，図\ref{fig:weathergov-example}のように，気温や風向き，雲量等に関するデータベース形式の構造化データとそれらの物理量全体について概況する天気予報コメントから構成されていることが挙げられる．
また，{\sc WeatherGov}の天気予報コメントの多くは，ルールベースに基づくシステムにより自動生成されたテキストやそれらを人手で修正したテキストであることから，一般的な天気予報サイトにおける天気予報コメントと比べて単調な文章であることが知られている\cite{wiseman-etal-2017-challenges}．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 3
\begin{figure}[t]
\includegraphics{28-4ia11f3.pdf}
\caption{{\sc WEATHERGOV}の例}
\label{fig:weathergov-example}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


本研究では，これまでの天気予報コメント生成に関する研究で扱われてきた{\sc SUMTIME-METEO}や{\sc WeatherGov}といった構造化データではなく，数値気象予報のシミュレーション結果，および，雨量，日照時間等の気象観測値といった時系列数値データを入力として考える．
これは，気象の専門家が天気予報コメントを記述する際にこれらの時系列数値データを参照するという実際のシナリオを模したタスク設定となっている．
このように，数値気象予報のシミュレーション結果や気象観測値等の生データを入力として考えることで，天気予報コメントの自動生成タスクにおいて次の2つの利点があると考えられる．
まず，1つ目に，気象の専門家が参照する数値気象予報のシミュレーション結果や気象観測値等の生データは情報量が多く，{\sc SUMTIME-METEO}や{\sc WeatherGov}のようにデータを構造化することで情報量が落ちることが懸念されるが，生データを用いることで，含まれる情報を全て活用することが可能となる．
2つ目に，数値気象予報のシミュレーション結果から人手またはシステムを介して事前に構造化データを作成するという手間がないため，天気予報コメントの作成作業の自動化やシステム構成の簡易化の観点から有用である．
これは，我々がテレビや新聞で目にする一般的な天気予報の情報（例えば，曇り時々雨）においても同様である. 一般的な天気予報の情報の一部は，気象庁の予報官や気象会社の気象予報士といった専門家が数値気象予報の結果や観測値等に基づいて作成しているため，これらをシステムの入力として前提した場合，人手を介した作業が必要となり，天気予報コメントの作成作業の自動化において障壁になることが懸念される. 
そのため，本研究では，一般的な天気予報の情報や構造化データを入力として使用していない\footnote{その他の一般的な天気予報の情報として「降水確率」や「最高気温」，「最低気温」などがあるが， 入力データとして使用した数値気象予報のシミュレーション結果には「降水量」や「気温」の予測値といった類似した情報が含まれていることから，今回は不要と判断し，使用していない．}．

一方で，本研究で扱う気象データは，これまでの研究で扱われてきた構造化データと形式が大きく異なることから，従来研究で提案されてきた構造化データからテキスト生成するためのTable-to-Text技術\cite{mei-bansal-walter:2016:N16-1,wiseman-etal-2017-challenges,ma-etal-2019-key}を時系列数値データへ直接的に適用することが難しい場合がある．
加えて，Data-to-Text生成の分野全体においても，時系列数値データからのテキスト生成に関する取り組みは限られている\cite{Gatt:2018:SSA:3241691.3241693}．
したがって，本タスクの第一の問題として挙げた複数の物理量からなる時系列数値データを捉えてテキスト化するためのエンコード/デコード手法の考案・検証が求められる．

また，Data-to-Text生成の分野において，本研究で取り組む第二および第三の問題に関連する研究はいくつか取り組まれている\cite{li-EtAl:2016:P16-13,murakami-etal-2017-learning,puduppully2019aaai,wang-etal-2020-towards,ma-etal-2019-key,lebret-grangier-auli:2016:EMNLP2016}．
例えば，第二の問題として挙げた，テキストの配信時刻や日付，エリア等のメタ情報に基づきテキストが書かれる特徴については，時系列株価データの市況コメントを生成するData-to-Text生成課題において，テキストのメタ情報（時間帯情報）を表す埋め込みベクトルをデコーダに組み込むことでメタ情報を捉えた単語列を生成できることが報告されている\cite{murakami-etal-2017-learning}．
この研究は，\citeA{li-EtAl:2016:P16-13}が行ったエンコーダ・デコーダモデルを用いた対話システムの研究で，
デコーダにペルソナ情報を与えることで，指定したペルソナの特徴を捉えた単語列が生成が可能になるという報告に基づいた取り組みとなっている. 
本研究では，これらの研究に倣い，テキストの配信時刻や日時，エリア等のメタ情報を表す埋め込みベクトルをモデルへ組み込むことで，メタ情報を捉えた天気予報コメントの生成に取り組む. 

第三の問題として挙げた，ユーザーにとって天気予報コメントの情報性は重要であるという特徴は，配信テキストの信憑性やユーザー満足度などの観点から，本研究で取り組む天気予報コメント生成に限らずData-to-Text生成の分野全体において極めて重要な課題である．
そのため，Data-to-Text生成の分野において，入力データの事実に基づく正確なテキスト生成に関する研究が注目されている．
特に，近年のエンコーダ・デコーダモデルに基づくテキスト生成モデルでは，内容選択や内容プランニングを明示的に行う外部機構を導入することでテキストの情報性向上に取り組む動きが盛んになっており，有用性が報告されている\cite{puduppully2019aaai,wang-etal-2020-towards,ma-etal-2019-key,lebret-grangier-auli:2016:EMNLP2016}．
例えば，Table-to-Textタスクの研究では，
表データに含まれる固有名詞や数詞等を正確に記述するためにコピー機構\cite{luong-etal-2015-addressing}を導入する手法\cite{lebret-grangier-auli:2016:EMNLP2016}や，表データの中で言及すべき内容を予測し，明示的に生成モデルに組み込む手法\cite{ma-etal-2019-key}，表データの中から言及すべきエンティティや数字の情報抽出し，これらを基に作成した内容プランを生成モデルへ導入することで正確かつ一貫性のあるテキストを生成する手法\cite{puduppully2019aaai}などが提案されている．
しかしながら，これらの手法では，表から単語をコピーするためのコピー機構や表から言及すべき内容を予測する分類器や情報抽出システムのように，Table-to-Textタスク特有の外部機構が必要となる. 
また，これらの分類器や情報抽出システムを学習するためには，表データとテキストの単語一致に基づいて教師データを事前に作成する必要がある\cite{wiseman-etal-2017-challenges}．
そのため，本研究で取り組む時系列数値データからのテキスト生成タスクでは，これらの研究と入力データの性質が大きく異なるため，Table-to-Textタスク特有の外部機構の導入が困難となる. 
このような状況を踏まえ，本研究では，入力データを参照せずにテキスト側から言及すべき内容を抽出することにより，
内容選択を明示的に行う分類器のための教師データを作成する. 
これにより，外部機構として内容選択を行う分類器の学習が可能となった. 
なお，以降では，外部機構として内容選択を行う分類器のことを\textbf{内容選択モデル}と呼称する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{気象データの概要}
\label{sec:weather_data}

天気予報コメントは，気象の専門家が数値気象予報や過去の気象観測データ，気象の専門知識を基に記述している. 
これに従い，本研究では数値気象予報のシミュレーション結果である数値予報マップと気象観測データを使用した. 
本章では，これらの詳細について解説する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{数値予報マップ}

数値予報マップとは，数値気象予報モデルを大規模コンピュータで三次元シミュレーションした結果から，地表部分を取り出した二次元面データである．
本研究では，数値気象予報モデルの一種である全球数値予報モデル (Global Spectral Model; GSM)を用いて計算された日本周辺の数値予報マップを使用する．
表\ref{table:gpv_outline}に本研究で使用する日本周辺の数値予報マップの概要を示す. 
数値予報マップは，気圧や気温，風向きなどの各物理量の1時間ごとの予測数値が84時間先まで格納された時系列数値データである．
気象庁が作成している日本周辺の数値予報マップには，北緯20度から50度，東経120度から150度の範囲で20kmごとに格子点が設定されており，合計151$\times$121の格子点から構成されている．
また，各格子点には各物理量の予測数値が格納されている．
例えば，気圧の場合は$1021.01hPa$，気温の場合は$258.52K$等の数値が含まれている．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[t]
\input{11table01.tex}
\caption{数値予報マップの概要}
\label{table:gpv_outline}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 4
\begin{figure}[t]
\begin{center}
\includegraphics{28-4ia11f4.pdf}
\end{center}
\caption{数値予報マップの例}
\label{fig:gpv_example_sequence}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

図\ref{fig:gpv_example_sequence}に降水量，海面更正気圧，気温，中層雲量を日本周辺の地図上に可視化した数値予報マップの例を示す. 
今回使用した数値予報マップでは，数値気象予報のシミュレーションの起点となる時刻の0時間後（直後）から84時間後までの各物理量の予測数値が含まれているが，図\ref{fig:example_comment_tokyo}では0時間後から12時間後，24時間後の予測数値を可視化している．
また，可視化した数値予報マップ上の色の濃淡は予測数値の大きさを表している. 
例えば，中層雲量の色が濃い箇所は雲量が多いことを表し，色が薄い箇所は雲量が少ないことを表している. 


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{気象観測データ}

気象観測データとして，気象庁の地域気象観測システム\footnote{\url{https://www.jma.go.jp/jp/amedas/}}(automated meteorological data acquisition system; AMeDAS)から収集された観測値を使用した. 
AMeDASは，全国の約1,300地点に設置されており，10分毎の降水量，気温，風，日照時間を計測している．
図\ref{fig:amedas_tokorozawa}に「所沢」エリアのAMeDASによる10分毎の観測値データの例を示す．
%%%%図\ref{fig:amedas_tokorozawa_1}および図\ref{fig:amedas_tokorozawa_2}は
    図\ref{fig:amedas_tokorozawa}(a) および図\ref{fig:amedas_tokorozawa}(b)は
それぞれ2014年6月7日，2014年12月2日  の午前9時から翌午前8時50分に観測された10分毎の降水量(precipitation)，気温(temperature)，風(wind speed)，日照時間(sunshine duration)である．
ここで，降水量は10分間における雨量(mm)，日照時間は10分間における日照時間（分）を表している．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 5
\begin{figure}[t]
\begin{center}
\includegraphics{28-4ia11f5.pdf}
\end{center}
%%%%\label{fig:amedas_tokorozawa_1}
%%%%\label{fig:amedas_tokorozawa_2}
\caption{「所沢」エリアにおける10分毎の観測値の例}\label{fig:amedas_tokorozawa}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{提案手法}\label{sec:proposed_method}

近年，Data-to-Textタスク\cite{mei-bansal-walter:2016:N16-1,lebret-grangier-auli:2016:EMNLP2016}や動画キャプション生成\cite{yao2015video,long-etal-2018-video}などのさまざまな系列生成タスクにおいて，機械翻訳分野で注目されているニューラルネットワークに基づくエンコーダ・デコーダモデル\cite{sutskever2014sequence,cho-EtAl:2014:EMNLP2014}を用いた研究が提案され，有用性が示されている．
本研究では，天気予報コメントの生成を，数値予報マップからなる時系列データから単語系列を生成する系列生成タスクとして考え，注意機構付きのエンコーダ・デコーダモデル\cite{bahdanau15alignandtranslate}を用いた手法を提案する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 6
\begin{figure}[t]
\begin{center}
\includegraphics{28-4ia11f6.pdf}
\end{center}
\caption{提案モデルの概要}
\label{fig:model_overview}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

図\ref{fig:model_overview}に提案モデルの概要を示す. 
提案モデルでは，数値予報マップからなる時系列データ $\bm{g}=(g_{i})^{|\bm{g}|}_{i=1}$，降水量や気温などの過去の観測データ $\bm{a}=\{a_{i}\}^{|\bm{a}|}_{i=1}$，配信日時や対象エリア等のコメントに関するメタ情報 $\bm{m}=\{m_{i}\}^{|\bm{m}|}_{i=1}$ の3種類のデータを入力とし，天気予報コメント$\bm{w}=(w_i)^{|\bm{w}|}_{i=1}$および言及すべき重要な情報を表す天気ラベル$\bm{l}=\{l_i\}^{|\bm{l}|}_{i=1}$を出力とする．
ここで，入力データの$g_{i}$，$a_{i}$，$m_{i}$は，数値予報マップ，降水量や日照時間等の観測データを表す数値ベクトル，エリア名や配信日時等のメタ情報を表す埋め込みベクトルをそれぞれ表す. 
また，出力データの$w_i$および$l_i$は，生成テキストにおける単語および天気ラベルを表している．

数値予報マップからなる時系列データのエンコーダとして，数値予報マップに含まれる気圧や雲量といった様々な物理量から特徴を抽出するためにMLPまたCNNを使用し，Bi-RNNにより時系列情報を考慮する. 
気象観測データおよびメタ情報のエンコーダには，MLPを使用する. 
また，入力データから言及すべき重要な情報を選定する内容選択モデルとして，エンコーダの出力状態ベクトルを入力とするMLPを使用する．
天気予報コメントのための単語生成デコーダとして，機械翻訳や文書要約等の系列生成タスクで広く用いられているRNNLM \cite{mikolov2010recurrent}を使用する．
以降では，提案モデルの詳細について説明する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{エリアごとの数値予報マップの抽出}

天気予報コメントの作成において，コメント作成者は日本周辺全体の数値予報マップを参照するが，各エリアごとのコメントを記述する際には，主に対象エリア周辺の気象情報に着目して記述することが一般的である. そこで本研究では，各エリアの天気予報コメントは対象エリア周辺の数値気象予報に深く関係しているという仮定のもと，151$\times$121の格子点からなる日本周辺全体の数値予報マップから，緯度・経度の位置情報を基に対象エリアを中心とする5$\times$5のマップを抽出し，各エリアの気象情報として利用する．
抽出した各エリアの数値予報マップは，対象エリアを中心とした10,000平方kmのマップとなる. 

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 7
\begin{figure}[t]
\begin{center}
\includegraphics{28-4ia11f7.pdf}
\end{center}
\caption{日本全体の数値予報マップから抽出した東京エリア周辺の数値予報マップ}
\label{fig:gpv_example}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

ここで，図\ref{fig:gpv_example}に東京を対象エリアとし，日本全体の数値予報マップからエリア周辺の数値予報マップを抽出した例を示す．
図\ref{fig:gpv_example}の例は，降水量 (Prec.)，海面更正気圧 (Pres.)，気温 (Temp.)，総雲量 (Clo)，上層雲量 (h-Clo)，低層雲量 (l-Clo.)，中層雲量 (m-Clo.)，相対湿度 (Hum.)，東西風 (x-win.)，南北風 (y-win.)の10種類の物理量について，24時間先まで3時間ごとの計9タイムステップからなる数値予報マップを表している．
数値予報マップに含まれる各物理量の予測値は，1年間の各物理量の予測値の平均および標準偏差を用いて標準化している．
また，各物理量の色の濃淡は，予測値の大きさを表している．
すなわち，図\ref{fig:gpv_example}の21--24時間後（タイムステップ7から8）の降水量 (Prec.)の色の濃さは，降水量の予測値が高いことを示している．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{数値予報マップのエンコード手法}

本研究では，天気予報コメント生成タスクを，
図\ref{fig:gpv_example}に示す時系列の二次元面データである数値予報マップから単語系列を生成する系列生成タスクとして考える．
これは，時系列の二次元画像データからなる動画の説明テキスト（キャプション）を生成する動画キャプション生成タスクと類似したタスクとして考えることができる. 
そこで，本研究では，動画キャプション生成タスクにおいて一般的なCNNまたはMLPを数値予報マップのエンコーダとして採用し，それらの有用性を比較検証する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{CNNを用いたエンコード手法}

画像認識や動画キャプション生成タスクでは，入力の動画像の特徴を抽出する手法としてCNNが広く使われている. 
本研究でも同様に，エリア毎の数値予報マップから数値の特徴や物理量間の関係を獲得するためにCNNを用いて特徴抽出を行う. また，画像の場合，CNNでは画像のRGB情報から特徴を抽出するために入力チャネルとして3チャネル (Red, Green, Blue)を使用しているが，本研究の場合は，数値予報マップに含まれる10種類の物理量を考慮するために10チャネルを用いて特徴抽出を行う. 


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{MLPを用いたエンコード手法}

画像認識や動画キャプション生成では，位置不変性の観点からCNNを用いて特徴抽出を行うことが一般的である. 
しかし，本研究の場合，エリアごとに抽出した数値予報マップを入力としており，着目しているエリアは常にその中心に位置しているため，
マップ上の位置をそのまま考慮したモデルの方が適している可能性が考えられる. 
そのため本研究では，CNNの代替としてMLPを用いた特徴ベクトルの抽出方法についても検証する．
具体的には，10種類の物理量ごとに$5 \times 5$の予測値を入力するために$10 \times 5 \times 5$個のユニットの入力層を持つMLPを用いて特徴抽出を行う．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{数値予報マップにおける時系列情報の考慮}

複数の物理量からなる数値予報マップの時系列的な変化を捉えて天気予報コメントとしてテキスト化するために，前述のCNNまたはMLPによりエンコードされた数値予報マップをBi-RNNへ入力する. 
具体的には，まず，前述のCNNまたはMLPを用いたエンコード手法により，各タイムステップ$i$の数値予報マップ$g_i$から 特徴ベクトル$h^{g}_{i}$を取得する．
次に，数値予報マップにおける時系列情報を考慮するために，各タイムステップの特徴ベクトルをBi-RNNによりエンコードし，それぞれの出力ベクトル$h^{g}_{i}$を獲得する．
最後に，時系列データ全体の変化を捉えるために，Bi-RNNの出力ベクトルの先頭と末尾を下記の式のように結合し，$h^g$を獲得する: 
\begin{equation}
h^g=[h^{g}_{1};h^{g}_{|\bm{g}|}],
\label{eq:gpv_output}
\end{equation}
ここで，$[;]$はベクトルの連結演算子を表す．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{気象観測データの導入}

天気予報コメントは，数値気象予報と過去の気象観測データを基に記述されることから，本研究では
AMeDASにより収集された気象観測データも入力として使用する．
具体的には，まず，降水量や日照時間などの過去24時間の時系列の観測値からなる数値ベクトル$a_i$をそれぞれMLPによりエンコードし，特徴ベクトル$h^a_i$を取得する．
次に，各観測データに関する特徴ベクトルを下記の式のように結合し，$h^a$を獲得する：
\begin{equation}
h^a=[h^{a}_{1};h^{a}_{2};\cdots;h^{a}_{|\bm{a}|}]．
\label{eq:ame_output}
\end{equation}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{メタ情報の導入}

気象の専門家が天気予報コメントを記述する際には，コメントが書かれる時間帯の情報やエリア特有の情報を考慮して記述することが一般的である. 
例えば，午前中または午後に配信される天気予報コメントでは，以下の天気予報コメント(\ref{sen:comment_meta_time_1})，(\ref{sen:comment_meta_time_2})のように配信時刻に依存する表現が使われる. 
\begin{exe}
\ex \underline{今日（土）}は日差しが届いても、気温は低空飛行で身体の芯まで凍える寒さ。\label{sen:comment_meta_time_1}
\ex \underline{明日は}雲の間から時々日差しが届きます。 \label{sen:comment_meta_time_2}
\end{exe}

また，天気予報コメントの対象エリアとして，例えば東京都の場合は，「新宿，世田谷，八王子，町田，お台場，大島，三宅島」などの複数エリアに分けられており，それぞれのエリアの特徴（例えば，海辺，山間部）が反映されたコメントが配信されている. 具体的には，海辺が近いエリアに対しては，以下の天気予報コメント(\ref{sen:comment_meta_area})のように，エリアに依存する表現が用いられる．
\begin{exe}
\ex \underline{波}も穏やかで\underline{マリンレジャー}も楽しめそうです。\label{sen:comment_meta_area}
\end{exe}
そこで本研究では，このような表現を生成するために，配信日時（月，日，曜日，時刻）や対象エリア名（新宿，横浜，石垣島等）といった天気予報コメントのメタ情報を導入する. 
具体的には，まず，配信日時やエリア名から作成した単語埋め込みベクトルを作成する．
次に，それらの埋め込みベクトルをMLPによりエンコードすることで各メタ情報の特徴ベクトル$h^m_i$を獲得する．
最後に，全てのメタ情報$\bm{m}$を捉えた出力ベクトル$h^m$を下記の式のように作成する：
\begin{equation}
h^m=[h^{m}_{1};h^{m}_{2};\cdots;h^{m}_{|\bm{m}|}].
\label{eq:meta_output}
\end{equation}

これまで説明した以上が提案モデルの入力データである数値予報マップ，気象観測データ，メタ情報のエンコード手法である. 
これらの手法で獲得した各特徴ベクトル$h^{g}，h^{a}，h^{m}$から，下記の式に基づき内容選択モデルおよび単語生成デコーダの初期状態を設定する：
\begin{equation}
s_{0}= ReLU(MLP([h^{g};h^{a};h^{m}])).
\label{eq:decoder_init}
\end{equation}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{内容選択モデルによる天気ラベルの予測}

天気予報コメントでは，天気予報コメントの情報性とその正確さが重要な要素となる. 
しかし，機械翻訳や文書要約等でも広く使われているニューラルネットワークに基づく生成モデルは，入力データや出力単語系列における長期的な依存関係を捉えることに課題があり，入力データに含まれる重要な情報を失うといった問題があることが知られている．
例えば，ニューラルネットワークを用いた機械翻訳モデルでは，原文に含まれている内容が訳文で抜けている訳抜けという課題が広く知られている\cite{tu-etal-2016-modeling}．
このような課題は，ニューラルネットワークに基づくテキスト生成システムを実世界へ適用する上での障壁となるため，解決が求められる. 
このような課題に対してData-to-Textタスクの分野では，生成テキストの情報性を向上させることを目的に，生成テキストの内容を表す明示的なラベルを導入する手法\cite{aoki-etal-2019-controlling}や表データに含まれる事実・内容そのものを予測しテキスト生成に導入する手法\cite{ma-etal-2019-key,puduppully2019aaai}，入力データと生成テキストに含まれる情報の類似性に関する損失関数を用いる手法\cite{wang-etal-2020-towards}などが提案されており，それらの有用性が示されている．

本研究では，これら近年の生成テキストの情報性向上に着目した研究から着想を得て，生成モデルが入力データから言及すべき重要な情報を選定するための外部的な機構を導入し，生成テキストにおける情報性の向上に取り組む．
具体的には，\citeA{ma-etal-2019-key}や\citeA{puduppully2019aaai}らの手法のように，入力データにおいて言及すべき内容を予測する内容選択モデルを導入し，それらの予測結果を明示的に生成モデルへ導入する手法を提案する．
これにより，内容選択モデルは生成モデルが重要な情報を言及するための補助的な外部機構として作用し，情報性の高いテキストが生成できるようになることを期待する．
しかし，入力データの言及すべき内容を予測する内容選択モデルを構築するためには，入力データの言及すべき内容を表す教師データが必要となる．
そのため，\citeA{ma-etal-2019-key}や\citeA{puduppully2019aaai}らが取り組むTable-to-Textタスクの場合，表データと参照テキストにおける表層的な単語の一致に基づいて言及すべき内容を表す教師データを作成している\cite{wiseman-etal-2017-challenges}．
一方，本研究で取り組む数値気象予報からの天気予報コメント生成タスクのように，入力データが数値データとなる場合，入力データとテキストの単語一致による手法の適用が困難なため，入力と出力テキストの単語一致に依存しない教師データ作成方法が求められる．
そこで本研究では，入力データに依存せずに出力テキスト側から言及すべき内容を抽出することにより，内容選択モデルのための教師データを作成する．

以降では，内容選択モデルの教師データの作成方法，内容選択モデルの学習および推論方法について説明する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{内容選択モデルの教師データの作成}

天気予報コメントを参照するユーザーは，主に晴れや雨などの気象情報に高い関心を持っていることがほとんどである．
そこで，このような気象情報を天気コメントの「\textit{天気ラベル}」と定義し，「晴れ」，「雨」，「曇り」，「雪」の 4 種類の天気ラベルを導入する．
本研究では，言及すべき重要な情報であるこれらの天気ラベルを内容選択モデルにより予測し，テキスト生成時に天気ラベルの予測結果を考慮することで情報性の向上を試みる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[b]
\input{11table02.tex}
\caption{天気ラベルと対応する手がかり語}
\label{table:all_clue_words} 
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

本研究では，内容選択モデルの教師データを作成するために，表\ref{table:all_clue_words}に定義した各天気ラベルの手がかり語に基づいて天気予報コメントから天気ラベルを抽出する\footnote{これらの手がかり語は，開発データを参考に人手により選定した．}．
具体的には，天気コメントに手がかり語のいずれかが含まれる場合，その天気予報コメントでは該当する気象情報を言及しているとみなし，天気ラベルを紐付ける．
例えば，以下の天気コメント(\ref{sen:comment})には，手がかり語である「日差し」，「雲」，「雨」，「傘」が含まれているため，「晴れ」，「曇り」，「雨」の3つの天気ラベルが紐付けられる．

\begin{exe}
\ex 今日は\underline{日差し}が届く時間がありますが、\underline{雲}が広がりやすくて夕方以降は\underline{雨}が段々と降り出します。外出時に\underline{雨}が降っていなくても\underline{傘}を持ってお出かけ下さい。\label{sen:comment}
\end{exe}

手がかり語に基づいて内容選択モデルの学習データを作成するための本手法は簡易的ではあるものの，本研究で取り組む天気予報コメントの生成タスクにおいて，次の2点の利点があると考えられる．
まず，1点目として，数値予報マップのような時系列数値データと天気予報コメントを人手やルール等により明示的に紐付けることは困難であるが，本手法では天気予報コメントのみを参照するため，人手やルールによる天気ラベルを対応付けすることができる．
2点目として，数値予報マップにおいて言及すべき内容をアノテーションするためには，気象の専門知識が必要となるが，本手法の場合はテキストのみを参照するため，専門知識がない場合でも比較的容易に重要な情報を判定できるという点である. 
一方，手がかり語に基づくラベル付けは単語レベルで判定しているため，本来テキストで言及されている意図とは異なるといった正確性に関して懸念が生じる. 
そこで，ランダムにサンプリングされた100件の天気予報コメントに対して上記の方法で天気ラベルの付与を行い，5人の評価者により正確性を評価した. 
その結果，全体の96\%の天気ラベルが適切であると判定されたことから，ほとんどの事例で正確性に問題がないことが分かった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsubsection{内容選択モデルの学習および推論方法}

次に，上記の方法で作成した教師データを用いて内容選択モデルを学習する方法について説明する．
内容選択モデルは，数値予報マップ，気象観測データ，メタ情報($\bm{g}$，$\bm{a}$，$\bm{m}$)をエンコードした結果を受け取り，各天気ラベル（$l_{sunny}$等）を予測する二値分類器である. 
内容選択モデルは，各天気ラベルごとに言及するべきか否か判定する．
内容選択モデルの学習時には，学習データの天気予報コメントから抽出した天気ラベルを用いて，各天気ラベルに対する内容選択モデルを学習する．
推論時には，3種類の入力データ($\bm{g}$，$\bm{a}$，$\bm{m}$)から各天気ラベル（$l_{sunny}$等）を予測する．
また，生成テキストの情報性の向上を目的として，天気予報コメントの生成時には，テキストで言及すべき内容を表す内容選択モデルの予測結果を単語生成デコーダへ導入する. 


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{天気予報コメントの生成}

天気予報コメントの生成に使用する単語生成デコーダとして，機械翻訳や文書要約等の系列生成タスクで広く用いられているRNNLMを使用する. 
RNNとして，Gated Recurrent Unit (GRU)\cite{chung2014gru}を用いる. 
また，単語生成デコーダには，図\ref{fig:model_overview}のように，一般的に用いられる入力データに対する注意機構\cite{wiseman-etal-2017-challenges,chen-etal-2019-enhancing}（図中では省略）だけでなく，内容選択モデルが予測した天気ラベルに対する注意機構を備える．
これにより，テキスト生成において重要な情報を明示的に記述するために導入する天気ラベルを考慮することが期待できる．

単語生成デコーダでは，タイムステップ$t$における単語$w_t$の生成確率は，下記の式により計算される：
\begin{gather}
p(w_{t}|w_{<t},\bm{g},\bm{a},\bm{m},\bm{l})=softmax_{w_t}(W_{s}s^{w}_{t}),
\label{eq:word_decoder_prob}\\
s^{w}_{t}=GRU(w_{t-1}，s^{w}_{t-1}，c_t).
\label{eq:word_decoder_hidden}
\end{gather}
ここで，$w_{t-1}$， $s^{w}_{t-1}$ はタイムステップ$t-1$における出力単語および単語生成デコーダの内部状態を表す. 
$W_s$ は重みパラメータである. 
また，タイムステップ$t$におけるベクトル$c_t$は，3種類の入力データ($\bm{g},\bm{a},\bm{m}$)と天気ラベル$\bm{l}$それぞれの文脈ベクトル$[c^g_{t};c^a_{t};c^m_{t};c^l_{t}]$ を結合した文脈ベクトルである．
例えばタイムステップ$t$における天気ラベル$\bm{l}$に対する文脈ベクトル$c^{l}_{t}$は，下記の式により導出される：
\begin{align}
c^{l}_{t} & = \sum_{i=1}^{|\bm{l}|} \alpha^{l}_{t,i}s^{l}_{i}\label{eq:context_vector}，\\
\alpha^{l}_{t,i} & = \frac{exp(\eta(s^{w}_{t-1}，s^{l}_{i}))}{\sum\limits_{j=1}^{|\bm{l}|}exp(\eta(s^{w}_{t-1},s^{l}_{j}))}.\label{eq:alignment_probability}
\end{align}
ここで，$s^{l}_{i}$は天気ラベル$l_i$に対する内容選択モデルの内部状態ベクトルであり，$\alpha^{l}_{t,i}$は，$t$番目の出力単語と天気ラベル$l_i$に対する内容選択モデルの内部状態ベクトルのアライメントスコアを表す．
式\ref{eq:alignment_probability}におけるスコア関数$\eta$には，MLPを用いた. 
また，その他の文脈ベクトル$c^{g}_{t}$，$c^{a}_{t}$，$c^{m}_{t}$は，式\ref{eq:context_vector}，\ref{eq:alignment_probability}と同様に導出できることに注意されたい．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験設定}
\label{sec:setting}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{データセット}
\label{sec:setting_dataset}

実験には，株式会社ウェザーニューズ\footnote{\url{https://weathernews.jp/}}のピンポイント天気サービスから収集された2014年から2015年の天気予報コメント57,412件を利用した．
このうち，2014年に配信された28,555件のコメントを学習データ，2015年に配信された14,464件，14,393件をそれぞれ開発データ，評価データとして使用した. 
また，数値予報マップのデータとして，京都大学生存圏研究所が運営する生存圏データベース\footnote{\url{http://database.rish.kyoto-u.ac.jp}}によって収集・配布されている気象庁作成の2014年から2015年の数値予報マップ2,715件を利用した．
このうち，2014年に配信された1,344件の数値予報マップを学習データ，1,326件，1,329件をそれぞれ開発データ，評価データとして利用している．
ここで，これらの合計が数値予報マップの合計数である2,715件と一致していないが，これは，開発および評価データの天気予報コメントは2015年のデータからサンプリングしており，
異なるエリアの数値予報マップを日本全体の1つのマップからそれぞれ抽出して使用しているためである．
なお，天気予報コメントとそれに対応する抽出された数値予報マップはエリアごとに固有のものであり，開発用およびテスト用の天気予報コメントは重複していない．
また，数値予報マップと天気予報コメントの対応付けはそれぞれの配信時刻に基づき実施した. 
具体的には，天気予報コメントは既に配信された数値予報マップに基づき作成されるため，天気予報コメントの配信日時より以前に配信された数値予報マップのうち，コメントの配信日時に直近の数値予報マップをコメントと対応付けしている．

天気予報コメントでは，翌日までの天気について言及していることから，24時間先までの3時間ごとで合計9タイムステップからなる数値予報マップ$\bm{g}$を使用した．
また，AMeDASにより収集された観測データとして，降水量，気温，風速，日照時間の過去24時間の10分ごとの合計144タイムステップからなる観測値を使用した．
各エリアの観測データは，天気予報コメントの対象エリアとそれぞれ1対1対応している．
天気予報コメントのメタ情報として，配信日時（月，日，曜日，時刻）およびエリア名（東京，熊本 等）を使用した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{ハイパーパラメータ}

本研究では数値予報マップ，観測値データ，メタ情報の三種類の入力データを扱うため，それぞれに対するエンコーダが必要となる. 
数値予報マップのエンコーダには，レイヤ数が1層のMLPとBi-GRUを用い，活性化関数はTanhを使用した. 
また，観測値データとメタ情報のエンコーダには，レイヤ数が1層のMLPを使用し，活性化関数はTanhとした. 
デコーダには，テキスト生成タスクにおいて一般的に用いられているRNNLMを使用した. RNNには，レイヤ数が2層のGRUを使用した. 
単語埋め込みベクトルおよび数値予報マップのエンコーダの内部状態の次元数は512, 観測値データおよびメタ情報のエンコーダの内部状態の次元数は64, デコーダの内部状態の次元数は512とした．

ミニバッチのサイズは200, 損失関数には交差エントロピー，モデルパラメータの最適化手法にはAdam \cite{DBLP:journals/corr/KingmaB14}を使用した. 学習率は0.001, 学習時のエポック数は25に設定した. 
推論時には，ビームサーチによりテキスト生成を行い，ビーム幅は5とした．
実験結果では，学習における全25エポックのうち開発データに対するロスが3エポック連続で改善しない場合は早期終了し，その時点で開発データに対して最もロスが低いモデルを評価対象とし，自動評価および人手評価の結果を報告する．

また，近年の言語生成タスクではTransformer \cite{vaswani2017transformer}を用いた手法や事前学習モデル \cite{devlin-etal-2019-bert,kale-rastogi-2020-text,raffel2020t5}の導入が一般的となっている. しかし，生成タスクの予備検証においてTransformerベースの手法との比較を実施した結果，RNNを上回る結果が得られなかったため，提案モデルではRNNベースの手法を採用している. 加えて，提案モデルでは，事前学習を行わない場合であっても一定の学習効果を得られることが分かったため，事前学習モデルの導入は行っていない．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{評価指標}

実験では，自動評価指標と人手評価により評価を実施した．
実際に配信された天気予報コメントと生成テキストの単語の一致度合いを測る目的として，
テキスト生成の研究で広く用いられているBLEU-4\cite{papineni-EtAl:2002:ACL}とROUGE-1\cite{lin-2004-rouge}を使用した. 
これは，気象の専門家により記述され，実際に配信されている天気予報コメントには，晴れや雨といったユーザーにとって重要な情報が含まれていることが一般的であるためである. 
BLEU-4の計測には\texttt{SacreBLEU}\footnote{\url{https://github.com/mjpost/sacrebleu}} \cite{post-2018-call}，ROUGE-1の計測には\texttt{rouge}\footnote{\url{https://github.com/pltrdy/rouge}}を使用した．
また，ROUGE-1のスコアとして，$F_{1}$スコアを報告する．

しかしながら，生成テキストと参照テキストに含まれる情報が類似していたとしても語彙表現が異なる場合には，参照テキストとの単語の一致率に基づくBLEUやROUGEといった自動評価指標では適切に評価できないことが懸念される. 
そこで，語彙表現が異なる場合でもテキストに含まれる情報の正確さを検証するために，
参照テキストおよび生成テキストから表\ref{table:all_clue_words}に示す手がかり語に基づき抽出された天気ラベルの適合率 ({\it Precision})，再現率 ({\it Recall})およびそれらの調和平均である$F_{1}$スコアに基づく評価を実施した. 
これにより，生成テキストにおける内容選択の正確性を評価することができる．

人手評価では，一般ユーザーの視点から天気予報コメントを品質を評価するために，クラウドソーシングを用いて情報性，一貫性，文法性について，5人の評価者により3段階の評価を実施した．
表\ref{table:human_eval_criterion}に人手評価指標の概要を示す. 
情報性の評価では，システムの入力として使用した数値予報マップや気象観測データは使用せず，実際に配信された天気予報コメントを正解テキストとして提示し，それらと生成テキストを比較した上で評価を行うよう依頼した. 
これは，専門家ではない評価者にとって，これらの専門性の高いデータを理解した上で評価することは困難であると考えたためである．
また，天気予報コメントの評価では，「晴れ」や「雨」といった天気予報のそれぞれの内容だけでなく， 「晴れのち雨」などの天気の移り変わりについても正確に言及できているかを評価する必要がある. しかし，前述の天気ラベルに基づく内容選択の評価では，生成テキストから抽出された天気ラベルを独立に評価するため，天気の移り変わり（抽出された天気ラベルの順序）を考慮することが難しい. そのため，情報性の評価では，正解テキストと生成テキストを合わせて提示することで，天気予報の内容（晴れ，雨）だけでなく，天気の移り変わり（晴れのち雨）に関して評価に考慮されることを期待している．
ここで，情報性に関する3段階の評価では，重要な情報の全てまたは一部だけ含まれている場合であっても内容に誤りがあれば1となることに注意されたい．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 3
\begin{table}[t]
\input{11table03.tex}
\caption{人手評価指標}
\label{table:human_eval_criterion}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

一貫性の評価では，生成テキストにおける内容や文のつながりの自然さを評価対象としている. 例えば，内容の一貫性が欠けている例として，「今日は一日中晴れるため、折りたたみ傘が必要です。」のように内容の辻褄が合わない場合が挙げられる. また，文のつながりが不自然な例としては「午前は晴れます。そのため、午後からは雨が降るのでご注意下さい。」といった例が挙げられる．

人手評価には，評価データからランダムに抽出した40件の天気予報コメントを使用した. 
なお，各天気ラベルの有用性を検証するために，各天気ラベルが紐づくコメントが10件以上になるように抽出を行っている. 
各コメントに対して5人全ての評価者で評価を実施した. 
また，人手評価で比較するモデル間の差の統計的有意性を検定するために，ウィルコクソンの符号順位検定\cite{wilcoxon_test}を用いた．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{比較モデル}

表\ref{table:model_definition}に実験に使用したモデルの概要を表す. 
実験では，数値予報マップのエンコード手法の検討として，CNNまたはMLPをエンコーダとしたモデル(2, 3)を比較する. 
また，本研究で提案した天気ラベルを予測する内容選択モデルの有用性を確認するために，内容選択モデルを導入したモデル(4)と導入しないモデル(2, 3)を比較する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 4
\begin{table}[t]
\input{11table04.tex}
\caption{実験に使用したモデルの概要}
\label{table:model_definition}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

さらに，生成テキストの情報性向上を目的に，\citeA{wang-etal-2020-towards}が提案した内容一致制約損失({\it content-matching constraint loss})を検証した. 
内容一致制約とは，Data-to-Textタスクにおいて，入力データと出力テキストに含まれる情報の類似性は高いという着想から，入力データを表す状態ベクトルと出力テキストを表す埋め込みベクトルの距離を近づける制約である. 
\citeA{wang-etal-2020-towards}は，損失関数として二乗誤差を用いることにより，これら2つのベクトルの距離を近づける制約を提案し，有用性を示した．
本研究では，\citeA{wang-etal-2020-towards}の手法を参考に，内容一致制約損失を提案モデルへ導入する．
具体的には，言及すべき内容を選択する内容選択モデルの予測結果を生成テキストへ反映させることで生成テキストの情報性を向上させることを期待して，内容選択モデルの出力状態ベクトルと生成テキストを表す埋め込みベクトルの二乗誤差を計算する損失関数を導入した．
ここで，内容一致制約を導入するモデルをモデル(6)とし，モデル(4)と比較することで有用性を検証する．
また，実験では，メタ情報の導入による効果を確認するために，メタ情報埋め込みベクトルを用いないモデル(5)も合わせて比較した．

天気ラベルを導入するモデル(4, 5, 6)では，内容選択モデルの性能が生成テキストの品質に影響を与えることが考えられる．
つまり，内容選択モデル自体の性能を改善にすることで，生成テキストのさらなる品質向上が期待できる．
そこで，実験では，参照テキストから抽出した``正解''の天気ラベルを用いるモデル(7)を導入した. 
これにより，天気ラベルの導入により期待できる品質向上の上限を検証することができる．
また，表\ref{table:model_definition}における「天気ラベル」列の「予測」，「正解」は，それぞれ分類器により予測された天気ラベル，または，参照テキストから抽出した正解の天気ラベルであることを表している．

また，その他の比較手法として，知識や経験に基づくルールベース手法\cite{kukich:1983:ACL}や類似する過去の問題の解法に基づいて新たな問題の解法を類推する枠組みである事例ベース推論\cite{adeyanju2012weathercbr}が考えられる．
しかし，多数のルールやテンプレートの作成に専門知識と膨大な作業時間を要するルールベース手法を数値気象予報のシミュレーション結果のような複雑な数値データへ適用することは現実的ではない. 
一方，事例ベース推論は，現在の数値気象データに類似する過去の数値気象データの抽出ができれば，その過去の気象データに対する天気予報コメントを現在の気象データに対する天気予報コメントとして活用することが可能であると考えられる．
そこで実験では，数値気象データへの適用がより実現性の高い事例ベース推論を比較手法として採用した．
\citeA{adeyanju2012weathercbr}は，風に関する予報コメントの生成タスクにおいて，事例ベース推論を用いた手法を提案している. 
\citeA{adeyanju2012weathercbr}らの研究では，クエリとなる現在の風向きや風の強さを基に，事例データベースから過去の類似事例を抽出し，現在のクエリに対する天気予報コメントを作成している．
本研究では，\citeA{adeyanju2012weathercbr}の手法を参考に，数値予報マップ，気象観測値およびメタ情報をクエリとして事例データベースから類似事例を抽出し，現在のクエリに対する天気予報コメントを作成する．
具体的には，まず，クエリである数値予報マップ，気象観測値，および，メタ情報\footnote{One-hotエンコーディングによりメタ情報を数値ベクトル化した．}から1つの数値ベクトルを作成する．
次に，事例データベースに含まれる事例についても同様に数値ベクトルを作成し，クエリとのコサイン類似度を計算する. 
最後に，現在のクエリと最も類似する過去の事例を抽出し，抽出された過去事例に紐づく天気予報コメントを現在のクエリに対する天気予報コメントとして採用する．
事例データベースには，\ref{sec:setting_dataset}節の学習データを用いた. 
つまり，与えられた評価データに対する天気予報コメントを，上記の手順に基づいて学習データの類似事例から抽出することになる．
表\ref{table:model_definition}において，事例ベース推論に基づく手法をモデル(1)とする．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験結果}\label{sec:result}

表\ref{table:result_score}に生成テキストと参照テキストの単語一致率に基づくBLEUおよびROUGEスコア，および，生成テキストと参照テキストのそれぞれから抽出した天気ラベルに関する適合率(P$\%$)，再現率(P$\%$)，$F_{1}$スコア(F$_{1}\%$)による評価結果を示す．
表\ref{table:result_score}では，各モデルの重みパラメータの初期値を変更させて，3回実行した際の平均スコアを報告する. 

%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 5
\begin{table}[b]
\input{11table05.tex}
\caption{各モデルの評価データに対する自動評価スコア}
\label{table:result_score}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{数値予報マップのエンコード手法の比較}

まず，数値予報マップのエンコード手法の検討として，CNNまたはMLPを数値予報マップのエンコーダとして採用したモデル(2)，(3)を比較する．
表\ref{table:result_score}のBLEUおよびROUGEによる自動評価において，MLPをエンコーダとするモデル(3)とCNNをエンコーダとして用いるモデル(2)では，2つのエンコーダ間において顕著な差は見受けられなかった．
一方，表\ref{table:result_score}に示す，生成テキストから手がかり語により抽出した天気ラベルに対する適合率，再現率，$F_{1}$スコアの評価では，特に「雨」と「雪」において，モデル(3)がモデル(2)を上回るスコアが得られた. 
この結果から，MLPをエンコーダとして用いるモデル(3)は，CNNを用いるモデル(2)に比べて，天気予報コメントにおいて重要な情報である「雨」や「雪」について適切に言及できていることが推察できる．

以降の実験では，天気ラベルに基づく評価においてMLPを用いるモデル(3)がモデル(2)を上回っていることから，モデル(3)をベースモデルとし，各コンポーネントの有用性を検証する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{内容選択による生成テキストへの影響}

次に，生成テキストの情報性向上を目的として導入した，内容選択モデルを検証するために，本コンポーネントを導入したモデル(4)と導入しないモデル(3)を比較する．
表\ref{table:result_score}に示す，生成テキストから手がかり語に基づき抽出した天気ラベルに関する$F_{1}$スコアについて，内容選択モデルを導入したモデル(4)は，導入しないモデル(3)に比べてスコアが大きく向上していることを確認できた. 
特に，「晴れ」，「雪」の$F_{1}$スコアについては約5\%の改善が確認できており，これらの気象情報を生成テキストにおいて適切に言及できていることが推察できる．
これらの結果から，本研究で導入した内容選択モデルのように，入力データから言及すべき内容を明示的に選択する外部機構を導入することで，生成テキストの情報性が改善することが確認できた．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 6
\begin{table}[b]
\input{11table06.tex}
\caption{評価データに対する内容選択モデルの予測精度}
\label{table:weather_label_prediction}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%

また，表\ref{table:result_score}の各天気ラベルに関する自動評価スコアは，生成テキストで各気象情報についてどの程度適切に言及できているかを表す指標であるが，提案モデルの単語生成デコーダは内容選択モデルの予測結果を参照するため，これらのスコアは内容選択モデルの精度に依存していると考えられる．
つまり，内容選択モデルの精度が高い場合は生成テキストの情報性の向上を期待できるが，内容選択モデルの精度が低い場合は生成テキストへの悪影響が懸念される．
そこで追加検証として，内容選択モデルの精度を評価し，その分類精度の生成テキストへの影響を調査した．
表\ref{table:weather_label_prediction}に内容選択モデル単体の予測精度を示す．
表\ref{table:weather_label_prediction}の内容選択モデルの精度と，表\ref{table:result_score}に示すモデル(4)の生成テキストにおける内容選択の精度を比較すると，それぞれの予測精度は概ね匹敵していることが分かった．
このことから，モデル(4)は内容選択モデルの予測結果を概ね反映できていることが推察できる．
しかし，現状では，モデル(4)の生成テキストにおける内容選択の精度は，内容選択モデル単体による予測精度よりも約3\%程度低いことから，内容選択モデルの導入によりさらなる精度向上の余地があると考えられる．
そのため，今後の課題の1つとして，内容選択モデルの予測結果を生成テキストへ十分に反映するための仕組みを導入することにより，生成テキストにおける内容選択の精度をさらに向上させることなどが考えられる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{内容一致制約の効果}

内容選択モデルの予測結果と生成テキストを表す埋め込みベクトルの距離を近づけることで生成テキストの情報性が向上することを期待して導入した内容一致制約\cite{wang-etal-2020-towards}の効果について検証する．
具体的には，内容一致制約を導入したモデル(6)と導入しないモデル(4)を比較する．

まず，表\ref{table:result_score}のBLEUおよびROUGEによる自動評価では，内容一致制約を導入したモデル(6)は導入しないモデル(4)に対してわずかな改善に留まっていることが分かった．
また，表\ref{table:result_score}の内容選択に関する自動評価スコアでは，ほとんど改善が見受けられなかった．
これらの結果から，内容一致制約による生成テキストの情報性改善の効果は限定的であることが推察できる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{メタ情報の導入による生成テキストへの影響}

次に，生成モデルが天気予報コメントの配信される時間帯や対象エリアに依存する表現を用いてテキスト生成することを期待して導入したメタ情報埋め込みベクトルの効果について検証する. 
具体的には，メタ情報を用いたモデル(6)とそれを用いないモデル(5)の比較を行う．

表\ref{table:result_score}のBLEUおよびROUGEによる自動評価では，メタ情報を導入したモデル(6)はそれを用いないモデル(5)と比べて，わずかにスコアが向上することを確認できた. 
しかしながら，生成テキストと参照テキストの単語の一致率に基づくBLEUやROUGEといった自動評価スコアだけでは，モデル(6)がモデル(5)に比べてメタ情報に依存する表現を適切に生成できているか判断することが難しい. 
そこで，天気予報コメントの配信時刻やエリアなどのメタ情報に依存する表現について，参照テキストと比較して正しく出力できているか評価を実施した．
具体的には，参照テキストに含まれるメタ情報の依存表現について，提案モデルより生成されたテキストにおいても適切に言及できているか評価する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 7
\begin{table}[t]
\input{11table07.tex}
\caption{各依存表現に対する自動評価スコア}
\label{table:meta_data_analysis}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

表\ref{table:meta_data_analysis}にメタ情報に依存する表現を参照テキストと比較して生成テキストにおいて適切に言及できているかを表す$F_{1}$スコア，適合率 (P\%)，および，再現率 (R\%)の自動評価結果を示す．
表\ref{table:meta_data_analysis}における$\Delta_{F_{1}}$は，$F_{1}$スコアに関するモデル(6)とモデル(5)の差分を表している．
また，表\ref{table:meta_word_frequency}に学習データ，開発データ，評価データの天気予報コメントにおける各依存表現の出現回数を示す．
これらの評価対象として選定した依存表現は，開発データを参考に人手により抽出している. 
この結果によると，天気予報コメントのメタ情報として与えたモデル(6)はメタ情報を考慮しないモデル(5)に比べて，配信時刻に依存する「今日，明日」や，曜日に依存する「（月），（火）」，月に依存する「春，夏」などの表現に対する$F_{1}$スコアが大きく向上していることを確認できた．
同様に，エリアに依存表現する表現においても$F_{1}$スコアが全体的に向上していることが確認できた．
しかし，評価データにおいて比較的出現回数が少ない依存表現（山，山間）については変化が見受けられなかった．
また，選定した依存のうち，エリアに依存する表現である「高波，台風」について精度劣化が見受けられた．
表\ref{table:meta_word_frequency}に示すように，この2つの依存表現は共起している回数が多い. 
そのため，メタ情報をモデルへ与えたことで台風または高波のいずれかを言及する精度が低下し，他方の依存表現に対する精度も劣化したことが考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 8
\begin{table}[t]
\input{11table08.tex}
\caption{各依存表現の各データにおける出現回数}\label{table:meta_word_frequency}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%

以上の結果から，生成モデルへメタ情報を導入することにより，多くの事例において，メタ情報に依存した表現を適切に生成する性能が改善することが確認できた. 
一方で，いくつかの依存表現においては性能劣化が見受けられたことから今後の改善が求められる. 


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{事例ベース推論に基づく手法との比較}

エンコーダ・デコーダモデルに基づく提案モデルの有用性を検証するために，比較手法として導入した事例ベース推論に基づく手法\cite{adeyanju2012weathercbr}と提案モデルの比較を行う．
表\ref{table:result_score}におけるモデル(1)が事例ベース推論に基づいたモデルの自動評価結果である．
表\ref{table:result_score}のBLEUおよびROUGEに基づく自動評価において，提案モデルであるモデル(3)や(6)は，事例ベース推論に基づく手法であるモデル(1)よりも大幅に上回るスコアが得られた．
この結果からエンコーダ・デコーダモデルに基づく提案モデルは，事例ベース推論に基づくモデル(1)よりも参照テキストに類似した天気予報コメントを生成できていることが推察できる．
一方で，生成テキストにおける内容選択の正確性を表す各天気ラベルの精度においては，事例ベース推論に基づくモデル(1)は提案モデルであるモデル(3)や(6)よりもスコアが劣ってはいるものの，比較的高いスコアを得られていることが分かった．
つまり，事例ベース推論に基づくモデル(1)の生成テキストは，提案モデルと比べて参照テキストとの類似性はやや劣るものの，適切な内容選択ができていることが推察できる．

上記の結果から，数値予報マップ，気象観測値，メタ情報をクエリとした事例ベース推論に基づくモデル(1)では，最も類似度が高い事例を事例データベースから抽出することで，内容選択の正確性が高い天気予報コメントが得られることが分かった．
このことを踏まえると，最も類似度が低い事例が抽出された場合には，生成テキストにおける内容選択の正確性は低くなることが予想される．
そこで追加検証として，クエリに類似した事例を事例データベースから抽出する際に用いる類似度と生成テキストにおける内容選択の正確性の関係性を調査した．
具体的には，クエリに類似した事例を事例データベースから抽出する際に，最も類似度が高い事例を抽出する場合のモデル(1)$_{max}$と最も類似度が低い事例を抽出する場合のモデル(1)$_{min}$を比較する. 
ここで，最も類似度が高い事例を抽出した場合のモデル(1)$_{max}$は，表\ref{table:result_score}におけるモデル(1)と同じモデルであることに注意されたい．
表\ref{table:result_score_for_cbr}に各モデルの自動評価結果を示す．
これら2つのモデルを比較すると，クエリに最も類似度が高い事例を事例データベースから抽出した場合のモデル(1)$_{max}$は，クエリに最も類似度が低い事例を抽出した場合のモデル(1)$_{min}$よりも大幅に自動評価スコアが向上していることが分かった. 
これらの結果からも，事例データベース推論に基づく手法において，最も類似度が高い事例を事例データベースから抽出することで，内容選択の正確性が高い天気予報コメントを得られることが確認できた．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 9
\begin{table}[b]
\input{11table09.tex}
\caption{事例ベース推論に基づくモデルの評価データに対する自動評価スコア}
\label{table:result_score_for_cbr}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

また，表\ref{table:generated_commments_by_cbr}に事例ベース推論に基づくモデル(1)$_{max}$およびモデル(1)$_{min}$による生成テキストの例を示す．
表\ref{table:generated_commments_by_cbr}における「正解」は，評価データにおける一事例であり，2015年7月23日（木曜）午前0時22分に実際に配信された天気予報コメントである. 
モデル(1)$_{max}$およびモデル(1)$_{min}$のそれぞれの生成テキストは，数値予報マップ，気象観測値，メタ情報からなるクエリの類似度に基づいて事例データベースから抽出された天気予報コメントである．
まず，クエリに最も類似度が高い事例を用いたモデル(1)$_{max}$の生成テキストは，正解テキストと同様に，雨と曇り空について言及できていることが確認できた. 
一方，クエリに最も類似度が低い事例を用いたモデル(1)$_{min}$の生成テキストでは，「今日は冬晴れの一日。お出かけ日和」のように，正解テキストとは異なった内容が言及されている. 
これは，モデル(1)$_{min}$では，正解の気象データと最も類似度が低い事例の天気予報コメントを生成テキストとして用いるため，言及される内容は必然的に正解テキストと大きく異なることが要因となっている. 
以上の結果からも，事例ベース推論に基づく手法において，事例データベースから抽出する際の類似度によって生成テキストで言及される内容およびその正確性が変化することが確認できた. 

%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 10
\begin{table}[b]
\input{11table10.tex}
\caption{事例ベース推論に基づく手法の生成テキスト}
\label{table:generated_commments_by_cbr}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% tabld 11
\begin{table}[b]
\input{11table11.tex}
\caption{人手評価の結果}
\label{table:human_eval}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{人手評価結果}

表\ref{table:human_eval}に人手評価の結果を示す. 
表\ref{table:human_eval}における，$^{\dagger}$は統計的に有意差があることを示す ($p<0.05$)．
また，「事例数」列は，人手評価データ40件のうち，各天気ラベルを含む事例の件数を表している. 
ここで，各天気予報コメントには図\ref{fig:example_comment_tokyo}の事例のように1つ以上の天気ラベルが含まれることに注意されたい．

人手評価結果によると，本研究で提案した天気ラベルの予測タスクにより明示的な内容選択を行うモデル(6)は，明示的な内容選択を行わないモデル(3)に比べて，統計的有意に情報性が優れていることが分かった．
これは，表\ref{table:result_score}の自動評価結果から明らかになったように，提案モデル(6)はモデル(3)よりも生成テキストにおける内容選択の正確性が高いことが要因として考えられる．

一方で，文章全体の一貫性の観点においては，両モデルのスコアは十分に高いものの，モデル(6)はモデル(3)よりも劣ることが分かった．
これは，生成テキストに含まれる情報量が増えたことで，それらの一貫性を担保することが難しくなったことが要因として考えられる. 
この問題の対策としては，テキストで言及する内容を予測する内容選択だけではなく，それらをどのような順序で言及するかを考慮するための内容プランニングを明示的に実施することが挙げられる\cite{wiseman-etal-2017-challenges,iso-etal-2019-learning}．
また，モデル(6)の生成テキストでは，以下に示す事例(\ref{sen:low_consistency})のように文と文のつながりの不自然さに起因して一貫性スコアが低く評価された事例\footnote{一貫性の平均スコアは1.8．}も確認された. この例では，1文目と2文目を繋ぐ接続詞として「ただ」が使われていることで，1文目から推察できる内容（段々と日差しが届いて晴れるため、午後から過ごしやすくなる事）に対して，さらに2文目で補足している状況となり，文のつながりに不自然さが生じていたことが原因として考えられる．
\begin{exe}
\ex 今日は朝まで雨が降りますが、段々と日差しが届いてお出かけ日和になります。\underline{ただ}、昼間は過ごしやすい体感になりそうです。
\label{sen:low_consistency}
\end{exe}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 12
\begin{table}[b]
\input{11table12.tex}
\caption{「豊橋」エリアに配信された天気予報コメントと各モデルの生成テキスト}
\label{table:generateion_example_1}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 13
\begin{table}[b]
\input{11table13.tex}
\caption{「白糠」エリアに配信された天気予報コメントと各モデルの生成テキスト}
\label{table:generateion_example_2}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

表\ref{table:generateion_example_1}，\ref{table:generateion_example_2}，\ref{table:generateion_example_3}に各モデルの出力例と実際に配信された正解の天気予報コメントの例を示す．
表\ref{table:generateion_example_1}，\ref{table:generateion_example_2}，\ref{table:generateion_example_3}におけるI, C, Gはそれぞれ，情報性({\it Informativeness})，一貫性({\it Consistency})，文法性({\it Grammaticality})に関する評価者5人の平均スコアを表す. 
表\ref{table:generateion_example_1}では，各モデルの生成テキストにおいて正解テキストと同様に雲について言及できているものの， モデル(3)の生成テキストでは正解テキストでは言及されていない雨について記述されている．
この結果から，モデル(3)の生成テキストは誤った情報が含まれていると判断され，モデル(6)よりも情報性のスコアが低く付けられたと考えられる．
表\ref{table:generateion_example_2}では，各モデルの生成テキストでは日差しや気温の低下について言及できている. 
一方，モデル(6)は正解テキストと同様に雪についても言及できているが，モデル(3)では雪ではなく，ニワカ雨と言及している. 
このことから，表\ref{table:generateion_example_2}におけるモデル(3)の生成テキストは，情報性が低いと判断されたことが考えられる. 
表\ref{table:generateion_example_3}では，モデル(6)は正解テキストと同様に日差しや雨について言及できているため比較的高い情報性のスコアが付けられている．
一方，モデル(3)では，日差しについては言及できているものの，雨についての記述は含まれていない．
そのため，モデル(3)の生成テキストはモデル(6)よりも情報性が低いと判断されたことが考えられる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 14
\begin{table}[t]
\input{11table14.tex}
\caption{「東京」エリアに配信された天気予報コメントと各モデルの生成テキスト}
\label{table:generateion_example_3}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

また，情報性の評価では，正解テキストと生成テキストを比較して評価を行っているが，正解テキストの何を重要な情報とみなすかは評価者ごとに結果が分かれる可能性がある. 例えば，以下の正解テキスト(\ref{sen:example_referece})と生成テキスト(\ref{sen:example_generation})では， 生成テキストに対して評価者5名のうち3名からは3, 2名からは2の評価結果が得られた. 
この事例において，正解テキストと比較して生成テキストで言及されていない差分となる情報は，風や気温に関する情報であるため，2名の評価者は風や気温に関する情報も重要な情報とみなし，生成テキストに対して2を付与したことが推察できる．

\begin{exe}
\ex 今日（木）は晴れたり曇ったり。ニワカ雨の可能性もあるので、お出かけの際は折りたたみ傘があると安心です。\underline{風が吹くと涼しい～肌寒いくらいの体感になります。}
\label{sen:example_referece}
\end{exe}
\begin{exe}
\ex 今日（木）は日差しが届いても、ニワカ雨の可能性があります。お出かけの際は折りたたみ傘があると安心です。
\label{sen:example_generation}
\end{exe}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}
\label{sec:conclusion}

本研究では，数値気象予報のシミュレーション結果から天気予報コメントを生成するためのData-to-Textモデルを提案した. 
天気予報コメント生成タスクには，(i)複数の物理量からなる時系列数値データの考慮する必要がある，
(ii)コメントが書かれる時間帯や対象エリアに依存した表現が用いられる，
(iii)天気予報コメントにおいて情報性が重要である，といった課題があり，本研究ではそれぞれの課題に対して手法を提案した. 
実験では，自動評価および人手評価によって提案手法の有用性を示した．


今後の課題として2点挙げる．
まず，1点目の課題として，人手評価において，提案モデルの生成テキストの情報性の向上は見受けられたものの，わずかな劣化が観測された一貫性の課題が挙げられる．
この課題の解決策として，生成テキストの情報性向上を目的とした，入力データからの内容選択だけではなく，それらの内容をどのような順序で言及するかを考慮するための内容プランニングを導入する方法などが考えられる．

2点目の課題として，生成モデルの入力データとして使用した気象データの入力形式の検討が挙げられる. 本研究では，入力データとして，数値気象予報のシミュレーション結果の生データである数値予報マップを使用したが，これらのデータを基に作成された{\sc SUMTIME-METEO}や{\sc WeatherGov}などの構造化データを用いる方法も考えられる. 
これらの構造化データは，数値予報マップといった生データに比べて情報量が落ちることが懸念されるものの，人手や機械により情報が整理された上で構造化されているため，重要な情報を選定する内容選択の問題がより簡単になる可能性が考えられる．
また，その他にも，生データや構造化データのいずれかだけでなく，両者を組み合わせた入力形式も考えられる．
そのため，今後の課題として，天気予報コメントの生成タスクにより適した気象データの入力形式やそれらの組み合わせを検討したい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本論文の一部は，The 16th Conference of the European Chapter of the Association for Computational Linguistics (EACL2021)で発表したものです\cite{murakami-etal-2021-weather}．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.6}
\bibliography{11refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{村上聡一朗}{%
2015年熊本高等専門学校専攻科電子情報システム工学専攻修了. 
2017年東京工業大学大学院博士前期課程修了. 
2019年より，東京工業大学工学院博士後期課程に在籍. 
自然言語処理，特に自然言語生成に関する研究開発に従事. 
言語処理学会会員．
}

\bioauthor{田中　　天}{%
2016年大阪大学工学部電子情報学科修了. 
2019年東京工業大学大学院博士前期課程修了．
}

\bioauthor{萩行　正嗣}{%
2014年京都大学大学院情報学研究科知能情報学専攻博士後期課程修了. 博士（情報学）. 
同年より現職. 自然言語処理の研究に従事. 
言語処理学会会員，情報処理学会会員. 
AI防災協議会常務理事. 
}

\bioauthor{上垣外英剛}{%
2012年東京工業大学情報工学科卒業．
2014年東京工業大学大学院総合理工学研究科知能システム科学専攻博士前期課程修了．
2017年東京工業大学大学院~総合理工学研究科知能システム科学専攻博士後期課程修了．
博士（工学）．
同年NTTコミュニケーション科学基礎研究所入所．
2018年より東京工業大学科学技術創成研究院未来産業技術研究所助教．
自然言語処理分野の研究に従事．
情報処理学会，言語処理学会，ACL各会員．
}

\bioauthor{船越孝太郎}{%
2005年東京工業大学大学院情報理工学研究科計算工学専攻博士後期課程修了．
博士（工学）．
2006年より（株）ホンダ・リサーチ・インスティチュート・ジャパン リサーチャー．
2017年より京都大学大学院情報学研究科知能情報学専攻特定准教授．
2020年より東京工業大学科学技術創成研究院未来産業技術研究所准教授．
自然言語処理およびマルチモーダル対話システムに関する研究に従事．
言語処理学会，人工知能学会，情報処理学会各会員．
}

\bioauthor{高村　大也}{%
1997年東京大学工学部計数工学科卒業．
2000年同大大学院工学系研究科計数工学専攻修了（1999年はオーストリアウィーン工科大学にて研究）．
2003年奈良先端科学技術大学院大学情報科学研究科博士課程修了．博士（工学）．
2003年から2010年まで東京工業大学精密工学研究所助教．
2006年にはイリノイ大学にて客員研究員．
2010年から2016年まで同准教授．
2017年から2021年3月まで同教授．
2017年から産業技術総合研究所人工知能センター知識情報研究チーム研究チーム長．
}

\bioauthor{奥村　　学}{%
1962年生．1984年東京工業大学工学部情報工学科卒業．1989年同大学院博士課程修了．
同年，東京工業大学工学部情報工学科助手．1992年北陸先端科学技術大学院大学情報科学研究科助教授，2000年東京工業大学精密工学研究所助教授，2009年同教授，現在は，科学技術創成研究院教授．
2017年より，理化学研究所革新知能統合研究センター (AIP) 客員研究員を兼務．工学博士．
}
\end{biography}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\biodate




\end{document}

