    \documentclass[japanese]{jnlp_2.1}
\usepackage{jnlpbbl_1.3}
\usepackage[dvipdfm]{graphicx}
\usepackage{amsmath}
\usepackage{array}

\usepackage{footnote}


\Volume{25}
\Number{4}
\Month{September}
\Year{2018}

\received{2017}{11}{15}
\revised{2018}{3}{2}
\accepted{2018}{4}{23}

\setcounter{page}{357}

\jsubject{論文}
\jtitle{スポーツ要約生成におけるテンプレート型手法と\\
	ニューラル型手法の提案と比較}
\jauthor{田川　裕輝\affiref{Author_1} \and 嶋田　和孝\affiref{Author_2}}
\jabstract{
本研究では，日本で人気のある野球に着目し，Play-by-playデータからイニングの要約文の生成に取り組む．Web上では多くの野球に関する速報が配信されている．戦評は試合終了後にのみ更新され，“待望の先制点を挙げる”のような試合の状況をユーザに伝えるフレーズ（本論文ではGame-changing Phrase; GPと呼ぶ）が含まれているのが特徴であり，読み手は試合の状況を簡単に知ることができる．このような特徴を踏まえ，任意の打席に対して，GPを含む要約文を生成することは，試合終了後だけでなく，リアルタイムで試合の状況を知りたい場合などに非常に有益であるといえる．そこで，本研究ではPlay-by-playデータからGPを含む要約文の生成に取り組む．また，要約生成手法としてテンプレート型文生成手法とEncoder-Decoderモデルを利用した手法の2つを提案する．
}
\jkeywords{スポーツ要約生成，テンプレート型要約，エンコーダーデコーダー，転移学習}

\etitle{Comparison of Template- and Neural-based Methods for Sports Summary Generation}
\eauthor{Yuki Tagawa\affiref{Author_1} \and Kazutaka Shimada\affiref{Author_2}} 
\eabstract{
In this study, we propose inning summarization methods to generate a simple and sophisticated summary of baseball games using play-by-play data. We focus on the two information sources of inning reports and game summaries. First, we generate a basic sentence using an inning report; further, the basic sentence is integrated with an explanatory phrase to generate inning summaries that contain expressions such as ``the long-awaited first score'' in game summaries. We refer to these phrases as the game-changing phrases (GPs). Readers can easily understand the situation of a game using GPs. In this study, we investigate the template- and neural-based methods of summary generation. Additionally, we evaluate the two methods and discuss their advantages and disadvantage.
}
\ekeywords{Sports Summary Generation, Template-based Summarization, Encoder-Decoder, Transfer Learning}

\headauthor{田川，嶋田}
\headtitle{スポーツ要約生成におけるテンプレート型手法とニューラル型手法の提案と比較}

\affilabel{Author_1}{九州工業大学大学院情報工学府先端情報工学専攻}{Department of Advanced Informatics, Kyushu Institute of Technology}
\affilabel{Author_2}{九州工業大学大学院情報工学研究院知能情報工学研究系}{Department of Artificial Intelligence, Kyushu Institute of Technology}



\begin{document}
\maketitle


\section{はじめに}

\begin{table}[b]
\caption{2016年3月27日 ソフトバンク対楽天戦10回表のPlay-by-playデータ}
\label{tb:pbp}
\input{02table01.tex}
\end{table}
\begin{table}[b]
\caption{2016年3月27日 ソフトバンク対楽天戦10回表のイニング速報}
\label{tb:inning_report}
\input{02table02.tex}
\end{table}
\begin{table}[b]
\caption{2016年3月27日 ソフトバンク対楽天戦の戦評}
\label{tb:game_report}
\input{02table03.tex}
\end{table}

スポーツの分野で特に人気の高い野球やサッカーなどでは，試合の速報がWebなどで配信されている．
特に，日本で人気のある野球では，試合中にリアルタイムで更新されるPlay-by-playデータやイニング速報，試合終了直後に更新される戦評など様々な速報がある．
Play-by-playデータ，イニング速報，戦評の例をそれぞれ表\ref{tb:pbp}，表\ref{tb:inning_report}，表\ref{tb:game_report}に示す．
Play-by-playデータ（表~\ref{tb:pbp}）は打席ごとにアウト数や出塁状況の変化，打撃内容などの情報を表形式でまとめたデータである．
イニング速報（表\ref{tb:inning_report}）はイニング終了時に更新されるテキストであり，イニングの情報を網羅的に説明したテキストである．
戦評（表\ref{tb:game_report}）は試合が動いたシーンにのみ着目したテキストであり，試合終了後に更新される．
特に，戦評には“0-0のまま迎えた”や“試合の均衡を破る”のような試合の状況をユーザに伝えるフレーズ（本論文ではGame-changing Phrase; GPと呼ぶ）が含まれているのが特徴である．
戦評では，“先制”という単語のみでイニングの結果を説明するだけでなく，“試合の均衡を破る”といったフレーズを利用することで，
先制となった得点の重要度をユーザは知ることができる．
また，“0-0のまま迎えた”というフレーズが利用されていると，ユーザは試合が膠着し，緊迫しているという状況を知ることができる．
本研究ではこのような試合の状況をユーザに伝えるフレーズをGPと定義する．

これらの速報は，インターネットを介して配信されているため，スマートフォンやタブレット端末など様々な表示領域のデバイスで閲覧されている．
また，ユーザはカーナビなどに搭載されている音声対話システムを通じてリアルタイムで速報にアクセスすることも考えられる．
このような需要に対して，イニング速報はイニングの情報を網羅的に説明したテキストであり，比較的長い文であるため，表示領域に制限のあるデバイスでは読みづらい．
音声対話システムの出力だと考えると，より短く，端的に情報を伝えられる文の方が望ましい．
また戦評はGPが含まれており試合の状況を簡単に知ることができるが，試合が動いた数打席にのみ言及したものであり，試合終了後にしか更新されない．
このようなそれぞれの速報の特徴を考慮すると，任意の打席に対してGPを含むイニングの要約文を生成することは，試合終了後だけでなく，リアルタイムで試合の状況を知りたい場合などに非常に有益であると考えられる．
そこで，任意の打席に対してGPを含むイニングの要約文を自動生成する．

本研究ではPlay-by-playデータからイニングの要約文の生成に取り組む．
また，要約文を生成する際に，GPを制御することで，GPを含まないシンプルな要約文とGPを含む要約文の2つを生成する．
文を生成する手法としては，古くから用いられてきた手法にテンプレート型文生成手法 \cite{mckeown1995}がある．
また，近年ではEncoder-Decoderモデル \cite{Sutskever2014}を利用した手法 \cite{Rush2015}も盛んに研究されている．
本研究では，テンプレート型生成手法，Encoder-Decoderモデルを利用した手法の2つを提案する．

テンプレート型文生成手法 \cite{mckeown1995,mcroy2000}とは，生成する文の雛形となるテンプレートを事前に用意し，テンプレートに必要な情報を補完することで文を生成する手法である．
岩永ら \cite{iwanaga2016}は，野球の試合を対象とし，テンプレート型文生成手法により，戦評の自動生成に取り組んでいる．
彼らは，事前に人手でテンプレートとそのテンプレートを利用する条件を用意し，戦評を自動生成する手法を提案している．
テンプレート型文生成手法では，文法的に正確な文が生成できるといった利点があるが，テンプレートを事前に用意することはコストが大きいといった欠点がある．
そこで，本研究ではこの欠点を補うためにテンプレートを自動で生成する文生成手法を提案する．

また，近年では深層学習の発展により，機械翻訳 \cite{cho2014,Luong2015}やヘッドライン生成 \cite{Rush2015}など文生成分野における様々なタスクでEncoder-Decoderモデルを利用した多くの研究成果が報告されている．
本研究では，テンプレート型生成手法に加え，Encoder-Decoderモデルを利用した要約文生成手法も提案する．
本研究の目的は，読み手が試合の状況を理解しやすい要約文を生成するため，要約文にGPを組み込むことである．
そこで，入力データが与えられたときに，GPを含む戦評を出力するように大量の入出力の組を用いてEncoder-Decoderを学習させることが考えられる．
しかし，戦評は試合終了後にしか更新されないため，1試合に1つの戦評しか手に入れることができず，大量の学習データを用意することが困難である．
この問題を緩和するため，Encoder-Decoderモデルと転移学習を組み合わせたモデルを提案する．

本研究では，テンプレート型生成手法（\ref{sec:template_method}章），Encoder-Decoderモデルを利用した手法（以降，ニューラル型生成手法）（\ref{sec:neural_method}章）の2つを提案し，生成された要約文を比較，考察する．
本論文の主な貢献は以下の4つである．

\begin{itemize}
\item 野球のイニング要約タスクについて，テンプレート型生成手法とニューラル型生成手法を提案する．
\item テンプレート型手法では，テンプレートを自動獲得する手法を導入する．
\item ニューラル型手法では，転移学習を利用し，戦評のデータ数が十分ではないという問題点を緩和する． 
\item GPを含まないシンプルな文とGPを含む文の2種類の要約文の生成を提案し，その有効性を検証する．
\end{itemize}


\section{関連研究}
\label{sec:related_work}

スポーツを題材とし，要約文を自動で生成する研究は試合のスタッツや選手の成績などのデータを入力とした研究 \cite{murakami2016,Robin1994}や
マイクロブログ，テキストコメンタリーに投稿されるテキストを入力とした研究 \cite{Nichols2012,Takamura2011,Sharifi2010,Kubo2013,Tagawa2016,Jianmin2016}，
テキスト速報などのニュース記事を入力とした研究 \cite{Allen2010,Oh2008,iwanaga2016}など盛んに行われている．

特に，マイクロブログの普及とともにTwitterを対象としたサッカーの要約生成の研究 
\linebreak
\cite{Takamura2011,Nichols2012,Kubo2013}が盛んに取り組まれている．
Twitterを対象とした要約生成の研究の多くは抽出型要約手法を用いている．
抽出型要約手法では文やtweetを抽出単位とするため，ある程度の文法性が担保されるといった利点があり，口語表現，表記ゆれ，誤字脱字といった言語現象が多く見られるマイクロブログにおいて有効である．
そのため，マイクロブログを対象とした要約生成の研究では抽出型要約手法が主流となっている．
しかし，抽出した文やtweetの一部のみが重要な情報を含み，他の部分が冗長な要素である場合が考えられる．
この場合，要約文中に要約に必要な要素と冗長な要素が混在するといった問題がある．
このような問題点に対して，Tagawa and Shimada \cite{Tagawa2016}は，生成型要約手法でTwitterを対象としたサッカーの要約生成に取り組んでいる．
Sharifiら\cite{Sharifi2010}は，Twitterを対象としたスポーツの試合や政治，事件などのイベントに対する要約を生成型要約手法により生成している．
より柔軟に要約を生成するためには，生成型の要約手法の実現が不可欠である．
また，生成型の要約手法などに代表される文生成の研究において，生成する動詞の選択に着目した研究にSmileyら \cite{Smiley2016}の研究がある．
Smileyらはニュース記事において，``rocketed up 19 percent'' や ``moved up 2 percent'' のように ``percent'' の直前の数値によって“上昇する”や“下降する”という同じ意味を持つ単語であっても単語の表層が変化していることに着目している．
また，``increase'' や ``decrease'' のような一般的な動詞を利用するだけでなく，
パーセントの直前の数値などに代表されるような度合いの強さを動詞を選択する際に組み込むことができれば，
より自然に聞こえるテキストを生成することができると報告している．
Smileyらは，Reuters News Agencyのニュース記事1400万記事を分析し，``percent'' の直前の数値が大きい場合には ``skyrocket'' や ``rocket'' という表現が利用され，
\%の直前の数値が小さい場合には ``edge up'' や ``nudge up'' という表現が利用されることを報告している．
また，``Net profits dropped 2\%'' と ``Net profits plummeted 2\%'' のような動詞のみが異なる2つの文に対して，
どちらがもう片方より自然に聞こえるかを被験者が選択する実験を行っている．
この例では，``dropped'' は2\%の直前に出現しやすい動詞であり，``plummeted'' は2\%の前に出現しにくい動詞となっている．
実験の結果，2000問の質問のうち，1372問が直前に出現しやすい動詞を含む文が自然に聞こえるテキストとして選択される結果となり，
チャンスレートである50\%を有意に上回る結果となったことを示している．
Smileyらの研究を加味すると，本研究においても先制したイニングでは“先制”という一般的な単語のみを利用するだけでなく，
“試合の均衡を破る”や“幸先良く先制する”のようなフレーズを利用することで，先制となった得点の重要度をユーザに伝えることができると考えられる．
また，“0-0のまま迎えた”というフレーズが要約文に組み込まれていると，ユーザは試合が膠着し，緊迫しているという状況をユーザは知ることができる．
一方，“タイムリーヒット”という単語は得点が入ったという事実以上の意味は含まれておらず，GPには含まれない．
本研究ではこのような試合の状況を伝えることのできるフレーズをGPと定義し，要約文に組み込む．

本研究と同じく，野球を対象とした研究 \cite{murakami2016,Oh2008,Allen2010}も盛んに取り組まれている．
Oh and Shrobe \cite{Oh2008}は，野球に関するニュース記事からホームチーム視点の記事とアウェイチーム視点の試合の記事の生成に取り組んでいる．
同様に，Allenら\cite{Allen2010}は，野球に関する様々なデータから新聞記者が書いたような試合の記事の生成に取り組んでいる．
AllenらやOh and Shrobeらの研究は，試合全体に関する記事を作成することを目的としており，生成される文は比較的長く，本研究とは目的が異なる．
村上ら\cite{murakami2016}は，表\ref{tb:inning_report}のようなイニング速報を自動で生成している．
村上らは，速報中のそれ以上細かく分割できない一連の事象のことをイベントと定義し，イニング速報の自動生成を打者成績の系列からイベントの系列を予測する系列ラベリング問題として扱っている．
具体的には，イベント文中の打者名やアウト数をスロット化し，イベントテンプレートを作成する．そして，打者成績系列とイベントテンプレート系列を学習することで，未知の打者成績系列に対してイベントテンプレートを予測し，イニング速報を自動生成している．
村上らの目的はイニング速報を再現することが目的であり，本研究と目的が異なる．
また，GPを要約文に組み込むことが野球を対象としたこれらの研究と本研究との違いである．


スポーツ以外を対象とした文生成の研究にMcRoyら \cite{mcroy2000}の研究がある．
McRoyらは，has-property(John,age,20)のような形式から，``John's age is 20.'' のような文を生成するシステムを開発している．
具体的には，事前に定義された文をそのまま返すルール(The String rule)や事前に定義されたテンプレートのスロットを埋めた文を返すルール(The Template rule)などの10のルールを用意している．
しかし，人手でテンプレートを用意するのはコストのかかる作業であり，現実的であるとはいい難い．
そこで，本研究では，既にWeb上に大量に存在するイニング速報からテンプレートを自動生成する手法を提案する．

また，近年では機械翻訳 \cite{cho2014,Luong2015}，ヘッドライン生成 \cite{Rush2015}，キャプション生成 \cite{Vinyals2015,Xu2015}，対話応答生成 \cite{Li-J2016,sato2017}，
要約生成 \cite{chopra2016}など多くの系列変換タスクでEncoder-Decoderモデルを利用した研究成果が報告されている．
特に，系列変換タスクの近年の傾向として，出力系列を所望する出力に制御，変化させる研究が盛んに取り組まれている．

出力系列を所望する出力に制御する手法として，Decode時の各タイムステップに追加的な情報を付与する方法が多くの研究 \cite{Li-J2016,kikuchi2016,Murakami2017,murakami2017b}に応用されている．
Liら\cite{Li-J2016}は，不特定多数の対話データから学習された応答生成モデルが，たとえば，“出身はどこですか?”という発話に対しては，“東京です．”と応答し，
“どこの出身ですか?”という発話に対しては“福岡です．”と応答するといったように応答に一貫性がないことを問題とした．
この問題に対して，個人の属性を表すベクトルをDecoderに追加的に入力することで，個人の背景などの特徴を捉えた一貫性のある応答生成に成功している．
Kikuchiら\cite{kikuchi2016}は，Encoder-Decoderモデルを用いた要約生成において，出力系列の長さを制御するための探索ベースの手法や学習ベースの手法の4つの手法を提案している．
学習ベースの手法のうちの1つは，出力すべき長さを表す長さ埋め込みベクトルをDecoderへ追加的に入力する手法であり，要約精度を落とすことなく，出力系列の長さを制御する機能を獲得できたと報告している．
Murakamiら\cite{Murakami2017}は，日経平均株価の1日分のデータと7営業日分の終値のデータから概況テキストの自動生成に取り組んでいる．
特に，時間帯に関する“前引け”や“大引け”などの表現を正しく出力するため，概況テキストが配信される時間帯を表すベクトルをDecoderに追加的に入力している．
その結果，入力しないモデルに比べ，時間帯に関する表現を正しく出力することに成功したと報告している．
村上ら\cite{murakami2017b}は，気圧や気温，風向きなどの予測値が格納された数値予報マップから天気予報コメントの自動生成に取り組んでいる．
村上らも同じく，Decode時に天気予報コメント配信時の日時や季節などのメタ情報を追加的に入力することで，“今日”，“明日”などの時間帯に関する表現や，
“春の陽気”のような季節特有の表現を正しく出力できるようになり，単語の一致率を基にした評価指標であるBLEU値が向上したと報告している．
本研究においても，表\ref{tb:pbp}の打席に関するデータ以外の時間情報などのイニング情報を考慮することで，GPの制御を試みる．

Decode時の各タイムステップに追加的な情報を入力する手法以外には，入力系列に特定のトークンを付与することで出力を制御を試みる研究 \cite{sennrich2016,yamagishi2016}がある．
Sennrichら \cite{sennrich2016}は，英独機械翻訳において，出力であるドイツ語側の敬意表現の制御に取り組んでいる．
入力である英文に出力であるドイツ文の敬意表現の有無を単語として組み込んだコーパスで学習し，テスト時にも敬意表現を入力文に付与することで付与した情報を考慮した翻訳文を出力することができ，
参照訳と同じ敬意表現を入力文に付与した場合，BLEU値が向上することを報告している．
同じく，Yamagishiら \cite{yamagishi2016}は，Sennrichらの手法を基に，日英翻訳での出力文の態制御に取り組んでいる．
出力である英文の態情報を入力である日本語文に態情報として組み込んだコーパスで学習し，テスト時にも態情報を入力である日本語文に付与することで，
付与した情報を考慮した態表現を持つ翻訳文を出力することができ，参照訳と同じ態表現を入力文に付与した場合，BLEU値が向上することを報告している．
本研究では，提案手法と入力系列に特定のトークンを付与する手法(\textbf{SideConstraints})を比較し，出力結果の考察を行う．

また，上述した研究は大規模な学習データを用いてモデルを学習している．
一方，十分なデータ量とデータの質が確保できない場合において，本来の解きたい問題と関連する別のデータで事前に学習を行い，
事前の学習で得られた学習結果を本来の解きたい問題に再利用することでモデルの精度向上を図る手法に転移学習がある．
転移学習は，固有表現抽出 \cite{arnold2007}やレビューの極性分類 \cite{blitzer2007}，機械翻訳 \cite{koehn2007,zoph2016}など様々なタスクで有効性が報告されている．
赤間ら \cite{akama2017}は，対話応答生成において，発話者のキャラクタを印象付ける応答生成に取り組んでいる．
Twitterから抽出した大規模な対話データで事前学習した後，特定の話者による応答からなる小規模な対話データで転移学習することで，
人手によるルールなどを必要とせずに，入力された発話に対する応答の適切さを保ちつつ，特定の話者の発話スタイルを応答に付与することに成功している．
本研究では，入力データが与えられたときに，GPを含む戦評を出力するように大量の入出力の組を用いてEncoder-Decoderを学習させることが考えられる．
しかし，GPを含む戦評は試合終了後にしか更新されないため，1試合に1つの戦評しか手に入れることができず，大量の学習データを用意することが困難である．
この問題を解決するため，Encoder-Decoderモデルと転移学習を組み合わせたモデルを提案する．

これまで述べてきたように，Encoder-Decoderモデルを利用した手法では，メタ情報や転移学習などによって，出力系列を所望する出力に制御，変化させる研究が盛んに取り組まれている．
一方で，本研究で扱うスポーツ要約生成において，出力を制御，変化させるといった研究は明示的に取り組まれていない．


\section{テンプレート型生成手法}
\label{sec:template_method}

テンプレート型生成手法では，イニング中の全打席ではなく，注目すべき打席に焦点をあてた要約文を生成する．
まず，要約文として生成すべき注目打席を選択する．
今回は2打席を注目打席として選択する．
次に，テンプレートを自動で生成し，要約文を生成する．
また，生成されたテンプレートにGPを融合することで，ユーザが試合の状況を理解しやすい要約文を生成する．


\subsection{打席の選択}
\label{sec:atbat_selection}

各打席ごとにスコアリングし，スコア上位2打席を要約文として生成する．
スコアリングには以下の式を用いる．
\begin{equation}
\label{eq:scoring}
  Score_{atbat} = S + R
\end{equation}

(\ref{eq:scoring})式は打席ごとに算出されるスコアであり，$S$と$R$の和である．
$S$はその打席で得点した得点数である．
$R$はホームランやタイムリーヒットなどの重要なイベントに対しては高く，フライや三振などのイベントに対しては低くなるように設計されたスコアである．
$R$スコアを表\ref{tb:action_score}に示す．
たとえば，表\ref{tb:pbp2}のイニングでは，陽と杉谷の打席が要約すべき打席として選択される．

\begin{table}[t]
\caption{Rスコア}
\label{tb:action_score}
\input{02table04.tex}
\end{table}
\begin{table}[t]
\caption{2016年8月3日 日本ハム対ロッテ戦5回表のPlay-by-playデータと各打席の$Score_{atbat}$}
\label{tb:pbp2}
\input{02table05.tex}
\end{table}



\subsection{テンプレートの自動生成}

本研究では類似したデータを持つ打席同士は，その打席を説明する文の構造も類似していると考える．
表\ref{tb:sim_pbp}は表\ref{tb:pbp2}とは別の試合のイニングで\ref{sec:atbat_selection}節の(\ref{eq:scoring})式のスコアリングにより選択された2打席のデータである．
表\ref{tb:pbp2}の陽と杉谷のデータと表\ref{tb:sim_pbp}の茂木と銀二のデータを比較すると類似していることがわかる．
ここで表\ref{tb:sim_pbp}に対応するイニング速報（表\ref{tb:sim_inning_report}）に着目する．
提案手法では，この表\ref{tb:sim_inning_report}のイニング速報中の類似打席（茂木選手と銀次選手）に関するデータを注目打席のデータに置き換え，類似打席以外の打席に関する部分は文圧縮処理により削除することで，文法的に正確な注目打席を説明する文を生成することができると考える．
また，イニング速報は人手で書かれているため，文法的に正確なテンプレートを生成することができる．
このような考え方に基づき，注目打席と類似したデータを持つ類似イニングを検出し，テンプレートを自動生成する．

\begin{table}[t]
\caption{2016年8月7日 西武対楽天7回裏のPlay-by-playデータ}
\label{tb:sim_pbp}
\input{02table06.tex}
\end{table}
\begin{table}[t]
\caption{2016年8月7日 西武対楽天7回裏のイニング速報}
\label{tb:sim_inning_report}
\input{02table07.tex}
\end{table}


\subsubsection{類似イニング検出}

類似イニングを検出する際には，注目打席とその他のイニングの注目打席の間でデータの類似度を計算し，最も類似度の高いものを類似イニングとする．
一致率は表\ref{tb:pbp2}に示す打者名以外の5つの項目を用いて計算する．
ただし，打席結果の一致は絶対条件とし，打席結果の異なる打席の一致率は0とする．
また，打席結果は実際のPlay-by-playデータには含まれていないが，試合開始時から該当するイニングまでの得点数から求めることができるため，その情報を利用する．
打席間の類似度は以下の式で計算される．
\begin{equation}
  sim(T,A) = \frac{\sum_{n=1}^{2}\sum_{i=1}^{5}co(T_n^i,A_n^i)}{5}
\end{equation}

$A$は入力である要約したいイニング中の注目打席群であり，$A_n$は$n$番目の注目打席を指す．
$T$は入力のイニング以外のイニングの注目打席群であり，$T_n$は$n$番目の注目打席である．
$A_n^1 \sim A_n^5$，$T_n^1 \sim T_n^5$はそれぞれの打席のイベント前のアウト数，イベント前の出塁状況，イベント後の出塁状況，イベント，打席結果の5つの項目を表し，$co(T_n^i,A_n^i)$は項目が一致しているときは1，一致しないときは0となる．

たとえば，表\ref{tb:pbp2}の陽の打席と表\ref{tb:sim_pbp}の茂木の打席は全ての項目が一致している．
よって類似度は$\frac{5}{5} = 1.0$となる．
同様に，表\ref{tb:pbp2}の杉谷の打席と表\ref{tb:sim_pbp}の銀次の打席は類似度が$\frac{2}{5} = 0.4$ （イベントと打席結果が一致） となり，
最終的に表\ref{tb:pbp2}と表\ref{tb:sim_pbp}のイニング間の類似度は1.0と0.4の和である1.4となる．


\subsubsection{文圧縮処理}
\label{sec:compression}

次に，類似イニングのイニング速報中の類似打席に関する部分はスロット化，
それ以外は文圧縮処理により削除することでテンプレートを生成する．

まず，文圧縮処理の前処理として文分割を行う．
類似イニングのイニング速報を動詞の連用形，句読点，並立助詞，接続助詞で分割する．
ただし，分割点の直前が野球専門語の場合は分割しない．
野球専門語はイニング速報から人手で97語を用意した．
野球専門語の例を表\ref{tb:baseball_word_list}に示す．

\begin{table}[b]
\caption{野球専門用語の例}
\label{tb:baseball_word_list}
\input{02table08.tex}
\end{table}

次に文圧縮処理を行う．表\ref{tb:flow}に文圧縮処理から文生成までの手順を示す．
表\ref{tb:flow}のイニング速報は既に直前の文分割処理により分割されており，斜線 (/) は分割点を表す．
表\ref{tb:flow}の“先頭聖澤の二塁打”の直後に分割点である読点が出現しているが，読点の直前の“二塁打”という単語が野球専門語であるため，分割しない．
分割された文のうち，選手名を含む分割文が文圧縮の対象となり，類似打席以外の打席に関するイベントを文圧縮処理により削除する．
表\ref{tb:flow}の“この回計4点で攻撃終了。”という分割文は選手名を含んでいないため，文圧縮処理の対象とならず，その他の分割文は文圧縮の対象となる．
文圧縮では以下の2つの処理を順に行う．

\begin{table}[t]
\caption{文圧縮から文生成までの手順}
\label{tb:flow}
\input{02table09.tex}
\end{table}

\begin{description}
  \item[文圧縮1]\ 
    類似打席以外の選手名からその選手の野球専門語までを削除する．またアウト数や投手の情報，試合に依存する“\#Num号”や選手名の直前の“先頭”や“代打”などの表現も削除する．

  \item[文圧縮2]\ 
    選手名を含んでいない分割文は文ごと削除する．
\end{description}

たとえば，文圧縮1の処理では表\ref{tb:flow}に示すように，“先頭聖澤の二塁打”や“野田が登板”といった下線が引かれている部分を削除する．
文圧縮2の処理においても同様に下線が引かれている部分を削除する．
文圧縮処理の後，選手名や野球専門語などをスロットとし，テンプレートを生成する．
選手名は入力であるPlay-by-playデータ中の選手名とのマッチングによりスロット化を行う．
同じく野球専門語は野球専門語リストとのマッチングによりスロットとする．
また，得点数などの数値表現のスロット化を行う際は，事前に数値表現は全て ``\#Num'7 に置き換えた上でスロット化を行う．
まず，“回\#Num点”，“計\#Num点”，“\#Num点で攻撃終了”，“\#Num点で試合終了”のいずれかに当てはまる場合に ``\#Num'' の部分を ``[ALLSCORE]'' に置き換える．
``[ALLSCORE]'' で置き換えた後に，``[NAME1]'' に最も近く，``[NAME1]'' より後に出現する ``\#Num'' を ``[SCORE1]'' へ置き換える．
同様に，``[NAME2]'' に最も近く，``[NAME2]'' より後に出現する ``\#Num'' を ``[SCORE2]'' へ置き換える．
このように，テンプレートを生成する際のスロット化の処理において人手による処理は介入していない．
最後に，スロットに注目打席のデータを補完することで，文を生成する．


\subsubsection{Game-changing Phrase (GP)の融合}
\label{sec:gp_fusion}

生成されたテンプレートにGame-changing Phrase (GP)を融合することでユーザが試合の状況を理解しやすい要約文を生成する．
GPは戦評から自動で獲得する．
表\ref{tb:game_report}の戦評の例では，“0-0のまま迎えた”のようにイニングを修飾するGP (Inning Phrase; GP{\tiny IP})と“待望の先制点を挙げる”のようにイニング結果を表現するGP (Result Phrase; GP{\tiny RP})が含まれている．
他には，“走者一掃の”のように打撃内容を修飾するGP (Action Phrase; GP{\tiny AP})が戦評では使用されている．
本研究では，GP{\tiny IP}，GP{\tiny RP}，GP{\tiny AP}の3種類のGPを定義し，これらを戦評からパターンマッチにより獲得する．

\begin{table}[b]
\caption{獲得されたGPとルールの例}
\label{tb:gp_and_rules}
\input{02table10.tex}
\end{table}

GP{\tiny IP}はチーム名を含む文節とイニング数の間に出現するものを獲得する．
GP{\tiny AP}は打者名を含む文節と打撃内容の間に出現するものを獲得する．
GP{\tiny RP}は戦評に言及されている最後の選手の野球専門語を含む文節以降から文末の間に出現するものを獲得する．

次に，獲得されたGPに対して，ルールを作成する．
たとえば，“試合を振り出しに戻す”というGP{\tiny RP}が使われている得点シーンは，全て“同点に追いついた6回以降”であることが確認できた．
このように，各GPに対して，イニング数やイニング結果などからルールを作成する．
獲得されたGPとそのルールの例を表\ref{tb:gp_and_rules}に示す．
パターンマッチにより，GP{\tiny IP}，GP{\tiny AP}，GP{\tiny RP}はそれぞれ8，3，11種類を獲得した．
また，それらに対するルールは表\ref{tb:gp_and_rules}に示している得点数，イニング数，出塁状況，イニング結果，イベント，打者数，得点差の7つの項目から構成されている．
同時に複数の項目を満たす場合は項目が多いGPを優先的に選択する．
たとえば，「3点以上，9回，満塁，同点，ホームランまたは適時打」の場合，“値千金の”と“走者一掃の”の2つのGPのルールを満たす．
この場合，“値千金の”というGPは得点数，イニング数，イニング結果，イベントの4つの項目を満たす必要があり，
“走者一掃の”というGPは得点数，出塁状況，イベントの3つの項目を満たす必要があるため，項目が多い“値千金の”を選択する．
また，同じルールのGPはランダムに選択する．
たとえば，“試合の均衡を破る”と“待望の先制点を挙げる”は同じルールであるため，どちらかをランダムで選択する．

そして，\ref{sec:atbat_selection}節で選択された注目打席のデータが作成したルールにマッチする場合，テンプレートに対して，該当するGPを融合する．
GP{\tiny IP}とGP{\tiny AP}は，獲得した際に用いたルールを逆に適用し，融合する．
要するに，GP{\tiny IP}はチーム名と回数の間に，GP{\tiny AP}は打者名と打撃内容の間に挿入する．
GP{\tiny RP}は図\ref{fig:gp_fusion}に示す手順で融合する．
最後にテンプレート中のスロットにデータを補完することで，最終的な文を生成する．

\begin{figure}[t]
\begin{center}
\includegraphics{25-4ia2f1.eps}
\end{center}
\caption{テンプレートとGP{\tiny RP}の融合手順}
\label{fig:gp_fusion}
\end{figure}


\section{ニューラル型生成手法}
\label{sec:neural_method}

本研究では，時系列順の打席データから単語系列を生成する系列変換タスクとして考え，
Encoder-Decoderモデルの一つであるSequence-to-Sequenceモデル \cite{Sutskever2014}を用いてイニング要約文を生成する．
このモデルはEncoder，DecoderともにReccurent Neural Network (RNN)の枠組みを用いている．

EncoderのRNNは入力系列$(x_1,\ldots ,x_N)$が与えられると時刻$t$において，以下の式で隠れ層$h_t$の状態を更新する．
\begin{equation}
  h_t = g(h_{t-1},x_t)
\end{equation}
ここで，$g$は任意の活性化関数を表しており，従来のRNNでは学習が困難であった長期系列を扱えるようにするため，
Long-Short Term Memory (LSTM) \cite{Hochreiter1997}が使われることが多く，本研究においてもEncoderのRNNにLSTMを利用する．

DecoderはEncoderのRNNによって入力系列全てをエンコードすることで得られた内部状態を利用し，EncoderのRNNとは別のRNNにより系列を一つずつ出力していく．
本研究では，DecoderのRNNにおいてもLSTMを利用する．

Decoderは，入力系列$x = (x_1,\ldots ,x_N)$から出力系列$y = (y_1,\ldots ,y_M)$を出力する条件付確率$p(y|x)$を以下の式で計算する．
\begin{equation}
  p(y|x) = \prod_{t=1}^M p(y_t|v,y_1,\ldots ,y_{t-1})
\end{equation}
$v$は，全ての入力系列をエンコードすることで得られた内部状態であり，EncoderのLSTMの最終的な隠れ層である．
また，DecoderのLSTMが出力系列のうちの1つ目の要素$y_1$を出力する時，$y_0$にあたる要素は存在しないため，\textless{}s\textgreater{}という文頭を表すトークンの単語ベクトルを入力する．

\begin{figure}[b]
\begin{center}
\includegraphics{25-4ia2f2.eps}
\end{center}
\caption{提案手法のモデル図}  
\label{fig:model}
\end{figure}

提案手法のモデルを図\ref{fig:model}に示す．
本研究の目的の一つは，読み手が試合の状況を理解しやすい要約文を生成するため，要約文にGPを組み込むことである．
そこで，入力データが与えられたときに，GPを含む戦評を出力するようにEncoder-Decoderを学習させることが考えられる．
一般に，Encoder-Decoderモデルの学習には大量の学習データが必要とされている．
しかし，戦評は試合終了後にしか更新されないため，1試合に1つの戦評しか手に入れることができず，大量の学習データを用意することが困難である．
この問題を解決するため，本研究では，Encoder-Decoderモデルと転移学習を組み合わせたモデルを提案する．


\subsection{Play-by-playデータから打席ベクトルへの変換}

表\ref{tb:pbp}に示すような表形式のPlay-by-playデータから打席ベクトルを作成する．
具体的には，アウト数，出塁状況，打撃内容，打順，代打か否か，先頭か否か，その打席での得点数毎にOne-hotベクトルを作成し，全てを結合したベクトルを打席ベクトルとする．


\subsection{イニング情報の考慮}

Liら\cite{Li-J2016}の研究ではDecoderの隠れ状態に個人の人格情報を，Murakamiら\cite{Murakami2017}の研究では，Decoderの隠れ状態に時間帯などのメタ情報を付与することで，出力単語系列が変化することを報告している．
また，Kikuchiら\cite{kikuchi2016}は，要約生成タスクにおいて，出力すべき残りの長さを表す長さ埋め込みベクトルをDecoderのLSTMへ追加的に入力することで，出力系列の長さを制御する機能を獲得できたと報告している．

本研究ではこれらの知見に基づき，Play-by-playデータ以外のイニングの情報を表すイニング情報ベクトルを作成し，そのベクトルをDecoderのLSTMへ追加的に入力することでGPを制御する．
“待望の先制点を挙げる”というGPには“待望の”という時間帯に言及した表現や，“\#Num点を追う”というGPには“追う”という得点差に言及した表現が含まれている．
このようなGPを制御するためには，1回や2回などの時間帯を表す情報やリードやビハインドなどの得点差を表す情報が必要であると考えられる．
そこで，時間帯の情報$Time$ （e.g., 1回，2回,...），得点差の情報$CurrentScore$ （e.g., リード，ビハインド，同点），イニング結果の情報$Event$ （e.g., 先制，同点，勝ち越し）,
イニングでの総得点の情報$TotalScore$，打者が一巡したか否かの情報$BatterAround$ごとにOne-hotベクトルを作成し，全てを結合したベクトルをイニング情報ベクトルとする．
イニングでの総得点を表すベクトルの次元数は学習データ中のイニングでの最大得点数と同じ数とする．
イニング情報ベクトルは図\ref{fig:model}に示すように，毎ステップDecoderのLSTMへ追加的に入力する．


\subsection{事前学習}

事前学習として打席ベクトルとGPが含まれていないイニング速報を用いて打席説明文生成モデルを学習する．
事前学習に用いるデータとしてイニング速報中の打席に言及している文のみを利用し，投手に関する“先発”や“登板”といった単語を含む文，“三者凡退”のような選手名を含んでいない文は利用しない．
また，“盗塁”や“捕逸”など打席以外に言及している文も利用しない．
具体的には，表\ref{tb:inning_report}のイニング速報では1，4，8，9文目は打席に言及していない文であり，
3文目は“盗塁”に言及しているため，2，5，6，7文目を学習データに用いる．
たとえば，2文目は，中村，今宮，長谷川，本多の4打席に言及しているため，この4打席の打席ベクトル系列を入力したとき，2文目を生成するようにEncoder，DecoderのLSTMを学習する．
このように学習することで，可変長の入力系列に対して，入力された情報を網羅した打席説明文を出力するモデルを学習することができる．


\subsection{転移学習}
\label{sec:transfer}

事前学習では可変長の打席系列の入力に対して，打席を説明する文を生成するようにEncoder，DecoderのLSTMを学習した．
転移学習では，事前学習で学習したモデルパラメータを転移学習のモデルパラメータの初期値として用いる．
転移学習では，可変長の打席系列の入力に対して，GPを含む打席説明文を生成するようにEncoder，DecoderのLSTMを学習する．

一般的に，Encoder-Decoderモデルが出力する系列の長さは学習データの統計値に依存することが知られている\cite{kikuchi2016}．
転移学習で学習に用いる戦評は，表\ref{tb:game_report}の例のように，1打席にのみ言及したものが多く，比較的短い文であり，実際に我々が収集した戦評のうち，約8割が1打席にのみ言及したものであった．
一方，事前学習で学習に用いるイニング速報は，1打席に言及したものは約36\%，2打席に言及したものは約33\%，
3打席に言及したものは約23\%と一文に言及されている打席数は戦評に比べて均一な分布となっている．
そのため，事前学習で可変長の打席系列の入力に対して，打席を説明する文を生成するようにEncoder，DecoderのLSTMを学習したにも関わらず，
戦評を生成するように転移学習すると，入力打席系列の情報を網羅的に説明する文を生成することが困難となる．

そこで，転移学習用の新たな学習データを作成する．
新たな学習データを作成する際のルールを以下に示す．
\begin{itemize}
  \item 戦評に言及されている打席が1打席のみ
  \item イニング速報中の各文において，最後に言及されている打席と戦評に言及されている打席が同じ打席である文が存在する
  \item 上の2つのルールを満たす場合に，イニング速報中の該当文の最後の打席の選手名以前のテキストを抽出する
  \item 抽出したテキストを戦評に言及されている選手名の直前に挿入する
\end{itemize}

たとえば，戦評（表\ref{tb:game_report}）に言及されている打席は本多選手の1打席のみであり，
イニング速報（表\ref{tb:inning_report}）の2文目の最後に言及されている打席と戦評の最後に言及されている打席は本多選手の打席であり共通している．
このような場合，戦評の“本多”という選手名の直前にイニング速報中の2文目の“本多”という選手名以前の“先頭中村晃の安打、今宮の犠打、代打長谷川の四球などで2死二三塁とすると、”というテキストを挿入する．
この操作によって，“ソフトバンクは0-0のまま迎えた延長10回表、先頭中村晃の安打、今宮の犠打、代打長谷川の四球などで2死二三塁とすると、本多の2点適時打で待望の先制点を挙げる。”といった複数の打席に言及し，
かつGPを含む学習データを作成することができる．

また，戦評にはGP$_{RP}$が必ず含まれているとは限らず，
たとえば，“1回に先制”したイニングの戦評では“幸先良く先制する”を含むものは61件，“幸先良く先制する”を含まず，“先制”という単語のみを含むものは245件であった．
このような分布のデータでモデルを学習すると，“1回に先制”したデータに対して“幸先良く先制”というGP$_{RP}$を生成しにくいモデルが学習されると考えられる．
そこで，各イニング結果\footnote{先制，勝ち越し，逆転，同点，追加点}の各イニング数\footnote{1回から12回まで}ごとにGP$_{RP}$を含むものから最大20件\footnote{経験的に20を選択した．}を選択するように転移学習用データをサンプリングする．
サンプリングする際は上述したイニング速報と戦評から作成したデータと元の2打席以上に言及している戦評からサンプリングする．

\vspace{-0.5\Cvs}
\section{実験}
\label{sec:exp}

提案したテンプレート型生成手法とニューラル型生成手法の2つを用いて要約文を生成し，比較，考察を行う．
提案手法の入力であるPlay-by-playデータは2016年3月25日から2017年6月2日までの期間に行われたNPBの試合のデータを週間ベースボールONLINE\footnote{http://sp.baseball.findfriends.jp/}から収集した．
イニング速報も同様の期間に行われたNPBの試合に関するものをエキサイトベースボール\footnote{http://www.tbs.co.jp/baseball/top/main.html}から収集した．
戦評は2016年3月25日から2017年5月14日までの期間に行われたNPBの試合の戦評をYahoo! SportsNavi\footnote{https://sports.yahoo.co.jp/}から収集した．
また，テストデータとしてMLBのPlay-by-playデータを収集した\footnote{手法の頑健性を検証するため，学習データとは異なるソースからなるデータをテストデータとして利用した．}．MLBのPlay-by-playデータはBASEBALL REFERENCE\footnote{https://www.baseball-reference.com/}から2016年度のデータを収集した．
収集したデータの統計を表\ref{tb:data_statistics}に示す．
イニング速報と戦評は，出塁状況，アウト数，選手名，得点数を事前にスロット化したものを利用した．
形態素解析器にはMeCab\footnote{http://taku910.github.io/mecab/}を利用した．

生成された要約文が入力されたデータを正確に表現できているかを確かめるため，事実性という観点から評価する．
また，提案した2つの手法は生成型文生成手法であり，文法性は担保されない．
そこで，提案手法によって生成された要約文を可読性という観点からも評価する．
可読性の評価指標を表\ref{tb:readability_criterion}に示す．


\newpage
\subsection{テンプレート型生成手法の評価}

提案したテンプレート型生成手法を用いて，イニングの要約文を生成した．
要約文を生成する際には．収集したMLBのPlay-by-playデータからランダムに100イニング選択し，生成された100文に対して，入力データと生成したデータに矛盾がないかを確かめ，事実性を評価した．
また，本研究には関わっていない4人の被験者\footnote{野球に対する最低限のルールを認知している被験者を選択した．}により，生成された100の要約を3段階で可読性を評価した．
事実性と可読性の評価結果を表\ref{tb:temp_eval_result}に示す．
事実性の各行は，テストデータ100件から生成された文のうち，入力されたイベントが正しく説明されていた文の数を記している．
また，可読性の値は3段階評価の平均値を記している．

\begin{table}[b]
\caption{収集したデータの統計量}
\label{tb:data_statistics}
\input{02table11.tex}
\end{table}
\begin{table}[b]
\caption{可読性の評価基準}
\label{tb:readability_criterion}
\input{02table12.tex}
\end{table}
\begin{table}[b]
\caption{テンプレート型生成手法の評価結果}
\label{tb:temp_eval_result}
\input{02table13.tex}
\end{table} 

評価結果からテンプレート型生成手法によって生成された要約文は事実性，可読性ともに高い評価を得ていることが確認できた．
テンプレート型生成手法により生成された文の例を表\ref{tb:ex_temp_gen}に示す．
これらは事実性，可読性ともに最も良い評価を受けた生成文である．
テンプレート型生成手法は，人手で書かれたイニング速報からテンプレートを自動生成しているため，文法的にも正確であり，読みやすい要約文を生成することができた．
また，GP融合前とGP融合後の要約文の事実性，可読性の評価結果を比較すると，大きな変化はなく，図\ref{fig:gp_fusion}に示した手順で適切にGPを融合することができたといえる．

\begin{table}[t]
\caption{テンプレート型生成手法によって生成された要約文の例}
\label{tb:ex_temp_gen}
\input{02table14.tex}
\end{table}

生成された文の評価結果は高い評価であったが，実際には事実でない文も100件中3件生成されており，その主な原因は文圧縮処理でのエラーであった．
エラーを含む生成文の例を表\ref{tb:ex_temp_bad_gen}に示す．
この例では，Kris Bryant選手とWillson Contreras選手の2打席が注目打席として選択され，その2打席に対する類似打席として田中選手と丸選手の2打席が検出されている．
その後，\ref{sec:compression}節で説明した文圧縮1の処理により，田中選手と丸選手以外に言及している“続く菊池が三振”が削除され，テンプレートが生成されている．
しかし，“一塁走者田中が二塁を狙うもタッチアウト”という部分は田中選手に言及しているが，打席とは関係なく出塁した後に起きたイベントであるため，
削除する必要があるが残ったままテンプレートが生成され，事実とは異なる文が生成されるエラーがあった．

\begin{table}[t]
\caption{テンプレート型生成手法によって生成されたエラーを含む要約文の例}
\label{tb:ex_temp_bad_gen}
\input{02table15.tex}
\end{table}


\subsection{ニューラル型生成手法の評価}
\label{sec:neural_eval}

実験データの詳細を表\ref{tb:neural_exp_detail}に示す．
また，テンプレート型生成手法の評価と同様にMLBのPlay-by-playデータをテストデータとして利用した．
語彙は事前学習用データ，転移学習用データをMeCabで形態素解析し，各形態素を1つの語彙とした．
語彙埋め込みベクトルの次元数は128，打席ベクトルの次元数は48，イニング情報ベクトルの次元数は32とした．
Encoder，Decoderの隠れ層の次元数は256とした．
\begin{savenotes}
\begin{table}[t]
\caption{実験データの詳細}
\label{tb:neural_exp_detail}
\input{02table16.tex}
\end{table}
\end{savenotes}
モデルパラメータの最適化手法にはAdam \cite{Kingma2015} ($\alpha =0.001, \beta_1=0.9, \beta_2=0.999, \epsilon=10^{-8}$)を利用した．
また，事前学習ではミニバッチを適用し，サイズは40とした．
転移学習ではバッチサイズを1とした．
事前学習，転移学習のepoch数はそれぞれ30，5とした．
また，出力系列を生成する際には貪欲法（ビーム幅1）を用いた．
これらのパラメータは1,400件の開発データから生成された要約文において，文の事実性やGPの制御性などの観点から主観的に判断し決定した．
モデルの実装にはChainer\footnote{https://chainer.org/}を利用した．

\begin{table}[b]
\caption{ニューラル型生成手法の評価結果}
\label{tb:neural_human_eval}
\input{02table17.tex}
\end{table}
\begin{table}[b]
\caption{ニューラル型生成手法によって生成された要約文の例}
\label{tb:ex_neural_good_gen}
\input{02table18.tex}
\end{table}

テンプレート型生成手法の入力打席系列は2打席であったが，ニューラル型生成手法は任意の入力打席系列に関して，要約文を生成するように学習した．
そこで，入力打席系列が1打席，2打席，3打席の場合のデータをランダムに100件ずつ選択し，
転移学習したモデルで生成された要約文を事実性，可読性の観点からテンプレート型生成手法と同じ方法で評価した．
評価結果を表\ref{tb:neural_human_eval}に示す．
ニューラル型生成手法により生成された文の例を表\ref{tb:ex_neural_good_gen}に示す．
これらは事実性，可読性ともに最も良い評価を受けた生成文である．

\begin{table}[b]
\caption{ニューラル型生成手法によって生成されたエラーを含む要約文の例}
\label{tb:ex_neural_bad_gen}
\input{02table19.tex}
\end{table}

可読性の評価結果は，テンプレート型生成手法には劣るものの，概ね事前学習モデル，転移学習モデルともに高い評価を得ることができた．
しかし，転移学習モデルにおける事実性の評価結果は事前学習モデルと比べて低い評価結果となった．
事実でない文が生成されたエラーの分析を行ったところ，先頭\footnote{イニングで最初の打席を意味する．}でない選手名の直前に“先頭”という単語が生成されるエラーが起きていた．
Encoderへの入力である打席ベクトルは，先頭か否かを表す情報を含んでいるにも関わらず，このような現象が観測された．
表\ref{tb:neural_human_eval}に示した3つの打席系列を入力した場合の事前学習モデルにより生成された非事実文11文のうち3件，転移学習モデルが生成した非事実文27文のうち14件がこのエラーであった．
このエラーを含む生成された文の例を表\ref{tb:ex_neural_bad_gen}に示す．
表\ref{tb:ex_neural_bad_gen}のJacoby Ellsbury選手は先頭の選手でないが，転移学習モデルは“先頭Jacoby Ellsbury”と生成している．
転移学習モデルの学習データ中に“先頭”という単語が含まれているのは58件存在し，この58件のうち，入力打席系列が3打席のデータは51件であった．
つまり，転移学習では，事前学習の知識を転用し，GPを生成するようにモデルを学習させたが，同時に，入力打席系列が3打席の場合，入力ベクトルに関係なく，“先頭”という単語を生成しやすいモデルが学習されたと考えられる．
また，“連続タイムリー”のような言い回しで使われる“連続”という単語についても，実際には連続タイムリーではない場面で誤生成が見られた．
実際に，“連続”という単語は転移学習に用いた学習データ中に65件含まれており，この65件のうち，50件が“player1とplayer2の連続タイムリー”のようなパターンで出現していた．
そのため，上述した“先頭”を間違えて生成するエラーと同じように，``player2'' という単語の後には，“連続”という単語を生成しやすい言語モデルを転移学習時に学習してしまい，連続でないにもかかわらず“連続”という単語を生成するエラーが見られた．
このエラーは，転移学習モデルにおける入力打席系列が2打席の場合の非事実文32文のうち，24件を占めていた．

テンプレート型生成手法では，GPごとに生成する基準を作成し，その基準にマッチしたイニングの要約文にGPを融合した．
一方，ニューラル型生成手法では，イニング情報ベクトルをDecode時に追加的に入力することでモデルにGPを制御する機能を学習させた．
そのため，表\ref{tb:gp_and_rules}に示したルールに該当するイニングで正確に該当するGPを生成できているかを各GP毎に正例と負例をそれぞれ100件ずつ用意し，F値で評価した．
ここでいう正例，負例とは，GP毎に作成した基準にマッチするデータ，マッチしないデータのことである．
たとえば，“幸先良く先制する”というGPの基準は“初回に先制”であり，正例は“初回に先制”したデータを指し，負例は“2回以降に先制”したデータを指す．
F値の計算式を以下に示す．
\begin{gather}
  F\mathchar`-measure = \frac{2 \times Precision \times Recall}{Precision + Recall} \\[1ex]
  Precision = \frac{TP}{TP+FP}\\[1ex]
  Recall = \frac{TP}{TP+FN}
\end{gather}

$TP$は正例データに対して，該当のGPを生成したデータ数，$FP$は負例データに対して該当のGPを生成したデータ数，$FN$は正例データに対して該当のGPを生成しなかったデータ数を指す．
また，同じ基準のGPに対しては，どちらかのGPを生成しているか否かで評価した．
たとえば，“試合の均衡を破る”と“待望の先制点を挙げる”というGPは同じ基準であるため，正例データに対してどちらかを生成できていれば，$TP$をカウント，負例データに対して，どちらかを生成していれば，$FP$をカウントした．
加えて，GPの基準にマッチしないデータが入力として与えられたときに，GPを生成しないこともGPの制御においては重要である．
そのため，F値に加えて，$Accuracy$を計算した．
$Accuracy$の計算式を以下に示す．
$TN$は負例データに対して該当のGPを生成しなかったデータ数である．
\begin{equation}
  Accuracy = \frac{(TP + TN)}{200}
\end{equation}

また，評価する際は，以下の3つの手法と比較した．

\begin{itemize}
\item\textbf{Mix} \\
このモデルは転移学習は行わず，事前学習と転移学習で利用したデータを混ぜて学習したモデルである．
イニング情報ベクトルはDecode時に追加的に入力している．
転移学習の有効性を検証するため，提案手法とこのモデルを比較する．
\end{itemize}

\begin{itemize}
\item\textbf{NoInning} \\
このモデルは転移学習は行うが，イニング情報ベクトルはDecode時に追加的に入力しないモデルである．
イニング情報を考慮することの有効性を検証するため，提案手法とこのモデルを比較する．
\end{itemize}

\begin{itemize}
\item\textbf{SideConstraints} \\
\ref{sec:related_work}章で説明したように，Sennrichら \cite{sennrich2016}は，英独機械翻訳において，出力であるドイツ語側の敬意表現の制御に取り組んでいる．
入力である英文の最後に ``\verb|<|T\verb|>|'' （敬意表現無し）や ``\verb|<|V\verb|>|'' （敬意表現有り）といった敬意表現の有無を表すトークンを付与したコーパスで学習し，
テスト時にはユーザの所望する敬意表現トークンを入力文に付与することで付与した情報を考慮した翻訳文を出力することができたと報告している．
また，Yamagishiら \cite{yamagishi2016}は，Sennrichらの手法を基に ``\verb|<|Active\verb|>|'' （能動態）と ``\verb|<|Passive\verb|>|'' （受動態）といったトークンを利用することで，出力文の態制御に取り組んでいる．
このように，入力系列の最後に特定の出力を制御するためのトークンを付与するSideConstraintsは，本研究のGPの制御に対しても有効に働くと考えられる．
Sennrichらの手法は，BahdanauらによるAttention機構 \cite{bahdanau2014}とEncoderには入力系列を順方向に読み込むLSTMと逆方向に読み込むLSTMの2つのLSTM (Bi-Directional LSTM)を利用している．
本モデルではSennrichらの手法を基に，入力打席系列の最後に ``\verb|<|GP\verb|>|'' （GPを付与する）と ``\verb|<|NoGP\verb|>|'' （GPを付与しない）の2つのトークンを利用し，GPの制御を試みる．
学習データは出力文にGPが含まれている場合，つまり\ref{sec:transfer}節で新たに作成したデータを生成するように学習する場合，入力系列の最後に ``\verb|<|GP\verb|>|'' を付与した．
出力文にGPが含まれていない場合，つまりイニング速報を生成するように学習する場合は，``\verb|<|NoGP\verb|>|'' を付与した．
この学習データを利用して，転移学習は行わず，事前学習と転移学習で利用したデータを混ぜてモデルを学習した．
ただし，イニング情報ベクトルはDecode時に追加的に入力する．
Sennrichらはトークンベクトルを単語ベクトルと同時学習しているが，今回は簡単化のため，``\verb|<|GP\verb|>|'' を表すトークンベクトルは1で埋めた48次元のベクトル，``\verb|<|NoGP\verb|>|'' を表すトークンベクトルは0で埋めた48次元のベクトルを使用した\footnote{トークンベクトルは入力系列である打席ベクトルと同じ次元数である．}．

\end{itemize}

\begin{table}[t]
\caption{各手法によるF値とAccuracy値}
\label{tb:f_measure}
\input{02table20.tex}
\vspace{4pt}
{\small $\ast$は各行について太字で示した最高値と比較して，両側符号検定により，有意な差が確認できた値を示している．同様に，$\dagger$は各行について提案手法のF値と比較して，有意な差が確認できた値を示している．また，Bonferroniの補正により，検定総数$N$により補正された有意水準$\alpha = 0.05 / N$で検定を行った．\par}
\end{table}

F値による評価結果を表\ref{tb:f_measure}に示す．
表\ref{tb:f_measure}中のNanはゼロ除算による定義不可能を示している．
提案手法と\textbf{Mix}，\textbf{NoInning}を比較すると，“試合を振り出しに戻す”というGPを除き，有意な差を確認することができた．
また，F値の平均値を比較すると，提案手法の平均値が最も高く，転移学習，イニング情報の考慮ともに，GPの制御において有効に働いたと考えられる．
一方で，\textbf{SideConstraints}は，“\#Num点リードで迎えた”や“\#Num点ビハインドで迎えた”などのイニングを修飾するGP{\tiny IP}（\ref{sec:gp_fusion}節参照）において高いF値を記録しているが，
“幸先良く先制する”などのイニング結果を表現するGP{\tiny RP}においては低いF値となっている．
\textbf{SideConstraints}は，GPを制御するトークンを打席系列の最後に入力するモデルであるため，Decoderの内部で行列演算が繰り返し行われるにつれて，トークンの影響が小さくなったと考えられる．
実際に，各GPの学習データ中での出現位置$Position$を表\ref{tb:f_measure}に示している．
この値は単語数で正規化されており，文頭に近いほど0，文末に近いほど1に近い値となる．
表\ref{tb:f_measure}からGP{\tiny RP}は文末の近くで出現していることが確認でき，Decoder内部で行列演算が繰り返し行われた後，トークンの影響が小さくなった状態で生成されるため，制御することができずに低いF値となったと考えられる．
一方，GP{\tiny IP}は文頭の近くで出現していることが確認でき，トークンの影響が大きい状態で生成されるため，高いF値となったと考えられる．
また，今回はトークンベクトルに0埋め，1埋めベクトルを使用したが，Sennrichらと同様に学習ベースで獲得したトークンベクトルを利用する方法での実験は今後の調査すべき課題といえる．

同様のPlay-by-playデータを入力として与え，擬似的にイニング情報の一部を変化させた際の転移学習モデルによる生成文の例を表\ref{tb:ex_changing_time_info}に示す．
イニング数が1回の生成文には“幸先良く先制する”というGPが適切に生成できていることが確認できる．
イニング数を6回に変更した際の生成文においては“0-0のまま迎えた”と“試合の均衡を破る”というGPが適切に生成できていることが確認できる．

\begin{table}[b]
\caption{イニング情報中のイニング数を変化させた際の転移学習モデルによる生成文の違い}
\label{tb:ex_changing_time_info}
\input{02table21.tex}
\end{table}

それぞれのモデルで生成された文の例を表\ref{tb:ex_gen_each_models}に示す．
転移学習モデルによって生成された文には“0-0のまま迎えた”や“試合の均衡を破る”といったGPが正確に生成されていることが確認できる．
一方，\textbf{Mix}と\textbf{SideConstraints}には“試合の均衡を破る”といったGPは生成されていない．
\textbf{Mix}は転移学習をせず，事前学習と転移学習に用いたデータを全て混ぜて学習するモデルであり，
GPを含むデータ数（557件）と含まないデータ数（8,937件）に大きな差があることから，正確に生成されなかったと考えられる．
また，\textbf{SideConstraints}は，上述したようにDecoderの内部で行列演算が繰り返し行われるにつれて，
トークンの影響が小さくなったと考えられ，実際の生成文からも同様の現象が起きているのが見て取れる．
加えて，\textbf{NoInning}は，イニング情報ベクトルを追加的に入力しないモデルであり，GPを制御するための情報を何も入力していない．
そのため，“同点で迎えた”や“勝ち越し”といった事実とは異なる文を生成している．
他にも“0点リードで迎えた”といった事実と異なる文も生成していた．
表\ref{tb:f_measure}のF値の評価結果や実際の生成例を定性的に考慮すると，GPを制御するといったタスクにおいて，転移学習とイニング情報の考慮は有効に働いているといえる．

\begin{table}[b]
\caption{各手法によって生成された要約文の例}
\label{tb:ex_gen_each_models}
\input{02table22.tex}
\end{table}
\begin{table}[b]
\caption{可読性評価において転移学習モデルがテンプレート型生成手法と比べ，低い評価を受けた例}
\label{tb:ex_readability_bad_gen}
\input{02table23.tex}
\end{table}


\subsection{テンプレート型生成手法とニューラル型生成手法の比較}

表\ref{tb:temp_eval_result}と表\ref{tb:neural_human_eval}の可読性の評価結果を比較すると，テンプレート型生成手法の方が高い評価を受けていた．
実際に被験者による可読性評価で，ニューラル型生成手法が低い評価を受けた例を表\ref{tb:ex_readability_bad_gen}に示す．
転移学習モデルが生成した文は“2死から”という表現が2度出現しており，冗長な文であるため，低い評価を受けたと考えられる
\footnote{生成文に文法的誤りはないようにみえるが，被験者が主観的に読みにくいと感じたためこの評価となったと考えられる．}．

事実性の評価結果を比較すると，可読性の評価結果と同様にテンプレート型生成手法の方が高い評価を受けていた．
これらの評価結果を考慮すると，テンプレート型生成手法の方が優れたイニング要約生成手法だと考えられる．
一方で，テンプレート型生成手法も事実でない文を生成しており，主な原因は\ref{sec:compression}節で説明した文圧縮1の処理であった．
文圧縮1の処理は，選手名からその選手の野球専門語までを削除するといった最もシンプルなアプローチであったため，まれに複雑な表現を含むイニング速報では関係のない情報を圧縮処理しきれずに，事実でない情報を含んだテンプレートが生成された．
このエラーを解決するためには文圧縮処理手法の改善が必要であるが，関係のない情報を全て圧縮処理するように人手でルールを網羅するのは限界がある．
したがって，文圧縮処理には統計的なアプローチを取り入れる必要があると考えられる．
また，テンプレート型生成手法は\ref{sec:gp_fusion}節で説明したテンプレートとGPの融合手順（図\ref{fig:gp_fusion}）によって，GPを融合する前後で事実性，可読性に大きな変化はないこと（表\ref{tb:temp_eval_result}）や，
ニューラル型生成手法の事前学習モデルは事実性の観点から転移学習モデルと比較すると優れていること（表\ref{tb:neural_human_eval}）を考えると，
ニューラル型生成手法の事前学習モデルでテンプレートを生成し，そのテンプレートに対して，表\ref{tb:gp_and_rules}と図\ref{fig:gp_fusion}に示した人手で作成したルールと融合手順により，
GPを含む要約文を生成するのが，事実性，可読性の観点から質の高い要約文を生成することができると考えられる．

加えて，テンプレートとGPの融合手順（図\ref{fig:gp_fusion}）は，本質的には野球に特化したルールではないため，野球以外のスポーツにも適応することができる．
実際に，我々はサッカーの要約生成タスクにおいて，同様のルール（例えば，開始$n$分以内の場合は“幸先良く先制する”を生成など）を用いて，以下のような要約文の生成に成功している \cite{Tagawa2017b}．

\begin{itemize}

  \item ネイマールのスルーパスからイニエスタのアシストをラキティッチがゴール、バルセロナが\underline{幸先良く先制する}．
  \item \underline{両軍無得点のまま迎えた}後半42分、岩渕の\underline{値千金}のゴール、日本が\underline{試合の均衡を破る}．

\end{itemize}

このように，GPは野球以外のスポーツにおいても汎用的なフレーズであると考えられ，サッカーにおいてのGPの融合手順は簡単な手順で設定可能であった．
今後の課題として，サッカー以外のスポーツへの適用が挙げられる．


\section{おわりに}

本研究では，日本で人気のある野球に着目し，Play-by-playデータからイニングの要約文の生成に取り組んだ．
Web上で配信されている速報にはイニング速報と戦評があり，それぞれの以下のような特徴がある．

\begin{itemize}
\item イニング速報中の各文はシンプルな読みやすい文で構成されているが，イニング速報そのものはそれらの文の集合であり，全体としては長く，読みづらい．
\item 戦評には“0-0 のまま迎えた”や“待望の先制点を挙げる”のような試合の流れを考慮したフレーズ(Game-changing Phrase; GP)が含まれているのが特徴であり，読み手は試合の状況を簡単に知ることができる．
\item 戦評は試合が動いたシーンにのみ着目したテキストであり，試合終了後にしか更新されない．
\end{itemize}

このような特徴を踏まえ，任意の打席に対して，GPを含む要約文を生成することは，試合終了後だけでなく，リアルタイムで試合の状況を知りたい場合などに非常に有益であると考えた．
また，イニング速報や戦評は現在人手で作成されているが，自動で生成することで人手で作成する際にかかるコストを削減することができる．
そこで，Play-by-playデータからGPを含む要約文の生成に取り組んだ．

実際に，テンプレート型生成手法とEncoder-Decoderモデルを利用した手法の2つを提案し，それぞれの手法から生成された要約文に対して，事実性や可読性について人手評価をした．
またEncoder-Decoderモデルについては，GPの生成に関していくつかの手法と比較し，転移学習を用いる提案手法が最も良いことをF値，Accuracyによって評価した．
テンプレート型およびEncoder-Decoderモデルの実験結果からそれぞれのメリット・デメリットを考察した．
その考察に基づき，今後の課題としてはEncoder-Decoderモデルにより入力打席系列を説明する文の雛形となるテンプレートを自動で生成した後，
各GP毎に人手で作成したルールを利用してテンプレートと融合することで最終的な要約文を生成するという手法の有効性の検証が挙げられる．
加えて，今回は攻撃側の視点だけに着目した手法を提案したが，守備側の視点も加味した要約文生成にも取り組みたいと考えている．


\acknowledgment

本論文の査読にあたり，著者の曖昧な記述などに対して丁寧なご意見・ご指摘をくださいました査読者の方々へ感謝します．
本論文の内容の一部は，The 21st International Conference on Asian Language Processing (IALP2017)で発表したものです．
本研究の一部は，科研費17H01840の助成を受けています．


\bibliographystyle{jnlpbbl_1.5}
\begin{thebibliography}{}

\bibitem[\protect\BCAY{赤間\JBA 稲田\JBA 小林\JBA 乾}{赤間 \Jetal
  }{2017}]{akama2017}
赤間怜奈\JBA 稲田和明\JBA 小林颯介\JBA 乾健太郎 \BBOP 2017\BBCP.
\newblock 転移学習を用いた対話応答のスタイル制御.\
\newblock \Jem{言語処理学会第 23 回年次大会発表論文集}, \mbox{\BPGS\ 338--341}.

\bibitem[\protect\BCAY{Allen, Templon, McNally, Birnbaum, \BBA\ Hammond}{Allen
  et~al.}{2010}]{Allen2010}
Allen, N.~D., Templon, J.~R., McNally, P.~S., Birnbaum, L., \BBA\ Hammond, K.
  \BBOP 2010\BBCP.
\newblock \BBOQ \mbox{StatsMonkey:} A Data-Driven Sports Narrative
  Writer.\BBCQ\
\newblock In {\Bem AAAI Fall Symposium Series}, \mbox{\BPGS\ 2--3}.

\bibitem[\protect\BCAY{Arnold, Nallapati, \BBA\ Cohen}{Arnold
  et~al.}{2007}]{arnold2007}
Arnold, A., Nallapati, R., \BBA\ Cohen, W.~W. \BBOP 2007\BBCP.
\newblock \BBOQ A Comparative Study of Methods for Transductive Transfer
  Learning.\BBCQ\
\newblock In {\Bem Data Mining Workshops, 2007. ICDM Workshops 2007. Seventh
  IEEE International Conference on}, \mbox{\BPGS\ 77--82}. IEEE.

\bibitem[\protect\BCAY{Bahdanau, Cho, \BBA\ Bengio}{Bahdanau
  et~al.}{2014}]{bahdanau2014}
Bahdanau, D., Cho, K., \BBA\ Bengio, Y. \BBOP 2014\BBCP.
\newblock \BBOQ Neural Machine Translation by Jointly Learning to Align and
  Translate.\BBCQ\
\newblock {\Bem arXiv preprint arXiv:1409.0473}.

\bibitem[\protect\BCAY{Blitzer, Dredze, Pereira, et~al.}{Blitzer
  et~al.}{2007}]{blitzer2007}
Blitzer, J., Dredze, M., Pereira, F., et~al. \BBOP 2007\BBCP.
\newblock \BBOQ Biographies, Bollywood, Boom-boxes and Blenders: Domain
  Adaptation for Sentiment Classification.\BBCQ\
\newblock In {\Bem Proceedings of the 45th Annual Meeting of the Association
  for Computational Linguistics}, \lowercase{\BVOL}~7, \mbox{\BPGS\ 440--447}.

\bibitem[\protect\BCAY{Cho, van Merrienboer, Gulcehre, Bahdanau, Bougares,
  Schwenk, \BBA\ Bengio}{Cho et~al.}{2014}]{cho2014}
Cho, K., van Merrienboer, B., Gulcehre, C., Bahdanau, D., Bougares, F.,
  Schwenk, H., \BBA\ Bengio, Y. \BBOP 2014\BBCP.
\newblock \BBOQ Learning Phrase Representations using RNN Encoder--Decoder for
  Statistical Machine Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 2014 Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 1724--1734}, Doha, Qatar.
  Association for Computational Linguistics.

\bibitem[\protect\BCAY{Chopra, Auli, \BBA\ Rush}{Chopra
  et~al.}{2016}]{chopra2016}
Chopra, S., Auli, M., \BBA\ Rush, A.~M. \BBOP 2016\BBCP.
\newblock \BBOQ Abstractive Sentence Summarization with Attentive Recurrent
  Neural Networks.\BBCQ\
\newblock In {\Bem Proceedings of the 2016 Conference of the North American
  Chapter of the Association for Computational Linguistics: Human Language
  Technologies}, \mbox{\BPGS\ 93--98}, San Diego, California. Association for
  Computational Linguistics.

\bibitem[\protect\BCAY{Hochreiter \BBA\ Schmidhuber}{Hochreiter \BBA\
  Schmidhuber}{1997}]{Hochreiter1997}
Hochreiter, S.\BBACOMMA\ \BBA\ Schmidhuber, J. \BBOP 1997\BBCP.
\newblock \BBOQ Long Short-term Memory.\BBCQ\
\newblock {\Bem Neural Computation}, {\Bbf 9}  (8), \mbox{\BPGS\ 1735--1780}.

\bibitem[\protect\BCAY{岩永\JBA 西川\JBA 徳永}{岩永 \Jetal
  }{2016}]{iwanaga2016}
岩永朋樹\JBA 西川仁\JBA 徳永健伸 \BBOP 2016\BBCP.
\newblock テキスト速報を用いた野球ダイジェストの自動生成.\
\newblock \Jem{言語処理学会第 22 回年次大会発表論文集}, \mbox{\BPGS\ 238--241}.

\bibitem[\protect\BCAY{Jianmin, Jinge, \BBA\ Xiaojun}{Jianmin
  et~al.}{2016}]{Jianmin2016}
Jianmin, Z., Jinge, Y., \BBA\ Xiaojun, W. \BBOP 2016\BBCP.
\newblock \BBOQ Toward Constructing Sports News from Live Text
  Commentary.\BBCQ\
\newblock In {\Bem Proceedings of the 54th Annual Meeting of the Association
  for Computational Linguistics}, \mbox{\BPGS\ 1361--1371}.

\bibitem[\protect\BCAY{Kikuchi, Neubig, Sasano, Takamura, \BBA\
  Okumura}{Kikuchi et~al.}{2016}]{kikuchi2016}
Kikuchi, Y., Neubig, G., Sasano, R., Takamura, H., \BBA\ Okumura, M. \BBOP
  2016\BBCP.
\newblock \BBOQ Controlling Output Length in Neural Encoder-Decoders.\BBCQ\
\newblock In {\Bem Proceedings of the 2016 Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 1328--1338}, Austin, Texas.
  Association for Computational Linguistics.

\bibitem[\protect\BCAY{Kingma \BBA\ Ba}{Kingma \BBA\ Ba}{2015}]{Kingma2015}
Kingma, D.\BBACOMMA\ \BBA\ Ba, J. \BBOP 2015\BBCP.
\newblock \BBOQ Adam: A Method for Stochastic Optimization.\BBCQ\
\newblock In {\Bem The International Conference on Learning Representations}.

\bibitem[\protect\BCAY{Koehn \BBA\ Schroeder}{Koehn \BBA\
  Schroeder}{2007}]{koehn2007}
Koehn, P.\BBACOMMA\ \BBA\ Schroeder, J. \BBOP 2007\BBCP.
\newblock \BBOQ Experiments in Domain Adaptation for Statistical Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 2nd Workshop on Statistical Machine
  Translation}, \mbox{\BPGS\ 224--227}. Association for Computational
  Linguistics.

\bibitem[\protect\BCAY{Kubo, Sasano, Takamura, \BBA\ Okumura}{Kubo
  et~al.}{2013}]{Kubo2013}
Kubo, M., Sasano, R., Takamura, H., \BBA\ Okumura, M. \BBOP 2013\BBCP.
\newblock \BBOQ Generating Live Sports Updates from Twitter by Finding Good
  Reporters.\BBCQ\
\newblock In {\Bem Proceedings of the 2013 IEEE/WIC/ACM International Joint
  Conferences on Web Intelligence and Intelligent Agent Technologies},
  \mbox{\BPGS\ 527--534}.

\bibitem[\protect\BCAY{Li, Galley, Brockett, Spithourakis, Gao, \BBA\ Dolan}{Li
  et~al.}{2016}]{Li-J2016}
Li, J., Galley, M., Brockett, C., Spithourakis, G., Gao, J., \BBA\ Dolan, B.
  \BBOP 2016\BBCP.
\newblock \BBOQ A Persona-Based Neural Conversation Model.\BBCQ\
\newblock In {\Bem Proceedings of the 54th Annual Meeting of the Association
  for Computational Linguistics}, \mbox{\BPGS\ 994--1003}.

\bibitem[\protect\BCAY{Lin \BBA\ Hovy}{Lin \BBA\ Hovy}{2003}]{lin2003}
Lin, C.-Y.\BBACOMMA\ \BBA\ Hovy, E. \BBOP 2003\BBCP.
\newblock \BBOQ Automatic Evaluation of Summaries using N-gram Co-occurrence
  Statistics.\BBCQ\
\newblock In {\Bem Proceedings of the 2003 Conference of the North American
  Chapter of the Association for Computational Linguistics on Human Language
  Technology-Volume 1}, \mbox{\BPGS\ 71--78}. Association for Computational
  Linguistics.

\bibitem[\protect\BCAY{Luong, Pham, \BBA\ Manning}{Luong
  et~al.}{2015}]{Luong2015}
Luong, M.~T., Pham, H., \BBA\ Manning, C.~D. \BBOP 2015\BBCP.
\newblock \BBOQ Effective Approaches to Attention-based Neural Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 2015 Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 1412--1421}.

\bibitem[\protect\BCAY{McKeown \BBA\ Radev}{McKeown \BBA\
  Radev}{1995}]{mckeown1995}
McKeown, K.\BBACOMMA\ \BBA\ Radev, D.~R. \BBOP 1995\BBCP.
\newblock \BBOQ Generating Summaries of Multiple News Articles.\BBCQ\
\newblock In {\Bem Proceedings of the 18th Annual International ACM SIGIR
  Conference on Research and Development in Information Retrieval},
  \mbox{\BPGS\ 74--82}. ACM.

\bibitem[\protect\BCAY{McRoy, Channarukul, \BBA\ Ali}{McRoy
  et~al.}{2000}]{mcroy2000}
McRoy, S.~W., Channarukul, S., \BBA\ Ali, S.~S. \BBOP 2000\BBCP.
\newblock \BBOQ YAG: A Template-based Generator for Real-time Systems.\BBCQ\
\newblock In {\Bem Proceedings of the 1st International Conference on Natural
  Language Generation-Volume 14}, \mbox{\BPGS\ 264--267}. Association for
  Computational Linguistics.

\bibitem[\protect\BCAY{村上\JBA 笹野\JBA 高村\JBA 奥村}{村上 \Jetal
  }{2016}]{murakami2016}
村上総一郎\JBA 笹野遼平\JBA 高村大也\JBA 奥村学 \BBOP 2016\BBCP.
\newblock 打者成績からのイニング速報の自動生成.\
\newblock \Jem{言語処理学会第 22 回年次大会発表論文集}, \mbox{\BPGS\ 338--341}.

\bibitem[\protect\BCAY{村上\JBA 笹野\JBA 高村\JBA 奥村}{村上 \Jetal
  }{2017}]{murakami2017b}
村上総一郎\JBA 笹野遼平\JBA 高村大也\JBA 奥村学 \BBOP 2017\BBCP.
\newblock 数値予報マップからの天気予報コメントの自動生成.\
\newblock \Jem{言語処理学会第 23 回年次大会発表論文集}, \mbox{\BPGS\
  1121--1124}.

\bibitem[\protect\BCAY{Murakami, Watanabe, Miyazawa, Goshima, Yanase, Takamura,
  \BBA\ Miyao}{Murakami et~al.}{2017}]{Murakami2017}
Murakami, S., Watanabe, A., Miyazawa, A., Goshima, K., Yanase, T., Takamura,
  H., \BBA\ Miyao, Y. \BBOP 2017\BBCP.
\newblock \BBOQ Learning to Generate Market Comments from Stock Prices.\BBCQ\
\newblock In {\Bem Proceedings of the 55th Annual Meeting of the Association
  for Computational Linguistics}, \mbox{\BPGS\ 1374--1384}.

\bibitem[\protect\BCAY{Nichols, Mahmud, \BBA\ Drews}{Nichols
  et~al.}{2012}]{Nichols2012}
Nichols, J., Mahmud, J., \BBA\ Drews, C. \BBOP 2012\BBCP.
\newblock \BBOQ Summarizing Sporting Events Using Twitter.\BBCQ\
\newblock In {\Bem Proceedings of the 2012 ACM International Conference on
  Intelligent User Interfaces}, \mbox{\BPGS\ 189--198}.

\bibitem[\protect\BCAY{Oh \BBA\ Shrobe}{Oh \BBA\ Shrobe}{2008}]{Oh2008}
Oh, A.\BBACOMMA\ \BBA\ Shrobe, H. \BBOP 2008\BBCP.
\newblock \BBOQ Generating Baseball Summaries from Multiple Perspectives by
  Reordering Content.\BBCQ\
\newblock In {\Bem Proceedings of the 5th International Natural Language
  Generation Conference}, \mbox{\BPGS\ 173--176}.

\bibitem[\protect\BCAY{Robin}{Robin}{1994}]{Robin1994}
Robin, J. \BBOP 1994\BBCP.
\newblock \BBOQ Revision-based Generation of Natural Language Summaries
  Providing Historical Background.\BBCQ\
\newblock Master's thesis, Ph.D. thesis New York University.

\bibitem[\protect\BCAY{Rush, Chopra, \BBA\ Weston}{Rush
  et~al.}{2015}]{Rush2015}
Rush, A.~M., Chopra, S., \BBA\ Weston, J. \BBOP 2015\BBCP.
\newblock \BBOQ A Neural Attention Model for Abstractive Sentence
  Summarization.\BBCQ\
\newblock In {\Bem Proceedings of the 2015 Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 379--389}.

\bibitem[\protect\BCAY{Sato, Yoshinaga, Toyoda, \BBA\ Kitsuregawa}{Sato
  et~al.}{2017}]{sato2017}
Sato, S., Yoshinaga, N., Toyoda, M., \BBA\ Kitsuregawa, M. \BBOP 2017\BBCP.
\newblock \BBOQ Modeling Situations in Neural Chat Bots.\BBCQ\
\newblock In {\Bem Proceedings of ACL 2017, Student Research Workshop},
  \mbox{\BPGS\ 120--127}. Association for Computational Linguistics.

\bibitem[\protect\BCAY{Sennrich, Haddow, \BBA\ Birch}{Sennrich
  et~al.}{2016}]{sennrich2016}
Sennrich, R., Haddow, B., \BBA\ Birch, A. \BBOP 2016\BBCP.
\newblock \BBOQ Controlling Politeness in Neural Machine Translation via Side
  Constraints.\BBCQ\
\newblock In {\Bem Proceedings of the 15th Annual Conference of the North
  American Chapter of the Association for Computational Linguistics: Human
  Language Technologies}, \mbox{\BPGS\ 35--40}.

\bibitem[\protect\BCAY{Sharifi, Hutton, \BBA\ Kalita}{Sharifi
  et~al.}{2010}]{Sharifi2010}
Sharifi, B., Hutton, M.-A., \BBA\ Kalita, J. \BBOP 2010\BBCP.
\newblock \BBOQ Summarizing Microblogs Automatically.\BBCQ\
\newblock In {\Bem Proceedings of HLT '10 Human Language Technologies: The 2010
  Annual Conference of the North American Chapter of the Association for
  Computational Linguistics}, \mbox{\BPGS\ 685--688}.

\bibitem[\protect\BCAY{Smiley, Plachouras, Schilder, Bretz, Leidner, \BBA\
  Song}{Smiley et~al.}{2016}]{Smiley2016}
Smiley, C., Plachouras, V., Schilder, F., Bretz, H., Leidner, J.~L., \BBA\
  Song, D. \BBOP 2016\BBCP.
\newblock \BBOQ When to Plummet and When to Soar: Corpus Based Verb Selection
  for Natural Language Generation.\BBCQ\
\newblock In {\Bem Proceedings of The 9th International Natural Language
  Generation Conference}, \mbox{\BPGS\ 36--39}.

\bibitem[\protect\BCAY{Sutskever, Vinyals, \BBA\ Le}{Sutskever
  et~al.}{2014}]{Sutskever2014}
Sutskever, I., Vinyals, O., \BBA\ Le, Q.~V. \BBOP 2014\BBCP.
\newblock \BBOQ Sequence to Sequence Learning with Neural Networks.\BBCQ\
\newblock In {\Bem Advances in Neural Information Processing Systems},
  \mbox{\BPGS\ 3104--3112}.

\bibitem[\protect\BCAY{Tagawa \BBA\ Shimada}{Tagawa \BBA\
  Shimada}{2016}]{Tagawa2016}
Tagawa, Y.\BBACOMMA\ \BBA\ Shimada, K. \BBOP 2016\BBCP.
\newblock \BBOQ Generating Abstractive Summaries of Sports Games from Japanese
  Tweets.\BBCQ\
\newblock In {\Bem Proceedings of the 7th International Conference on E-Service
  and Knowledge Management}, \mbox{\BPGS\ 82--87}.

\bibitem[\protect\BCAY{Tagawa \BBA\ Shimada}{Tagawa \BBA\
  Shimada}{2018}]{Tagawa2017b}
Tagawa, Y.\BBACOMMA\ \BBA\ Shimada, K. \BBOP 2018\BBCP.
\newblock \BBOQ Sports Game Summarization Based on Sub-events and Game-changing
  Phrases.\BBCQ\
\newblock In {\Bem New Trends in E-Service and Smart Computing, Springer,
  2018}, \mbox{\BPGS\ 65--80}.

\bibitem[\protect\BCAY{Takamura, Yokono, \BBA\ Okumura}{Takamura
  et~al.}{2011}]{Takamura2011}
Takamura, H., Yokono, H., \BBA\ Okumura, M. \BBOP 2011\BBCP.
\newblock \BBOQ Summarizing a Document Stream.\BBCQ\
\newblock In {\Bem Proceedings of the 33rd European conference on Advances in
  Information Retrieval}, \mbox{\BPGS\ 177--188}.

\bibitem[\protect\BCAY{Vinyals, Toshev, Bengio, \BBA\ Erhan}{Vinyals
  et~al.}{2015}]{Vinyals2015}
Vinyals, O., Toshev, A., Bengio, S., \BBA\ Erhan, D. \BBOP 2015\BBCP.
\newblock \BBOQ Show and Tell: A Neural Image Caption Generator.\BBCQ\
\newblock In {\Bem Proceedings of Computer Vision and Pattern Recognition},
  \mbox{\BPGS\ 3156--3164}.

\bibitem[\protect\BCAY{Xu, Ba, Kiros, Cho, Courville, Salakhudinov, Zemel,
  \BBA\ Bengio}{Xu et~al.}{2015}]{Xu2015}
Xu, K., Ba, J., Kiros, R., Cho, K., Courville, A., Salakhudinov, R., Zemel, R.,
  \BBA\ Bengio, Y. \BBOP 2015\BBCP.
\newblock \BBOQ Show, Attend and Tell: Neural Image Caption Generation with
  Visual Attention.\BBCQ\
\newblock In {\Bem Proceedings of the 32nd International Conference on Machine
  Learning}, \mbox{\BPGS\ 2048--2057}.

\bibitem[\protect\BCAY{Yamagishi, Kanouchi, Sato, \BBA\ Komachi}{Yamagishi
  et~al.}{2016}]{yamagishi2016}
Yamagishi, H., Kanouchi, S., Sato, T., \BBA\ Komachi, M. \BBOP 2016\BBCP.
\newblock \BBOQ Controlling the Voice of a Sentence in Japanese-to-English
  Neural Machine Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 3rd Workshop on Asian Translation (WAT)},
  \mbox{\BPGS\ 203--210}.

\bibitem[\protect\BCAY{Zoph, Yuret, May, \BBA\ Knight}{Zoph
  et~al.}{2016}]{zoph2016}
Zoph, B., Yuret, D., May, J., \BBA\ Knight, K. \BBOP 2016\BBCP.
\newblock \BBOQ Transfer Learning for Low-resource Neural Machine
  Translation.\BBCQ\
\newblock In {\Bem Proceedings of the 2016 Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 1568--1575}.

\end{thebibliography}


\appendix

\section{ROUGEによる評価}

\begin{table}[b]
\caption{ROUGE値}
\label{tb:rouge_result}
\input{02table24.tex}
\end{table}

\ref{sec:exp}節ではテンプレート型生成手法，ニューラル型生成手法により生成された要約文を被験者により可読性，事実性の観点から評価した．
加えて，自動評価指標であるROUGE \cite{lin2003}による評価も行った．
本研究の目的は任意の打席に対してGPを含むイニングの要約文を生成することであり，任意の打席に対してGPを含むイニングの要約文の正解データは存在しない．
そこで，テンプレート型生成手法のGPを含まない要約文とニューラル型生成手法の事前学習モデルによって生成された要約文に対してROUGE値を計算した（計算の際には品詞のフィルタリングなどは行っていない）．
実際に，100件のNPBのPlay-by-playデータを入力として与え，生成された要約文と入力データに対応するイニング速報中の文を正解データとし，ROUGE値を計算した．
評価結果を表\ref{tb:rouge_result}に示す．
評価結果からテンプレート型生成手法はニューラル型生成手法と比べ低いROUGE値となった．
これはテンプレート型生成手法では，文圧縮処理の際に，アウト数や“先頭”，“代打”といった表現を削除しているため，
単語の一致率を基にしたROUGEではニューラル型生成手法と比べ低いROUGE値となったと考えられる．


\begin{biography}
\bioauthor{田川　裕輝}{
2016年九州工業大学情報工学部知能情報工学科卒．2018年九州工業大学大学院情報工学府先端情報専攻修了．現在，富士ゼロックス株式会社．在学中は，スポーツデータを対象とした文章生成や要約に関する研究に従事．
}
\bioauthor{嶋田　和孝}{
1997年大分大学工学部知能情報システム工学科卒．1999年同大大学院博士前期課程修了．
2002年同大大学院博士後期課程単位取得退学．同年より九州工業大学情報工学部知能情報工学科助手．2007年，同助教．2012年，九州工業大学大学院情報工学研究院 知能情報工学研究系准教授．博士（工学）．自然言語処理，特に評判分析や情報要約の研究に従事．
言語処理学会，電子情報通信学会，情報処理学会，人工知能学会，観光情報学会
各会員．{}
}

\end{biography}


\biodate




\end{document}
