    \documentclass[japanese,specialissue]{jnlp_2.1}
\usepackage{jnlpbbl_1.3}
\usepackage[dvipdfm]{graphicx}
\usepackage{amsmath}
\usepackage{udline}
\setulminsep{1.2ex}{0.2ex}
\let\underline
\usepackage{array}


\usepackage{ascmac}

\Volume{25}
\Number{1}
\Month{February}
\Year{2018}
\Issuetitle{「言語処理の応用システム」特集号}

\received{2017}{5}{22}
\revised{2017}{8}{31}
\accepted{2017}{11}{16}

\setcounter{page}{3}

\jsubject{論文}
\jtitle{株主招集通知における議案タイトルとその分類及び開始ページの推定システム}
\jauthor{高野　海斗\affiref{Author_1} \and 酒井　浩之\affiref{Author_2} \and 坂地　泰紀\affiref{Author_3} \and 和泉　　潔\affiref{Author_3} \and \\
岡田　奈奈\affiref{Author_4} \and 水内　利和\affiref{Author_4}}
\jabstract{
本論文では，テキストマイニング技術を用いて，株主招集通知の情報をデータベースに格納する業務の効率化を実現するための応用システムの研究について述べる．効率化したい業務とは，株主招集通知に記載されている議案の開始ページを予測し，その開始ページにおける議案の議案タイトルと議案内容を分類する業務である．本研究では，これらの業務を株主招集通知のテキスト情報を用いて自動的に行うシステムを開発し，実際に運用している．本研究によって実装したシステムと従来の人手による作業の比較実験の結果，作業時間は1/10程度に短縮された．議案分類の手法としては，学習データから抽出した特徴語の重みを用いた分類，多層ニューラルネットワーク（深層学習）を用いた分類，抽出した議案タイトルを用いた分類の三手法を用いた．さらに，各手法の評価を行い，各手法の議案ごとの有効性を確認した．
}
\jkeywords{株主招集通知，議案分類，深層学習，テキストマイニング}

\etitle{A System for Classifying Proposals and Estimating Start Pages Stated in Notice of Annual Meeting of Shareholders}
\eauthor{Kaito Takano\affiref{Author_1} \and Hiroyuki Sakai\affiref{Author_2} \and Hiroki Sakaji\affiref{Author_3} \and Kiyoshi Izumi\affiref{Author_3} \and \\
Nana Okada\affiref{Author_4} \and Toshikazu Mizuuchi\affiref{Author_4}} 
\eabstract{
	In this paper, we describe research on applied systems for realizing efficiency of work to store information of notice of annual meeting of shareholders in the database by using text mining technology. We aim to estimate start pages of proposals stated in notice of the meeting of shareholders and classify which proposal the page is. And we developed a system that automatically performs these tasks using text information of the notice of convocation of shareholders, and actually operates it. As a result of comparative experiment between our implemented system and conventional manual work, the working time was shortened to about 1/10. We propose three methods for classifying proposals. The first method classifies proposals by specialized terms extracted from training data. The second method classifies proposals by using deep learning. The final method classifies proposals by extracted proposal title. We evaluated our methods, and the effectiveness of each method was verified.
}
\ekeywords{Notice of Annual Meeting of Shareholders, Proposal Classification, Deep Learning, Text Mining}

\headauthor{高野，酒井，坂地，和泉，岡田，水内}
\headtitle{株主招集通知における議案タイトルとその分類及び開始ページの推定システム}

\affilabel{Author_1}{成蹊大学大学院工学研究科理工学専攻}{Graduate School of Science and Technology, Seikei University}
\affilabel{Author_2}{成蹊大学理工学部情報科学科}{Department of Computer and Information Science, Faculty of Science and Technology, Seikei University}
\affilabel{Author_3}{東京大学大学院工学系研究科}{School of Engineering, The University of Tokyo}
\affilabel{Author_4}{株式会社日経リサーチ}{NIKKEI RESEARCH INC.}



\begin{document}
\maketitle


\section{はじめに}

人工知能分野の手法や技術を，金融市場における様々な場面に応用することが期待されており，例えば，膨大な金融情報を分析して投資判断の支援を行う技術が注目されている．
その一例として，日本銀行が毎月発行している「金融経済月報」や企業の決算短信，経済新聞記事をテキストマイニングの技術を用いて，経済市場を分析する研究などが盛んに行われている\cite{izumi,kitamori,Peramunetilleke,sakai1,sakaji}．

日経リサーチでは，各種データを収集し，様々なデータベースを構築している．データ処理にあたっては，たとえばXBRL形式のように値に付与されたタグ等の付加情報を利用し，自動分類によるデータベース化を行っている．しかしデータ分類用付加情報が付与されているデータはまだ少数で，データベース構築の多くは自動分類化がすすんでおらず，人手をかけた作業による分類が大半を占めている．手作業で必要な情報を抽出するには，専門的知識や経験が必要となる．

そのような環境の中，「株主招集通知の議案別開始ページの推定」を研究課題として設定した\footnote{株主招集通知から推定するべき情報は人事案件など他にもあり，そのような他テーマへの応用も可能である．}．

企業が株主総会を開催する場合，企業は招集の手続きが必要になる．会社法では公開会社である株式会社が株主総会を招集する場合，株主総会の日の二週間前までに，株主に対してその通知を発しなければならないと定めている（会社法第二百九十九条）．また，株式会社が取締役会設置会社である場合，その通知は書面で行わなければならない（会社法第二百九十九条第二項）．この株主総会に関する書面通知が株主招集通知である．
取締役会設置会社においては，定時株主総会の招集の通知に際し，取締役会の承認を受けた計算書類及び事業報告を提供しなければならない，株主総会の目的が役員等の選任，役員等の報酬等，定款の変更等に係る場合，当該事項に係る議案の概要を通知する必要がある等，会社法および株主招集通知にて通知する事項は会社法および会社法施行規則で定められている（会社法第二百九十八条，会社法施行規則第六十三条）．

一般的な株式公開会社の株主招集通知は，株主総会の日時・場所・目的事項（報告事項・決議事項）が記載される他，参考書類・添付書類として決議事項の議案概要，事業内容等の株式会社の現況に関する事項，株式に関する事項，会社役員に関する事項，会計監査人の状況，計算書類，監査報告書等が記載される．記載内容が法令で定められている株主招集通知だが，有価証券報告書等のように様式が定められておらず，その形式は記載順序や表現方法を含め各社で異なっており，ページ数も数ページのものから100ページを超えるものもある．

今回の研究の対象は，株主招集通知に記載されている決議事項に関する議案である．議案については，その記載がどのページにあるか，何の事項の前後に記載されるかは各社各様であり，多様なパターンを識別するには株主招集通知を読み解く経験を積む必要があった．
従来は抽出したい議案（「取締役選任」「剰余金処分」などの項目）が報告書のどのページに記載されているか人手により確認し，データを作成していたが，各社で報告書のページ数や議案数が異なるため，確認に時間を要していた．現状は，株主招集通知を紙で印刷するとともに，PDFファイルで取得，人手にてデータベースに収録，校正リストの出力，チェックという流れで収録業務を行っている．ここで，抽出したい議案がその報告書にあるのか，どのページに記載されているのかが自動で推定できれば，時間の短縮やペーパーレス化などの業務の効率化につながる．したがって本研究の目標は，株主招集通知の各ページが議案の開始ページであるかそうでないかを判別し，さらに，開始ページであると判断されたページに記述されている議案が，どのような内容の議案であるかを自動的に分類することである\footnote{上記のようなアプローチを採用した理由は，最初に議案の開始ページを推定することで，議案分類に使用する文書を絞り込むためである．}．

株主招集通知の開示集中時期には，短時間に大量の処理を進めるため，臨時的に収録作業者を配置し，データ入力を行う．臨時作業者には，株主招集通知の理解から始まり，収録定義に関する教育時間や練習時間が2日程度必要となる．この教育時間を経て，実際のデータ入力を始めると，慣れるまでは1社あたりのデータベース化に1時間半〜2時間を要し，本研究で対象としている議案分類のみの作業でも，慣れた作業者さえ数分かかる．
特に議案など必要なページにたどりつくまでに株主招集通知を一枚一枚めくって探すこと，議案分類について議案タイトルやその詳細から対応する語を見つけ出すことに時間を要している．処理・判断が早くなるには，各社で異なる株主招集通知の構成を見極め，構造の特徴をつかむことが必要になる．しかし，これらの勘をつかむには，およそ1週間程度かかっている．さらに，信頼性の高いデータ収録ができるようになるには，3ヶ月以上を要している．本研究によるシステムによって，これらの構造理解と勘の習得が不要になると共に，議案の開始ページの推定や議案内容が分類されることにより，当該部分の1社あたりにかかる処理時間の短縮が期待される．さらに，理解の十分でない作業者の判断ミスや判断の揺れが減少し，信頼度の高いデータ生成を支えることとなる．その結果，データベース収録に係る人件費の削減と，データベース化に伴うデータ収録の早期化をはかることが可能となる．

一般的に株主は，株主招集通知に掲載されている議案を確認し，「この議案に賛成もしくは反対」の判断をしている．多数の企業の株式を保有している株主は，これに時間がかかることが推測される．株主招集通知に載っている議案が分類されれば，議案の内容をより早く把握することができ，判断に集中できるようになると考える．

ここで，本論文で提案するシステムの全体像について述べる．
本論文で提案するシステムは，株主招集通知を入力として，表\ref{sc_miss}に示すような結果を返すシステムである．
この結果を得るためには，まず議案が何ページから記載されているのかを推定する必要がある．そして推定したページに対して，議案がいくつ存在し，どの議案分類に分類されるかを自動で行う．

\begin{table}[t]
\caption{出力結果}
\label{sc_miss}
\input{01table01.tex}
\end{table}

本論文の第2章では議案がある開始ページの推定について述べる．第3章から第5章では各議案分類の手法について詳細な内容について述べる．第6章では各手法の評価を適合率，再現率，F値を用いて述べる．第7章では第6章の評価結果を踏まえて考察を述べる．第8章では応用システムについて述べる．第9章では関連研究について述べ，関連研究と本研究の違いについて述べる．

\begin{figure}[b]
\begin{center}
\includegraphics{25-1ia1f1.eps}
\end{center}
\caption{株主招集通知のテキストデータ変換の例1}
\label{expdf1}
\end{figure}
\begin{figure}[b]
\begin{center}
\includegraphics{25-1ia1f2.eps}
\end{center}
\caption{株主招集通知のテキストデータ変換の例2}
\label{expdf2}
\end{figure}



\section{議案がある開始ページの推定}

株主招集通知から議案を分類するために，議案が開始するページの推定を行う必要がある．開始ページの推定は，テキスト情報を用いてルールベースで行う．
まず，株主招集通知のPDFを$1$ページごとに分割したうえで，テキストデータに変換する．変換にはpdftotext\footnote{http://www.foolabs.com/xpdf/home.html}を用いた．PDFデータをテキストデータに変換するとき，以下の処理を加えて変換を行った．
\begin{description}
   \item[処理1] 半角を全角に変換する
   \item[処理2] 空白は除去する
   \item[処理3] (　)が含まれる文は括弧ごと除去する
   \item[処理4] 「の件」または「する件」を含んでいる場合，「件」の後に改行を加える
   \item[処理5] 行頭が「第◯号議案」または「議案」と一致する場合，行頭に改行を加える
   \item[処理6] 「。」は改行に置き換える
\end{description}
上記の処理によってPDFデータは図\ref{expdf1}や図\ref{expdf2}のようなテキストデータに変換される．
議案がある開始ページは，以下の条件のもと推定した．ここで，「決議事項」または「目的事項」という表現が含まれているページを\underline{目次ページ}とし，「参考書類」，「議題及び参考事項」または「議題および参考事項」という表現が含まれているページを\underline{参考ページ}とする．
\begin{description}
   \item[条件1] 議案がある開始ページは，「議案」または「第$X$号議案」が先頭に含まれるページを対象とする
   \item[条件2] \underline{目次ページ}は議案がある開始ページの候補から除外する
   \item[条件3] \underline{参考ページ}から議案に関する記載が始まるため，\underline{参考ページ}以降を対象とする
\end{description}

議案がある開始ページの推定は上記の条件に関わるページ番号の抽出の他に，議案数の推定とページ数の抽出が必要となる．「第$X$号議案」という語が株主招集通知に含まれている場合，議案数は「$X$」の最大値であると推定できる．「第$X$号議案」という語が株主招集通知に含まれていない場合，議案という語が含まれていれば，議案数は$1$であると推定できる．ページ数の抽出は，PDFデータを$1$ページずつテキストデータ化し，テキストデータが取得できた最後のページ番号をページ数として抽出する．

\begin{table}[t]
\noindent\begin{minipage}[t]{0.45\textwidth}
\caption{抽出された情報1}
\label{pre1}
\input{01table02.tex}
\end{minipage}
\hfill
\begin{minipage}[t]{0.45\textwidth}
\caption{抽出された情報2}
\label{pre2}
\input{01table03.tex}
\vspace{1cm}
\caption{抽出された情報3}
\label{pre3}
\input{01table04.tex}
\end{minipage}
\end{table}

これらを踏まえて，変換されたテキストデータから必要な情報を抽出した例を表\ref{pre1}，表\ref{pre2}，表\ref{pre3}に示す．
例えば，図\ref{expdf1}は，株主招集通知のP.~40の例であり，そのページから抽出される議案は「第１号議案」，「第２号議案」となる．
これらの情報を基にページの推定を以下の図\ref{flowchart1}のフローチャートに従って行う．

\begin{figure}[t]
\includegraphics{25-1ia1f3.eps}
  \caption{議案の開始ページ推定のためのフローチャート}
  \label{flowchart1}
\end{figure}

表\ref{pre1}と表\ref{pre3}の例の場合，まず参考ページの最も後ろのページである$42$ページが探索開始ページとなるが，第１号議案が$42$ページ以降に出現しないため，探索開始ページを$40$に更新して行うことで，第１号議案から第８号議案の開始ページの推定に成功する．
\section{提案手法1　特徴語による議案分類}
本章では，特徴語による議案分類について説明する．この提案手法は以下のステップで議案の分類を行う．
\begin{description}
   \item[Step 1:] 議案分類ごとの特徴語の獲得
   \item[Step 2:] 議案の分類
\end{description}


\subsection{議案分類ごとの特徴語の獲得}

\subsubsection{特徴語候補の抽出}

株主招集通知に出現する議案を分類するために，議案分類ごとの特徴語の抽出をする．
例えば，「取締役選任」の特徴語として，「現任取締役」のような語を抽出する．
議案分類ごとの特徴語の獲得をするために，株主招集通知における議案別の開始ページとその議案の分類が記述されたデータ（6,444件）を，株主招集通知のPDFを$1$ページごとに分割したうえで，テキストデータに変換し，学習データとして使用する．
特徴語の抽出は上記の学習データを形態素解析し，それから以下の条件のもと，各議案分類の開始ページに$2$回以上出現する語を特徴語の候補とする．
\begin{description}
   \item[条件1] 名詞を対象
   \item[条件2] 分割はN-gram単位
   \item[条件3] 25文字以上の長すぎる複合名詞は除外
\end{description}

例えば，名詞を対象にN-gram単位の分割を「株主招集通知における議案タイトル」に対して行うと，「株主」，「招集」，「通知」，「株主招集」，「招集通知」，「株主招集通知」，「議案」，「タイトル」，「議案タイトル」のように分割される．


\subsubsection{特徴語候補への重み付け}

特徴語の候補$n_{i}$に対して議案分類ごとに重み付けを行い，特徴語を選択する．重み付けの式には式\ref{weighting}を用いる．
\begin{equation}
\label{weighting}
W(n_{i},C(t)) = (0.5+0.5\frac{TF(n_{i},C(t))}{max_{j=1,...,m}TF(n_{j},C(t))}) × H(n_{i},C(t))\log_{2}\frac{N}{df(n_{i})}
\end{equation}
ここで，学習データにおいて，
\begin{description}
\item[$C(t)$:] 議案分類$t$の開始ページの文書集合．
\item[$TF(n,C(t))$:] $C(t)$において，名詞$n$が出現する頻度．
\item[$H(n,C(t))$:] $C(t)$の各文書である$d$に名詞$n$が出現する確率$P(n,d)$に基づくエントロピー．以下の式\ref{entropy}によって求める．
\begin{equation}\label{entropy} 
  H(n,C(t))= -\sum_{d \in C(t)}P(n,d)\log_{2}P(n,d)
\end{equation}
ここで，$P(n,d)$は$d$に名詞$n$が出現する確率である．
\item[$df(n)$:] 名詞$n$を含む文書の数．
\item[$N$:] 学習データにおける文書の総数．
\end{description}

エントロピーを用いた理由は，各議案分類の文書集合中で多くの文書に分散して出現している語の方が，少数の文書に集中して出現している語と比較して，よりその議案分類の特徴を表し，特徴語としても有効であるという仮定に基づく．例として，議案分類「監査役選任」の特徴語候補への重み付けを，エントロピーを用いて行った結果を表\ref{w_H1}に示し，エントロピーを用いずに行った結果を表\ref{w_H2}に示す．

\begin{table}[b]
\noindent\begin{minipage}[t]{0.45\textwidth}
\caption{エントロピーを用いた重み付けの結果}
\label{w_H1}
\input{01table05.tex}
\end{minipage}
\hfill
\begin{minipage}[t]{0.5\textwidth}
\caption{エントロピーを用いずに重み付けをした結果}
\label{w_H2}
\input{01table06.tex}
\end{minipage}
\end{table}

表\ref{w_H2}に示した特徴語候補は上位$6$単語だが，上位$300$単語のほとんどが固有名詞であるため議案分類の特徴としては適切でなく，エントロピーを計算に用いることは有用と思われる．


\subsubsection{特徴語の選択}

各議案分類ごとの特徴語候補の重み付けの平均値を算出し，平均値よりも重みの高いものを特徴語として選択する．すなわち，以下の条件が成り立つ語$n_{i}$を特徴語として選択する．
\begin{equation}
 \label{mean}
  W(n_{i},C(t)) > \frac{1}{m}\sum_{j=1}^{m}W(n_{j},C(t))
\end{equation}
\begin{description}
\item[$m$:] 議案分類$t$の特徴語候補の総数．
\end{description}

例えば，「取締役選任」の特徴語の一部を表\ref{w_result1}，「定款変更」の特徴語の一部を表\ref{w_result2}に示す．表\ref{w_result2}に注目すると，「定款変更」の項目なので「変更」，「施行」，「定款」などを含む特徴語が上位に来ることは想像できるが，それ以上に「下線部」のような単語に高い重みが付与されることは，機械学習のメリットである．実際，図\ref{expdf2}は「定款変更」に分類される議案の開始ページであるが，「下線部」という単語が出現している．

\begin{table}[b]
\noindent\begin{minipage}[t]{0.45\textwidth}
\caption{「取締役選任」の特徴語}
\label{w_result1}
\input{01table07.tex}
\end{minipage}
\hfill
\begin{minipage}[t]{0.45\textwidth}                                                                                          
\caption{「定款変更」の特徴語}
\label{w_result2}
\input{01table08.tex}
\end{minipage}
\end{table}


\subsection{議案の分類}

$3.1$節で得られた特徴語の重みと第2章の手法で推定した議案の開始ページを用いて，開始ページごとの議案の分類を行う．議案分類$t$の開始ページ$j$に対するスコア付与は式\ref{cos}を用いる．
\begin{equation}
 \label{cos}
  score(j,t)=\frac{\boldsymbol{V(t)}・\boldsymbol{V(j)}}{|\boldsymbol{V(t)}||\boldsymbol{V(j)}|}
\end{equation}
ここで，
\begin{description}
\item[$\boldsymbol{V(t)}$:] 議案分類$t$の特徴語を要素，特徴語の重みを要素値とするベクトル
\item[$\boldsymbol{V(j)}$:] 開始ページ$j$の名詞N-gramを要素，出現数を要素値とするベクトル
\end{description}
複数の議案が同ページに存在する場合，スコアが上位のものから順に選ばれるものとする．


\section{提案手法2　多層ニューラルネットワークによる議案分類}

提案手法1では，学習データから各議案の特徴語を抽出し，それに基づいて議案を分類している．
この学習データを使用すれば，機械学習手法に基づく手法でも議案分類が可能である．
そこで，本研究では多層ニューラルネットワーク（深層学習）\footnote{以降，多層ニューラルネットワークを深層学習と表記する．}を用いた議案分類も試みた．


\subsection{素性選択}

株主招集通知に記載されている議案の開始ページの議案分類を，深層学習により行う．
すなわち，議案の開始ページが，ある議案分類であるかそうでないかを判別する分類器を議案分類の数だけ生成し，テストデータとなる議案の開始ページがどの議案分類に属するかを判定する．
したがって，例えば議案分類「取締役選任」を判別するための学習データは，「取締役選任」の開始ページが正例，それ以外の議案分類の開始ページが負例となる．
また，テストデータは，学習データとして使用した株主招集通知を除き，株主招集通知を1ページごとに分割したうえで，第2章の手法を用いて推定されたページを対象とした．

まず，入力層の要素となる語（素性）を選択する．
具体的には，学習データにおいて正例に含まれる内容語（名詞，動詞，形容詞）に対して，以下の式\ref{weight_score}にて重みを計算する．
\begin{equation}
 \label{weight_score}
 W_{p}(t,S_{p}) = TF(t,S_{p})H(t,S_{p})
\end{equation}
ただし，
\begin{description}
   \item[$S_{p}$:] 学習データにおいて正例に属する文の集合
   \item[$TF(t,S_{p})$:] 文集合$S_{p}$において，語$t$が出現する頻度
   \item[$H(t,S_{p})$:] 文集合$S_{p}$における各文に含まれる語$t$の出現確率に基づくエントロピー
\end{description}
$H(t,S_{p})$が高い語ほど，正例の文集合に均一に分布している語であることが分かる．
$H(t,S_{p})$は次の式\ref{entropy1}で求める．
\begin{gather}
 \label{entropy1}
 H(t,S_{p}) = -\sum_{s \in S_{p}}P(t,s)\log_{2}P(t,s) \\
 P(t,s) = \frac{tf(t,s)}{\sum_{s \in S_{p}}tf(t,s)}
\end{gather}
ここで，$P(t,s)$は文$s$における語$t$の出現確率を表し，$tf(t,s)$は文$s$において語$t$が出現する頻度を表す．
次に，負例に含まれる内容語（名詞，動詞，形容詞）に対しても，同様に重みを計算する．
\begin{equation}
 W_{n}(t,S_{n}) = TF(t,S_{n})H(t,S_{n})
\end{equation}
ただし，$S_{n}$は学習データにおいて負例に属する文の集合である．

ここで，ある語$t$の正例における重み$W_{p}(t,S_{p})$が負例における重み$W_{n}(t,S_{n})$より大きければ，その語$t$を素性として選択する．
もしくは，語$t$の負例における重み$W_{n}(t,S_{n})$が正例における重み$W_{p}(t,S_{p})$の2倍より大きければ，その語$t$を素性として選択する．
すなわち，以下の条件のどちらかが成り立つ語$t$を素性として選択する．
\begin{gather}
 W_{p}(t,S_{p}) > W_{n}(t,S_{n}) \\
 W_{n}(t,S_{n}) > 2W_{p}(t,S_{p}) 
\end{gather}
上記の条件を課すことで，正例，負例における特徴的な語のみを素性として選択し，ともによく出現するような一般的な語を素性から除去する．
以下に議案分類「取締役選任」を判別するための学習データから選択された素性の一部を例示する．
\begin{screen}
取締役，監査，議案，配当，株主，社外，変更，事業，代表，現任，責任，部長，社長
\end{screen}
上記の学習データでは，$2,845$語が素性として選択された．


\subsection{モデル}

入力は，学習データから抽出された語（素性）を要素，語$t$における$\log(W_{p}(t,S_{p}))$，もしくは，$\log(W_{n}(t,S_{n}))$の大きいほうを要素値としたベクトルとする．
モデルの入力層のノード数を入力ベクトルの次元数（すなわち素性の数）と同じとし，
隠れ層は，ノード数 1,000 が3層，ノード数$500$が3層，ノード数$200$が3層，ノード数$100$が3層の計12層とする．
出力層は$1$要素である．

深層学習のパラメータとして，活性化関数はランプ関数(ReLU) \cite{ReLU}を，出力層はsigmoidを使用した．
また，エポック数は$50$回とした．


機械学習による分類を2値で行った理由は，1つのページに複数の議案が記載されており，
複数の議案分類が割り当てられる可能性があるからである．
例えば，「取締役選任」と「監査役選任」が同じページに記載されている場合があり，
その場合は，そのページを「取締役選任」と「監査役選任」に分類する必要がある．
そのため，ある議案分類とそれ以外を分類する分類器を議案分類数だけ生成するアプローチを採った．


\section{提案手法3　抽出した議案タイトルを用いた議案分類}

本章では，議案タイトルの抽出手法と，抽出した議案タイトルを用いた議案分類手法について説明する．
議案タイトルとは，図\ref{expdf1}の第１号議案の隣に記載されている「剰余金の処分の件」や，第２号議案の隣に記載されている「定款一部変更の件」のことを指す．
議案タイトルを正確に抽出することは難しいが，正しく議案タイトルを抽出できれば議案分類の大きな手助けとなるとともに，議案タイトルを人手で入力する手間を省くことができる．


\subsection{議案タイトルの抽出}

PDFデータを第2章と同様の条件でテキストデータに変換し，図\ref{flowchart2}のフローチャートの条件で議案タイトルの抽出を行う．

\begin{figure}[b]
\vspace{-0.5\Cvs}
\includegraphics{25-1ia1f4.eps}
  \caption{議案タイトル抽出のフローチャート}
  \label{flowchart2}
\end{figure}

議案タイトルは第2章の手法を用いて推定された開始ページを用いて，ハッシュに保存された議案タイトルが選択される．以下の優先順位でハッシュは選ばれ，優先すべきハッシュに議案タイトルがない場合，次順位のハッシュに保存された議案タイトルを選択する．
\begin{equation}
 hash1\{''第◯号議案''\} > hash2\{ページ数\}\{''第◯号議案''\} > hash3\{ページ数\}\{m\}
\end{equation}
ここで，$hash3\{ページ数\}\{m\}$はそのページに出現する$m$番目の議案タイトルである．


\subsection{議案タイトルを用いた議案分類手法}

議案タイトルに含まれるキーワードを用いたルールベースによって議案分類を行う\footnote{作成したルールは，学習データとして用いられている株主招集通知を参考に作成した．}．図\ref{flowchart3}に本手法である議案分類のフローチャートを示す．

\begin{figure}[t]
\includegraphics{25-1ia1f5.eps}
  \caption{抽出した議案タイトルを用いた分類のフローチャート}
  \label{flowchart3}
\end{figure}


\section{評価}

本手法を実装した．
学習データとして，$2016$年$4$月から$8$月までの株主招集通知から，人手にて議案開始ページとその分類を作成し使用した（学習データ数は6,444件）．
実装にあたり，形態素解析器としてMeCab\footnote{http://taku910.github.io/mecab/}を使用した．深層学習においてはTensorFlow\footnote{https://www.tensorflow.org/}を使用した．
評価において，正解データとして，$2016$年$9$月から$10$月までの株主招集通知から，人手にて議案開始ページとその分類を作成した（正解データ数は345件）．
議案分類ごとの学習データと正解データは以下の表\ref{count}の通りである．
次に，正解データと同じ$9$月から$10$月までの株主招集通知から，各手法を用いて議案開始ページとその議案分類を推定した．
表\ref{c_ex}はある企業の株主招集通知における正解データと提案手法1による議案開始ページと議案分類の推定結果を示す．
そして，各手法の推定結果と正解データが一致すれば正解とし，議案ごとの適合率，再現率，F値を算出した．
また，比較手法として，Support Vector Machine (SVM) \cite{svm}による分類も行った\footnote{SVMのカーネルとして線形カーネルを使用した．}．素性選択の方法は深層学習と同様である．
評価結果を表\ref{c_result}に示す．表\ref{c_result}の手法1は提案手法1の特徴語による議案分類手法，手法2は提案手法2の深層学習による議案分類手法，手法3は提案手法3の抽出した議案タイトルを用いた議案分類手法の結果を示す．

\begin{table}[b]
\caption{議案別データ数}
\label{count}
\input{01table09.tex}
\end{table}
\begin{table}[b]
\caption{提案手法1による議案開始ページと議案分類の推定結果とその正解データ}
\label{c_ex}
\input{01table10.tex}
\end{table}

\begin{table}[p]
\caption{評価結果}
\label{c_result}
\input{01table11.tex}
\end{table}
\begin{table}[p]
\caption{比較手法と設定}
\label{cond}
\input{01table12.tex}
\end{table}

深層学習による提案手法2を評価するために，素性選択を行わなかった場合，深層学習ではなくSVMを使用した場合，深層学習の隠れ層やエポック数を変化した場合の評価を行った．
表\ref{cond}に各手法や設定を示す．
ここで，比較手法2の「素性選択なし」とは，学習データにおける内容語を全て素性として使用し，重みとして情報利得を使用したものである．
また，各手法や設定ごとに全ての議案分類の適合率，再現率を載せるのは数値が多すぎるため，
各手法や設計ごとの全議案における適合率，再現率のみを表\ref{comparison}に示す．


\begin{table}[b]
\caption{比較評価結果}
\label{comparison}
\input{01table13.tex}
\end{table}


\section{各手法に対する考察}

各手法の評価の結果，提案手法3，提案手法2，手法 (SVM)，提案手法1の順に良好な結果が得られた．各手法には特徴があり，「ストックオプション」のF値では提案手法1が最も高く，「剰余金処分」のF値は提案手法2が最も高い．

提案手法1は「ストックオプション」の結果が他の手法と比較して良好な結果となった．これは特徴語の選択とその重み付けに起因している．得られた特徴語と重みを表\ref{w_result3}に示す．
また，特に提案手法3と比較すると高い結果が得られているが，これは「ストックオプション」に該当する議案のタイトルは多種多様であることから，提案手法3のタイトルを用いた分類は難しいことが原因でもある．

\begin{table}[b]
\caption{「ストックオプション」の特徴語}
\label{w_result3}
\input{01table14.tex}
\end{table}

提案手法1の分類推定が誤っていたものを確認したところ，誤分類は$46$件だった．
その誤分類の詳細を確認したところ，「取締役選任」の項目が，「監査役選任」の項目に誤分類されている件数が$15$件あった．これはどちらの項目も選任の件であり，分類が難しいことと，議案としての出現確率が高いことに起因している．
また，分類には「その他」といった項目が存在するが，今回は「その他」への分類をしていないため，$15$件が誤分類となった．「その他」の項目は，どの議案にも分類されない議案で構成されるため，特徴語となるものが抽出できない．そのため分類対象から除外した．

提案手法1は議案の分類をスコアが上位のものから順に割り当てるため，同一ページに対し同じ議案分類を割り当てることができない．そのため，同じ議案分類が複数出てきた開始ページの推定に影響を与え，$6$件の誤分類となった．また，その場合の推定は「退職慰労金」に分類される傾向にあり，それに起因して「退職慰労金」の分類の適合率が低くなってしまった．その際の正解データと提案手法1の出力結果を表\ref{c_miss}に示す．
この例は，P.53に「役員報酬」に関する議案が$2$件記載されているが，「役員報酬」の次にスコアが高い「退職慰労金」が議案分類として割り当てられてしまった結果である．

\begin{table}[b]
\caption{同じ議案が同一ページに複数出てきた例}
\label{c_miss}
\input{01table15.tex}
\end{table}

提案手法1の分類推定を向上させるためには，「取締役選任」と「監査役選任」の項目の特徴語の選択をヒューリスティックに調整することが考えられる．また，「その他」の項目も，同様の手法で分類できるようにすることも考えられる．同じ議案が複数存在するページに関しては，「退職慰労金」の項目に分類されることが多いため，「退職慰労金」への分類に制約を与えることで，解消されると考えられる．

提案手法2の結果は，議案があると推定されたページに対して各分類器を適用するため，そのページにある議案数とは異なった結果を返すことがある．提案手法1で述べた，同じ議案が複数存在するページに関しては，結果を余分に返さないメリットがある．しかし，提案手法2は$1$ページ毎に分類を行うため，議案が複数存在し，該当ページの後半以降から始まり，次のページに跨ぐような議案に対しては，正しい分類結果を返せないデメリットが存在する．

提案手法3の抽出した議案タイトルを用いた議案分類は，高い適合率，再現率を示しているが，議案タイトルの抽出の結果に強く依存しているため，他の分類手法と照らし合わせる必要がある．他の分類手法はページに出現する特長語を用いて分類を行うため，議案タイトルが正しく抽出できない場合においても分類を行うことが可能である．

議案がある開始ページの推定は，議案があると推定された株主招集通知に対しては$100\%$推定できていた．しかし，議案が本来は記載されているが，議案がないと判断された株主招集通知が$2$件あった．原因を調べたところ，PDFからテキストデータへの変換のとき，「議案」といった表現が抽出されてないことが原因であった．その例を図\ref{extxt2}に示す．

\begin{figure}[b]
\includegraphics{25-1ia1f6.eps}
\caption{議案が正しく変換できなかったテキストデータの例}
\label{extxt2}
\end{figure}

図\ref{extxt2}の矢印で示した位置に，本来PDFに記載されている「議案」という文字列がテキストに変換されるはずだができていない．これは文字列「議案」のPDFへの入力が特殊であるために生じる．PDFを画像ファイルとして読み込み，文字認識をかけるなど解決策はあるが，本研究から内容が逸脱するため例外として処理した．

表\ref{comparison}における本手法と素性選択なしの比較手法1との比較により，素性選択ありのほうが素性選択なしよりも高いF値を達成した．
従って，本手法における素性選択は本タスクにおいて有効であると考える．
SVMとの比較では，SVMのほうが適合率が高いが再現率が低いという結果となり，F値はほぼ同じ結果となった．
隠れ層の数やエポック数の変化でも本手法とほぼ同じ結果となっており，
機械学習に基づく手法では，手法の如何にかかわらず，この結果が上限であると考える．


\section{応用システム}

評価の結果と考察を踏まえ，特徴語の重みによる議案分類と抽出した議案タイトルを用いた議案分類を，実際に運用できるシステム構築を行った．システムへのインプットは株主招集通知のPDF，アウトプットには議案のあるページ，抽出した議案タイトル，各手法の議案分類の結果，分類の信頼度とする．図\ref{system}にシステムの構造を示す．

\begin{figure}[b]
\begin{center}
\includegraphics{25-1ia1f7.eps}
\end{center}
  \caption{システム構造}
  \label{system}
\end{figure}

ここで，信頼度とは，抽出したタイトルを用いた議案分類の結果の確からしさを示したものであり，値が1に近いほど議案分類の推定結果が正しいことを意味している．
人が最終確認をする際に確認対象の判断を行うため，抽出した議案タイトルを用いた議案分類の分類結果の信頼度を追加した．信頼度の計算は，\textit{Bayesian Biostatistics} \cite{bayesian}を参考にベイズ推定を利用した．
\subsection{ベイズ推定による信頼度の推定}
ここで説明のため，議案集合を$U$とし，抽出した議案タイトルによる分類結果「$t$」が得られたときの事象を以下のように定義する．
\begin{description}
\item[$A(t)$:] 議案分類は「$t$」である．
\item[$B(t)$:] 抽出した議案タイトルによる議案分類結果が「$t$」であった．
\item[$C(m)$:] 特徴語による議案分類が「$m$」であった\footnote{$m$は$m=t$でも可．また，複数議案が選ばれることもある．例：$t=$「定款変更」，$m=$「定款変更」．}．
\end{description}
このとき求めたい信頼度は以下の式\ref{bayesian1}で得られる．
\begin{equation}
 \label{bayesian1}
 P(A(t)|B(t),C(m))=\frac{P(B(t),C(m)|A(t))P(A(t))}{\sum_{d \in U}P(B(t),C(m)|A(d))P(A(d))}
\end{equation}
ベイズ推定では，$P(A(t)|B(t),C(m))$を事後確率，$P(B(t),C(m)|A(t))$を尤度，$P(A(t))$を事前確率と呼ぶ．すなわち式\ref{bayesian1}は，元々の議案の出現確率に尤度をかけることで，$B(t),C(m)$という根拠を加味した条件付き確率を得ることができる．
しかし，特徴語による議案分類は，同ページに議案が複数ある場合，複数の分類結果を返すため，全パターンの尤度の計算はデータ数の関係もあり困難である．よって，事象を以下のように変更した．
\begin{description}
\item[$A$:] 議案分類は「$t$」である．
\item[$\bar{A}$:] 議案分類は「$t$」でない．
\item[$B$:] 抽出した議案タイトルによる議案分類結果が「$t$」であった．
\item[$C$:] 特徴語による議案分類が「$t$」を含む．
\item[$\bar{C}$:] 特徴語による議案分類が「$t$」を含まない．
\end{description}
よって先ほどの式\ref{bayesian1}は式\ref{bayesian2}のようになる\footnote{$\bar{C}$の場合もほぼ同様であるためここでは省略する．}．
\begin{equation}
 \label{bayesian2}
 P(A|B,C)=\frac{P(B,C|A)P(A)}{P(B,C|A)P(A)+P(B,C|\bar{A})P(\bar{A})}
\end{equation}
また，ベイズ流のアプローチは条件をひとつずつ加え，事後確率を変化させていくのが基本となる．したがって，条件$B$を加えたことによって得られた事後確率を，更新された事前確率として条件$C$を加えたときに用いることで，最終的な事後確率を計算する\footnote{これはベイズ更新と呼ばれる．}．これは，事象$B$と事象$C$はマルコフ性のある確率過程であるという仮定に基づく．


\subsubsection{条件$B$を加えた事後確率$P(A|B)$の算出}

まずは事前確率$P(A)$に，条件$B$を加えた事後確率$P(A|B)$を求める必要がある．$P(A|B)$はベイズの定理より以下の式\ref{bayesian3}で求めることができる．
\begin{equation}
 \label{bayesian3}
P(A|B)=\frac{P(B|A)P(A)}{P(B|A)P(A)+P(B|\bar{A})P(\bar{A})}
\end{equation}
これは議案タイトル抽出の議案分類の適合率の計算と同様であるため，評価で得られた各議案の適合率を$P(A|B)$として用いる．例えば，「定款変更」の事前確率$P(A)$は$0.133$であるが，ベイズ更新によって事後確率$P(A|B)$は$0.9737$となる．


\subsubsection{条件$C$を加えた事後確率$P(A|B,C)$の算出}

すでに条件$B$を加えたので，更新された事前確率$P(A|B)$を用いて$P(A|B,C)$を求める．$P(A|B,C)$はベイズの定理より以下の式\ref{bayesian4}で求めることができる．
\begin{equation}
 \label{bayesian4}
P(A|B,C)=\frac{P(C|A,B)P(A|B)}{P(C|A,B)P(A|B)+P(C|\bar{A},B)P(\bar{A}|B)}
\end{equation}
ここで，事象$B$は議案タイトルを用いた分類による分類結果，事象$C$は文中に出現した特徴語を用いた分類結果であるため，分類に用いる情報源が異なることから，分類結果は独立であるという仮定の下，式\ref{bayesian4}は以下の式\ref{bayesian5}で表すことができる．
\begin{equation}
 \label{bayesian5}
P(A|B,C)=\frac{P(C|A)P(A|B)}{P(C|A)P(A|B)+P(C|\bar{A})P(\bar{A}|B)}
\end{equation}
ここで，
\begin{description}
\item[$P(A|B)$:] 抽出した議案タイトルによる議案分類の適合率．
\item[$P(\bar{A}|B)$:] $1 - P(A|B)$．
\item[$P(C|A)$:] 特徴語による議案分類の再現率．
\item[$P(C|\bar{A})$:] 特徴語による議案分類の誤検知率\footnote{再現率は真の値が$1$のものに対して$1$であると予測される比率であるため，誤検知率を真の値が$0$であるものに対して，$1$であると予測される比率と定義する．例：真の分類が「定款変更」のものに対して，「定款変更」と予測されたものの比率が再現率であり，真の分類が「定款変更」でないものに対して，「定款変更」と予測されたものの比率が誤検知率である．}．
\end{description}
同様に$P(A|B,\bar{C})$も以下の式\ref{bayesian6}で表すことができる．
\begin{equation} \label{bayesian6}
P(A|B,\bar{C})=\frac{P(\bar{C}|A)P(A|B)}{P(\bar{C}|A)P(A|B)+P(\bar{C}|\bar{A})P(\bar{A}|B)}
\end{equation}
ここで，
\begin{description}
\item[$P(\bar{C}|A)$:] $1 - P(C|A)$.
\item[$P(\bar{C}|\bar{A})$:] $1 - P(C|\bar{A})$.
\end{description}


\subsection{システムの実行例}

株主招集通知のPDFファイルをアップロードすると，ページ数，議案番号，議案タイトル，抽出した議案タイトルを用いた議案分類の結果，特徴語を用いた議案分類の結果，信頼度が画面に表示される．

システムの実行結果の例を，図\ref{system2}と図\ref{system3}に示す．左上の「〜.pdf」のリンクをクリックすると，アップロードしたPDFファイルの閲覧が可能である．また，右のPDFのリンクをクリックすると，該当ページのPDFファイルを閲覧することが可能である．

\begin{figure}[t]
\includegraphics{25-1ia1f8.eps}
\caption{「サムコ」の株主招集通知をアップロードした出力結果}
\label{system2}
\end{figure}
\begin{figure}[t]
\includegraphics{25-1ia1f9.eps}
\caption{「テクノメディカ」の株主招集通知をアップロードした出力結果}
\label{system3}
\end{figure}

図\ref{system3}の第４号議案の結果に注目すると，抽出した議案タイトルを用いた分類では「取締役選任」となっているが，特徴語を用いた分類では「監査役選任」に分類結果となっている．ここで信頼度を見ると，抽出した議案タイトルによる分類結果である「取締役選任」は約96\%の信頼度である．実際に確認したところ，真の分類は「取締役選任」だった．これは，「取締役選任」の分類において，抽出した議案タイトルを用いた手法は高い適合率を誇る一方で，特徴語による議案分類は，「取締役選任」の再現率が低いため，約96\%の信頼度という結果が得られた．これは実際に人手で確認するとき，有用であると考えられる．


\section{応用システムの評価}

本応用システムによる業務の効率化を評価するために，実装した応用システムと従来の人手による作業の比較評価を行った．評価基準は実際の業務に基づいたデータ収録にかかった時間と適合率・再現率とする．応用システムは，$2$つの議案分類手法を採用しているため$2$つの結果が得られるが，信頼度は抽出したタイトルを用いた議案分類の結果の確からしさを示したものであることから，適合率と再現率は抽出したタイトルを用いた議案分類の結果を用いた．


\subsection{評価方法}

学習データとテストデータとは別に，新たに$95$社分の株主招集通知を人手にて確認し，実際の業務と同じ手順によりデータベースに収録した．その後チェックを行ったものを正解データとする．この$95$社分のデータを$1$社ずつ時間を計り収録する作業を，$12人$の方に行ってもらい，$12人$から得られた各$1$社ずつの収録時間の平均を算出した．応用システムは$95$社分のデータをアップロードし，出力結果をcsvファイルでダウンロードし，データベースに収録するまでの時間を測定した．この時点までにかかった時間を測定し，収録されたデータがどのくらい正しく入力されているかを確認した．


\subsection{収録時間}

実装した応用システムの収録時間の結果と人手による収録時間の結果を表\ref{s_result}に示す\footnote{企業5〜企業93はスペースの関係上省略．}．

\begin{table}[b]
\caption{収録にかかった時間の結果}
\label{s_result}
\input{01table16.tex}
\end{table}


\subsection{適合率・再現率}

各作業者の適合率・再現率と応用システムの適合率・再現率を表\ref{score_result}に示す．


\subsection{考察}

応用システムの実装によって，当該部分の$1$社あたりにかかる処理時間は約10分の1となった．また，適合率・再現率から明らかなように，人手による作業よりも高い精度で開始ページの推定と議案分類が実現できた．

応用システムは例外に対応できないことや$100\%$の正解率で議案の分類ができないため，この後の作業工程であるチェックの際に，人手で作成したデータよりも時間がかかると考えていた．しかし，人手にて作成したデータは，勘違いによるミスや誤分類が多く，応用システムよりも質の低い結果となっているため，応用システム以上に時間をかける必要がある．
また，この後のチェック段階において，人手によるデータには信頼度はないため，全収録データを複数人で確認する必要がある．しかし，応用システムの信頼度が$0.9$を越えるものと下回るものに対しての議案数と適合率は表\ref{s_result_0.9}のようになっており，信頼度が$0.9$を下回るものに対しては複数人での確認が必要だが，信頼度が$0.9$を越えるものに対しては一人が確認を行えば十分であると思われる．これにより，さらなる業務の効率化が期待される．

\begin{table}[t]
\caption{収録されたデータの適合率・再現率}
\label{score_result}
\input{01table17.tex}
\end{table}
\begin{table}[t]
\caption{信頼度別応用システムの適合率}
\label{s_result_0.9}
\input{01table18.tex}
\end{table}


\section{関連研究}

本研究は，金融テキストマイニング\cite{izumiandmatui}の一環であるが，関連研究として酒井らは，企業の業績発表記事から業績要因を抽出し\cite{sakai1}，抽出した業績要因に対して業績に対する極性（「ポジティブ」，「ネガティブ」）を付与する手法\cite{sakai2}や，抽出される複数の業績要因から重要な業績要因を自動的に抽出する手法を提案している\cite{sakai3}．更に，酒井らは，上記の手法\cite{sakai1}を決算短信PDFに適用し，決算短信PDFから，例えば「半導体製造装置の受注が好調でした」のような業績要因を含む文を抽出する手法を提案している\cite{CEES}．その発展研究として北森らは，決算短信PDFからの業績予測文の抽出する手法を提案している\cite{kitamori}．松田らは，日本銀行政策委員会金融政策決定会合議事要旨のテキストデータから，トピック抽出の研究を行っている\cite{matuda}．それらの研究を踏まえ本研究では，株主招集通知のデータを扱う点や，トピックや業績要因の抽出ではなく，議案の開始ページの推定，議案タイトルの抽出，その議案分類をする点が異なっている．

開始位置の推定に関する関連研究としては，XMLドキュメントを対象とした研究はあるが，株主招集通知を対象とし，議案ごとの開始ページを推定する研究はない\cite{kamps}．

機械学習による分類手法の比較に関しては数多くの論文が存在するが\cite{textmining,liandyamanishi2002,chenandho2000,zhangandyang2003}，それらの論文のほぼすべてが手法の比較を行い，新規手法によって「適合率や再現率の改善が見られた」のような内容である．しかし，実際のシステムにおいては，一つの手法に依存するのは大変危険であるため（機械学習は過去のデータを学習データとすることから，新規データの変化に弱いため），複数の手法によって結果を出し，統合した確からしさ（信頼度）をユーザーに与える必要がある．個々の手法の適合率や再現率を示しても，ユーザーはどの結果を信頼するべきか迷うため，結果の統合は価値があると考えられる．この結果の統合による信頼度の算出が本研究の特色の一つである．複数の分類手法の統合の関連研究としては，線形結合による分類手法の統合を行っているが\cite{Fumera}，本研究ではベイズ推定を用いた確率的なアプローチを行っている．


\section{まとめ}

本研究では，株主招集通知における議案の開始ページを推定し，その議案を分類する手法を提案した．
本研究により，人手で株主招集通知から議案の開始ページを探しだし，分類をする作業時間を大幅に削減できた．
議案の開始ページ推定は，議案がある開始ページには「議案」または「第$X$号議案」が先頭に含まれるといった規則に基づく．
議案分類の推定は，議案ごとの特徴語を抽出し，その特徴語のスコアに基づき分類する手法，深層学習を用いた分類，議案タイトルを用いたキーワードによる分類，の3手法を用いた．
評価の結果，特徴語による議案分類，深層学習による議案分類，抽出した議案タイトルを用いた議案分類，どの手法も良好な適合率，再現率を達成した．
これらの結果を踏まえ，応用システムの実装により，株主招集通知の構造理解の習得が不要になると共に，議案の開始ページの推定や議案内容が分類されることにより，当該部分の$1$社あたりにかかる処理時間が10分の1程度に短縮された．また，信頼度により，その後の作業工程であるチェックの時間も短縮されることが見込まれる．これらのことから，理解の十分でない作業者の判断ミスや判断の揺れが減少し，信頼度の高いデータ生成を支えることとなる．その結果，収録に係る人件費の削減と，データベース化に伴うデータ収録の早期化をはかることができるであろう．


\bibliographystyle{jnlpbbl_1.5}
\begin{thebibliography}{}

\bibitem[\protect\BCAY{Chen \BBA\ Ho}{Chen \BBA\ Ho}{2000}]{chenandho2000}
Chen, H.\BBACOMMA\ \BBA\ Ho, T.~K. \BBOP 2000\BBCP.
\newblock \BBOQ Evaluation of Decision Forests on Text Categorization.\BBCQ\
\newblock In {\Bem Proceedings of the 7th SPIE Conference on Document
  Recognition and Retrieval}, \mbox{\BPGS\ 191--199}.

\bibitem[\protect\BCAY{Feldman \BBA\ Sanger}{Feldman \BBA\
  Sanger}{2007}]{textmining}
Feldman, R.\BBACOMMA\ \BBA\ Sanger, J. \BBOP 2007\BBCP.
\newblock {\Bem The Text Mining Handbook}.
\newblock Cambridge University Press.

\bibitem[\protect\BCAY{Fumera \BBA\ Roli}{Fumera \BBA\ Roli}{2005}]{Fumera}
Fumera, G.\BBACOMMA\ \BBA\ Roli, F. \BBOP 2005\BBCP.
\newblock \BBOQ A Theoretical and Experimental Analysis of Linear Combiners for
  Multiple Classifier Systems.\BBCQ\
\newblock {\Bem IEEE Transactions on Pattern Analysis and Machine
  Intelligence}, {\Bbf 27}  (6), \mbox{\BPGS\ 942--956}.

\bibitem[\protect\BCAY{Glorot, Bordes, \BBA\ Bengio}{Glorot
  et~al.}{2011}]{ReLU}
Glorot, X., Bordes, A., \BBA\ Bengio, Y. \BBOP 2011\BBCP.
\newblock \BBOQ Deep Sparse Rectifier Neural Networks.\BBCQ\
\newblock In {\Bem Proceedings of the 14th International Conference on
  Artificial Intelligence and Statistics}, \mbox{\BPGS\ 315--323}.

\bibitem[\protect\BCAY{和泉\JBA 後藤\JBA 松井}{和泉 \Jetal }{2011}]{izumi}
和泉潔\JBA 後藤卓\JBA 松井藤五郎 \BBOP 2011\BBCP.
\newblock 経済テキスト情報を用いた長期的な市場動向推定.\
\newblock \Jem{情報処理学会論文誌}, {\Bbf 52}  (12), \mbox{\BPGS\ 3309--3315}.

\bibitem[\protect\BCAY{和泉\JBA 松井}{和泉\JBA 松井}{2012}]{izumiandmatui}
和泉潔\JBA 松井藤五郎 \BBOP 2012\BBCP.
\newblock 金融テキストマイニング研究の紹介.\
\newblock \Jem{情報処理}, {\Bbf 53}  (9), \mbox{\BPGS\ 321--332}.

\bibitem[\protect\BCAY{Kamps, Koolen, \BBA\ Lalmas}{Kamps et~al.}{2007}]{kamps}
Kamps, J., Koolen, M., \BBA\ Lalmas, M. \BBOP 2007\BBCP.
\newblock \BBOQ Unsupervised Word Sense Disambiguation Rivaling Supervised
  Methods.\BBCQ\
\newblock In {\Bem Proceedings of the 30th Annual International ACM SIGIR
  Conference on Research and Development in Information Retrieval},
  \mbox{\BPGS\ 723--724}.

\bibitem[\protect\BCAY{北森\JBA 酒井\JBA 坂地}{北森 \Jetal }{2017}]{kitamori}
北森詩織\JBA 酒井浩之\JBA 坂地泰紀 \BBOP 2017\BBCP.
\newblock 決算短信PDFからの業績予測文の抽出.\
\newblock \Jem{電子情報通信学会論文誌D}, {\Bbf J100-D}  (2), \mbox{\BPGS\
  150--161}.

\bibitem[\protect\BCAY{Lesaffre \BBA\ Lawson}{Lesaffre \BBA\
  Lawson}{2012}]{bayesian}
Lesaffre, E.\BBACOMMA\ \BBA\ Lawson, A.~B. \BBOP 2012\BBCP.
\newblock {\Bem Bayesian Biostatistics}.
\newblock John Wiley \& Sons.

\bibitem[\protect\BCAY{Li \BBA\ Yamanishi}{Li \BBA\
  Yamanishi}{2017}]{liandyamanishi2002}
Li, H.\BBACOMMA\ \BBA\ Yamanishi, K. \BBOP 2017\BBCP.
\newblock \BBOQ Text Classification Using ESC-based Stochastic Decision
  Lists.\BBCQ\
\newblock {\Bem Information Proceedings and Management}, {\Bbf 38}  (3),
  \mbox{\BPGS\ 343--361}.

\bibitem[\protect\BCAY{松田\JBA 岡石\JBA 白田\JBA 橋本\JBA 佐倉}{松田 \Jetal
  }{2014}]{matuda}
松田安咲子\JBA 岡石一真\JBA 白田由香利\JBA 橋本隆子\JBA 佐倉環 \BBOP 2014\BBCP.
\newblock LDA方式による金融経済月報からのトピック抽出
  〜第2次安倍内閣の金融政策と経済動向分析〜.\
\newblock \Jem{信学技報}, {\Bbf 114}  (204), \mbox{\BPGS\ 79--84}.

\bibitem[\protect\BCAY{Peramunetilleke \BBA\ Wong}{Peramunetilleke \BBA\
  Wong}{2002}]{Peramunetilleke}
Peramunetilleke, D.\BBACOMMA\ \BBA\ Wong, R.~K. \BBOP 2002\BBCP.
\newblock \BBOQ Currency Exchange Rate Forecasting from News Headlines.\BBCQ\
\newblock In {\Bem Proceedings of the AAAI Spring Symposium on Exploring At
  titude and Affect in Text}, \mbox{\BPGS\ 131--139}.

\bibitem[\protect\BCAY{Sakai \BBA\ Masuyama}{Sakai \BBA\
  Masuyama}{2008}]{sakai1}
Sakai, H.\BBACOMMA\ \BBA\ Masuyama, S. \BBOP 2008\BBCP.
\newblock \BBOQ Cause Information Extraction from Financial Articles Concerning
  Business Performance.\BBCQ\
\newblock {\Bem IEICE Transactions Information and Systems}, {\Bbf E91-D}  (4),
  \mbox{\BPGS\ 959--968}.

\bibitem[\protect\BCAY{Sakai \BBA\ Masuyama}{Sakai \BBA\
  Masuyama}{2009}]{sakai2}
Sakai, H.\BBACOMMA\ \BBA\ Masuyama, S. \BBOP 2009\BBCP.
\newblock \BBOQ Assigning Polarity to Causal Information in Financial Articles
  on Business Performance of Companies.\BBCQ\
\newblock {\Bem IEICE Transactions Information and Systems}, {\Bbf E92-D}
  (12), \mbox{\BPGS\ 2341--2350}.

\bibitem[\protect\BCAY{酒井\JBA 増山}{酒井\JBA 増山}{2013}]{sakai3}
酒井浩之\JBA 増山繁 \BBOP 2013\BBCP.
\newblock 企業の業績発表記事からの重要業績要因の抽出.\
\newblock \Jem{電子情報通信学会論文誌D}, {\Bbf J96-D}  (11), \mbox{\BPGS\
  2866--2870}.

\bibitem[\protect\BCAY{酒井\JBA 西沢\JBA 松並\JBA 坂地}{酒井 \Jetal
  }{2015}]{CEES}
酒井浩之\JBA 西沢裕子\JBA 松並祥吾\JBA 坂地泰紀 \BBOP 2015\BBCP.
\newblock 企業の決算短信PDFからの業績要因の抽出.\
\newblock \Jem{人工知能学会論文誌}, {\Bbf J98-D}  (5), \mbox{\BPGS\ 172--182}.

\bibitem[\protect\BCAY{坂地\JBA 酒井\JBA 増山}{坂地 \Jetal }{2015}]{sakaji}
坂地泰紀\JBA 酒井浩之\JBA 増山繁 \BBOP 2015\BBCP.
\newblock 決算短信PDFからの原因・結果表現の抽出.\
\newblock \Jem{電子情報通信学会論文誌D}, {\Bbf J98-D}  (5), \mbox{\BPGS\
  811--822}.

\bibitem[\protect\BCAY{Vapnik}{Vapnik}{1999}]{svm}
Vapnik, V. \BBOP 1999\BBCP.
\newblock {\Bem Statistical Learning Theory}.
\newblock Wiley.

\bibitem[\protect\BCAY{Zhang \BBA\ Yang}{Zhang \BBA\
  Yang}{2003}]{zhangandyang2003}
Zhang, J.\BBACOMMA\ \BBA\ Yang, Y. \BBOP 2003\BBCP.
\newblock \BBOQ Robustness of Regularized Linear Classification Methods in Text
  Categorization.\BBCQ\
\newblock In {\Bem Proceedings of the 26th Annual International ACM SIGIR
  Conference on Research and Development in Informaion Retrieval}, \mbox{\BPGS\
  190--197}.

\end{thebibliography}



\begin{biography}
\bioauthor{高野　海斗}{
2013年成蹊大学理工学部情報科学科入学．
2016年成蹊大学大学院理工学専攻理工学研究科入学．
在学中は，統計学，特に，欠測データ解析，集計データ解析の研究と，自然言語処理，特に，言語情報を用いたデータの自動分類の研究に従事．
日本計算機統計学会学生会員．
}
\bioauthor{酒井　浩之}{
2005年豊橋技術科学大学大学院工学研究科博士後期課程電子・情報工学専攻修了．博
士（工学）．
2005年豊橋技術科学大学知識情報工学系助手．
2012年成蹊大学理工学部情報科学科講師．
2014年成蹊大学理工学部情報科学科准教授．
自然言語処理，特に，テキストマイニング，テキスト自動要約の研究に従事．
人工知能学会，言語処理学会，電子情報通信学会，情報処理学会等会員．
}
\bioauthor{坂地　泰紀}{
2012年豊橋技術科学大学大学院工学研究科博士後期課程電子・情報工学専攻修了．博士（工学）．
2012年株式会社ドワンゴ入社．
2013年成蹊大学理工学部情報科学科助教．
2017年東京大学大学院工学系研究科システム創成学専攻助教．
自然言語処理，特に，テキストマイニングの研究に従事．
人工知能学会，電子情報通信学会，言語処理学会等会員．
}
\bioauthor{和泉　　潔}{
1998年東京大学大学院総合文化研究科広域学専攻博士課程修了．博士（学術）．同年より2010年まで，電子技術総合研究所（現産業技術総合研究所）勤務．2010年より東京大学大学院工学系研究科システム創成学専攻准教授．2015年より同教授．マルチエージェントシミュレーション，特に社会シミュレーションに興味がある．IEEE，人工知能学会，情報処理学会，電子情報通信学会会員．

}
\bioauthor{岡田　奈奈}{
株式会社日経リサーチ　企業情報部長．
1997年入社．企業調査部，企業経営研究部など企業に係る各種情報に関するデータ収集・収録関連業務，従業員満足度ほか企業・病院等の評価軸の分析等に従事．分析評価に使用可能な企業データベースの構築に長年従事し，構築に係る運用設計を担当．
2017年より現職．

}
\bioauthor{水内　利和}{
株式会社日経リサーチ　企業情報部所属．会計事務所勤務を経て，2000年入社，企業財務部で有価証券報告書，決算短信などの主に企業の財務諸表等の情報のデータ収録関連業務に従事．2007年より部内で使用するシステムの開発にも従事．2015年から2年間システム統括室と兼務．2017年1月より企業情報部のみの所属となる．近年は主にスケジュール管理等の管理系，資料PDFやXBRLを活用しての社内的なシステム開発に従事．
}

\end{biography}


\biodate


\end{document}
