\documentclass[japanese,tombow,other]{jnlp_3.2}
\usepackage{jnlpbbl_1.4}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{array}
\usepackage{gentombow}
\settombowbleed{5mm}
%%%%\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul



\Volume{27}
\Number{4}
\Month{December}
\Year{2020}
%%%%\Issuetitle{「　　　　」特集号}

\setcounter{page}{945}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{森羅プロジェクト}
\jauthor{関根　　聡\affiref{Author_1}}
%%%% 英語タイトル・英語著者名は出力せず
\etitle{Xxxxxx}
\eauthor{Xxxx Xxxx\affiref{Author_1}} 

\headauthor{関根}
\headtitle{森羅プロジェクト}

%%%% 英語所属は出力せず
\affilabel{Author_1}{理化学研究所 革新知能統合研究センター (RIKEN, AIP)}{Xxxxx}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%1 
\section{はじめに}

「森羅プロジェクト」は，“Resource by Collaborative Contribution （RbCC: 協働による知識構築）”と呼ぶスキームに基づき，Wikipedia知識の構造化を目標に2017年から進めているプロジェクトである\footnote{SHINRA project. http://shinra-project.info/} (Sekine, Kobayashi, Nakayama 2019; 関根・小林・安藤・馬場・乾 2018; 関根・小林・安藤 2019; 小林・中山・安藤・関根 2020)．構造化された知識は自然言語処理の基礎技術や応用技術に非常に重要なコンポーネントである．近年の深層学習の発展により様々なタスクの精度は向上しているが，システムがなぜそのような答えを出したのかを提示するには至っていない．人間であれば容易にできる説明を様々な自然言語の応用システムで実現するためには，人間が様々な知識を頭の中に持つように，システムも構造化された知識を持つことが非常に重要だと考えられる．ルールベースの自然言語処理が主流だった時代から，このような構造化知識の構築が目指されており，日本ではEDR，米国ではCYCなどのプロジェクトが実施された．しかしながら，知識を少数の専門家によって構築しようとする上記のプロジェクトは，知識の網羅性及び首尾一貫性の欠如を理由に多くの自然言語処理システムで使われるほど広まってはいない．唯一，WordNetは広く使われているが，いわゆる知識ではなく語彙を対象とした辞書であり，説明できる人工知能を実現するためには部分的なものでしかない．それに対し，2000年頃以降はクラウドソーシングにより百科事典的な知識を構築するプロジェクトが行われ，Wikipediaを代表とする大規模な知識が大勢の人の手で作られている．ただ，ここで作られる知識は人間が読むためのものであり，機械が処理するための構造にはなっていない．そこで，部分的に構造化された知識の利用や他の構造化された知識との融合により，Wikipediaの知識の構造化を実現しようというプロジェクトも開始された．DBpedia，YAGO，Freebase，Wikidataが代表的である．特に後の二つのプロジェクトは，Wikipediaがそうであったようにクラウドへの協力を求め，大勢の人の手で構造化された知識を作ることも手法の一つとしている．しかしながら，このような構造化の手法には大きく二つの問題がある．一つ目は，Wikipediaの知識の多くは自然文で書かれており，その知識を構造化できていない点である．二つ目は，クラウドを利用してボトムアップに知識を構築する方法では構造化の軸が個々のクラウド参加者に委ねられ，機械が利用するために重要な首尾一貫性が知識のフレーム設計の段階で実現されていないという点である．

これらの問題を解決し，Wikipediaの構造化を低コストで大規模に行おうというのが「森羅プロジェクト」である．鍵となるアイデアは，現在，自然言語処理を含む多くの計算機分野で流行している「評価型プロジェクト」である．「評価型プロジェクト」は，タスクオーガナイザーが何らかのタスクを設定し，参加システムが競い合う中で技術の向上などを目指すプロジェクトである．技術向上のみならず，共通データセットの構築，問題意識の共有，新規研究者の学習の場の提供，技術の進歩には貢献しているものの，参加者とタスク設計が分離され，参加システムによる単なる最適化問題の競争の場になっているという弊害が生じている．RbCCの基本精神は，このような弊害はあるものの，評価型プロジェクトのタスクに参加したシステムの出力を統合し，知識構築につなげられないかというものである．参加者の目的としては，そのタスクでの最高性能を出すことであっても構わないが，多くのシステムが参加すれば，最高性能のシステムが取りこぼしている出力を他のシステムが出力する可能性は高まる．つまり多くのシステムによる出力をうまく集計することにより，最高のシステムが出力した以上の精度の知識が構築できるのではないかと考えられる．このような考え方はアンサンブル学習と呼ばれる技術で実現でき，実際に森羅プロジェクトの結果を用いて有効性が証明されている．RbCCの考え方は，Wikipedia知識の構造化だけに有効なスキームではなく，多くの人工知能や計算機工学などでも利用できる考え方だと信じている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%2 
\section{森羅タスク}
\vspace{-0.5\Cvs}

次に，森羅プロジェクトの概要と，過去に実現したタスクと今後計画しているタスクについて紹介する．表 1 に概要をまとめている．

Wikipediaを構造化する場合には先に述べたように知識構造フレーム，つまり，エンティティーのカテゴリーや属性の種類を一貫性のある形で定義する必要がある．Freebaseの問題の一つは，このフレームをクラウドでボトムアップに定義していることにあると考えている．例えば，組織のカテゴリーをどう設計するかを個々のクラウドワーカーに任せると，互換性のないカテゴリーが無秩序に構築されることになり，首尾一貫した知識の構築は不可能になる．そこで，我々は，トップダウンに設計した階層構造を持つカテゴリーと，カテゴリーごとに属性情報を持つ「拡張固有表現」を利用することとした (Sekine 2008)\footnote{Extended Named Entity (ENE). http://ene-project.info/}．この拡張固有表現には固有表現で一般的にカバーされる「人名」，「地名」，「組織名」だけではなく，「イベント名」，「地位職業名」，「芸術作品名」などの幅広い固有表現や，例えば，「地名」の下位カテゴリーには「山地名」，「河川名」，「海洋名」などの「地形名」や「恒星名」，「惑星名」，「星座名」などの「天体名」など詳細な固有表現が含まれている．拡張固有表現のVersion 8.1.では最大4階層で定義された全219種類の拡張固有表現が定義されている．また，多くのカテゴリーにはWikipedia項目の記載を参考にして，そのカテゴリーに属する属性が定義されている．例えば「空港名」では，「国」，「母都市」，「年間利用者客数」，「名前の謂れ」など24個の属性が定義されている．

実際にWikipediaの記事を構造化するためには，まず，それぞれの記事を拡張固有表現に分類する必要がある．この作業は，森羅プロジェクト以前に実現した．機械学習と人手によるチェックを通し，（当時の）Wikipediaで被リンク数が5以上の82万記事を98.5{\%}の精度で分類した．この知識をベースに，例えば，「人名」に分類された記事から，人名に関する属性値を抽出したり，「空港名」に分類された記事から空港に関する属性値を抽出するのが「森羅プロジェクト」の属性値抽出のタスクである．表 1 にある通り，森羅2018では5カテゴリー，森羅2019では追加で30カテゴリー，森羅2020-JPタスクではさらに追加で47カテゴリーを対象に各カテゴリーに定義された属性に対する値をWikipediaページから抽出するタスクである．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[b]
\caption{森羅タスクの概要}
\label{tab1}
\begin{center}
\begin{tabular}{l|l|l|l}
\hline
\multicolumn{1}{c|}{タスク}& \multicolumn{1}{c|}{タスク内容} & \multicolumn{1}{c|}{対象} & \multicolumn{1}{c}{参加団体数} \\
\hline
森羅2018& \raisebox{-3\normalbaselineskip}[0cm][0cm]{属性値の抽出}& \begin{tabular}{@{}l@{}}5カテゴリー（人名，企業名，市区町村名，\\ 空港名，化合物名）\end{tabular}& 8団体 \\
\cline{1-1} \cline{3-4} 
森羅2019&  & \begin{tabular}{@{}l@{}}30カテゴリー（組織名，地名以下）\\ と森羅2018のカテゴリー\end{tabular}& 11団体 \\
\cline{1-1} \cline{3-4} 
森羅2020-JP&  & \begin{tabular}{@{}l@{}}47カテゴリー（施設名，イベント名以下）\\ と森羅2019のカテゴリー\end{tabular}& 現在進行中 \\
\cline{1-1} \cline{3-4} 
\begin{tabular}{@{}c@{}}森羅2021-JP \\ （予定）\end{tabular}&  & 約60カテゴリー（製品名以下）&  \\
\hline
SHINRA2020-ML& \raisebox{-1\normalbaselineskip}[0cm][0cm]{\begin{tabular}{@{}l@{}}Wikipedia \\ ページの分類\end{tabular}}
	& 30ヶ国語& \begin{tabular}{@{}l@{}}10団体（日本4，\\ 日本以外6） \end{tabular}\\
\cline{1-1} \cline{3-4} 
\begin{tabular}{@{}c@{}} SHINRA2021-ML \\ （予定）\end{tabular}
	&  & 2020-MLと同じ30ヶ国語（予定）&  \\
\hline
\end{tabular}
\end{center}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

また，Wikipediaページの分類情報だけでも，様々な応用に対して有効な情報であることは認められていたが，それを日本語だけではなく多言語にも展開しようと考えている．そこで，2020年にはSHINRA2020-ML (Multi-Lingual) というタスクを実施した．これは日本語以外の30言語（Wikipediaにおいてユーザー数が多い順：English, 
Spanish, French, German, Chinese, Russian, Portuguese, Italian, Arabic, Indonesian, Turkish, Dutch, Polish, Persian, Swedish, Vietnamese, Korean, Hebrew, Romanian, Norwegian, Czech, Ukrainian, Hindi, Finnish, Hungarian, Danish, Thai, Catalan, Greek, Bulgarian）のWikipediaを対象に拡張固有表現への分類を行うタスクである．このタスクでは，分類された日本語Wikipediaから言語間リンクを使って自動的に構築した各言語のWikipediaページを学習データとしている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%3 
\section{結果}

過去の森羅プロジェクトの全結果を記載することは不可能なため，ここでは，森羅2018で行われた5カテゴリーに対する属性値抽出結果とその結果を利用したアンサンブル学習の結果を表2に示す．初回の森羅2018では人手で作成したルールに基づくシステムやBERTベースのシステム，質問応答システムを応用したシステムなどバラエティーに富んだ8システムが参加した．表の数値は属性値抽出のF値であり，太字がそれぞれのカテゴリーの最高精度である．ちなみに，森羅2019でも，この5カテゴリーを再度，評価の対象としているが，全体的に精度が飛躍的に向上している（ただし，実験設定は少し異なっている）．表に記載したアンサンブル学習は，遺伝的アルゴリズムを使いデベロップメントデータの上で参加した全システムの出力の重みを最適化し，その加重投票で出力するアルゴリズムを利用した．F値で最高精度のシステムよりも417ポイントもの向上が見られる．また，このアンサンブル学習において各システムの貢献度を測ったところ，比較的精度の低いシステムでもポジティブな貢献をしていることが分かっている．この結果は，数多くのシステムを集約してより良い結果を構築するというRbCCの考え方をサポートする証拠となっている．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 2
\begin{table}[t]
\caption{森羅2018の日本語属性抽出タスクの結果（F値）}
\label{tab2}
\begin{center}
\begin{tabular}{l|c|c|c|c|c}
\hline
\multicolumn{1}{c|}{システム} & 人名& 企業名& 市区町村名& 空港名& 化合物名 \\
\hline
TUT& 20& 41& 28& \textbf{72}&  \\
OCU& 19& & & &  \\
NUT& & & & & 43 \\
Sansan& & 30& & &  \\
F. Xerox& 31& & 43& 42& 39 \\
Toppan& & 33& & 35&  \\
Unisys& \textbf{44}& \textbf{53}& 42& 67& \textbf{47} \\
AIP& 36& 38& \textbf{46}& 71& 46 \\
\hline
アンサンブル& 48 ($+$4)& 61 ($+$8)& 58 ($+$12)& 87 ($+$15)& 65 ($+$17) \\
\hline
\end{tabular}
\end{center}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%4 
\section{効果}

この構造化知識が構築されれば，対話や質問応答等の自然言語処理応用システムで論理的な説明を実現することに貢献すると考えているが，他にも以下のような効果があると考えている．

\begin{itemize}
\item Wikidataなどを中心としたLinked Open Data (LOD)に組み込み，自然言語処理以外のデータベース研究や知識応用研究など様々な応用を実現する．
\item 現在も深層学習にWikidataやDBpediaなどの知識を導入した研究はあるが，より整理された構造化世界知識を深層学習と組み合わせ，新しい研究基盤を作る．
\item 評価型ワークショップをテコとした知識構築という新しいパラダイムを提案し，評価型ワークショップの利点を見直す機会を提供する．
\item MLタスクでは30言語を対象とすることにより，英語偏重の言語処理研究の文化を是正する．言語処理研究は各言語の特性や文化が密接に絡むべきものであり，世界中の研究者が自国語で，様々な固有の環境を考慮に入れた研究をすべきであると考える．その環境を作り上げていくための礎とする．
\item 評価型ワークショップで作られたデータ上での最適化問題を解く研究マインドを脱却させ，問題設定を重視し，言語を対象とした研究を行う今後の研究文化を構築する．
\end{itemize}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%5 
\section{今後}

日本語Wikipediaの構造化は，森羅2021-JPで大きなカテゴリーは大部分が終了し，残りの少しのカテゴリーを対象とした属性値抽出や，これまで実施したタスクの再実験を2022に行えることができれば終了する予定である．しかし，いかに多くのシステムを使っても完全な知識を作ることは難しい．誤っている部分を効率よく発見し，クラウドソーシングやゲーミフィケーションを使うなどして精度の向上に努めたい．最低でも95\%の精度，できれば98.5\%程度の精度を求めている．言語に関しては，Wikidataがそうであるように，言語に依存しないシンボル（例えば，``日本'' を表す ``Q17''）のリンクが知識の中心にあり，そこから数多くの言語の表現に繋がっているという構造が理想的だと考えている．すでに，そのような知識としてWikidataがあるため，そこにいかにつなげていくかが大きな課題である．様々な言語におけるエンティティーリンキング，LODの一部としてのデータ構造などの問題を解決していきたいと考えている．また，RbCCというスキーム自身が研究方法論の実験であり，これが成功するかどうかは後世の判断になると思う．しかし，現状を概観すると，せっかく行われている様々な研究努力を有効に知識構築に生かすという考え方は大きく間違っていないだろうと自負している．RbCCというスキームが「森羅プロジェクト」だけではなく，自然言語処理や人工知能の研究分野において広く活用されていくことを心から願っている．また，単に与えられた問題の最適化技術を競うだけではなく，大きな視野に立って自然言語処理の方向性を考えていく人材が増えることを願っている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本プロジェクトは，RbCCというスキームが前提としているように，多くの人に支えられて進めている．拡張固有表現の定義を通した知識のフレームの作成や，データの整備，評価やプロジェクトの運営などは理化学研究所の言語情報アクセス技術チームのメンバーらが中心となって行っている．国内外の多くの研究者にプログラム委員としてご参加いただき，プロジェクトの認知を高めていただいている．それ以外にもこのプロジェクトの推進のために様々な方に協力いただいている．心から感謝したい．最後に，このプロジェクトのタスクのためにシステムを開発し，データの共有を行っていただいている多くの参加者にはただただ感謝の言葉を述べるしかない．今後も，参加者のためにもなるタスク設計やプロジェクト運営を，お互いに協力しながら考え，進めていきたいと考えている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.5}
\begin{thebibliography}{}
\item
Sekine, S., Kobayashi, A., Nakayama, K., (2019). ``SHINRA: Structuring Wikipedia by Collaborative Contribution''. In \textit{the Proceedings of the 1st Conference on the Automatic Knowledge Base Construction AKBC-2019}.

\item
Sekine, S. (2008). ``Extended Named Entity Ontology with Attribute Information''. In \textit{the Proceedings of the 6th International Conference on Language Resource and Evaluation (LREC08)}.

\item
関根聡, 小林暁雄, 安藤まや, 馬場雪乃, 乾健太郎 (2018). ``Wikipedia構造化データ「森羅」構築に向けて''. 言語処理学会第24回年次大会, pp. 765--768.

\item
関根聡，小林暁雄，安藤まや (2019). ''Wikipedia構造化プロジェクト「森羅2018」''. 言語処理学会第25回年次大会, pp. 69--72.

\item
小林暁雄，中山功太，安藤まや，関根聡 (2020). ``Wikipedia構造化プロジェクト「森羅2019-JP」''. 言語処理学会第26回年次大会, pp. 1029--1032.

\end{thebibliography}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{関根　　聡}{%
理化学研究所革新知能統合研究センター・言語情報アクセス技術チームチームリーダー，合同会社ランゲージ・クラフト主任研究員．1992年英国マンチェスター大学計算言語学部修士号．1998年ニューヨーク大学コンピューターサイエンス学部博士号．松下電業産業株式会社（現パナソニック），ソニーCSL，マイクロソフト研究所，楽天技術研究所ニューヨークなどでの研究職を歴任．専門は自然言語処理．特に情報抽出，固有表現抽出，質問応答，情報アクセスの研究に従事．情報処理学会自然言語処理研究会主査，その他役職多数．複数の企業の技術顧問なども兼任．
}

\end{biography}



\clearpage





\end{document}
