\documentclass[japanese,other]{jnlp_3.5}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
\usepackage{tabularx}
\usepackage{xcolor,colortbl}
%%%%\newcommand\tabhead[1]{\small\textbf{#1}}
\definecolor{Gray}{gray}{0.85}
\newcolumntype{g}{>{\columncolor{Gray}}c}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{29}
\Number{4}
\Month{December}
\Year{2022}
%%%%\Issuetitle{「　　　　」特集号}


\setcounter{page}{1308}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{NTCIR-16: NII Testbeds and Community for\\ Information access Research}
\jauthor{加藤　　誠\affiref{Author_1} \and 山本　岳洋\affiref{Author_2} \and 神門　典子\affiref{Author_3}}
\jabstract{%
	和文抄録をこちらに記述して下さい．
}
\jkeywords{和文キーワード}

\etitle{NTCIR-16: NII Testbeds and Community for Information access Research}
\eauthor{Makoto P. Kato\affiref{Author_1} \and Takehiro Yamamoto\affiref{Author_2} \and Noriko Kando\affiref{Author_3}} 

\headauthor{加藤，山本，神門}
\headtitle{NTCIR-16}

\affilabel{Author_1}{筑波大学}{University of Tsukuba}
\affilabel{Author_2}{兵庫県立大学}{University of Hyogo}
\affilabel{Author_3}{国立情報学研究所}{National Institute of Informatics}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% table 1
\begin{table}[t]
\input{27table01.tex}
\caption{NTCIR-1からNTCIR-16までに運営されたタスク．}
\label{tb:history}
\end{table}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

NTCIR (NII Testbeds and Community for Information access Research)は，
情報検索，情報推薦，テキスト要約，情報抽出，質問応答などの情報アクセス技術の発展を目的とした，
コミュニティ主導の評価型ワークショップである．
ワークショップの参加者は提案されたタスクの中から興味のあるタスクを選んで参加し，
システム出力結果を提出することで評価結果を得ることができる．
また，参加者は開発したシステムに関して論文を執筆しNTCIRカンファレンスにて発表・議論を行う．
一般的なShared taskと対比すれば，
NTCIRは各回1.5年の期間をかけて長期的に実施される試みであり，
また，NTCIRの「C」がCommunityを指すように「コミュニティ」を重視した活動となっている．
これには以下のような理由が挙げられる：
\begin{enumerate} 
\item タスク運営者と参加者の積極的な議論（評価方法の検討，査読付きの学会では困難な失敗事例の共有など），
\item データセットやツールなどの基盤形成（情報アクセス技術向けの大規模なデータセットの構築には，
タスク運営者や評価者のみならず参加者による貢献が必要不可欠である\footnote{情報検索のデータセット構築には十分に多様なシステムの出力結果が必要になる．これは，一般的な機械学習のタスクでは見られない特徴であると思われる．情報検索では検索対象である文書（画像などでもよい）が非常に多いため，すべての文書に対してアノテーションを行うことはできない．
そこで，伝統的に採用されているのは「プーリング」というアプローチである．
この方法では，十分に多様な検索システムが返却する上位$k$件の文書に対してのみアノテーションを実施しこれ以外の文書は不適合と判定する．
すべての適合文書がいずれかの検索システムの上位$k$に含まれていれば，
すべての文書を評価することなくすべての文書の適合度を知ることができる．
単一の研究グループだけでは，多様なシステムを用意することが困難であるため，参加者を募って各自にシステム開発を委託する必要がある．
そのため，情報検索のデータセット構築には参加者の協力が不可欠なのである．}），
\item 国際協調とそれに伴う多言語化（NTCIRでは多くの多言語タスクが運営されてきた），
\item 参入障壁を下げ研究分野を活性化（参加者にとっては研究の支援が受けられ，
運営者にとってはタスクに取り組む人口が増えることで自身の専門分野の発展につながる）．
\end{enumerate}



本解説記事では，これまでにNTCIRにて運営されてきたタスクの傾向について説明し，
その後，NTCIR-16 \cite{ntcir16}（2020年12月～2022年6月実施）で運営されたタスクの概要について解説する．
これまでにNTCIRが情報アクセス分野においてどのような貢献をしてきたかについては，書籍「Evaluating Information Retrieval and Access Tasks: NTCIR's Legacy of Research Impact」\cite{ntcir}にて解説されている．
オープンアクセスであるため，興味のある方はぜひご覧いただきたい．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{これまでのNTCIRタスク}

1997年にNTCIRプロジェクトが発足して以来，合計16回のNTCIRが開催されてきた（2022年9月時点）．
NTCIR-1からNTCIR-16までに，表\ref{tb:history}に示すようなさまざまなタスクが運営されてきた．

NTCIR-1からNTCIR-4の最初期には，多言語検索やウェブ検索，情報抽出，テキスト要約，質問応答，特許検索などがタスクとして提案された．
その後，トレンド情報要約，多言語質問応答，意見情報抽出，特許マイニング，
地理時間情報検索，特許翻訳などが登場した．
NTCIR-11では，それまでのタスクが一新され，
対話的情報検索，多言語エンティティリンキング，
モバイル検索，含意関係認識，発話文書検索など，
タスクの多様化が進んだ．
その後，数式検索，医療文書からの情報抽出，
入試問題や議会議事録などを対象にした質問応答，
時間情報を考慮した情報検索，レシピ検索，
ライフログ検索といったように，検索・分析対象も多様になっていった．
NTCIR-13では，新タスクが多く運営されるようになっていき，
対話生成，質問文検索，知識グラフ構築，感情要因抽出，
脳波に基づく画像分類，ウェブ検索などが提案され，
NTCIR-14からNTCIR-16では，
数値情報の分類，対話評価，多言語文書分類，データ検索，
行動認識，視線情報に基づく情報検索，セッション検索，ランキング学習などのタスクが提案された．

近年（NTCIR-16実施時点）のタスクの特徴としては以下の3点が挙げられる：
\begin{enumerate}
    \item {\bf ユーザ行動情報．}従来のタスクにおいて，ユーザから与えられる入力はキーワードクエリなどテキスト情報が一般的であったが，さまざまなウェアラブルデバイスの普及によって，ライフログや脳波，視線情報など，多様な情報が入力として想定されるようになってきている．
    \item {\bf 数値情報．}テキスト情報の理解・検索に加えて，数値情報の理解や統計データの検索がタスクとして取り組まれてきている．他の固有表現と比べ，数値自体からその意味を読み取ることは難しく，周辺情報に基づく推定が必要になるため新たな技術が必要となっている．
    \item {\bf 対話．}チャットベースのアプリケーションやスマートスピーカなどの普及，また，テキスト生成技術の発展などに伴って，対話関連のタスクがいくつか提案されてきている．
\end{enumerate}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{NTCIR-16}

NTCIR-16では，表\ref{tb:history}の最右列に示される通り，合計10種類のタスクが運営された \cite{ntcir16}．
タスク数は過去最多であり，固有表現抽出や情報抽出などの自然言語処理関係のタスクから，ウェブ検索やライフログ検索，データ検索などの情報検索関係のタスク，さらに対話評価や視線情報活用など，運営されたタスクの多様さも際立った回であったといえる．
また，FinNumでは金融文書，QA Lab-PoliInfoでは政治関連文書，そして，
Real-MedNLPでは医療文書など，
特定のドメインに特化した自然言語処理タスクが多く提案されているのも特徴的な点である．

以下では，Coreタスク（タスク設計や評価方法がある程度確立されたタスク）からPilotタスク（タスク設計や評価方法などについて検討の余地がある比較的新しいタスク）の順に，
NTCIR-16のタスクの概要を説明する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{Data Search 2 (Core) \protect\cite{datasearch}}

本タスクはデータ検索を対象としたタスクであり，
e-Statやdata.govなどのサイトで公開されている，
統計データを検索対象とした検索タスクを提供している．
例えば，「What is the largest causes of death in United State in 1999-2016」
という情報要求があって，「causes of death us 1999-2016」というキーワードクエリが与えられた場合に，
死因の統計データを上位に順位付けるようなシステムの開発を目的としている．
特に，情報量の少ないメタデータとクエリをどのようにマッチングさせるか，
また，数値から構成される統計データをどのように扱うかが技術的な課題として設定されている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{DialEval-2 (Core) \protect\cite{dialeval}}

NTCIR-12からNTCIR-14までに，Short Text Conversation (STC)という，
与えられた短い会話文に対して適切な回答を生成するタスクが運営されていた．
DialEvalはSTCの流れを汲んだタスクであり，
ヘルプデスク対話データの評価をタスクとし，参加者が行った評価の評価を行ったタスクである．
タスクは2種類設定されており，
Dialogue qualityサブタスクでは対話全体の評価値の推定，
Nugget detectionサブタスクでは各発話の種類（問題の説明，解決方法，など）の推定を行う．
両タスクとも複数の評価者が正解ラベルを付与しており，
タスク参加者はそれらの平均や最頻値などではなく，分布を正しく推定することが求められる．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{FinNum-3 (Core) \protect\cite{finnum}}

本タスクは金融関連のテキスト情報における数値情報の理解に焦点を当てたタスクであり，
これまでに同様のトピックで3回のタスクが運営されている．
今回のタスクでは，株式アナリストが書いた文書と企業の収支報告書を対象としており，
「売上成長率が40\%を超える見込みだ」といったような
専門家による数値的予測を含む主張を発見することを目的としている．
また，過去のFinNumタスクで提案された数値の分類もタスクに含まれており，
数値が金額，値段，時間，量，型番，順位などの分類のうち，
どれに該当するかを予測をすることが求められている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{Lifelog-4 (Core) \protect\cite{lifelog}}

その名の通り，本タスクはライフログ情報を対象とした検索タスクであり，
1名のライフロガーの4ヶ月に渡るライフログデータの中から特定の情報を探し出すタスクを提供している．
ライフログデータは，(1) 時間，場所，生体情報などのメタデータ，
(2) ウェアラブルカメラで撮影された画像データ，
(3) 画像データに対して物体認識を行った結果，から構成されており，
これらと「家で冷蔵庫中を覗いたとき」や「道に迷って人に訪ねているとき」といったテキスト入力を対応付けて検索することが求められている．
一般的なシステム評価に加えて，
ユーザが関与するインタラクティブなシステムの評価も行っておりユニークなタスクとなっている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{QA Lab-PoliInfo-3 (Core) \protect\cite{qalab}}

本タスクは地方議会議事録に対する自然言語処理タスクであり，
あるトピックに対する各政党の賛否を推定するなど，
政治関連文書の理解を支援するための技術について取り組んできている．
NTCIR-16においては以下の4つの問題に取り組んでいる．
QA alignmentサブタスクでは，与えられた質問への回答を議事録の中から発見し，
Question answeringサブタスクでは，与えられた質問への回答を議事録に基づいて生成する．
Fact verificationサブタスクは，与えられた議事録要約文を含意するような箇所を発見するタスクで，
Budget argument miningサブタスクは，議事録中の数値と予算案中の数値を対応付けるタスクである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{WWW-4 (Core) \protect\cite{www}}

ウェブ文書検索は，NTCIR-3 (2002年)から取り組まれてきた課題であり，
情報検索技術の応用先として非常に重要な問題である．
WWWはウェブ文書検索を扱ったタスクであり，NTCIR-13 （2017年）から継続的にタスクを運営し，
ウェブ情報検索の代表的なベンチマークとしての役割を果たしてきた．
本タスクのユニークな点としては，再現可能性の重視と技術的進歩の測定が挙げられる．
WWW-3 （NTCIR-15にて開催）においてもっとも良い成績を収めた参加チームは，
WWW-4 （NTCIR-16にて開催）において同システムの結果を提出することが求められており，
これによってWWW-4において実際に技術革新があったかどうかを検証することができるようになっている．
また，WWW-3においてもっとも良い成績を収めた参加チームの結果を，
他のチームが再現することも推奨されており，これによって再現可能性を検証することも行っている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{RCIR (Pilot) \protect\cite{rcir}}

本タスクは，より詳細なユーザ情報を活用しようとするタスクの1つであり，
文書内におけるユーザの視線情報を情報アクセス技術のために利用しようとする試みである．
特に本タスクでは，視線情報からの文書理解度の推定，および，
凝視情報に基づいたパッセージ検索タスクを提供している．
本タスクで提供されているデータセットは，9名の実験協力者から得られた，
96パッセージに対する視線情報，および，その理解度に関するデータであり，
視線情報を活用した他の研究にも活用されることが期待される．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{Real-MedNLP (Pilot) \protect\cite{mednlp}}

MedNLPタスクは医療関連文書に対する自然言語処理タスクであり，
過去には固有表現抽出や国際疾病分類コードの付与タスクなどを提供してきた．
NTCIR-16のReal-MedNLPは4度目のタスク提案であり，
これまでには提供できなかった，実際の医療文書（症例報告）を対象として，
2種類のタスクを，2言語（日英）にて提供している．
1つ目は症状などの固有表現抽出であり，
少数の文書にのみアノテーションが与えられている設定や
固有表現の各クラスの定義文のみを学習データとして用いられる設定など，
低リソース下を想定したタスクとなっている．
もう1つは応用寄りのタスクであり，
医療文書からどのような薬物有害事象が起こるかを予測することを目的としている．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{SS (Pilot) \protect\cite{ss}}

これまでの多くの情報検索タスクは1つのクエリに対して1つの検索結果リストを返却するシステムを想定していたが，
多くの検索タスクでは複数のクエリを入力し，複数の検索結果リストを閲覧する必要がある．
本タスクは，あるセッション（複数の検索を含む検索行動の単位）が与えられた上で，
クエリに対し適合する文書を検索するタスクである．
例えば，「東京 観光 秋」といったクエリの後に「東京 観光 寺」というクエリで検索した場合には，
紅葉がきれいな東京の寺に関する情報がより適合すると考えられる．
TianGong-STというSogou（捜狗）検索エンジンのクリックログを利用したタスク設計となっており，
大規模な実ユーザの検索行動情報を利用可能である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{ULTRE (Pilot) \protect\cite{ultre}}

本タスクはランキング学習に関するタスクであるが，
特に近年着目されているクリック情報のバイアスに焦点を当てたタスク設計となっている．
ランキング学習は，クリック情報などを活用しランキングモデルを学習することで，
利用者にあったランキングを生成する技術であるが，クリック自体にバイアス（例えば，検索結果の上位にある結果はクリックされやすいという「順位バイアス」がある）が存在するため，
学習によって得られるモデルにもバイアスが生じてしまう．
このタスクでは，バイアスを含まないランキングモデルの構築を目的として，
シミュレーションによるクリックデータの提供，および，学習されれたランキングモデルの評価を行っている．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

本解説記事では，NTCIRにて運営されてきたタスクの傾向について説明し，
NTCIR-16で運営されたタスクの概要について解説した．
NTCIRはこれまでにさまざまな自然言語処理タスクを扱ってきており，近年，その多様性は増している．
もしコミュニティ単位で取り組みたいような，情報アクセス関連の研究課題をお持ちであれば，
次回のNTCIRでのタスク提案を検討していただければ幸いである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

NTCIRの運営は非常に多くの方に支えられており以下の方々に対してここに記して謝意を表したく存じます．
タスクの選定にあたってはNTCIR-16プログラム委員会，
タスク運営にあたってはNTCIR-16の各タスク運営者の皆様にご尽力をいただきました．
また，NTCIR-16参加者の皆様にも，システム結果の提出，論文執筆，NTCIR-16カンファレンスでの発表および議論等をいただき，
各タスクが設定する研究課題に対して貢献をいただきました．
NTCIR-16カンファレンスの実施にあたっては，詳細なチュートリアルを提供してくださった酒井哲也先生，
キーノートスピーカーの皆様，NTCIR-16カンファレンス実行委員会の皆様，
それから，カンファレンス運営を支えてくださった石下円香様，大須賀智子様，篠原清子様，河田友香様にもお礼申し上げます．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.6}
\begingroup
\addtolength{\baselineskip}{-0.75pt}
\bibliography{27refs}
\endgroup


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{加藤　　誠}{%
筑波大学図書館情報メディア系准教授．2012年京都大学大学院情報学研究科博士後期課程修了．博士（情報学）．
情報検索の研究に従事．NTCIR-9からタスク運営者として関わり，NTCIR-12からNTCIR-15ではプログラム共同委員長，
NTCIR-16からは共同実行委員長を務める．
}

\bioauthor{山本　岳洋}{%
2011年京都大学大学院情報学研究科博士後期課程修了．博士（情報学）．現在，兵庫県立大学大学院情報科学研究科准教授．主に情報検索におけるユーザインタラクションやユーザ理解に関する研究に従事．NTCIR-10からNTCIR-14にかけてタスク運営者として関わり，NTCIR-16，NTCIR-17ではプログラム共同委員長を務める．
}

\bioauthor{神門　典子}{%
1994年慶應義塾大学大学院文学研究科後期博士課程修了．博士（図書館・情報学）．現在，国立情報学研究所教授．主に情報検索・情報アクセス技術の研究に従事．1997年末にNTCIRを開始し，以降，国内外の多くの研究者と協力し多様なタスク提案・運営・国際協調等を進めてきた．ACM SIGIR Academy Inaugural Inductee．言語処理学会，人工知能学会，情報処理学会，ACM，ACL，ASIS\&T各会員．}


\end{biography}



\end{document}



