\documentclass[japanese,other]{jnlp_3.8}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
\usepackage{array}
\allowdisplaybreaks


%% 以下の設定は，編集部で修正します．
\Volume{32}
\Number{2}
\Month{June}
\Year{2025}

\setcounter{page}{679}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%   タイトル部分                                      %%%
\jsubject{学会記事}
\jtitle{「クイズコンペティションの結果分析からみた\\日本語質問応答の到達点と課題」の執筆を振り返って}
\jauthor{
有山　知希\affiref{Author_1} \and 鈴木　正敏\affiref{Author_2}\affiref{Author_1}
}

% 英語タイトル・英語著者名
\etitle{Achievements and Challenges in Japanese Question Answering: Insights from Quiz Competition Results}
\eauthor{
Tomoki Ariyama\affiref{Author_1} \and Masatoshi Suzuki\affiref{Author_2}\affiref{Author_1}
} 
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\headauthor{有山，鈴木}
\headtitle{「クイズコンペティションの結果分析からみた日本語質問応答の到達点と課題」の執筆を振り返って}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% 所属
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\affilabel{Author_1}{東北大学}{Tohoku University}
\affilabel{Author_2}{株式会社Studio Ousia}{Studio Ousia Inc.}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

本稿では，言語処理学会$2024$年度最優秀論文賞を受賞した「クイズコンペティションの結果分析からみた日本語質問応答の到達点と課題」について，研究の背景や経緯，および論文執筆の過程で得られた学びについて紹介する．
研究の詳細については，原論文を参照されたい．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{おことわり}

原論文の執筆は主に$2023$年上半期に行いました．
そのため，原論文の時代背景としては ChatGPT 登場後間もない頃であり，分析対象の質問応答システムに関しては ChatGPT 登場以前のものを扱っています．
従って，本稿公開時点では質問応答技術を取り巻く状況が変化していることにご留意ください．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{原論文の概要}

本研究は，日本語を対象とした質問応答技術について，当時における到達点と課題を明らかにし，技術の改善の方向性を提示したものである．

質問応答研究は深層学習技術の発達や言語資源の充実により発展を遂げており，自然言語処理や人工知能分野の難関国際会議においては毎年質問応答に関する研究成果が多数報告されている．
しかし，これらの研究の多くは英語を対象としたものであり，日本語を対象とした質問応答の研究や評価はほとんどなされておらず，日本語での質問応答技術がどの程度発展しているのか，その到達点は明らかではなかった．

近年の深層学習ベースの質問応答システムの研究では，言語の違いによる達成度の差異はあまり着目されてこなかった．
しかし，言語の相違による質問応答システムへの影響は考慮すべき課題であると考えられる．
なぜならば，言語が異なることで扱える言語表現に違いがあったり，学習データにおける知識源の質や量に違いがあり，これらの要素が質問応答システムに与える影響は無視できないと考えられるためである．
また，実用的な観点でも，流暢な日本語で日本に関する内容を精度高く回答可能なシステムの実現は，日本語話者にとって有益である．

以上のような背景のもとで，今後日本語の質問応答技術が発展していくためには，まず技術の現状を把握した上で，解決するべき課題を明確にすることが必要である．
そこで本研究では，日本語を対象とする質問応答技術の現在の到達点と課題を明らかにし，その上で日本語質問応答システムの改善の方向性を示すことを目的とする．
これまで日本語の質問応答技術を評価するためのデータは整備されてこなかったが，本研究では日本語の質問応答データセットとして，著者らが企画し運営を行ってきた日本語質問応答のコンペティション「AI王 ～クイズAI日本一決定戦～」にて使用したデータセットを用いた．

分析対象の質問応答システムとしては，過去に実施された「AI王」コンペティションに提出されたシステムの一部と，汎用質問応答システムとして ChatGPT~(gpt-3.5-turbo-0613) と GPT-4~(gpt-4-0613) を用いた．
また，データセットに含まれるクイズ問題の特性に基づいて問題を分類し，それぞれのカテゴリに属する問題の正解率によって達成度を分析した．
このような分析や考察により，クイズ問題の正解率が高いシステムの理由や難易度が高い問題の特性を明らかにしたほか，難しい問題を正答できるようにするためのシステム改善の方向性を示した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{本研究の着想に至った経緯}

本章では本研究の着想に至った経緯について，「AI王」プロジェクトに触れながら紹介する．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{「AI王」プロジェクト}
\paragraph{概要}

「AI王」\footnote{\url{https://sites.google.com/view/project-aio/}}は，著者らが実行委員として企画・運営に携わっている，日本語質問応答システムのコンペティションを実施するプロジェクトである．
国内における質問応答の研究を促進させるべく，最新の質問応答研究に触れながら技術や知識を習得できる場を提供するという目的のもと，日本語のクイズを題材とした質問応答システムのコンペティションを実施している．
$2020$年のプロジェクト発足以降，本稿執筆時点までに計$4$回のコンペティションを開催しており\footnote{原論文執筆時点では第$3$回コンペティションまでが行われていたため，原論文で分析しているのは第$3$回以前のシステム・データセットである．}，$2023$年から$2024$年にかけて開催した第$4$回コンペティションでは「早押し解答部門」と「問題作成部門」の$2$トラックを並行して実施した．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\paragraph{プロジェクト発足の背景}

「AI王」プロジェクトが始動した$2020$年当時は，SQuAD \cite{rajpurkar-etal-2016-squad}をはじめとする大規模な質問応答データセットの登場や，BERT \cite{devlin-etal-2019-bert}のような高性能な自然言語理解モデルの出現を背景に，質問応答システムの研究が世界的に隆盛を極めていた．
その一方で，日本国内においては，日本語の大規模な質問応答データセットやモデルが十分に整備されていなかったことなどから，質問応答の研究は活発には行われておらず，世界的な研究のトレンドとの乖離が生じていた．
この流れを受け，「日本国内の質問応答の研究を活性化したい」「（本稿共著者の鈴木が当時研究テーマとしていた）クイズを題材とした質問応答のコンペティションを実現したい」と思い立ったことをきっかけに「AI王」のプロジェクトが発足し，第$1$回コンペティションが言語処理学会第27回年次大会のワークショップとして開催されるに至った．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{原論文執筆に至った背景}

原論文の執筆計画が始動したのは$2023$年$2$月末のことであったが，その$2$ヶ月前に「AI王」の第$3$回コンペティションが無事に開催を終えていた．
これを受け，「AI王」の研究としての側面，つまり``日本語の質問応答研究プロジェクト''としての形を一度残しておきたいという機運が「AI王」実行委員の間で生じていた．
すなわち，論文化をすることで「AI王」プロジェクトが目的とする，日本における質問応答研究への貢献を行うことができると考えたのである．
また，研究プロジェクトとしても軸足となる論文が存在することはメリットであるため，そのような背景も相まって論文化のモチベーションが高まり，原論文の執筆に至った．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{原論文執筆の中で得られた学び}

原論文及び本稿の主著者は自身の主たる研究テーマを別に持っており，「AI王」プロジェクトへの参加は共同研究としてのサブテーマ的な立ち位置であった．
そのため，日本語での執筆であるとは言え査読の付く本論文誌への投稿から採択に至るまでには一層の努力を要し，その中で失敗を重ねることもあった．
本章では，原論文執筆当時を振り返って感じることや，印象に残っていることを述べる．
本稿をお読みになっている皆様の研究の一助になれば，執筆者として冥利に尽きる．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{論文締切を定めておこう}

論文を執筆する際に必ず存在し，研究活動を営む上で避けて通れないのが締切である．
この締切はしっかりと定めておくことを推奨する．
というのも，研究活動においては様々なタスクが次々に生じるため，締切がないと別のタスクに時間を費やしたり忙殺されたりしてしまう．
また，いざ論文を書き始めてみると案外追加の分析を行う必要に気がつくこともあり，往々にして計画通りに執筆が進まないことがある．
実は原論文の執筆も，当初は$4$月の締切に投稿する予定で動き始めたのだが，予定通りに事が進まず結局$7$月の締切にようやく投稿する事ができた，という経緯がある．これは，「ひとまず$4$月締切に投稿できたら良いね」くらいの感覚で分析や執筆を進めていたことに起因すると，今となっては感じている．
そのため，行っている研究に一度区切りを付けるという意味でも，論文締切はきちんと定めておくことを奨めたい．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{共著者への依頼はとにかく早めに}

多くの論文では共著者が居るものと思われるが，彼らへ依頼をする際は何事も早めに行うことが重要である．
多忙な中で共著を受け持ってくださっている方々は，基本的には依頼に対するレスポンスに時間を要する．
それがなおさら実験の手伝いや論文原稿の確認といった依頼となれば，時間が取れずに間に合わない場合も当然考えられる．
自身だけが関係する作業であれば多少の無理でどうにかできるかもしれないが，他者が関わるとなれば話は別であるし，何より困るのは自分自身である．
本稿の主著者の場合は，作業の時間工程の見積もりの甘さがいつも祟って共著者への依頼が間に合わず，本来依頼予定だった作業まで自身で行って解決することが度々あり，原論文における分析作業を行う際も例に漏れなかった．
このような状況になると，自身は作業量が増えて辛くなり，共著者の方も進捗が把握しづらくなることで負の連鎖に繋がりがちであるため，避けるべき事態であると痛感した．
以上の経験から，依頼は早めに行うことを勧めたい．
依頼をして厳しいと言われたら，その時に初めて自分自身で受け持つなど別の方法を考えれば良いだけなのだから\footnote{なお，本稿執筆にあたってはこの教訓を活かすことができたと感じている．}．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{苦労したからこそ，モチベーションと成長につながる}

これは人によって意見が分かれるものと思っているが，原論文の執筆に関しては本稿の主著者はこのように感じた．
本章の初めに述べたように，主著者は元々サブテーマ的な研究活動として本研究に携わっていたため，主力としての貢献が必要となった原論文の執筆に際しては作業時間の捻出に苦労したことを覚えている．
それだけでなく，原論文では著者らによる多大な労力をかけた人手分析を行ったため\footnote{具体的には，クイズ$1,000$問の各問題に対しそれぞれ$15$の問題特性が存在するかを判定する作業と，$14$のシステムが出力した全解答（$1$システムが$1,000$問解くので合計$14,000$解答）について別解にあたらないかをWeb検索等で確認する作業を行った．単純計算で$29,000$回の確認作業を著者$6$人でやり切ったことになる．}，実際に分析を行っていた最中は間違いなく大変な思いをしていた．
しかし，本稿執筆にあたって当時を振り返ってみると，却ってそれだけの時間と労力を割いたからこそ「絶対に書き上げて採択されるぞ」という気持ちになっていたし，今となっても思い入れのある論文になったと感じている．
研究は往々にして実を結ばないことがあるのは承知の上で，それでも努力した過程は無駄にならないし，むしろその過程こそが結果よりもはるかに自身の成長の糧になっていると信じてやまない．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

本研究は，日本語質問応答技術の現状と課題を把握しようとしたものである．
すなわち，何か新しい技術や手法を提案したものではなく，当時の技術で何ができて何ができなかったのかを刻む研究，という立ち位置にある．
その意味で，多大な人力をかけた分析によってマイルストーン的な研究成果を生み出した本研究が評価していただけたことは，とても喜ばしいことだと感じている．
また，原論文の執筆にあたっては単に研究成果をまとめるという目的を達成するだけでなく，執筆の中でたくさんの学びと成長をすることができた．
今後益々日本における日本語質問応答技術が発展していくことを，またその発展に本研究が少しでも貢献できることを祈っている．


%%%%%%%%%%%%%%%%%%%%%%%
%%% Acknowledgement %%%
%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

原論文の査読や賞選考に携わっていただいた皆様，および原論文掲載までの過程でお世話になりました編集委員の皆様に感謝申し上げます．また，共著者の皆様，原論文執筆にあたって多くの助言をいただきました東北大学自然言語処理研究グループの皆様にお礼申し上げます．


%%%%%%%%%%%%%%%%%%%%
%%% Bibliography %%%
%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{31refs}


%%%%%%%%%%%%%%%%%
%%% Biography %%%
%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{有山　知希}{%
2022年東北大学工学部卒業．2024年東北大学大学院情報科学研究科博士前期課程修了．修士（情報科学）．
}
\bioauthor{鈴木　正敏}{%
2018年東北大学大学院情報科学研究科博士前期課程修了．2021年同博士後期課程修了．2021年より株式会社 Studio Ousiaソフトウェアエンジニア，東北大学データ駆動科学・AI教育研究センター学術研究員．
}
\end{biography}


\end{document}


