\documentclass[japanese,other]{jnlp_3.5}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks



\Volume{29}
\Number{2}
\Month{June}
\Year{2022}
%%%%\Issuetitle{「　　　　」特集号}


\setcounter{page}{688}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{単語分割の最適化に関する研究は雑談と偶然の出会いに育まれた}
\jauthor{平岡　達也\affiref{Author_1}}
\etitle{Chatting and Accidental Meeting Promoted Study of Optimizing Word Segmentation}
\eauthor{Tatsuya Hiraoka\affiref{Author_1}} 

\headauthor{平岡}
\headtitle{単語分割の最適化に関する研究は雑談と偶然の出会いに育まれた}

\affilabel{Author_1}{東京工業大学（2022年4月より富士通株式会社）}{Tokyo Institute of Technology (Fujitsu Limited at the time of publication)}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

本稿では言語処理学会の2021年度最優秀論文賞を受賞した「テキストベクトルの重みづけを用いたタスクに対する単語分割の最適化」\cite{hiraoka2021text}の概要と研究の過程を紹介する．
本研究は，著者が奈良先端科学技術大学院大学 (NAIST)での修士課程時代に，研究室内での雑談を通して着想したものである．
当時の著者には力不足であり成し遂げられなかったアイディアであったが，博士課程でデンソーITラボラトリとの共同研究を通してこれを結実させることができた．
本研究の遂行において共同研究は必要不可欠であったが，この共同研究は本研究とは異なる研究に対して始まったものであった．
このように，本研究は多くの雑談や偶然の出会いを土台として結実したものである．
本稿を通して，研究における雑談や対外発表による思わぬ出会いの重要性が伝わり，似た境遇に在るどなたかの研究遂行の参考になれば幸いである．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{本研究の概要}
\label{sec:outline}

本研究では，自然言語処理において単語分割処理が抱える問題の解決を目指している．
単語分割は，「外国人参政権」というテキストを「外国人／参政／権」のような単語の系列へ変換する処理である\footnote{本研究での「単語分割」は``Tokenization''の訳語として使用しており，文から単語列への変換と，単語からサブワード列への変換の双方を対象としている．}．
感情分類などの後段タスクを解く際には，テキストに単語分割処理を施し，
%%%%単語の系列を後段モデルに入力する場合が多い（図\ref{fgr:core_idea_a}\footnote{図は\citeA{hiraoka2021text}より引用．}）．
    単語の系列を後段モデルに入力する場合が多い（図\ref{fgr:core_idea}a\footnote{図は\citeA{hiraoka2021text}より引用．}）．
単語分割処理は後段モデルへの入力となる系列の単位を決定する処理であるため，異なる単語分割処理を用いると異なる後段モデルの性能が得られる．
そのため，適切な単語分割を用いることができれば，後段モデルの性能向上に繋がると期待される．
しかし，こうした適切な単語分割は後段タスクや後段モデルの構造に強く依存しているため，適切な単語分割を求めることは難しい．

理想的には，可能なすべての単語分割を用いて後段モデルを学習し，それぞれの検証データでの性能を確かめることで適切な単語分割を炙り出す全探索的な方法が考えられる．
しかし，可能な単語分割の候補は文の長さ（文字数）$N$に対して$2^{N-1}$個となるため，この全てについて探索を行うことは現実的ではない．
そこで，後段モデルからのフィードバックを用いて単語分割器を更新する方法を考える．
これは，単語分割を後段タスクや後段モデルから独立した前処理として扱う一般的な自然言語処理のシステムからは乖離した発想である．
前処理としての単語分割という扱いをやめ，後段の処理の情報を用いて単語分割を選択することができれば，さらなる性能向上が得られるかもしれない．

後段の処理からのフィードバックを用いて単語分割器を更新する方法も一筋縄では行かない．
ニューラルネットワークを用いた後段モデルは連続的な処理であるのに対し，単語分割は離散的なテキストを取り扱う処理である．
そのため，単純に単語分割処理と後段モデルの処理を連結して，単語分割を後段モデルに対して最適化することは難しい．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[t]
\begin{center}
\includegraphics{29-2ia21f1.pdf}
%%%%\label{fgr:core_idea_a}
%%%%\label{fgr:core_idea_b}
\end{center}
\caption{従来の不可逆な単語分割と，本研究による単語分割の最適化の概要．}
\label{fgr:core_idea}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

本研究では，単語分割器と後段モデルに工夫を加えることで，
%%%%後段モデルからのフィードバックを用いて単語分割器を最適化する手法を提案する（図\ref{fgr:core_idea_b}）．
    後段モデルからのフィードバックを用いて単語分割器を最適化する手法を提案する（図\ref{fgr:core_idea}b）．
具体的には，単語分割器をニューラルネットワークによるユニグラム言語モデルで構築し，後段モデル内部のテキストベクトルに単語分割の確率をかけ合わせることで，単語分割器と後段モデルを接続する手法を提案した．
これにより，後段モデルを学習する際の損失値に対する誤差逆伝播が，単語分割器を構成するユニグラム言語モデルへと伝わり，後段モデルと単語分割器の同時学習が実現される．

実験を通して，本手法が日本語・中国語・英語の3言語による複数の文書分類のタスクで性能向上に寄与する事を示した．
更に，単語分割の更新だけでも性能の向上が得られることや，本手法がタスクに応じて異なる単語分割を獲得していることを示した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{本研究の過程}
\label{sec:history}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{ベースとなるアイディアはNAISTで育まれた}

単語分割を後段タスクや後段モデルに応じて最適化したいという発想は，著者がNAISTの修士課程在学中に研究室内で雑談をする中で生まれた．
当時の松本研究室では，特定曜日の19時頃から一部の学生がゼミ室に集まって勉強会を開く文化があり，勉強会終了後も0時頃までだらだらとゼミ室で雑談に耽ることが多かった．
それぞれが研究で困っていることを相談したり，東京で一番家賃が高い賃貸物件を探してみたりと，この雑談には真面目な内容からどうしようもない遊びまで，様々な内容が含まれていた．
そうした雑談の中で，ふと「単語分割を最適化できたら面白いのでは」と思いつき，勉強会の参加者とともにホワイトボードに落書きをしながらイメージを具体化していった．
その後，学振DC1の申請書を作成するために，同期の学生とピア・エディティングを行う中で本アイディアを更に煮詰めていった\footnote{結局，本研究内容で三年間書き続けた学振DCは三振に終わった．}．

当初は単語分散表現に対して注意機構で単語分割を学習するという発想で，Segmental Neural Language Model \cite{kawakami2017learning}などに近い仕組みを模索していた．
このアイディアについては，NAISTの同期であった和田崇史氏との雑談の中で具体化し，和田氏のNMTの実験に組み込んでもらう形で検証を行った．
結局，当時の方法では良い結果が得られず，打開策も見つからなかったため，本研究は没ネタとして研究ノートの隅に眠ることになった．
その後，著者は本研究にはほとんど手を付けず，別の研究テーマで修論を書きNAISTを修了した．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{偶然の出会いと雑談に育まれた}

博士課程で東京工業大学の岡崎研究室に入学し，指導教員の岡崎直観教授と高瀬翔氏と共に最初に取り組んだ研究テーマは，本研究ではなく教師なしPOSタグ付けに関する研究 \cite{hiraoka2022recurrent}であった．
単語分割の最適化に関する研究テーマがうまくいかず，場繋ぎ的に取り組んだ研究であったというのが正直なところであるが，これが思いもよらぬ幸運を呼んだ．
2019年のNLP若手の会 (YANS) 第14回シンポジウムにて，この教師なしPOSタグ付けに関する研究を発表したところ，デンソーITラボラトリの内海慶氏と欅惇志氏に興味を持っていただいた．
シンポジウムの後に詳しく研究の相談をさせていただき，その後も欅氏に継続的なミーティングの場を作っていただいたことで，そのままスムーズに共同研究へと繋がった\footnote{オンライン開催のシンポジウムでのこうした「偶然の出会い」は，オフラインに比べるとやや難しく，今となっては珍しいものになってしまったかもしれない．Zoomのブレイクアウトルームを活用した「出会い」に重点を置いた近年の施策\cite{takase2021yans}から，このような良い縁が沢山生まれることを願っている．}．

教師なしPOSタグ付けの研究が一段落ついたタイミングで，著者が元来持っていた本研究についてのアイディアをお二人にお話したところ，こちらにも興味を持っていただき，それ以降は単語分割に関する共同研究に取り組むことになった．
特に内海氏は，教師なし形態素解析に関する研究 \cite{uchiumi-etal-2015-inducing}に詳しく，氏とともに本研究を進められたことは大変な幸運であった．
デンソーITラボラトリのお二方には，二週間に一度の定期的なミーティングで研究の方針や実験結果の解釈についてコメントを頂き，研究の堅実な進捗へと繋がった．

研究方針の軽微な軌道修正は，高瀬氏との日々の雑談によってももたらされた．
この雑談もNAIST時代のものと同様に，研究の内容に関するものもあれば，自宅周辺の治安が悪くて引っ越したいといった愚痴を聞いていただく事もあるなど，内容は多岐にわたった．
しかし，こうした雑談の中でふと出た一言が，研究内容を豊かにしてくれる場合がある．
例えば本研究では，単語分割の最適化のために用いる言語モデルが，ある程度言語モデルとしての性質を保つような損失関数を用いている（\citeA{hiraoka2021text}の2.5節を参照）．
これは，高瀬氏と言語モデルの研究動向についてざっくばらんに雑談していたときに思いついて追加したものである．

偶然の出会いによる研究内容の洗練という点では，本学会誌に投稿した際の査読コメントも忘れられない．
本研究に対する査読では，内容を深く理解していただいた上で，とても丁寧かつ詳細なコメントを頂いた．
著者にとっては国内の論文誌に投稿した初めての経験であり，国際会議論文の査読のような「落とすための査読コメント」に慣れてしまっていた中で，本研究に対して頂いた丁寧で有益なコメントには感動せずにいられなかった．
投稿版ではカバーできていなかった先行研究に基づく本研究の位置付けや，本研究で導入した制約の副次的な効果について鋭い意見を頂き，原稿の改善だけではなく，研究の捉え方自体の洗練にも繋がった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{Findingsへの採択と葛藤}

原論文の一部はFindings of EMNLP 2020に採択されている\cite{hiraoka2020optimizing}．
EMNLP 2020はACL系列の国際会議にFindingsという枠が初めて設定された会議であった．
投稿論文に対するスコアは3.5，3，4.5で，経験上ボーダーラインよりもやや上であり，本会議採択を期待させる点数であった．
そのため，Findings枠での採択は悔しい結果であり，再投稿して本会議を狙うという選択肢も考えられた．
しかし，著者は博士課程学生という時間制限付きの身分であり，本研究を博士論文の一部として使用するためには，再投稿という時間のかかる選択はできなかった．
国際会議で悔しい思いをしているだけに，今回のような論文賞という形で日本のNLPコミュニティに評価していただけたことは，非常に感慨深いものがある．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

単語分割の最適化は，誰もがその課題に気づいていながら，なかなか手を付けられずにいたテーマだと考えている．
本研究は，単語分割の最適化を行うための一つのアイディアを提示したにすぎず，性能向上や安定化，高速化など改善の余地は大いにある．
第28回年次大会での招待発表以降，ありがたいことに本研究について何件かの問い合わせを頂いた．
本研究に興味を持っていただいた方々にも，本研究を足がかりに単語分割の最適化というテーマに取り組んでいただければ幸いである．
またその際には，雑談や偶然の出会いが本研究を育んだという経緯を心に留めておくと，研究遂行の一助となるかもしれない．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本稿の執筆にあたり，原論文の共著のみなさまに有益なコメントを頂きました．また，岡崎研究室の丹羽彩奈さんにも推敲を手伝っていただきました．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.6}
\bibliography{21refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{平岡　達也}{%
2017年早稲田大学教育学部卒業．2019年奈良先端科学技術大学院大学情報科学研究科修了．2022年東京工業大学情報理工学院修了，博士（工学）．同年より富士通株式会社にて研究員．言語処理学会会員．
}

\end{biography}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\biodate

\end{document}



