\documentclass[japanese,other]{jnlp_3.5}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
%%%%\usepackage{udline}
%%%%\setulminsep{1.2ex}{0.2ex}
%%%%\let\underline=\ul
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%\usepackage{rotating}
%%%%\urlstyle{tt}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{29}
\Number{3}
\Month{September}
\Year{2022}
%%%%\Issuetitle{「　　　　」特集号}


\setcounter{page}{1030}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{「言語統計力学」$=$ 言語学・自然言語処理・物理学}
\jauthor{持橋　大地\affiref{ISM} \and 小木曽智信\affiref{ninjal} \and 高村　大也\affiref{AIST} \and 小町　　守\affiref{TMU}}
\etitle{``Linguistic Statistical Physics'' for the study of semantic change}
\eauthor{Daichi Mochihashi\affiref{ISM} \and Toshinobu Ogiso\affiref{ninjal} \and Hiroya Takamura\affiref{AIST} \and Mamoru Komachi\affiref{TMU}}
\headauthor{持橋，小木曽，高村，小町}
\headtitle{「言語統計力学」$=$ 言語学・自然言語処理・物理学}

\affilabel{ISM}{統計数理研究所}{The Institute of Statistical Mathematics}
\affilabel{ninjal}{国立国語研究所}{National Institute of Japanese Language and Linguistics}
\affilabel{AIST}{産業技術総合研究所}{National Institute of Advanced Industrial Science and Technology}
\affilabel{TMU}{東京都立大学}{Tokyo Metropolitan University}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
2022年3月9日，言語処理学会年次大会の少し前に，TKP東京駅セントラル
カンファレンスセンターとZoomのハイブリッドで，「現代語の意味の変化に対する
計算的・統計力学的アプローチ」シンポジウムを開催しました．

このシンポジウムは同名の研究プロジェクトのまとめとして開催したもので，
184人の参加登録と，現地からの講演に加え，
オンラインでは100～120名の多数のご参加をいただきました． 
関連した招待講演も含め，シンポジウムのページで現在も発表資料を公開しています\footnote{\url{https://www.ism.ac.jp/~daichi/workshop/2022-lchange/}}．
本稿ではこの研究プロジェクトの由来と，
研究を通して得られた知見について，言語処理学会の皆様に紹介したいと思います． 


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{プロジェクトの始まり}

この共同研究は，国立国語研究所の公募する「新領域創出型共同研究プロジェクト」
に採択されたものですが，当初は予算のサポートのある研究ではなく，まったく
インフォーマルに始まったものでした．代表者の持橋が2018年ごろ，知り合いの
SNSでの会話をきっかけに，言葉の意味の変化はそれぞれの言語使用者が周りに合わせて
使い方を確率的に変えることで，
物理学でいうイジングモデル\cite[31章]{mackay03itila}
のようなことが起きており，一種の相転移として意味の変化をとらえられるのでは
ないか，と考えたのが始まりでした．

統数研は定員が少ないため，特に研究テーマを振れる学生もいないことから，Twitterで
こうした研究をしたい人はいませんかと募集したところ，すぐに何人かの方から応募が
ありました．
そこで，都立大の修士の竹中さんおよび，これまで関連のある
研究\cite{takamura05spin}をしてきた東工大／産総研の
高村氏と国語研の小木曽氏，竹中さんの指導教員である小町氏などで研究を
始めました．
何回か集まって検討するうち，小木曽氏から国語研究所の「新領域創出型共同研究」に
出してみてはどうかという提案があり，意外にも高倍率でしたが，幸いなことに
採択していただけて，3年間の研究プロジェクトを続けることができました．

竹中氏は会社の仕事が忙しくなったこともあり，学生は当時長岡技科大の学部4年生
だった相田さんと，その後で小町研に入学した修士1年の井上さんに引き継がれて
現在に至っています．
現在も研究は続けていますので，興味のある方は持橋までご連絡ください．
また，この話題は統計力学と非常に関係が深いことから，申請にあたり
自然言語処理だけでなく，
統計力学を専門とする統数研の坂田綾香氏，および小山慎介氏にも加わっていただいた
ことが特徴です．こうして，主に統計力学チームとデータ解析チームに分かれて研究を
進め，ときおり全体ミーティングを行って進捗を共有していきました．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{統計力学と自然言語処理}

検討を始めて最初に気がついたのは，こうした，言語変化を抽象的に扱う理論的な研究
は，言語学でも自然言語処理でもなく，物理学で行われているということでした．
Physical Reviewのような物理のジャーナルに興味深い研究が多数あり，言語学で
知られていた「言語変化はS字カーブで進行する」という事実\cite{yokoyama07scurve}
は，Bassモデルという
形の微分方程式によって，すでに理論的な説明が得られていました%
\cite{altmann14scurve}．
こうした研究を主に筆者が追い，統計力学チームと共有する中で，
近似マスター方程式を使った解析や分岐過程による感染のモデル化の論文%
\cite[Physical Review E]{gleeson22branching}
にまでたどり着き，
言語変化の理論的な側面について，ほぼ最前線に近い
ところに達したと判断することができました．

ここで実験が行えるとよかったのですが，残念なことに，これまでの物理学や言語学
での言語変化のモデル化は，綴りの変化や動詞の活用の変化といった，客観的に
変化がすぐ見えるデータを対象にしていました．しかし，「意味」の変化は直接それ
自体が目に見えるものではありません．
そこで，まずは統計的分析により，意味の変化をコーパス
から統計的に取り出さなければなりません．そんなわけで，後半から現在に至り，
データ解析としての研究をプロジェクトでは主に進める結果になりました．

とはいえ，言語変化について，微分方程式を使ったモデル化でここまで数理モデルが
できていること，そしてそれが，言語学者にも自然言語処理の研究者にもほとんど
知られていないことは驚きで，かつ，
サイエンスとしての可能性を感じた出来事でした．
こうした研究には，当然ながら深層学習のツールキットが使えるだけでは無理で，
物理的な知識がどうしても必要になります．現在の自然言語処理にはそうした分析が
相当に欠けており，今後，物理出身の方%
\footnote{
筆者も学部4年生の1年間は物理系の研究室に属しており，
その影響があるのかもしれません．
}%
を中心に，よりNLPが深まると
よいのではと筆者は考えています．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{言語変化の研究}

言語変化については多くの研究がありますが，言語学の視点からみて最も欠けている
と思えたのは，「どんな単語が意味変化するのか」という網羅的な研究が少なく，
自然言語処理でも
appleやgayといった代表的な単語の例だけで説明されていることでした．単語ベクトル
を使って網羅的に意味変化した単語を求めるには，違った時期の単語ベクトルを対応
づける必要があります．Hamilton (2016)はこの対応を線形変換で求めていたため，
制約が大きいと考えられました．そこで，単語ベクトルは共起関係のPMI （自己相互
情報量）行列の行列分解と数学的に等価だという研究\cite{levy14implicit}
を踏まえ，二つの時期の共起
行列の行列分解を同時に行うことで対応づけを不要にする方法を
相田さんを中心に研究し，この研究は言語処理学会での発表%
\cite{aida21pmisvd-nlp}を経て，
PACLIC 2021に採択されました\cite{aida21pmisvd}．

国語研の小木曽氏を通じて日本語学の研究集会でも発表を行う中で，言語学の立場
からは，単に意味変化の大小だけでなく，単語の意味がどう変わったのか，何が
変わったのかを知りたいという要望が大きいことがわかりました．
このためにはニューラル手法よりも，異なる「語義」を潜在変数として明示的に
モデル化するトピックモデルのような統計モデルが適しています．
動的なトピックモデルによって，単語の
変化する意味を追跡するSCANというモデルが存在していましたが%
\cite{frermann16scan}，
これは事前にトピック数，すなわち語義の数を指定する必要があるものでした．
語義の数はほとんどの場合，事前にはわかりません．
また指定する語義の数によって，語義が重複したり，
本来は別の語義が同じトピックにまとめられてしまう可能性があります．
そこで，ノンパラメトリックベイズ法によって，SCANで変化する語義の数もデータ
から自動的に推定する統計モデル，Infinite SCANを開発しました
（図~\ref{figure:iscan}）．
SCANはガウス分布のマルコフ
確率場でモデル化されているため，この上で無限次元を表現できるロジスティック
棒折り過程\cite{ren11lsbp}を利用しているのが特徴です．
複雑な計算が必要ですが，担当した井上さんの頑張りによりモデルは完成し，
言語処理学会での発表\cite{inoue22iscan-nlp}を経て，
現在は国際会議での発表を準備しています．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[t]
\begin{center}
\includegraphics{29-3ia28f1.pdf}
\end{center}
\hangcaption{Infinite SCAN （上段）およびSCAN （下段）によるCOHAコーパスからの意味変化の推定結果．各トピックが1つの語義を表しており，語義数を事前に固定する必要のあるSCANに比べて，提案法ではそれぞれの単語の（変化する）語義の数が自動的に学習されています．図の下部は各トピックの上位語で，SCANでは一部のトピックのみを表示しています． }
\label{figure:iscan}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

これらの研究には，英語についてはCOHA (Corpus of Historical American English)
という1820--2019年の4.7億語のコーパスを用いています．
日本語にはこうした通時コーパスがこれまでなかったため，研究には
国立国語研究所で作成している近現代雑誌通時コーパス\cite{ogiso22tuji}を
使っています．これは，1874--2013年の間の『太陽』『中央公論』『文藝春秋』
といった雑誌の記事を約8年おきに収録したもので，
約4千万語のコーパスとなっています．
プロジェクトではこの国語研通時コーパスを用いた他の研究も行っており，
今後は日本語学や，国語辞典の編纂を統計的にサポートするなどの応用が
期待できます．

言語変化の研究はNLPの中でも注目度が高く，競争が激しい領域ですが，その中で
技術的に着実な成果を上げられたと考えています．
現在は単語ベクトルの空間の中で，どのような特徴をもつ単語が意味変化しやすい
のかについて検討しています．
また統計力学的分析のためには，時系列に即した網羅的なデータ化が必要で，
潜在空間においてカルマンフィルタを考えることを次に予定しています．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{まとめ}

「言語統計力学」の国語研共同研究プロジェクトは，自然言語処理，言語学・国語学，
統計物理学の共同研究プロジェクトでした．研究はまだ終わっていませんが，
言葉の変化の問題は言語学において普遍的な問題です．
かつ，意味的な変化は表立って見えるものではないため，
自然言語処理の技術が必ず必要になる研究であるといえるでしょう．言語学者が言語
処理学会に来なくなった，と言われて久しくなりますが，言語学の若手には
自然言語処理を学習しようとする動きが大きくあるようで，
自然言語処理の側でも，そうした方々と協力して
次の時代の言語学を作っていく必要があるのではないかと筆者は考えています．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment
この研究は，国立国語研究所の新領域創出型共同研究
「現代語の意味の変化に対する計算的・統計力学的アプローチ」として行われました．
メンバーの皆様，およびシンポジウムに参加いただいた皆様に感謝申し上げます．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.6}
\input{28refs_bbl.tex}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{持橋　大地}{%
1998年東京大学教養学部基礎科学科第二卒業．
2005年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了．博士（理学）．
ATR音声言語コミュニケーション研究所 研修研究員／専任研究員，NTTコミュニケーション科学基礎研究所 リサーチアソシエイト／リサーチスペシャリスト
各研究員を経て，2011年より情報・システム研究機構 統計数理研究所 准教授．
専門は自然言語処理および機械学習．
2015年より，日本学術振興会 学術情報分析センター分析研究員を兼務．
}

\bioauthor{小木曽智信}{%
1995 年東京大学文学部日本語日本文学（国語学）専修課程卒．1997年同大学院人文社会系研究科日本文化研究専攻修士課程修了．2001 年同博士課程中途退学．2014 年奈良先端科学技術大学院大学情報科学研究科博士課程
修了．博士（工学）．明海大学講師，独立行政法人国立国語研究所研究員等を経て，2016 年より人間文化研究機構国立国語研究所教授．コーパスと自然言語処理技術を応用した日本語の歴史研究に関心がある．
}


\bioauthor{高村　大也}{%
1997 年東京大学工学部計数工学科卒業. 2000 年同大大学院工学系研究科計数工学専攻修了（1999 年はオーストリアウィーン工科大学にて研究）.2003 年奈良先端科学技術大学院大学情報科学研究科博士課程修了. 博士（工学）. 2003 年から2010 年まで東京工業大学精密工学研究所助教。2006 年にはイリノイ大学にて客員研究員. 2010 年から2016 年まで同准教授。2017 年から2021 年3 月まで同教授. 2017 年より産業技術総合研究所人工知能センター知識情報研究チーム研究チーム長. 計算言語学、自然言語処理を専門とし、特に機械学習の応用に興味を持つ.
}

\bioauthor{小町　　守}{%
2005 年東京大学教養学部基礎科学科科学史・科学哲学分科卒．2008 年より日本学術振興会特別研究員 (DC2) を経て，2010 年奈良先端科学技術大学院大学情報科学研究科修了．博士（工学）．同年より同研究科助教を経て，2013 年より首都大学東京（現東京都立大学）システムデザイン学部准教授．2022 年より同教授．大規模なコーパスを用いた意味解析および統計的自然言語処理に関心がある．
}

\end{biography}



\end{document}



