\documentclass[japanese,other]{jnlp_3.7}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
\usepackage{array}
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition

%%%%%\documentclass[japanese,other]{jnlp_3.7}
%%%%%\usepackage{jnlpbbl_2.2}
%%%%%\usepackage[dvipdfmx]{graphicx}
%%%%%\usepackage{amsmath}
%%%%%\usepackage[hyphens,spaces,obeyspaces]{url}
%%%%%\renewcommand\UrlFont{\rmfamily}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{31}
\Number{2}
\Month{June}
\Year{2024}
%%%%\Issuetitle{「　　　　」特集号}

\setcounter{page}{786}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{テーマセッション「深層学習時代の言語学と自然言語処理」開催報告}
\jauthor{永田　　亮\affiref{konan} \and
大谷　直輝\affiref{gaigo} \and
川崎　義史\affiref{tokyo} \and
高村　大也\affiref{aist}}

\etitle{Report on the Theme Session ``Linguistics and Natural Language Processing in the Era of Deep Learning''}
\eauthor{Ryo Nagata\affiref{konan} \and
Naoki Otani\affiref{gaigo} \and
Yoshifumi Kawasaki\affiref{tokyot} \and
Hiroya Takamura\affiref{aist}}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\headauthor{永田，大谷，川崎，高村}
\headtitle{テーマセッション「深層学習時代の言語学と自然言語処理」開催報告}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\affilabel{konan}{甲南大学}{Konan University}
\affilabel{gaigo}{東京外国語大学}{Tokyo University of Foreign Studies}
\affilabel{tokyo}{東京大学}{University of Tokyo}
\affilabel{aist}{産業技術総合研究所人工知能研究センター}{Artificial Intelligence Research Center, AIST}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに（永田）} \label{sec:introduction}
2024年3月に言語処理学会第30回年次大会においてテーマセッション「深層学習時代の言語学と自然言語処理」を開催した（提案者：永田亮，大関洋平，大谷直輝，川崎義史，高村大也，持橋大地）．本稿では，本テーマセッションの開催経緯，趣旨と共にセッションの概要を報告する．

10年ほど前に，「言語探究の手段としての言語処理」，「言語探求のための数理的アプローチ」と題するテーマセッションを筆者ら（永田，高村）を含むメンバで企画したことがある．その際にも，多くの研究発表が集まり，挑戦的で興味深い議論がなされた．一方で，個人的な印象ではあるが，技術的な共通基盤が十分に確立されておらず，言語処理的，数理的に言語を探求する行き詰まりのようなものを感じた．平たく言えば，「もっとこういうことができたら更に面白くなりそう」，「でもどう実現したらよいかはわからないなあ」という印象を受けた．そういうこともあってか，少なくとも言語処理学会では同様なテーマセッションやワークショップはそれ以降しばらく企画されることはなかったと認識している．


深層学習ベースの言語処理の発展と共に，上述した技術的な共通基盤が得られるかもしれないという印象がある．言語学系の学会でも，そのような期待があるのか，このところ深層学習やAI技術を題材にした講演が頻繁に企画されている．例えば，「方法論の深化は理論研究に何をもたらすか―自然言語処理と機械学習を用いた実証的な認知言語学の研究の可能性を探る―」（2022年日本英文学会シンポジア），「深層学習時代のコーパス分析：コーパス検索では見えないこと，深層学習で見えること」（2023年英語コーパス学会ワークショップ），「深層学習時代の言語研究」（2023年日本英語学会シンポジウム）などを挙げることができる．


このような状況の変化を受け，10年の時を経て，昨年2023年の言語処理学会年次大会で「深層学習時代の計算言語学」というワークショップを筆者を含むメンバで企画開催した．このワークショップでは，企画者の発表を中心として，深層学習に基づいた新しい計算言語学の可能性について議論を行った．研究発表というよりも，深層学習，言語処理，言語学の融合を推し進めていきましょうというメッセージ発信の意味合いが強いワークショップであった．


1年の時を経て今年開催された本テーマセッションは，上述のワークショップのフォローアップとして位置付けられる．ただし，趣旨は異なり，各研究者が深層学習という共通基盤を用いて，どのような言語研究が可能かを発表するという意味合いが強い．また，言語処理研究者だけではなく言語学や関連する分野の研究者のための情報収集と議論の場の提供を目的とする．


どのような研究発表が集まるか，提案者の一人として期待するとともに，セッションが成り立つほどの発表件数が集まるか少々の不安も残しつつ投稿締め切りを待った．蓋を開けてみると，15件の発表申し込みがあり，3セッションからなるテーマセッションを開催する運びとなった．各発表は，何らかの観点で深層学習にかかわりがあるという共通点をもつ．一方で，対象とするテーマや分野は幅広い．タイトルを眺めただけでも，心理言語学，歴史言語学，言語獲得，統語論，意味論など多様な発表内容であることがうかがえる．当日は，現地会場で60人前後，オンラインで70人前後，幾分重複はあると思われるが，併せて常時100人を超える参加者が集まった．大盛況である．


15件の研究発表はいずれも興味深く，全てを紹介したいところであるが，紙面の制限により，できるだけ広い分野をカバーするように，8件を取り上げて紹介する．なお，全ての発表論文は言語処理学会webページ\footnote{\url{https://www.anlp.jp/proceedings/annual_meeting/2024/}}で閲覧可能である．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{言語学と言語処理／深層学習との融合への示唆（永田）} \label{sec:nagata}
最初に取り上げたいのは，``Annotation of modal expressions in Indonesian'' \cite{nomoto}である．この発表では，インドネシア語のモーダル表現のアノテーション方法，構築されたデータ，およびそこから得られたモーダル表現に関する知見が述べられている．具体的には，5カテゴリ24種のタグを用いてモーダル表現\textit{harus}，\textit{mesti}およびその変化形にモダリティおよび関連する情報をアノテーションしている．その結果に基づき，各表現がどのモダリティを表すかを明らかにしている．例えば，\textit{harus}/\textit{mesti}ともに，義務と弱い義務のどちらでも使われるが，その変化形である\textit{harusnya}/\textit{mestinya}は，基本的に弱い義務でのみ使われることを実証している．


この研究を第一に取り上げたのは，この研究自体は深層学習を使用していないのであるが，発表中に深層学習の使用に対する興味深いいくつかの示唆がなされたためである．まず，インドネシア語のコーパスはそれほど整備されているわけではなく，深層学習を用いるかどうかにかかわらず，分析用のデータの準備が重要な研究課題となる．インドネシア語話者は少なくないと認識していたため，このこと自体が少し驚きであった．筆者が主に扱う，英語と日本語の場合，整備されたデータがあることが多いため，あまり意識することがなかったが，深層学習はデータの存在を暗に仮定することについて改めて考えさせられることとなった．一方で，この研究のように，一旦データが得られると深層学習を用いて半自動的にデータを拡張できる可能性が高く，言語研究への応用も示唆する．


更に，本発表では，自動翻訳を用いてモダリティタグを決定する方法に言及しており，印象的であった．上述の通り，インドネシア語の\textit{harus}/\textit{mesti}は，義務と弱い義務の間で曖昧性がある．しかしながら，これを自動翻訳で日本語に翻訳するとそれぞれ違う語に訳されるため曖昧性が自動的に解消できるというものである．このアイデアのように，深層学習（特に，大規模言語モデル）で生成されたデータを分析の対象とすることが，言語分析の一つの方法として確立していくのではないかと感じさせられた．より一般的には，翻訳や生成で得られた言語データを分析対象とする言語学につながっていくのではないかと期待できる．


次に，手前味噌で恐縮であるが，筆者4人で「動詞派生前置詞の文法化の定量化」 \cite{nagata}という発表を行った．この発表では，\textit{during}や\textit{according to}などの動詞派生前置詞と呼ばれる語句の文法化の度合いを定量化する手法を提案した．文法化とは，内容語が機能語へと変わる通時的変化のことを指す．筆者らで行った別の研究で，語義の多様性を定量化する方法を考案し，その手法を文法化の定量化にそのまま流用できないかと考えたのがこの研究の始まりである．残念ながら，当初のアイデアはうまくいかず，動詞派生前置詞の分散表現を前置詞の分散表現と直接比較するというかなりナイーブな手法に移行することになった．


ナイーブではあるものの，この手法で得られる結果が，言語学で知られる動詞派生前置詞に関する知見とかなり整合することがだんだんと明らかになり，とても楽しかったのをよく記憶している．ただ，あまりにもナイーブな手法のため，発表するかどうか4人で相談したという経緯もある．最終的に，発表することに決定したため，本稿で紹介しているわけであるが，ありがたいことに本発表により，言語処理学会年次大会の優秀賞をいただいた．発表してよかったと思うとともに，深層学習と言語学の融合という方向性に期待が寄せられている証であると認識している．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{使用から現れる言語知識を捉える（大谷）} \label{sec:otani}

「意味変化の統計的法則は 1000 年成り立つ」 \cite{kawasaki}は，将来性を評価され，委員特別賞を受賞した論文である．本論文は，ラテン語と，ラテン語から派生をした5種類のロマンス語（フランス語，イタリア語，スペイン語，ポルトガル語，ルーマニア語）を比較することで，直近の200年程度の言語データの分析に基づいて提唱をされた，「高頻度語ほど意味変化の度合いが小さい」と「多義語ほど意味変化の度合いが大きい」という意味変化における統計的法則が，1000年にわたり，言語をまたいで成立するかどうかを検証したものである．ロマンス語の分散表現をラテン語のベクトル空間に写像し，ラテン語源とロマンス語形の意味のずれを対応する分散表現の余弦距離とすることで，(i) ラテン語源の頻度が高いほど意味のずれが小さくなることや，(ii) ラテン語源が多義的であるほど，意味のずれが大きくなることのような，言語変化における大局的な流れを数値として表すことに成功している．特筆すべきは，1000年という長い期間の言語変化を，言語をまたいで検証することを試みている点である．このような研究は，ラテン語という祖語のデータが豊富にあるロマンス諸語が存在し，さらに，聖書という，過去から現在まで同一の内容を持つとされるテキストが存在するからできるものであり，その点でも本研究の価値を高めている．今後の展開としては，言語学者が持つような単純な疑問（例えば，聖書の翻訳・改訂時における写字生や当時の社会情勢の影響はどの程度であるか，意味変化における統計的法則がどのような動機づけに基づいているか，最初の時点で大規模な言語変化がすでに完了している場合と，言語変化がまさに進行中の場合の両者で統計的法則が成り立つか，など）に答えていくことで，本論文のような実証的な手法が言語変化の分析でも広がっていくように思われる．

「節埋め込みの意味論に動機づけられたプロービング」 \cite{funakura}では，Transformerに基づく事前学習済み言語モデルが，動詞の目的節の選択制限を学習しているかどうかを2種類の実験で検証するものである．英語の動詞には，目的節として平叙節 (I know he is nice) のみを取るもの，疑問節 (I know where I am now) のみを取るもの，両者を取るものの，3種類のタイプがあるとされる．本研究の実験1では，目的節を取る英語の動詞が，どのタイプに分類されるかを予測するという，節タイプの分類タスクを行っている．推論結果と正解がほとんど一致していたという結果も興味深いが，予測誤りが確認された事例は，doubt, admit, askなどの特定の単語に偏っていたという結果は，言語習得において，幼児は，動詞ごとに他の動詞とは異なる文法を持つとする「動詞の島の仮説 (the verb island hypothesis)」の予測とも合致しているように見える．実験2では，時制と相の情報を動詞に付与した状態で，各動詞がどのようなタイプに分類されるかを予測している．実験2では，実験1に比べて，動詞の時制や相も考慮した分類を行っている点で，実際の用法を考慮していると言える．本論文で扱う，類似的な意味を持つ動詞における目的節の選択制限という研究対象は，統語的な特性を，言語使用のみから一般化して習得できるか否かという言語学の根本的な問題を扱う興味深いものである．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{認知モデルとしての言語モデル（川崎）} \label{sec:kawasaki}

言語モデルを用いて認知モデリングを行い，人間の振る舞いとの共通性や差分を分析する発表も複数件見られた．いずれも刺激的な発表であったが，ここでは2件のみ取り上げる．

「小規模言語モデルによる子供の過剰一般化のモデリング」 \cite{haga}は，英語の動詞の過去形を分析対象として，言語モデルが過剰一般化を起こすか検証した．過剰一般化とは，ある規則をそれが当てはまらない場合にも適用してしまう現象のことである．例えば，eatの過去形（正しくはate）を，規則動詞の語尾-edを付加し*eatedとしてしまうような場合が該当する．過剰一般化は，子供の言語獲得過程に見られる特徴の一つと言われている．本発表の独自性は，屈折を明示的に学習させる先行研究とは異なり，子供の言語獲得過程を模倣した環境下でモデリングを行った点である．具体的には，質と量の観点から子供の言語獲得過程を近似したBabyBERTaと呼ばれる小規模な言語モデルを使用して実験を行った．実験の結果，子供の言語獲得過程で観察されるU字学習曲線\footnote{U字学習曲線とは，横軸を時間，縦軸を正確さとした時，学習が暗記 (ate)，過剰一般化 (*eated)，習得 (ate) の三段階を経ることで現れるU字型の曲線を指す．}は，想定した形では再現されなかった．また，言語モデルの誤出力のパターンは子供のそれとは異なる傾向を示した．本発表では，当初の仮説から予想されるような結果は得られなかったものの，言語モデルと人間の振る舞いの差分に何か新たな知見が埋もれているかもしれない．今後の進展が大いに期待される発表だった．

「小規模言語モデルによる統語パラメータの獲得」 \cite{yamada}では，言語モデルがデータのみから統語パラメータを学習できるか検証した．分析対象は，冠詞の有無と2種類の移動の可否の間の相関・クラスター効果を説明するNP/DPパラメータである．言語モデルには，子供の言語獲得過程を近似したBabyBERTaを採用した．実験の結果，部分的にではあるが，言語モデルがデータのみから統語パラメータを獲得できることが示された．このことは，理論言語学で提唱されている生得性を仮定せずとも，子供が統語パラメータを経験的に学習し得る可能性を示唆している．今後の更なる発展が楽しみな研究だった．なお，本発表はスポンサー賞（富士通賞）を受賞しており，お祝い申し上げる．




%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{新たな手法の導入による新たな試み（高村）} \label{sec:takamura}
単語分散表現を用いて単語の意味変化を検出するなどの試みはかなり普及してきている．また，言語モデルの中身を分析したり，ある条件下で言語モデルを学習させることで，言語について調査する試みもある．一方，本テーマセッションでは，言語研究においてこれまで使われてこなかった深層学習技術の利用による，新たな分析の試みも見られた．ここでは2件の発表を取り上げ紹介する．

「意味変化分析に向けた単語埋め込みの時系列パターン分析」
\cite{kiyama}
は，単語の意味変化に関する研究であるが，意味変化のパターンを扱っている点において新しい．具体的には，2003年から2020年までの各年について単語分散表現を計算し，各単語の分散表現の並びを
一つの時系列とみなす．その上で，時系列として類似したものをグルーピングする関数クラスタリングと呼ばれる手法を適用し，変化パターンを分析している．今後の広範な発展が期待される研究である．


「言語の固有次元を測る」
\cite{ueda}も挑戦的で興味深い試みであり，委員特別賞を受賞している．
言語モデルを含む様々な機械学習モデルにおいて，その埋め込み空間よりも低次元の空間（多様体）にデータが存在することがある．この多様体の次元（固有次元）は，データを表現するために必要な変数の個数であり，そのデータの何らかの性質を表していると考えられる．
この研究は，いくつかのモデルとテキストデータセットに対して固有次元を推定することで，``言語の固有次元''に関する示唆を得ようとしたものである．固有次元の推定にはTwoNN \cite{twonn}を用いている．モデルとしては，bag-of-wordsのようなナイーブなものからGPT-2のようなTransformerベースの言語モデルまで試している．得られた結果では，各モデルの固有次元は数次元から数十次元程度であった．ここで得られているのは，与えられたモデルとデータセットに関する固有次元であるので，シンプルなモデルの固有次元が小さいことは驚きではないが，無視できない言語能力を持つGPT-2の固有次元が一桁であったことは示唆的である\footnote{論文で議論されているように，最後のトークンの隠れ状態を利用したことに起因する可能性もあり，さらなる調査が期待される．}．何より，``言語の固有次元''を議論の俎上に載せたことがこの研究の大きな価値といえよう．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに} \label{sec:summary}
\vspace{-5pt}
本稿では，言語処理学会第30回年次大会において開催したテーマセッション「深層学習時代の言語学と自然言語処理」の概要を紹介した．本テーマセッションの開催経緯，趣旨と共に8件の発表を紹介した．紙面の関係から全てを紹介できなかったが，その他の発表いずれも挑戦的で興味深い内容である．\ref{sec:introduction}節で述べたように，発表論文は言語処理学会web上より入手可能である．


今後も，筆者らを中心に深層学習，言語処理，言語学の融合を目指した研究を推し進めていくとともに各種イベントも企画していく予定である．興味のある方は，nagata-nlp2024theme @ ml.hyogo-u.ac.jpまで気軽にお声がけいただけたら幸いである．



%%% Acknowledgement %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment
\vspace{-5pt}
本テーマセッションの共同提案者である大関洋平氏，持橋大地氏に深く感謝いたします．また，言語処理学会年次大会の委員の方々にも，このような貴重な機会をいただいたことを改めて感謝いたします．



%%% Bibliography %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
    \bibliographystyle{jnlpbbl_1.7}
    \bibliography{29refs}



%%% Biography %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}
\bioauthor{永田　　亮}{%
1999年明治大学理工学部卒業，2005年三重大学大学院博士後期課程修了．兵庫教育大学助手，甲南大学知能情報学部講師を経て，2012年より甲南大学知能情報学部准教授．
2016年より理化学研究所革新知能統合研究センター客員研究員，
2017年より科学技術振興機構さきがけ研究員（2021年まで），
2021年より産業技術総合研究所人工知能センター客員研究員を兼務．
言語のモデル化，文書の自動添削，解説文の自動生成などの研究に従事．
}
\bioauthor{大谷　直輝}{%
2004年東京外国語大学外国語学部卒業．
2007年カリフォルニア大学サンタバーバラ校客員研究員，
2009年京都大学大学院人間・環境学研究科言語情報専攻博士後期課程修了．博士（人間・環境学）．
2009年から埼玉大学英語教育開発センター助教，
2013年から京都府立大学文学部講師，
2015年から東京外国語大学大学院総合国際学研究院講師，
2019年から同准教授．
構文文法，認知言語学，談話機能言語学，コーパス言語学などの研究に従事．
}
\bioauthor{川崎　義史}{
2008年東京大学教養学部地域文化研究学科ラテンアメリカ分科卒業．
2011年東京大学大学院総合文化研究科言語情報科学専攻修了．
2016年同博士課程修了．博士（学術）．
2017年から2022年まで東京大学大学院総合文化研究科言語情報科学専攻講師．
2022年から同准教授．
スペイン語史，計量文献学，計算歴史言語学の研究に従事．
}
\bioauthor{高村　大也}{
1997年東京大学工学部計数工学科卒業．
2000年同大大学院工学系研究科計数工学専攻修了（1999年はオーストリアウィーン工科大学にて研究）．
2003年奈良先端科学技術大学院大学情報科学研究科博士課程修了．博士（工学）．
2003年から2010年まで東京工業大学精密工学研究所助教．
2006年にはイリノイ大学にて客員研究員．
2010年から2016年まで同准教授．
2017年から2021年3月まで同教授．
2017年から産業技術総合研究所人工知能センター知識情報研究チーム研究チーム長．
2016年から2020年にかけて科学技術振興機構さきがけ研究員を兼務．
}


\end{biography}

%%%%\biodate   %%%% 受付日の出力（編集部で設定します）

\end{document}