\documentclass[japanese,other]{jnlp_3.7B}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
\usepackage{array}
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{31}
\Number{2}
\Month{June}
\Year{2024}
%%%%\Issuetitle{「　　　　」特集号}

\setcounter{page}{798}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{生成 AI 時代の自然言語処理における産学官の役割と課題 \\ NLP2024ワークショップ}
\jauthor{飯田　大貴\affiref{Author_1} \and 岩倉　友哉\affiref{Author_2}\affiref{Author_3} \and 笠井　淳吾\affiref{Author_4}\affiref{Author_5} \and 小島　熙之\affiref{Author_4} \and \\
	小町　　守\affiref{Author_6} \and 古宮嘉那子\affiref{Author_7} \and 田村　晃裕\affiref{Author_8} \and 二宮　　崇\affiref{Author_9} \and \\
	平岡　達也\affiref{Author_2} \and 水木　　栄\affiref{Author_10}\affiref{Author_11}}

\etitle{Roles and Challenges of Industry, Academia, and Government for Natural Language Processing in the Generative Artificial Intelligence Era: An NLP2024 Workshop}
\eauthor{Hiroki Iida\affiref{Author_1} \and Tomoya Iwakura\affiref{Author_2}\affiref{Author_3} \and Jungo Kasai\affiref{Author_4}\affiref{Author_5} \and Noriyuki Kojima\affiref{Author_4} \and Mamoru Komachi\affiref{Author_6} \and Kanako Komiya\affiref{Author_7} \and Akihiro Tamura\affiref{Author_8} \and Takashi Ninomiya\affiref{Author_9} \and Tatsuya Hiraoka\affiref{Author_2} \and Sakae Mizuki\affiref{Author_10}\affiref{Author_11}} 

\headauthor{飯田，{\kern-0.2zw}岩倉，{\kern-0.2zw}笠井，{\kern-0.2zw}小島，{\kern-0.2zw}小町，{\kern-0.2zw}古宮，{\kern-0.2zw}田村，{\kern-0.2zw}二宮，{\kern-0.2zw}平岡，{\kern-0.2zw}水木}
\headtitle{生成 AI 時代の NLP における産学官の役割と課題}

\affilabel{Author_1}{株式会社ユーザベース}{Uzabase Inc.}
\affilabel{Author_2}{富士通株式会社}{Fujitsu Limited}
\affilabel{Author_3}{奈良先端科学技術大学院大学}{Nara Institute of Science and Technology}
\affilabel{Author_4}{Kotoba Technologies, Inc.}{Kotoba Technologies, Inc.}
\affilabel{Author_5}{Toyota Technological Institute at Chicago}{Toyota Technological Institute at Chicago}
\affilabel{Author_6}{一橋大学}{Hitotsubashi University}
\affilabel{Author_7}{東京農工大学}{Tokyo University of Agriculture and Technology}
\affilabel{Author_8}{同志社大学}{Doshisha University}
\affilabel{Author_9}{愛媛大学}{Ehime University}
\affilabel{Author_10}{株式会社ホットリンク}{Hotto Link Inc.}
\affilabel{Author_11}{東京工業大学}{Tokyo Institute of Technology}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{はじめに}

ChatGPTに代表される多様なタスクが実施できる生成AIが公開され，従来では考えられなかった規模で，自然言語処理技術の認知度が上がり，利用されるようになった．このような背景を受け，日本では，LLM-JPや富岳LLMに代表されるように，産学官の垣根を超えて協力し生成AIの開発が進められている．今後もこの流れが続くと予想されるが，より良い技術開発のためには，立場の違いから生じる考え方や視点の違いを理解することが重要と考え，言語処理学会第30回年次大会にて，併設ワークショップ「生成AI時代の自然言語処理における産学官の役割と課題」を開催した．

本ワークショップでは，「生成AIに関する産学官の役割とそれぞれへの期待」および，「生成AIのための自然言語処理技術」，「個別タスクに対する生成AIの影響」，「生成AIによる社会環境の変化」を中心に産学官の視点から議論・共有する場とし，
7件の招待講演とパネルディスカッションが開催された．
オンラインでは140名，会場では75名を超える方々の参加があった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{発表概要}

当日の発表について概要を紹介する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{生成AIのための自然言語処理技術}

「生成AIのための自然言語処理技術」のセッションでは，岡野原大輔先生 (PFN)（リモート）と 藤井一喜先生（東工大，Kotoba Technologies, Inc.）をお招きし，講演いただいた．

岡野原先生は，「大規模言語モデル開発の展望と今後の課題」というタイトルの講演を行っていただいた．
日本，世界をリードするAIスタートアップであるPFNの技術の総括をされる観点から，今後の大規模言語モデルの展望を，最新研究も含めてレクチャーいただいた．
特に，PFNが進めている，Mixture Of Expertsモデルの開発や，今後のマルチモーダル展開，また今話題の状態空間モデルについても，技術的な観点から，今後の方向性が語られた．
PFNのような産業界のプレーヤーとして，いかにアカデミアとコラボして，今後の日本の生成AIの発展に貢献していくべきかなど，引き続き各方面（AI，自然言語処理，倫理など）の研究者が議論していくべき課題を指摘いただいた．

藤井先生は，「大規模言語モデルの分散並列学習」というタイトルの講演を行った．藤井先生は，現在Swallow Projectや，LLM-JPプロジェクトなど，日本の大規模言語モデルプロジェクトの実装で大きな貢献をしている研究者であるが，もともとのご専門は，HPC（高性能コンピューティング）である．自然言語処理の研究者は，普段からGPUやスパコンを利用して研究を行っているが，HPCの専門家の立場として，使用上の問題点や，工夫の仕方など，理論から実践まで，幅広く詳しく講演いただいた．
会場からも，「理解できていなかったHPC技術を非常にわかりやすく説明いただき，理解できた」など，多数の高評価が上がった．自然言語処理の会議において，このように関係のある専門家を招き，ディスカッションをすることは，非常に有意義であることを再確認し，今後も国内外でこのような機会が増えることを期待する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{生成AIによる社会環境の変化}

「生成AIによる社会環境の変化」のセッションでは，京都大学の金丸敏幸先生とSF作家の竹田人造先生にご講演いただいた．

金丸先生には「言語教育分野における生成AIの影響と可能性」というタイトルでご講演いただき，英語教育を中心とした言語教育分野において生成 AI がどのように受け止められているか広く情報提供と問題提起があった．特に授業における生成 AI の利活用については Slack でも活発に議論がなされた．英語教育を初等教育・中等教育・高等教育でどのように位置付けるか，という問題について，文部科学省でなされている議論の整理と紹介があり，日本に住む我々として英語教育のみならず国語教育についても実際に取り組んでらっしゃる方からの情報提供や今後の展望に関する質疑応答があった．
 
竹田先生には「SF作家の命乞い」というタイトルでご講演いただいた．竹田先生には人工知能系の研究室出身でエンジニアとして最近まで勤務していた経験があり， 第8回ハヤカワSFコンテスト優秀賞を受賞した\cite{Takeda_1}や，\cite{Takeda_2}などのAIを用いたSFの著作がある．生成AIの台頭により，従来のステレオタイプ型のロボット，例えば流ちょうに言語を操れなかったり，嘘を言うことができなかったり，論理破綻により自己ショートするようなロボットを作中に登場させることができなくなったことに始まり，生成AI自体が物語を流ちょうに素早く，また安価に作成することができるようになったことで，作家という職業がAIに取って代わられる可能性を感じているという講演であった．すでにブランド力をもつ作家は著作権で守られるが，シリーズものを書いていない場合には著作権で保護されないことや，物語を生成する作家よりも，物語の市場に合わせた軌道修正などを行う編集者の方が今後長く残る職業である可能性についても指摘があった．さらに，会場からの「生成AIを使ってスランプを脱したことがあるか」という質問に対しては，地の文を書くのに参考にしたことがあるという回答があり，「話の筋を決める時に生成AIは有効であると思うか」という質問には可能性はあるという回答が得られた．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{個別タスクに対する生成AIの影響}

「個別タスクに対する生成AIの影響」のセッションでは，Studio Ousiaの山田育矢先生と朝日新聞の田森秀明先生にご講演いただいた．

山田先生には「言語間転移学習で大規模言語モデルを賢くする」というタイトルでご講演いただき，LLMにおける言語間転移を促進する方法としてWikipediaエンティティを使ったデータ拡張方法 (LEIA) について説明があった．LLaMA 2 7BをベースとしたLEIAおよびSwallow 7BをベースとしたLEIAを用いた日本語を含む多言語質問応答の実験を行い，大きな性能向上を実現していることがわかった.

田森先生には「弊社取り組み＝特に要約＝に対するLLMの影響」というタイトルでご講演いただき，校正支援サービスTypoless，社内向け書き起こしサービスYOLO，LLMに対する社内での取り組み，要約タスクにおける生成AIの影響について説明があった．Typolessは日本語の文法誤り（誤字・脱字・誤変換）をLMで検出している．YOLOの話の中ではLLMを用いて音声認識結果を読みやすくするリフレーズについて説明があった．続いて，見出し・要約文生成APIのTSUNAについて説明があり，TSUNAは記事データから学習するTransformerベースの手法を用いているが，見出し生成の実験ではGPT-3.5やGPT-4よりも高い精度を実現し，特に出力長のコントロールに関して大きなアドバンテージがあることの説明があった．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{生成AIに関する産学官の役割}

「生成AIに関する産学官の役割」のセッションでは，東京大学の川原圭博先生に「生成AI関連政策についての私見」というタイトルでご講演いただいた．ご講演では，大規模言語モデルに関する政策について，その背景にある議論や提言をまじえてご発表をいただいた．まず大規模言語モデルは，科学技術全般ならびに社会変革への貢献が期待される一方で，偏見や誤情報など社会的な悪影響が懸念されるという議論が紹介された．これをふまえて，大規模言語モデル関連技術のブラックボックス化を防ぎ，オープンかつ透明性の高い知識基盤の構築を目標として，計算インフラの整備と利用の分離，ビジネス支援と共通の知識基盤の並走，優秀人材の抜擢と流動性の向上を通じて，大規模言語モデルの利活用および健全な進化を後押しすべきとの提言がなされたことが説明された．
この提言を元に，政府の政策として，広島AIプロセス国際指針\footnote{\url{https://www.soumu.go.jp/hiroshimaaiprocess/index.html}}の策定，LLM勉強会 (LLM-jp) の発足や次世代AI人材育成プログラム\footnote{\url{https://www.jst.go.jp/jisedai/boost-s/index.html}}の事業化，ABCIの強化やGENIAC\footnote{\url{https://www.meti.go.jp/policy/mono_info_service/geniac/index.html}}による開発支援など，包括的な取り組みが進んでいることが説明された．政府の今後の期待として，政策としては主にデジタルトランスフォーメーションの一環として利活用を進めたいこと，研究としては基盤モデルの開発のみならず他の科学技術分野への応用や社会実装におけるガイドライン策定への貢献が望まれていることが述べられた．

質疑応答では，生成AIに関する政府の素早い動きの背景や資金分配の方向性など，言語処理分野における政府の動向への注目度合いの高さが窺える活発な議論が展開された．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{パネルディスカッション}

ワークショップの最後のセッションとして，現地参加いただいた招待講演者の方々およびオーガナイザを代表して平岡がパネリストとしてパネルディスカッションを行った．参加したパネリストは金丸敏幸先生（京都大学），田森秀明先生（朝日新聞社），平岡達也先生（富士通），藤井一喜先生（東工大），山田育矢先生 (Studio Ousia)である．パネルディスカッションでは，まず以下のテーマで3分ずつ所感をお話しいただき，その後フリーディスカッションに移行した．

\begin{quote}
産学官のそれぞれの立場から，これをやってくれたら嬉しいなということ，またそれができるかについて

（例）企業から，学と官にやってほしいこと．大学でどういう教育をしてほしいとか，どのような制度が行政的に欲しいとか
\end{quote}

公的セクターについてはデータ作成と公開についての期待が多く聞かれた一方，全てオープンにすることの危険性についての指摘も見られた．
教育については安易に流行に流されず基本的な知識を大事にしてほしい，という意見があった．
企業については継続事前学習やマルチモーダルモデルの発展など，技術的に可能になりつつあることと関連し，どのように社会的責任を果たしていくべきか，という点に関しての課題の議論があった．それぞれの立場での取り組みをこのように紹介し，取り組むべき課題を共有することの有用性が確認された．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}

本ワークショップでは，7名の講演者から，研究開発や企業活動，教育現場，創作活動，政策などにおいて，生成AIが与える影響について紹介され，今後についての意見が交わされた．現状，生成AIは広く利用されるようになったが，文献\cite{qin-etal-2023-chatgpt}にあるように技術的にも改善の余地があり，また，EUにおける法制化\footnote{\texttt{https://www.consilium.europa.eu/en/press/press-releases/2023/12/09/artificial-intelligence-act-\linebreak[2]council-and-parliament-strike-a-deal-on-the-first-worldwide-rules-for-ai/}}
に代表されるような法規と倫理の課題も残る．昨今，技術や課題が複雑化したこともあり，組織の垣根を越えて，研究開発を進めることの重要性がより高まっていると感じている．今後のより良い社会の実現のためにも，生成AIにより大きく変わりつつ社会において，産学官が連携し，新たな技術が開発されることを期待する．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

本ワークショップの開催にあたり，言語処理学会第30回大会委員会と招待講演者のみなさまには多大なるご支援を賜りました．心より感謝とお礼申し上げます．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\bibliographystyle{jnlpbbl_1.7}
\bibliography{31refs}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{飯田　大貴}{%
2014年東京大学大学院工学系研究科修士課程修了．2024年東京工業大学情報理工学院博士後期課程修了，博士（工学）．株式会社レトリバを経て，2024年より株式会社ユーザベース．言語処理学会会員．
}

\bioauthor{岩倉　友哉}{%
2011 年東京工業大学大学院総合理工学研究科物理情報システム専攻博士課程修了．博士（工学）．現在，富士通株式会社シニアリサーチマネージャー．奈良先端科学技術大学院大学客員教授．
}

\bioauthor{笠井　淳吾}{%
2023年ワシントン大学コンピューターサイエンス博士課程修了．博士（工学）．Kotoba Technologies, Inc.の創業者で，最高技術責任者．Toyota Technological Insitute at Chicago Research Assistant Professor．LLM-Fugakuプロジェクトの発起人の一人．
}

\bioauthor{小島　熙之}{%
2023年コーネル大学コンピューターサイエンス博士課程修了．博士（工学）．Kotoba Technologies, Inc.の創業者で，最高経営責任者．LLM-Fugakuプロジェクトの発起人であり，初期の実装，運営を統括した．
}

\bioauthor{小町　　守}{%
2005年東京大学教養学部基礎科学科科学史・科学哲学分科卒業．2007年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了．2008年より日本学術振興会特別研究員 (DC2) を経て，2010年同研究科博士後期課程修了，博士（工学），同年同研究科助教，2013年首都大学東京（現東京都立大学）システムデザイン学部准教授．2022年同大学同学部教授．2023年より一橋大学大学院ソーシャル・データサイエンス研究科教授．現在に至る．
}

\bioauthor{古宮嘉那子}{%
2005年東京農工大学工学部コミュニケーション工学科卒．2006年同大学大学院工学教育部情報コミュニケーション工学専攻修了．2009年同大学大学院博士後期課程電子情報工学専攻修了．博士（工学）．同年東京工業大学精密工学研究所研究員，2010年東京農工大学工学研究院特任助教，2014年茨城大学工学部情報工学科講師，2021年東京農工大学工学研究院准教授．現在に至る．情報処理学会，人工知能学会，言語処理学会各会員．
}

\bioauthor{田村　晃裕}{%
2005年東京工業大学工学部情報工学科卒業．2007年同大学院総合理工学研究科修士課程修了．2013年同大学院総合理工学研究科博士課程修了．博士（工学）．日本電気株式会社，国立研究開発法人情報通信研究機構にて研究員を務めた後，2017年より愛媛大学大学院理工学研究科助教．2020年より同志社大学理工学部准教授，現在に至る．情報処理学会，言語処理学会，人工知能学会，ACL各会員．
}

\bioauthor{二宮　　崇}{%
1996年東京大学理学部情報科学科卒業．1998年同大学大学院理学系研究科修士課程修了．2001年同大学大学院理学系研究科博士課程修了．同年より科学技術振興事業団研究員．2006年より東京大学情報基盤センター講師．2010年より愛媛大学大学院理工学研究科准教授，2017年同教授．博士（理学）．言語処理学会，アジア太平洋機械翻訳協会，情報処理学会，人工知能学会，電子情報通信学会，日本データベース学会各会員．
}

\bioauthor{平岡　達也}{%
2022年東京工業大学博士後期課程修了，博士（工学）．同年より富士通株式会社にて研究員．
}

\bioauthor{水木　　栄}{%
2009年東京大学大学院工学系研究科修士課程修了．2023年東京工業大学情報理工学院博士後期課程修了．博士（工学）．金融機関を経て，2015年株式会社ホットリンク入社．2024年より東京工業大学研究員を兼務，現在に至る．ACL，言語処理学会各会員．
}

\end{biography}





\end{document}




