\documentclass[japanese,other]{jnlp_3.7}
\usepackage{jnlpbbl_2.2}
\usepackage[dvipdfmx]{graphicx}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{url}
\usepackage{hangcaption_jnlp}
\usepackage{array}
\allowdisplaybreaks


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% author's definition
\usepackage{otf}
%%%%\renewcommand{\textfraction}{0.0}
%%%%\renewcommand{\topfraction}{1.0}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\Volume{31}
\Number{2}
\Month{June}
\Year{2024}
%%%%\Issuetitle{「　　　　」特集号}

\setcounter{page}{805}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\jsubject{学会記事}
\jtitle{日本語言語資源の構築と利用性の向上 \\ 
―JLR2024ワークショップ}
\jauthor{浅原　正幸\affiref{Author_1} \and 大村　　舞\affiref{Author_1} \and 河原　大輔\affiref{Author_2} \and 久保　隆宏\affiref{Author_3}  \and \\ 坂口　慶祐\affiref{Author_4} \and 柴田　知秀\affiref{Author_5} \and 松田　　寛\affiref{Author_6} \and 宮尾　祐介\affiref{Author_7}}

\etitle{NLP2024 Workshop on Japanese Language Resources (JLR2024)}
\eauthor{
Masayuki Asahara\affiref{Author_1} \and Mai Omura\affiref{Author_1} \and Daisuke Kawahara\affiref{Author_2} \and Takahiro Kubo\affiref{Author_3}  \and Keisuke Sakaguchi\affiref{Author_4} \and Tomohide Shibata\affiref{Author_5} \and Hiroshi Matsuda\affiref{Author_6} \and Yusuke Miyao\affiref{Author_7}}
\headauthor{浅原，大村，河原，久保，坂口，柴田，松田，宮尾}
\headtitle{JLR2024ワークショップ}

\affilabel{Author_1}{国立国語研究所}{National Institute for Japanese Language and Linguistics}
\affilabel{Author_2}{早稲田大学}{Waseda University}
\affilabel{Author_3}{アマゾンウェブサービスジャパン合同会社}{Amazon Web Services Japan G.K.}
\affilabel{Author_4}{東北大学}{Tohoku University}
\affilabel{Author_5}{LINE ヤフー株式会社/SB Intuitions}{LY Corporation}
\affilabel{Author_6}{株式会社リクルート Megagon Labs}{Megagon Labs, Recruit Co., Ltd.}
\affilabel{Author_7}{東京大学}{The University of Tokyo}



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
\maketitle

\renewcommand{\thefootnote}{}
\footnote[0]{本記事執筆に際し，全著者は同等に貢献しました．}
\renewcommand{\thefootnote}{\arabic{footnote}}


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
我々は言語処理学会第30回年次大会にて併設ワークショップ「日本語言語資源の構築と利用性の向上」を企画開催した．
本ワークショップは2022年の第28回年次大会「日本語における評価用データセットの構築と利用性の向上」より継続して企画しており，今回3回目の開催である．
本ワークショップでは，大規模言語モデルも言語処理における重要な言語資源と位置づけ，大規模言語モデル開発に必要な言語資源についても発表を募集した．
招待講演1件のほか，一般発表12件とライトニングトーク(LT) 7件の発表が行われた．図\ref{fig:program}に当日のプログラムを示す（概要および発表資料はJLR2024プログラムページに掲載\footnote{https://jedworkshop.github.io/JLR2024/program/}）．

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%% fig. 1
\begin{figure}[p]
\begin{center}
\includegraphics{31-2ia32f1.pdf}
\end{center}
\caption{JLR2024: プログラム \label{fig:program}}
\end{figure}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

招待講演は理化学研究所革新知能統合研究センター・言語情報アクセスチームチームリーダーである関根聡先生に「LLM構築におけるインストラクションの効果と人間とGPT-4による評価で観察されたもの」と題し，LLMモデルのインストラクションデータ『ichikara-instruction』についてご講演いただいた．LLM開発においてインストラクションの重要性に注目が集まるなか，日本語においてはインストラクションデータの整備が遅れていた．
関根先生は18社と共同研究契約を結び，最大70名のアノテーターを手配し，仕様策定をしながら2024年2月29日までに1万データを構築した．
研究目的のため，質問の操作の種類・主観・客観・時間依存・能力・分野などのタグを設定し，インストラクションデータにタグを付与した．
評価においては，{\tt rinna/youri-7B + ichikara\_instruction (houou)}と{\tt GPT3.5-turbo-1106}の出力について，GPT-4と人間による評価（関連性，正確性，流暢性，情報量，優劣判定）を行った．評価を通して，インストラクションデータ構築において重要な観点について議論された．

午前中には，招待講演のほかに4つの発表が行われた．
鈴木らは，言語モデルの世界知識を評価するためには，高品質な質問応答データセットが必要であることを指摘し，日本語モデル向けにその不足を補うために，国内のクイズ大会で使用された4択クイズの問題を利用してデータセットを構築し，その特徴や影響を評価する実験結果を報告した．
久保らは，サービス組み込みを前提とするオープン基盤モデルのカスタマイズ手段として，Prompt TuningとFine Tuningの費用対効果を質問回答データセット(JSQuAD)を使用して評価し，ChatGPTやClaudeといったクローズドモデルを上回る性能を示し始める学習量と費用を検証した．
Grebらは，日本語テキストの発音モデリングにおいて，部分的な注釈や異なる注釈基準が必要な課題に対する技術的解決策を，Googleで使用されているテキスト読み上げなどのタスクに適用される技術とともに紹介した．
Liらは，日本語埋め込みモデルの性能評価のためのベンチマークであるJMTEBを提案し，Clustering・Classification・STS・Pair Classification・Retrievalの5つの異なるタスクに対して，複数ドメインのテキストデータにおける文・段落・文章の多様な文脈長での性能分析やモデル間の比較評価の結果を紹介した．

午後＜１＞のセッションでは，言語表現に関する4つの発表が行われた．
砂岡は，大規模言語モデルの言語資源を考察し，Slackを利用したリアクション絵文字の使用に関する初歩的分析結果を報告した．
加藤らは，日本語比喩表現の実態調査を行い，比喩情報を付与した『現代日本語書き言葉均衡コーパス』に基づく研究成果を報告した．
菊地は，指標比喩データベースを構築し，『現代日本語書き言葉均衡コーパス』から収集した指標比喩用例の活用方法を紹介した．
伊藤は，大規模言語モデルの普及に伴い，高次の言語使用に移行する中でのレトリック言語資源の整備状況とその課題について報告した．

午後＜２＞のセッションでは，さまざまな分野の5つの発表が行われた．
川端らは，地図上の位置情報・経路情報表現をクラウドソーシングで収集し，そのわかりやすさを調査した結果を報告した．
桂樹らは，農業指導技術者不足を補うためのAI技術の確立を目指す農業ドメインの取り組みについて報告した．
矢田らは，闘病記ブログから医療イベントを要約するデータセットを構築し，履歴や記憶を重視するモデルの可能性を提案した．
飯塚らは，ファインチューニングによるLLMのドメイン知識獲得を自動化するためのパイプラインを実装し，プログラミング言語のリファレンス文書からQAデータセットを作成し，評価した結果を報告した．
水上らは，LLMを用いた雑談対話システムの楽しさを評価するためのベンチマークの提案と，既存のLLMを用いた対話システムの評価結果を報告した．

午後＜３＞のセッションの発表は以下の6件であった．
\ajHashigoTaka 橋らは，『昭和・平成書き言葉コーパス』(SHC) の設計と統計情報の公開について説明し，著作権処理の工夫と共に昭和平成期の通時的変化やレジスター差の研究の可能性を示した．
柏野らは，『分類語彙表 ―増補改訂版―』と『計算機用日本語基本辞書IPAL』の相互関係に基づく用言の意味解析の報告を行った．
佐藤は，BERTによるAI分類ツールの学習データ構築と顧客データの深い解析によるカテゴリ獲得の手法を紹介した．
土肥らは，症例テキストのアノテーションにおけるオントロジーの課題とその改善策について報告した．
福田は，日本語の学術論文PDF文書からの大規模言語モデルの学習データ抽出の課題と，文脈中の印象を収集するアンケート調査のデータベースの可能性について示した．
時間の都合で資料の公開のみとなったが，浅原らは，多様なテキスト・結合（格フレーム）に対する印象評定データベースの構築について紹介した．


全体を通して，特にLLMの構築に必要な言語資源の整備や，それらの資源を用いた応用研究が多数報告された．招待講演では，LLM構築におけるインストラクションの効果や評価についての重要な見解が示された．午前中のセッションでは，言語モデルの世界知識の評価や日本語におけるクイズデータセットの構築，日本語テキストの発音モデリング，日本語埋め込みモデルの性能評価などが議論された．午後のセッションでは，言語表現に関する研究が報告され，異なる分野からの発表も行われた，最終セッションでは，言語資源の整備とその応用に関するさまざまな取り組みが紹介され，データ抽出や意味解析・分類ツールの学習データ構築・アノテーションの課題や改善策に焦点が当てられた．これらの発表を通じて，LLMの発展に向けた取り組みや課題についての洞察が得られた．提案者一同，次回年次大会でも本ワークショップを開催するとともに，継続して言語資源に関するイベントを企画したいと考えている．
今後も多くのご発表・ご支援を賜りたい．



%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\acknowledgment

JLR2024 の開催にあたり，言語処理学会第30回大会委員会に多大なご支援を賜りました．


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{biography}

\bioauthor{浅原　正幸}{%
国立国語研究所・総合研究大学院大学教授．
}

\bioauthor{大村　　舞}{%
国立国語研究所プロジェクト非常勤研究員．
}

\bioauthor{河原　大輔}{%
早稲田大学教授．
}

\bioauthor{久保　隆宏}{%
アマゾンウェブサービスジャパン合同会社 Developer Relations \mbox{Machine} Learning．
}

\bioauthor{坂口　慶祐}{%
東北大学准教授．
}

\bioauthor{柴田　知秀}{%
LINEヤフー株式会社上席研究員．
}

\bioauthor{松田　　寛}{%
株式会社リクルート Megagon Labs, Chief Research Scientist．
}

\bioauthor{宮尾　祐介}{%
東京大学教授．
}

\end{biography}




\end{document}



