    \documentclass[japanese]{jnlp_1.4}
\usepackage{jnlpbbl_1.3}
\usepackage[dvipdfm]{graphicx}
\usepackage{amsmath}
\usepackage{array}
\usepackage{bm}

\def\BT{}                                 
\def\UW{}                                 
\def\Dder{}                            
\def\Ider{}              
\def\Nsum#1{}                      
    \def\Bdma#1{}                
\def\Stri#1#2{} 
\def\Conc#1#2{}        
\def\argmax{}           
\def\argmin{}           
\def\MLE{}    
\def\QED{}             
\def\because{}
\def\MC#1#2#3{}
\def\lineB#1#2{}
\def\lineC#1#2#3{}
\def\ecaption#1{}
\def\tabref#1{}
\def\figref#1{}
\def\equref#1{}
\def\secref#1{}
\def\subref#1{}
\def\appref#1{}
\def\KKC#1{}
\def\Cite#1{}
\def\UU{}
\def\pair#1#2{}


\Volume{22}
\Number{2}
\Month{June}
\Year{2015}

\received{2014}{11}{3}
\revised{2015}{2}{6}
\accepted{2015}{4}{7}

\setcounter{page}{107}

\jtitle{レシピ用語の定義とその自動認識のための\\タグ付与コーパスの構築}
\jauthor{笹田　鉄郎\affiref{ACCMS} \and 森　　信介\affiref{ACCMS} \and 山肩　洋子\affiref{KU} \and 前田　浩邦\affiref{CY} \and 河原　達也\affiref{ACCMS}}
\jabstract{
自然言語処理において，単語認識（形態素解析や品詞推定など）の次に実用化可
能な課題は，ある課題において重要な用語の認識であろう．この際の重要な用
語は，一般に単語列であり，多くの応用においてそれらに種別がある．一般的
な例は，新聞記事における情報抽出を主たる目的とした固有表現であり，人名や組
織名，金額などの7つか8つの種別（固有表現クラス）が定義されている．この
重要な用語の定義は，自然言語処理の課題に大きく依存する．
我々は
この課題をレシピ（調理手順の文章）に対する用語抽出として，
レシピ中に出現する
重要な用語を定義し，実際にコーパスに対してアノ
テーションし，実用的な精度の自動認識器を構築する過程について述べる．
その応用として，
単純なキーワード照合を超える知的な検索や，映像と言語表現のマッチ
ングによるシンボルグラウンディングを想定している．
このような背景の下，
本論文では，レシピ用語タグセットの定義と，実際に行ったアノテーショ
ンについて議論する．
また，レシピ用語の自動認識の結果を提示し，必要
となるアノテーション量の見通しを示す．}

\jkeywords{固有表現認識，用語抽出，レシピ，コーパス，アノテーション}

\etitle{Definition of Recipe Terms and Corpus Annotation for their Automatic Recognition}
\eauthor{Tetsuro Sasada\affiref{ACCMS} \and Shinsuke Mori\affiref{ACCMS} \and Yoko Yamakata\affiref{KU} \and Hirokuni Maeta\affiref{CY} \and Tatsuya Kawahara\affiref{ACCMS}}
\eabstract{
In natural language processing (NLP), recognizing important terms after word recognition (word segmentation, part-of-speech tagging, etc.) is practical.
In general, terms are word sequences and are classified into different types in many applications.
A famous example is the named entity that aims to extract information from newspaper articles.
This has seven or eight types (named entity classes) such as person name, organization name and amount of money.
The definition of important terms depends heavily on the NLP task.
We chose term extraction from recipes (cooking procedure texts) as our task.
We discuss a process to define terms and types, annotate corpus, and construct a practically accurate automatic recognizer of recipe terms.
The recognizer can potentially be applied to search functions that are more intelligent than simple keyword match and symbol grounding researches, 
wherein we can match videos and language expressions.
Based on these backgrounds, in this study, we discuss the definition of a tag set for recipe terms and real annotation work.
Furthermore, we present the experimental results of automatic recognition of recipe terms and provide an insight into the number of annotations required for realizing a certain degree of accuracy.}
\ekeywords{Named Entity Recognition, Term Extraction,  Recipe, Corpus, Annotation}

\headauthor{笹田，森，山肩，前田，河原}
\headtitle{レシピ用語の定義とその自動認識のためのタグ付与コーパスの構築}

\affilabel{ACCMS}{京都大学学術情報メディアセンター}{Kyoto University, Academic Center for Computing and Media Studies}
\affilabel{KU}{京都大学大学院情報学研究科}{Kyoto University, Graduate School of Informatics}
\affilabel{CY}{サイボウズ株式会社}{Cybozu, Inc.}



\begin{document}
\maketitle


\section{はじめに}
\label{section_intro}

自然言語処理において，単語認識（形態素解析や品詞推定など）の次に実用化可能な課題は，用語
の抽出であろう．この用語の定義としてよく知られているのは，人名や組織名，あるいは金額な
どを含む固有表現である．固有表現は，単語列とその種類の組であり，新聞等に記述される内容
に対する検索等のために7種類（後に8種類となる）が定義されている
\cite{Overview.of.MUC-7/MET-2,IREX:.IR.and.IE.Evaluation.Project.in.Japanese}．固有表
現認識はある程度の量のタグ付与コーパスがあるとの条件の下，90\%程度の精度が実現できたと
の報告が多数ある
\cite{A.Maximum.Entropy.Approach.to.Named.Entity.Recognition,Conditional.Random.Fields:.Probabilistic.Models.for.Segmenting.and.Labeling.Sequence.Data,Introduction.to.the.CoNLL-2003.Shared.Task:.Language-Independent.Named.Entity.Recognition}．

しかしながら，自然言語処理によって自動認識したい用語は目的に依存する．実際，IREXにおい
て固有表現の定義を確定する際もそのような議論があった\cite{固有表現定義の問題点}．例
えば，ある企業がテキストマイニングを実施するときには，単に商品名というだけでなく，
自社の商品と他社の商品を区別した
いであろう．このように，自動認識したい用語の定義は目的に依存し，新聞からの情報抽出を想
定した一般的な固有表現の定義は有用ではない．したがって，ある固有表現の定義に対して，タ
グ付与コーパスがない状態から90\%程度の精度をいかに手早く実現するかが重要である．

昨今の言語処理は，機械学習に基づく手法が主流であり，様々な機械学習の手法が研究されてい
る．他方で，学習データの構築も課題であり，その方法論やツールが研究されている
\cite{自然言語処理特集号}
．特に，新しい課題を解決する初期は学習データがほとんどなく，学習データの増量による
精度向上が，機械学習の手法の改善による精度向上を大きく上回ることが多い．さらに，目的の
固有表現の定義が最初から明確になっていることは稀で，タグ付与コーパスの作成を通して実例
を観察することにより定義が明確になっていくのが現実的であろう．
本論文では，この過程の実例を示し，
ある固有表現の定義の下である程度高い精度の自動認識器を手早く構築するための知
見について述べる．

本論文で述べる固有表現は，以下の条件を満たすとする．
\begin{description}

\item[条件1] 単語の一部だけが固有表現に含まれることはない．\\
一般分野の固有表現で
  は，「訪米」などのように，場所が単語内に
  含まれるとすることも考えられるが，本論文で
  はこのような例は，辞書の項目にそのことが書かれていると仮定する．

\item[条件2] 各単語は高々唯一の固有表現に含まれる． \\
一般分野の固有表現では，入れ子
  を許容することも考えられる\cite{Nested.Named.Entity.Recognition,
  The.GENIA.Corpus:.an.Annotated.Research.Abstract.Corpus.in.Molecular.Biology.Domain}
  例えば，「アメリカ大統領」という表現は，全体が人物を表し「アメリカ」の箇所
  は組織名を表すと考えられる．自動認識を考えて広い方を採ることとする．

\end{description}
以上の条件は，品詞タグ付けに代表される単語を単位としたタグ付けの手法を
容易に適用させるためのものである．
その一方で，日本語や中国語のように単語分かち書きの必要な言語に対しては，
あらかじめ単語分割のプロセスを経る必要があるという問題も生じるが，
本論文では単語分割を議論の対象としないものとする．

本論文では，題材を料理のレシピとし，さまざまな応用に重要と考えられる単語列を定義し，あ
る程度実用的な精度の自動認識を実現する方法について述べる．
例えば，「フライ 返し」という単語列には「フライ」という食材を表す単語が含まれるが，
一般的に「フライ返し」は道具であり，「フライ 返し」という単語列全体を道具として自動認
識する必要がある．
本論文ではこれらの単語列をレシピ用語と定義してタグ付与コーパスの構築を行い，上述した
固有表現認識の手法に基づく自動認識を目指す．
レシピ用語の想定する応用は以下の2つであり，
関連研究（2.3節）で詳細を述べる．
\begin{description}

\item[応用1] フローグラフによる意味表現 \\
自然言語処理の大きな目標の一つは意味理解で
  あると考えられる．一般の文書に対して意味を定義することは未だ試行すらほとんどない状
  況である．しかしながら，手続き文書に限れば，80年代にフローチャートで表現することが
  提案され，ルールベースの手法によるフローチャートへの自動変換が試みられている
  \cite{Control.Structures.for.Actions.in.Procedural.Texts.and.PT-Chart}．同様の取り
  組みをレシピに対してより重点的に行った研究もある
  \cite{料理テキスト教材における調理手順の構造化}．
  本論文で述べるレシピ用語の自動認識は，手順書のフローグラフ表現に
  おけるノードの自動推定として用いることが可能である．

\item[応用2] 映像とのアラインメント \\
  近年，大量の写真や映像が一般のインターネットユーザーによって投稿されるようになり，
  その内容を自然言語で自動的に表現するという研究が行われている．その基礎研究として，
  映像と自然言語の自動対応付けの取り組みがある
  \cite{Translating.Video.Content.to.Natural.Language.Descriptions,
    Unsupervised.Alignment.of.Natural.Language.Instructions.with.Video.Segments}．こ
  れらの研究における自然言語処理部分は，主辞となっている名詞を抽出するなどの素朴なもの
  である．
  本論文で述べるレシピ用語の自動認識器により，単語列として表現される様々
  な物体や動作を自動認識することができる．

\end{description}
これらの応用の先には，
レシピの手順書としての構造を考慮し，調理時に適切な箇所を検索して提示を行う，
より柔軟なレシピ検索
\cite{Feature.Extraction.and.Summarization.of.Recipes.using.Flow.Graph}や，レシピの意
味表現と進行中の調理動作の認識結果を用いた調理作業の教示
\cite{Smart.Kitchen:.A.User.Centric.Cooking.Support.System}がより高い精度で
実現できるであろう．

本論文では，まずレシピ用語のアノテーション基準の策定の経緯について述べる．次に，実
際のレシピテキストへのアノテーションの作業体制や環境，および作業者間の一致・不一致につ
いて述べる．最後に，作成したコーパスを用いて自動認識実験を行った結果を提示し，学習コー
パスの大きさによる精度の変化や，一般固有表現認識に対して指摘されるカバレージの重要性を
考慮したアノテーション戦略の可能性について議論する．
本論文で対象とするレシピテキストはユーザ
生成コンテンツ(User Generated Contents; UGC)であり，
そのようなデータを対象とした実際のタグ定義ならびにアノテーション作業についての知見や
レシピ用語の自動認識実験から得られた知見
は，
ネット上への書き込みに対する分析など様々な今日的な課題の解決の際に参考になると考えられ
る．


\section{関連研究}
\label{section_work}

\ref{section_intro}節で述べたとおり，我々の提案する
レシピ用語タグ付与コーパス
は，レシピテキストが単語に分割されていることを
前提としている．本節では，まずレシピテキストに対する自動単語分割の現状について述べる．
次に，系列ラベリングによるレシピ用語の自動認識手法として用いる，
一般的な固有表現認識手法について説明する．
最後に，レシピ用語の自動認識結果の応用について述べる．


\subsection{レシピテキストに対する自動単語分割}

本論文で提案する
レシピ用語タグ付与コーパス
は，各文
のレシピ用語の箇所
が適切に
単語に分割されている
ことを前提としている．したがって，コーパス作成に際しては，
    自動単語分割 \mbox{(森, Neubig, 坪井 2011)} や
形態素解析\cite{形態素解析システム「茶筌」,Conditional.Random.Fields.を用いた日本語形態素解析,日本語形態素解析システムJUMAN使用説明書.version.3.2}など
を前処理として行い，レシピ用語の箇所のみを人手で修正することが必要となる．
    \nocite{点予測による単語分割}
自動単語分割器や形態素解析器をレシピテキストに適用する際に問題となるのは，分野の特殊性
に起因する解析精度の低下である．実際，文献\cite{自然言語処理における分野適応}では，
『現代日本語書き言葉均衡コーパス』
\cite{Balanced.corpus.of.contemporary.written.Japanese2}
から学習した自動単語分割器によるレシピに対する単語分割精度が96.70\%で
あり，学習コーパスと同じ分野のテストコーパスに対する精度(99.32\%)よりも大きく低下する
ことを報告している．この文献ではさらに，10時間の分野適応作業を行い，精度が97.05\%に向
上したことを報告している．

本論文で詳述する
レシピ用語タグ付与コーパス
の構築に際しては，
レシピ用語
となる箇
所の単語境界付与も行うことになる\footnote{後述するIOB2タグは単語に付与されるため，適切な単語境界情報が前提となる．}．
この作業を実際に行う際には，まず前処理としてレシピテキストに対する
自動単語分割を行い，その後人手でレシピ用語となる箇所を確認しながら
タグ付与を行っている．
しかしながら，
レシピ用語
とならない箇所への単語境界
情報付与はアノテーションコストの増加を避けるため行っていない．したがって，自動単語分割
の学習コーパスとしては，
文の一部（レシピ用語となる箇所）にのみ信頼できる単語境界情報が
付与されており，レシピ用語以外の箇所においては信頼性の低い単語境界情報を持つ
部分的単語分割コーパスとみなすことができる．
部分的単語分割コーパスも学習コーパスとすることが可能な自動単語分割器
    (森 他 2011) を用いる場合は，我々のコーパスにより，自動単語分割の精度も向上すると考えられる．


\subsection{固有表現認識}
\label{rw_ner}

一般分野の固有表現タグ付与コーパスとして，新聞等に人名や組織名などのタグを付与したコーパスがす
でに構築されている
\cite{Message.Understanding.Conference.-.6:.A.Brief.History,IREX:.IR.and.IE.Evaluation.Project.in.Japanese}
．\ref{section_intro}~節で述べたように，
本論文で述べる固有表現は単語列であり
，コーパスに対するアノテーションでは，以下の例が示すように
IOB2方式
\cite{Representing.Text.Chunks}
を用いて各単語にタグが付与される．
\begin{quote}
  ９９/Dat-B \ 年/Dat-I \ ３/Dat-I \ 月/Dat-I カルロス/Per-B \ ゴーン/Per-I \ 氏/O が
  日産/Org-B \ の/O \ 社長/O \ に/O \ 就任/O
\end{quote}
ここで，Datは日付，Perは人名，Orgは組織名を意味し，それぞれに最初の単語であることを意
味するB (Begin)や同一種の固有表現の継続を意味するI (Intermediate)が付与されている．さ
らに，O (Other)はいずれの固有表現でもないことを意味する．本論文では，各単語に付与され
るタグをIOB2タグと呼ぶ．また，単語列に与えられる固有表現クラスを固有表現タグ（上の例では
Dat やPerなど）と呼ぶこととする．したがって，IOB2タグの種類数は固有表現タグの2倍より1多
い．これは本論文で取り扱うレシピ用語に関しても同様であり，それぞれをIOB2タグ・レシピ
用語タグと記述する．

自動固有表現認識は，系列ラベリングの問題として解かれることが多い
\cite{A.Maximum.Entropy.Approach.to.Named.Entity.Recognition,Conditional.Random.Fields:.Probabilistic.Models.for.Segmenting.and.Labeling.Sequence.Data,Introduction.to.the.CoNLL-2003.Shared.Task:.Language-Independent.Named.Entity.Recognition}
．一般分野の固有表現認識に対しては，1万文程度の学習コーパスが利用可能な状況では，80\%〜90\%の精度が得られると報
告されている．

レシピの自然言語処理においては，これら一般的分野の固有表現タグセットは有用ではない．出
現する人はほぼ調理者のみであり，人名や組織名は出現することはない．人工物のほとんどは，
食材と道具であり，これらを区別する必要がある．数量表現としては，継続時間と割合を含む量
の表現が重要である．
さらに，一般分野における固有表現タグセットとの重要な差異として，
調理者の行動や食材の挙動・変化を示す用言を区別・認識する必要
\cite{Structural.Analysis.of.Cooking.Preparation.Steps.in.Japanese}
が挙げられる．
このような分析から，我々は
レシピ用語のタグセット
を新たに設計した．
レシピ用語の定義については，
次節以降で詳述する．ただし，多くの固有表現抽出の研究を踏襲し，
レシピ用語は互いに重複しないこととし，
レシピ用語の自動認識
の課題に対しては，一般的分野の固有表現認識と同様の手法を用いることが可能とな
るようにした．


\subsection{レシピ用語の自動認識の応用}

レシピを対象とした自然言語処理の研究は多岐にわたる．ここでは，我々のコーパスが貢献で
きるであろう取り組みに限定して述べる．

山本ら\cite{食材調理法の習得順に関する一検討}は，大量のレシピに対して食材と調理動作の
対を抽出し，調理動作の習得を考慮したレシピ推薦を提案している．この論文では，レシピテキ
ストを形態素解析し，動詞を調理動作とし，予め用意した食材リストにマッチする名詞を食材と
している．食材に対しては，複合語が考慮されており，直前が名詞の場合にはこれを連結する．
この論文での食材と調理動作の表現の認識は非常に素朴であり，未知語の食材名に対応すること
ができないことや，
食材が主語となる動詞（レシピテキストに頻出）を調理動作と誤認する
などの問題点が指摘される．

Hamadaら\cite{Structural.Analysis.of.Cooking.Preparation.Steps.in.Japanese}は，レシピ
を木構造に自動変換することを提案している．変換処理の第一段階として，食材や調理動作の認
識を行っている．しかしながら，認識手法は予め作成された辞書との照合であり，頑健性に乏しい．

以上の先行研究では，いずれも，食材や調理動作等をあらかじめリストとして用意することで
問題が生じていると考えられる．
我々の提案するレシピ用語タグ付与コーパス
，およびそれを学習データとして構築されるレシピ用語の自動認識器
\footnote{http://plata.ar.media.kyoto-u.ac.jp/mori/research/topics/NER/ にて公開・配布している．}
は，その問題を解決
しようとするものである．
加えて，
レシピ用語の自動認識
には，これを実際に行っている調理
映像とのマッチングなどの興味深い応用がある
\footnote{調理映像とのマッチングのような応用においては，
レシピ用語の自動認識だけでなく，
レシピ用語同士の関係を自動認識する技術も必要となるが，本論文において
は議論の対象としない．}
\cite{料理映像の構造解析による調理手順との対
応付け}．映像処理の観点からは，調理は制御された比較的狭い空間で行われるので，カメラな
どの機材の設置が容易であり，作業者が1人であるため重要な事態はほぼ1箇所で進行し，比較的
扱いやすいという利点がある．実際，映像処理の分野では，実際に調理を行っている映像を収録
しアノテーションを行っている
\cite{調理行動モデル化のための調理観測映像へのアノテーション}
．あるレシピの
レシピ用語の自動認識
結果と当該レシピを実施している映像の認識結果とを合わせる
ことで，映像中の食材や動作の名称の推定や，テキスト中の単語列に対応する映像中の領域の推
定（図\ref{figure_0001}参照）を含む自然言語処理以外の分野にも波及する研究課題を実施する
題材となる
．さらに，本論文で詳述するコーパス作成に関する知見は，レ
シピ以外の分野の手順文章においても，映像との統合的処理や新たな機能を持つ検索などの実現
の参考になると考えられる．

\begin{figure}[t]
  \begin{center}
\includegraphics{22-2ia2f1.eps}
  \end{center}
  \caption{レシピテキストと調理映像のマッチング例}
  \label{figure_0001}
\end{figure}


\section{レシピ用語タグセットの定義}
\label{nestd}

\ref{rw_ner}節で述べたとおり，
レシピテキストのように，新聞とは異なる利用目的をもつ言語資源を取り扱う場合，
一般的な固有表現の定義は有用ではない．
そこで
我々はレシピを用いて調理を行う際に必要となるレシピ用語を分類，定義した．
本節で述べるレシピ用語の一部は先行研究
\cite{Structural.Analysis.of.Cooking.Preparation.Steps.in.Japanese}
で用いられていた表現分類を踏襲しているが，
コーパス構築を行う過程で，先行研究における分類だけではカバーできないと判断した
レシピ中の重要表現を新しく定義し，追加した．
レシピ用語タグの一覧を表\ref{tab_NEtag}に示す．
実際のコーパス構築においては各単語にIOB2タグ（\ref{rw_ner}節参照）を
付与するという形でCOOKPAD\footnote{http://cookpad.com}が公開しているレシピの中
から
無作為抽出で選択した
436レシピにアノテーションを行った．
構築したコーパスの詳細を表\ref{table_corpus}に示す．
なお，後述する評価実験では
コーパスを学習・テストに分割して実験を行うため，
表~\ref{table_corpus}には分割後の詳細を示している．
また，アノテーションを行ったコーパス中の
レシピ用語タグ付与数の分布，ならびにタグごとの平均単語長と最大単語長を
表\ref{tab_dist}に示す．
以下では，8種類のレシピ用語タグについて個別に例を挙げながら述べる．
なお，本節以降では簡単の為IOB2タグ形式を用いた表記ではなく，「例） /パイ 生地/F を /焼/Ac く」のように，
「/単語列/レシピ用語タグ名」の形式でレシピ用語タグの範囲を示し，例文を記述する．

\begin{table}[t]
\caption{レシピ用語タグ一覧}
\label{tab_NEtag}
\input{02table01.txt}
\end{table}
\begin{table}[t]
  \caption{レシピ用語タグ付与コーパス}
  \label{table_corpus}
\input{02table02.txt}
\end{table}
\begin{table}[t]
\caption{付与したレシピ用語タグの統計}
\label{tab_dist}
\input{02table03.txt}
\end{table}


\subsection{F: 食材}

レシピテキストにおいては調理対象である食材，ならびに調理を行うための道具が主な人工物
として記述される．中でも食材
は調理における動作の目的語，食材の変化や状態の遷移の主語となるため，レシピに記述さ 
れた手続きの要素として過不足無く抽出されることが望ましい．
また，レシピにおいては，中間食材や食材の集合を番号や記号・代名詞によって表現する事例が
多い．以上を踏まえ，以下に挙げる単語列を『F: 食材』と定義した．
\begin{description}
 \item [食材]\mbox{}\\
	     例） {\bf /チーズ/F}\\
	     例） {\bf /ごま 油/F}
 \item [中間食材]\mbox{}\\
	     例） {\bf /生地/F}\\
	     例） {\bf /サルサ ソース/F}
 \item [食材の一部]\mbox{}\\
	     例） {\bf /じゃがいも/F} の {\bf /皮/F}\\
	     例） {\bf /水分/F} を /切/Ac る
 \item [調理の完成品]\mbox{}\\
	     例） {\bf /卵焼き/F}\\
	     例） {\bf /チーズ ケーキ/F}
 \item [記号・代名詞]\mbox{}\\
	     例） {\bf /1/F} を /フライパン/T に /流し入れ/Ac る\\
	     例） お /鍋/T の {\bf /中身/F} が /ぐつぐつ/Af し て き た ら
 \item [商品名]\mbox{}\\
	     例） {\bf /とろけ る チーズ/F}\\
	     例） {\bf /薄切り ベーコン/F}
\end{description}


\subsection{T: 道具}

鍋，蓋，包丁，コンロなど，調理道具や器等を道具表現とする．
手や指などの体の一部も道具表現になる場合がある．
食せない，量が変化しない点以外は『F: 食材』のルールを踏襲する．

\quad \noindent 例） /3 分/D {\bf /レンジ/T} を /し/Ac て から

ただし，「『T: 道具』（する）」という表現は，後述する『Ac: 調理者の動作』となりうる．
この場合には，『Ac: 調理者の動作』のアノテーションを優先する．

\quad \noindent 例） /3 分/D /レンジ/Ac する

以下に示す「弱火」の例では
「コンロ」「鍋」といった調理に必要な道具が明示されていないが，
実際の調理ではそのような道具を用いて
調理する意味を含んでいるため，道具とする．

\quad \noindent 例） {\bf /弱火/T} で /煮/Ac る

以下の「水」や「手」も道具とする．

\quad \noindent 例） {\bf /水/T} で /洗/Ac って

\quad \noindent 例） {\bf /手/T} で /洗/Ac って


\subsection{Ac: 調理者の動作 / Af: 食材の変化}

『Ac: 調理者の動作』は調理者を主語にとって調理者が行う動作を示す用言であり，
『Af: 食材の変化』は『F: 食材』を主語として食材の変化を示す用言である．
『Ac: 調理者の動作』と『Af: 食材の変化』は異なるレシピ用語として定義されるが，
アノテーションの際には両者を混同しやすい事例が頻出するため，本項でまとめて例を述べる．
いずれも，同一性判定を容易にするために，活用語尾を含めない．
動作を修飾する，「よく」「ざっくり」などの副詞表現も，同様の理由により
レシピ用語
としない．

調理者が行う動作を示す用言を『Ac: 調理者の動作』とする．

\quad \noindent 例） /フライパン/T を {\bf /温め/Ac} る

『F: 食材』を主語としてその変化を示す用言を『Af: 食材の変化』とする．

\quad \noindent 例） {\bf /沸騰/Af} し 始め た ら

使役・否定の助動詞を伴う場合のみ，これらの助動詞語幹までを含めて
『Ac: 調理者の動作』とする．
受動の助動詞を伴う場合，主語が『F: 食材』であれば実際には調理者を主語として
『F: 食材』を対象とした調理行動を行っているとし，『使役，否定』の場合と同様に
助動詞語幹までを含め『Ac: 調理者の動作』とする．
なお，本論文でタグ付与の対象としたレシピテキストにおいて『F: 食材』を主語とした受動態の
事例は確認されなかったため，以下では使役・否定の事例のみを挙げる．

\quad \noindent 例） {\bf /沸騰 さ せ/Ac} た ら

\quad \noindent 例） {\bf /沸騰 し な/Af} い よう に

目的語など格助詞で示される「項」を含めない．

\quad \noindent 例） /皮/F を {\bf /む/Ac} い て

複合動詞は全体を調理動作とする．

\quad \noindent 例） {\bf /ふる/Ac} っ て お い た /薄力 粉/F  を {\bf /振る い いれ/Ac}

開始や完了などをあらわす補助的な動詞は含まない．

\quad \noindent 例） {\bf /煮込/Ac} ん で い く

\quad \noindent 例） {\bf /煮た/Af} っ て く る

動詞派生名詞やサ変名詞などの事態性名詞も動作とする．

\quad \noindent 例） /ねぎ/F を {\bf /みじん切り/Ac} する．

\quad \noindent 例） /ねぎ/F を /みじん切り/Sf に {\bf /する/Ac} ．

『F: 食材』で述べたように，商品名など，実際に行わない用言は『F: 食材』に含める．

\quad \noindent 例） /とろけ る チーズ/F

\quad \noindent 例） {\bf /水溶き/Ac} /片栗粉/F


\subsection{Sf: 食材の様態}

レシピテキストでは，調理の進行度合いや食材の変化を伝えるために個々の時点
における食材の様態が記述される．
『Ac: 調理者の動作』や『Af: 食材の変化』の影響によって食材が変化する（した）状態を表す
表現を『Sf: 食材の様態』とする．

\quad \noindent 例） {\bf /柔らか/Sf} く /な/Af る まで /煮/Ac る

\quad \noindent 例） {\bf /色/Sf} が /変わ/Af る

以下の例に示すように，『Sf: 食材の様態』は，見た目，大きさ，分量などの様々な単語を含ん
でおり，一つのレシピ用語を構成する単語数が多くなりやすい．このため，
\begin{itemize}
 \item アノテーションを行う際に作業内容の一貫性を担保しにくい
 \item 未知の『Sf: 食材の様態』が多く出現する
\end{itemize}
という問題が発生する．
この問題の詳細については3.8節で後述する．

\quad \noindent 例） {\bf /やっと 手 を 入れ られ る くらい/Sf} の お /湯/F

\quad \noindent 例） /にんじん/F を {\bf /だいたい 薄さ ５ ｍｍ/Sf} に /切/Ac る


\subsection{St: 道具の様態}

用意された道具様態の初期状態を表す表現，並びにAcやAfの影響で遷移する（した）状態を表す表
現をStとする．

\quad \noindent 例） {\bf /弱火/St} の /フライパン/T で /炒め/Ac る

\quad \noindent 例） /オーブン/T を {\bf /150 度/St} に /予熱/Ac する

『St: 道具の様態』は，『T: 道具』の例

\quad \noindent 例） {\bf /弱火/T} で /煮/Ac る

と混同しやすいが，文中で調理過程における道具が明示され，
その道具の状態を示している表現を『St: 道具の様態』と定義する．


\subsection{D: 継続時間}

加熱時間や冷却時間など，加工の継続時間を示す．
数字と単位のほか，それらに対する修飾語句も含める．

\quad \noindent 例） {\bf /12 〜 15 分 間/D} /煮込/Ac みます

\quad \noindent 例） {\bf /5 分 くらい/D} 

\quad \noindent 例） {\bf /2 日 後 くらい/D} が /食べ時/Af で す !


\subsection{Q: 分量}

食材の一部を用いた調理動作を行う場合，その一部が量として表される場合にその表現を『Q: 分
量』とする．
数字と単位のほか，それらに対する修飾語句も含める．

\quad \noindent 例） /人参/F  {\bf /３ 〜 ４ ｃｍ くらい/Q} を /鍋/T に /入れ/Ac

\quad \noindent 例） /酒/F  {\bf /大さじ ２/Q} を /加え/Ac


\subsection{レシピ用語タグの付与が困難な事例}
\label{dfne}

1節で述べたように，本論文においてアノテーションの対象とするレシピテキストは推敲が乏しく，
レシピとは関係のない内容も多く含まれる．このため，
本節で述べた
レシピ用語
の定義を用いて実際にアノテーションを行うと，
レシピ用語タグ
を付与するべきか否かの判断に迷う部分が出現する．
とくに，タグ付与数
の多いレシピ用語タグほど，レシピ用語となる表現のバリエーションも多く，
その分アノテーション作業に時間を要すると考えられる（タグ付与数の分布は表\ref{tab_dist}
を参照）．
以下では，レシピ用語タグを付与する際にアノテーションの困難であった事例を列挙し，
現状でのアノテーション処理を述べる．

\begin{itemize}
 \item 入れ子：
表\ref{tab_dist}の平均単語数と最大単語数からわかるとおり，
『Sf: 食材の様態』，『D: 継続時間』，『St: 道具の様態』，『Q: 分量』
は他のレシピ用語タグと比較して
長い単語列となりやすく，以下の例のように入れ子構造が発生することがある．

\quad \noindent 例） /やっと /手/T を 入れ られ る くらい/Sf の お /湯/F

このような場合は，より長い単語列の
レシピ用語タグ
（上述した例では『Sf: 食材の様態』）
       を優先し，アノテーションを行う．
 \item 調理と関係のない記述：食事の感想など，調理とは直接関係の無い記述に調理に関連する
       表現が出現することがある．
       例えば，レシピ中に出現する用言のほとんどは『Ac: 調理者の動作』
       もしくは『Af: 食材の変化』であるが，上述した理由によりそれ以外の用言も存在する．
       これらの表現にはレシピの検索や構造の把握といった応用に
       おいては優先度が低く，また作業者への負担が大きくなるため，すべてOタグを付与する．
       また人名や地域名といった，調理とは直接関係のない固有名詞に
       関しては，本節で述べた各レシピ用語タグの付与対象となる単語列の一部となって
       いない限りOタグを付与する．
 \item 他のレシピIDの参照：まれに他のレシピIDを参照して調理手順や材料を示す事例が見られ
       るが，これらのレシピIDにはOタグを付与し，1つのレシピのみでアノテーション作業を完結させる．
 \item 記述内容の一部だけが実際の調理に対応付けられる：
       「〜ならば，〜する」，「〜する（または〜する）」といった仮定表現や括弧表現など
       には，実際に行われない調理行動を含めた表現が複数レシピに記述されることがある．
       この場合は，実際に行われる調理行動は不明であり，また，一般的な固有表現認識の手
       法ではそれらを区別することはできない．このような事例では，すべての表現に
レシピ用語タグ
を付与する．

\quad \noindent 例） /フライパン/T に /グレープ シードル/F （ また は /オリーブ オイル
       /F ） を ひ い て
\end{itemize}



\section{レシピ用語の自動認識}

固有表現認識タスクは，各単語に対してIOB2タグを推定する，系列ラベリング問題として解く
ことが一般的であり，SVMや点予測などを用いた手法が提案されている\cite{Support.Vector.Machineを用いた日本語固有表現抽出,A.Machine.Learning.Approach.to.Recipe.Text.Processing}．

本節では，
点予測によるIOB2タグ推定と動的計画法による経路探索による手法
\cite{A.Machine.Learning.Approach.to.Recipe.Text.Processing}
を用いて
レシピ用語の自動認識実験
を行い，作成したコーパスの精度を評価する．
また，学習コーパスに現れない未知のレシピ用語の推定事例についての事例を示し，
議論する．
本実験のための学習コーパスならびにテストコーパスとして，
\ref{nestd}節で述べたレシピ用語タグ付与コーパスを用いる（表\ref{table_corpus}参照）．


\subsection{レシピ用語の自動認識と精度評価}
\label{neexp}

本節では点予測によるレシピ用語の自動認識手法
\cite{A.Machine.Learning.Approach.to.Recipe.Text.Processing}
について概説し，自動認識実験の結果と考察を述べる．
まず，
IOB2タグの付与された学習コーパスを用いて
ロジスティック回帰に基づく識別器
\cite{LIBLINEAR:.A.Library.for.Large.Linear.Classification}を構築
し，
テストコーパスの各単語
$w_i$
に対応するIOB2タグ
$t_{j}$
ごとの確率
$s_{i,j}$
を以下の式により推定する．
\[
  s_{i,j} = P_{LR}(t_{j}|\Bdma{x}^{-},w_i,\Bdma{x}^{+}).
\]
$\Bdma{x}^{-} = \cdots x^{-2}x^{-1}, \Bdma{x}^{+} = x^{+1}x^{+2}\cdots$はそれぞれ単語$w_i$の前後の文字列を示す．
本論文で用いるロジスティック回帰識別器の素性の一覧を\tabref{feat_lr}に示す．
表中の$c(x)$は$x$に対応する文字種（漢字，平仮名，片仮名，数字，アルファベット，記号）を得る関数である．

次に，IOB2タグを用いた固有表現はIタグから始まらない
等のタグ制約を適用しながら，各単語までの経路の中で
確率最大となるようにIOB2タグを順に選んでいくことで最適経路を決定し，
自動認識器の最終的な出力とする
（図\ref{figure:NE}参照）．

\begin{table}[b]
\caption{ロジスティック回帰に基づく識別器の素性一覧}
\label{feat_lr}
\input{02table04.txt}
\end{table}

\begin{figure}[b]
  \begin{center}
\includegraphics{22-2ia2f2.eps}
  \end{center}
  \caption{ロジスティック回帰によるタグ確率付与と最適経路（太字部分）の探索図}
  \label{figure:NE}
\end{figure}

\begin{table}[b]
  \caption{IOB2タグ推定精度とレシピ用語タグの自動認識精度とカバレージ}
  \label{table_exp_result}
\input{02table05.txt}
\end{table}

\begin{figure}[t]
  \begin{center}
\includegraphics{22-2ia2f3.eps}
  \end{center}
  \caption{レシピ用語タグごとのカバレージ}
  \label{graph_exp_cov}
\end{figure}

学習コーパスの量を5段階に調節して自動認識実験を
行った結果を表\ref{table_exp_result}に示す．
また，レシピ用語タグ別の評価として，
各タグごとのカバレージを図\ref{graph_exp_cov}に，
自動認識精度（F値）を図\ref{graph_exp_all}
に示す．
ここで，表\ref{table_exp_result}，図\ref{graph_exp_cov}，図\ref{graph_exp_all}
におけるカバレージは，
テストコーパスに出現するIOB2タグあるいはレシピ用語タグのうち，
学習コーパスにも出現したタグの割合（頻度を加味する．）である．
また，表\ref{table_exp_result}におけるIOB2タグ推定精度は，
テストコーパス中のIOB2タグに対する，
自動認識システムが出力したIOB2タグの一致率を示し，
レシピ用語タグの自動認識精度はF値を示している．

表\ref{table_exp_result}から，一般分野の固有表現認識と同様に，
学習コーパスの増加に伴い自動認識精度が向上していることが分かる．
また，学習コーパスの分量が少量の状態で，学習コーパスのテストセットカバレージが
50\%程度の場合であっても，自動認識精度は70\%以上の水準を達成しており，
レシピ用語タグ付与コーパスを用いた
固有表現認識手法が有効に機能していることがわかる．
特に，『D: 継続時間』に関しては，図\ref{graph_exp_cov}と図\ref{graph_exp_all}の該当
タグ部分より，10\%程度の低いカバー率しか達成できていない学習コーパスを利用した場合
においても70\%以上の自動認識精度を達成可能であることがわかる．
この要因として，
『D: 継続時間』が数詞と単位からなる単語列に付与されるレシピ用語タグであるために，
文字並びに文字種を素性とした固有表現認識が効果的に機能しているこ
とが考えられる．

\begin{figure}[t]
  \begin{center}
\includegraphics{22-2ia2f4.eps}
  \end{center}
  \caption{レシピ用語タグごとの自動認識精度}
  \label{graph_exp_all}
\end{figure}

次に，
図\ref{graph_exp_all}から，
『F: 食材』，『T: 道具』，『Ac: 調理者の動作』，『Af: 食材の変化』，の4種類
のタグについては，
一般分野の固有表現認識精度（1万文程度の学習コーパスで80\%〜90\%）と同程度
であり，すでに比較的高い精度が達成
されていることがわかる．
『Sf: 食材の様態』に関しては，『T: 道具』と同程度のアノテーション数があるにも関わらず
精度は70\%程度にとどまっている．
この要因として，『Sf: 食材の様態』には
機能語や別のレシピ用語タグの一部がしばしば含まれており，長い単語列となっている
（\ref{dfne}節を参照）
ことが自動認識を困難にしているということが考えられる．
『St: 道具の様態』，『D: 継続時間』，『Q: 分量』については，『D: 継続時間』のみ
90\%を超えているが，他の2種類に関しては60\%〜70\%の精度である． 
また，表\ref{tab_NEtag}から，上述した3種類のタグは他のタグに比較して
学習コーパス中のアノテーション数が不十分であることがわかる．
今後は，これらのタグに対するアノテーションを増加させること
で容易に精度を向上させることが可能であろう．
また，レシピ以外の分野における固有表現認識タスクにおいても，
本実験で示したようにタグごとの検討を行って
優先的にアノテーションするべきタグを選択し，
効率的に固有表現認識器を構築することが可能である．


\subsection{未知のレシピ用語タグの推定事例}
\label{est_unk}

本節では，
上述のレシピ用語の自動認識
実験において，
テストセットにおける未知の
レシピ用語
に対し，正しくタグが推定されているか
どうかについて，その事例を示し，議論する．以下に示す自動推定結果の例では，
学習セットに現れなかった未知の
レシピ用語
を太字で示す．

\begin{itemize}
 \item 未知の『Sf: 食材の様態』が出現する場合，ニ格を伴う場合や食材の切り方を示す場合に
       は，識別器によって適切にタグ推定が行われている．

\quad \noindent 例） {\bf /サイコロ 切り/Sf} に する/Ac ．

       その一方で，
\ref{dfne}節で述べた
       『Sf: 食材の様態』のような長い単語列となるレシピ用語タグ
の自動推定精度は下がる
       傾向にある．以下の例において，正しい『Sf: 食材の様態』の範囲は「１ 〜 ２ ｍｍ 位」
       であるが，自動推定では「１ 〜 ２」と誤って推定されている．

\quad \noindent 例） {\bf /１ 〜 ２/Sf} ｍｍ 位 で ．

       テストセットでは現れなかったが，
\ref{dfne}
節
に示したようにさらに長い単語列を『Sf: 食材の様態』とする場合
       もあるため，『Sf: 食材の様態』の自動推定は他の
レシピ用語タグ
に比較して困難に
       なると考えられる．

 \item 『Ac: 調理者の動作』に関しては，以下の例のように1文中において複数の単語が連続で
       Acと推定される事例（「所々」
       はAcではないため，誤り）が見られた．

\quad \noindent 例） 皮/F を {\bf /所々/Ac} /剥/Ac き

レシピテキストにおいては，「『F: 食材』を
       『Ac: 調理者の動作』」という表現が多く出現することが原因であると考えられるが，レ
       シピの構造を把握するなどの応用を考えると，誤った『Ac: 調理者の動作』が増加するこ
       とは応用全体の精度低下につながるため，品詞情報を識別器の素性に加えるなどの対策
       が必要になると考えられる．
\end{itemize}


\section{実際のアノテーション作業とその考察}
\label{section_annotation}

本節では，実際にコーパスを作成した過程で得られた知見として，まずコーパスのアノテー
ション手順について述べる．
次に，レシピ用語の自動認識器の精度を効率的に向上させる
ためのアノテーション戦略のシミュレーションについて述べる．


\subsection{アノテーション手順}
\label{annotation_proc}

大量のレシピテキストに対して研究者がレシピ用語タグを付与することは事実上不可能で
あるため，まずアノテーション基準を決めた上で作業者にアノテーションを行ってもらうこ
とが一般的である．
しかしながら，
\ref{dfne}節で述べた通り，レシピ用語タグによっては付与が困難な事例が存在するた
め，適切な手順を用いて効率的に作業を行う必要がある．
本節では，\ref{nestd}節で述べたレシピ用語タグの基準に従い，作業
者を含めた全体として効率的なアノテーションを行うための手順を述べる．
また，管理者と作業者の作業一致率を測ることによりその有効性を評価する．

本研究におけるレシピ用語アノテーションの作業にあたっては，図\ref{figure_0002}のよ
うな固有表現アノテーションツール
\footnote{http://plata.ar.media.kyoto-u.ac.jp/mori/research/topics/PNAT/ にて公
開している．} 
を利用し，各単語にIOB2タグの付与を行った
\footnote{なお，図\ref{figure_0002}に示したツールは，品詞・係り受け情報を付与す
る機能も備えているが，本論文におけるコーパス作成では用いておらず，図
\ref{figure_0002}中の品詞・係り受け情報は自動推定による結果をそのまま表示してい
る．}．図\ref{figure_0002}では，「鍋を熱して…」の「熱」という動詞に，『Ac: 調理者の
動作』の開始タグである「Ac-B」を割り当てている．

\begin{figure}[b]
  \begin{center}
\includegraphics{22-2ia2f5.eps}
  \end{center}
  \caption{固有表現アノテーションツール}
  \label{figure_0002}
\end{figure}

アノテーション作業の管理手順は以下のとおりである．
\begin{enumerate}
\item 管理者がレシピ用語の定義（\ref{nestd}節参照）を作成する．
      本研究においては，管理者1名（筆者）と研究者3人を合わせた4人で議論を行い，
      レシピ用語の定義を作成した．
\item 管理者が実際にレシピ用語の定義に従ってアノテーションを行い，サンプルデータを作成
  する．
\item 作業者にレシピ用語の定義とサンプルを渡し，一定時間
   \footnote{具体的な期間は管理者ならびに作業者の都合に準ずるが，
      本手順では一日分の作業を一単位とした．}のアノテーション作業を行ってもらう．
\item 管理者は作業者のアノテーション結果に対するチェックを行う．この際，作業者の作
  業結果と管理者がさらに修正を加えたアノテーション結果の間で作業一致率を測る．管理者
  は必要に応じて作業者にアノテーション基準に関するコメントを返し，
      レシピ用語の定義並びにサンプルの修正・更新を行う．
\item (3), (4)を繰り返す．
\end{enumerate}

本論文を執筆するにあたり，作業者にアノテーションを依頼したコーパスの一部（\ref{nestd}
節の表~\ref{table_corpus}で示した436レシピのうち，初めにアノテーションを行った40レシ
ピ）を対象として，上述した手順に従って4日間（1回$\times$ 4日）のアノテーション作業管理を
行い，管理者
1名（筆者）と作業者1名
との作業一致率を測った．
この際，作業者は管理者と同様に，全ての種類のタグに関するアノテーションを担当した．
作業一致率[\%]は，
\[
\frac{\mbox{作業者と管理者の付与したIOB2タグの一致数}}{単語数} \times 100
\]
で求められる．

\begin{table}[b]
  \caption{IOB2タグ付与の作業一致率}
  \label{table_conc}
\input{02table06.txt}
\vspace{-0.5\Cvs}
\end{table}

結果を表\ref{table_conc}に示す．
また，表\ref{table_conc}のうち，4日目の作業におけるIOB2タグごとの作業一致率を
表\ref{tab_conc_tag}に示す．
表\ref{table_conc}より，上述した手順に従うことで管理者・作業者間の
作業一致率が向上し，最終的にIOB2タグの自動認識精度
（表\ref{table_exp_result}参照）を有意に上回ることがわかる．
また，表\ref{tab_conc_tag}より，4日目には
事例の少ないSt-B，St-Iを除く全てのIOB2タグにおいて作業一致率が91\%以上となっていること
がわかる．以上の結果より，
作業者にアノテーションを任せることで自動認識の精度向上を図ることが可能であることを確認
した．

\begin{table}[t]
\caption{IOB2タグごとの作業一致率（4日目）}
\label{tab_conc_tag}
\input{02table07.txt}
\end{table}


\subsection{効率的な精度向上を目的としたアノテーション作業のシミュレーション}

前項で述べたアノテーション基準の確定の過程の結果，少量ながらレシピ用語のアノテー
ションがなされたコーパスが得られる．
\ref{section_intro}節で述べたような応用を考えると，短期間での自動認識
精度の向上が重要である．一般分野の固有表現の自動認識においては，
人名・組織名・地名のような
固有表現のカバレージを上げることで高い精度を達成することが可能である
\cite{Japanese.Named.Entity.Extraction.Evaluation.-.Analysis.of.Results.-}
．
これは，レシピ用語の自動認識においても同様であろうと推測される．
本節では，カバレージを重視した簡単なアノテーション戦略につい
て，シミュレーションの結果とともに議論する．
なお，レシピテキストを対象とした実際の
アノテーションでは，単語分割境界ならびにレシピ用語となる単語列の範囲
を決定してからタグを付与する必要があるが，
本節で述べるシミュレーションには上述の2種類の情報があらかじめ付与されている状態のコーパ
スを用いているため，実際のアノテーション作業にそのまま適用できるものではない．

カバレージを重視すると，新しいレシピ用語に集中的にアノテーションすることになる．
結果として，文中の一部のレシピ用語にのみアノテーションされた部分的アノテーション
コーパス\cite{Word-based.Partial.Annotation.for.Efficient.Corpus.Construction}が得ら
れる．逆に，アノテーション基準の確定の過程で得られるコーパスは，文中の全てのレシピ
用語にアノテーションされたフルアノテーションコーパスである．

カバレージを重視した簡単なアノテーション戦略と通常のアノテーション方法を比較するため
に，次のようなシミュレーションを行った．まず，我々の作成したレシピ用語タグ付与
コーパス（表\ref{table_corpus}参照）のうち，学習コーパスを$C_f$と$C_a$に2等分し，$C_f$を既に作成済みのフルアノ
テーションコーパス，$C_a$をこれからアノテーションを行う単語分割済みコーパスとみな
す．ここで，$C_f$はレシピ用語タグの定義を確定する際に得られる少量のフルアノテー
ションコーパスを，$C_a$はカバレージを優先してアノテーションを行う追加用コーパスを想定
している．
本実験では$C_a$に対して，以下に示す2種類の方法でコーパス
アノテーションのシミュレーションを行う．
$C_f$と$C_a$の一部を合わせたものを学習コーパスとしてレシピ用語の自動認識精度を
測った．
\begin{description}

\item [Full:] $C_a$に対して先頭から順に全ての単語に対してIOB2タグのアノテーションを行
  うと想定する．具体的には，$C_a$を10分割し，$C_f$に$C_a$の$k/10$ $(k = 0, 1,
  \cdots, 10)$を追加したものを学習コーパスとする．

\item [Part:] カバレージを重視したアノテーション戦略として，各レシピ用語が$C_f$と
  $C_a$の合計において$A_{max} \in \{0,1,2,5,10,20,50,\infty\}$回アノテーションされる
  ように$C_a$を先頭から部分的にアノテーションする
．ただし出現頻度が$A_{max}$未満のレ
  シピ用語に対しては，すべての出現箇所に対してアノテーションする．この結果得られ
  る$C_a$を$C_f$に追加したものを学習コーパスとする．$A_{max} = 1$であれば，最少のア
  ノテーション数で，手法{\bf Full}で$C_a$をすべてアノテーションした場合($k=10$)とレシ
  ピ用語のカバレージが等しくなる．
\end{description}
なお，手法{\bf Part}における$A_{max}=0$と手法{\bf Full}の追加コーパスが0/10の状態は同
じものであり，どちらも追加コーパスの無い状態である（つまり$C_f$のみ）．
また，手法{\bf Part}におけ
る$A_{max} = \infty$のときは手法{\bf Full}において追加コーパスが10/10の状態と同じであ
り，どちらも$C_a$の全ての単語にアノテーションを行ったものを追加コーパスとする状
態である．ここでのシミュレーションでは，$C_a$が人手によりフルアノテーションされているの
で非常に少量であるが，実際にアノテーションを行う状況では$C_a$は利用可能な全ての生
のレシピテキストであり，非常に大きい．つまり，手法{\bf Full}における10/10の追加コーパ
スを作成することは現実的ではないことに留意されたい．

本実験の結果を図\ref{figure_partgraph}に示す．
図\ref{figure_partgraph}における横軸は各手法におけるIOB2タグの
アノテーション回数を示しており，これはアノテーションにおける作業時間を
想定したものである．しかしながら
，実際のアノテーションにおいては，アノテーション箇所ごとの判断の難しさの違い，
\ref{annotation_proc}節で示した各アノテーション手順ごとの所要時間，などの要因
により，
必ずしも正確な作業時間を反映しているものではないことに留意されたい．
図\ref{figure_partgraph}から，手法{\bf
Full}の1/10と2/10は不安定（1/10から2/10に増量すると精度が低下している）ではあるが，全体
の傾向からカバレージを最重要に考えて，各レシピ用語について1回のアノテーションを行
う場合は，{\bf Part}の$A_{max} = 1$と大差はない．しかし，手法{\bf Part}において
$A_{max} \geq 2$とした場合に，手法{\bf Full}において同じ単語数のアノテーションをする
場合に比較してより高い精度が得られることがわかる．つまり，数回の出現に対してアノテー
ションすることで多様な出現文脈が学習できるようにしつつ，高いカバレージを確保するアノ
テーション戦略が自動認識の精度向上には有効であると期待される．

\begin{figure}[t]
  \begin{center}
\includegraphics{22-2ia2f6.eps}
  \end{center}
  \caption{カバレージを重視したアノテーションのシミュレーション}
  \label{figure_partgraph}
\end{figure}

実際のアノテーションにおいては，上述の通り$C_a$のサイズは非常に大きいため，この差はよ
り顕著になるであろう．さらに，上述の「簡単な戦略」はアノテーション戦略のシミュレーショ
ンに過ぎな
い．本論文でのスコープ外ではあるが，能動学習等に基づくより効率的なアノテーション戦略
が存在すると考えられる．基準が確定した後の精度向上においては，アノテーション作業を考
慮に入れた効率的なアノテーション戦略の研究が重要である．


\section{おわりに}

本論文では，レシピテキストを対象としたレシピ用語タグの定義について述べた．
この定義にし
たがって，実際にアノテーションを行い，定義が十分であることを確かめた．また，作成したコー
パスを用いてレシピ用語の自動認識実験を行い，認識精度を測定した．自動認識の精度は十
分高く，
作成したコーパスは
\cite{Structural.Analysis.of.Cooking.Preparation.Steps.in.Japanese}
や
\cite{Translating.Video.Content.to.Natural.Language.Descriptions,Unsupervised.Alignment.of.Natural.Language.Instructions.with.Video.Segments}
などのレシピテキストを対象とする応用の精度向上に有用であると考えられる．

さらに，人手によるアノテーションの過程で出現した判断の難しい事例や，自動認識の結果得ら
れる学習データに含まれない事例を観察し，提案するレシピ用語の定義についての議論を行った．

加えて，実際のアノテーション作業についても説明し，カバレージを重視した単純な戦略で部分
的アノテーションコーパスのシミュレーションを行った．
今後の課題として，能動学習等に基づくより効率的なアノテーションを行うことが挙げられる．


\acknowledgment

本研究の一部はJSPS科研費26280084，24240030，26280039の助成を受けて実施した．
ここに謝意を表する．


\bibliographystyle{jnlpbbl_1.5}
\begin{thebibliography}{}

\bibitem[\protect\BCAY{Borthwick}{Borthwick}{1999}]{A.Maximum.Entropy.Approach.to.Named.Entity.Recognition}
Borthwick, A. \BBOP 1999\BBCP.
\newblock {\Bem A Maximum Entropy Approach to Named Entity Recognition}.
\newblock Ph.D.\ thesis, New York University.

\bibitem[\protect\BCAY{Chinchor}{Chinchor}{1998}]{Overview.of.MUC-7/MET-2}
Chinchor, N.~A. \BBOP 1998\BBCP.
\newblock \BBOQ Overview of MUC-7/MET-2.\BBCQ\
\newblock In {\Bem Proceedings of the 7th Message Understanding Conference}.

\bibitem[\protect\BCAY{江里口}{江里口}{1999}]{固有表現定義の問題点}
江里口善生 \BBOP 1999\BBCP.
\newblock 固有表現定義の問題点.\
\newblock \Jem{IREXワークショップ予稿集}, \mbox{\BPGS\ 125--128}.

\bibitem[\protect\BCAY{Fan, Chang, Hsieh, Wang, \BBA\ Lin}{Fan
  et~al.}{2008}]{LIBLINEAR:.A.Library.for.Large.Linear.Classification}
Fan, R.-E., Chang, K.-W., Hsieh, C.-J., Wang, X.-R., \BBA\ Lin, C.-J. \BBOP
  2008\BBCP.
\newblock \BBOQ {LIBLINEAR}: A Library for Large Linear Classification.\BBCQ\
\newblock {\Bem Journal of Machine Learning Research}, {\Bbf 9}, \mbox{\BPGS\
  1871--1874}.

\bibitem[\protect\BCAY{Finkel \BBA\ Manning}{Finkel \BBA\
  Manning}{2009}]{Nested.Named.Entity.Recognition}
Finkel, J.~R.\BBACOMMA\ \BBA\ Manning, C.~D. \BBOP 2009\BBCP.
\newblock \BBOQ Nested Named Entity Recognition.\BBCQ\
\newblock In {\Bem Proceedings of the 2009 Conference on Empirical Methods in
  Natural Language Processing}, \mbox{\BPGS\ 141--150}.

\bibitem[\protect\BCAY{Grishman \BBA\ Sundheim}{Grishman \BBA\
  Sundheim}{1996}]{Message.Understanding.Conference.-.6:.A.Brief.History}
Grishman, R.\BBACOMMA\ \BBA\ Sundheim, B. \BBOP 1996\BBCP.
\newblock \BBOQ Message Understanding Conference - 6: A Brief History.\BBCQ\
\newblock In {\Bem Proceedings of the 16th International Conference on
  Computational Linguistics}.

\bibitem[\protect\BCAY{Hamada, Ide, Sakai, \BBA\ Tanaka}{Hamada
  et~al.}{2000}]{Structural.Analysis.of.Cooking.Preparation.Steps.in.Japanese}
Hamada, R., Ide, I., Sakai, S., \BBA\ Tanaka, H. \BBOP 2000\BBCP.
\newblock \BBOQ Structural Analysis of Cooking Preparation Steps in
  Japanese.\BBCQ\
\newblock In {\Bem Proceedings of the 5th International Workshop on Information
  Retrieval with Asian Languages}, \mbox{\BPGS\ 157--164}.

\bibitem[\protect\BCAY{浜田\JBA 井手\JBA 坂井\JBA 田中}{浜田 \Jetal
  }{2002}]{料理テキスト教材における調理手順の構造化}
浜田玲子\JBA 井手一郎\JBA 坂井修一\JBA 田中英彦 \BBOP 2002\BBCP.
\newblock 料理テキスト教材における調理手順の構造化.\
\newblock \Jem{電子情報通信学会論文誌}, {\Bbf J85-DII}  (1), \mbox{\BPGS\
  79--89}.

\bibitem[\protect\BCAY{Hashimoto, Mori, Funatomi, Yamakata, Kakusho, \BBA\
  Minoh}{Hashimoto
  et~al.}{2008}]{Smart.Kitchen:.A.User.Centric.Cooking.Support.System}
Hashimoto, A., Mori, N., Funatomi, T., Yamakata, Y., Kakusho, K., \BBA\ Minoh,
  M. \BBOP 2008\BBCP.
\newblock \BBOQ Smart Kitchen: A User Centric Cooking Support System.\BBCQ\
\newblock In {\Bem Proceedings of the 12th Information Processing and
  Management of Uncertainty in Knowledge-Based Systems}, \mbox{\BPGS\
  848--854}.

\bibitem[\protect\BCAY{橋本\JBA 大岩\JBA 舩冨\JBA 上田\JBA 角所\JBA 美濃}{橋本
  \Jetal }{2009}]{調理行動モデル化のための調理観測映像へのアノテーション}
橋本敦史\JBA 大岩美野\JBA 舩冨卓哉\JBA 上田真由美\JBA 角所考\JBA 美濃導彦 \BBOP
  2009\BBCP.
\newblock 調理行動モデル化のための調理観測映像へのアノテーション.\
\newblock \Jem{第1回データ工学と情報マネジメントに関するフォーラム}.

\bibitem[\protect\BCAY{工藤\JBA 山本\JBA 松本}{工藤 \Jetal
  }{2004}]{Conditional.Random.Fields.を用いた日本語形態素解析}
工藤拓\JBA 山本薫\JBA 松本裕治 \BBOP 2004\BBCP.
\newblock Conditional Random Fields を用いた日本語形態素解析.\
\newblock \Jem{情報処理学会研究報告，\textbf{NL161}}.

\bibitem[\protect\BCAY{Lafferty, McCallum, \BBA\ Pereira}{Lafferty
  et~al.}{2001}]{Conditional.Random.Fields:.Probabilistic.Models.for.Segmenting.and.Labeling.Sequence.Data}
Lafferty, J., McCallum, A., \BBA\ Pereira, F. \BBOP 2001\BBCP.
\newblock \BBOQ Conditional Random Fields: Probabilistic Models for Segmenting
  and Labeling Sequence Data.\BBCQ\
\newblock In {\Bem Proceedings of the 18th ICML}.

\bibitem[\protect\BCAY{Maekawa, Yamazaki, Ogiso, Maruyama, Ogura, Kashino,
  Koiso, Yamaguchi, Tanaka, \BBA\ Den}{Maekawa
  et~al.}{2014}]{Balanced.corpus.of.contemporary.written.Japanese2}
Maekawa, K., Yamazaki, M., Ogiso, T., Maruyama, T., Ogura, H., Kashino, W.,
  Koiso, H., Yamaguchi, M., Tanaka, M., \BBA\ Den, Y. \BBOP 2014\BBCP.
\newblock \BBOQ Balanced Corpus of Contemporary Written Japanese.\BBCQ\
\newblock {\Bem Language Resources and Evaluation}, {\Bbf 48}  (2),
  \mbox{\BPGS\ 345--371}.

\bibitem[\protect\BCAY{松本}{松本}{1996}]{形態素解析システム「茶筌」}
松本裕治 \BBOP 1996\BBCP.
\newblock 形態素解析システム「茶筌」.\
\newblock \Jem{情報処理}, {\Bbf 41}  (11), \mbox{\BPGS\ 1208--1214}.

\bibitem[\protect\BCAY{松本\JBA 黒橋\JBA 山地\JBA 妙木\JBA 長尾}{松本 \Jetal
  }{1997}]{日本語形態素解析システムJUMAN使用説明書.version.3.2}
松本裕治\JBA 黒橋禎夫\JBA 山地治\JBA 妙木裕\JBA 長尾真 \BBOP 1997\BBCP.
\newblock \Jem{日本語形態素解析システムJUMAN使用説明書 version 3.2}.
\newblock 京都大学工学部長尾研究室.

\bibitem[\protect\BCAY{三浦\JBA 高野\JBA 浜田\JBA 井手\JBA 坂井\JBA 田中}{三浦
  \Jetal }{2003}]{料理映像の構造解析による調理手順との対応付け}
三浦宏一\JBA 高野求\JBA 浜田玲子\JBA 井手一郎\JBA 坂井修一\JBA 田中英彦 \BBOP
  2003\BBCP.
\newblock 料理映像の構造解析による調理手順との対応付け.\
\newblock \Jem{電子情報通信学会論文誌}, {\Bbf J86-DII}  (11), \mbox{\BPGS\
  1647--1656}.

\bibitem[\protect\BCAY{Momouchi}{Momouchi}{1980}]{Control.Structures.for.Actions.in.Procedural.Texts.and.PT-Chart}
Momouchi, Y. \BBOP 1980\BBCP.
\newblock \BBOQ Control Structures for Actions in Procedural Texts and
  PT-Chart.\BBCQ\
\newblock In {\Bem Proceedings of the 8th International Conference on
  Computational Linguistics}, \mbox{\BPGS\ 108--114}.

\bibitem[\protect\BCAY{森\JBA {Neubig, G.}\JBA 坪井}{森 \Jetal
  }{2011}]{点予測による単語分割}
森信介\JBA {Neubig, G.}\JBA 坪井祐太 \BBOP 2011\BBCP.
\newblock 点予測による単語分割.\
\newblock \Jem{情報処理学会論文誌}, {\Bbf 52}  (10), \mbox{\BPGS\ 2944--2952}.

\bibitem[\protect\BCAY{森}{森}{2012}]{自然言語処理における分野適応}
森信介 \BBOP 2012\BBCP.
\newblock 自然言語処理における分野適応.\
\newblock \Jem{人工知能学会誌}, {\Bbf 27}  (4).

\bibitem[\protect\BCAY{Mori, Sasada, Yamakata, \BBA\ Yoshino}{Mori
  et~al.}{2012}]{A.Machine.Learning.Approach.to.Recipe.Text.Processing}
Mori, S., Sasada, T., Yamakata, Y., \BBA\ Yoshino, K. \BBOP 2012\BBCP.
\newblock \BBOQ A Machine Learning Approach to Recipe Text Processing.\BBCQ\
\newblock In {\Bem Proceedings of the 1st Cooking with Computer Workshop},
  \mbox{\BPGS\ 29--34}.

\bibitem[\protect\BCAY{Naim, Song, Liu, Kautz, Luo, \BBA\ Gildea}{Naim
  et~al.}{2014}]{Unsupervised.Alignment.of.Natural.Language.Instructions.with.Video.Segments}
Naim, I., Song, Y.~C., Liu, Q., Kautz, H., Luo, J., \BBA\ Gildea, D. \BBOP
  2014\BBCP.
\newblock \BBOQ Unsupervised Alignment of Natural Language Instructions with
  Video Segments.\BBCQ\
\newblock In {\Bem Proceedings of the 28th National Conference on Artificial
  Intelligence}.

\bibitem[\protect\BCAY{Neubig \BBA\ Mori}{Neubig \BBA\
  Mori}{2010}]{Word-based.Partial.Annotation.for.Efficient.Corpus.Construction}
Neubig, G.\BBACOMMA\ \BBA\ Mori, S. \BBOP 2010\BBCP.
\newblock \BBOQ Word-based Partial Annotation for Efficient Corpus
  Construction.\BBCQ\
\newblock In {\Bem Proceedings of the 7th International Conference on Language
  Resources and Evaluation}.

\bibitem[\protect\BCAY{Rohrbach, Qiu, Titov, Thater, Pinkal, \BBA\
  Schiele}{Rohrbach
  et~al.}{2013}]{Translating.Video.Content.to.Natural.Language.Descriptions}
Rohrbach, M., Qiu, W., Titov, I., Thater, S., Pinkal, M., \BBA\ Schiele, B.
  \BBOP 2013\BBCP.
\newblock \BBOQ Translating Video Content to Natural Language
  Descriptions.\BBCQ\
\newblock In {\Bem Proceedings of the 14th International Conference on Computer
  Vision}.

\bibitem[\protect\BCAY{Sang \BBA\ Meulder}{Sang \BBA\
  Meulder}{2003}]{Introduction.to.the.CoNLL-2003.Shared.Task:.Language-Independent.Named.Entity.Recognition}
Sang, E. F. T.~K.\BBACOMMA\ \BBA\ Meulder, F.~D. \BBOP 2003\BBCP.
\newblock \BBOQ Introduction to the CoNLL-2003 Shared Task:
  Language-Independent Named Entity Recognition.\BBCQ\
\newblock In {\Bem Proceedings of the 7th Conference on Computational Natural
  Language Learning}, \mbox{\BPGS\ 142--147}.

\bibitem[\protect\BCAY{Sekine \BBA\ Eriguchi}{Sekine \BBA\
  Eriguchi}{2000}]{Japanese.Named.Entity.Extraction.Evaluation.-.Analysis.of.Results.-}
Sekine, S.\BBACOMMA\ \BBA\ Eriguchi, Y. \BBOP 2000\BBCP.
\newblock \BBOQ Japanese Named Entity Extraction Evaluation - Analysis of
  Results -.\BBCQ\
\newblock In {\Bem Proceedings of the 18th International Conference on
  Computational Linguistics}.

\bibitem[\protect\BCAY{Sekine \BBA\ Isahara}{Sekine \BBA\
  Isahara}{2000}]{IREX:.IR.and.IE.Evaluation.Project.in.Japanese}
Sekine, S.\BBACOMMA\ \BBA\ Isahara, H. \BBOP 2000\BBCP.
\newblock \BBOQ IREX: IR and IE Evaluation Project in Japanese.\BBCQ\
\newblock In {\Bem Proceedings of the 2nd International Conference on Language
  Resources and Evaluation}, \mbox{\BPGS\ 1977--1980}.

\bibitem[\protect\BCAY{自然言語処理特集号編集委員会}{自然言語処理特集号編集委員会}{2014}]{自然言語処理特集号}
自然言語処理特集号編集委員会\JED\ \BBOP 2014\BBCP.
\newblock \Jem{自然言語処理, \textbf{21} (2)}.

\bibitem[\protect\BCAY{Tateisi, Kim, \BBA\ Ohta}{Tateisi
  et~al.}{2002}]{The.GENIA.Corpus:.an.Annotated.Research.Abstract.Corpus.in.Molecular.Biology.Domain}
Tateisi, Y., Kim, J.-D., \BBA\ Ohta, T. \BBOP 2002\BBCP.
\newblock \BBOQ The GENIA Corpus: An Annotated Research Abstract Corpus in
  Molecular Biology Domain.\BBCQ\
\newblock In {\Bem Proceedings of the HLT}, \mbox{\BPGS\ 73--77}.

\bibitem[\protect\BCAY{Tjong, Sang, \BBA\ Veenstra}{Tjong
  et~al.}{1999}]{Representing.Text.Chunks}
Tjong, E.~F., Sang, K., \BBA\ Veenstra, J. \BBOP 1999\BBCP.
\newblock \BBOQ Representing Text Chunks.\BBCQ\
\newblock In {\Bem Proceedings of the 9th European Chapter of the Association
  for Computational Linguistics}, \mbox{\BPGS\ 173--179}.

\bibitem[\protect\BCAY{山田\JBA 工藤\JBA 松本}{山田 \Jetal
  }{2002}]{Support.Vector.Machineを用いた日本語固有表現抽出}
山田寛康\JBA 工藤拓\JBA 松本裕治 \BBOP 2002\BBCP.
\newblock Support Vector Machineを用いた日本語固有表現抽出.\
\newblock \Jem{情報処理学会論文誌}, {\Bbf 43}  (1), \mbox{\BPGS\ 44--53}.

\bibitem[\protect\BCAY{Yamakata, Imahori, Sugiyama, Mori, \BBA\
  Tanaka}{Yamakata
  et~al.}{2013}]{Feature.Extraction.and.Summarization.of.Recipes.using.Flow.Graph}
Yamakata, Y., Imahori, S., Sugiyama, Y., Mori, S., \BBA\ Tanaka, K. \BBOP
  2013\BBCP.
\newblock \BBOQ Feature Extraction and Summarization of Recipes using Flow
  Graph.\BBCQ\
\newblock In {\Bem Proceedings of the 5th International Conference on Social
  Informatics}, LNCS 8238, \mbox{\BPGS\ 241--254}.

\bibitem[\protect\BCAY{山本\JBA 中岡\JBA 佐藤}{山本 \Jetal
  }{2013}]{食材調理法の習得順に関する一検討}
山本修平\JBA 中岡義貴\JBA 佐藤哲司 \BBOP 2013\BBCP.
\newblock 食材調理法の習得順に関する一検討.\
\newblock \Jem{電子情報通信学会技術研究会報告}, {\Bbf 113}  (214), \mbox{\BPGS\
  31--36}.

\end{thebibliography}


\begin{biography}

\bioauthor{笹田　鉄郎}{
 2007年京都大学工学部電気電子工学科卒業．
 2009年同大学院情報学研究科修士課程修了．
 同年同大学院博士後期課程に進学．
 2012年同大学院情報学研究科博士後期課程単位取得認定退学．
 京都大学学術情報メディアセンター教務補佐員．
 現在に至る．
 自然言語処理に関する研究に従事．
 言語処理学会，情報処理学会各会員．
 }

 \bioauthor{森　　信介}{
 1998年京都大学大学院工学研究科電子通信工学専攻博士後期課程修了． 
 同年日本アイ・ビー・エム株式会社入社．
 2007年より京都大学学術情報メディアセンター准教授．
 京都大学博士（工学）．
 音声言語処理および自然言語処理に関する研究に従事．
 1997年情報処理学会山下記念研究賞受賞．
 2010年，2013年情報処理学会論文賞受賞．
 2010年第58回電気科学技術奨励賞．
 情報処理学会，言語処理学会各会員．
 }

 \bioauthor{山肩　洋子}{
 2000年京都大学工学部情報学科卒業．
 2002年同大学大学院情報学研究科修士課程修了．
 2005年同大学院博士後期課程単位認定退学，
 2005〜2006年京都大学学術情報メディアセンター研究員，
 2006〜2010年情報通信研究機構専攻研究員，
 2010〜2011年京都大学特定講師，
 2011年京都大学准教授，
 2014年同大学特定准教授．
 博士（情報学）．
 マルチメディア情報処理の研究に従事．
 電子情報通信学会，人工知能学会会員．
 }

 \bioauthor{前田　浩邦}{
 2012年京都大学理学部卒業．
 2014年同大学院情報学研究科修士課程修了．
 サイボウズ株式会社勤務．
 現在に至る．
 }

 \bioauthor{河原　達也}{
 1987年京都大学工学部情報工学科卒業．
 1989年同大学院修士課程修了．
 1990年同博士後期課程退学．
 同年京都大学工学部助手．
 1995年同助教授．
 1998年同大学情報学研究科助教授．
 2003年同大学学術情報メディアセンター教授．
 現在に至る．
 音声言語処理，特に音声認識及び対話システムに関する研究に従事．
 京大博士（工学）．
 科学技術分野の文部科学大臣表彰（2012年度），
 日本音響学会から粟屋潔学術奨励賞（1997年度），
 情報処理学会から坂井記念特別賞（2000年度），喜安記念業績賞（2011年度），論文賞（2012年度）
 を受賞．
 IEEE SPS Speech TC委員，
 IEEE ASRU 2007 General Chair，
 INTERSPEECH 2010 Tutorial Chair，
 IEEE ICASSP 2012 Local Arrangement Chair，
 言語処理学会理事，
 情報処理学会音声言語情報処理研究会主査，
 APSIPA理事，
 情報処理学会理事
 を歴任．
 情報処理学会，日本音響学会，電子情報通信学会，人工知能学会，言語処理学会，IEEE，ISCA，APSIPA 各会員．
 }

\end{biography}



\biodate


\end{document}
