    \documentclass[japanese]{jnlp_1.4}
\usepackage{jnlpbbl_1.3}
\usepackage[dvipdfm]{graphicx}
\usepackage{amsmath}
\usepackage{array}


\Volume{24}
\Number{1}
\Month{February}
\Year{2017}

\received{2016}{5}{20}
\revised{2016}{8}{17}
\accepted{2016}{10}{13}

\setcounter{page}{135}

\jtitle{社会学における職業・産業コーディング自動化システムの活用}
\jauthor{高橋　和子\affiref{Author_1} \and 多喜　弘文\affiref{Author_2}  \and 田辺　俊介\affiref{Author_3} \and 李　　　偉\affiref{Author_4}}
\jabstract{
社会学では，職業や産業は性別や年齢などと同様に重要な変数であるとの認識から，正確を期するために，自由回答で収集したデータを研究者自身によりコードに変換することが多い．
これは職業・産業コーディングとよばれるが，大規模調査の場合，膨大な労力と時間がかかる上に，結果における一貫性の問題も存在する．
そこで，ルールベース手法と機械学習 (SVM) を適用したコーディング自動化システムを開発した．
本システムは，国内・国際標準の職業・産業コードを第3位まで予測し，第1位の予測コードには，自動コーディング後に人手によるチェックが必要か否かの目安となる3段階の確信度も付与する．
現在，本システムは，東京大学社会科学研究所附属社会調査・データアーカイブ研究センター (CSRDA) からWebによる利用サービスが試行提供されており，研究目的であれば，だれもが指定された形式の入力ファイルをアップロードして，希望するコードに変換された結果ファイルをダウンロードすることができるようになっている．}
\jkeywords{社会調査，職業・産業コーディング，自動コーディングシステム，3段階の確信度，Webを通じた一般公開}

\etitle{An Automatic Occupation and Industry Coding System in Sociology}
\eauthor{Kazuko Takahashi\affiref{Author_1} \and Hirofumi Taki\affiref{Author_2} \and Shunsuke Tanabe\affiref{Author_3} \and Li Wei\affiref{Author_4}} 
\eabstract{
In sociology, occupation and industry variables are as important as sexual and age variables. For the purpose of statistical processing, answers collected from open-ended questions in social surveys need to be converted into code, which requires considerable time and effort and often results in inconsistencies in large scale surveys. This work deals with occupation and industry coding. In this work, we develop an automatic system using hand-crafted rules and Support Vector Machines. Our system can assign three candidate codes to an answer and estimates the confidence level of the primary predicted code for each national/international standard code sets. The system has now been released through the website of the Center for Social Research and Data Archives. 
The user can get the required coding result by uploading the data file in a specific format.}

\ekeywords{Social Surveys, Occupation and Industry Coding, Automaic Coding System, Three Grade Confidence Level, Open to the Public through the Website}

\headauthor{高橋，多喜，田辺，李}
\headtitle{社会学における職業・産業コーディング自動化システムの活用}

\affilabel{Author_1}{敬愛大学}{Keiai University}
\affilabel{Author_2}{法政大学}{Hosei University}
\affilabel{Author_3}{早稲田大学}{Waseda University}
\affilabel{Author_4}{東京工業大学（現在，株式会社シービーエージャパン）}{Tokyo Institute of Technology (Currently, CBA-Japan)}



\begin{document}
\maketitle


\section{はじめに}

社会学においては，職業や産業データは性別や年齢などと同様に重要な属性であり，正確を期する必要がある．
このため，国勢調査でも行われているように，自由回答で収集したものを研究者自身が職業・産業分類コードに変換する場合が多い \cite{Hara84}．
この作業は「職業・産業コーディング」とよばれるが，国内の社会学において標準的に用いられる職業コード（SSM職業小分類コード）は約200個，産業コード（SSM産業大分類コード）は約20個あり \cite{SSM95}，分類すべきクラスの数が非常に多く，コード化のルールも複雑なことから，特に大規模調査の場合は多大な労力や時間を要するという深刻な問題を抱えている \cite{Seiyama04}．
また，多人数で長期間にわたる作業となるため，コーディング結果における一貫性の問題も指摘されている \cite{Todoroki_et_al13}．
そこで，これらの問題を軽減する目的で，職業・産業コーディングを自動化するシステムの開発を行ってきた．

最初に開発したシステムは，SSM職業・産業分類コードを決定するルールを生成し，これに基づいて自動コーディングを行った結果をCSV形式のファイルにするもので \cite{Takahashi00}，主として大規模調査に利用された \cite{Takahashi02b,Takahashi03,Takahashi_et_al05b}．
その後，自動コーディングの精度向上のため，自動化のアルゴリズムを，文書分類において分類性能の高さで評価されている機械学習のサポートベクターマシン (SVM) \cite{Joachims98,Sebastiani02}とルールベース手法を組み合わせた手法に改良した \cite{Takahashi_et_al05a,Takahashi_et_al05c}．
また，社会学を取り巻く環境の変化に対応するために，ILOにより定められた国際標準コードに変換するシステムも開発した \cite{Takahashi08,Takahashi11}．
さらに，いずれのシステムにも，自動コーディングの結果に対してシステムの確信度を付与する機能を追加した \cite{Takahashi_et_al13a}．
この結果，自動化システムは職業・産業コーディングにおける前述の2つの問題解決に大きく貢献するものとして，社会調査分野において評価を得た \cite{Hara13}．

自動化システムはまた，職業・産業コーディングの実施方法も変えた．
以前は，コーダは調査票を見ながらコーディングを行い，その結果を調査票に書き入れていた．
しかし，システムの開発以降，依頼者が作成したデータファイルを開発者が事前に処理し，コーダはその結果付きのファイルを画面に表示してコーディングを行い，結果を入力するようになった．
この方法は，自動化システムを利用する場合の標準的な方法となった．

現在，自動化システムは整理統合され，東京大学社会科学研究所附属社会調査・データアーカイブ研究センター (CSRDA) から， Webを通じた利用サービスとして試行提供されている\footnote{http://csrda.iss.u-tokyo.ac.jp/joint/autocode/} \cite{Takahashi_et_al14}．
利用希望者は，自動コーディングを希望するコードの種類を明記した書類をCSRDAに申請し，受理されれば，所定の形式の入力ファイルを指定された場所にアップロードすることができ，その場所から，CSRDAのシステム運用担当者が処理した結果をダウンロードできる仕組みとなっている．
これにより，一般の研究者や研究グループが開発者を通すことなく，自由にシステムを利用することができるようになった．

海外においても職業・産業コーディングは実施されており，負担の大きい作業であるとの認識から，コンピュータによる支援方法が検討されている．
しかし，単なる単語のマッチング以外のものは，韓国と米国における2例のみである．
いずれもルールベース手法が中心で，機械学習は適用されていない． 
また，以上に述べた自動化システムと大きく異なるのは，職業や産業コードそのものを重要な変数として分析に用いる社会学の研究を支援するものではない点である．

本稿では，現在公開中の自動化システム（以下，本システムと略す）について報告する．
本システムにおける新規性は次の3つである．

\begin{itemize}
 \item 分類精度向上のために，ルールベース手法と機械学習の組み合わせ手法の適用
 \item コーダの作業負担軽減のため，第1位に予測された候補に対する確信度を付与
 \item 国内標準コードだけでなく，近年利用が高まっている国際標準コードにも対応
\end{itemize}

本システムは，CSRDAに置かれたのを機に，だれもが容易に操作することができるように，ユーザーインターフェイスを改良した．
これは，システムの運用担当者が社会学研究者であることと，短期間で交代する状況を考慮したためである．

以下では，最初に自動化システムのこれまでの変遷について補足説明を行った後，本システムについて述べる．
そこでは，実際に本システムを利用する社会学研究者による評価も報告する．
また，CSRDAにおける本システムの利用方法についても述べる． 


\section{自動化システムの変遷}

1節で述べたように，自動化システムは開発当初とはアルゴリズムを変え，国際標準コードへの変換も行うようになった．
国際標準の職業コードは，ISCO (International Standard Classification of Occupations)\footnote{http://laborsta.ilo.org/applv8/data/isco88e.html}，産業コードはISIC (International Standard Industrial Classification of All Economic Activities)\footnote{http://laborsta.ilo.org/applv8/data/isic3e.html}で，いずれもSSMコードとはコード体系が異なり，4桁の階層構造で，
SSMコードより分類クラスの個数が多い．
新規にシステムを開発した理由は，SSMコードはもともと1968年版の国際標準コードを源とするが，1988年の国際標準コードの大幅な改訂により両者の対応関係が複雑化し，変換表の作成が困難であると判断したためである \cite{Tanabe06}． 
これにより，個々に独立したシステムではあるが，国内標準コードと国際標準コードに対する自動コーディングが可能となった．
 
自動化システムを利用すれば，コーダは提示されたコードを参考にコーディングを行うことができる．
このため，特に初心者のコーダに対する有効性が評価され，国内の代表的な社会調査において利用が広がった．
例えば，我が国初の二次分析のための大規模調査JGSS（Japanese General Social Surveys；日本版総合的社会調査）\footnote{http://jgss.daishodai.ac.jp/surveys/sur\_top.html}
においては，初回の2000年以降，毎回利用されてきた \cite{Takahashi02b,Takahashi03,Takahashi_et_al05b,Takahashi11}．
また，10年ごとに実施されるSSM (Social Stratification and socila Mobility) 調査（社会階層と社会移動全国調査）においても，2005年調査に引き続き \cite{Takahashi08}，2015年調査\footnote{http://www.l.u-tokyo.ac.jp/2015SSM-PJ/index.html}でも利用されている\footnote{SSM調査は大規模である上に，社会学の中でも職業や産業データがとりわけ重要な役割を果たす階層移動研究の調査で，本人の初職から現職にいたるまでの職業や産業の履歴に加え，配偶者，父親，母親についても収集されるため，作業量の問題は重大である．
例えば2015SSM調査の場合，コーディングを行う事例は約60,000にのぼっている．}．

自動化システムの利用によりコーダの作業は楽になったが，熟練コーダがすべてのコーディング結果に対して再チェックを行って最終コード（正解）を決定する状況は変わらなかった．
そこで，熟練コーダの作業量についても軽減できるように，自動コーディングの結果に対して，人手によるコーディングが必要かどうかを示す目安として，3段階（A: 不要，B: できれば行う方がよい，C: 必要）の確信度を付与する機能の追加を行った \cite{Takahashi_et_al13a}．
この確信度は，一般のコーダが自動コーディングの結果を参考にする場合の判断基準としても有用であると考えられる．

自動化システムは開発以来，大規模調査での利用が多かった．
しかし，近年は，一般の研究者や研究グループからも利用の要請が増えてきたため，Webを通じてだれもが自由に利用できる仕組みの検討を始めた \cite{Takahashi_et_al13b}．
その際，利用者の多くが文系の研究者であることや，システムの稼働環境がやや複雑であることから，利用者自身がシステムをダウンロードして用いるのではなく，入力データのファイルをアップロードしたものをシステム運用担当者が処理する方法を想定した．
また，システムの運用業務についても，開発者以外のだれもが担当できるように改良する必要があると判断した．
これらの課題を解決し，CSRDAから公開されているものが本システムである．


\section{職業・産業コーディング自動化システム} 

\subsection{職業・産業コーディング}

最初に，職業・産業コーディングが対象とする質問と回答について具体的に説明する．

職業・産業コーディングは，自由回答である「仕事の内容」（職業の場合）または「従業先の事業内容」（産業）を中心に，選択回答である「従業上の地位・役職」， 「従業先の事業規模」から構成される質問群により収集される回答に対して実施される \cite{SSM96}． 
質問文は調査により多少異なるが，JGSSにおける質問文と回答の形式を表~\ref{table0}に示す \cite{JGSS05}\footnote{JGSSでは一つの質問としている「従業上の地位・役職」を，「地位」と「役職」の2つに分けて尋ねる調査も多い．}．
表~\ref{table0}における選択回答の選択肢は注に示す通りである\footnote{選択肢も調査により異なるが， ここでは本システムで用いるJGSS-2003調査における配偶者職のものを示す \cite{JGSS05}．「地位・役職」は，「1: 経営者・役員，2: 常時雇用の一般従事者　役職なし，3: 同左　職長、班長、組長，4: 同左　係長、班長、組長，5: 同左　課長、課長相当職，6: 同左　部長、部長相当職，7: 同左　役職はわからない，8: 臨時雇用・パート・アルバイト，9: 派遣社員，10: 自営業主・自由業者，11: 家族従業者，12: 内職，14: わからない（選択肢13なし）」である．「従業先の事業規模」は，「1: 1人，2: 2〜4人，3: 5〜9人，4: 10〜29人，5: 30〜99人，6: 100〜299人，7: 300〜499人，8: 500〜999人，9: 1,000〜1,999人，10: 2,000〜9,999人，11: 1万人以上，12: 官公庁，13: わからない」である．本システムを利用する場合は，この選択肢に適宜合わせる必要がある．}．

\begin{table}[t]
\caption{質問文の例と回答の形式（JGSSの場合）}
\label{table0}
\input{04table01.txt}
\end{table}

職業・産業コーディングの例として，「仕事の内容」が「配車等を手配」，「従業先の事業内容」が「荷物をつみおろす業務等」，「従業上の地位・役職」が「2」，「従業先の事業規模」が「8」であるようなデータの場合，
SSM職業コードは「563」（運輸事務員）が付与され \cite{Takahashi_et_al05c}，SSM産業コードは「80」（運輸業）が付与される．
なお，社会学においては職業と産業の両方をコーディングする場合が多いが，産業のデータ（「従業先の事業内容」「従業先の事業規模」）が収集されず，職業コーディングのみ実施される場合もある． 
このような場合，本システムは，それぞれを「無回答」「13」とした入力ファイルにより処理を行う．
 

\subsection{変換を行うコードの種類}

職業・産業コーディングにおいて本システムが変換するコードは，表~\ref{table1}に示す4種類で，いずれも現在の社会学で必要性が高いものである\footnote{社会学においては職業の方が産業より重要であるために，産業より細かい分類を行う．}．
特に，SSM職業コードは，初回の1955年SSM 調査以来，社会学における標準的なコードとして用いられている．
表~\ref{table1}に示す小分類コードの上位には16の大分類がある（表~\ref{table22}参照）．
社会学の研究では，この大分類または4.2節で述べる別の種類の大分類レベルに小分類コードを統合して分析する場合が多い．

\begin{table}[b]
\caption{変換するコードの種類と個数}
\label{table1}
\input{04table02.txt}
\end{table}
\begin{table}[b]
\caption{SSM職業コードにおける大分類と小分類の対応}
\label{table22}
\input{04table03.txt}
\end{table}

SSMコードは1995年に改定されて以来，コード体系は変えていないが，職業や産業を取り巻く環境の変化を反映するために，新規のコードが追加されている．
例えば，SSM職業コードは，1995年調査で用いられた
189個（表~\ref{table22}参照）が基本であるが，2005年SSM調査では既存のコードから700番台のコードを分化させ\footnote{「599」（会計事務員）から「701」（レジ・キャッシャー），「679」（大工、左官、とび職）から「702」（大工）を分化させた他に，これまでは情報不足のために「999」（不明）としていた中から，得られた情報を少しでも活かすために，「703」（どこで教えているかはわからないが教員）や「704」（何の製品かはわからないが製品製造作業者）なども分化させた．}，2015SSM調査では800番台のコードを分化させた\footnote{ 「578」（女中、家政婦、家事サービス職業従事者）から「801（介護員、ヘルパー），「592」（その他のサービス職業従事者）から「802」（その他の医療福祉サービス職従事者）などを分化させた．}．
国内の社会学ではSSM調査やJGSSで用いられるコードに倣うことが多いため，本システムでも2005SSM調査に合わせ，表~\ref{table22}に示したコードに700番台のコードを追加した193個のコードに分類する． 
コードの分化はSSM産業コードにおいても行われている\footnote{「90」（卸売・小売業、飲食店）から「91」（卸売）「92」（小売）「93」（飲食店）を分化させた他，「130」（情報・通信サービス業）や「170」（その他のサービス業）からも分化させたコードがある．}．
 

\subsection{入力ファイルと結果ファイルの形式}

入力データは，A列からF列までの各列がこの順に，「ID」「学歴」「従業上の地位・役職」「従業先の事業内容」「仕事の内容」「従業先の事業規模」であるCSV形式のファイルである（表~\ref{table2}参照）．
学歴は選択肢で収集される\footnote{学歴についても．本システムで用いるJGSS-2003調査における選択肢を示す \cite{JGSS05}．「1: 旧制尋常小学校（国民学校を含む），2: 旧制高等小学校，3: 旧制中学校・高等女学校，4: 旧制実業学校，5: 旧制師範学校，6: 旧制高校・旧制専門学校・高等師範学校，7: 旧制大学・旧制大学院，8: 新制中学校，9: 新制高校，10: 新制短大・高専，11: 新制大学，12: 新制大学院，13: わからない」である．}． 

\begin{table}[b]
\caption{入力ファイルの例}
\label{table2}
\input{04table04.txt}
\end{table}

利用者は，この形式のファイルを用意すれば，表~\ref{table1}に示す4種類のコードのうち希望するコードを最大4種類まで自由に選択できる．
入力ファイルの作成方法については，CSRDAのWebサイト\footnote{http://csrda.iss.u-tokyo.ac.jp/autocode-form.pdf}に詳細な説明が掲載されている． 

本システムでは，過去の調査等ですでにSSMコードが付与された事例に対し，このコードを利用して新たにISCOやISICを付与することも可能である．
このため，表~\ref{table2}に示した入力ファイルの右列に「付与ずみのSSMコード」を追加したものも受け付ける．
例えば，ISCOを希望する場合はG列にSSM職業コード，ISICを希望する場合はH列にSSM産業コードを入力すれば，3.7節で述べるように，システムはこのSSMコードを利用して処理を行う．

本システムでは，結果ファイルとして，第3位までに予測したコードを提示したCSV形式のファイルをコードの種類ごとに出力する（表~\ref{table3}参照）．
表\ref{table3}において，rank1, rank2, rank3はそれぞれ「第1位に予測されたコード」「第2位に予測されたコード」「第3位に予測されたコード」を意味する．
また，確信度は，システムが第 1 位に予測したコードに対する信頼度で，本システムでは，「A: 人手によるコーディングは不要，B: できれば人手によるコーディングを行う方がよい，C: 人手によるコーディングが必要」の3段階を出力する．
確信度については3.8節で説明する．

\begin{table}[t]
\caption{結果ファイルの例（SSM職業コードの場合）}
\label{table3}
\input{04table05.txt}
\end{table}


\subsection{操作用の画面}

図~\ref{fg2}は，本システムを稼働させたときに最初に表示される操作用画面である．
実行を開始するには，この画面上で入力ファイルを指定し，変換を希望するコードのチェックボックスをクリックした後，Runボタンを押せばよい．
図~\ref{fg3}は，SSM職業コードとISCOを選択した場合の例である．

\begin{figure}[t]
\noindent
\begin{minipage}{0.45\textwidth}
\begin{center}
\includegraphics{24-1ia4f1.eps}
\caption{操作画面（開始時）}
\label{fg2}
\end{center}
\end{minipage}
\hfill
\begin{minipage}{0.45\textwidth}
\begin{center}
\includegraphics{24-1ia4f2.eps}
\caption{操作画面（入力ファイルとコードを指定）}
\label{fg3}
\end{center}
\end{minipage}
\vspace{1\Cvs}
\end{figure} 


本システムは，図~\ref{fg3}に示すように，実行開始までは人間が操作するが，これ以降は結果ファイルを出力するまですべて人手を介さずにコンピュータが自動的に処理をする．
結果ファイルは，SSM職業コード，ISCO, SSM産業コード，ISICの順に作成する．
例えば，図~\ref{fg3}の場合は，SSM職業コードの結果ファイルを作成後，ISCOの結果ファイルを作成して処理を完了する．
途中の処理状況は画面に表示される．
その一部を図~\ref{fg5}，図~\ref{fg6}に示す．

\begin{figure}[t]
\noindent
\begin{minipage}{0.45\textwidth}
\begin{center}
\includegraphics{24-1ia4f3.eps}
\caption{処理状況の表示（ISCO処理中）}
\label{fg5}
\end{center}
\end{minipage}
\hfill
\begin{minipage}{0.45\textwidth}
\begin{center}
\includegraphics{24-1ia4f4.eps}
\caption{処理状況の表示（処理完了）}
\label{fg6}
\end{center}
\end{minipage}
\end{figure} 
\begin{figure}[t]
\begin{center}
\includegraphics{24-1ia4f5.eps}
\end{center}
\caption{システム構成図}
\label{fg1}
\end{figure}



\subsection{システム構成図と自動化の手法}

本システムの構成を図~\ref{fg1}に示す．
図~\ref{fg1}より明らかなように，本システムでは，すべてのコードに対して，直接または間接的にルールベース手法とSVMを組み合わせた手法を適用する．

直接的にルールベース手法とSVMを組み合わせる手法はSSMコードに適用するもので，ルールベース手法により決定されたコードを直接，SVMの素性として利用する．  
ISCOとISICにはルールベース手法がないためにこの手法は適用せず，SVMの素性として，ルールベース手法とSVMを組み合わせた手法により予測されたSSMコードを利用する．
このため，ISCOやISICも間接的にルールベース手法とSVMを組み合わせた手法を適用している．
ただし，例外として図~\ref{fg1}には示していないが， 過去の調査等ですでにSSMコードが付与された事例にISCOやISICを付与する場合はこのコードを利用するため，ルールベース手法の適用は行わない．

自動化の手法について，次節でルールベース手法 \cite{Takahashi00}について述べた後，3.7節でこれをSVMに組み合わせる方法 \cite{Takahashi_et_al05c}について述べる．


\subsection{ルールベース手法}

\subsubsection{格フレームの概念による職業・産業データの理解}

職業・産業コーディングにおいて最も重要な情報は，自由回答の記述内容である．
職業コードや産業コードの定義 \cite{SSM95}から，職業データは個人，産業データは従業先の事業という違いはあるが，いずれも基本的には動作の違いにより大きく分かれ，さらに，その動作が何を対象とするのか，どこで行われるのかにより細かく分類されると解釈できる．
したがって，本システムでは自由回答に記述された内容すべてを解析せず，分類に必要なものとして，「格フレーム」の概念に基づく情報のみを抽出する．

最初に，入力ファイル中の自由回答に対して形態素解析 \cite{Kurohashi98}を行う．
その結果から，職業・産業コーディングにおいて不要であると判断できる語を削除する．
具体的には，品詞が「形容詞」，「副詞」，「接頭辞」，「接尾辞」である語および原形が「等」，「他」，「関係」，「仕事」，「作業」などの語（118種類）である．

次に，動作を表す語（本稿ではこれを「述語」とよぶ）を抽出するが，本システムでは構文解析を行わずに，単純に回答の末尾にある語を述語とする．
このため，本システムでは，動詞だけでなく，サ変名詞や普通名詞も述語として扱われる\footnote{1995SSM調査データにおいて無作為抽出した1,000サンプルの場合，「仕事の内容」における末尾の語の品詞は，動詞 ($6\%$)，サ変名詞 ($51\%$)，普通名詞 ($39\%$) であった．普通名詞は，例えば，「医師」，「薬剤師」のように職業名が多いが，「米」，「野菜」のように生産物の場合もある \cite{Takahashi00}．}． 

以下では，職業を例に述べる．
述語には，述語だけでSSM職業コードが決定できるものと，述語が必要とする格とその格が取る語（本稿ではこれを「名詞」とよぶ）が必要なものがある．

前者の例は，「薬剤師」や「栄養士」のような職業名が多く，述語のみでSSM職業コード「510」（薬剤師）や「513」（栄養士）が付与される．
後者の例は，「製造」や「教える」で，それぞれ「何を」や「どこで」の内容によりSSM職業コードが異なるため，格と名詞が必要となる． 
この場合，述語の前に助詞（「を」や「で」）があれば，これを手がかりにして名詞を抽出し，＜述語，格，名詞＞の三つ組を生成する． 
例えば，述語が「製造」の場合，述語の前に助詞「を」があればこれを抽出した後，「を」の直前にある名詞も抽出する．
同様に，「教える」の場合は，述語の前に助詞「で」があればこれを抽出し，「で」の直前にある名詞も抽出する．
本システムでは，前者の場合も，格と名詞を抽出する必要のない三つ組として扱う．

本システムは，回答から複数の述語が抽出されたり，回答の途中に「。」があると，複数の文（単語のみの場合もある）が存在すると判断し，各文に対してそれぞれ三つ組を生成する． 
例えば，「仕事の内容」が「野菜の生産と販売」や「野菜を生産する。販売もする」である場合，いずれも，最初の文からは＜生産，ヲ，野菜＞，2つめの文からは＜販売＞なる三つ組を生成する．
また，1文であっても，「米や野菜を作っている」のように，複数の名詞が並列で表現されている場合には，＜作る，ヲ，野菜＞，＜作る，ヲ，米＞のように複数の三つ組を生成する．

最後に，このようにして生成された三つ組に対し，あらかじめ三つ組と職業コードのペアにより構築しておいたルールセットを探し， マッチするものがあれば該当するSSM職業コードを付与し，なければ不明を意味する「999」を付与する．
三つ組が複数ある場合には，その各々に対してこの処理を行う．
このルールを本稿ではルール $\alpha$とよぶ．

ルール $\alpha$は次の形式で表現されるが，左辺において，格と名詞が省略される場合もある．
また，実際には，ルール $\alpha$では，述語ではなく，3.6.2節で述べる述語コードを用いるが，説明の都合上，ここでは述語を用いて表現した．

\vspace{1\Cvs}
　　ルール $\alpha$ ： ＜述語，格，名詞＞ $\Rightarrow$ ＜SSM職業コード＞
\vspace{1\Cvs}

例えば，「仕事の内容」が「アルバイトでケーキを作っている」の場合，＜作る，ヲ，ケーキ＞を抽出し，ルール$\alpha$ ＜製造，ヲ，菓子＞ $\Rightarrow$ ＜644＞により，SSM職業コード「644」（パン・菓子・めん類・豆腐製造工）を付与する．
このとき，「作る」を「製造」，「ケーキ」を「菓子」とみなすことができるのは，次節で述べる「述語シソーラス」や 「名詞シソーラス」を利用するためである．
同様に，「仕事の内容」が「大学で哲学を教えている」であれば，＜教える，デ，大学＞を抽出し，ルール$\alpha$＜教える，デ，大学＞ $\Rightarrow$ ＜524＞により，SSM職業コード「524」（大学教員）を付与する．

ルール $\alpha$は，文献 \cite{SSM95}に記載された定義や例に基づいて人手で生成した． 
その後，自動化システムが処理した事例から得られた情報を追加した．
その際，ルール$\alpha$の右辺に2つ以上のコードを記述したものも生成した．  
例えば，「仕事の内容」に「営業」としか記述されていない場合，内勤の営業事務（「557」）であるのか外回りの営業（「573」）であるのかは判断できないが，どちらかである可能性が非常に高い．
そこで，少しでもコーダの参考となるように，実際には存在しないが，「5570573」（営業・販売事務員または外交員（保険・不動産を除く））なるコードを生成した\footnote{同様の理由により，複数のコードから構成されるものとして，「5030507」（機械・電気・化学技術者またはその他の技師・技術者）や「6070686」（自動車運転者または運搬労働者）など計10個を生成した．}．

 「従業先の事業内容」からSSM産業コードを決定するためのルール（産業ルール）もルール $\alpha$と同様の形式であり， ルール $\alpha$と同様の手続きにより生成した．
現在，ルール $\alpha$は4,224個．産業ルールは948個存在する．


\subsubsection{シソーラスによる語の拡張}

社会の変化に伴い，「仕事の内容」や「従業先の事業内容」には多様な語が記述される． 
そこで，本システムでは，ルール $\alpha$は，出現するすべての語ではなく代表的な語により生成し，ルール $\alpha$で用いた述語や名詞に対してそれぞれシソーラスを構築することで対応することとした．

述語シソーラスは，語や品詞が異なっていても，職業や産業コードに分類する観点からは同一視できる語同士に同一の述語コードを付けてグループ化したものである．
例えば，「製造」（サ変名詞），「製作」（サ変名詞），「作る」（動詞）にはすべて同一の述語コード「386 1」を付ける．
3.6.1節の例において，「作る」を「製造」と同一視できたのはこのためである．
現在，述語シソーラスの述語コードは2,880個，異なり語は10,871個であり，1つの述語コードは平均4個の異なり語をもつ．
 
名詞シソーラスは，ルール $\alpha$で用いた名詞を見出し語とし，職業や産業コードに分類する観点からはこの見出し語と同一視できる語とともにグループ化したものである．
見出し語は，「自動車 1」や「電気機械器具」のように，複数の形態素に切り出される語であってもよいが，見出し語以外の語は，回答とのマッチングを行うために，形態素が1個である必要がある．
1つのグループにk個の語が含まれる場合，名詞シソーラスは次の形式で表現される ($1<i<k$)．

\vspace{1\Cvs}
　　（見出し語\quad 語1\quad ・・・\quad 語i\quad ・・・ \quad 語k）
\vspace{1\Cvs}

3.6.1節の例で，「ケーキ」を「菓子」とみなすことができたのは，「ケーキ」が見出し語「菓子」のグループに含まれるためである．

名詞シソーラスでは，同じ語が別のグループに出現する場合もある．
例えば，「菓子」は先の例では見出し語であったが，見出し語「小売店」のグループにおいては，見出し語以外の語としても出現する．
現在，名詞シソーラスのグループは331個，見出し語以外の語は延べで3,994個であり，1つのグループに平均12個の語が含まれる．

2つのシソーラスによりルール $\alpha$で用いられた語が拡張され，ルール $\alpha$の適用範囲が広がる．
例えば，「コンピュータの製造」と「テレビを作る」は，いずれも述語コードが「386 1」で，名詞である「コンピュータ」と「テレビ」のいずれも名詞シソーラスにおける見出し語「電気機械器具」のグループに含まれるため，どちらにも＜386 1，ヲ， 電気機械器具＞ $\Rightarrow$ ＜634＞なるルール$\alpha$がマッチし， 同一のSSM職業コード「634」（電気機械器具組立工）が付与される．

以上に述べたルール $\alpha$におけるシソーラスによる語の拡張は，産業ルールにおいても同様に適用される．


\subsubsection{職業コードの修正}

職業コーディングにおいては「仕事の内容」の記述内容が重要であるが，選択回答である「従業先の事業規模」や「地位・役職」，さらには「従業先の事業内容」の情報も用いて総合的に判断される．
したがって，ルール $\alpha$によって付与されたコードの中で，これらの情報により影響を受けるものに対しては，ルール $\alpha$の適用後にチェックを行って最終的なコードを決める必要がある．
このチェックのためのルールを，本稿ではルール $\beta$とよぶ．
ルール $\beta$を必要とするコードは，管理職，自営業，建設関係に多い．

以下では，SSM職業コードを区別するために，ルール $\alpha$によって付与されたものを「SSM職業コード（ルール $\alpha$）」，ルール $\beta$のチェックを受け，ルールベース手法として最終的に決定されたものを「SSM職業コード（ルールベース）」とよび，   「SSM職業コード」とよぶのは本システムにより最終的に決定されたものとする．
 SSM産業コードにおいても同様に，産業ルールにより決定されたものを「SSM産業コード（産業ルール）」とよぶが，SSM産業コードではルール $\beta$に該当するものがないため，これがそのまま「SSM産業コード（ルールベース）」となる．

ルール $\beta$は次の形式で表現される．
左辺の条件のすべてが必要ではない場合もある．

\vspace{1\Cvs}
　　ルール $\beta$ ： ＜SSM職業コード（ルール $\alpha$），従業上の地位・役職，従業先の事業規模，\\
\qquad\qquad\qquad\qquad\quad  従業先の事業内容，SSM産業コード（産業ルール）＞\\
\qquad\qquad\qquad\qquad\quad   $\Rightarrow$ ＜SSM職業コード（ルールベース）＞
\vspace{1\Cvs}

ルール $\beta$の適用例として，管理職（「545」〜「553」）の場合を示す．
管理職は， 「従業上の地位・役職が常時雇用の課長以上」かつ「従業先の事業規模が30人以上」を条件とするため \cite{SSM96}， SSM職業コード（ルール $\alpha$）により管理職が付与されたコードに対してはルール $\beta$によるチェックを行う．
条件を満たさない場合は，SSM産業コードを参照して変更する\footnote{例えば，産業コードが「92」（小売業）であれば「566」（小売店主），「130」（情報・通信サービス業）であれば「506」（情報処理技術者）に変更する．もしルール $\beta$におけるいずれの産業コードともマッチしない場合は，「554」（総務・企画事務員）に変更する．}．
これとは逆に，ルール $\alpha$ではコードが特定できずに「999」とされた場合に，ルール $\beta$により管理職の条件がチェックされて， 該当する管理職コードが付与される場合もある．

ルール $\beta$は文献 \cite{SSM96}にしたがって人手で生成した．
ルール $\beta$は43個で，その内訳は，管理職14個，自営9個，建設関係7個，その他13個である．

ルール $\beta$の限界は，形式化できるものしか扱えないことである．
実際には，コードの決定にあたっては，回答者の性別や学歴，本人の場合はこれまでの職歴，さらに父職，配偶者職などのように回答者以外の職業や産業の情報を含め，収集されたあらゆる情報を利用する場合が多く，これらをすべて反映したルール$\beta$を生成することは非常に困難である．
また，調査によりルール $\beta$を重視する程度に違いがある場合もある\footnote{例えば，2005SSM調査では， できる限り管理職以外のコードを付与するという方針があり，管理職に関してはルール $\beta$による修正を適用しない場合も多かった．}．
これにより，熟練コーダや調査が異なる場合は，最終的なコードを決定するためのルールに一貫性が欠如し，最終コードに揺れが生じる可能性がある．  


\subsection{ルールベース手法とSVMの組み合わせ手法}

本システムにおけるルールベース手法では，自由回答の内容を格フレームで表現してコードを決定するルールが必要になるが， 回答の中にはこの形式で表現できないものも存在する\footnote{1995SSM調査データにおいて無作為抽出した1,000サンプルの場合，約$20\%$がこれに該当した \cite{Takahashi00}．}．
例えば，「仕事の内容」に商品名や生産物のみが記述された場合，本システムでは述語として扱われるが，動作を表すものではない．
また，コードの修正方法もルールとして表現することが困難な場合があった．
これらはシステムの性能を低下させる要因になると考えられる．
さらに，自由回答に出現する用語や変換するコードは時代とともに変化するため， ルールベース手法においては，シソーラスやルールのメンテナンスを随時行わなければならないが，これを開発者以外の人間が長期間継続することは，時間的にも労力的にも負担となることが予想される．
以上の理由により，ルールベース手法以外の方法を適用する必要があると考えた．

SVMを選択した理由は，文書分類において分類性能の高さで評価が高かった \cite{Joachims98,Sebastiani02}ためである． 本システムが対象とする自由回答は，文書分類が対象とする文書に比較すると非常に短いという懸念はあったが\footnote{JGSS-2000, JGSS-2001, JGSS-2002データセットにおける「仕事の内容」と「従業先の事業内容」の語数は，平均で約2〜3語である．また，文字数も，通常のテキスト分類で対象とされる新聞記事は，CD-毎日新聞2000データ集の場合，1記事平均550文字であるのに対し，前述のデータセットにおける「仕事の内容」は，平均で15文字程度である \cite{Takahashi_et_al05c}．}，職業・産業コーディングは調査が完了するたびに実施されてコードが決定されるため，これを正解とみなすことで，今後も訓練事例の蓄積が容易であるという利点を考慮した．
なお，職業・産業コーディングは多値分類のタスクであるため，2値分類器であるSVMをone-versus-rest法 \cite{kressel99}により多値分類器に拡張した．

SSM職業コードを対象に，SVMによる方法をルールベース手法と比較し， さらに，ルールベース手法とSVMを組み合わせた手法（ルールベース手法により得られた結果をSVMの素性として活用する方法）とも比較した結果，ルールベース手法とSVMを組み合わせた手法，SVMによる手法，ルールベース手法の順に分類精度が高かったため \cite{Takahashi_et_al05c}，本システムでもこの組み合わせ手法を適用する．
SSM産業コードについては実験を行っていないが，SSM職業コードと同様の効果が得られると考え，同様の組み合わせ手法を適用する．

表~\ref{table4}にコードごとの自動化の手法とSVMで用いる素性を示す．
本稿では， 「仕事の内容」「従業先の事業内容」「地位・役職」を基本素性とよぶ．
「仕事の内容」と 「従業先の事業内容」はいずれも自由回答であるために，形態素解析により分割された形態素を素性とするが， 品詞付き単語と素性番号を対にして生成した素性辞書により素性番号に変換したものを用いる． 
素性辞書は現在，15,069語から構成されるため，素性番号の最大値は15069である．  
回答に出現した単語が素性辞書に存在しない場合の素性番号は20000にする．
また，素性として用いる語が「仕事の内容」と 「従業先の事業内容」のどちらに出現したかを区別するために，「仕事の内容」に出現したものは素性番号をそのまま用いるが， 「従業先の事業内容」に出現したものは素性番号に200,000をプラスした番号を用いる．

\begin{table}[t]
\caption{自動化の手法とSVMで用いる素性}
\label{table4}
\input{04table06.txt}
\vspace{4pt}\hangafter=1\hangindent=1zw\leavevmode\hbox to1zw{*}過去の調査等ですでにSSMコードが付与されている場合は，本システムにより予測されたコードではなく付与ずみのコードを用いる．
\end{table}

ISCOやISICにおいて，SVMの素性として用いるSSMコードは ルールベース手法とSVMの組み合わせ手法により第1位に予測されたコードである．
これは，ISCOにおいてSSMコードを利用する方法として，第1位から第3位までに予測されたコードをさまざまに用いた実験を行った結果，この方法がもっとも正解率が高かったためである \cite{Takahashi08}．
ただし，前述したように，もし過去の調査等ですでに付与されたSSMコードが入力されていれば，予測されたコードではなくこのコードをSVMの素性として用いる．
ISICについては実験を行っていないが，ISCOの場合と同様の効果が得られるものと考え，ISCOと同様の方法を適用する．

ISCOでは，SVMの素性として「学歴」も用いる．
この理由は，ISCOではコードの決定時に，職業の遂行に必要なスキルレベル（＝教育・職業資格）が用いられるが，我が国ではこれがデータとして収集されないため，スキルレベルが国際標準教育分類 (ISCED) と対応することや学歴を判断基準とする点 \cite{Tanabe08}に注目し，学歴で代用可能であると判断したためである． 

本システムにおいて4種類のコードすべてに変換する場合は，STEP１〜STEP６の順に連続処理を行う．
また，SSM職業コードのみに変換する場合はSTEP１，STEP２，STEP３，SSM産業コードのみの場合はSTEP１，STEP２，STEP５，ISCOのみの場合はSTEP１，STEP２，STEP３，STEP４，ISICのみの場合はSTEP１，STEP２，STEP５，STEP６の順に実行する．
ただし，ISCO（またはISIC）のみに変換する場合に，すでに付与されたSSMコードが入力されている場合は，STEP２とSTEP３（またはSTEP２とSTEP５）は省略し， STEP４（またはSTEP６）ではこのSSMコードを用いる．

\vspace{1\Cvs}
\hangafter=1\hangindent=5zw
\noindent\hbox to5zw{STEP１\hss}職業・産業データに対する形態素解析

\hangafter=1\hangindent=5zw
\noindent\hbox to5zw{STEP２\hss}ルールベース手法の適用により，SSM職業コード（ルールベース）とSSM産業コード（ルールベース）を決定

\hangafter=1\hangindent=5zw
\noindent\hbox to5zw{STEP３\hss}基本素性に，STEP２により決定されたSSM職業コード（ルールベース）を追加してSVMを適用し，SSM職業コードを第1位から第3位まで決定

\hangafter=1\hangindent=5zw
\noindent\hbox to5zw{STEP４\hss}基本素性に，学歴とSTEP３により決定されたSSM職業コード（第1位のみ）を追加してSVMを適用し，ISCOを第1位から第3位まで決定

\hangafter=1\hangindent=5zw
\noindent\hbox to5zw{STEP５\hss}基本素性に，STEP２により決定されたSSM産業コード（ルールベース）を追加してSVMを適用し，SSM産業コードを第1位から第3位まで決定

\hangafter=1\hangindent=5zw
\noindent\hbox to5zw{STEP６\hss}基本素性に，STEP５により決定されたSSM産業コード（第1位のみ）を追加してSVMを適用し，ISICを第1位から第3位まで決定


\subsection{確信度の付与} 

SVMは，予測したコードとともにスコア（分離平面からの距離）も出力するため，これを利用して，予測したコードのクラス所属確率を推定することが可能である \cite{Takahashi_et_al08}． 
そこで，この推定値を予測したコードに対する信頼度として利用することを考えた．
ただし，本システムでは厳密な確率値までは必要としないため，文献 \cite{Takahashi_et_al08}における提案手法を特徴づける考え方である「複数のスコア利用」に基づく簡便な方法を提案し，3段階の確信度として付与することとした \cite{Takahashi_et_al13a}．

各確信度の決定条件は次の通りである．
ただし，$rank1$，$rank2$は，それぞれSVMにより第1位，第2位に予測されたコードにともなって出力されるスコアを示す．
$\alpha$は閾値で，$rank1$と$rank2$の差を示す．
$\alpha$を大きく設定するほど予測されたコードのクラス所属確率が高まるため \cite{Takahashi_et_al08}，確信度 A の信頼性は$\alpha$を大きく設定するほど向上することになる．

\vspace{1\Cvs}
　A：$rank1>0$かつ$rank2<=0$，$rank1-rank2>\alpha$

　B：$rank1>0$かつ$rank2<=0$，$rank1-rank2<=\alpha$

　C：A, B以外の場合
\vspace{1\Cvs}

2節で述べたように，確信度付与の目的は，コーディング結果のすべてに対して再チェックを行う熟練コーダの作業量を削減するためである．
したがって，特に，人手によるコーディングを不要とする確信度 A に注目する必要があり，確信度Aが付与された事例のカバー率（確信度が付与された評価事例数を評価事例数で割った値）が高いことが望ましい．
しかし，この場合の正解率（正解した評価事例数を評価事例数で割った値 \cite{Takamura10}）も，熟練コーダが作業不要であることを納得する程度に高い値である必要がある．
このように，確信度 A においては，正解率とカバー率はいずれも高い値である必要があるが，両者はトレードオフの関係がある．
本システムでは，職業・産業コーディングの目的が研究のための基礎データを提供するものであることから，カバー率を考慮しながらも正解率を優先し，その値を熟練コーダの要望にしたがって$95\%$以上とした．
なお，本稿では，「正解」を最終的に決定されたコードとするため，本稿における正解率は最終コードとの一致率である．

閾値$\alpha$を決定するために，SSM職業コードについて2005SSM調査データセット（16,083事例）を用いた3分割交差検定による実験を行った．
図~\ref{fg7}は，閾値$\alpha$を1から4まで変化させたときの確信度 A における正解率とカバー率の状況を示したものである \cite{Takahashi_et_al14}．
X軸が$\alpha$，Y軸が正解率とカバー率を示す．
図~\ref{fg7}より，正解率が$95\%$以上であるのは，$\alpha=3$と$\alpha=4$の場合である．
両者を比較すると，$\alpha=4$の方が正解率が$97.5\%$と高いが，カバー率が約$10\%$と低く，$\alpha=3$では，$\alpha=4$の場合より正解率は1.7ポイント劣るが，カバー率は18.2ポイント向上して$28.9\%$となる．
これより，本システムでは最適な閾値として$\alpha=3$を選択した．

\begin{figure}[t]
\begin{center}
\includegraphics{24-1ia4f6.eps}
\end{center}
\caption{閾値$\alpha$の変化による確信度Aが付与された事例の正解率とカバー率}
\label{fg7}
\end{figure}

実際には，確信度は上記の目的だけでなく，一般コーダが自動コーディングの結果を参考にする際の判断基準としても利用されるようになったため， 確信度 A だけでなく， 確信度Bや確信度Cについても， 妥当性を調査しておく必要が生じた．
確信度を一般コーダの判断基準として用いるためには，カバー率ではなく正解率に注目する必要がある．
前述の実験において閾値$\alpha=3$とした場合，確信度Bの正解率は$71.9\%$（カバー率は$47.8\%$），確信度Cの正解率は$35.8\%$（カバー率$23.3\%$）であった．
これより，$\alpha=3$は，確信度B, 確信度Cに対しても妥当な閾値であると判断した．


\section{システムの評価}

一般コーダの正解率は，コーダやデータの違いにより差があるが，記録が残されている6つの調査（SSM職業コード）においては$68.8\%$から $80.0\%$で，平均は約$75\%$であった \cite{Takahashi02a}．
コーダに対する有効な支援を行うにはこの値を上回る必要があるため，本システムにおける正解率の目標を，いずれのコードも$80\%$に設定する\footnote{経験上，ISCOやISICはSSMコードより困難なタスクであると認識されているが，目標値は高めに設定した．}．
また，確信度ごとの正解率は，確信度 A では$95\%$，確信度Bでは一般コーダの平均値$75\%$を目標とする． 

システムの評価実験では，まず，コードの種類ごとの正解率と確信度付与の有効性を報告した後，処理時間についても報告する（実験 1）．
次に，視点を変え，実際に本システムを利用する社会階層分野の研究者による評価について簡単に報告する（実験 2）．


\subsection{実験 1}

実験は現実の場面を想定し，交差検定ではなく，評価事例を訓練事例より新しいデータセットや別の調査により収集されたものを用いた（表~\ref{table5}参照）\footnote{ISCOやISICは2005年SSMデータセット以降に用いられるようになり，JGSS-2005以前のデータセットには付与されていないため，2005年SSMデータセットを訓練事例とし，JGSS-2006データセットを評価事例とした．}． 
その際，4種類のコード間における結果を比較するため，すべてのコードが付与された「本人現職」を用いた．
「本人現職」は社会学においてもっともよく用いられる変数であるが，新しい仕事内容が新しい用語により表現されるケースが多いため，他の場合（「本人初職」や「父職」など）より正解率が低い傾向がある．


\subsubsection{正解率}

コードの種類別の正解率（第3位に予測されたコードまで含む）を表~\ref{table6}に示す．
表中，ISCO*とISIC*は，SVMの素性としてルールベース手法による結果ではなく，過去の調査等ですでに付与されたSSMコードを用いた場合を表す（以下，同様である）．

\begin{table}[b]
\caption{コードの種類別訓練事例と評価事例}
\label{table5}
\input{04table07.txt}
\end{table}
\begin{table}[b]
\caption{正解率（第3位に予測されたコードまで含む）}
\label{table6}
\input{04table08.txt}
\end{table}

SSMコードでは，2種類の評価事例のいずれにおいても，職業コードは約$80\%$，産業コードは約$90\%$で目標値に達しており，安定している．
ISCOやISICは，SSM職業コードやSSM産業コードよりそれぞれ約8ポイント，約10ポイント低いが， ISICは目標値に達している．
また，ISCOやISICにおいてすでに付与されたSSMコードを利用した場合は，いずれもこの値より約5ポイントずつ高く，付与ずみのSSMコードを利用することは有効である．
ただし，ISCOはこの場合も目標値に達しておらず，SSM職業コードより約4ポイント低い．
ISCOやISICの正解率ががSSMコードより低い理由としては，分類クラスの数が多く困難なタスクであることと，訓練事例として用いられるデータの蓄積が不足していることが考えられる．

\subsubsection*{SSM職業コードの状況}

社会学でもっとも関心の高いSSM職業コードについて， JGSS-2006データセットを用いてより詳細に調査する．
このとき，正解とされるコードごとの正解率は，再現率（注目した正解コードの事例数のうち，システムが正解した事例が占める割合）を計算していることになる．

本システムで用いるSSM職業コードは全部で193個であるが，正解として本データセットに出現したコードは150個 ($77.7\%$) であった．
この中で，正解率が$100\%$のコードは39個 ($26\%$) で，表~\ref{table22}に示す大分類では専門・技術が多く，$0\%$のコードは12個 ($8\%$) で製造が多かった．
ただし，これらはいずれもコードの出現度数が非常に少なく，特に正解率が$100\%$のコードはすべて頻度15以下，$0\%$のコードもすべて頻度7以下で，合計しても178 ($8\%$) で，全体に与える影響は大きくない．
そこで，以下では，正解コードの度数が全体の$1\%$（頻度22）以上の31個のコードについて調査する．
これらは出現したコードの$21\%$を占め，累積度数は1,499 ($68\%$) である．

\begin{table}[b]
\caption{SSM職業コードにおける正解率のベスト10とワースト10（第3位に予測されたコードまで含む）}
\label{table17}
\input{04table09.txt}
\end{table}

まず，表~\ref{table17}に正解率のベスト10とワースト10を示す．
正解率が高いものはサービス，農林，専門・技術，販売，低いものは労務や建設が多いことがわかる．

次に，本システムが間違えた状況を調査する．
間違い方には，正解がコードXであるのに本システムがX以外のコードを付与する場合と，正解がX以外のコードであるのに本システムが間違えてコードXを付与する場合がある．
前者の結果を表~\ref{table15}，後者の結果を表~\ref{table16}に示す．
ただし，全体に及ぼす影響を考慮し，間違えた事例数が全体の1割（頻度22）以上のコードに限定した．
いずれの表においても，コードの後に，本システムが間違えた事例数をカッコ内に示す．
また，最右欄においてコード名を示していないものは，間違えた事例数が1のコードである．

\begin{table}[b]
\caption{正解コードからみた不正解の状況（SSM職業コード）}
\label{table15}
\input{04table10.txt}
\end{table}
\begin{table}[b]
\caption{本システムのコード付与からみた不正解の状況（SSM職業コード）}
\label{table16}
\input{04table11.txt}
\end{table}

不正解がもっとも多かったのは，正解である「554」を他のコードに間違えたり（表~\ref{table15}参照），他のコードを「554」に間違える（表~\ref{table16}参照）場合である．
具体的には，「554」を販売や管理に間違えたり，「554」と同じ事務の「556」「557」「559」や専門・技術や製造を「554」に間違えている．
次に多いのは，「557」と 「573」を相互に間違える場合である．
さらに，事務を「569」（販売店員）や「550」（会社・団体等の管理職員）に間違える場合も多い．
事務は，表~\ref{table17}によると，「557」以外は特に正解率が低いわけではないが，事務同士や販売または管理との間で間違うケースが多い．

ここで，不正解であった全467事例を調査した結果，誤りの原因は次の9種類に分類できた．

\begin{itemize}
 \item 入力データに誤りがある（誤字や脱字など）(A)
 \item 文末の語を述語とする方法も含め，格フレームの形式では有効な情報を抽出できない (B)
 \item ルール$\alpha$が不十分である (C)
 \item ルール$\beta$が不十分である（「従業先の事業内容」を参照していないなど）(D)
 \item シソーラスが不十分である (E)
 \item 正解がルール$\beta$を適用していない (F)
 \item 回答に複数の職業内容が記述された場合に，本システムが正解が異なるものに決定 (G) 
 \item 回答の情報が不足している（正解が曖昧）(H)
 \item 正解が誤っている可能性がある (I)
\end{itemize}

\begin{table}[b]
\caption{誤りの原因別の回答例と決定されたコード（SSM職業コード）}
\label{table18}
\input{04table12.txt}
\end{table}

1つの事例に誤りの原因が複数含まれるものもあるが，表~\ref{table18}に誤りの原因別に回答例を示し，誤りの原因について順に分析する．

原因Aは，人間であれば理解可能でも，コンピュータは正しい処理が行えない． 
本システムの場合も最初の形態素解析で失敗してしまうため，後の処理が正しく行えない．
例では，もっとも重要な述語「評価」が「表価」 と誤入力または調査票に誤記入されたため，マッチするルールが見つからず，また，SVMにおける素性としても「評価」がないために，不正解となった．
社会調査においては，メイキング防止のため，調査票の記入通りに入力を行う．
したがって，調査員による誤記入が予想できる場合でもそのまま入力されるため，入力ミス以外に調査票における誤字や脱字も正解率を低下させる．
調査票記入における別の問題として，調査員が，単語の一部またはすべてをひらかなやカタカナで記入する場合も多い（例えば，「き械」「キカイ」など）\footnote{この原因により形態素解析を失敗するケースを減らすため，本システムでは，1,481語から構成される置換表（CSV形式）を用意し，形態素解析の前にこの表を参照した置換を自動的に行っている．これにより，例えば，「事ム」は「事務」に，「アツエン機」は「圧延機」に置換されるが，すべての表現をカバーすることはできない．}．
原因Aは人手によるコーディングでは大きな問題とはならないために，社会学研究者からの理解が得にくいが， コンピュータによる自動処理を行う本システムにとっては大きな問題であり，今後，この問題に取り組む必要がある．

原因Bの最初の例では，＜組み立て，ヲ，部品＞なる三つ組を生成するが，この名詞が意味する範囲が広く，職業の特定ができない．
もし，「部品」の前に位置する「電化製品」が抽出できれば，ルールベース手法の段階でコードが決定でき，SVMの素性として有効に作用することが期待できる．
このように，名詞が「部品」や「製品」のような場合には，その前の語を抽出する必要がある．
二番目の例では3個の三つ組を生成するが，いずれも「999」のため，SVMの素性として有効ではない． 
このように，複雑な構成の文に対しては，単純に文末の語を述語とする三つ組を生成する方法では，有効な情報の抽出ができない場合がある．
逆に，三番目の例は非常に単純で1個の単語から構成される文であるが，この語が動作を表すものではないために述語コードを付与できず， この場合も文末の語を述語とする方法では対応できない．

原因Cの例では，＜検査，ヲ，パン＞なる三つ組を生成するが，これを「644（パン・菓子・めん類・豆腐製造工）」に結びつけるルール$\alpha$が存在しないため，「999」となり，不正解につながった．
原因Dの例はいずれも，「仕事の内容」からは「554」でよいが，正解では「従業先の事業内容」を参照し，より妥当なコードに修正されている\footnote{正解は順に，「559」（会計事務員），「556」（出荷・受荷事務員），「574」（保険代理人・外交員）である．}．
ルール$\beta$に，SSM職業コード（ルール$\alpha$）が「554」の場合も追加する必要がある．
原因Eの例では，形態素解析により切り出された結果，述語が「上絵」，名詞が「紋章」となるが，どちらもシソーラスにないために「999」となり，不正解につながった．
原因C, D, Eについては，ルール$\alpha$，ルール$\beta$，述語シソーラス，名詞シソーラスの改善が有効である．

原因Fの最初の例は，ルール$\alpha$により管理とされたが，ルール$\beta$\footnote{表~\ref{table18}に示していないが，「従業先の事業規模」が「2人〜4人」のためにルール$\beta$による修正が必要と判断され，「従業先の事業内容」が「事務所」であることが参照された．}により「554」と修正され，SVMによる結果も「554」となった．
正解でも，「従業先の事業規模」により修正が必要とされたが，「従業先の事業内容」ではカッコ内の「電子機器の部品を作る会社」に注目して「503」（機械・電気・化学技術者）としたため，不正解となった．
二番目の例は，ルール$\alpha$により管理（「548」（会社役員））とされ，ルール$\beta$における管理の条件を満たすために修正されず， SVMによる結果も「548」であった．
しかし，正解ではルール$\beta$を適用せず，「従業先の事業内容」が「建設住宅コンサルタント会社」であることに注目して「541」（経営コンサルタント）とされた．
このように，正解においては，特に管理の場合にルール$\beta$を適用する場合としない場合があり\footnote{文献 \cite{SSM95}に，ルール$\beta$は原則であるとの説明がある．}，コーダの間でも混乱が生じている．
人間にとってもコンピュータにとっても，管理コードの付与方針を整理しておく必要がある． 

原因Gはしばしば起きるもので，今回も全不正解事例のうち125事例 ($27\%$) が該当した．
ただし，複数の内容を記述した全384事例 ($17\%$) においては正解が259事例で，不正解の事例の2倍である． 
複数の内容が記述された場合，どれを正解とするかについては，重要なものから記述されるとの考えから，先に記述されたものを正解とすることが多いが，本システムは記述された順番の情報を用いていないため，結果が正解と異なる場合もあり得る．
また，「2つ以上の勤務先で異なる仕事に従事している場合には，就業時間の長い仕事，収入の多い仕事の順であり， １つの勤務先で異なる仕事に従事している場合には，就業時間の長い仕事，生産・製造作業，主要工程または最終工程という順に決定する．」なるルール \cite{SSM95}が適用されることもあり，この中では，「生産・製造作業が他より優先される」はルール化が可能である．   

原因Hは，コンピュータだけでなく人間においても誤りの原因となる．
これは，回答者も調査員も，職業分類の決め手となる情報についての知識が不足するために生じる場合（二番目，三番目，四番目の例）と，回答者が情報を開示したくない場合（最初と最後の例）がある．
原因Hの場合，コーディング現場において可能な限り「999」や「689」（分類不能の職業）を付与しない方針が強く要請されると，正解を誤ってしまう危険性がある．
回答における情報不足の問題については，原因Ａの問題とも併せ，データの質向上というより一般的な観点から，新たな課題として取り組む予定である．

原因Iは，現職までの職歴データや他の情報も考慮された結果，このような正解となった可能性も否定できないが，「本人現職」からは正解が誤っており，本システムの結果が不正解であるとは言い切れない．
正解が誤っているという状況は，新しい職業が登場した当初に解釈が分かれ，その時点で正解としたものが後に定められるコード（新規に生成される場合もある）と異なる場合にも生じる．
このため，訓練事例は適宜見直し，必要に応じて正解を更新する必要がある．

ところで，表~\ref{table18}における例では，本システムの結果がルールベース手法による結果と一致する場合が多かった．
そこで，全事例における両者の一致率を調査した結果，約$80\%$（1,811事例）であった．
両者における正解・不正解の関連を表~\ref{table8}に示す．
カッコ内の数値は全体に占める割合である．
ここで正解としたのは，ルールベース手法では複数のコードが付与された場合はその中に，本システムでは第3位までのコードの中にそれぞれ正解が含まれる場合である．

\begin{table}[t]
\caption{ルールベース手法のみと本システムの正解・不正解事例数（SSM職業コード）}
\label{table8}
\input{04table13.txt}
\end{table}

表~\ref{table8}より，ルールベース手法の正解率は$60.7\%$であるが，ルールベース手法で不正解となった事例の半数がSVMの適用により正解となり，
特に，ルールベース手法でコードが決定できなかった事例の約7割が正解となったため，本システムの正解率は18ポイント上昇した．
これより，両手法を組み合わせる手法の有効性が再確認できた．
一方で，ルールベース手法で正解であった事例のうち，SVMの適用により不正解となったものは約$2\%$しかなく，ルールベース手法の正解率を向上させることは，本システムの正解率向上に有効であると考えられる．

\subsubsection*{ISCOにおける追加実験}

ISCOにおける正解率の向上を目的に，ISCOのコード体系が階層構造であることを利用した追加実験を行った．
まず大分類（10個）を学習させた後に，大分類ごとに小分類を学習する方法の有効性を実験した． 
第1位に予測されたコードについて，階層構造を利用した方法の有効性を調査した結果，効果あり5個，効果なし3個，変化なし1個であった\footnote{ただし，大分類が「0 (Armed forces)」の場合は小分類が存在しないため除いた．} ．
次に，大分類ごとに，この方法と本システムにおける手法（直接，小分類を学習する）のうち正解率の高い方を選択して全体の正解率を算出したが，本システムにおける手法より0.5ポイントしか向上せず，両者を組み合わせた方法の有効性も認められなかった．

ISCOやISICは，今後，国際標準コードが普及するにつれ，正解付きの事例が蓄積されていく．
実験によれば，訓練事例のサイズが大きいほど正解率が向上するため \cite{Takahashi_et_al05c}，今後，この正解付きの事例を既存の訓練事例に追加していくことで，正解率の向上が見込める．
このためには，訓練事例の追加処理を容易に行うことができる必要がある． 

\subsubsection{確信度の有効性}

表~\ref{table7}に，確信度別の正解率とカバー率（カッコ内）をコードの種類ごとに示す．
確信度は第1位に予測されたコードに対するものである．
表~\ref{table7}において，SSMコードの値は2種類の評価事例の平均である．

\begin{table}[t]
\caption{確信度別の正解率とカバー率}
\label{table7}
\input{04table14.txt}
\end{table}

表~\ref{table7}より，確信度 A が付与された事例の正解率は，ISIC ($94\%$) を除くすべてのコードで目標値 ($95\%$) を上回っているため，有効であると判断できる．
特にISCOでは，第1位の正解率は$60\%$未満で，第3位までを含めても$70\%$（表~\ref{table6}参照）と低いが，確信度Aが付与された事例については$96\%$と高い値であった． 
一方，カバー率は，SSMコードは約$30\%$であるのに対し，ISCOは$5\%$，ISICも$1\%$と非常に低く，有用性の点で問題がある．
今後，ISCOとISICは訓練サイズの増大による正解率の向上が期待できるが，カバー率についても向上させる必要がある．
  
確信度Bと確信度Cにおける正解率は，それぞれ$70\%$から$97\%$と$28\%$から$67\%$で，確信度Aに比較するといずれもバラツキが大きい．
確信度Bは，国内・国際職業コードのいずれも目標値 ($75\%$) をやや下回ったが，一般コーダの正解率の範囲内である． 
確信度Bがもっとも高いISIC ($92\%$) は，確信度 A がもっとも低く，両者の差が$2\%$しかない上に，確信度Cにおける正解率も比較的高い．
これはSSM産業コードにおいても同様の傾向である．
職業コードでは，確信度A, 確信度B, 確信度Cがそれぞれ$95\%$，$70\%$台，$30\%$で安定していることと対照的である\footnote{この原因として，産業コードは分類クラスが少ないために正解率が高いことと，閾値$\alpha$はSSM職業コードを用いた実験により決定したことが考えられる．}．
いずれにしても，すべてのコードにおいて，任意の確信度の最低値は下位の確信度の最高値より高く，3つの確信度は信頼性の程度を明確に区別する．
以上より，本システムにおける確信度は，自動コーディング後の人手の要・不要の程度を表す指標として有効であるといえる．

最後に，表~\ref{table8}の状況を確信度別に調査した結果を，表~\ref{table9}（確信度 A），表~\ref{table10}（確信度B），表~\ref{table11}（確信度C）に示す．
カッコ内の数値は全体に占める割合である．

表~\ref{table9}，表~\ref{table10}，表~\ref{table11}より，本システムで正解であった事例について，ルールベース手法における正解・不正解の比率を調査すると，確信度 A では約80倍でもっとも高く，確信度Bで約2.7倍，確信度Cで約0.7倍と，確信度のレベルが下がるにつれて大きく低下した．
また，ルールベース手法で正解であった事例が本システムにおいても正解となる割合を確信度別に調査すると，それぞれ約$100\%$，$98\%$，$91\%$で，確信度のレベルが高いほど高かった．

\begin{table}[t]
\caption{ルールベース手法のみと本システムの正解・不正解事例数（確信度A）（SSM職業コード）}
\label{table9}
\input{04table15.txt}
\end{table}
\begin{table}[t]
\caption{ルールベース手法のみと本システムの正解・不正解事例数（確信度B）（SSM職業コード）}
\label{table10}
\input{04table16.txt}
\end{table}
\begin{table}[t]
\caption{ルールベース手法のみと本システムの正解・不正解事例数（確信度C）（SSM職業コード）}
\label{table11}
\input{04table17.txt}
\end{table}


\subsubsection{処理時間}

処理時間は，PCの性能\footnote{実験には，Intel Core i5 2500K Quad-Core Processor 3.3~GHzを使用した．}や訓練事例，評価事例のサイズにより異なるが，評価事例がJGSS-2006データセットの場合，STEP１からSTEP６にそれぞれ0分，7分，34分，7分，13分，2分（計63分）を要した．
1事例当たり，約1.7秒かかる計算となる．

本システムで1度に処理できる事例数は最大5,000であり，これより大きなサイズのデータセットの場合は数回に分けて処理する必要がある．
5,000事例の場合，1回の処理時間は約2時間半弱である．


\subsection{実験 2}

SSM調査のような大規模プロジェクトによる調査では，自動コーディングの結果が得られても，従来通り一般コーダによるコーディングを実施し，その後に熟練コーダによる再チェックを行うことが可能である．
しかし，多くの調査では，コーディング作業にこのような労力や時間ををかけることは困難である．
また，実際の分析においては，研究の目的に応じ，類似した性質をもつ小分類コードは大分類にまとめて扱う場合が多いため，この大分類レベルで正解であれば問題はない．
例えば，本システムの利用が多い社会階層分野でも，職業威信スコアを用いる研究\footnote{職業威信スコアは個人および職業の社会的地位を示す重要な指標で，回答者により小分類コードごとに評定される．}を除くと，大分類にまとめたものを分析する場合が多い．
このため，自動コーディングの性能が高まるにつれ，この結果をそのまま利用できるのではないかと考える研究者も出てきた． 
そこで，本システムの利用者である社会階層分野の研究者の立場から，自動コーディングの結果をそのまま利用した場合の有効性と問題点についての検討を開始した \cite{Takahashi_et_al16}．
本稿では，SSM職業コードを対象に，第1位に予測されたコードの正解率や確信度について報告する．

実験 2 では，実験 1 で用いた訓練事例（表~\ref{table5}参照）に，JGSS-2006, JGSS-2008, JGSS-2010データセットを加えた計49,795事例を訓練事例とした\footnote{これは，新規に追加された700番台や800番台のコードにも対応する．}．
評価事例は，東京大学社会科学研究所が実施する「働き方とライフスタイルの変化に関する全国調査」（若年・壮年パネル調査；
\linebreak
JLPS）\footnote{http://csrda.iss.u-tokyo.ac.jp/panel/JLPSYM/}の第 1 波のうち，本システムを利用するための項目を満たす3,619事例を用いた．

前述したように，職業威信研究では小分類コードを用いることと，実験 2 における訓練事例と評価事例はいずれも実験 1 と異なるため，まず小分類コードの結果を報告し，次に，大分類にまとめた場合の結果を報告する．
以下では，すべて第1位に予測されたコードを対象とする．


\subsubsection{小分類コードにおける正解率と確信度}

正解率は$67.1\%$で，表~\ref{table7}に示した実験 1 の結果 ($70.2\%$) と比較すると，訓練事例のサイズが増大したにもかかわらず約3ポイント低かった．
この理由として，実験 2 は実験 1 と異なり，評価事例が訓練事例とは性質が大きく異なる調査により収集されたデータセットであることと，パネル調査のため，第2波以降に得られた情報により正解が修正された可能性があることが考えられる．
ただし，第3位に予測されたコードまで含むと，正解率は$79.0\%$となり，実験 1 の結果 ($78.8\%$) をやや上回っており，本システムの頑強性が確認できた．

\begin{table}[b]
\caption{正解率が50\%以下の小分類コード（SSM職業コード）}
\label{table20}
\input{04table18.txt}
\end{table}

表~\ref{table20}に，正解コードの出現度数が全体の$1\%$（頻度35）以上であるコードのうち，正解率が$50\%$以下のものを示す．
「557」や労務が含まれる点は，実験 1 の結果（表~\ref{table17}参照\footnote{ただし，表~\ref{table17}は第3位までに予測されたコードの結果である．}）と類似する．

全体に及ぼす影響の大きさから，不正解の事例数が多いコードを調査した．
10位までのコードを表~\ref{table21}に示す．
実験 2 においても実験 1（表~\ref{table15}参照）と同様，「554」や「557」を他のコードに間違う場合が多い\footnote{「554」を「559」に，「557」を「573」「554」「569」に間違える場合が多いことも実験 1 と同様である．
大分類にまとめて分析を行う場合には，「573」「569」は事務ではなく販売であるため，問題となる．}．

\begin{table}[b]
\caption{不正解事例数が多い小分類コード（SSM職業コード）}
\label{table21}
\input{04table19.txt}
\end{table}
\begin{table}[b]
\caption{確信度別の正解率とカバー率（SSM職業コード）}
\label{table12}
\input{04table20.txt}
\end{table}


次に，確信度ごとの正解率とカバー率（カッコ内）を表~\ref{table12}に示す．
いずれの確信度も実験 1 の結果（表~\ref{table7}参照）を上回っている．
特に，確信度 A が付与された事例では正解率が$97.8\%$に達しており，ここでも確信度Aの有効性が確認された．
これより，「確信度 A が付与された場合は人手によるコーディングは不要」と主張することに一定の説得力があるといえる．
ただし，確信度 A が付与された事例が全体の$14\%$と低いことは，有効性の点からは問題である．

確信度Bの正解率は$76.4\%$で，一般コーダの平均を約1.5ポイント上回っている．
このため，確信度AまたはBが付与された事例については，自動コーディングの結果をそのまま利用しても大きな支障はないと考えられる．
この場合のカバー率は合計で約$66\%$となる．
確信度Cの正解率は$40.2\%$と低いため，そのまま利用することは危険で，人手によるチェックが必要である．


\subsubsection{大分類に合併後の正解率と確信度}

国内の階層研究において実際に分析が行われる場合，
\pagebreak
表~\ref{table22}に示す大分類が用いられることはほとんどなく，表~\ref{table19}に示すものが用いられることが多い\footnote{表~\ref{table19}におけるSSM総合職業分類（簡略版9分類）は，表には掲載していないが，SSM総合職業分類（12分類）の「中小企業ホワイト（事務）」と「中小企業ホワイト（販売・サービス）」を「中小企業ホワイト」，「大企業ブルー（熟練）」と「大企業ブルー（半熟練・非熟練）」を「大企業ブルー」，「中小企業ブルー（事務）」と「中小企業ブルー（販売・サービス）」を「中小企業ブルー」にそれぞれまとめたものである．}．
また，分析の目的によっては，小分類コードを表~\ref{table22}に示す大分類に変換し，さらに表~\ref{table19}に近い8つのカテゴリ（「専門・技術職」「管理職」「事務職」「販売職」「サービス職」「生産現場・技能職」「運輸・保安職」「農林」）に合併することもしばしばある．
このカテゴリは小分類コードと自然な対応関係にあり，両者の比較がもっとも容易に行えるため，ここでは，これを大分類として扱う． 

\begin{table}[b]
\caption{階層研究で用いられる大分類と分類の単位}
\label{table19}
\input{04table21.txt}
\end{table}
\begin{table}[b]
\caption{分類レベルの違いによる正解率の比較と確信度 A のカバー率（SSM職業コード）}
\label{table13}
\input{04table22.txt}
\vspace{-0.5\Cvs}
\end{table}


表~\ref{table13}に，小分類コードの正解率を大分類別に平均した値と，大分類に合併したときの正解率を比較した結果を示す．
表中，確信度Aのカバー率の平均とは，注目する正解コードにおいて確信度 A が付与された事例がその正解コードの全事例に占める割合を大分類別に平均した値である．

大分類に合併すると，正解率の平均は$67.1\%$から$79.9\%$に上昇し，特に「生産現場・技能職」の上昇幅は約24ポイントと大きい．
「運輸・保安職」の上昇幅は約4ポイントであるが，確信度Aのカバー率は$34\%$と高い．

逆に，「管理職」では小分類でも大分類合併後でも$60\%$未満で低く，また確信度Aのカバー率も$0\%$である．
これより，「管理職」が付与されたコードをそのまま用いるのは危険であり，コーダも十分に注意する必要がある．
ただし，管理職の出現率は$0.8\%$で，全体に及ぼす影響は大きくない\footnote{正解コードの出現度数は，「事務職」（933事例），「生産現場・技能職」（802事例），「専門・技術職」（788事例），「販売職」（503事例），「サービス職」（378事例），「運輸・保安職」（140事例），「農林」（32事例），「管理職」（28事例）の順である．}． 
また，「事務職」と「販売職」も小分類での正解率が$70\%$未満と低く，大分類合併後も$80\%$に達していない．
これら3つに共通する特徴として，職務が明確に限定されていない職業を多く含むことが挙げられる．
これは，資格との対応や必要な技能および職務が明確な「専門・技術職」の正解率が小分類でも高く，大分類合併後にもっとも高くなることと対照的である． 

表~\ref{table14}に，大分類に合併後の正解率を確信度ごとに示す．
小分類レベル（表~\ref{table12}参照）と比較すると，大分類合併後は，いずれの確信度も正解率が上昇し，特に確信度Bでは10ポイント，確信度Cでは20ポイント以上上昇する．
大分類に合併すると，確信度AまたはBが付与された事例の正解率は十分に高い値となるため，自動コーディングの結果をそのまま利用することが可能である． 

\begin{table}[t]
\caption{大分類に合併後の確信度別の正解率}
\label{table14}
\input{04table23.txt}
\end{table}



\section{システムの利用方法} 

最後に，本システムの利用方法について述べる．
利用者は，3.3節で述べた所定の形式の入力ファイルを準備し，
CSRDAのWebサイトを通じて図~\ref{fg4}に示す (1)〜(4) の手続きを行えば，自動コーディングの結果を得ることができる．

\begin{figure}[t]
\begin{center}
\includegraphics{24-1ia4f7.eps}
\end{center}
\caption{Web公開版システム（試行提供中）の利用手順}
\label{fg4}
\end{figure}

図~\ref{fg4}において，［CSRDA］自動化システムによる処理とは，運用担当者が行う次の2つである．

\begin{itemize}
 \item システムを稼働させて図~\ref{fg2}に示す操作画面を表示させ，図~\ref{fg3}に示すように，指定場所に置かれた入力データファイルと利用者から希望のあったコードを指定する
 \item 本システムが出力した結果ファイルを指定場所に置く
\end{itemize}

なお，CSRDAでは，セキュリティの点から， システム運用担当者は利用者からの入力ファイルをe-mail等では受けとらず， オンラインストレージ構築パッケージ (Proself)\footnote{https://www.proself.jp/}を介する仕組みとしている．


\section{関連研究}
\label{sec:kanren}

ここでは，韓国と米国における自動化システムについて述べる．
本システムとの大きな違いは，いずれも社会学の研究支援が目的ではなく，職業や産業コードそれ自体が分析に用いられる変数ではないこと，また，自動化のアルゴリズムに機械学習を適用していないことである．

韓国では，2008年に大韓民国統計庁においてWeb-based AIOCS (A Web-based Automated System for Industry and Occupation Coding) が開発された \cite{Jung_et_al08}．
Web-based AIOCSは，ISCOやISICに由来する韓国独自の職業コード（442個）や産業コード（450個）への変換を行う．
自動化のアルゴリズムは，文献 \cite{Takahashi00,Takahashi_et_al05a}を参考にしながらも，処理時間の問題からSVMは用いずに，ルールベース手法， 最大エントロピー法 (MEM)，情報検索技術 (IRT) の3種類を単独または後の2つをルールベース手法と組み合わせた計6種類が提案されている．
この中で正解率が最も高いのは，ルールベース手法，MEM, IRTをこの順に実行する方法で$76\%$である．
利用方法は一問一答方式で，Webサイト上に，会社名（自由回答），ビジネスカテゴリ，部門，役職，仕事の内容（自由回答）を入力すると，同一画面に結果が表示される．
Web-based AIOCSにおける入力データは本システムと類似するが，ファイルによる入出力については不明で\footnote{ファイルによる入出力も可能であるとの記述があるのみで，説明がない．}，
利用も統計庁内部に限定され，一般に公開されていない．

米国では，これまでCDC（Centers for Disease Control and Prevention；米国疾病予防管理センター）のWebサイト上に，単語のマッチングを主とするSOIC (Standardized Occupation \& Industry Coding) システム\footnote{http://www.cdc.gov/niosh/soic/SOIC.About.html}を公開し，利用者自身がソフトウェアをダウンロードして処理を行っていた．
SOICは1990年のセンサス・コードに変換するもので，正解率は，職業コード$75\%$，産業コード$76\%$で，職業コードと産業コードの両方では$63\%$であった．

CDCでは，2000年以降のセンサス・コードに対応するため，2013年に
SOICを含むNIOCCS (The NIOSH Industry \& Occupation Computerized Coding System) を構築した\footnote{http://wwwn.cdc.gov/niosh-nioccs/}．  
NIOCCSにおける入力データは，職業や産業を記述したテキストのみで，これは本システムにおける自由回答部分に該当する．
自動化のアルゴリズムはルールベース手法で，単語だけでなく知識についてもデータベース化したものとのマッチングを行う．
知識の表現形式についての説明はないが，本システムにおけるルール$\alpha$による処理に該当すると考えられる．
ただし，本システムではルール$\alpha$で決定されたコードをチェックするルール$\beta$が存在するのに対し，NIOCCSにはこれに該当するものがないため，「従業上の地位」や「役職」「従業先の事業規模」も参照して総合的かつ慎重な判断を必要とする社会学研究のためには厳密さに欠ける．

NIOCCSにおいても，本システムにおける確信度と同様に，自動コーディングの結果に3段階 (High, Medium, Low) の信頼度を付与するが，機械学習を適用しないため，その算出方法が本システムと異なることは明らかである\footnote{信頼度を算出するための根拠が不明で，Frequently Asked Questionsmの回答として，
Highが$90\%$以上，Mediumが$70\%$以上との説明があるだけである．
カバー率も示されていない．}． 
NIOCCSでは一問一答方式とファイルによる入出力が可能である．
SOICと異なり，利用者はシステムをダウンロードせずに，NIOCCSのアカウントを取得した上で処理を依頼する点は本システムと共通するが，マッチングを行うデータベースを2000年，2002年，2010年の中から選択できる機能は本システムにはないものである．
本システムでは，同一コード体系内におけるさまざまな版（例えば，SSM職業コードにおいて700番台や800番台のコードを含む／含まないなど）に対応するルールや訓練事例を複数種類用意し，利用者の希望に応じて版を選択できる機能の追加を予定している．


\section{おわりに}

本稿では，社会学で活用されている職業・産業コーディング自動化システムについて，現在，CSRDAのWebから試行提供されているシステムを中心に，運用・利用方法も含めて述べた．

本システムは，国内／国際標準の計4種類の職業・産業コードへの変換を行うが，
社会学において重要な職業コードの正解率は，第3位に予測されたものまで含め，国内標準コードで約$80\%$，国際標準では$70\%$〜$75\%$であり，正解率の向上が今後の大きな課題である．
このため，もっとも利用の多い国内標準コードについて，誤り分析の結果に基づき，ルールベース手法におけるルールやシソーラスの見直しを行っている．
また，SVMで用いられる訓練事例の正解の見直しも開始した． 
さらに，訓練事例のサイズを拡大するため，2015SSM調査における職業コーディングの最終結果が決定された時点で，これを正解付き事例として追加する予定である．

正解率は全体では満足できる程度に高くないが，確信度 A が付与された場合は，職業・産業のすべてのコードにおいて，評価事例に関係なく$94\%$以上（平均$97\%$）で，確信度Aを付与する有効性が確認できた． 
ただし，この場合のカバー率は$1\%$〜$32\%$と低いため，カバー率の向上が今後の課題である．
確信度Bや確信度Cが付与された場合の正解率はそれぞれ$70\%$〜$97\%$（平均$79\%$），$28\%$〜$67\%$（平均$42\%$）で，国内・国際に関係なく産業コードは職業コードを上回った． 

社会学研究者がもっともよく利用するSSM職業コードについて，実際の利用状況を想定した大分類レベルに合併すると，正解率は第1位に予測されたもので約$80\%$となり，確信度 A が付与された場合は$99\%$となった．
また，確信度B, 確信度Cが付与された場合の正解率もそれぞれ$87\%$，$62\%$となった．
これより，確信度Cが付与されない事例は，本システムの結果をそのまま利用できる可能性がある． 
今後は，別の種類の大分類に合併した場合についても同様の調査を行った後，より高度な分析として多変量解析に利用された場合についても調査する予定である．

国内の社会学において用いられる職業・産業コードは，今後の社会変動に伴い，さらなる改変が予想される．
これは，個々のコードレベルにとどまらず，コード体系が変更される可能性もある．
実際，SSM職業コードでは，すでにISCOに倣った4桁の階層的なコード体系が提案されている \cite{Miwa11}．
また，SSM産業コードも，2015SSM調査では，ISICとの関係を重視し，これまでの大分類コードから中分類コードに変更された．
さらに，ISCOについても，近い将来，本システムで用いたISCO-88（1988年版）からISCO-08（2008年版）に移行することが予想され，この動きはISICにおいても同様であると思われる．

このような状況の中で，新規のコードまたはコード体系が現行のものと単純な対応関係にある場合は問題ないが，そうでない場合には次のような対応を行う予定である．
まず，コード体系が変更されずに新規のコードが追加される場合は，必要に応じてコードを決定するルールや訓練事例の正解を修正する．
その際，どの新規コードを用いるかが調査により異なる可能性がある場合には，さまざまな版を用意し， 利用者の希望に応じて選択できる機能が必要である．
本機能は，現在開発中である．
次に，コード体系が新しく変更される場合は，これに対応する正解付きの事例を蓄積し，新規の訓練事例を生成する必要がある \cite{Takahashi16}．
職業・産業コーディングは，大規模調査が終了するたびに正解付きの事例が大量に得られるという利点があるため， この事例から訓練事例を容易に生成することができる機能があれば，迅速な対応が可能になる．
本機能はほぼ完成しており，本システムへの追加を予定している．


\acknowledgment

日本版General Social Surveys (JGSS) は，大阪商業大学JGSS研究センター（文部科学大臣認定日本版総合的社会調査共同研究拠点）が，東京大学社会科学研究所の協力を受けて実施した研究プロジェクトである．
2005年SSM調査データの利用に関して，2015年SSM調査研究会の許可を得た．
東大社研パネル調査プロジェクトにおける職業・産業コーディングの精度向上を目的として，職業・産業の自由記述データの提供を受けた．
本研究はJSPS科研費 25380640の助成を受けた．


\bibliographystyle{jnlpbbl_1.5}
\begin{thebibliography}{}

\bibitem[\protect\BCAY{1995年SSM調査研究会}{1995年SSM調査研究会}{1995}]{SSM95}
1995年SSM調査研究会 \BBOP 1995\BBCP.
\newblock \Jem{SSM産業分類・産業分類（95年版）}.

\bibitem[\protect\BCAY{1995年SSM調査研究会}{1995年SSM調査研究会}{1996}]{SSM96}
1995年SSM調査研究会 \BBOP 1996\BBCP.
\newblock \Jem{1995年SSM調査コード・ブック}.

\bibitem[\protect\BCAY{原}{原}{1984}]{Hara84}
原純輔 \BBOP 1984\BBCP.
\newblock \Jem{社会調査演習}.
\newblock 東京大学出版会.

\bibitem[\protect\BCAY{原}{原}{2013}]{Hara13}
原純輔 \BBOP 2013\BBCP.
\newblock 職業自動コーディング.\
\newblock \Jem{社会と調査}, {\Bbf 11}, p. 3.


\bibitem[\protect\BCAY{Joachims}{Joachims}{1998}]{Joachims98}
Joachims, T. \BBOP 1998\BBCP.
\newblock \BBOQ Text Categorization with Support Vector Machines: Learning with
  Many Relevant Features.\BBCQ\
\newblock In {\Bem Proceedings of the European Conference on Machine Learning},
  \mbox{\BPGS\ 137--142}.

\bibitem[\protect\BCAY{Jung, Yoo, Myaeng, \BBA\ Han}{Jung
  et~al.}{2008}]{Jung_et_al08}
Jung, Y., Yoo, J., Myaeng, S.-H., \BBA\ Han, D.-C. \BBOP 2008\BBCP.
\newblock \BBOQ A Web-based Automated System for Industry and Occupation
  Coding.\BBCQ\
\newblock In {\Bem Proceedings of the 9th International Conference on Web
  Information Systems Engineering (WISE-08)}, \lowercase{\BVOL}\ 3518,
  \mbox{\BPGS\ 443--457}.

\bibitem[\protect\BCAY{Kressel}{Kressel}{1999}]{kressel99}
Kressel, U. \BBOP 1999\BBCP.
\newblock \BBOQ Pairwise Classification and Support Vector Machines.\BBCQ\
\newblock In Sch{\" o}lkopf, B., Burgesa, C. J.~C., \BBA\ Smola, A.~J.\BEDS,
  {\Bem Advances in Kernel Methods *Support Vector Learning}, \mbox{\BPGS\
  255--268}. The MIT Press.

\bibitem[\protect\BCAY{黒橋\JBA 長尾}{黒橋\JBA 長尾}{1998}]{Kurohashi98}
黒橋禎夫\JBA 長尾真 \BBOP 1998\BBCP.
\newblock 日本語形態素解析システムJUMAN version 3.61.\
\newblock \JTR, 京都大学大学院情報学研究科.

\bibitem[\protect\BCAY{三輪}{三輪}{2011}]{Miwa11}
三輪哲（編） \BBOP 2011\BBCP.
\newblock
  \Jem{SSM職業分類・産業分類の改定に向けて（科学研究費補助金基盤研究A「現代日本の階層状況の解明—ミクロ--マクロ連結からのアプローチ」研究成果報告書別冊）}.

\bibitem[\protect\BCAY{大阪商業大学比較地域研究所・東京大学社会科学研究所}{大阪商業大学比較地域研究所・東京大学社会科学研究所}{2005}]{JGSS05}
大阪商業大学比較地域研究所・東京大学社会科学研究所 \BBOP 2005\BBCP.
\newblock \Jem{日本版General Social Surveys 基礎集計表・コードブック
  JGSS-2003}.

\bibitem[\protect\BCAY{Sebastiani}{Sebastiani}{2002}]{Sebastiani02}
Sebastiani, F. \BBOP 2002\BBCP.
\newblock \BBOQ Machine Learning Automated Text Categorization.\BBCQ\
\newblock {\Bem ACM Computing Surveys}, {\Bbf 34}  (1), \mbox{\BPGS\ 1--47}.

\bibitem[\protect\BCAY{盛山}{盛山}{2004}]{Seiyama04}
盛山和夫 \BBOP 2004\BBCP.
\newblock \Jem{社会調査法入門}.
\newblock 有斐閣.

\bibitem[\protect\BCAY{高橋}{高橋}{2000}]{Takahashi00}
高橋和子 \BBOP 2000\BBCP.
\newblock 自由回答のコーディング支援について
  —格フレームによるSSM職業コーディング自動化システム—.\
\newblock \Jem{理論と方法}, {\Bbf 15}  (1), \mbox{\BPGS\ 149--164}.


\bibitem[\protect\BCAY{高橋}{高橋}{2002a}]{Takahashi02a}
高橋和子 \BBOP 2002a\BBCP.
\newblock  職業・産業コーディング自動化システムの活用.\
\newblock \Jem{言語処理学会第8回年次大会論文集}, \mbox{\BPGS\ 491--494}.



\bibitem[\protect\BCAY{高橋}{高橋}{2002b}]{Takahashi02b}
高橋和子 \BBOP 2002b\BBCP.
\newblock JGSS-2000における職業・産業コーディング自動化システムの適用.\
\newblock \Jem{日本版General Social
  Surveys研究論文集　JGSSで見た日本人の意識と行動［東京大学社会科学研究所資料第20集］},
  {\Bbf 1}, \mbox{\BPGS\ 171--184}.

\bibitem[\protect\BCAY{高橋}{高橋}{2003}]{Takahashi03}
高橋和子 \BBOP 2003\BBCP.
\newblock JGSS-2001における職業・産業コーディング自動化システムの適用.\
\newblock \Jem{日本版General Social
  Surveys研究論文集［2］JGSSで見た日本人の意識と行動［東京大学社会科学研究所資料第21集］},
  {\Bbf 2}, \mbox{\BPGS\ 179--191}.

\bibitem[\protect\BCAY{高橋}{高橋}{2008}]{Takahashi08}
高橋和子 \BBOP 2008\BBCP.
\newblock 機械学習によるISCO自動コーディング.\
\newblock
  \Jem{2005年SSM調査シリーズ12　社会調査における測定と分析をめぐる諸問題},
  {\Bbf 12}, \mbox{\BPGS\ 53--78}.

\bibitem[\protect\BCAY{高橋}{高橋}{2011}]{Takahashi11}
高橋和子 \BBOP 2011\BBCP.
\newblock
  ISCO自動コーディングシステムの分類精度向上に向けて—SSMおよびJGSSデータセットによる実験の結果—.\
\newblock \Jem{JGSS Research Series
  No. 8: 日本版総合的社会調査共同研究拠点研究論文集［11］}, {\Bbf 11},
  \mbox{\BPGS\ 193--205}.

\bibitem[\protect\BCAY{高橋}{高橋}{2016}]{Takahashi16}
高橋和子 \BBOP 2016\BBCP.
\newblock
  \Jem{職業・産業コーディング自動化システム（平成25〜27年度科学研究費補助金基板研究 (C)「社会調査の基盤を提供する自動コーディグシステムのWeb提供：その国際化と汎用化」）}.

\bibitem[\protect\BCAY{高橋\JBA 須山\JBA 村山\JBA 高村\JBA 奥村}{高橋 \Jetal
  }{2005a}]{Takahashi_et_al05b}
高橋和子\JBA 須山敦\JBA 村山紀文\JBA 高村大也\JBA 奥村学 \BBOP 2005a\BBCP.
\newblock 職業コーディング支援システム (NANACO) の開発とJGSS-2003における適用.\
\newblock \Jem{日本版 General Social Surveys
  研究論文集［4］JGSSで見た日本人の意識と行動}, {\Bbf 4}, \mbox{\BPGS\
  225--242}.

\bibitem[\protect\BCAY{高橋\JBA 高村\JBA 奥村}{高橋 \Jetal
  }{2005b}]{Takahashi_et_al05c}
高橋和子\JBA 高村大也\JBA 奥村学 \BBOP 2005b\BBCP.
\newblock 機械学習とルールベース手法の組み合わせによる自動職業コーディング.\
\newblock \Jem{自然言語処理}, {\Bbf 12}  (2), \mbox{\BPGS\ 3--24}.


\bibitem[\protect\BCAY{Takahashi, Takamura, \BBA\ Okumura}{Takahashi
  et~al.}{2005}]{Takahashi_et_al05a}
Takahashi, K., Takamura, H., \BBA\ Okumura, M. \BBOP 2005\BBCP.
\newblock \BBOQ Automatic Occupation Coding with Combination of Machine
  Learning and Hand-Crafted Rules.\BBCQ\
\newblock In {\Bem Proceedings of the 9th International Conference on
  Pacific-Asia Knowledge Discovery and Data Mining (PAKDD'05)},
  \lowercase{\BVOL}\ 3518, \mbox{\BPGS\ 269--279}.

\bibitem[\protect\BCAY{Takahashi, Takamura, \BBA\ Okumura}{Takahashi
  et~al.}{2008}]{Takahashi_et_al08}
Takahashi, K., Takamura, H., \BBA\ Okumura, M. \BBOP 2008\BBCP.
\newblock \BBOQ Direct Estimation of Class Membership Probabilities for
  Multiclass Classification using Multiple Scores.\BBCQ\
\newblock {\Bem Knowledge and Information Systems}, {\Bbf 19}  (2),
  \mbox{\BPGS\ 185--210}.

\bibitem[\protect\BCAY{高橋\JBA 田辺\JBA 吉田\JBA 魏\JBA 李}{高橋 \Jetal
  }{2013a}]{Takahashi_et_al13a}
高橋和子\JBA 田辺俊介\JBA 吉田崇\JBA 魏大比\JBA 李偉 \BBOP 2013a\BBCP.
\newblock
  確信度付き職業・産業コーディング自動化システムの開発と公開.\
\newblock \Jem{数理社会学会第55回大会報告要旨集}, \mbox{\BPGS\ 38--41}.


\bibitem[\protect\BCAY{高橋\JBA 田辺\JBA 吉田\JBA 魏\JBA 李}{高橋 \Jetal
  }{2013b}]{Takahashi_et_al13b}
高橋和子\JBA 田辺俊介\JBA 吉田崇\JBA 魏大比\JBA 李偉 \BBOP 2013b\BBCP.
\newblock Web版職業・産業コーディング自動化システムの開発.\
\newblock \Jem{言語処理学会第19回年次大会論文集}, \mbox{\BPGS\ 769--772}.

\bibitem[\protect\BCAY{高橋\JBA 多喜\JBA 田辺}{高橋 \Jetal
  }{2016}]{Takahashi_et_al16}
高橋和子\JBA 多喜弘文\JBA 田辺俊介 \BBOP 2016\BBCP.
\newblock
  職業コーディング自動化システム利用に関する評価—社会階層研究を事例に—.\
\newblock \Jem{数理社会学会第61回大会報告要旨集}, \mbox{\BPGS\ 31--36}.


\bibitem[\protect\BCAY{Takahashi, Taki, Tanabe, \BBA\ Li}{Takahashi
  et~al.}{2014}]{Takahashi_et_al14}
Takahashi, K., Taki, H., Tanabe, S., \BBA\ Li, W. \BBOP 2014\BBCP.
\newblock \BBOQ An Automatic Coding System with a Three-Grade Confidence Level
  Corresponding to the National/International Occupation and Industry Standard: Open to the Public on the Web.\BBCQ\
\newblock In {\Bem Proceedings of the 6th International Conference on Knowledge
  Engineering and Ontology Development (KEOD 2014)}, \mbox{\BPGS\ 369--375}.

\bibitem[\protect\BCAY{高村}{高村}{2010}]{Takamura10}
高村大也 \BBOP 2010\BBCP.
\newblock \Jem{自然言語処理シリーズ1　言語処理のための機械学習入門}.
\newblock コロナ社.

\bibitem[\protect\BCAY{田辺}{田辺}{2006}]{Tanabe06}
田辺俊介 \BBOP 2006\BBCP.
\newblock
  ISCOとSSM職業分類の相違点の検討—国際比較調査における職業データに関する研究ノート—.\
\newblock \Jem{社会学論考}, {\Bbf 27}, \mbox{\BPGS\ 47--68}.

\bibitem[\protect\BCAY{田辺}{田辺}{2008}]{Tanabe08}
田辺俊介 \BBOP 2008\BBCP.
\newblock SSM職業分類とISCO-88の比較分析.\
\newblock
  \Jem{2005年SSM調査シリーズ1　2005年SSM日本調査の基礎分析—構造・趨勢・方法—},
  {\Bbf 1}, \mbox{\BPGS\ 31--45}.

\bibitem[\protect\BCAY{轟\JBA 杉野}{轟\JBA 杉野}{2013}]{Todoroki_et_al13}
轟亮\JBA 杉野勇 \BBOP 2013\BBCP.
\newblock \Jem{入門社会調査法}.
\newblock 法律文化社.

\end{thebibliography}


\begin{biography}
\bioauthor{高橋　和子}{
東京女子大学文理学部数理学科卒．
2007年東京工業大学大学院総合理工学研究科博士課程修了．
1993年千葉敬愛短期大学専任講師，1997年敬愛大学国際学部専任講師，2001年同助教授，2008年より同教授．
博士（工学）．
言語処理学会，数理社会学会，情報処理学会，人工知能学会各会員．\\
}
\vspace{-0.5\Cvs}
\bioauthor{多喜　弘文}{
2005年同志社大学文学部社会学科卒（社会学専攻）．
2011年同大学大学院社会学研究科社会学科博士後期課程修了．
2012年東京大学社会学研究所助教．
2014年法政大学社会学部社会学科専任講師，2016年より同准教授．
博士（社会学）．
日本社会学会，国際社会学会，日本教育社会学会，数理社会学会各会員．\\
}
\vspace{-0.5\Cvs}
\bioauthor{田辺　俊介}{
1999年東京都立大学人文学部卒（社会学専攻）．
2005年同大学大学院社会科学研究科社会学専攻博士課程単位取得退学．
2007年東京大学社会科学研究所助教，2009年同准教授． 
2013年より早稲田大学文学学術院准教授．
博士（社会学）．
日本社会学会，数理社会学会，アメリカ社会学会各会員．\\
}
\vspace{-0.5\Cvs}
\bioauthor{李　　　偉}{
2015年東京工業大学大学院理工学研究科博士課程単位取得退学．
2016年株式会社シービーエージャパン入社．\\
}
\end{biography}

\biodate

\end{document}
