DSpace university logo mark
Advanced Search
Japanese | English 

NAOSITE : Nagasaki University's Academic Output SITE > Faculty of Engineering > Articles in academic journal >

混合ディリクレ分布を用いた文書分類の精度について


File Description SizeFormat
48_SIG11_14.pdf1.35 MBAdobe PDFView/Open

Title: 混合ディリクレ分布を用いた文書分類の精度について
Other Titles: Accuracy of Document Classification with Dirichlet Mixtures
Authors: 正田, 備也 / 高須, 淳宏 / 安達, 淳
Authors (alternative): Masada, Tomonari / Takasu, Atsuhiro / Adachi, Jun
Issue Date: 15-Jun-2007
Publisher: 情報処理学会
Citation: 情報処理学会論文誌:データベース, Vol.48, No.SIG11(TOD34), pp.14-26, June 2007
Abstract: 文書分類のための代表的な確率論的手法にナイーヴ・ベイズ分類器がある.しかし,ナイーヴ・ベイズ分類器は,スムージングと併用して初めて満足な分類精度を与える.さらに,スムージング・パラメータは,文書集合の性質に応じて適切に決めなければならない.本論文では,パラメータ・チューニングの必要がなく, また,多様な文書集合に対して十分な分類精度を与える効果的な確率論的枠組みとして,混合ディリクレ分布に注目する.混合ディリクレ分布の応用については,言語処理や画像処理の分野で多く研究がある.特に,言語処理分野の研究では,現実の文書データを用いた実験も行われている.だが,評価は,パープレキシティという純粋に理論的な尺度によることが多い.その一方,テキスト・マイニングや情報検索の分野では,文書分類の評価に,正解ラベルとの照合によって計算される精度を用いることが多い.本論文では,多言語テキスト・マイニングへの応用を視野に入れて,英語の20 newsgroupsデータ・セット,および,韓国語のWebニュース文書を用いて文書分類の評価実験を行い,混合ディリクレ分布に基づく分類器とナイーヴ・ベイズ分類器の,定性的・定量的な違いを明らかにする. / The naive Bayes classifier is a well-known method for document classification. However, the naive Bayes classifier gives a satisfying classification accuracy only after an appropriate tuning of the smoothing parameter. Moreover, we should find appropriate parameter values separately for different document sets. In this paper, we focus on an effective probabilistic framework for document classification, called Dirichlet mixtures, which requires no parameter tuning and provides satisfying classification accuracies with respect to various document sets. Many researches in the field of image processing and of natural language processing utilize Dirichlet mixtures. Especially, in the field of natural language processing, many experiments are conducted by using real document data sets. However, most researches use the perplexity as an evaluation measure. While the perplexity is a purely theoretical measure, the accuracy is popular for document classification in the field of information retrieval or of text mining. The accuracy is computed by comparing correct labels with predictions made by the classifier. In this paper, we conduct an evaluation experiment by using 20 newsgroups data set and the Korean Web newspaper articles under the intention that we will use Dirichlet mixtures for multilingual applications. In the experiment, we compare the naive Bayes classifier with the classifier based on Dirichlet mixtures and clarify their qualitative and quantitative differences.
URI: http://hdl.handle.net/10069/16317
ISSN: 03875806
Rights: 本著作物の著作権は(社)情報処理学会に帰属します。本著作物は著作権者である情報処理学会の許可のもとに掲載するものです。ご利用に当たっては「著作権法」ならびに「情報処理学会倫理綱領」に従うことをお願いいたします。 / All Rights Reserved, Copyright (C) Information Processing Society of Japan. / Notice for the use of this material The copyright of this material is retained by the Information Processing Society of Japan (IPSJ). This material is published on this web site with the agreement of the author (s) and the IPSJ. Please be complied with Copyright Law of Japan and the Code of Ethics of the IPSJ if any users wish to reproduce, make derivative work, distribute or make available to the public any part or whole thereof.
Type: Journal Article
Text Version: publisher
Appears in Collections:Articles in academic journal

Citable URI : http://hdl.handle.net/10069/16317

All items in NAOSITE are protected by copyright, with all rights reserved.

 

Valid XHTML 1.0! Copyright © 2006-2015 Nagasaki University Library - Feedback Powerd by DSpace