Carrot2聚类工具简介

《Carrot2聚类工具简介》由会员分享，可在线阅读，更多相关《Carrot2聚类工具简介（32页珍藏版）》请在装配图网上搜索。

1、1Carrot2聚类工具简介 2009.04.16 2ContentsnCarrot2体系结构nCarrot2聚类算法qLingo & STCnCarrot2 ApplicationsqWebapp & Workbench & DCSnCarrot2 source code下载与配置、运行nCarrot2 core、Attributen可用资源3Carrot2简介nCarrot2 is an Open Source Search Results Clustering Engine 。nAuthor：Dawid Weiss &Stanislaw Osinski n 波兰人，波兹南大学n 研究方向

2、：text clustering, information retrieval, web mining, computational linguistics and software engineering 4Carrot2体系结构nCarrot2是一个开源的基于搜索结果的聚类引擎 5Lucene索引结果nLucene索引index由若干段(segment)组成，每一段由若干的文档（document）组成，每一个文档由若干的域（field）组成，每一个域由若干的项（term）组成。项是最小的索引概念单位，它直接代表了一个字符串以及其在文件中的位置、出现次数等信息。域是一个关联的元组，由一个域名

3、和一个域值组成，域名是一个字串，域值是一个项，比如将“标题”和实际标题的项组成的域。文档是提取了某个文件中的所有信息之后的结果，这些组成了段，或者称为一个子索引。子索引可以组合为索引，也可以合并为一个新的包含了所有合并项内部元素的子索引。67Carrot聚类算法nLingo：基于奇异值分解的索引结果聚类算法n首先确定可感知的类标签，然后将文件分配到类中qPreprocessing预处理nFiltering文本过滤、stemming提干、stopword去除停用词qFrequent phrase extractionqCluster label inductionqCluster content

4、 discoveryqFinal cluster formation8Carrot2聚类算法nSTC（Suffix Tree Clustering）后缀树聚类算法，一种On-line聚类算法q(1)将文档片段作为输入而不是整篇文档q(2)聚类算法必须足够快速实现在线计算q(3)生成的类簇必须是终端用户可读的描述qSTC将文档作为字符串来处理，利用文档间相似信息qSTC是新颖的、增值的、O（n）时间复杂度qSTC快速的为用户总结出类簇内容qSTC处理小数据集，所以耗时较少9q后缀树包含了一个或者多个字符串的所有后缀，空字符串也算是其中的一个后缀q例如：banana后缀为：banana anana

5、 nana ana na a 空q一般来说后在字符串末尾加$特殊字符作为结束标记q后缀树：n有根节点的有序的树n每个内部节点至少有2个子节点n每条边以S的非空子字符串做标签，节点的标签定义为从根节点到该节点路径上的标签的串联n同一节点出发的两条路径不可能以同一词开始10Example11nSTC步骤：n一、文档清洗qtagger stemmer 句子边界界定 stop wordn二、标识基础类簇q（1）通过文本预处理将文档表示为词的序列，构成后缀树；q（2）利用后缀树找到基类簇，至少被两个文档包含的短语称为短语束，基类簇就是要找到最大短语束B，用来描述相关短语mB和出现该短语的文档dB，并计算

6、各个基类簇的值S(B)；n三、合并基础类簇q合并基类簇，为了避免出现非常类似的基类簇，可以设置一个阈值k( ) |* (|)*()iS BBfBtf idf w|mnmBBkB|mnnBBkB12Carrot2 Applicationsnworkbench Carrot2文档聚类平台，是一个独立的GUI程序，可以用来对一般搜索引擎数据或你自己的数据进行聚类实验。nDCS Carrot2文档聚类服务器，将Carrot2聚类作为REST服务呈现。nWebapp Carrot2网络应用，可以将Carrot2聚类作为终端用户的网络应用呈现。13Workbench聚类平台n下载carrot2-workb

7、ench-win32.win32.x86-3.1-dev.zip解压，执行carrot2-workbench.exen！Problemq源码运行出错q上次的问题，查询Lucene索引时没有聚类结果，需要重启workbenchq聚类效果不佳，类簇标签多是期刊号等非重要信息，前期预处理没有过滤掉。1415webappn下载carrot2-webapp-3.0.warn将其放于Tomcat的webapps文件夹下自动解压n访问http:/localhost:8080/carrot2-webapp-3.016Webapp的Lucene索引配置nWebapp的war包解压后，WEB-INF/classe

8、s/carrot2-defaultn修改suite-webapp.xmln添加lucene-attributes.xmln重新启动Tomcatn访问http:/localhost:8080/carrot2-webapp-3.01718基于Lucene索引的聚类结果19可视化效果图20！ProblemnWar包解压q英文可以聚类，中文无结果，分词问题q没有Aduna map可视化效果n！查询本地Lucene索引时只能索引标题出现的词n源码问题q聚类无结果21Carrot2 source code下载nCarrot2是sourceforge（全球最大的开放源代码软件开发平台和仓库）代理n步骤1：安

9、装svn工具。下载：http:/ ，安装n建立源码地址文件夹，右击 SVN Checkout在URL of Repository输入源码网址SVN URL https:/ source code导入eclipsen打开eclipsenImportGeneralExsiting projects to workspace选择Carrot2源码路径n去除org.carrot2.antlib工程n执行n若出错说明没有ant ？将Carrot的lib下的jar包和core包放到classpath下23Example: ClusteringDataFromLucenen修改属性：n final Stri

10、ng contentFieldName = content;nIndexpath路径（设置运行时参数）nindexPath=“your own lucene index path”；n查询关键字：n final Map processingAttributes = new HashMap();nprocessingAttributes.put(AttributeNames.QUERY, 教育);24nCollected 27 documentsn 0 _电化教育研究_投稿须知n 1 对教育技术学科名称及定位的反思n 2 从CSSCI看新世纪中国教育技术学学科地位的变化n 3 边远地区高校教育信

11、息化建设与和谐发展的理性思考nnCreated 16 clustersn电化教育研究 (16 documents)n 0 _电化教育研究_投稿须知n 2 从CSSCI看新世纪中国教育技术学学科地位的变化nn2008年第4期 总第180期 (3 documents)n 4 从历史使命谈教育技术的定位n 20 大学生信息素养培养模式及实施途径研究n 23 CSCL环境中基于对话学习理论的教学设计nAttributes:nquery: 教育nresults-total: 27nprocessing-time-algorithm: 1091nprocessing-time-source: 2253nL

12、ingoClusteringAlgorithm.nativeMatrixUsed: falsenprocessing-time-total: 334425Carrot2运行nWorkbenchqRunExternal toolsAttribute Metadata XmlqRunRun configuration 选择Eclipse ApplicationworkbenchnWebappqRunExternal toolsAttribute Metadata XmlqRunExternal toolsweb application setupqRunRun configuration26Car

13、rot2 Coreqorg.carrot2.corenDocument, Cluster, ProcessingResultqorg.carrot2.core.attributenInit (注释类型), AttributeNames, Processingqorg.carrot2.sourcenSearchEngineBase, SearchEngineResponse, SimpleSearchEngineqorg.carrot2.source.lucenenLuceneDocumentSource, FSDirectoryWrapperqorg.carrot2.clustering.li

14、ngonClusterBuilder, LingoClusteringAlgorithm, LingoProcessingContextqorg.carrot2.clustering.stcnorg.carrot2.text.suffixtree, org.carrot2.text.suffixtree2nBaseCluster, Phrase, STCClusteringAlgorithm, STCClusteringParameters, STCEngine, STCTree27qorg.carrot2.text.analysisnExtendedWhitespaceAnalyzer, E

15、xtendedWhitespaceTokenizer,qorg.carrot2.text.preprocessingnTokenizer, PhraseExtractorqorg.carrot2.text.lingusticnLanguageCode, DefaultLanguageModelqorg.carrot2.text.preprocessing.filternClusterBuilder, LingoClusteringAlgorithm, LingoProcessingContextqorg.carrot2.text.utilnCharArrayComparator, Mutabl

16、eCharArrayqorg.carrot2.text.vsmnITremWeighting, VectorSpaceModelContext, TfTermWeighting, LinearTfidfTermWeighting, LogTfidfTermWeighting, TermDocumentMatrixBuilder28qorg.carrot2.MatrixnEigenvalueCaculator, MatrixUtils, NNIDenseDoubleMatrix2Dqorg.carrot2.matrix.factorizationnKMeansMatrixFactorizatio

17、n, IterativeMatrixFactorizationqorg.carrot2.matrix.factorization.seedingnKMeansSeedingStraegy, RandomSeedingStrategyqorg.carrot2.util.xmlqorg.carrot2.webappnWebApp.javaqorg.carrot2.workbench.corenApplication.java29可用资源nhttp:/project.carrot2.org/index.html官方网站nhttp:/download.carrot2.org/head/manual/i

18、ndex.html帮助nhttp:/project.carrot2.org/forum.html论坛nReference参考文献qCarrot2 and Language Properties in Web Search Results ClusteringqIntroducing Usability Practices to OSS: The Insiders ExperienceqCarrot2: Design of a Flexible and Efficient Web Information Retrieval FrameworkqAN INDEXING AND CLUSTERING

19、 ARCHITECTURE TO SUPPORT DOCUMENT RETRIEVAL IN THE MAINTENANCE SECTOR30nLingoqConceptual Clustering Using Lingo Algorithm: Evaluation on Open Directory Project DataqLingo: Search Results Clustering Algorithm Based on Singular Value DecompositionqA New Algorithm for Clustering Search Results31接下来要做的研究？n聚类算法原理n可视化q聚类结果XML可视化（Tree，Aduna map)32