文本挖掘

文本挖掘有时也被称为文字探勘、文本数据挖掘等，大致相当于文字分析，一般指文本处理过程中产生高质量的信息。高质量的信息通常通过分类和预测来产生，如模式识别。文本挖掘通常涉及输入文本的处理过程（通常进行分析，同时加上一些衍生语言特征以及消除杂音，随后插入到数据库中） ，产生结构化数据，并最终评价和解释输出。'高品质'的文本挖掘通常是指某种组合的相关性，新颖性和趣味性。典型的文本挖掘方法包括文本分类，文本聚类，概念/实体挖掘，生产精确分类，观点分析，文档摘要和实体关系模型（即，学习已命名实体之间的关系） 。

历史

劳工密集型的人工纯文字挖掘方法最早出现在20世纪80年代中期，但在过去的十年中，技术的进步已经使这一领域迅速取得进展。文本挖掘已经是信息检索、数据挖掘、机器学习、统计以及计算语言学等学科中的重要领域。由于目前的大多数信息（80％）是以文本的形式来保存，文本挖掘被认为具有较高的商业潜在价值。

多语种数据挖掘已经越来越多的引起人们的兴趣：能够根据自己的意愿从跨语种的文字来源中挖掘出有用的信息。

软件和应用

• 方正智思系统软件 方正智思可以实现关键词提取、自动分类、相似搜索、消重、自动主题检测等等基于中文文本自然语言处理的相关解决方案。典型应用见 方正产品总监李崇纲进行的有关方正智思互联网舆情分析系统的主题演讲http://www.cnetnews.com.cn/2008/1130/1259368.shtml
• 语擎科技无预设实时分析工具 - 语擎公司对文本的预处理采用了类似搜索引擎的数据结构,使基于关键词的文本挖掘和分析具有秒级的运算效率。语擎的实时多维统计工具、全范围关键词关系表以及作者知识表达等都是开创性的技术。

[1]

• 赛仕软件 - 包括赛仕文本挖掘和泰码语言解决方案 - 针对信息管理的商业文本分析,自然语言处理和自动分类软件. [2]

开源软件和应用

Weka工具 http://www.cs.waikato.ac.nz/ml/weka/

参考资料

• Ronen Feldman and James Sanger, The Text Mining Handbook, Cambridge University Press, ISBN 9780521836579
• Kao Anne, Poteet, Steve R. (Editors), Natural Language Processing and Text Mining, Springer, ISBN-10: 184628175X
• Konchady Manu "Text Mining Application Programming (Programming Series)" by Manu Konchady, Charles River Media, ISBN 1584504609
• M. Ikonomakis, S. Kotsiantis, V. Tampakas, Text Classification Using Machine Learning Techniques, WSEAS Transactions on Computers, Issue 8, Volume 4, August 2005, pp. 966-974 (http://www.math.upatras.gr/~esdlab/en/members/kotsiantis/Text%20Classification%20final%20journal.pdf)

更多链接

• http://www.itl.nist.gov/iaui/894.02/related_projects/muc/ MUC
• http://projects.ldc.upenn.edu/ace/ ACE (LDC)
• http://www.itl.nist.gov/iad/894.01/tests/ace/ ACE (NIST)
• http://www.arts-humanities.net/text_mining (Discussion group text mining)
• Text Analysis Portal for Research (TAPoR)
• http://textanalytics.wikidot.com/ Text Analytics Wiki
• Getting started in text mining
• Pimiento A Text-Mining Application Framework written in Java.