数据挖掘

维基百科,自由的百科全书
跳转至: 导航搜索
Exquisite-bz2.png

数据挖掘Data mining),又譯為资料探勘資料挖掘資料採礦。它是資料庫知識發現(英文:Knowledge-Discovery in Databases,縮寫KDD)中的一個步驟。数据挖掘一般是指從大量的資料中自動搜索隱藏於其中的有着特殊關聯性(屬於Association rule learning)的信息的過程。資料挖掘通常與電腦科學有關,並通過統計在线分析处理情報檢索機器學習專家系統(依靠過去的經驗法則)和模式識別等諸多方法來實現上述目標。

定義[编辑]

資料挖掘有以下這些不同的定義:

  1. 「從資料中提取出隱含的過去未知的有價值的潛在信息」[1]
  2. 「一門從大量資料或者資料庫中提取有用信息的科學。」[2]

儘管通常資料挖掘應用於資料分析,但是像人工智能一樣,它也是一個具有豐富含義的詞彙,可用於不同的領域。 它与KDD的关系是:KDD是从数据中辨别有效的、新颖的、潜在有用的、最终可理解的模式的过程;而数据挖掘是KDD通过特定的算法在可接受的计算效率限制内生成特定模式的一个步骤。 事实上,在现今的文献中,这两个术语经常不加区分的使用。

方法[编辑]

数据挖掘的方法包括監督式學習非監督式學習、關聯分組(Affinity Grouping,作關聯性的分析)與購物籃分析(Market Basket Analysis)、聚类(Clustering)與描述(Description)。監督式學習包括:分類、估计、預測。

例子[编辑]

数据挖掘在零售行業中的應用:零售公司跟蹤客戶的購買情況,發現某個客戶購買了大量的真絲襯衣,這時資料挖掘系統就在此客戶和真絲襯衣之間建立關聯。銷售部门就會看到此信息,直接發送真絲襯衣的當前行情,以及所有关于真丝衬衫的资料发給該客戶。這樣零售商店通過資料挖掘系統就發現了以前未知的關於客戶的新信息,并且扩大经营范围。

歷史[编辑]

資料挖掘是因為海量有用資料快速增長的產物。使用計算機進行歷史資料分析,1960年代數字方式採集資料已經實現。1980年代,关系数据库隨著能夠適應動態按需分析資料的結構化查詢語言發展起來。数据仓库開始用來存儲大量的資料。

因為面臨處理資料庫中大量資料的挑戰,於是資料挖掘應運而生,對於這些問題,它的主要方法是資料統計分析人工智能搜索技術。

数据捕捞[编辑]

通常作為與資料倉庫和分析相關的技術,資料挖掘處於它們的中間。然而,有時還會出現十分可笑的應用,例如發掘出不存在但看起來振奮人心的模式(特別的因果關係),這些根本不相關的、甚至引人誤入歧途的、或是毫無價值的關聯,在統計學文獻裡通常被戲稱為「資料挖泥」(Data dredging, data fishing, or data snooping)。

資料挖掘意味著掃瞄可能存在任何關係的資料,然後篩選出符合的模式,(這也叫作「過度匹配模式」)。大量的數據集中總會有碰巧或特定的資料,有著「令人振奮的關係」。因此,一些結論看上去十分令人懷疑。儘管如此,一些探索性資料分析 還是需要應用統計分析尋找資料,所以好的統計方法和數據資料的界限並不是很清晰。

更危險是出現根本不存在的關聯性。投資分析家似乎最容易犯這種錯誤。在一本叫做《顧客的遊艇在哪裡?》的書中寫道:「總是有相當數量的可憐人,忙於從上千次的賭輪盤的輪子上尋找可能的重複模式。十分不幸的是,他們通常會找到。」[3]

多數的資料挖掘研究都關注於發現大量的資料集中,一個高度詳細的模式。在《大忙人的資料挖掘》一書中, 西弗吉尼亞大學不列顛哥倫比亞大學研究者討論了一個交替模式,用來發現一個資料集當中兩個元素的最小區別,它的目標是發現一個更簡單的模式來描述相關數據。[4]

数据挖掘的过程[编辑]

数据预处理一般包括数据清理、数据集成、数据变换和数据规约四个处理过程。

挖掘[编辑]

结果验证[编辑]

数据挖掘的价值一般带着一定的目的,而这目的是否得到实现一般可以通过结果验证来实现。验证是指“通过提供客观证据对规定要求已得到满足的认定”,而这个“认定”活动的策划、实施和完成,与“规定要求”的内容紧密相关。数据挖掘过程中的数据验证的“规定要求”的设定,往往与数据挖掘要达到的基本目标、过程目标和最终目标有关。验证的结果可能是“规定要求”得到完全满足,或者完全没有得到满足,以及其他介于两者之间的满足程度的状况。验证可以由数据挖掘的人自己完成,也可以通过其他人参与或完全通过他人的项目,以与数据挖掘者毫无关联的方式进行验证。一般验证过程中,数据挖掘者是不可能不参与的,但对于认定过程中的客观证据的收集、认定的评估等过程如果通过与验证提出者无关的人来实现,往往更具有客观性。通过结果验证,数据挖掘者可以得到对自己所挖掘的数据价值高低的评估。

私隱的關注[编辑]

與資料挖掘有關的,還牽扯到私隱問題,例如:一個僱主可以透過訪問醫療記錄來篩選出那些有糖尿病或者嚴重心臟病的人,從而意圖削減保險支出。然而,這種做法會導致倫理和法律問題。

對於政府和商業資料的挖掘,可能會涉及到的,是國家安全或者商業機密之類的問題。這對於保密也是個不小的挑戰。[5]

資料挖掘有很多合法的用途,例如可以在患者群的資料庫中查出某藥物和其副作用的關聯。這種關聯可能在1000人中也不會出現一例,但藥物學相關的項目就可以運用此方法減少對藥物有不良反應的病人數量,還有可能挽救生命;但这當中還是存在着資料庫可能被濫用的问题。

資料挖掘實現了用其他方法不可能實現的方法來發現信息,但它必須受到規範,應當在適當的說明下使用。

如果資料是收集自特定的個人,那麼就會出現一些涉及保密、法律和倫理的問題。[6]

演算法[编辑]

先驗演算法(英語:Apriori algorithm)是資料挖掘中最基本的算法。

組合博奕資料挖掘[编辑]

商業解決方案[编辑]

(按照字母順序排列)

參考文獻[编辑]

  1. ^ W. Frawley and G. Piatetsky-Shapiro and C. Matheus (Fall 1992). "Knowledge Discovery in Databases: An Overview". AI Magazine: pp. 213-228. ISSN 0738-4602ISSN 0738-4602.
  2. ^ D. Hand, H. Mannila, P. Smyth (2001). "Principles of Data Mining". MIT Press, Cambridge, MA. ISBN 0-262-08290-X .
  3. ^ Fred Schwed, Jr (1940). "Where Are the Customers' Yachts?". ISBN 0-471-11979-2 .
  4. ^ T. Menzies, Y. Hu (November 2003). "Data Mining For Very Busy People". IEEE Computer: pp. 18-25. ISSN 0018-9162ISSN 0018-9162.
  5. ^ K.A. Taipale (December 15, 2003). "Data Mining and Domestic Security: Connecting the Dots to Make Sense of Data". Colum. Sci. & Tech. L. Rev. 5 (2). SSRN 546782 / OCLC 45263753 .
  6. ^ Chip Pitts (March 15, 2007). "The End of Illegal Domestic Spying? Don't Count on It". Wash. Spec.

參考書[编辑]

  • 《資料挖掘:概念與技術》,Jiawei Han、Micheline Kamber等著,機械工業出版社,2001年。 ISBN 1-55860-489-8
最負盛名的資料挖掘著作,但版本較老,對讀者的計算機尤其是數據庫背景要求較高。
  • 《資料挖掘導論》, Pang-Ning Tan, Michael Steinbach等著,范明、范宏建等譯,人民郵電出版社,2006年。 ISBN 7-115-14698-5圖靈教育
最新出版的資料挖掘著作,其寫作目的是「盡可能直接地學習資料挖掘,以便儘快地將其應用到各自的領域」。覆蓋了多學科應用實例,對讀者數學和計算機背景要求較低。
  • Yuchun Lee et al. (1998), "Solving Data Mining Problems Through Pattern Recognition" , ISBN 0-13-095083-1
  • Oded Maimon and Mark Last (2000), "Knowledge Discovery and Data Mining - The Info-Fuzzy Network (IFN) Methodology", Kluwer Academic Publishers. ISBN 0-7923-6647-6
  • Sholom Weiss and Nitin Indurkhya(1998). "Predictive Data Mining". Morgan Kaufman. ISBN 1-55860-403-0
  • 《数据挖掘(原书第2版)》,~ Jiawei Han (作者), Micheline Kamber (作者), 范明 (译者), 孟小峰 (译者) ,机械工业出版社,2007年3月1日.ISBN 9787111205388

外部鏈接[编辑]

参见[编辑]