如何從初學者到資料探勘大師

資料探勘只是在大型資料庫中自動發現和分析有用資訊的過程。 其中，資料庫中的知識發現是乙個重要的環節，也就是人們所說的KDD，資料庫中的知識發現。 望洲科技在資料分析和視覺化方面有著自己獨特的見解和經驗，專注於Adobe資料產品在美國的實際應用分析。

什麼是 2kdd.

其實就是乙個資料處理的過程，從輸入資料開始，進行前處理工作，包括特徵選擇、降維歸一化和資料子集的選擇等，然後是分析挖掘，再進行處理，如模式過濾、視覺化、模式表示等，最後形成可用資訊的過程。

3.資料探勘應該解決哪些問題。

具體來說，主要有以下幾點，首先是資料的可擴充套件性，提高或改變資料的可擴充套件性。 二是解決高維資料問題。 處理異構和複雜的資料。

解決資料所有權和分發問題。 使非傳統分析合理化。

4.資料探勘的任務。

實際上，它主要包括四個大塊，可以獨立或聯合操作，即聚類分析、建模、關聯分析和異常檢測。

聚類分析的實用技術包括k-means、內聚分層聚類、dbscan、聚類評估等，其主要目的是通過基於原型、密度、圖等的聚類來發現它們之間的關係。

異常檢驗主要用於識別具有不同於其他資料的顯著特徵值的資料。

資料探勘是提取隱藏在大量不完整、嘈雜、模糊和隨機資料中的潛在有用資訊和知識的過程，這些資訊和知識是人們事先不知道的。

資料探勘流程：

定義問題：明確定義業務問題並確定資料探勘的目的。

資料準備：資料準備包括：選擇大型資料庫和資料倉儲目標中的資料，提取目標資料集進行資料探勘; 資料預處理 進行資料再處理，包括檢查資料的完整性和資料的一致性、去噪、填充丟失的域、刪除無效資料等。

資料探勘：根據資料函式型別和資料特徵選擇相應的演算法，對純化後的資料集進行資料探勘。

結果分析：對資料探勘的結果進行解釋和評估，並將其轉化為使用者最終能夠理解的知識。

資料探勘是指對大量資料進行分類的自動化過程，通過資料分析識別趨勢和模式，並建立關係以解決業務問題。 換句話說，資料探勘是提取隱藏在大量人們事先不知道的不完整、嘈雜、模糊和隨機資料中的潛在有用資訊和知識的過程。

1）資料集大且不完整。

資料探勘所需的資料集非常大，只有資料集越大，得到的定律才能越接近正確的實際定律，結果才會越準確。 除此之外，資料通常不完整。

2）不準確。

資料探勘存在不準確之處，主要是由於資料雜訊大。 例如，在商業中，使用者可能會提供虛假資料; 在工廠環境中，正常資料經常受到電磁或輻射干擾，並且經常違反正常值。 這些異常且絕對不可能的資料（稱為雜訊）可能導致資料探勘不準確。

3）模糊和隨機。

資料探勘是模糊和隨機的。 這裡的歧義可能與不準確有關。 由於資料的不準確，只能整體觀察資料，或者因為涉及個人資訊，無法獲得一些具體內容，這時，如果想做相關的分析操作，只能做一些一般性的分析，無法做出準確的判斷。

對於資料的隨機性有兩種解釋，一種是獲取的資料是隨機的; 我們不知道使用者到底在填寫什麼。 二是分析結果是隨機的。 將資料交給機器進行判斷和學習，然後所有操作都是灰盒操作。

初級資料分析師需要掌握的技能是：基礎統計、Python語言、Web分析、資料庫技術、通用模型理論，資料分析難度不大。

資料分析師應具備六項核心能力：

1.基礎科學能力。

可以說，在資料決策時代，資料分析幾乎已經滲透到企業的每乙個業務環節。 只有掌握了統計學，我們才能知道每個資料分析模型有什麼樣的輸入，什麼樣的輸出，以及什麼樣的作用。

2.能夠使用分析工具。

任何從事業務指導的分析師都必須能夠學習統計學，而統計學的學習最好輔以SPSS或其他SAS，這樣資料分析的基本技能才紮實實用。 在學習中，需要掌握SQL的基本語法、中間語法和常用功能，並結合關係資料庫系統學習SQL語句。

3.能夠掌握程式語言。

Python主要掌握基本語法，pandas操作、numpy操作、sklearn建模，學習用python編寫網路爬蟲來抓取資料等。

4.邏輯思維能力。

邏輯思維對於資料分析尤為重要。 反映業務資料，我們可以理解為是構建業務框架或故事線，並且有邏輯上的進步，結果會令人信服。

5.能夠視覺化資料。

借助 Python 的基礎知識，您可以學習資料視覺化。 運營和產品需要學習視覺化，Python 中的視覺化工具包括 matplotlib、seaborn 和 ploltly;

6.評估模型的能力。

模型建模，懂得模型建成後如何評估，掌握如何用一些定量指標、資料、數值來衡量模型的準確程度或錯誤程度。 模型評價的指標或計算方法選擇是否正確，可以直接影響整個專案所得到的模型的有效性。

如果你想了解更多關於資料探勘的知識，可以諮詢CDA認證中心，CDA是大資料和人工智慧時代資料分析專業人士的縮寫，面向國際範圍的全行業，具體是指網際網絡、金融、諮詢、電信、零售、醫療、旅遊等行業專門從事資料採集， 清理、處理、分析並能製作業務報告，提供決策的新資料人才。

程式語言、資料結構和算術、作業系統和網路程式設計（資料庫DAO問得比較少），前兩部分都很重要！

機器學習非常流行，我了解機器學習主要有三個方向（根據崗位要求）：資料探勘、自然語言處理和深度學習。

資料探勘主要有搜尋整理、反作弊、個性化推薦、信用評價等; 自然語言處理主要是分詞、詞性分析等; 深度學習主要是語音和影象識別。

個人建議如下：

第一階段：掌握資料探勘的基本概念和方法。 首先，對資料探勘的概念有所了解，掌握基本演算法，如分類演算法、聚類演算法、協同過濾演算法等。

第二階段：大資料時代的主資料探勘和分布式處理演算法。 現在我們已經進入了大資料時代，傳統的資料探勘演算法已經不再適用了。

第 3 階段：使用 Hadoop 進行大資料探勘。 Hadoop 有乙個 mahout 元件，它包含幾乎所有的資料探勘演算法，包括分類、聚類、關聯規則等。

此外，資料探勘是資料庫技術、人工智慧技術、機器學習技術、統計學習理論、資料視覺化等一系列技術的綜合，所以要想學好資料探勘，還必須了解這些技術。

建議先閱讀浙江大學王燦老師的資料探勘課程，然後在網上搜尋。

基礎方法很多，比如：決策樹、支援向量機、貝葉斯方法、神經網路方法等，還有相關的資料探勘書籍，裡面有很多詳細的演算法。 我手裡有一本，剛借來的，如果你需要，我可以推薦給你。

資料探勘有很多方向：比如有文字資料探勘、生物資訊挖掘等等。

然後是數學：概率論，線性代數，關於統計學的好東西。 然後是英語：

最好是了解文獻，因為資料探勘在國外做得很好，所以有必要閱讀大量的**。

軟體：開源有Weka，有SPSS，我認為軟體是次要的。 當房東有一定的基礎時，他就會知道為什麼軟體會分析這麼多，現在他可以忽略它了。

至於畢業後去哪裡：據我所知，騰訊這樣的網際網絡公司還是非常需要資料探勘人才的。 最主要的是，現在是資料時代，大資料很容易通過網際網絡獲得。