大數據分析與可視化技術應用實戰

大數據分析與可視化技術應用實戰(多名講師)課程介紹：

一、培訓收益
通過此次課程培訓，可使學習者獲得如下收益：
1.理解數據分析及R語言；
2.理解并掌握數據結構；
3.掌握數據導入導出的方法；
4.掌握基本數據管理方法；
5.理解并掌握數據探索；
6.掌握如何進行描述性統計分析；
7.掌握R語言繪圖基礎；
8.掌握聚類分析；
9.掌握關聯規則；
10.掌握KNN近鄰分類；
11.通過案例掌握用戶行為挖掘算法；
12.掌握C5.0算法原理；
13.掌握CART算法原理；
14.理解并掌握Rattle工具使用及如何搭建數據分析平臺。

二、培訓特色
1. 本課程盡量避開數學公式，按照“講清思想方法原理—結合具體案例—R語言實現細節”思路，讓即使是幾乎沒有什么基礎的學員，掌握數據挖掘和可視化的基本思路和模式，打下未來深入的良好基礎，能在工作和學習中結合具體問題立馬上手操作解決；
2. 課程注重學練結合的方法，會采取課中練習的方法，充分調動大家思考的積極性，在做中掌握相關知識和技能；
3. 課程緊緊抓住基于R語言的數據挖掘和可視化的重點和難點，詳細的分析和講解，在理解難、容易出錯的地方反復提醒，以便學員在課后容易的進行自己復習和相關拓展。

三、日程安排

第一天 上午
 ■ 數據處理及復雜數據可視化（一）
R語言入門及數據挖掘基本概念
 ◇ R語言簡介
常量、向量、矩陣、數組、數據框、列表、數據處理、編寫程序、基本統計計算、R語言繪圖基礎、幫助及包的用法
 ◇ R語言數據處理秘笈
介紹填、剪、揉太極三式的數據處理原理、方法、案例、技巧，以及Dplyr包、Tidyr包、Data.Table包的具體用法和代碼講解
 ◇ 數據挖掘基礎
講解數據挖掘的基本概念、典型問題，通過場景舉例說明數據挖掘的用途；同時，結合數據挖掘標準流程講解開展數據挖掘工作的各環節及主要技術。介紹數據挖掘常用算法及適合場景，比較不同數據挖掘工具的優缺點。

第一天 下午
 ■ 數據處理及復雜數據可視化（二）
R語言數據挖掘與可視化分析
 ◇ 數據挖掘關鍵技術
詳細講解抽樣、分區、樣本平衡、特征選擇、訓練模型、評估模型的技術，并結合R語言講解其代碼實現。
 ◇ Rattle數據挖掘工具
介紹Rattle在業界的使用情況，安裝及具體使用方法，包括數據源、數據探索、統計檢驗、數據變換、聚類分析、關聯挖掘、建模、評估模型以及日志功能。通過實際的數據演示各環節的具體操作過程，分析挖掘結果。
 ◇ 可視化分析
介紹可視化基本概念，可視化設計流程以及R語言可視化的優勢；其次，介紹24種常見圖表（拆線圖、柱狀圖、散點圖、雷達圖、詞云圖、玫瑰圖、桑基圖、河流圖等等）的適用場景和使用方法；最后，重點對Lattice、Rcharts、Recharts、Ggplot2包進行了詳細講解和案例演示。

第二天 上午
 ■ 數據挖掘模型實戰（一）
關聯規則算法原理與案例分析
 ◇ 算法講解
關聯規則概念、基本術語、Apriori算法實現原理、流程及手動演算案例；Arules包的介紹等等
 ◇ 案例：利用超市購物籃Groceries數據進行關聯規則分析
介紹Groceries數據集、事務數據集以及常見操作；介紹數據轉換為事務數據集的方法以及使用Apriori算法建立關聯規則模型，同時，對分析關聯規則結果的常用技術進行了講解和演示。
聚類算法原理與案例分析
 ◇ Kmeans算法講解
介紹Kmeans聚類基本思路及算法流程；Kmeans函數介紹；數據標準化技術介紹
 ◇ 案例：對Iris數據集進行K均值聚類分析
介紹Iris數據集，并試圖通過使用基本數值指標建立聚類分析模型，驗證其與真實分類的區別
 ◇ 案例：對Mtcars數據集進行K均值聚類分析
介紹Mtcars數據集，并使用Kmeans算法對其進行聚類分析，以了解汽車的類別細分，同時給出合理解釋并提煉判斷規則
 ◇ 層次聚類算法講解
介紹樣本距離、類間距離的概念和計算方法，介紹層次聚類算法流程以及通過手動演算詳細講解層次聚類實現的過程；Hclust函數講解
 ◇ 案例：對洛杉機街區數據進行層次聚類
介紹洛杉機數據，并使用層次聚類算法對其進行細分；通過細分進一步對數據進行了詳細了解，并給出各類的詳細描述與說明
 ◇ 案例：對哺乳動物的睡眼數據進行層次聚類
介紹哺乳動物的睡眠數據，使用層次聚類的方法對其進行細分，并給出各類的特點，并給出詳細描述與說明

第二天 下午
 ■ 數據挖掘模型實戰（二）
KNN算法原理與案例分析
 ◇ 算法原理
介紹Knn基本概念、原理以及實現流程，同時給出Knn算法的優缺點和適用場景；詳細介紹Kknn包
 ◇ 案例：對Iris數據集進行Knn分類
介紹使用Knn算法對Iris數據進行分類的方法、流程及代碼演示，并對分類的結果進行分析
 ◇ 案例：對乳腺癌數據進行Knn分類
介紹乳腺癌數據集，并使用Knn算法對乳腺癌數據進行分類，同時給出實現的方法、流程及代碼，并對分類效果進行分析
 ◇ 案例：對新聞文本數據進行Knn分類
介紹新聞文本數據，并使用Knn分類算法對新聞文本數據進行分類，同時給出實現的方法、流程及代碼，并對分類效果進行分析
決策樹原理與案例分析
介紹決策樹基本概念、分類與回歸問題的區別與聯系、說明決策樹建模的通用過程。
 ◇ CART算法原理
介紹分類回歸樹的基本思路、算法實現流程，并通過案例說明其實現細節；介紹選擇分割點的方法，拆分規則，代價復雜度以及Rpart包和Prune函數的介紹
 ◇ 案例：對Iris數據集運用CART算法進行分類
介紹使用CART算法對Iris數據進行分類的方法、原理和代碼實現流程，并對分類效果進行比較分析
 ◇ 案例：對汽車數據運用CART對汽車重量進行預測
介紹使用CART算法對Mtcars數據中汽車的重量進行預測的方法、原理和代碼實現流程，并對預測效果進行分析
 ◇ C5.0算法原理
介紹ID3算法的算法實現原理和流程，同時講解信息熵、后驗熵、信息增益等基本概念；通過案例講解ID3算法的具體過程以及ID3自身的問題；介紹C4.5算法的實現原理和流程，講解增益比例的來源和優點，同時介紹C4.5對連續屬性及有缺失樣本的算法辦法，此外，還將會對剪枝、規則的產生、交叉驗證等問題進行講解；C50包的介紹
 ◇ 案例：對Iris數據集運用C50算法分類
介紹使用C50算法對Iris數據集進行分類的方法、原理和代碼實現流程，同時對分類效果進行分析

第三天 上午
 ■ 行業應用案例分享（一）
分析案例剖析
 ◇ 購物籃分析案例
Onlineretail數據集，包含用戶購買商品的交易信息，本案例旨在從中挖掘出用戶購買商品的關聯規則規律，并分析各模式對應的含義及應用可行性。
 ◇ 航空公司客戶價值分析案例
面對激烈的市場競爭，各航空公司都推出了更優惠的營銷方式來吸引更多的客戶，國內某航空公司面臨著旅客流失、競爭力下降和航空資源未充分利用等經營危機。通過建立合理的客戶價值評估模型，對客戶進行分群，分析比較不同客戶群的客戶價值，并制定相應的營銷策略
 ◇ Lending Club信貸違約分析案例
Lending Club 信用貸款違約數據是美國網絡貸款平臺 Lendingclub 在2007-2015年間的信用貸款情況數據，主要包括貸款狀態和還款信息。本例基于該數據對多維度信息進行詳細的數據分析，主要結合詞云、地圖等分析方法，另外，針對貸款違約建立了預測模型，本節會介紹詳細的建模過程及預測效果分析

第三天下午
 ■ 行業應用案例分享（二）
用戶行為挖掘算法及案例
 ◇ 推薦系統
介紹推薦系統的基本概念、以及常見推薦算法（包括基于人口統計學的推薦、基于內容的推薦、協同過濾推薦、基于關聯規則的推薦、基于效用的推薦、基于知識推薦、基于標簽的推薦、基于圖的推薦等等），同時對不同的推薦算法進行比較；另外，針對構建推薦系統，給出了詳細的說明；介紹了推薦系統評測的關鍵指標（包括用戶滿意度、準確度、覆蓋率、多樣性、驚喜度等等）；接著，對R語言中的Recommenderlab包的用法進行詳細介紹
 ◇ 案例：基于Onlineretail數據建立推薦系統
介紹Onlineretail數據集，以及開展推薦系統搭建過程的方法及具體實現，案例中使用了RANDOM、UBCF、IBCF三種方法建立了預測模型，并給出了比較分析
 ◇ 序列模式挖掘
介紹序列模式挖掘的基本概念、術語、實現的思路及具體過程。主要介紹SPADE算法的原理以及其實現過程。針對具體的實現，詳細介紹了R語言中的Arulessequences包
 ◇ 對Onlineretail數據集進行序列模式挖掘
基于Onlineretail數據集，使用Spade算法建立序列模式挖掘算法進行序列模式挖掘，并對挖掘出的結果進行解釋分析

第四天 學習考核與業內經驗交流

四、授課專家
游老師  計算機碩士，大數據分析、挖掘、可視化專家，高級培訓講師，曾服務于華為技術有限公司等多家企業，專注于機器學習、數據挖掘、大數據、知識圖譜等領域的研究、設計與實現，在互聯網、電信、電力、軍工等行業具有豐富的工程實踐經驗，對空間分析、欺詐檢測、廣告反作弊、推薦系統、客戶畫像、客戶營銷建模、知識抽取、智能問答、可視化分析、預測分析、系統架構、大數據端到端解決方案等方面具有深刻理解，多次作為R語言會議重要嘉賓出席會議并發表主題演講，著有《R語言預測實戰》等多本書籍。

謝老師  某集團上市公司數據分析部負責人，主要利用R語言進行大數據的挖掘和可視化工作。從事數據挖掘建模工作已有10年，曾經從事過咨詢、電商、金融、電購、電力、游戲等行業，了解不同領域的數據特點。有豐富的利用R語言進行數據挖掘實戰經驗，部分研究成果曾獲得國家專利。

更多大數據分析與可視化技術應用實戰相關課程：