[課程簡(jiǎn)介]:培訓(xùn)目標(biāo) 掌握大數(shù)據(jù)處理平臺(tái)(Hadoop、Spark、Storm)技術(shù)架構(gòu)、以及平臺(tái)的安裝部署、運(yùn)維配置、應(yīng)用開發(fā);掌握主流大數(shù)據(jù)Hadoop平臺(tái)和Spark實(shí)時(shí)處理平臺(tái)的技術(shù)架構(gòu)和實(shí)際應(yīng)用;利用Hadoop+Spark對(duì)行業(yè)大數(shù)據(jù)進(jìn)行存儲(chǔ)管理和分析挖掘的技術(shù)應(yīng)用;講解Hadoop生態(tài)系統(tǒng)組件,包括Storm,HDFS,MapReduce,HIVE,HBase,Spark,GraphX,MLib,Shark, ElasticSearch等大數(shù)據(jù)存儲(chǔ)管理、分布式數(shù)據(jù)庫(kù)、大型數(shù)據(jù)倉(cāng)庫(kù)、大數(shù)據(jù)查詢與搜索、大數(shù)據(jù)分析挖掘與分布式處理技術(shù) ...
【時(shí)間地點(diǎn)】 | 2020年1月09-11日 上海 | |
【培訓(xùn)講師】 | 張老師 | |
【參加對(duì)象】 | 業(yè)務(wù)支撐建設(shè)維護(hù)室、業(yè)務(wù)維護(hù)室、經(jīng)營(yíng)分析室人員;網(wǎng)絡(luò)部、網(wǎng)管中心、網(wǎng)優(yōu)中心從事大數(shù)據(jù)相關(guān)工作的人員 | |
【參加費(fèi)用】 | ¥6800元/人 (含教材、培訓(xùn)費(fèi)、考證費(fèi)以及學(xué)習(xí)用具等費(fèi)用) 食宿統(tǒng)一安排,費(fèi)用自理。 | |
【會(huì)務(wù)組織】 | 森濤培訓(xùn)網(wǎng)(m.gzlkec.com).廣州三策企業(yè)管理咨詢有限公司 | |
【咨詢電話】 | 020-34071250;020-34071978(提前報(bào)名可享受更多優(yōu)惠) | |
【聯(lián) 系 人】 | 龐先生,鄧小姐;13378458028、18924110388(均可加微信) | |
【在線 QQ 】 | 568499978 | 課綱下載 |
【溫馨提示】 | 本課程可引進(jìn)到企業(yè)內(nèi)部培訓(xùn),歡迎來(lái)電預(yù)約! |
課程介紹
1. 需求理解
Hadoop 設(shè)計(jì)之初的目標(biāo)就定位于高可靠性、高可拓展性、高容錯(cuò)性和高效性,正是這些設(shè)計(jì)上與生俱來(lái)的優(yōu)點(diǎn),才使得Hadoop 一出現(xiàn)就受到眾多大公司的青睞,同時(shí)也引起了研究界的普遍關(guān)注。
對(duì)電信運(yùn)營(yíng)商而言,用戶上網(wǎng)日志包含了大量用戶個(gè)性化需求、喜好信息,對(duì)其進(jìn)行分析和挖掘,能更好地了解客戶需求。傳統(tǒng)經(jīng)營(yíng)分析系統(tǒng)小型機(jī)加關(guān)系型數(shù)據(jù)庫(kù)的架構(gòu)無(wú)法滿足對(duì)海量非結(jié)構(gòu)化數(shù)據(jù)的處理需求,搭建基于X86的Hadoop 平臺(tái),引入大數(shù)據(jù)處理技術(shù)的方式,實(shí)現(xiàn)高效率、低成本、易擴(kuò)展的經(jīng)營(yíng)分析系統(tǒng)混搭架構(gòu)成為電信運(yùn)營(yíng)商最為傾向的選擇。本課程將全面介紹Hadoop平臺(tái)開發(fā)和運(yùn)維的各項(xiàng)技術(shù),對(duì)學(xué)員使用該項(xiàng)技術(shù)具有很高的應(yīng)用價(jià)值。
2. 培訓(xùn)課程架構(gòu)與設(shè)計(jì)思路
(1)培訓(xùn)架構(gòu):
本課程分為三個(gè)主要部分:
第一部分:重點(diǎn)講述大數(shù)據(jù)技術(shù)在的應(yīng)用,使學(xué)員對(duì)大數(shù)據(jù)技術(shù)的廣泛應(yīng)用有清晰的認(rèn)識(shí),在這環(huán)節(jié)當(dāng)中會(huì)重點(diǎn)介紹Hadoop技術(shù)在整個(gè)大數(shù)據(jù)技術(shù)應(yīng)用中的重要地位和應(yīng)用情況。
第二部分:具體對(duì)hadoop技術(shù)進(jìn)行模塊化分拆,從大數(shù)據(jù)文件存儲(chǔ)系統(tǒng)技術(shù)和分布式文件系統(tǒng)平臺(tái)及其應(yīng)用談起,介紹Hadoop技術(shù)各主要應(yīng)用工具和方法,以及在運(yùn)維維護(hù)當(dāng)中的主流做法,使學(xué)員全面了解和掌握Hadoop技術(shù)的精華。
第三部分:重點(diǎn)剖析大數(shù)據(jù)的應(yīng)用案例,使學(xué)員在案例當(dāng)中對(duì)該項(xiàng)技術(shù)有更深入的感觀印象
(2)設(shè)計(jì)思路:
本課程采用模塊化教學(xué)方法,以案例分析為主線,由淺入深、循序漸進(jìn)、由理論到實(shí)踐操作進(jìn)行設(shè)計(jì)。
(3)與企業(yè)的貼合點(diǎn):
本課程結(jié)合企業(yè)轉(zhuǎn)型發(fā)展及大數(shù)據(jù)發(fā)展戰(zhàn)略,圍繞企業(yè)大數(shù)據(jù)業(yè)務(wù)及行業(yè)應(yīng)用市場(chǎng)拓展發(fā)展目標(biāo),重點(diǎn)講授Hadoop的應(yīng)用技術(shù),提升企業(yè)IT技術(shù)人員的開發(fā)和運(yùn)維能力,有很強(qiáng)的貼合度。
培訓(xùn)目標(biāo)
掌握大數(shù)據(jù)處理平臺(tái)(Hadoop、Spark、Storm)技術(shù)架構(gòu)、以及平臺(tái)的安裝部署、運(yùn)維配置、應(yīng)用開發(fā);掌握主流大數(shù)據(jù)Hadoop平臺(tái)和Spark實(shí)時(shí)處理平臺(tái)的技術(shù)架構(gòu)和實(shí)際應(yīng)用;利用Hadoop+Spark對(duì)行業(yè)大數(shù)據(jù)進(jìn)行存儲(chǔ)管理和分析挖掘的技術(shù)應(yīng)用;講解Hadoop生態(tài)系統(tǒng)組件,包括Storm,HDFS,MapReduce,HIVE,HBase,Spark,GraphX,MLib,Shark, ElasticSearch等大數(shù)據(jù)存儲(chǔ)管理、分布式數(shù)據(jù)庫(kù)、大型數(shù)據(jù)倉(cāng)庫(kù)、大數(shù)據(jù)查詢與搜索、大數(shù)據(jù)分析挖掘與分布式處理技術(shù)
培訓(xùn)大綱
(1)課程框架
時(shí)間 |
培訓(xùn)內(nèi)容 |
教學(xué)方式 | |
第一天 |
上午 |
第一部分:移動(dòng)互聯(lián)網(wǎng)、大數(shù)據(jù)、云計(jì)算相關(guān)技術(shù)介紹 |
理論講授+案例分析 |
下午 |
第三部分:大數(shù)據(jù)文件存儲(chǔ)系統(tǒng)技術(shù)和分布式文件系統(tǒng)平臺(tái)及其應(yīng)用 |
理論講授+案例分析+小組討論 | |
第二天 |
上午 |
第五部分:Hadoop運(yùn)維管理與性能調(diào)優(yōu) |
理論講授+案例分析+實(shí)戰(zhàn)演練 |
下午 |
第七部分:類SQL語(yǔ)句工具——Hive |
理論講授+案例分析+實(shí)戰(zhàn)演練 | |
第三天 |
上午 |
第九部分:Kafka基礎(chǔ)介紹 |
理論講授+案例分析 |
下午 |
第十一部分:當(dāng)前數(shù)據(jù)中心的改造和轉(zhuǎn)換分析-以國(guó)內(nèi)外運(yùn)營(yíng)商、互聯(lián)網(wǎng)公司為例 |
理論講授+案例分析+小組討論 |
(2)培訓(xùn)內(nèi)容介紹
課程模塊 |
課程主題 |
主要內(nèi)容及案例和演示 | |
模塊一 |
移動(dòng)互聯(lián)網(wǎng)、大數(shù)據(jù)、云計(jì)算相關(guān)技術(shù)介紹 |
| |
模塊二 |
大數(shù)據(jù)的挑戰(zhàn)和發(fā)展方向 |
| |
模塊三 |
大數(shù)據(jù)文件存儲(chǔ)系統(tǒng)技術(shù)和分布式文件系統(tǒng)平臺(tái)及其應(yīng)用 |
| |
模塊四 |
Hadoop文件系統(tǒng)HDFS最佳實(shí)戰(zhàn) |
| |
模塊五 |
Hadoop運(yùn)維管理與性能調(diào)優(yōu) |
| |
模塊六 |
NOSQL數(shù)據(jù)庫(kù)Hbase與Redis |
| |
模塊七 |
類SQL語(yǔ)句工具——Hive |
| |
模塊八 |
數(shù)據(jù)挖掘SPARK建模基礎(chǔ)介紹 |
| |
模塊九 |
Kafka基礎(chǔ)介紹 |
| |
模塊十 |
大數(shù)據(jù)典型應(yīng)用與開發(fā)案例分析:互聯(lián)網(wǎng)數(shù)據(jù)運(yùn)營(yíng) |
| |
模塊十一 |
當(dāng)前數(shù)據(jù)中心的改造和轉(zhuǎn)換分析-以國(guó)內(nèi)外運(yùn)營(yíng)商、互聯(lián)網(wǎng)公司為例 |
| |
模塊十二 |
|
課程總結(jié)與問(wèn)題答疑 |
師資介紹
張老師:阿里大數(shù)據(jù)高級(jí)專家,國(guó)內(nèi)資深的Spark、Hadoop技術(shù)專家、虛擬化專家,對(duì)HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB等Hadoop生態(tài)系統(tǒng)中的技術(shù)進(jìn)行了多年的深入的研究,更主要的是這些技術(shù)在大量的實(shí)際項(xiàng)目中得到廣泛的應(yīng)用,因此在Hadoop開發(fā)和運(yùn)維方面積累了豐富的項(xiàng)目實(shí)施經(jīng)驗(yàn)。近年主要典型的項(xiàng)目有:某電信集團(tuán)網(wǎng)絡(luò)優(yōu)化、中國(guó)移動(dòng)某省移動(dòng)公司請(qǐng)賬單系統(tǒng)和某省移動(dòng)詳單實(shí)時(shí)查詢系統(tǒng)、中國(guó)銀聯(lián)大數(shù)據(jù)數(shù)據(jù)票據(jù)詳單平臺(tái)、某大型銀行大數(shù)據(jù)記錄系統(tǒng)、某大型通信運(yùn)營(yíng)商全國(guó)用戶上網(wǎng)記錄、某省交通部門違章系統(tǒng)、某區(qū)域醫(yī)療大數(shù)據(jù)應(yīng)用項(xiàng)目、互聯(lián)網(wǎng)公共數(shù)據(jù)大云(DAAS)和構(gòu)建游戲云(Web Game Daas)平臺(tái)項(xiàng)目等。