培訓會員
熱門點擊:參觀考察 中層干部 研發管理 采購管理 海關事務 秘書文秘 人力資源管理 銷售營銷 績效管理 倉儲管理
您現在的位置: 森濤培訓網 >> 公開課 >> 大數據Hadoop培訓,Spark架構應用培訓 >> 課程介紹

Hadoop與Spark大數據開發與案例分析高級工程師實戰培訓班

Hadoop與Spark大數據開發與案例分析高級工程師實戰培訓班課程[課程簡介]:現如今,大數據的應用并不僅存在于一些“理工類領域”,它已經滲透到我們生活的方方面面,將來,大數據在能源、金融、電信、汽車、消費等大多數行業都有用武之地,行業發展潛力巨大。去年,國內數據創業已是風起云涌,其實,2016才是真正意義上的大數據元年。據IDC預測,到2020年,大數據分析技術將成為所有國家經濟增長的關鍵動力。 ...

【時間地點】 2018年4月17-21日   上海(17日全天報到)
【培訓講師】 張老師
【參加對象】 各地政府,院校云計算物聯網產業相關負責人,各類 IT/軟件企業和研發機構的軟件架構師、軟件設計師、程序員、技術總監、數據挖掘負責人、數據挖掘開發工程師等
【參加費用】 ¥6800元/人 (含培訓費、考試費、證書費、資料費、午餐) 食宿統一安排,費用自理。
【會務組織】 森濤培訓網(m.gzlkec.com).廣州三策企業管理咨詢有限公司
【咨詢電話】 020-34071250;020-34071978(提前報名可享受更多優惠)
【聯 系 人】 龐先生,鄧小姐;13378458028、18924110388(均可加微信)
【在線 QQ 】 568499978 培訓課綱 課綱下載
【溫馨提示】 本課程可引進到企業內部培訓,歡迎來電預約!
培訓關鍵詞:大數據Hadoop培訓,Spark架構應用培訓

Hadoop與Spark大數據開發與案例分析高級工程師實戰培訓班(張老師)課程介紹:

    為貫徹落實黨中央國務院“十三五”規劃指導精神,實施網絡強國戰略,加快建設數字中國;構建高效信息網絡,推進物聯網發展;實施“互聯網+”行動計劃,促進多領域融合發展;實施國家大數據戰略,加快政府數據開放;加強數據安全包含,全面保障信息系統安全;推進軍民融合發展立法。要實施國家大數據戰略,把大數據作為基礎性戰略資源,全面實施促進大數據發展行動,加快推動數據資源共享開放和開發應用,助力產業轉型升級和社會治理創新。加快政府數據開放共享,促進大數據產業健康發展。
    現如今,大數據的應用并不僅存在于一些“理工類領域”,它已經滲透到我們生活的方方面面,將來,大數據在能源、金融、電信、汽車、消費等大多數行業都有用武之地,行業發展潛力巨大。去年,國內數據創業已是風起云涌,其實,2016才是真正意義上的大數據元年。據IDC預測,到2020年,大數據分析技術將成為所有國家經濟增長的關鍵動力。大數據分析及其相關的市場的復合年增長率將達到26.4%,在2018年全球將發展到415億美元的規模。同時,IDC認為,到2020年大數據分析技術將成為所有國家經濟增長的關鍵動力。然而大數據架構最火熱的莫過于Hadoop,Spark和Storm這三種

課程目標
   1、了解Hadoop與Spark的歷史及目前發展的現狀、以及Hadoop與Spark的技術特點,從而把握分布式計算框架及未來發展方向,在大數據時代能為企業的技術選型及架構設計提供決策參考。
   2、全面掌握Hadoop與Spark的架構原理和使用場景,并通過貫穿課程的項目進行實戰鍛煉,從而熟練使用Hadoop進行MapReduce程序開發。課程還涵蓋了分布式計算領域的常用算法介紹,幫助學員為企業在利用大數據方面體現自身價值。
   3、深入理解Hadoop與Spark技術架構,對Hadoop與Spark運作機制有清晰全面的認識,可以獨立規劃及部署生產環境的Hadoop與Spark集群,掌握Hadoop與Spark基本運維思路和方法,對Hadoop與Spark集群進行管理和優化。

師資介紹
 張老師:阿里大數據高級專家,國內資深的Spark、Hadoop技術專家、虛擬化專家,對HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB等Hadoop生態系統中的技術進行了多年的深入的研究,更主要的是這些技術在大量的實際項目中得到廣泛的應用,因此在Hadoop開發和運維方面積累了豐富的項目實施經驗。近年主要典型的項目有:某電信集團網絡優化、中國移動某省移動公司請賬單系統和某省移動詳單實時查詢系統、中國銀聯大數據數據票據詳單平臺、某大型銀行大數據記錄系統、某大型通信運營商全國用戶上網記錄、某省交通部門違章系統、某區域醫療大數據應用項目、互聯網公共數據大云(DAAS)和構建游戲云(Web Game Daas)平臺項目等。 

培訓特色
    注重應用:分析國內實際情況,結合國際、國內成功經驗。采用實戰的項目,讓學員在短時間內掌握Hadoop與Spark的搭建與配置。并進行高效的大數據清洗和分析。
  形式靈活:互動課堂、免費技術沙龍、提供云計算項目建設咨詢、大數據Hadoop平臺的搭建。

頒發證書
參加相關培訓并通過考試的學員,可以獲得:
工業和信息化部頒發的-《大數據開發高級工程師證書》。該證書可作為專業技術人員職業能力考核的證明,以及專業技術人員崗位聘用、任職、定級和晉升職務的重要依據。注:請學員帶一寸彩照2張(背面注明姓名)、身份證復印件一張。

培訓內容(4天課程)

HADOOP模塊

課程主題

主要內容

案例和演示

模塊一

Hadoop在云計算技術的作用和地位

  • 傳統大規模系統存在的問題
  • Hadoop概述
  • Hadoop分布式文件系統
  • MapReduce工作原理
  • Hadoop集群剖析
  • Hadoop生態系統對一種新的解決方案的需求
  • Hadoop的行業應用案例分析
  • Hadoop在云計算和大數據的位置和關系
  • 數據開放,數據云服務平臺(DAAS)時代
  • Hadoop平臺在數據云平臺(DAAS)上的天然優勢
  • 數據云平臺(DAAS 平臺)組成部分
  • 互聯網公共數據大云(DAAS)案例
  • Hadoop構建構建游戲云(Web Game Daas)平臺

模塊二

Hadoop生態系統介紹和演示

  • Hadoop HDFS 和 MapReduce
  • Hadoop數據庫之HBase
  • Hadoop數據倉庫之Hive
  • Hadoop數據處理腳本Pig
  • Hadoop數據接口Sqoop和Flume,Scribe DataX
  • Hadoop工作流引擎 Oozie
  • 運用Hadoop自下而上構建大規模企業數據倉庫
  • 暴風影音數據倉庫實戰解析

模塊三

Hadoop組件詳解

  • Hadoop HDFS 基本結構
  • Hadoop HDFS 副本存放策略
  • Hadoop NameNode 詳解
  • HadoopSecondaryNameNode 詳解
  • Hadoop DataNode 詳解
  • Hadoop JobTracker 詳解
  • Hadoop TaskTracker 詳解
  • Hadoop Mapper類核心代碼
  • Hadoop Reduce類核心代碼
  • Hadoop 核心代碼

模塊四

Hadoop安裝和部署

  • Hadoop系統模塊組件概述
  • Hadoop試驗集群的部署結構
  • Hadoop 安裝依賴關系
  • Hadoop 生產環境的部署結構
  • Hadoop集群部署
  • Hadoop 高可用配置方法
  • Hadoop 集群簡單測試方法
  • Hadoop 集群異常Debug方法
  • Hadoop安裝部署實驗
  • Red hat Linux基礎環境搭建
  • Hadoop 單機系統版本安裝配置
  • Hadoop 集群系統版本安裝和啟動配置
  • 使用 Hadoop MapReduce Streaming 快速測試系統
  • Hadoopcore-site,hdfs-site,mapred-site 配置詳解

模塊五

Hadoop集群規劃

  • Hadoop 集群內存要求
  • Hadoop集群磁盤分區
  • 集群和網絡拓撲要求
  • 集群軟件的端口配置
  • 針對NameNode Jobtracker DataNode TaskTracker Hiveserver 等不同組件需求推薦服務器配置

模塊六

MapReduce 算法原理

  • Hadoop MapReduce 算法的原理和優化思想
  • 靈活運用MapReduce 實現算法
  • 運用MapReduce 構建數據庫算法
  • Select Sort GrougBy Sum Count
  • Join 新進流失算法
  • 使用 Y-Smart 快速轉換SQL 為MapReduce 代碼

模塊七

編寫MapReduce高級程序

  • 使用 Hadoop MapReduce Streaming 編程
  • MapReduce流程
  • 剖析一個MapReduce程序
  • 基本MapReduceAPI概念
  • 驅動代碼 Mapper、Reducer
  • Hadoop流
  • API 使用Eclipse進行快速開發
  • 新MapReduce API
  • MapReduce的優化
  • MapReduce的任務調度
  • MapReduce編程實戰
  • 如何利用其他Hadoop相關技術,包括Apache Hive, Apache Pig,Sqoop和Oozie等
  • 滿足解決實際數據分析問題的高級Hadoop API
  • Hadoop Streaming 和 Java MapReduce Api 差異。
  • MapReduce 實現數據庫功能
  • 利用Combiners來減少中間數據
  • 編寫Partitioner來優化負載平衡
  • 直接訪問Hadoop分布式文件系統(HDFS)
  • Hadoop的join操作
  • 輔助排序在Reducer方的合并
  • 定制Writables和WritableComparables
  • 使用SequenceFiles和Avro文件保存二進制數據
  • 創建InputFormats OutputFormats
  • Hadoop的二次排序
  • Hadoop的海量日志分析
  • 在Map方的合并

模塊八

集成Hadoop到現有工作流
及Hadoop API深入探討

  • 存儲系統
  • 利用Sqoop從關系型數據庫系統中導入數據到Hadoop
  • 利用Flume導入實時數據到Hadoop
  • ToolRunner介紹、使用MRUnit進行測試
  • 使用Configure和Close方法來進行Map/Reduce設置和關閉
  • 使用FuseDFS和Hadoop訪問HDFS
  • 使用分布式緩存(Distributed Cache)
  • 直接訪問Hadoop分布式文件系統(HDFS)
  • 利用Combiners來減少中間數據
  • 編寫Partitioner來優化負載平衡

模塊九

使用Hive和Pig開發及技巧

  • Hive和Pig基礎
  • Hive的作用和原理說明
  • Hadoop倉庫和傳統數據倉庫的協作關系
  • Hadoop/Hive倉庫數據數據流
  • Hive 部署和安裝
  • Hive Cli 的基本用法
  • HQL基本語法
  • 運用Pig 過濾用戶數據
  • 使用JDBC 連接Hive進行查詢和分析
  • 使用正則表達式加載數據
  • HQL高級語法
  • 編寫UDF函數
  • 編寫UDAF自定義函數
  • 基于Hive腳本內嵌Streaming 編程

模塊十

Hbase安裝和使用

  • Hbase 安裝部署
  • Hbase原理和結構
  • Hbase 運維和管理
  • 使用Hbase+Hive 提供 OLAP SQL查詢能力
  • 使用Hbase+Phoenix提供 OLTP SQL能力
  • 基于Hbase 的時間序列數據庫 OpenTsDb 結構解析

模塊十一

Hadoop2.0 集群探索

  • Hadoop2.0 HDFS 原理
  • Hadoop2.0 Yarn 原理
  • Hadoop2.0 生態系統
  • 基于Hadoop2.0 構建分布式系統

模塊十二

Hadoop企業級別案例解析

  • Hadoop 結構化數據案例
  • Hadoop 非結構化案例
  • Hbase 數據庫案例
  • Hadoop 視頻分析案例
  • 利用大數據分析改進交通管理
  • 區域醫療大數據應用案例
  • 銀聯大數據數據票據詳單平臺
  • 廣東移動省公司請賬單系統
  • 上海電信網絡優化
  • 某通信運營商全國用戶上網記錄
  • 浙江臺州市智能交通系統
  • 移動廣州詳單實時查詢系統
  • 跨區域實時視頻監控系統

模塊十三

RedHadoop 企業版本

  • 運用RedHadoop快速構建服務集群
  • 運用RedHadoop DW 構建數據倉庫
  • 基于RedHadoop Hive構建數據倉庫平臺
  • 靈活運用 Hive 加速游戲數據倉庫
  • 基于Pig+OpenCV大規模圖像人臉識別

模塊十四

Spark
生態介紹

 Mapreduce、storm和spark模型的比較和使用場景介紹
 Spark產生背景
 Spark(內存計算框架)
 SparkSteaming(流式計算框架)
 Spark SQL(ad-hoc)
 Mllib(MachineLearning)
 GraphX(bagel將被代)
 DlinkDB介紹
 SparkR介紹

模塊十五

Spark
安裝部署

 Spark安裝簡介
 Spark的源碼編譯
 Spark Standalone安裝
 Spark應用程序部署工具spark-submit
 Spark的高可用性部署

模塊十六

Spark
運行架構和解析

 Spark的運行架構
• 基本術語
• 運行架構
• Spark on Standalone運行過程
• Spark on YARN 運行過程
 Spark運行實例解析
• Spark on Standalone實例解析
• Spark on YARN實例解析
• 比較 Standalone與YARN模式下的優缺點

模塊十七

Spark
scala編程

• Scala基本語法與高階語法
• Scala基本語法
• Scala開發環境搭建
• Scala開發Spark應用程序
• 使用java編程
• 使用scala編程
• 使用python編程


培訓課綱 課綱下載


更多Hadoop與Spark大數據開發與案例分析高級工程師實戰培訓班相關課程:

課程專題大數據Hadoop培訓Spark架構應用培訓


關于我們 | 法律聲明 | 服務條款 |熱門課程列表 | 培訓計劃 | 網站地圖 | 文字站點 | 加入收藏 | 用戶中心
固話:020-34071250、34071978 值班手機:13378458028(可加微信) 傳真:020-34071978
地址:廣州市天河區東站路1號;常年法律顧問:北京市雙全律師事務所 鄧江華主任律師
粵ICP備13018032號 Copyright (c) 2019 All Rights Reserved 森濤培訓網 三策咨詢.企業培訓服務
欧美日韩中文字幕第一页,久久精品视频网,精品熟女碰碰人人A久久,久久综合精品视频网
在线观看1024精品国产 | 亚洲蜜芽AV中文在线 | 亚洲最新中文字幕aⅴ天堂 香蕉久久高清免费 | 亚洲乱码精品不卡 | 午夜精品久久久久久 | 日本中文字幕有码 |