資策會 數位教育研究所 科技化服務訓練中心

★ 結合Hadoop於資料倉儲整合分析查詢首選!
 
歡迎企業包班,洽詢電話 (02)6631-6533, 黃小姐
◆ 課程介紹

   每個中小企業內部多半是由諸多資訊系統組成,舉凡像 ERP 財務金流系統、CRM 客戶關係管理、MES 倉庫物流系統、KMS 知識管理系統、TOM 訂單管理系統、PLM/PDM 產品生命週期管理/產品設計管理...等。然而,為了達成商業智慧(Bussiness Intelligence,BI)的目標,企業必須先將多個資訊系統背後的關聯式資料庫,進行資料整合(Data Integration),轉成資料倉儲系統,以方便進行跨資料庫的分析查詢。

   為了滿足業界未來面對巨量資料之挑戰與商業智慧分析需求,資策會規劃「Apache Hive 資料倉儲實務班」課程,本課程學員將學習到如何將不同的關聯式資料庫透過 Apache Sqoop 匯入 Hadoop 分散式檔案系統(HDFS),以及 HBase 分散式資料庫,以及 Apache Hive 分散式資料倉儲。並介紹 Sqoop 與 Hive 的基本架構與功能組成,說明 Sqoop 與 Hive 是如何善用 Apache Hadoop 的 MapReduce 框架來建構出巨量資料的分析查詢環境和服務,並以實作方式讓學員瞭解如何快速建立一組包含完整 Hadoop 生態系統(Hadoop, HBase, Sqoop, Hive 等)的叢集,並在此一環境進行 Sqoop 與 Hive 之實作。
◆ 課程目標

  學習如何使用 Sqoop,將關聯式資料庫的資料轉入 Hive,並了解 Hive 的資料型態與基本的 HiveQL 查詢語法。讓學員從實作練習中,學會如何轉換資料庫到資料倉儲,並結合資料視覺化工具,將查詢結果轉換成易於理解的報表。

◆ 課程特色
  • 介紹如何善用雲端服務,讓每位學員可以有一個獨立帳號可使用 MS SQL Server 資料庫與 MySQL 資料庫(註:共享同一虛擬機器)

  • 介紹國內三大 Hadoop 生態系統技術服務供應商,並介紹如何使用虛擬機器進行練習。

  • 採用雲端多租戶架構,讓學員共用已經建置好的 Hadoop 生態系叢集,可掌握學習進度。

◆ 招生對象

Hadoop 應用程式開發者、資料倉儲管理者、資料庫系統管理者(DBA)。

◆ 預備知識
  因此次實務班課程將使用到基本的 Hadoop 操作,建議學員至少先修習過「Big Data之處理與分析實務班」,或具Hadoop基礎者再修習本課程。
◆ 課程大綱
課程單元
課程內容
何時該使用哪一種工具呢?

 巨量資料的三種處理工具
 Apache Big Data Stack
 三種不同的情境需求

Sqoop 簡介

 Sqoop Import (匯入)
 Sqoop Export (匯出)

Hive 簡介

 Hive 與傳統資料庫之比較
 Hive 組成架構

Sqoop 實作  實作一:Sqoop (1) : MS SQL 資料表匯出到HDFS
 實作二:Sqoop (2) : MySQL 資料表匯出到HDFS
 實作三:Sqoop (3) : MS SQL 資料表匯入Hive
 實作四:Sqoop (4) : MySQL 資料表匯入Hive
 實作五:Sqoop (5) : MS SQL 資料表匯入HBase
 實作六:Sqoop (6) : MySQL 資料表匯入HBase
 實作七:Sqoop (7) : HDFS 資料匯出到 MS SQL 資料表
 實作八:Sqoop (8) : HDFS 資料匯出到 MySQL 資料表
Hive 實作

 實作九:Hive (1) : CSV 資料匯出到Hive
 實作十:Hive (2) : JOIN SELECT 跨表查詢
 實作十一:Hive (3) : 透過 CTAS 結構建立資料表
 實作十二:Hive (4) : EXPLAIN DESCRIBE

* 課程執行單位保留調整課程內容與講師之權利  
◆ 課程日期
本課程目前僅提供企業包班,時間可依客戶需求做彈性調整 。
◆ 課程時數
本課程時數為二天、14 小時。
◆ 上課地點
資策會數位教育研究所教室 或 客戶指定場地。
本所教室地址:台北市信義路三段153號10樓 (
捷運大安站1號出口,燦坤樓上)。
◆ 課程費用
請來電洽詢。洽詢電話:(02)6631-6533,黃小姐
◆ 相關課程推薦

資訊工業策進會數位教育研究所  版權所有,禁止侵害,違者必究。
Copyright (c) 2013 III Digital Education Institute. All Rights Reserved