資策會 數位教育研究所 科技化服務訓練中心

 
《2018/7/7 開課,6/29前報名享早鳥優惠!》
◆ 課程介紹

   在Gartner2012開始討論大數據的驅動下,直到現今仍面對不斷成長的數據量,大數據一直是熱門的議題,不論數據的各種面向,如:儲存、管理、處理、搜尋、分析等數據處理甚至是更即時的應用,尤其是複雜事件驅動(Complex Event Process, CEP)更是最近常被拿出來討論,面臨這麼多的挑戰除了設計層面需要可動態、彈性等特點之外,也要顧及Scale-out、Massively Parallel Processing與Share-nothing 等架構設計,以支援大數據處理的計算模式。

   以現代工廠的發展趨勢為例,目光都是以自動化生產方式為主軸,而傳統的製造資訊系統(Manufacturing Execution System, MES)僅限於數據蒐集與報表分析,事實上已逐漸無法滿足快速變遷時代的需求。隨著工業4.0時代來臨,整合自動化是重要的一環,因此log的收集與分析將扮演重要的系統整合腳色,即時處裡並分析大量的數據,以提高產品品質、效能及客戶滿意度,降低生產成本,創造企業利益最大化、達成智能工廠之目標。

   隨著大數據技術相關成熟,Hadoop 與周遭生態系陸續完備,我們將介紹兩個核心的系統Hadoop 與 Elasticsearch的整合方案,Hadoop完成數據儲存與分析,Elasticsearch 用來即時查詢,透過這兩大支柱完成log的接收、儲存、分析與查詢的功能。隨著數據量的擴增,不論是Hadoop或 Elasticsearch都可以利用分散式節點的增加而依照不同的系統設計,可透過ESHadoop串接這兩個系統,因此都具備了很好的規模可擴充性。

   為了滿足業界需求,資策會 特規劃「大數據Log收集與分析實作」課程,本課程學員將學習到大數據運算關鍵技術,利用Hadoop之分散式檔案系統(HDFS)與Hive,快速建構出數據儲存環境務,並以Hive實作完成數據分析報表,也結合Elasticsearch完成即時數據查詢,透過這些實作讓學員更加了解如何完成該系統實作以利進行大數據處理、分析與應用。

◆ 課程目標

  本課程學員將學習大數據平台Hadoop與 Elasticsearch,利用Hadoop之分散式檔案系統(HDFS),快速建構出數據運算的執行環境,並透過Hive進行數據查詢提供分析報表。Elasticsearch主要用來快速查詢數據,也透過ESHadoop與Hadoop進行數據串聯。相信Hadoop與 Elasticsearch整合與實作方式讓學員更加了解如何透過進行大數據處理、分析與應用。

◆ 課程特色

   本課程旨在建立大數據平台包含數據收集、處理、分析、應用的根基,讓參訓學員瞭解正確的觀念與方法, 課程重點在於透過採體驗式教學方式的實作,經由指令剪貼方式來體驗實際的操作方式,以從體驗中驗證課程所學。

◆ 招生對象
  1. 對於大數據收集、處理、分析、應用有興趣者

  2. IT經理或系統網路部門主管

  3. 專案經理、系統架構師或系統網路管理人

  4. 企業或技術決策人員

◆ 課程日期
2018/7/7(六)~7/8(日) ,每日 09:00~17:00上課,計14小時。
◆ 上課地點
資訊工業策進會數位教育研究所,台北市信義路三段153號10樓。
上課地點位於捷運大安站1號出口左轉約20公尺。
* 上課地點與教室之確認,以上課通知函為主。
◆ 課程大綱
課程單元
課程內容
時數
Hadoop 簡介

(1) Hadoop 系統介紹與偽虛擬化安裝
(2)
HDFS 指令操作回顧
(3)
Hive 介紹與指令操作回顧

4
Elasticsearch簡介

(1) Elasticearch 系統介紹與偽虛擬化安裝
(2)
Elasticsearch指令操作回顧
(3)
KibanaHead Plugin 系統介紹與安裝

4

ETL 簡介

(1) Dispatcher 程式介紹
(2) 即時寫入Log 資料
(3)
ESHadoop操作
3
資料分析 (1) Hive進行資料分析
(2)
Kibana 視覺網頁
3
* 課程執行單位保留調整課程內容與講師之權利之權利 
◆ 報名方式

本課程採線上報名,請按右方【我要報名】進入報名系統
課程諮詢:(02)6631-6533 課程經理 吳小姐,E-mail:fionawu@iii.org.tw
報名確認:(02)6631-6535 郭小姐,E-mail:florakuo@iii.org.tw

我要報名
下載課程DM
◆ 課程費用與繳費
1. 本課程原費用NT$10,000元,費用含課程、講義及午餐餐盒
2.

凡於2018年6月29日前完成報名與繳費,可享早鳥優惠NT$8,000元(含稅)。

3.

團報優惠:二人團報可打95折、四人團報可打9折優惠。

團報優惠與早鳥優惠可一併使用。
課程報名系統每個帳號僅提供一位學員報名,若為團報學員,每位皆必須完成線上報名,並於其他金額說明欄位註記「與XXX一起團報」,以利事後核對名單。

4. 請以信用卡或即期支票支付—
  以信用卡支付者:請務必將正確信用卡資料填寫於繳費方式資料表。
以即期支票支付者:抬頭為「財團法人資訊工業策進會」, 劃線並禁止背書轉讓
  ,以掛號寄至台北市106信義路三段153號11樓 邱小姐 收。
◆ 報名確認與取消
1. 已完成報名與繳費之學員,課程主辦單位將於開課三天前以E-mail方式寄發上課通知函;若課程因故取消或延期,亦將以E-mail方式通知,如未收到任何通知,敬請來電確認
2. 已完成繳費之學員如欲取消報名,請於實際上課日前以書面通知業務承辦人,主辦單位將退還90%課程費用。
3. 學員於培訓期間如因個人因素無法繼續參與課程,將依課程退費規定辦理之︰上課未逾總時數三分之一,欲辦理退費,可退還所有課程費用二分之一;上課逾總時數三分之一,則不退費。
4. 課程執行單位保留是否接受報名之權利。
◆ 結業證書
  依本會ISO品質系統之「教育訓練服務程序」規定,本課程為短期班,參訓學員缺課未 超過總時數五分之一者,結業時由本會核發結業證書。
◆ 學習護照
資策會為人事行政局首批認證審定之民間學習機構,參加本課程之中小企業員工,亦可獲得「中小企業終身學習護照」認可之時數;此外,公務人員參加資策會課程,學習時數可登錄「公務人員終身學習護照」。
◆ 最低招生人數
最低招生人數至少為10人,預計開班人數為25人
◆ 相關課程

資訊工業策進會數位教育研究所  版權所有,禁止侵害,違者必究。
Copyright (c) 2013 III Digital Education Institute. All Rights Reserved