資策會•數位教育研究所•科技化服務(ITeS)中心

 
11/4 開課,10/27前報名享優惠!》
◆ 課程介紹

   近年來,有大量的業學界學者專家投入大數據相關技術,根據Hadoop Summit 2015、CSDN 2014大數據技術大會等國外指標性論壇所討論的主軸,In-Memory技術已成為近期最熱門的大數據技術,而最為人熟知的是由加州柏克萊大學所發展的 BDAS ( Berkeley Data Analytics Stack ),其中從儲存、運算、資料檢索都利用了In-Memory 技術,提供優於MapReduce運算框架 10~100倍的效能。

   隨著交友社群Facebook、電子論壇與媒體發達及智慧型手機的興起,人們交換訊息的方式大多從傳統的對話書寫,進而轉向透過手機或電腦進行電子訊息互動。而這些訊息資訊包羅萬象,量級也都很大,在各個領域都含有很大的潛在資訊與商機

   為了協助國內業界獲取並藉由開源大數據流處理平台(Hortonworks)處理這些訊息,資策會特規畫「 網路爬蟲與Spark大數據流處理實務」課程,本課程將由琢磨於資料的生、流、存、算環節,透過OpenSource進行網路資料擷取,進而如何使用大數據流處理技術(KafkaSpark Streaming)來結構化與處理所取得的資料流。本課程將以實機實戰的方式,讓每位學員都能自行撰寫相關程式,並可在過程中了解各種可能面臨的狀況,增進學習效果,激盪出許多解決方案
◆ 課程目標

  本課程教導學員能透過開源Library從網站、社群媒體、裝置獲取資訊,並能將非結構化資料轉換為結構化資料,交由Kafka訊息管理系統做統一管理,接著利用Spark Streaming進行大數據流的即時運算,並將結果予以應用。課程設計能使學員親身體驗資料串流的處理,並能從體驗中遭遇的問題,學習更多解決方案,加倍學習之效果。

◆ 課程特色

   本課程旨在建立即時串流資料處理系統,教導學員如何撰寫一網路爬蟲,以便於網站、社群API中獲取資料,並將接收到的非結構資料,快速透過工具進行結構化解析。解析後的資料如何介接到訊息處理叢集Kafka,最後利用Spark Streaming進行大數據流處理與應用。讓參訓學員瞭解正確的觀念與方法,課程重點在於透過採體驗式教學方式的實作,學員能夠學習如何透過開源工具Hortonworks快速搭建大數據流分析叢集,並能在平台上實際演練大數據操作與分析,以從體驗中驗證課程所學。課程會以Spark核心技術,與串流處理技術Spark Streaming 結合第三方串流平台(KafkaSocket)為課程主軸,學員可以學習到如何即時處理大量串流資料,並透過Spark相關核心工具與機器學習技術加以分析出結果,讓資料會說話

◆ 招生對象

―    對於雲端運算之大量資料處理、分析、應用有興趣者

―    資料科學家、資料工程師

―    IT經理或系統網路部門主管

―    專案經理、系統架構師或系統網路管理人員

―    企業或技術決策人員

◆ 預備知識
ScalaPython或Java等程式設計基礎為佳。
◆ 課程日期
2017年 11/4(六)~14/5(日) ,每日 09:00~17:00上課,計14小時。
◆ 上課地點
資訊工業策進會數位教育研究所,台北市信義路三段153號10樓。
上課地點位於捷運大安站1號出口左轉約20公尺。
* 上課地點與教室之確認,以上課通知函為主。
◆ 課程大綱
課程單元
課程內容
時數

課程環境準備

課程VM環境準備與設定

1
資料流獲取

(1) 網頁爬蟲實戰技術
(2) 網頁結構化解析技術
(3) 社群媒體資料擷取技術:

      FacebookPttMobile01等實作

(4) Socket 資料流獲取技術:

      網路層基礎Socket Server實作

5
Spark 技術回顧

Spark Batch處理技術

2

Kafka

Spark Streaming

技術實作

(1) Spark Streaming DStream 方法介紹與實作
(2)
Kafka 訊息管理系統介紹與實作
(3)
Spark Streaming資料流與Kafka介接技術
4
綜合實戰練習

(1) 開源中文斷詞Library使用
(2)
PTT八卦版即時關鍵字訊息流獲取系統實作

2
* 課程執行單位保留調整課程內容與講師之權利之權利 
◆ 報名方式

本課程採線上報名,請按右方【我要報名】進入報名系統

課程諮詢:(02)6631-6532 課程經理傅小姐,E-mail:sincheau@iii.org.tw
報名確認:(02)6631-6535 郭小姐,E-mail:florakuo@iii.org.tw

我要報名
下載課程DM
◆ 課程費用與繳費
1. 本課程原費用NT$10,000元,費用含課程、講義及午餐餐盒
2.

凡於10月27日前完成報名與繳費資料之學員,可享特惠價 NT$8,000元 (含稅)。

3.

團報優惠:二人團報可打95折、四人團報可打9折優惠。

團報優惠與早鳥優惠可一併使用。
課程報名系統每個帳號僅提供一位學員報名,若為團報學員,每位皆必須完成線上報名,並於其他金額說明欄位註記「與XXX一起團報」,以利事後核對名單。

4. 請以信用卡或即期支票支付—
  以信用卡支付者:請務必將正確信用卡資料填寫於繳費方式資料表。
以即期支票支付者:抬頭為「財團法人資訊工業策進會」, 劃線並禁止背書轉讓
  ,以掛號寄至台北市106信義路三段153號11樓 邱小姐 收。
◆ 報名確認與取消
1. 已完成報名與繳費之學員,課程主辦單位將於開課三天前以E-mail方式寄發上課通知函;若課程因故取消或延期,亦將以E-mail方式通知,如未收到任何通知,敬請來電確認
2. 已完成繳費之學員如欲取消報名,請於實際上課日前以書面通知業務承辦人,主辦單位將退還90%課程費用。
3. 學員於培訓期間如因個人因素無法繼續參與課程,將依課程退費規定辦理之︰上課未逾總時數三分之一,欲辦理退費,可退還 所有課程費用二分之一;上課逾總時數三分之一,則不退費。
4. 課程執行單位保留是否接受報名之權利。
◆ 結業證書
  依本會ISO品質系統之「教育訓練服務程序」規定,本課程為短期班,參訓學員缺課未 超過總時數五分之一者,結業時由本會核發結業證書。
◆ 學習護照
資策會為人事行政局首批認證審定之民間學習機構,參加本課程之中小企業員工,亦可獲得「中小企業終身學習護照」認可之時數;此外,公務人員參加資策會課程,學習時數可登錄「公務人員終身學習護照」。
◆ 最低招生人數
最低招生人數至少為12人,預計開班人數為25人
◆ 相關課程

資訊工業策進會數位教育研究所  版權所有,禁止侵害,違者必究。
Copyright (c) 2013 III Digital Education Institute. All Rights Reserved