經濟部工業局製造業價值鏈資訊應用計畫

資策會•數位教育研究所•科技化服務(ITeS)中心

 
10/14 開課,10/3前報名即享補助40%優惠!》

「網路爬蟲與Spark大數據流處理實務」課程,同步招生中

◆ 課程介紹

   隨著物聯網、社交引擎普遍使下,大數據的浪潮席捲而來,而大數據的管理、分析、應用等儼然成為巨大的挑戰,資料的時效性也是另一個重要的課題,往往取得資料時,必須在最短時間內反映,否則將會錯失商機。

   近年來,有大量的業界、學者投入大數據相關技術,根據Hadoop Summit 2014、2014大數據技術大會等國外指標性論壇所討論的主軸,In-Memory技術已成為近期最熱門的 大數據技術,而最為人熟知的是由加州柏克萊大學所發展的 BDAS ( Berkeley Data Analytics Stack ),其中從儲存、運算、資料檢索都利用了In-Memory 技術,提供優於MapReduce運算框架 10~100倍的效能。而Apache Spark便是其中扮演重要的運算框架角色,Spark憑藉其特有的資料封裝操作框架RDD以及In-memory資料儲存技術,解決傳統MapReduce框架在迭代式演算法中所遇到的效能瓶頸。基於Spark框架上,有許多擴充模組,包含以SQL指令操作資料的SparkSQL、豐富的機器學習函式庫Mllib以及即時串流處理技術Spark Stream等足以覆蓋大數據90%的處理需求。

   為了協助國內產業界引進最新大數據技術,資策會特規畫「Spark大數據分析實務班」課程,課程注重於 大數據實務開發,內容從開源大數據平台建設到Spark大數據分析應用皆有含括。在課程中,亦會導入真實資料進行實際應用開發,使學員能充分利用Spark工具來解決問題,加強學習效果,讓所學能真正導入實際工作中。
◆ 課程目標

   本課程將學習如何利用開源軟體,建置大型大數據管理平台,並能透過該平台進行Spark開發應用,讓學員能夠了解Spark核心技術、SparkSQL操作方式、機器學習函式庫應用,更進一步讓學員了解Spark程式設計模式、內部核心運作方式與效能調教。課程最後將透過實際分組演練真實數據,透過資料探索的過程,彼此分享學習,使學員更熟悉Spark工具的使用。

◆ 課程特色

   本課程旨在建立In-Memory大數據處理、分析、應用的根基,讓參訓學員瞭解正確的觀念與方法, 課程重點在於透過採體驗式教學方式的實作,學員能夠了解如何快速搭建一 大數據分析叢集,並能在自建平台上實際演練大數據操作與分析,以從體驗中驗證課程所學。課程最後將透過實際分組演練真實數據,學習如何將 大數據工具用在實際工作上。

◆ 招生對象

―    IT經理或系統網路部門主管

―    專案經理、系統架構師或系統網路管理人員

―    企業或技術決策人員

―    對於大量資料處理、分析、應用有興趣者

◆ 預備知識
ScalaPython或Java等程式設計基礎為佳。
◆ 課程日期
2017年 10/14(六)、10/15(日) ,每日 09:00~17:00上課,計14小時。
◆ 上課地點
資訊工業策進會數位教育研究所,台北市信義路三段153號10樓。
上課地點位於捷運大安站1號出口左轉約20公尺。
* 上課地點與教室之確認,以上課通知函為主。
◆ 課程大綱
課程單元
課程內容
時數

巨資平台簡介與安裝

(1) 大數據生態系統簡介
(2) OpenSource大數據管理監控平台安裝
(3) Spark 互動式開發環境建置
(4) 資源調度管理框架介紹

2
Spark 技術實作與核心技術

(1) Spark的運行模式介紹
(2) Spark開發流程講解
(3) RDD Transformation Action 方法解析與應
(4)
Spark進階用法與優化技巧
(5)
Spark開源程式碼之範例設計模式解析

4
Spark 資料視覺化

(1) Spark 資料運算與視覺化應用

1
Spark SQL 結構化資料處理應用 (1) 將RDD與外部來源導入Spark SQL
(2)
SparkSQL 解析與操作
(3)
DataFrame 解析與操作
(4) 實際案例練習
3
Spark MLlib 機器學習函式庫 (1) MLlib 分類模組使用
(2)
MLlib分群模組操作
(3) 文件探勘前處理模組使用
2
分組實戰演練

(1) 分散式TFIDF內部實作介紹
(2) 媒體新聞摘要系統實作

2
* 課程執行單位保留調整課程內容與講師之權利之權利 
◆ 報名方式

本課程採線上報名,請按右方【我要報名】進入報名系統

(依據工業局人才培訓專案規範,接受補助之學員須完整填具學員基本資料表並於開課當天簽署一份「工業局個資告知同意書」,否則無法接受補,結訓學員應配合經濟部工業局培訓後電訪調查)
課程諮詢:(02)6631-6532 課程經理傅小姐,E-mail:sincheau@iii.org.tw
報名確認:(02)6631-6535 郭小姐,E-mail:florakuo@iii.org.tw

我要報名
下載課程DM
◆ 課程費用與繳費
1. 本課程原費用NT$10,000元,費用含課程、講義及午餐餐盒
2.

本課程由工業局負擔40%,凡於10月3日前完成報名與繳費資料之學員,可享特惠價 NT$6,000元 (含稅)。( 政府捐助(贈)財團法人、學校教職員工及非本國國籍者不在補助範圍內)

3. 團報優惠:二人團報可打95折、四人團報可打9折優惠。
 

團報優惠與早鳥優惠可一併使用。
課程報名系統每個帳號僅提供一位學員報名,若為團報學員,每位皆必須完成線上報名,並於其他金額說明欄位註記「與XXX一起團報」,以利事後核對名單。

4. 特殊身份優惠:如為「身心障礙者、原住民、低收入戶、中堅企業員工」等特殊身份學員,享有經濟部工業局負擔60%之優惠,前三者學員需提供政府機關核發之身份證明文件影本,中堅企業員工需提供在職證明文件正本,請參中堅企業名單中堅企業躍升計畫介紹。
5. 請以信用卡或即期支票支付—
  以信用卡支付者:請務必將正確信用卡資料填寫於繳費方式資料表。
以即期支票支付者:抬頭為「財團法人資訊工業策進會」, 劃線並禁止背書轉讓
  ,以掛號寄至台北市106信義路三段153號11樓 邱小姐 收。
◆ 報名確認與取消
1. 已完成報名與繳費之學員,課程主辦單位將於開課三天前以E-mail方式寄發上課通知函;若課程因故取消或延期,亦將以E-mail方式通知,如未收到任何通知,敬請來電確認
2. 已完成繳費之學員如欲取消報名,請於實際上課日前以書面通知業務承辦人,主辦單位將退還90% 課程費用。
3. 學員於培訓期間如因個人因素無法繼續參與課程,將依課程退費規定辦理之︰上課未逾總時數三分之一,欲辦理退費,可退還所有課程費用二分之一;上課逾總時數三分之一,則不退費。
4. 課程執行單位保留是否接受報名之權利。
◆ 結業證書
  依本會ISO品質系統之「教育訓練服務程序」規定,本課程為短期班,參訓學員缺課未 超過總時數五分之一者,結業時由本會核發結業證書。
◆ 學習護照
資策會為人事行政局首批認證審定之民間學習機構,參加本課程之中小企業員工,亦可獲得「中小企業終身學習護照」認可之時數;此外,公務人員參加資策會課程,學習時數可登錄「公務人員終身學習護照」。
◆ 最低招生人數
最低招生人數至少為12人,預計開班人數為25人
◆ 相關課程

資訊工業策進會數位教育研究所  版權所有,禁止侵害,違者必究。
Copyright (c) 2013 III Digital Education Institute. All Rights Reserved