淺談大數(shù)據(jù)實驗實訓(xùn)平臺的建設(shè)
1. 大數(shù)據(jù)學(xué)科建設(shè)現(xiàn)狀
1.1. 大數(shù)據(jù)學(xué)科建設(shè)現(xiàn)狀
由于高校在大數(shù)據(jù)教育領(lǐng)域的發(fā)展時間并不是很長，所以目前高校在大數(shù)據(jù)專業(yè)方向的教學(xué)過程中，主要面臨以下幾個方面的問題：
1) 師資隊伍建設(shè)
IT新技術(shù)更新的太快，有限的教師資源很難在有限的時間內(nèi)系統(tǒng)的指導(dǎo)大批學(xué)生，設(shè)計性和探究性實驗難以開展。
另外，教師教學(xué)任務(wù)繁重，新技術(shù)開發(fā)課程周期長，內(nèi)部講師培養(yǎng)周期長，很多院校在大數(shù)據(jù)技術(shù)課程的儲備上明顯不足。
2) 教學(xué)實驗環(huán)境
大數(shù)據(jù)實驗一人操作多臺機器，傳統(tǒng)機房是一人一臺操作，傳統(tǒng)的機房實驗室，已經(jīng)無法滿足大數(shù)據(jù)實驗操作的要求。
傳統(tǒng)機房的現(xiàn)有服務(wù)器資源，也大多無法滿足大數(shù)據(jù)實驗的高計算、高性能要求。
快速更新的技術(shù)，導(dǎo)致現(xiàn)在教學(xué)實驗環(huán)境無法快速適應(yīng)大數(shù)據(jù)實驗教學(xué)的要求。
3) 課程體系建設(shè)
由于新開專業(yè)，無參考標準體系，教師在編制大數(shù)據(jù)實驗課程方面缺乏積累，教學(xué)內(nèi)容開發(fā)緩慢。大數(shù)據(jù)實驗需要大量的真實行業(yè)數(shù)據(jù)，無法通過模擬進行教學(xué)。
所以教學(xué)內(nèi)容缺失主要是：缺乏真實數(shù)據(jù)；缺乏行業(yè)案例。
模擬數(shù)據(jù)的教學(xué)無法讓學(xué)生體會到大數(shù)據(jù)的真實應(yīng)用，造成學(xué)生動手能力難以提升。
4) 科研新挑戰(zhàn)
數(shù)據(jù)的激增，勢必由量變引起質(zhì)變，從而使科研人員的思維和行為模式在傳統(tǒng)學(xué)科的研究領(lǐng)域發(fā)生變化，如何利用大數(shù)據(jù)技術(shù)及優(yōu)勢，找到本學(xué)科研究成果的新視角，已經(jīng)成為當前高校研究的重要課題。
1.2. 大數(shù)據(jù)實驗實訓(xùn)平臺建設(shè)的必要性
綜合目前大數(shù)據(jù)學(xué)科建設(shè)所面臨的問題，對設(shè)有大數(shù)據(jù)專業(yè)或?qū)I(yè)方向的學(xué)校教師和學(xué)生在教學(xué)過程中產(chǎn)生很大的影響，教師面臨著任務(wù)重、備課難、實驗課難開展、發(fā)論文沒思路等困擾，而學(xué)生又面臨著聽不懂、不會做、不會用、學(xué)不會的煩惱。
所以大數(shù)據(jù)學(xué)科如何實現(xiàn)標準教學(xué)、如何評估學(xué)生綜合能力、如何解決師資缺乏、如何保障科研成果、學(xué)生就業(yè)如何滿足企業(yè)需求是高校在大數(shù)據(jù)學(xué)科建設(shè)中必須要解決的問題。
因此，高校建設(shè)一個專業(yè)的大數(shù)據(jù)實驗實訓(xùn)平臺，除了必要的符合當前虛擬化潮流的高端服務(wù)器及網(wǎng)絡(luò)設(shè)備之外，其中的重點是建設(shè)集教學(xué)、實驗、實訓(xùn)、科研綜合于一體的大數(shù)據(jù)實訓(xùn)平臺，全方位支撐高校大數(shù)據(jù)教學(xué)及科研的需求是必要的和緊迫的。
1.3. 大數(shù)據(jù)實驗實訓(xùn)平臺的建設(shè)原則
1) 理論與實踐相結(jié)合
理論與實踐相結(jié)合是知識經(jīng)濟背景下歷史發(fā)展的必然要求。在知識經(jīng)濟社會，高校是理論產(chǎn)生和傳播的主體，積累并傳承專業(yè)方向理論知識，指導(dǎo)學(xué)習者的實踐活動與生產(chǎn)技能訓(xùn)練。多國國際知名高校案例經(jīng)驗表明，對于我國起步較晚的大數(shù)據(jù)學(xué)科方向建設(shè)發(fā)展，該專業(yè)應(yīng)在理論與實踐相結(jié)合的基礎(chǔ)上側(cè)重于實踐，才能厚積薄發(fā)、趕超國際水準。
2) 適應(yīng)社會人才需求
高端大數(shù)據(jù)人才培養(yǎng)是大數(shù)據(jù)實驗實訓(xùn)平臺建設(shè)的重要目標。當前各地院校在人才培養(yǎng)過程中必須以社會崗位的實際需求作為根本出發(fā)點，深入了解電信、零售、電力、銀行、證券、期貨、基金等眾多行業(yè)機構(gòu)對大數(shù)據(jù)學(xué)科高端人才的需求。根據(jù)權(quán)威機構(gòu)預(yù)測，未來3-5年，中國需要180萬大數(shù)據(jù)人才，當前就有30萬，缺口達到150萬之巨。
3) 國際化標準
大數(shù)據(jù)在全球教育領(lǐng)域?qū)儆谝婚T新興專業(yè)。得力于國際大數(shù)據(jù)地位的先天優(yōu)勢，該專業(yè)教育在歐美迅速發(fā)展，并在教育領(lǐng)域建立了國際性話語權(quán)。我國大數(shù)據(jù)學(xué)科方向建設(shè)的天然優(yōu)勢就是國內(nèi)大數(shù)據(jù)的不斷革新與發(fā)展，國際話語權(quán)不斷增強。基于此優(yōu)勢，必須在參照國家標準設(shè)計人才培養(yǎng)模式的基礎(chǔ)上，全面參與該專業(yè)方向建設(shè)的國際標準的制定。
4) 堅持創(chuàng)新
創(chuàng)新必須是與時俱進，國內(nèi)信息技術(shù)的發(fā)展為大數(shù)據(jù)的創(chuàng)新提供了沃土，但這些遠遠不夠。大數(shù)據(jù)教學(xué)實驗室建設(shè)首先樹立創(chuàng)新機制、激勵制度；其次是尊重鼓勵創(chuàng)新人才；再者是為了大數(shù)據(jù)創(chuàng)新提供必要的物質(zhì)條件。各類院校都可以選擇一條適合自己創(chuàng)新理念和模式，有利于促進院�？缭绞桨l(fā)展與品牌影響力提升。
5) 專業(yè)深度與廣度
專業(yè)的深度與廣度并重是加強大數(shù)據(jù)實驗實訓(xùn)平臺建設(shè)與創(chuàng)新的基本條件，也是大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的必然目標導(dǎo)向。不斷縱向深入大數(shù)據(jù)的研究和創(chuàng)新大數(shù)據(jù)新的專業(yè)方向交叉點是推動新理論、新技術(shù)、新產(chǎn)品的必要條件。深度建設(shè)有利于大數(shù)據(jù)解決更為深層次性的大數(shù)據(jù)問題及工具方法創(chuàng)新；廣度可以使大數(shù)據(jù)與更多專業(yè)相結(jié)合，發(fā)展更多前沿方向與分支研究領(lǐng)域，同時也有利于解決各行各業(yè)出現(xiàn)的大數(shù)據(jù)的問題。
6) 產(chǎn)學(xué)研一體化
堅持產(chǎn)學(xué)研一體化建設(shè)是科教興國戰(zhàn)略中必然的制度安排。在科教興國戰(zhàn)略體系中，教育、科研、生產(chǎn)相結(jié)合是一項重要的戰(zhàn)略措施，國家出臺了一系列政策法規(guī)支持高等學(xué)校推行教育、科研、生產(chǎn)相結(jié)合。當前國內(nèi)，一方面產(chǎn)學(xué)研合作沒有形成很好的發(fā)展模式，另一方面部分院校對大數(shù)據(jù)方向定位及建設(shè)理念不恰當，從而造成國內(nèi)大數(shù)據(jù)的研究成果能夠解決國內(nèi)大數(shù)據(jù)行業(yè)問題的不多，院校亦不能從這個模式中為其獲得長久的發(fā)展經(jīng)濟動力。
7) 院校特色定位
在借鑒國際經(jīng)驗和標準基礎(chǔ)上，各類院校在建設(shè)大數(shù)據(jù)實驗實訓(xùn)平臺的過程中，應(yīng)該按照各自的總體發(fā)展目標為核心，依據(jù)自身區(qū)域、師資力量、專業(yè)方向優(yōu)勢定位，采取不同模式的專業(yè)方向建設(shè)來確定自身的發(fā)展特色定位。我國經(jīng)濟發(fā)展各區(qū)各省都呈現(xiàn)不均衡狀態(tài)，各行各業(yè)改革發(fā)展深度不一致，為院校大數(shù)據(jù)學(xué)科方向建設(shè)的特色定位提供了發(fā)展空間。
2. 大數(shù)據(jù)實驗實訓(xùn)平臺建設(shè)方案
2.1. 核心理念
利用云計算、虛擬化、人工智能及大數(shù)據(jù)主流框架，搭建教學(xué)系統(tǒng)和集群，將大數(shù)據(jù)核心技術(shù)應(yīng)用到企業(yè)真實項目中，將理論知識、實驗教學(xué)和大數(shù)據(jù)項目實踐融合，由淺入深，循序漸進，逐步提升學(xué)生的專業(yè)技能和項目實踐能力，使得學(xué)生與企業(yè)人才需求無縫銜接，真正解決大數(shù)據(jù)人才缺口問題。
2.2. 平臺架構(gòu)
針對高校大數(shù)據(jù)教學(xué)、管理、人工智能、項目實踐、科研服務(wù)、創(chuàng)新孵化等實際應(yīng)用場景，系統(tǒng)提供穩(wěn)定、可靠、高效的軟硬一體化大數(shù)據(jù)教學(xué)科研環(huán)境，以及完善的課程體系、項目數(shù)據(jù)和視頻、多樣化的教學(xué)手段和豐富的實戰(zhàn)案例，以快速開發(fā)平臺為基礎(chǔ)，快速的構(gòu)建大數(shù)據(jù)實驗實訓(xùn)平臺。整體平臺架構(gòu)圖如下所示：
圖 - 架構(gòu)圖
各組成部分說明如下：
1) 大數(shù)據(jù)教學(xué)資源
大數(shù)據(jù)教學(xué)資源提供教學(xué)實驗指導(dǎo)手冊、在線視頻、資源包、實驗示例代碼、數(shù)據(jù)源等，讓學(xué)生學(xué)以致用。通過在線學(xué)習、在線測驗、在線實驗、在線實訓(xùn)、綜合分析及自主設(shè)計等多層次的實驗操作，為大數(shù)據(jù)教學(xué)提供一個完整的一體化實驗教學(xué)體系。
項目案例提供行業(yè)典型項目及行業(yè)數(shù)據(jù)，項目涉及互聯(lián)網(wǎng)、運營商、金融、電子商務(wù)、政府等多個領(lǐng)域，每個項目案例都配備項目指導(dǎo)手冊、講解視頻、行業(yè)數(shù)據(jù)及項目代碼。
2) 大數(shù)據(jù)教學(xué)平臺
實驗實訓(xùn)使用的服務(wù)器采用虛擬化技術(shù)，實現(xiàn)硬件資源集中調(diào)度和管理，以大數(shù)據(jù)Hadoop及其生態(tài)組件為核心構(gòu)建軟件系統(tǒng)，支持更多的大數(shù)據(jù)高級特性，經(jīng)過專業(yè)的性能優(yōu)化和軟硬件集成測試，保證平臺的高性能與穩(wěn)定可靠運行。
主要包括2個子系統(tǒng)：實驗實訓(xùn)系統(tǒng)、云計算管理系統(tǒng)。
3) 基礎(chǔ)支撐平臺
傳統(tǒng)的信息管理類系統(tǒng)普遍包含業(yè)務(wù)信息的增刪改查和導(dǎo)入導(dǎo)出功能、流程審批功能、表單填報功能、可視化展示功能、中國式報表功能，系統(tǒng)中70%~80%都是此類功能。通過可配置化的快速開發(fā)平臺，使用可配置的方式“零代碼”輕松的實現(xiàn)這些功能。
圖 - 架構(gòu)圖
大數(shù)據(jù)教學(xué)平臺相關(guān)的功能模塊都是通過快速開發(fā)平臺進行配置化+插件開發(fā)的方式完成的。
另外，快速開發(fā)平臺還可以開放給科研人員，這樣科研人員的精力能夠更專注在科學(xué)研究上，而不需要關(guān)注代碼本身，技術(shù)平臺的搭建能夠以一種非常輕松、高效的方式來完成。
2.3. 平臺優(yōu)勢
1) 真機實驗訓(xùn)練
實驗室各模塊相對獨立，交互式的實驗任務(wù)、實驗指導(dǎo)、項目上機操作，教學(xué)視頻、考試評分、數(shù)據(jù)監(jiān)控等，保障學(xué)生靈活、快速的掌握大數(shù)據(jù)核心技術(shù)及項目開發(fā)能力。
2) 完善的課程體系
多年的大數(shù)據(jù)項目建設(shè)和IT培訓(xùn)經(jīng)驗沉淀的經(jīng)驗，研發(fā)出行業(yè)領(lǐng)先的大數(shù)據(jù)課程體系。
3) 典型大數(shù)據(jù)項目案例
提供多個行業(yè)典型應(yīng)用案例數(shù)據(jù)包和視頻包，以及配套實驗手冊，邊學(xué)邊練通過實際項目上機演練，多方位學(xué)習及訓(xùn)練，做到學(xué)生與企業(yè)需求無縫銜接，真正解決大數(shù)據(jù)人才缺口問題，行業(yè)案例還在不斷的補充中。
4) 交互式學(xué)習模式
提供完善課程體系、在線學(xué)習系統(tǒng)，以大數(shù)據(jù)課程學(xué)習、在線視頻、習題、線上測試、線上實驗為主線，典型案例貫穿知識點的學(xué)習模式，確保學(xué)生掌握大數(shù)據(jù)項目技能。
5) 充分支撐科研工作
整合了數(shù)據(jù)采集、數(shù)據(jù)集市、數(shù)據(jù)建模、數(shù)據(jù)視圖等，提供行業(yè)數(shù)據(jù)及案例用于基礎(chǔ)研究，科研人員通過該系統(tǒng)方便對行業(yè)數(shù)據(jù)進行統(tǒng)計分析，按需求生成可視化數(shù)據(jù)報表。
6) 企業(yè)級硬件配置
基于業(yè)界最先進的硬件平臺，采用企業(yè)級融合架構(gòu)，具備高效融合、安全穩(wěn)定、性能卓越、敏捷易用等特點。
2.4. 大數(shù)據(jù)教學(xué)資源建設(shè)
為了滿足院校快速開設(shè)大數(shù)據(jù)相關(guān)課程實驗的需求，實驗室配套相關(guān)課程體系、實驗手冊、在線視頻、在線試題庫等課程資源。
1) 課程體系
基于CDIO工程教育理念，設(shè)計了大數(shù)據(jù)工程型人才的教育解決方案，以研發(fā)到產(chǎn)品運行為載體，讓學(xué)生以主動、實踐的方式掌握大數(shù)據(jù)專業(yè)技能，培養(yǎng)具備大數(shù)據(jù)基礎(chǔ)知識、個人能力、人機團隊能力和項目動手的綜合型人才。
大數(shù)據(jù)課程體系根據(jù)不同學(xué)歷和職業(yè)方向設(shè)置不同的課程學(xué)習路線，針對每門課程提供教學(xué)實驗指導(dǎo)手冊、在線視頻、資源包、實驗示例代碼等，讓學(xué)生學(xué)以致用；不僅學(xué)習大數(shù)據(jù)技術(shù)有的基本理論和原理，學(xué)習大數(shù)據(jù)平臺架構(gòu)的技術(shù)實現(xiàn)及其在行業(yè)內(nèi)的典型應(yīng)用。通過在線學(xué)習、原理驗證、實訓(xùn)應(yīng)用、綜合分析及自主設(shè)計等多層次的實驗操作，為大數(shù)據(jù)教學(xué)提供一個完整的一體化的實驗教學(xué)體系，快速提升實操技能，最終培養(yǎng)高素質(zhì)、應(yīng)用復(fù)合型大數(shù)據(jù)人才。
“數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)”專業(yè)（專業(yè)代碼080910T）強調(diào)培養(yǎng)具有多學(xué)科交叉能力的大數(shù)據(jù)人才。該專業(yè)重點培養(yǎng)具有以下三方面素質(zhì)的人才：一是理論性的，主要是對數(shù)據(jù)科學(xué)中模型的理解和運用；二是實踐性的，主要是處理實際數(shù)據(jù)的能力。三是應(yīng)用性的，主要利用大數(shù)據(jù)的方法解決具體行業(yè)應(yīng)用問題的能力。
2) 專業(yè)課
是為了讓學(xué)生了解大數(shù)據(jù)概況，了解大數(shù)據(jù)產(chǎn)品、技術(shù)的特性、實現(xiàn)原理和應(yīng)用方向。專業(yè)課程包括大數(shù)據(jù)概論、scala語言、Linux技術(shù)、JavaEE項目開發(fā)、大數(shù)據(jù)分析Python、概率論與數(shù)理統(tǒng)計、數(shù)據(jù)庫技術(shù)七門課程。
3) 核心課
是為了讓學(xué)生了解并初步掌握目前流行的大數(shù)據(jù)主流技術(shù)、了解其特點以及使用的場景，具備一定的大數(shù)據(jù)系統(tǒng)架構(gòu)能力，并能自行開展簡單的大數(shù)據(jù)應(yīng)用開發(fā)。核心課程包括基于Hadoop的應(yīng)用開發(fā)技術(shù)、大數(shù)據(jù)挖掘技術(shù)、R語言、大數(shù)據(jù)實時計算技術(shù)與應(yīng)用、Spark數(shù)據(jù)處理技術(shù)、大數(shù)據(jù)可視化技術(shù)、機器學(xué)習、數(shù)據(jù)分析技術(shù)八門課程。
4) 實訓(xùn)及實踐課程
針對每門課程提供教學(xué)實驗指導(dǎo)手冊、操作視頻、實驗資源包、實驗示例代碼等，讓學(xué)生學(xué)以致用、用以促學(xué)；不僅學(xué)習大數(shù)據(jù)技術(shù)的基本理論和原理，還學(xué)習大數(shù)據(jù)平臺架構(gòu)的技術(shù)實現(xiàn)，以及其在行業(yè)內(nèi)的典型應(yīng)用等，如大數(shù)據(jù)應(yīng)用開發(fā)綜合項目、大數(shù)據(jù)平臺搭建與管理綜合項目、運營商數(shù)據(jù)分析、電商數(shù)據(jù)分析等。
2.6.1 實驗手冊
實驗手冊選用與產(chǎn)學(xué)合作協(xié)同育人項目高等院�！稊�(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)》系列規(guī)劃教材配套的實驗手冊。所有案例均來源于企業(yè)，貼近實戰(zhàn)，內(nèi)容充實，拒絕空洞。每個實驗都配有實驗描述、實驗環(huán)境、相關(guān)技能、知識點、效果圖、詳細實驗步驟及總結(jié)。