您当前的位置:>  产品中心GloProc云处理

产品介绍

详细介绍

大数据教学实验一体机

大数据教学实验一体机是为高校定制的大数据教学科研平台,是供学生完成大数据与云计算实验的集成环境,还提供了配套的资源服务——教材、PPT、实验手册、项目案例手册、配套的教学视频和案例视频等提供一站式服务,有助于高校更好地满足课程设计、上机实验、实习实训、科研训练等多方面需求,缓解大数据师资不足的问题。


一、 建设背景

1 、大数据行业现状和发展趋势

大数据诞生于人们对数据搜集能力、传输能力、存储能力和处理分析能力的发展和跨越基础上,已在各行业掀起了变革的巨浪,发展潜力巨大。著名管理咨询公司麦肯锡认为大数据是大小超出了常规数据库软件工具获取、存储、管理和分析能力的海量复杂数据集。亚马孙认为大数据是任何超过了一台计算机处理能力的数据量。从宏观角度来讲,大数据是融合物理世界、信息空间和人类社会三元世界的纽带。谷歌借助云计算搜索引擎推动了大数据的应用和发展。在教育领域,在教与学的过程中,也蕴藏着有价值的海量大数据,怎么有效挖掘、分析和利用这些海量数据来促进教学,是当今教育界研究的热点内容。未来十年将是一个“大数据”引领的智慧科技时代。随着 QQ、微信等社交网络的逐渐成熟普及,移动带宽迅速提升,云计算、物联网应用更加丰富,更多的传感设备、移动终端接入网络,由此产生的数据急剧增长,速度比历史上的任何时期都要多都要快。IDC 在《数字宇宙膨胀:到 2020 年全球信息增长预测》指出,数字信息每年按几何级数递增,到 2020 年,数据量将超出人们想象,达到 40ZB。据麦肯锡数据显示,2009 年美国教育部某信息系统数据库存储的数据达到近 270PB,入选 2009 全美十大数据生产贡献排名,教育已成为大数据重要源泉之一。

2、 高校大数据人才培养现状

我国大数据专业人才需求,迫使高校必须转型培养专业性的大数据人才。目前,我国众多高等院校已经陆续研究生阶段设立大数据学科。但由于我国大数据学科起步晚,国内市场对大数据专业的定位还仅仅停滞于策略编写、大数据建模与衍生品定价等方面。高等院校又缺乏对大数据学科人才培养的经验,因此造成高校对学生培养方向定位不明确,课程设置内容不清晰。这种专业方向建设方式导致院校大数据学科课程侧重于传统的理论教学,忽略了培养学生数据挖掘,数据分析,数据可视化等的实践能力,缺乏对大数据分析、云数据库、Hadoop、内存数据库,以及数据安全等大数据技术的学习掌握,尤其缺乏实践成果与市场结合。其结果是人才培养效果远远不能满足我国各行业机构对相应大数据人才的需求。

二、大数据实验室建设的意义及目标

目前,在我国高校的专业设置上与数据挖掘与大数据分析实验相关的学科专业包括:计算机科学与技术、信息管理与信息系统、统计学、经济、金融、贸易、生物信息以及公共卫生等。这些专业的学生需要分别从原理、技术与应用等不同的角度掌握大数据分析的理论与分析方法。学生要很好地掌握这些课程,除了课堂学习,通过实验来加深理解和提高实际应用操作能力也是主要途径。调查表明,数据挖掘与大数据分析实验所需要的算法、计算环境以及数据等,都无法在我国高校现有的实验室中完成。因此,建设专门的数据挖掘与大数据分析实验室就显得非常重要。

本实验室建设方案融合数据挖掘与大数据分析专业教学、实训、实战等各层次实践教学,能够从面向大数据分析行业需求和促进学生职业发展的角度规划和建设大数据分析实验室,真正在产业、学校、科研及实际项目中相互配合,发挥优势,形成生产、学习、科学研究、实践运用的系统运作模式,从而建设大数据分析特色专业。

学习掌握大数据技术理论、发展方向及对大数据的应用是高职类院校教育的核心目标。整个实验室的设计包括客户端、数据存储、服务器集群,可实现数据挖掘展示、分析、数据挖掘算法等操作,主要培养学生对大数据技术的认知,掌握大数据分析、挖掘算法、应用等方面的能力。

利用亚博大数据自主研发的大数据分析主流软件框架,搭建与业界主要用户一致的实验与科研环境,将理论课程中学到的数据挖掘算法运用到实际的数据分析过程中,提升学生的动手操作和项目实践能力,使得学生所学与企业项目人才需求无缝衔接,与教师的科研工作紧密配合。

通过专业的大数据分析计算资源搭建的开放式大数据分析平台,可以充分的融合教师的科研需求,教师可以在开放的平台环境下开展大数据科研工作,提升教师的科研创新能力,充分提高“研”的成效。

三、实验平台建设方案

亚博大数据作为专业的高校实验室建设方案提供商,结合自主研发的实验平台及多年政企项目实战案例,提供了一套完整的高校大数据分析、挖掘与应用的实验室解决方案。通过典型的算法展示、算法实现结合大数据分析的应用场景与案例,对学生进行数据分析方面的综合训练,从而实现专业实验教学的由点及面、理论到应用、涵盖原理验证、综合应用多层次实验的体系。

1 、基础环境建设

实验室基础环境建设主要是支撑实验室教学运行的基本环境配套建设,包括学生实验用桌椅、教学用投影音响器材、实验室空调系统、网络综合布线系统、安防监控系统及实验室装修系统等。通过这些基础支撑环境的建设,才能保证实验室正常为教学和科研服务。


2、系统平台架构

四、实验平台内容及内容

通过应用容器技术,以少量机器虚拟大量实验集群,可供大量学生同时拥有多套集群进行试验,而每个学生的实验环境不仅相互隔离,方便高效地完成实验,而且实验彼此不干扰,即使某个实验环境被破坏,对其他人也没有影响,一键重启就可以拥有一套新集群。

实验一 实验环境简介

实验二 集群实验:配置集群环境

实验三 HDFS 实验:部署 HDFS

实验四 HDFS 实验:读写 HDFS

实验五 HDFS 实验:WebHDFS

实验六 YARN 实验:部署与提交 YARN 任务

实验七 MapReduce 实验:WordCount

实验八 MapReduce 实验:SecondarySort

实验九 MapReduce 实验:每天新增用户数

实验十 Spark 实验:部署 Spark

实验十一 Spark 实验:SparkDemo

实验十二 Spark 实验:Spark-sql

实验十三 Spark 实验:Spark-Streaming

实验十四 Spark 实验:Graphx

实验十五 ZooKeeper 实验:部署 ZooKeeper

实验十六 ZooKeeper 实验:进程协作

实验十七 HBase 实验:部署 HBase

实验十八 HBase 实验:新建 HBase 表

实验十九 Storm 实验:部署 Storm

实验二十 Storm 实验:实时 WordCountTopology

实验二十一 Storm 实验:调试 Storm-App

实验二十二 Hive 实验:部署 Hive

实验二十三 Hive 实验:Hive 建表

实验二十四 Pig 实验:部署 Pig

实验二十五 Pig 实验:Pig 版 WordCount

实验二十六 Oozie 实验:部署 Oozie

实验二十七 Oozie 实验:部署 Oozie 任务

实验二十八 Flume 实验:使用 Flume 接受 telnet 数据

实验二十九 Flume 实验:使用 Flume 向 HDFS 导数据

实验三十 Sqoop 实验:部署 Sqoop

实验三十一 Sqoop 实验:使用 Sqoop 实现 Mysql 与 HDFS 数据互导

实验三十二 Mahout 实验:部署 Mahout

实验三十三 Mahout 实验:Naïve Bayes

实验三十四 分类算法:使用 Spark 实现 SVM

实验三十五 聚类算法:使用 Spark 实现 K-Mean

实验三十六 关联规则算法:使用 Spark 实现 FP-growth




产品特性