大数据培训课程介绍，大数据学习课程学什么？
一、第一阶段:静态网页基础(HTML+CSS)
1.难度:一星
2.课时(技术知识点+阶段项目任务+综合能力)
3.主要技术包括:html常用标签、CSS常用布局、样式、定位、静态页面设计和制作方法等。
4.描述如下:
从技术上来说，这个阶段使用的技术代码简单易学，容易理解。从后期的课程层面来说，因为侧重于大数据，所以前期需要锻炼编程技巧和思维。据我们多年开发和教学的项目经理分析，要满足这两点，J2EE是目前市场上最好理解和掌握的技术，而J2EE离不开页面技术。所以在第一阶段，我们的重点是页面技术。采用市场主流的HTMl+CSS。
二、第二阶段:JavaSE+JavaWeb
1.难度:两颗星
2.课时(技术知识点+阶段项目任务+综合能力)
3.主要技术包括:java基本语法、java面向对象(类、对象、封装、继承、多态、抽象类、接口、公共类、内部类、公共修饰符等。)、异常、集合、文件、IO、MYSQL(基本SQL语句操作、多表查询、子查询、存储过程、事务、分布式事务)JDBC等等。
4.描述如下:
叫Java基础，技术点由浅入深，真实业务项目的模块分析，各种存储方式的设计。
和实施。这个阶段是前四个阶段中最重要的阶段，因为后面的所有阶段都是基于这个阶段，也是学习大数据程度最高的阶段。这个阶段会第一次接触团队，开发制作一个真实的项目，有前后台(一期技术+二期技术综合应用)。
三、第三阶段:前端框架
1.简易程序:两颗星。
2.课时(技术知识点+阶段项目任务+综合能力):64课时。
3.主要技术包括:Java，Jquery和注释反射一起使用，XML和XML解析，解析dom4j，jxab和jdk8.0的新特性，SVN，Maven和easyui。
4.描述如下:
在前两个阶段的基础上，化静态为动态，可以丰富我们网页的内容。当然，如果从市场人员的角度来看，有专业的前端设计师，我们现阶段设计的目标是前端技术能更直观的锻炼人的思维和设计能力。同时，我们也将第二阶段的高级特性融入到这个阶段中。让学习者走上一段楼梯。
第四阶段:企业级开发框架
1.简易程序:三颗星
2.课时(技术知识点+阶段项目任务+综合能力)
3.主要技术有:Hibernate、Spring、SpringMVC、log4j slf4j集成、myBatis、struts2、Shiro、redis、流程引擎activity、爬虫技术nutch、lucene、webServiceCXF、Tomcat集群和热备、MySQL读写分离。
4.描述如下:
如果把整个JAVA课程比作一家糕点店，前三个阶段可以做一个武大郎烧饼(因为纯手工——太麻烦)，而学习框架可以开一家星巴克(高科技设备——省时省力)。就J2EE开发工程师这个岗位的要求来说，这个阶段使用的技术必须要掌握，我们教的课程要高于市场(市场上主流的框架有三种，我们教的是七种框架技术)，并且是由真实的商业项目驱动的。需求文档、总体设计、详细设计、源代码测试、部署、安装手册等。将被解释。
五、第五阶段:了解大数据。
1.难度:三颗星
2.课时(技术知识点+阶段项目任务+综合能力)
3.主要技术包括:大数据第一部分(什么是大数据，应用场景，如何学习大数据库，虚拟机概念及安装等。)、Linux常用命令(文件管理、系统管理、磁盘管理)、Linux SHELL编程(SHELL变量、循环控制、应用)、hadoop简介(Hadoop组成、单机环境、目录结构、HDFS接口、MR接口、简单Shell、java访问Hadoop)、HDFS(简介、Shell、使用IDEA开发工具、构建全分布式集群)、MapReduce应用(中间计算过程、Java操作MapReduce、程序运行、日志监控)、Hadoop高级应用(YARN框架简介、配置项及优化、CDH简介、环境构建)、扩展(见图端优化、
4.描述如下:
这个阶段是为了让新人对大数据有一个比较大的概念。怎么相对？学了预科JAVA，就能明白程序在单台电脑上是怎么运行的了。那么，大数据呢？大数据就是在大规模机器集群中运行程序进行处理。当然大数据是要处理数据的，所以同样的，数据的存储也从单机存储变成了多机大规模集群存储。
(你问我什么是集群？好的，我有一大锅米饭。我可以自己完成，但是要花很长时间。现在我请大家一起吃饭。一个人的时候给人打电话。人太多怎么办？是人群吗？)
那么大数据大致可以分为:大数据存储和大数据处理。所以现阶段我们的课程已经设计好了大数据的标准:HADOOP大数据运行的不是我们经常使用的WINDOWS 7或者W10，而是应用最广泛的系统:LINUX。
第六阶段:大数据数据库
1.难度:四星
2.课时(技术知识点+阶段项目任务+综合能力)
3.主要技术包括Hive简介(Hive简介、Hive使用场景、环境搭建、架构描述和工作机制)、Hive Shell编程(建表、查询语句、分区和桶、索引管理和视图)、Hive高级应用(DISTINCT实现、groupby、join、sql转换原理、java编程、配置和优化)和hbase简介。Hbase SHELL编程(DDL，DML，Java操作表构建，查询，压缩，过滤)，Hbase模块详细描述(区域介绍，HREGION SERVER，HMASTER，Zookeeper，ZOOKEEPER的配置，Hbase和ZOOKEEPER的集成)，HBASE的高级特性(读写过程，数据模型，模式设计读写热点，优化，配置)。
4.描述如下:
这个阶段旨在让大家了解大数据是如何处理大规模数据的。简化编程时间，提高读取速度。
怎么简化呢？第一阶段，如果需要复杂的业务关联和数据挖掘，自己写MR程序是非常复杂的。所以在这个阶段，我们引入了HIVE，大数据中的数据仓库。这里有一个关键词，数据仓库。我知道你要问我，所以我先说，数据仓库通常是一个巨大的数据中心，用于数据挖掘分析，它存储这些数据，通常是大型数据库如ORACLE，DB2等。这些数据库通常用于实时在线业务。
总之，基于数据仓库的数据分析相对较慢。但方便的是，只要熟悉SQL，学起来相对简单，而HIVE就是这样一个工具，一个基于大数据的SQL查询工具，这个阶段还包括HBASE，也就是大数据中的数据库。纳闷，你不是学过一个叫HIVE的数据“仓库”吗？HIVE是基于MR的，所以查询起来相当慢。HBASE可以基于大数据实时查询数据。一个主分析和另一个主查询。
第七阶段:实时数据采集
1.简易程序:四颗星
2.课时(技术知识点+阶段项目任务+综合能力)
3.主要技术包括:Flume日志获取、KAFKA介绍(消息队列、应用场景、集群构建)、KAFKA详解(分区、主题、接收者、发送者、与ZOOKEEPER集成、Shell开发、Shell调试)、KAFKA高级使用(java开发、主要配置、优化项目)、数据可视化(图形和图表介绍、图表工具分类、直方图和饼状图、3D图形和地图)。Storm简介(设计思路、应用场景、处理流程、集群安装)、STORM开发(Stromvn开发、编写STORM本地程序)、STORM高级(java开发、主要配置、优化项目)、KAFKA异步发送和批量发送时效性、KAFKA全局消息按顺序、STORM多并发优化。
4.描述如下:
前一阶段的数据来源是基于已有的大规模数据集，数据处理分析后的结果有一定的延迟，通常处理的数据是前一天的数据。
示例场景:网站防盗链、客户账户异常、实时征信。如果这些场景是基于前一天的数据分析出来的呢？太迟了吗？所以在这个阶段，我们引入实时数据采集和分析。主要包括:来源广泛支持的FLUME实时数据采集、KAFKA数据收发、STORM实时数据处理、数据处理秒级。
八。第八阶段:火花数据分析
1.简易程序:五星
2.课时(技术知识点+阶段项目任务+综合能力)
3.主要技术包括:SCALA介绍(数据类型、运算符、控制语句、基本函数)、SCALA高级使用(数据结构、类、对象、特征、模式匹配、正则表达式)、SCALA高级使用(高阶函数、Cory函数、部分函数、尾部迭代、自含高阶函数等)。)，以及SPARK简介(环境建设，基础设施，运营模式等。).SPARK SQL、SPARK Advanced(数据帧、数据集、SPARK流原理、SPARK流支持源、KAFKA和SOCKET集成、编程模型)、SPARK高级编程(Spark-GraphX、Spark-Mllib机器学习)、SPARK高级应用(系统架构、主要配置和性能优化、故障和阶段恢复)、SPARK ML KMEANS算法、SCALA隐式转换高级特性。
4.描述如下:
先说前一阶段，主要是第一阶段。HADOOP基于MR分析大规模数据集，包括机器学习和人工智能，速度相对较慢。并且不适合迭代计算。SPARK是MR在分析方面的替代产品。怎么替代？先说它们的运行机制。HADOOP基于磁盘存储分析，SPARK基于内存分析。我说的话你可能听不懂，但说得更形象一点，就像从北京坐火车去上海。MR是绿皮火车，SPARK是高铁或者磁悬浮。而SPARK是基于SCALA语言开发的，当然它对SCALA的支持最好，所以在课程中先学习SCALA开发语言。
在科大数据课程的设计中，市场上的岗位要求技术，基本全覆盖。而且也不是简单的覆盖岗位需求，课程本身就是一个从前端到后端的完整的大数据项目流程。
比如从历史数据的存储和分析(HADOOP、HIVE、HBASE)到实时数据的存储(FLUME、KAFKA)和分析(STORM、SPARK)，这些在现实项目中都是相互依赖的。