大数据技术培训学什么?

基础阶段:Linux,Docker,KVM,MySQL,Oracle,MongoDB,redis。Hadoop MapReduce HDFS纱:Hadoop: Hadoop概念,版本,历史,HDFS工作原理,纱介绍,组件介绍。

大数据存储阶段:hbase,hive,sqoop。

大数据架构设计阶段:Flume distributed,Zookeeper,Kafka。

大数据实时计算阶段:Mahout,Spark,storm。

大数据数据收集阶段:Python,Scala。

大数据业务实践阶段:企业大数据处理业务场景实际操作、需求分析、解决方案实施、综合技术实际应用。

大数据(Megadata),或称巨量数据,是指海量、高增长、多样化的信息资产,需要新的处理模式,以具备更强的决策、洞察和流程优化能力。在维克多·迈耶-勋伯格和肯尼斯·库克耶合著的《大数据时代》中,大数据是指所有的数据都用于分析和处理,而没有随机分析(抽样调查)的捷径。大数据的5V特征:体量(海量)、速度(高速)、多样性(多样性)、价值(价值密度)、真实性。

大数据的五个“V”或特征有五个级别:

第一,数据量巨大。

从TB级跳到PB级。

第二,数据类型多。

前面提到的博客、视频、图片、地理信息等等。

第三,价值密度低。

以视频为例,在持续监控的过程中,可能有用的数据只有一两秒钟。

第四,处理速度快。

1第二定律。最后,这一点也与传统的数据挖掘技术有着本质的区别。业内将其归类为四个“V”——成交量、品种、价值、速度。

物联网,云计算,移动互联网,车联网,手机,平板电脑,PC,遍布全球的各种传感器,都是数据来源或者承载方式。