大数据工程师

大数据工程师培训由*教师采用小班的授课方式教学,老师针对学员的薄弱点制定切实可行的学习计划,并且时刻关注学员的学习情况,定期反馈,指导学员,查缺补漏.

课程体系

*阶段:Java基础

技能点

Java基础语法、面向对象、异常处理、集合框架、常用类、I/O操作、多线程、网络编程、XML解析

能力培养

熟练使用MyElipse开发Java程序

会使用Java编写常用的流程控制语句

理解并掌握面向对象思想及其三大特性

能够运用Java常用类解决实际问题

会使用集合框架存储数据、I/O技术操作文件

能够实现多线程及网络编程

第二阶段:JavaWeb网站开发

技能点

HTML5、CSS3、JavaScript/ES6、JQuery、JSP/Servlet、MySQL数据库、JDBC、Linux、SVN

能力培养

了解B/S架构运行原理

掌握网页的开发和设计技能

掌握JavaWeb核心开发技能

掌握Linux应用部署和监控技能

掌握基本的JavaEE应用设计和开发技能

锻炼学员团队协作能力

第三阶段:SSM/SSH框架

技能点

JMyBatis框架、Spring框架、Spring MVC框架、Struts2框架、Hibernate框架、Git、Maven 、Oracle数据库

能力培养

掌握SSM/SSH框架核心技能及应用开发技能

掌握Oracle数据库设计和应用技能

学会使用Git进行项目代码版本管理

学会使用Maven进行项目构建管理

第四阶段:基于分布式微服的互联网架构

技能点

分布式微服架构、Dubbox、Spring Cloud、Spring Boot、Docker环境快速搭建实现自动化部署、分布式下ID唯一性、Redis、分布式事务处理、分布式下三方接入、Active MQ消息队列等

能力培养

培养学员基于分布式项目的业务架构、应用架构、技术架构、安全架构、网络拓扑架构等的

设计和代码开发能力，以及在部署策略等方面的综合能力

培养学员分布式项目下核心业务处理能力

培养学员在分布式项目下对于高并发、数据最终一致性、性能优化等问题的解决处理能力

第五阶段:Python爬虫+ELK+分析

技能点

Shell编程、Python编程、NumPy&Pandas、Scrapy、LXML、PySpider、数据采集、整理和清洗、Elasticsearch、Logstash、Kibana

能力培养

掌握Python编程

具备Python的爬虫开发、 数据获取和整理等能力

能够使用ELK进行数据导入、 查询和集成

第六阶段:Hadoop生态圈

技能点

HDFS、MapReduce、YARN、Hive、Sqoop、HBase

能力培养

掌握Hadoop集群配置与管理

掌握HDFS文件操作

掌握分布式计算原理

掌握基于Hive的数据ETL和数据查询

掌握HBase数据存储

掌握数据导入导出

第七阶段:Spark技术栈

技能点

Scala编程、Spark RDD、Spark SQL、Spark GraphX、PySpark、Jupyter、Hadoop数据模型、Atlas&Ranger、NiFi、Kafka、Oozie、Cassandra&Hive、Redis&Hive、MongoDB、Tableau

能力培养

掌握Spark集群配置与管理，以及Spark离线计算

具备Scala和Python编写 Spark应用的能力

具备在企业数据湖中建立数据流程/通道、实施数据监管、规范数据管理和确保数据安全

第八阶段:实时流处理平台

技能点

Spark Streaming、Flink、Flume、Storm、d3.js、Echarts

能力培养

掌握Apache NiFi/Kafka/Flume/Spark Streaming的集成使用

具备实时流数据存储、计算、查询的能力

具备多种流处理框架的运用能力

掌握多种常见可视化工具的使用

掌握股票流数据实时分析/舆情分析案例

技能点

第九阶段:机器学习

技能点

Spark Mllib

能力培养

掌握Spark机器学习数据结构及流程

掌握分类,聚类和推荐模型

掌握垃圾邮件分类

提升课程

大数据开发

工程师标准版

培养岗位

Java开发工程师

技术能力

精通Java语言及Java技能体系

熟练掌握SSM/SSH框架技术进行垂直架构项目的开发

具备架构设计能力，可进行分布式微服架构项目的开发

具备大数据Hadoop相关基础知识

项目经验

具备分布式项目的开发经验

具备针对系统中的扩展性、安全性、高性能等问题的分析、解决能力

大数据开发

工程师提升版

培养岗位

大数据应用开发工程师

技术能力

掌握大数据生态圈相关技术的开发及应用，精通Hadoop、Spark、Spark Streaming、Kafka，掌握Flink，了解Storm

掌握Java、Python、Scala、Shell编程

搭建和部署Hadoop、Spark、Flink、Storm集群，并能够利用大数据平台实现对数据的分析和处理

项目经验

Python爬虫与ELK搜索、电子商务消费行为分析、航班飞行网图分析、垃圾邮件分类、舆情分析、用户交易欺诈分析、用户兴趣取向分析、股票流数据实时分析

大数据分析师

培养岗位

大数据应用开发工程师

技术能力

掌握大数据生态圈相关技术的开发及应用，精通Hadoop、Spark、Spark Streaming、Kafka，掌握Flink，了解Storm

掌握Java、Python、Scala、Shell编程

搭建和部署Hadoop、Spark、Flink、Storm集群，并能够利用大数据平台实现对数据的分析和处理

项目经验

Python爬虫与ELK搜索、电子商务消费行为分析、航班飞行网图分析、垃圾邮件分类、舆情分析、用户交易欺诈分析、用户兴趣取向分析、股票流数据实时分析