etl开发与大数据开发区别（大数据工程师和大数据开发工程师的职能有何区别）

本文目录

• 大数据工程师和大数据开发工程师的职能有何区别
• 大数据有哪些职业方向
• 大数据行业就业方向有哪些大数据技术就业岗位有哪些
• etl的概念，etl和elt数据处理上的区别
• BI，数据仓库，ETL，大数据开发工程师有什么区别
• BI工程师、数据仓库工程师、ETL工程师都属于大数据工程技术人员，三种的主要区别
• 大数据专业就业方向
• 大数据和软件开发哪个方向好(大数据和软件技术哪个专业好)

大数据工程师和大数据开发工程师的职能有何区别

大数据工程师和大数据开发工程师两者之间没有区别。大数据工程师指的就是大数据开发工程师。大数据工程师（即大数据开发工程师）从事大数据采集、清洗、分析、治理、挖掘等技术研究，并加以利用、管理、维护和服务。

大数据工程师（即大数据开发工程师）的职能如下：

1、大数据采集（爬虫）、大数据清洗（ETL工程师）、大数据建模（算法工程师）与大数据分析（数据分析员）。

2、管理、分析展现及应用等技术（大数据开发工程师）。

3、研究、应用大数据平台体系架构、技术和标准。

4、设计、开发、集成、测试大数据软硬件系统。

5、管理、维护并保障大数据系统稳定运行。

6、监控、管理和保障大数据安全。

7、提供大数据的技术咨询和技术服务。

扩展资料：

大数据工程师（即大数据开发工程师）的技能要求：

1、精通Java技术知识，熟悉Spark、kafka、Hive、HBase、zookeeper、HDFS、MR等应用设计及开发。

2、了解python/shell等脚本语言。

3、熟悉大数据平台架构，对ETL、数据仓库等有一定了解。

4、有数据可视化、数据分析、数学模型建立相关经验者优先考虑。

5、有爬虫系统开发经验者优先。

大数据有哪些职业方向

当下，大数据方面的就业主要有三大方向：一是数据分析类大数据人才，二是系统研发类大数据人才，三是应用开发类大数据人才。他们的基础岗位分别是大数据系统研发工程师、大数据应用开发工程师、大数据分析师。对于求职者来说，大数据只是所从事事业的一个方向，而职业岗位则是决定做什么事?大数据从业者/求职者可以根据自身所学技术及兴趣特征，选择一个适合自己的大数据相关岗位。
大数据就业前景
在就业“钱景”方面，各大互联网公司都在囤积大数据处理人才，从业人员的薪资待遇也很不错。以基本的Hadoop开发工程师为例，入门月薪已经达到了8K以上，工作1年月薪可达到12K以上，资深的hadoop人才年薪可达到30万—50万。
大数据开发工程师
数据仓库开发、实时计算开发、大数据平台开发一般都会被称作大数据开发，其实这是3个岗位，各自要求也不尽相同。
大数据开发工程师
数据仓库开发、实时计算开发、大数据平台开发一般都会被称作大数据开发，其实这是3个岗位，各自要求也不尽相同。
大数据分析师
基于各种分析手段，利用大数据技术对大数据进行科学分析、挖掘、展现并用于决策支持。
数据挖掘工程师
数据挖掘工程师，也可以叫做“数据挖掘专家”。数据挖掘是通过分析每个数据，从大量数据中寻找其规律的技术。
算法工程师
数据挖掘、互联网搜索算法这些体现大数据发展方向的算法，在近几年越来越流行，而且算法工程师也逐渐朝向人工智能的方向发展。
数据安全研究
数据安全这一职位，主要负责企业内部大型服务器、存储、数据安全管理工作，并对网络、信息安全项目进行规划、设计和实施。

大数据行业就业方向有哪些大数据技术就业岗位有哪些

方向：大数据开发方向，数据挖掘、数据分析和机器学习方向，大数据运维和云计算方向

就业岗位：

1、大数据工程师

大数据工程师的话其实包涵了很多，比如大数据开发，测试，运维，挖据等等，各个岗位不同薪资水平也不大相同。总的来说的话它共有6093个岗位在智联招聘上招聘，平均工资也在11643元。

2、Hadoop开发工程师

职位描述：参与优化改进新浪集团数据平台基础服务，参与日传输量超过百TB的数据传输体系优化，日处理量超过PB级别的数据处理平台改进，**实时查询分析系统的构建优化。

3、大数据研发工程师

职位描述：

构建分布式大数据服务平台，参与和构建公司包括海量数据存储、离线/实时计算、实时查询，大数据系统运维等系统；服务各种业务需求，服务日益增长的业务和数据量。

4、大数据架构师

大数据架构师的招聘岗位有1446个，从招聘的薪资来看，大数据架构师基本薪资都是15K~60K，大数据架构师的薪资可以说是相当可观的，在大数据行业里，大数据架构师的酬劳可以说是领先与其他的，所以大数据架构师对于人才的要求也是比较严格的。

5、大数据分析师

工作职责:根据公司产品和业务需求，利用数据挖掘等工具对多种数据源进行诊断分析，建设征信分析模型并优化，为公司征信运营决策、产品设计等方面提供数据支持；负责项目的需求调研、数据分析、商业分析和数据挖掘模型等，通过对运行数据进行分析挖掘背后隐含的规律及对未来的预测。

etl的概念，etl和elt数据处理上的区别

对于做过 BI 开发的朋友，ETL 并不陌生，只要涉及到数据源的数据抽取、数据的计算和处理过程的开发，都是 ETL，ETL 就这三个阶段，Extraction 抽取，Transformation 转换，Loading 加载。

从不同数据源抽取数据 EXTRACTION ，按照一定的数据处理规则对数据进行加工和格式转换 TRASFORMATION，最后处理完成的输出到目标数据表中也有可能是文件等等，这个就是 LOADING。

再通俗一点讲，ETL 的过程就跟大家日常做菜一样，需要到菜市场的各个摊位买好菜，把菜买回来要摘一下，洗一洗，切一切最后下锅把菜炒好端到饭桌上。菜市场的各个摊位就是数据源，做好的菜就是最终的输出结果，中间的所有过程像摘菜、洗菜、切菜、做菜就是转换。

在开发的时候，大部分时候会通过 ETL 工具去实现，比如常用的像 KETTLE、PENTAHO、IBM DATASTAGE、INFORNAICA、微软 **L SERVER 里面的 SSIS 等等，在结合基本的 **L 来实现整个 ETL 过程。

也有的是自己通过程序开发，然后控制一些数据处理脚本跑批，基本上就是程序加 **L 实现。

哪种方式更好，也是需要看使用场景和开发人员对那种方式使用的更加得心应手。我看大部分软件程序开发人员出身的，碰到数据类项目会比较喜欢用程序控制跑批，这是程序思维的自然延续。纯 BI 开发人员大部分自然就选择成熟的 ETL 工具来开发，当然也有一上来就写程序脚本的，这类 BI 开发人员的师傅基本上是程序人员转过来的。

用程序的好处就是适配性强，可扩展性强，可以集成或拆解到到任何的程序处理过程中，有的时候使用程序开发效率更高。难就难在对维护人员有一定的技术要求，经验转移和可复制性不够。

用 ETL 工具的好处，第一是整个 ETL 的开发过程可视化了，特别是在数据处理流程的分层设计中可以很清晰的管理。第二是链接到不同数据源的时候，各种数据源、数据库的链接协议已经内置了，直接配置就可以，不需要再去写程序去实现。第三是各种转换控件基本上拖拉拽就可以使用，起到简化的代替一部分 **L 的开发，不需要写代码去实现。第四是可以非常灵活的设计各种 ETL 调度规则，高度配置化，这个也不需要写代码实现。

所以在大多数通用的项目中，在项目上使用 ETL 标准组件开发会比较多一些。

ETL 从逻辑上一般可以分为两层，控制流和数据流，这也是很多 ETL 工具设计的理念，不同的 ETL 工具可能叫法不同。

控制流就是控制每一个数据流与数据流处理的先后流程，一个控制流可以包含多个数据流。比如在数据仓库开发过程中，第一层的处理是ODS层或者Staging 层的开发，第二层是 DIMENSION维度层的开发，后面几层就是DW 事实层、DM数据集市层的开发。通过ETL的调度管理就可以让这几层串联起来形成一个完整的数据处理流程。

数据流就是具体的从源数据到目标数据表的数据转换过程，所以也有 ETL 工具把数据流叫做转换。在数据流的开发设计过程中主要就是三个环节，目标数据表的链接，这两个直接通过 ETL 控件配置就可以了。中间转换的环节，这个时候就可能有很多的选择了，调 **L 语句、存储过程，或者还是使用 ETL 控件来实现。

有的项目上习惯使用 ETL 控件来实现数据流中的转换，也有的项目要求不使用标准的转换组件使用存储过程来调用。也有的是因为数据仓库本身这个数据库不支持存储过程就只能通过标准的**L来实现。

我们通常讲的BI数据架构师其实指的就是ETL的架构设计，这是整个BI项目中非常核心的一层技术实现，数据处理、数据清洗和建模都是在ETL中去实现。一个好的ETL架构设计可以同时支撑上百个包就是控制流，每一个控制流下可能又有上百个数据流的处理过程。之前写过一篇技术文章，大家可以搜索下关键字 BIWORK ETL 应该在网上还能找到到这篇文章。这种框架设计不仅仅是ETL框架架构上的设计，还有很深的ETL项目管理和规范性***思想，包括后期的运维，基于BI的BI分析，ETL的性能调优都会在这些框架中得到体现。因为大的BI项目可能同时需要几十人来开发ETL，框架的顶层设计就很重要。

BI，数据仓库，ETL，大数据开发工程师有什么区别

准确的来说，商业智能BI不仅仅包含前端可视化分析、报表展现的能力，更包含了底层数据仓库的建设过程。

Gartner 在上世纪九十年代就已经提到了商业智能 Business Intelligence，它更多的认为BI是一种数据类的技术解决方案，将许多来自不同企业业务系统的数据提取有分析价值的数据进行清洗、转换和加载，就是抽取Extraction、转换 Transformation、加载Loading 的ETL过程，最终合并到一个数据仓库中，按照一定的建模方式例如Inmon 的3NF 建模、Kimball 的维度建模或者两者都有的混合式架构模型，最终在这个基础上再利用合适的分析展现工具来形成各种可视化的分析报表为企业的管理决策层提供数据决策支撑。

所以，可以从这里能够看到数据仓库Data Warehouse 的位置是介于可视化报表和底层业务系统数据源之间的这一层，在整个BI项目解决方案中起到的是一个承上启下的作用。所以，BI在前端可视化分析层面要玩出各类精彩的动作，没有数据仓库这个核心力量的支撑是很难做到的。

那大家也会问到，市面上不是有很多直接链接数据源就可以拖拉拽分析的BI工具产品吗，不也一样可以做BI分析报表吗？这种独立的、单独的面向前端的BI分析工具，他们更多的定位是部门级和个人级的BI 分析工具，对于深层次的需要复杂数据处理、集成、建模等很多场景是无法解决的。最好的方式就是底层构建一套完整的数据仓库，把很多分析模型标准化，再利用这些前端BI分析工具结合起来，这样才能真正的把前端BI分析能力给释放出来。

很多企业认为只要买一个前端BI分析工具就可以解决企业级的BI所有问题，这个看法实际上也不可行的。可能在最开始分析场景相对简单，对接数据的复杂度不是很高的情况下这类BI分析工具没有问题。但是在企业的BI项目建设有一个特点，是一个螺旋式上升的建设过程。因为对接的业务系统可能会越来越多，分析的深度和广度会越来越多，数据的复杂度也会越来越有挑战性，这个时候没有一个很好的数据仓库架构支撑，光靠前端BI分析工具基本上是无法搞定的。

所以在企业中，我们需要明确我们的BI建设是面向企业级的还是个人和部门的分析工作。如果是个人数据分析师，使用这类前端BI分析工具就足够了。如果是需要构建一个企业级的BI项目，就不能只关注前端可视化分析能力这个层面，更应该关注到底层数据架构的构建，也就是数据仓库这个层面。

BI工程师、数据仓库工程师、ETL工程师都属于大数据工程技术人员，三种的主要区别

BI工程师、数据仓库工程师、ETL工程师都属于大数据工程技术人员，三种的主要区别如下：

一、工作内容不同

1、BI工程师：主要是报表开发，负责开发工作。

2、数据库工程师：主要负责业务数据库从设计、测试到部署交付的全生命周期管理。

3、ETL工程师：从事系统编程、数据库编程与设计。

二、要求不同

1、BI工程师：要有一定的数据库经验，掌握**L查询优化方法，精通Oracle、**LServer、My**L等主流数据库的应用设计、性能调优及存储过程的开发。

2、数据库工程师：理解数据备份/恢复与灾难恢复；工具集的使用。

3、ETL工程师：要掌握各百种常用的编程语言。

三、特点不同

1、BI工程师：熟悉ETL逻辑、OLAP设计和数据挖掘相关算法。

2、数据库工程师：凡是关系到数据库质量、效率、成本、安全等方面的工作，及涉及到的技术、组件，都在数据库工程师的技术范畴里。

3、ETL工程师：海量数据的ETL开发，抽取成各种数据需求。

百度百科-数据库工程师

百度百科-大数据工程技术人员

大数据专业就业方向

大数据的就业方向
大数据主要有三个就业方向，大数据系统研发类人才、大数据应用开发类人才和大数据分析类人才。
在此三大方向中，各自的基础岗位一般为大数据系统研发工程师、大数据应用开发工程师和数据分析师。又可分为以下十大职位：
一、ETL研发
ETL研发，主要负责将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。

二、Hadoop开发
Hadoop的核心是HDFS和MapReduce.HDFS提供了海量数据的存储，MapReduce提供了对数据的计算。
三、可视化(前端展现)工具开发
可视化开发就是在可视开发工具提供的图形用户界面上，通过操作界面元素，由可视开发工具自动生成应用软件。
四、信息架构开发
大数据重新激发了主数据管理的热潮。充分开发利用企业数据并支持决策需要非常专业的技能。
五、数据仓库研究
数据仓库的专家熟悉Teradata、Neteeza和Exadata等公司的大数据一体机。能够在这些一体机上完成数据集成、管理和性能优化等工作。

六、OLAP开发
OLAP在线联机分析开发者，负责将数据从关系型或非关系型数据源中抽取出来建立模型，然后创建数据访问的用户界面，提供高性能的预定义查询功能。

大数据和软件开发哪个方向好(大数据和软件技术哪个专业好)

大数据和软件开发，其实准确来说，大数据也是软件开发当中的一个方向。

软件开发，猜测你指的应该是开发工程师、程序员一类的，从职业范畴来说，大数据开发也涵盖其中。从就业前景来说的话，大数据是目前比较热门的方向，薪资待遇在程序员群体当中也是拔尖的。

大数据具体来说，还可以细分方向。比如说大数据开发，主要是技术类工作，数据系统平台开发、数据应用开发、ETL开发、系统运维等工作，这方面的工作，现在需求普遍，待遇也好。

还有大数据分析挖掘，尤其是挖掘算法方向，现在也很受重视，尤其是是BAT大公司，数据资源多，这方面的岗位需求也多，待遇超出同级别其他很多岗位。