BI,数据仓库,ETL,大数据开发工程师有什么区别

2024-05-01 08:29

1. BI,数据仓库,ETL,大数据开发工程师有什么区别

准确的来说,商业智能BI不仅仅包含前端可视化分析、报表展现的能力,更包含了底层数据仓库的建设过程。
Gartner 在上世纪九十年代就已经提到了商业智能 Business Intelligence,它更多的认为BI是一种数据类的技术解决方案,将许多来自不同企业业务系统的数据提取有分析价值的数据进行清洗、转换和加载,就是抽取Extraction、转换 Transformation、加载Loading 的ETL过程,最终合并到一个数据仓库中,按照一定的建模方式例如Inmon 的3NF 建模、Kimball 的维度建模或者两者都有的混合式架构模型,最终在这个基础上再利用合适的分析展现工具来形成各种可视化的分析报表为企业的管理决策层提供数据决策支撑。
所以,可以从这里能够看到数据仓库Data Warehouse 的位置是介于可视化报表和底层业务系统数据源之间的这一层,在整个BI项目解决方案中起到的是一个承上启下的作用。所以,BI在前端可视化分析层面要玩出各类精彩的动作,没有数据仓库这个核心力量的支撑是很难做到的。

那大家也会问到,市面上不是有很多直接链接数据源就可以拖拉拽分析的BI工具产品吗,不也一样可以做BI分析报表吗?这种独立的、单独的面向前端的BI分析工具,他们更多的定位是部门级和个人级的BI 分析工具,对于深层次的需要复杂数据处理、集成、建模等很多场景是无法解决的。最好的方式就是底层构建一套完整的数据仓库,把很多分析模型标准化,再利用这些前端BI分析工具结合起来,这样才能真正的把前端BI分析能力给释放出来。

很多企业认为只要买一个前端BI分析工具就可以解决企业级的BI所有问题,这个看法实际上也不可行的。可能在最开始分析场景相对简单,对接数据的复杂度不是很高的情况下这类BI分析工具没有问题。但是在企业的BI项目建设有一个特点,是一个螺旋式上升的建设过程。因为对接的业务系统可能会越来越多,分析的深度和广度会越来越多,数据的复杂度也会越来越有挑战性,这个时候没有一个很好的数据仓库架构支撑,光靠前端BI分析工具基本上是无法搞定的。
所以在企业中,我们需要明确我们的BI建设是面向企业级的还是个人和部门的分析工作。如果是个人数据分析师,使用这类前端BI分析工具就足够了。如果是需要构建一个企业级的BI项目,就不能只关注前端可视化分析能力这个层面,更应该关注到底层数据架构的构建,也就是数据仓库这个层面。

BI,数据仓库,ETL,大数据开发工程师有什么区别

2. 数据仓库工程师是什么

"数据仓库工程师" 的概念比较笼统, 

先解释"数据仓库" 吧, 顾名思义是近乎企业所有业务系统数据的集合体, 用于分析与决策支持. 

而做与数据仓库的建设/维护项目相关的工作, 均可以称之为"数据仓库工程师"

常见的两类"数据仓库工程师" :

ETL工程师: 主要负责数据从业务系统(数据源) 抽取/转换/加载 到数据仓库的实现

报表工程师: 主要负责数据从仓库到前台报表的展现

3. bi工程师和数据分析师的区别

bi工程师和数据分析师的区别:bi工程师的范围更广,bi的工作内容包括数据分析,并且侧重于提供给企业某些问题的解决方案,数据分析师则无需做除了数据分析以外的其它工作。
其实数据分析和BI都是一个比较宽泛的概念,两者也可以说是互相包容。一般的BI是集数据接入、数据处理、数据分析、数据可视化等功能为一体,也就是说BI包括数据分析。
BI更多是给企业一套完整的解决方案,数据分析师的工作则没有强调“解决”这个概念,更多的是侧重于“分析”。

对bi工程师和数据分析师的具体解释为:
1、bi(商业智能)是一种产品或服务,是一套完整的解决方案,用来将企业中现有的数据进行有效的整合,快速准确地提供报表并提出决策依据,帮助企业做出明智的业务经营决策。
2、数据分析师指从事“数据分析”的工作人员。而“数据分析”是用适当的统计分析方法对收集来的大量数据进行分析,将它们加以汇总和理解并消化,以求最大化地开发数据的功能,发挥数据的作用。

bi工程师和数据分析师的区别

4. bi工程师,数据仓库工程师,etl工程师有什么区别

BI工程师、数据仓库工程师、ETL工程师都属于大数据工程技术人员,三种的主要区别如下:
一、工作内容不同
1、BI工程师:主要是报表开发,负责开发工作。
2、数据库工程师:主要负责业务数据库从设计、测试到部署交付的全生命周期管理。
3、ETL工程师:从事系统编程、数据库编程与设计。
二、要求不同
1、BI工程师:要有一定的数据库经验,掌握SQL查询优化方法,精通Oracle、SQLServer、MySQL等主流数据库的应用设计、性能调优及存储过程的开发。
2、数据库工程师:理解数据备份/恢复与灾难恢复;工具集的使用。
3、ETL工程师:要掌握各百种常用的编程语言。

三、特点不同
1、BI工程师:熟悉ETL逻辑、OLAP设计和数据挖掘相关算法。
2、数据库工程师:凡是关系到数据库质量、效率、成本、安全等方面的工作,及涉及到的技术、组件,都在数据库工程师的技术范畴里。
3、ETL工程师:海量数据的ETL开发,抽取成各种数据需求。
参考资料来源:
百度百科-数据库工程师
百度百科-大数据工程技术人员
最新文章
热门文章
推荐阅读