首页 理论教育 探究当前热门的ETL工具

探究当前热门的ETL工具

时间:2023-06-02 理论教育 版权反馈
【摘要】:选择合适的ETL工具是实际数据仓库项目中必须要考虑的问题,包括使用成本、技术人员对此工具的熟练程度、ETL工具开发商业智能项目的成功案例和工具厂商强有力的技术支持。ETL工具的功能如图4-5所示。图4-5 ETL工具的功能ETL工具可以使用通用的接口JDBC、ODBC或者自己厂商的专用接口去抽取源数据,实现了ETL对不同数据源的支持。随着ETL工具的发展,ETL的管理和调度功能得到了加强。管理功能包括ETL程序的备份与恢复,版本升级和管理。

探究当前热门的ETL工具

选择合适的ETL工具是实际数据仓库项目中必须要考虑的问题,包括使用成本、技术人员对此工具的熟练程度、ETL工具开发商业智能项目的成功案例和工具厂商强有力的技术支持。在实际项目中,最常用的工具就是PowerCenter和Datastage,一些公司甚至也用开源的ETL工具,如Kettle。

从本质上来说,ETL工具的功能都是相同的,都提供了一个全面的数据集成解决方案。ETL工具的功能如图4-5所示。

978-7-111-37241-7-Part01-69.jpg

图4-5 ETL工具的功能(www.xing528.com)

ETL工具可以使用通用接口JDBC、ODBC或者自己厂商的专用接口去抽取源数据,实现了ETL对不同数据源的支持。

数据转换是ETL工具提供的最强大的功能,也是ETL开发人员面临的难度最大的问题。一般来说,ETL工具提供了各种组件来实现不同的转换功能,有行列转换、过滤、排序、汇总、分组、计算等常用的转换方式;同时可以实现代理主键的生成,Mapping的调试功能,抽取远程源数据,各种数据增量加载方式;在转换过程中还可以支持数据比较、类型转换、字段拆分等功能,数据预览,数据的批量装载,性能监控,自动调度ETL程序,程序出错处理,按行、按列的聚合汇总等功能。

随着ETL工具的发展,ETL的管理和调度功能得到了加强。管理功能包括ETL程序的备份与恢复,版本升级和管理。调度功能包括命令触发方式、事件触发方式和时间触发方式。目前很多公司都在拓展ETL的集成性;在原有的基础上嵌入了公共的API,增加了JavaScript语言脚本和存储过程的调用功能,增强了ETL工具的灵活性。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈