DMETL4简介及安装配置指导
1. 简介:DMETL(目前的版本是4.0)是达梦数据库有限公司在上十年数据处理经验的基础上,研制开发的具有自主版权的、商品化的数据集成软件,实现了对数据抽取、传输、整合、以及装载的一站式支持,是构建数据中心、数据仓库、数据交换和数据同步等应用的理想工具。
同类型ETL工具有:informatic、kettle、datastage等等
2. 应用场景
a. 异构数据同步
异构数据同步是指在一定的时间范围内,通过特定的技术方式,实现异构数据源之间的数据一致性;
b.数据交换
数据交换,通常用于不同部门间的业务协同,数据的流动是通常由应用发起并推动的,应用获取到数据并完成业务逻辑之后,可以把数据存储下来,也可以丢弃;
c.数据整合
数据整合是指将不同来源的数据,经过清洗转换后变为统一格式,存储到数据中心或者数据仓库中,用于提供数据共享、数据分析等服务;
3.功能图解
4. 技术要点
5. DMETL的特色
1> 全窗口化操作
从安装到管理、流程设计、规则配置全可视化、拖拽化。
2> 名称自动匹配式映射
有别于informatic和kettle的连线式列映射方式,DMETL4可自动名称匹配,并集成表达式、SQL、序列、固定值多种值类型方式。
6. 安装
1>图形化安装
DMETL全过程图形化操作方式,图形化安装简便
值得注意的是在元数据库的选择这一块;
(名词解释:元数据库是存储DMETL工程设计、配置信息的数据库)
若用户选择安装达梦数据交换平台服务器组件,在安装完成后可以对达梦数据交换平台元数据库进行配置和初始化。
选择元数据库的类型,可以选择内置的 DM6 和 Derby 数据库作为元数据库,默认登录口令为 SYSDBA,在下面的配置选项中可以选择修改元数据库的登录口令;也可以选择使用外部元数据库作为元数据库,达梦数据交换平台支持使用 DM6、 DM7 和 oracle 作为外部元数据库,需要在下面的输入框中填写外部元数据库的连接信息。勾选“初始化元数据库”选项,表示在安装时初始化元数据库,如果选择不初始化元数据库,则服务器第一次启动时会自动初始化元数据库。
选择初始化元数据库,可以选择是否在初始化元数据库后导入达梦数据交换平台的示例工程。
下图配置的元数据库含义是:选择本机DM7作为外置元数据库
2> 命令行安装
在一些条件不具备的情况下,如果没有图形化界面,为了使达梦数据交换平台能够在这些主机上顺利运行,也可以直接在英文字符界面下,采用命令行方式的安装脚本进行安装,其过程与图形化的安装步骤一致,在终端中进入到安装程序所在的文件夹中,执行
./dmetl_linux.x86_V4.0.1.23.20130620.bin –i
运行程序,并按提示进行操作,
如下图所示:
先后依次是:
选择语言类型
选择授权方式并载入KEY
安装类型<标注版、企业版。。>
安装目录
选择元数据库
7. DMETL服务器管理
DMETL可以通过命令行的形式或者以服务的形式两种方式来启动和停止服务器。
1> 命令行形式启动服务器
Windows平台
执行server目录下的dmetl.bat脚本文件
Linux平台
执行server目录下的start_dmetl.sh脚本文件
2>服务方式启停动方式
Windows平台
通过点击“开始”菜单选择“程序”-“达梦数据交换平台 4.0”-“启动DMETL服务”菜单项以服务的形式启动DMETL服务器。
用户以服务的形式启动DMETL服务后,可以通过点击“开始”菜单选择“程序”-“达梦数据交换平台 4.0”-“停止DMETL服务”菜单项停止DMETL服务器。
LINUX平台
进入DMETL的安装文件夹,执行server目录下的dmetl_start_service.sh脚本文件即可以服务的形式启动DMETL服务器,执行dmetl_stop_service.sh脚本文件停止DMETL服务器。
8. 控制台管理工具
控制台工具的功能
a. 管理DMETL服务启停、查看服务器日志;
b. 服务器配置,监听端口、并发任务数配置;
c. 元数据库配置
d. DMETL集群配置,节点类型、节点地址、节点端口等等;
e. 数据总线配置,端口及总线元数据存储配置
f. Web 监控服务配置,web监控端口、web监控服务元数据配置
g. dmetl授权信息