Pentaho中国爱好者社区   Pentaho 授权经销商

 找回密码
 申请账户

用新浪微博连接

一步搞定

搜索
热搜: 活动 交友 discuz
Pentaho中国爱好者社区 门户 Kettle 查看内容

Kettle中的集群

2011-12-26 17:26| 发布者: admin| 查看: 22749| 评论: 0

摘要: Kettle是一款开源的ETL工具,以其高效和可扩展性而闻名于业内。其高效的一个重要原因就是其多线程和集群功能。 Kettle的多线程采用的是一种流水线并发的机制,我们在另外的文章中专门有介绍。这里主要介绍的是kettle ...

Kettle是一款开源的ETL工具,以其高效和可扩展性而闻名于业内。其高效的一个重要原因就是其多线程和集群功能。

Kettle的多线程采用的是一种流水线并发的机制,我们在另外的文章中专门有介绍。这里主要介绍的是kettle的集群。

   集群允许转换以及转换中的步骤在多个服务器上并发执行。在使用kettle集群时,首先需要定义的是Cluster schema。所谓的Cluster schema就是一系列的子服务器的集合。在一个集群中,它包含一个主服务器(Master)和多个从属服务器服务器(slave)。如下图所示。

 子服务器(Slave servers)允许你在远程服务器上执行转换。建立一个子服务器需要你在远程服务器上建立一个叫做“Carte”的 web 服务器,该服务器可以从Spoon(远程或者集群执行)或者转换任务中接受输入。

在以后的描述中,如果我们提到的是子服务器,则包括集群中的主服务器和从属服务器;否则我们会以主服务器和从属服务器来进行特别指定。

 子服务器(Slave servers)允许你在远程服务器上执行转换。建立一个子服务器需要你在远程服务器上建立一个叫做“Carte”的 web 服务器,该服务器可以从Spoon(远程或者集群执行)或者转换任务中接受输入。

在以后的描述中,如果我们提到的是子服务器,则包括集群中的主服务器和从属服务器;否则我们会以主服务器和从属服务器来进行特别指定。



选项

描述

服务器名称

子服务器的名称

主机名称或IP地址

用作子服务器的机器的地址

端口号

与远程服务通信的端口号

用户名

获取远程服务器的用户名

密码

获取远程服务器的密码

是主服务器吗

在转换以集群形式执行时,该子服务器将作为主服务器

注意: 在集群环境下执行转化时,你必须有一个子服务器作为主服务器(master server)而其余所有的子服务器都作从     属服务器(slave



选项

描述

代理服务器主机名

设置你要通过代理进行连接的主机名

代理服务器端口

设置与代理进行连接时所需的端口号

Ignore proxy for hosts: regexp|separated

指定哪些服务器不需要通过代理来进行连接。该选项支持你使用正则表达式来制定多个服务器,多个服务器之间以' | ' 字符来进行分割  


1.1.1. 创建cluster schema



选项

描述

Schema 名称

集群schema的名称

端口号

这里定义的端口号是指从哪一个端口号开始分配给子服务器。每一个在子服务器中执行的步骤都要消耗一个端口号。

注意: 确保没有别的网络协议会使用你定义的范围之类的端口,否则会引起问题

Sockets缓存大小

TCP内部缓存的大小

Sockets刷新间隔(rows)

TCP的内部缓存通过网络完全发送出去并且被清空时处理的行数

Sockets数据是否压缩

如果该选项被选中,则所有的数据都会使用Gzip压缩算法进行压缩以减轻网络传输量

Dynamic Cluster

动态集群指的是在运行的时候才能获知从属服务器的信息。这种情形适用于主机可以自动增加或者去除的情形,例如云计算。

主服务器的设置不变,但是它可以接受从属服务器的注册。一旦接受了某个从属服务器的注册,则每隔30秒去监视该从属服务器是否还处于有效状态

子服务器

这里是一个要在集群中使用的服务器列表。这个列表中包含一个主服务器和任意数目的从属服务器。

dynamic Cluster的情况下,只需要选择主服务器即可


                                                       







1

鲜花

握手

雷人

路过

鸡蛋

刚表态过的朋友 (1 人)

本文导航

Pentaho 技术支持电话: 13716483677 (Jason)       Pentaho 技术支持QQ:2253715

联系邮箱|Archiver|Pentaho中国爱好者社区 ( 京ICP备12007697号-2 )

GMT+8, 2017-11-25 04:02 , Processed in 0.024873 second(s), 12 queries .

Powered by Discuz! X2

© 2001-2011 Comsenz Inc.

回顶部