Pitstop 运算符是一种用于处理数据流的运算符,它可以帮助开发者快速地处理大量数据。它的主要作用是将一个数据流中的元素分割成多个子流,然后对每个子流进行不同的处理。
Pitstop 运算符有三个基本部分:输入、输出和过滤器。输入是一个数据流,它可以是任何形式的数据,例如文本、图像、音频或视频。输出是一个新的数据流,它包含了原始数据流中所有元素的子集。过滤器是用来决定输出中包含哪些元素的条件,它可以根据元素的特征或者根据用户自定义的条件来决定。
// 使用 Pitstop 运算符来创建一个新的数据流 let newStream = inputStream.pitstop(filter);
使用 Pitstop 运算符时,需要注意几个重要因素。首先,过滤器必须能够正常工作,并能够正常地识别所有相关信息。此外,如果原始数据流中包含大量信息,则应尽可能减少过滤器对原始信息的请求量。最后,应该尽可能避免在原始信号上执行耗时操作(例如 I/O 操作或者加密/解密工作)。
JOIN 运算符用于组合来自两个或多个关系的记录。在执行连接操作时,我们从每个关系中声明一个(或一组)元组作为key。 当这些key匹配时,两个特定的元组匹配,否则记录将被丢弃。连接可以是以下类型:
本章介绍了如何在Pig Latin中使用join运算符的示例。假设在HDFS的 /pig_data/ 目录中有两个文件,即 customers.txt 和 orders.txt ,如下所示。
customers.txt
1,Ramesh,32,Ahmedabad,2000.00 2,Khilan,25,Delhi,1500.00 3,kaushik,23,Kota,2000.00 4,Chaitali,25,Mumbai,6500.00 5,Hardik,27,Bhopal,8500.00 6,Komal,22,MP,4500.00 7,Muffy,24,Indore,10000.00
orders.txt
102,2009-10-08 00:00:00,3,3000 100,2009-10-08 00:00:00,3,1500 101,2009-11-20 00:00:00,2,1560 103,2008-05-20 00:00:00,4,2060
我们将这两个文件与 customers 和 orders 关系一起加载到Pig中,如下所示。
grunt> customers = LOAD 'hdfs://localhost:9000/pig_data/customers.txt' USING PigStorage(',') as (id:int, name:chararray, age:int, address:chararray, salary:int); grunt> orders = LOAD 'hdfs://localhost:9000/pig_data/orders.txt' USING PigStorage(',') as (oid:int, date:chararray, customer_id:int, amount:int);
现在让我们对这两个关系执行各种连接操作。
Self-join 用于将表与其自身连接,就像表是两个关系一样,临时重命名至少一个关系。通常,在Apache Pig中,为了执行self-join,我们将在不同的别名(名称)下多次加载相同的数据。那么,将文件 customers.txt 的内容加载为两个表,如下所示。
grunt> customers1 = LOAD 'hdfs://localhost:9000/pig_data/customers.txt' USING PigStorage(',') as (id:int, name:chararray, age:int, address:chararray, salary:int); grunt> customers2 = LOAD 'hdfs://localhost:9000/pig_data/customers.txt' USING PigStorage(',') as (id:int, name:chararray, age:int, address:chararray, salary:int);
下面给出使用 JOIN 运算符执行self-join操作的语法。
grunt> Relation3_name = JOIN Relation1_name BY key, Relation2_name BY key ;
通过如图所示加入两个关系 customers1 和 customers2 ,对关系 customers 执行self-join 操作。
grunt> customers3 = JOIN customers1 BY id, customers2 BY id;
使用 DUMP 运算符验证关系 customers3 ,如下所示。
grunt> Dump customers3;
将产生以下输出,显示关系 customers 的内容。
(1,Ramesh,32,Ahmedabad,2000,1,Ramesh,32,Ahmedabad,2000) (2,Khilan,25,Delhi,1500,2,Khilan,25,Delhi,1500) (3,kaushik,23,Kota,2000,3,kaushik,23,Kota,2000) (4,Chaitali,25,Mumbai,6500,4,Chaitali,25,Mumbai,6500) (5,Hardik,27,Bhopal,8500,5,Hardik,27,Bhopal,8500) (6,Komal,22,MP,4500,6,Komal,22,MP,4500) (7,Muffy,24,Indore,10000,7,Muffy,24,Indore,10000)
Inner Join使用较为频繁;它也被称为等值连接。当两个表中都存在匹配时,内部连接将返回行。基于连接谓词(join-predicate),通过组合两个关系(例如A和B)的列值来创建新关系。查询将A的每一行与B的每一行进行比较,以查找满足连接谓词的所有行对。当连接谓词被满足时,A和B的每个匹配的行对的列值被组合成结果行。
以下是使用 JOIN 运算符执行inner join操作的语法。
grunt> result = JOIN relation1 BY columnname, relation2 BY columnname;
让我们对customers和orders执行inner join操作,如下所示。
grunt> coustomer_orders = JOIN customers BY id, orders BY customer_id;
使用 DUMP 运算符验证 coustomer_orders 关系,如下所示。
grunt> Dump coustomer_orders;
将获得以下输出,是名为 coustomer_orders 的关系的内容。
(2,Khilan,25,Delhi,1500,101,2009-11-20 00:00:00,2,1560) (3,kaushik,23,Kota,2000,100,2009-10-08 00:00:00,3,1500) (3,kaushik,23,Kota,2000,102,2009-10-08 00:00:00,3,3000) (4,Chaitali,25,Mumbai,6500,103,2008-05-20 00:00:00,4,2060)
注意:
Outer Join:与inner join不同,outer join返回至少一个关系中的所有行。outer join操作以三种方式执行:
left outer join操作返回左表中的所有行,即使右边的关系中没有匹配项。
下面给出使用 JOIN 运算符执行left outer join操作的语法。
grunt> Relation3_name = JOIN Relation1_name BY id LEFT OUTER, Relation2_name BY customer_id;
让我们对customers和orders的两个关系执行left outer join操作,如下所示。
grunt> outer_left = JOIN customers BY id LEFT OUTER, orders BY customer_id;
使用 DUMP 运算符验证关系 outer_left ,如下所示。
grunt> Dump outer_left;
它将产生以下输出,显示关系 outer_left 的内容。
(1,Ramesh,32,Ahmedabad,2000,,,,) (2,Khilan,25,Delhi,1500,101,2009-11-20 00:00:00,2,1560) (3,kaushik,23,Kota,2000,100,2009-10-08 00:00:00,3,1500) (3,kaushik,23,Kota,2000,102,2009-10-08 00:00:00,3,3000) (4,Chaitali,25,Mumbai,6500,103,2008-05-20 00:00:00,4,2060) (5,Hardik,27,Bhopal,8500,,,,) (6,Komal,22,MP,4500,,,,) (7,Muffy,24,Indore,10000,,,,)
right outer join操作将返回右表中的所有行,即使左表中没有匹配项。
下面给出使用 JOIN 运算符执行right outer join操作的语法。
grunt> outer_right = JOIN customers BY id RIGHT, orders BY customer_id;
让我们对customers和orders执行right outer join操作,如下所示。
grunt> outer_right = JOIN customers BY id RIGHT, orders BY customer_id;
使用 DUMP 运算符验证关系 outer_right ,如下所示。
grunt> Dump outer_right
它将产生以下输出,显示关系 outer_right 的内容。
(2,Khilan,25,Delhi,1500,101,2009-11-20 00:00:00,2,1560) (3,kaushik,23,Kota,2000,100,2009-10-08 00:00:00,3,1500) (3,kaushik,23,Kota,2000,102,2009-10-08 00:00:00,3,3000) (4,Chaitali,25,Mumbai,6500,103,2008-05-20 00:00:00,4,2060)
当一个关系中存在匹配时,full outer join操作将返回行。
下面给出使用 JOIN 运算符执行full outer join的语法。
grunt> outer_full = JOIN customers BY id FULL OUTER, orders BY customer_id;
让我们对customers和orders执行full outer join操作,如下所示。
grunt> outer_full = JOIN customers BY id FULL OUTER, orders BY customer_id;
使用 DUMP 运算符验证关系 outer_full ,如下所示。
grun> Dump outer_full;
它将产生以下输出,显示关系 outer_full 的内容。
(1,Ramesh,32,Ahmedabad,2000,,,,) (2,Khilan,25,Delhi,1500,101,2009-11-20 00:00:00,2,1560) (3,kaushik,23,Kota,2000,100,2009-10-08 00:00:00,3,1500) (3,kaushik,23,Kota,2000,102,2009-10-08 00:00:00,3,3000) (4,Chaitali,25,Mumbai,6500,103,2008-05-20 00:00:00,4,2060) (5,Hardik,27,Bhopal,8500,,,,) (6,Komal,22,MP,4500,,,,) (7,Muffy,24,Indore,10000,,,,)
我们可以使用多个key执行JOIN操作。
下面是如何使用多个key对两个表执行JOIN操作。
grunt> Relation3_name = JOIN Relation2_name BY (key1, key2), Relation3_name BY (key1, key2);
假设在HDFS的 /pig_data/ 目录中有两个文件,即 employee.txt 和 employee_contact.txt ,如下所示。
employee.txt
001,Rajiv,Reddy,21,programmer,003 002,siddarth,Battacharya,22,programmer,003 003,Rajesh,Khanna,22,programmer,003 004,Preethi,Agarwal,21,programmer,003 005,Trupthi,Mohanthy,23,programmer,003 006,Archana,Mishra,23,programmer,003 007,Komal,Nayak,24,teamlead,002 008,Bharathi,Nambiayar,24,manager,001
employee_contact.txt
001,9848022337,Rajiv@gmail.com,Hyderabad,003 002,9848022338,siddarth@gmail.com,Kolkata,003 003,9848022339,Rajesh@gmail.com,Delhi,003 004,9848022330,Preethi@gmail.com,Pune,003 005,9848022336,Trupthi@gmail.com,Bhuwaneshwar,003 006,9848022335,Archana@gmail.com,Chennai,003 007,9848022334,Komal@gmail.com,trivendram,002 008,9848022333,Bharathi@gmail.com,Chennai,001
将这两个文件加载到Pig中,通过关系 employee 和 employee_contact ,如下所示。
grunt> employee = LOAD 'hdfs://localhost:9000/pig_data/employee.txt' USING PigStorage(',') as (id:int, firstname:chararray, lastname:chararray, age:int, designation:chararray, jobid:int); grunt> employee_contact = LOAD 'hdfs://localhost:9000/pig_data/employee_contact.txt' USING PigStorage(',') as (id:int, phone:chararray, email:chararray, city:chararray, jobid:int);
现在,让我们使用 JOIN 运算符连接这两个关系的内容,如下所示。
grunt> emp = JOIN employee BY (id,jobid), employee_contact BY (id,jobid);
使用 DUMP 运算符验证关系 emp ,如下所示。
grunt> Dump emp;
它将产生以下输出,显示名为 emp 的关系的内容,如下所示。
(1,Rajiv,Reddy,21,programmer,113,1,9848022337,Rajiv@gmail.com,Hyderabad,113) (2,siddarth,Battacharya,22,programmer,113,2,9848022338,siddarth@gmail.com,Kolka ta,113) (3,Rajesh,Khanna,22,programmer,113,3,9848022339,Rajesh@gmail.com,Delhi,113) (4,Preethi,Agarwal,21,programmer,113,4,9848022330,Preethi@gmail.com,Pune,113) (5,Trupthi,Mohanthy,23,programmer,113,5,9848022336,Trupthi@gmail.com,Bhuwaneshw ar,113) (6,Archana,Mishra,23,programmer,113,6,9848022335,Archana@gmail.com,Chennai,113) (7,Komal,Nayak,24,teamlead,112,7,9848022334,Komal@gmail.com,trivendram,112) (8,Bharathi,Nambiayar,24,manager,111,8,9848022333,Bharathi@gmail.com,Chennai,111)
旧的MapReduce架构JobTracker: 负责资源管理,跟踪资源消耗和可用性,作业生命周期管理(调度作业任务,跟踪进度,为任务提供容...
wx.pageScrollTo(Object object)基础库 1.4.0 开始支持,低版本需做兼容处理。将页面滚动到目标位置,支持选择器和滚动距离两种...
关键词:时延,惯性时延连续赋值延时语句中的延时,用于控制任意操作数发生变化到语句左端赋予新值之间的时间延时。时延一般是不...