javaanddonet 发表于 2018-3-31 16:33:31

MapReduce 3张表关联查询

MR程序,实现两张表关联查询没有问题可以做到。
如果是3张表关联查询,怎么解决?没有思路。比如:A与B有关联字段,B与C有关联字段。现在要一个查询结果,字段来自于ABC三张表。
怎么用MapReduce写呢?难道需要AB关联后,得到一个结果集和,然后在于C关联查询吗?两个两个关联吗?
有没有什么好的方案?
请大神给指点个思路。

langke93 发表于 2018-3-31 18:33:47

方案很多
1.楼主说的是一种
2.当然也可以通过hive或则spark sql来实现应该简单多了。

javaanddonet 发表于 2018-4-1 10:19:26

langke93 发表于 2018-3-31 18:33
方案很多
1.楼主说的是一种
2.当然也可以通过hive或则spark sql来实现应该简单多了。

我又仔细想了一下,好像不能放在一起关联,三张表。至少我是想不出解决方案来实现一个MR对三个表进行关联查询。
我能想到的就是两两关联。

你说的对,用MR写的话,能写死你。用Hive来实现简单多了。
页: [1]
查看完整版本: MapReduce 3张表关联查询