分享

在线等,哪位大哥帮帮忙

lanxing125 发表于 2015-5-26 21:23:54 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 4 11867





如图,数据集里 给出的是  “每两个节点”  的 指向关系。  比如 A->B,B->C。 大约给出了5000个节点的指向关系。结果要求 用hadoop 实现 这5000个节点所组成的 上面的 各个类型的 次数。类型不能重复。

这里谢谢各位大侠了,请给我点思路。

已有(4)人评论

跳转到指定楼层
xuanxufeng 发表于 2015-5-26 21:59:39
楼主,这个思路尝试了吗

楼主如果擅长sql的话,应该知道表有一个自身连接
表(table T )中元素是这样的
x y
A B
B C
C D
A D
那我们可以这样对他们进行组合
select x,y from table T left join (select x from table) t on T.x=t.x
mapreduce同样也存在左连和右连
hadoop mapreduce join代码示例及讲解

hadoop mapreduce join原理、方法讲解




回复

使用道具 举报

lanxing125 发表于 2015-5-26 22:38:17
xuanxufeng 发表于 2015-5-26 21:59
楼主,这个思路尝试了吗

楼主如果擅长sql的话,应该知道表有一个自身连接

谢谢,你说的我觉得会比我现在的算法用的时间还长,现在我就是想把时间缩短啊,大哥
回复

使用道具 举报

lzw 发表于 2015-5-27 00:10:40
lanxing125 发表于 2015-5-26 22:38
谢谢,你说的我觉得会比我现在的算法用的时间还长,现在我就是想把时间缩短啊,大哥


这里有篇参考下
基于Hadoop的社交网络的分析,Hadoop社交分析
回复

使用道具 举报

lanxing125 发表于 2015-5-27 00:16:37
lzw 发表于 2015-5-27 00:10
这里有篇参考下
基于Hadoop的社交网络的分析,Hadoop社交分析

非常感谢啊
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条