分享

for循环如何并发执行?

grinsky 发表于 2017-1-22 14:27:05 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 2 21967
本帖最后由 grinsky 于 2017-1-22 14:41 编辑

有看了些网上搜到的python for 循环并发执行但还是有些疑问。

urls = [url1,url2,url3,......]

def get_webdata():
    data = {}
    for i in urls:
         data = urllib2.urlopen(i).read()
    return data

data = get_webdata()

如上述情况。当urls比交多时,就会很慢,这个要如何并发去执行呢?
看了些网上的例子。虽然都起了多个进程去执行for循环,但根本不是我想要的那样。
比如设置了并行数4个,就执行了4次循环,即每个数据拿了4次。
而不是同时去拿4个数据,每个只拿一次。

已有(2)人评论

跳转到指定楼层
langke93 发表于 2017-1-22 16:17:44
那就用大数据思维,使用mapreduce,分割后在循环
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条