本帖最后由 grinsky 于 2017-1-22 14:41 编辑
有看了些网上搜到的python for 循环并发执行但还是有些疑问。
urls = [url1,url2,url3,......]
def get_webdata():
data = {}
for i in urls:
data = urllib2.urlopen(i).read()
return data
data = get_webdata()
如上述情况。当urls比交多时,就会很慢,这个要如何并发去执行呢?
看了些网上的例子。虽然都起了多个进程去执行for循环,但根本不是我想要的那样。
比如设置了并行数4个,就执行了4次循环,即每个数据拿了4次。
而不是同时去拿4个数据,每个只拿一次。
|
|