python ProcessPoolExecutor多进程进程池并行执行任务代码
代码语言:python
所属分类:其他
代码描述:python ProcessPoolExecutor多进程进程池并行执行任务代码
代码标签: python ProcessPoolExecutor 多进程 进程池 并行 执行 任务 代码
下面为部分代码预览,完整代码请点击下载或在bfwstudio webide中打开
#!/usr/local/python3/bin/python3 # -*- coding: utf-8 -* from concurrent.futures import ThreadPoolExecutor,ProcessPoolExecutor from multiprocessing import Pool import requests import json import os def get_page(url): print('<进程%s> get %s' %(os.getpid(),url)) respone=requests.get(url) if respone.status_code == 200: return {'url':url,'text':respone.text} def parse_page(res): res=res.result() print('<进程%s> parse %s' %(os.getpid(),res['url'])) parse_res='url:<%s> size:[%s]\n' %(res['url'],len(res['text'])) with open('db.txt.........完整代码请登录后点击上方下载按钮下载查看
网友评论0