python ProcessPoolExecutor多进程进程池并行执行任务代码

代码语言:python

所属分类:其他

代码描述:python ProcessPoolExecutor多进程进程池并行执行任务代码

代码标签: python ProcessPoolExecutor 多进程 进程池 并行 执行 任务 代码

下面为部分代码预览,完整代码请点击下载或在bfwstudio webide中打开

#!/usr/local/python3/bin/python3
# -*- coding: utf-8 -*
from concurrent.futures import ThreadPoolExecutor,ProcessPoolExecutor
from multiprocessing import Pool
import requests
import json
import os

def get_page(url):
    print('<进程%s> get %s' %(os.getpid(),url))
    respone=requests.get(url)
    if respone.status_code == 200:
        return {'url':url,'text':respone.text}

def parse_page(res):
    res=res.result()
    print('<进程%s> parse %s' %(os.getpid(),res['url']))
    parse_res='url:<%s> size:[%s]\n' %(res['url'],len(res['text']))
    with open('db.txt.........完整代码请登录后点击上方下载按钮下载查看

网友评论0