python自动下载抓取任意url网站html及引入的资源原路径保存本地代码

代码语言:python

所属分类:其他

代码描述:python自动下载抓取任意url网站html及引入的资源原路径保存本地代码

代码标签: python 自动 下载 抓取 任意 url 网站 html 引入 资源 原路径 保存 本地 代码

下面为部分代码预览,完整代码请点击下载或在bfwstudio webide中打开

"""
page_archiver.py

拦截网页所有网络请求,把网页及依赖资源下载到按 URL 结构组织的目录,
并重写 HTML / CSS 中的 URL 为相对本地路径。

headful 模式:显示浏览器,用户可手动点击/滚动/翻页,后台持续下载资源。
完成后在终端按回车(或关闭浏览器)结束。

示例:
    https://example.com/foo/bar.html   -> out/foo/bar.html
    https://example.com/asset/game.js -> out/asset/game.js
    https://example.com/css/main.css  -> out/css/main.css
    https://example.com/              -> out/index.html

用法:
    python page_archiver.py https://example.com ./out
    python page_archiver.py https://example.com ./out --headful
"""

import asyncio
import hashlib
import os
import posixpath
import re
import sys
import time
from pathlib import Path
from urllib.parse import urljoin, urlparse, urldefrag, unquote

from bs4 import BeautifulSoup
from playwright.async_api import async_playwright


CONTENT_TYPE_EXT = {
    'text/html': '.html',
    'application/xhtml+xml': '.xhtml',
    'text/css': '.css',
    'text/javascript': '.js',
    'application/javascript': '.js',
    'application/x-javascript': '.js',
    'application/json': '.json',
    'image/png': '.png',
    'image/jpeg': '.jpg',
    'image/gif': '.gif',
    'image/webp': '.webp',
    'image/svg+xml': '.svg',
    'image/x-icon': '.ico',
    'image/vnd.microsoft.icon': '.ico',
    'image/avif': '.avif',
    'font/woff': '.woff',
    'font/woff2': '.woff2',
    'font/ttf': '.ttf',
    'font/otf': '.otf',
    'application/font-woff': '.woff',
    'application/font-woff2': '.woff2',
    'video/mp4': '.mp4',
    'video/webm': '.webm',
    'audio/mpeg': '.mp3',
    'audio/ogg': '.ogg',
    'application/pdf': '.pdf',
}

SKIP_PREFIXES = ('data:', 'blob:', 'javascript:', 'mailto:', 'tel:', 'about:', '#')

CSS_URL_RE = re.compile(.........完整代码请登录后点击上方下载按钮下载查看

网友评论0