python使用jina通过url获取文章资料干净正文示例代码

代码语言:python

所属分类:web系统

代码描述:python使用jina通过url获取文章资料干净正文示例代码

代码标签: python jina 通过 url 获取 文章 资料 干净 正文 示例 代码

下面为部分代码预览,完整代码请点击下载或在bfwstudio webide中打开

#!/usr/local/python3/bin/python3
# -*- coding: utf-8 -*
import requests
def fetch_json_from_link(link):
    # 发送请求并获取重定向后的URL
   
    
    # 获取重定向后的真实URL
    real_url = "https://r.jina.ai/" +link
    
    # 设置请求头
    headers = {
        'Accept': 'application/json'
    }
    
    try:
        # 发送GET请求
        response = requests.get(real_url, headers=headers)
        
        # 检查请求是否成功(状态码200表示成功)
        response.raise_for_status()  # 如果状态码不是200,会抛出异常
        
        # 获取JSON数据
        json_data = response.json()
        return json_data

    except requests.exceptions.HTTPError as http_err:
        print(f'HTT.........完整代码请登录后点击上方下载按钮下载查看

网友评论0