python+qwen3.5-plus实现视觉定位自动化操作电脑完成任务代码

代码语言:python

所属分类:其他

代码描述:python+qwen3.5-plus实现视觉定位自动化操作电脑完成任务代码,qwen3.5-plus的视觉定位能力非常精准,可以满足日常电脑的自动化操作,比如发送微信消息,自动浏览器网页等等。

代码标签: python qwen3.5-plus 视觉 定位 自动化 操作 电脑 完成 任务 代码

下面为部分代码预览,完整代码请点击下载或在bfwstudio webide中打开

import os
import sys
import json
import time
import base64
import platform
import subprocess
import webbrowser
import ctypes
from io import BytesIO

import pyautogui
import pyperclip
from PIL import Image, ImageGrab
from openai import OpenAI
from apscheduler.schedulers.background import BackgroundScheduler

# ================= 核心修复:处理 Windows 缩放 =================
# 强制让 Python 进程感知 DPI,统一截图和鼠标的坐标系
if platform.system() == "Windows":
    try:
        ctypes.windll.shcore.SetProcessDpiAwareness(1)
    except Exception:
        try:
            ctypes.windll.user32.SetProcessDPIAware()
        except Exception:
            pass

# ================= 基础配置 =================
# 你可以在这里切换为 DashScope 或其他兼容 OpenAI 接口的模型
OPENAI_API_KEY = os.getenv("OPENAI_API_KEY", "sk-") 
BASE_URL = "https://dashscope.aliyuncs.com/compatible-mode/v1"  # 如果用阿里通义千问可改为: https://dashscope.aliyuncs.com/compatible-mode/v1
MODEL_NAME = "qwen3.5-plus"                   # 如果用阿里通义千问可改为: qwen-vl-max
MODEL_INPUT_SIZE = 1120                 # 截图缩放尺寸限制

client = OpenAI(api_key=OPENAI_API_KEY, base_url=BASE_URL)

pyautogui.FAILSAFE = True
pyautogui.PAUSE = 0.5

scheduler = BackgroundScheduler()
scheduler.start()

# ================= 通用辅助函数 =================

def get_system_info():
    os_info = f"{platform.system()} {platform.release()}"
    screen_w, screen_h = pyautogui.size()
    current_time = time.strftime("%Y-%m-%d %H:%M:%S")
    return f"OS: {os_info}, 逻辑分辨率: {screen_w}x{screen_h}, 当前时间: {current_time}"

# ================= 定义模型可调用的工具 =================
TOOLS =[
    {
        "type": "function",
        "function": {
            "name": "take_screenshot",
            "description": "截取当前桌面屏幕并发送给AI进行视觉分析。后续若需点击,必须先调用此工具获取界面上下文。",
            "parameters": {"type": "object", "properties": {}}
        }
    },
    {
        "type": "function",
        "function": {
            "name": "mouse_action",
            "description": "在屏幕指定位置执行鼠标点击。坐标必须是0.0到1.0之间的归一化比例值。",
            &qu.........完整代码请登录后点击上方下载按钮下载查看

网友评论0