[Python] Python手把手实现远程控制桌面（含完整源码）

复制代码
#客户端代码
import socket
import threading
import cv2
import numpy as np
from PIL import ImageGrab
from pynput.mouse import Button,Controller

复制代码
#接受服务器返回的数据的函数
m = Controller()
def recvlink(client):
    while True:
        msg=client.recv(1024)
        msg=msg.decode('utf-8')
        print(msg)
        key = msg.split(",")
        xp = int(key[0])
        yp = int(key[1])
        m.position = ((xp,yp))
        m.click(Button.left,1)

复制代码
#创建ipv4的socket对象，使用TCP协议(SOCK_STREAM)
client=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
#设置服务器ip地址，注意应该是服务器的公网ip
host='服务器的公网ip'
#设置要发送到的服务器端口,需要在云服务器管理界面打开对应端口的防火墙
port=设置的端口
#建立TCP协议连接,这时候服务器就会监听到到连接请求，并开始等待接受client发送的数据
client.connect((host,port))
#建立连接后，服务器端会返回连接成功消息
start_msg=client.recv(1024)
print(start_msg.decode('utf-8'))
#开启一个线程用来接受服务器发来的消息
t=threading.Thread(target=recvlink,args=(client,))
t.start()
p = ImageGrab.grab()#获得当前屏幕
quality = 25  # 图像的质量
encode_param = [int(cv2.IMWRITE_JPEG_QUALITY), quality]
while True:
    im = ImageGrab.grab()
    imm=cv2.cvtColor(np.array(im), cv2.COLOR_RGB2BGR)#转为opencv的BGR格式
    imm = cv2.resize(imm, (1535, 863))
    img_encode = cv2.imencode(".jpg", imm, encode_param)[1]
    data_encode = np.array(img_encode)
    str_encode = data_encode.tostring()
    #print(len(str_encode))
    #输入要发送的信息
    sendmsg="kehu"
    #向服务器发送消息
    client.send(str_encode)
    if sendmsg=='quit':
        break
#结束时关闭客户端
client.close()

复制代码
#服务器端
import socket
import threading
import numpy as np
import cv2
import os

复制代码
print("等待连接---")
def mouse_click(event, x, y, flags, para):
    if event == cv2.EVENT_LBUTTONDOWN:  # 左边鼠标点击
        f=open("1.txt","w")
        f.write(str(x)+","+str(y))
        f.close()

复制代码
def recv_msg(clientsocket):
    while True:
        # 接受客户端消息,设置一次最多接受10240字节的数据
        recv_msg = clientsocket.recv(102400)
        # 把接收到的东西解码
        msg = np.fromstring(recv_msg, np.uint8)
        img_decode = cv2.imdecode(msg, cv2.IMREAD_COLOR)
        try:
            s=img_decode.shape
            img_decode=img_decode
            temp=img_decode
        except:
            img_decode=temp
            pass
        cv2.imshow('SERVER', img_decode)
        cv2.setMouseCallback("SERVER", mouse_click)
        try:
            f=open("1.txt")
            txt=f.read()
            f.close()
            reply=txt
            print(reply)
            clientsocket.send(reply.encode('utf-8'))
            os.remove("1.txt")
        except:
            pass
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break

复制代码
def main():
    socket_server=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
    host='服务器的本地ip'
    #设置被监听的端口号,小于1024的端口号不能使用
    port=设置的端口
    socket_server.bind((host,port))
     #设置最大监听数，也就是最多可以同时响应几个客户端请求，一般配合多线程使用
    socket_server.listen(5)
    #等待客户端连接,一旦有了连接就立刻向下执行，否则等待
    #accept()函数会返回一个元组，第一个元素是客户端socket对象，第二个元素是客户端地址（ip地址+端口号）
    clientsocket,addr=socket_server.accept()
    # 有了客户端连接后之后才能执行以下代码，我们先向客户端发送连接成功消息
    clientsocket.send('连接成功'.encode('utf-8'))
    # 和客户端一样开启一个线程接受客户端的信息
    t=threading.Thread(target=recv_msg,args=(clientsocket,))
    t.start()

复制代码
from PyQt5.QtWidgets import *
from PyQt5.QtCore import *
from PyQt5.QtGui import QPalette, QBrush, QPixmap
import os
import socket
import threading
import cv2
import numpy as np
from PIL import ImageGrab
from pynput.mouse import Button,Controller
import time

复制代码
m = Controller()
def mouse_click(event, x, y, flags, para):
    if event == cv2.EVENT_LBUTTONDOWN:  # 左边鼠标点击
        print( x, y)
        m.position = (x, y)
        time.sleep(0.1)
        m.click(Button.left, 1)

复制代码
def __init__(self, parent=None):
    super(Ui_MainWindow, self).__init__(parent)
    # self.face_recong = face.Recognition()
    self.timer_camera = QtCore.QTimer()
    self.cap = cv2.VideoCapture()
    self.CAM_NUM = 0
    self.set_ui()
    self.slot_init()
    self.__flag_work = 0
    self.x = 0
    self.count = 0

复制代码
def set_ui(self):
    self.__layout_main = QtWidgets.QHBoxLayout()
    self.__layout_fun_button = QtWidgets.QVBoxLayout()
    self.__layout_data_show = QtWidgets.QVBoxLayout()
    self.button_open_camera = QtWidgets.QPushButton(u'远程桌面')
    self.button_close = QtWidgets.QPushButton(u'退出')
    # Button 的颜色修改
    button_color = [self.button_open_camera, self.button_close]
    for i in range(2):
        button_color[i].setStyleSheet("QPushButton{color:black}"
                                      "QPushButton:hover{color:red}"
                                      "QPushButton{background-color:rgb(78,255,255)}"
                                      "QPushButton{border:2px}"
                                      "QPushButton{border-radius:10px}"
                                      "QPushButton{padding:2px 4px}")
    self.button_open_camera.setMinimumHeight(50)
    self.button_close.setMinimumHeight(50)
    # move()方法移动窗口在屏幕上的位置到x = 300，y = 300坐标。
    self.move(500, 500)
    # 信息显示
    self.label_show_camera = QtWidgets.QLabel()
    self.label_move = QtWidgets.QLabel()
    self.label_move.setFixedSize(100, 100)
    self.label_show_camera.setFixedSize(1530,863)
    self.label_show_camera.setAutoFillBackground(False)
    self.__layout_fun_button.addWidget(self.button_open_camera)
    self.__layout_fun_button.addWidget(self.button_close)
    self.__layout_fun_button.addWidget(self.label_move)
    self.__layout_main.addLayout(self.__layout_fun_button)
    self.__layout_main.addWidget(self.label_show_camera)
    self.setLayout(self.__layout_main)
    self.label_move.raise_()
    self.setWindowTitle(u'远控桌面GUI')
    '''
    # 设置背景图片
    palette1 = QPalette()
    palette1.setBrush(self.backgroundRole(), QBrush(QPixmap('background.jpg')))
    self.setPalette(palette1)
    '''

复制代码
def mousePressEvent(self,event):
    if event.buttons() & QtCore.Qt.LeftButton:
        x = event.x()-120
        y = event.y()-10
        text = "x: {0},y: {1}".format(x,y)
        if x>=0 and y>=0:
            m.position = (x, y)
            time.sleep(0.1)
            m.click(Button.left, 1)
        print(text)

复制代码
def slot_init(self):
    self.button_open_camera.clicked.connect(self.button_open_camera_click)
    self.timer_camera.timeout.connect(self.show_camera)
    self.button_close.clicked.connect(self.close)

复制代码
def button_open_camera_click(self):
    if self.timer_camera.isActive() == False:
        self.timer_camera.start(30)
        self.button_open_camera.setText(u'关闭')
    else:
        self.timer_camera.stop()
        self.cap.release()
        self.label_show_camera.clear()
        self.button_open_camera.setText(u'远程桌面')

复制代码
def show_camera(self):
    im = ImageGrab.grab()
    imm = cv2.cvtColor(np.array(im), cv2.COLOR_RGB2BGR)  # 转为opencv的BGR格式
    #imm = cv2.resize(imm, (1535, 863))
    self.image = imm
    # face = self.face_detect.align(self.image)
    # if face:
    #     pass
    show =cv2.resize(self.image, (1536,863))
    show = cv2.cvtColor(show, cv2.COLOR_BGR2RGB)
    print(show.shape[1], show.shape[0])
    # show.shape[1] = 640, show.shape[0] = 480
    showImage = QtGui.QImage(show.data, show.shape[1], show.shape[0], QtGui.QImage.Format_RGB888)
    self.label_show_camera.setPixmap(QtGui.QPixmap.fromImage(showImage))
    #cv2.setMouseCallback(showImage, mouse_click)
    # self.x += 1
    # self.label_move.move(self.x,100)
    # if self.x ==320:
    #     self.label_show_camera.raise_()
def closeEvent(self, event):
    ok = QtWidgets.QPushButton()
    cacel = QtWidgets.QPushButton()
    msg = QtWidgets.QMessageBox(QtWidgets.QMessageBox.Warning, u"关闭", u"是否关闭！")
    msg.addButton(ok, QtWidgets.QMessageBox.ActionRole)
    msg.addButton(cacel, QtWidgets.QMessageBox.RejectRole)
    ok.setText(u'确定')
    cacel.setText(u'取消')
    # msg.setDetailedText('sdfsdff')
    if msg.exec_() == QtWidgets.QMessageBox.RejectRole:
        event.ignore()
    else:
        #             self.socket_client.send_command(self.socket_client.current_user_command)
        if self.cap.isOpened():
            self.cap.release()
        if self.timer_camera.isActive():
            self.timer_camera.stop()
        event.accept()