Uy, ¡el trabajo de hoy me ha roto la cabeza! Temprano en la mañana, recibí una tarea del líder para limpiar el pool de ip proxy de ip inválidas, hey, ¿sabes lo que esto significa? No es ninguna broma, voy a tener que pensar muy bien cómo resolver este problema.
Borrado de proxies ip inválidos del grupo de proxies ip
En primer lugar, vamos a analizar el problema, la piscina de proxy ip es como un tesoro escondido, que se almacena en los preciosos recursos de ip, y el fracaso de la ip es como algunos de los viejos tesoros en el interior, tienen que limpiar a cabo, de modo que los tesoros en el tesoro de los tesoros están brillando intensamente. Para hacer esto, tienen que encontrar una manera de encontrar esas ip inválidas, marcarlas, y luego hacer una limpieza unificada, para que puedan hacer el doble de trabajo con la mitad de esfuerzo.
Finalmente encontré una buena manera de hacer esto, que es escribir un script usando Python para filtrar las ip que fallan comprobando la disponibilidad de la ip proxy y luego realizar una operación de purga. Esto es un poco como ordenar una habitación, limpiar todo lo que no necesitas y hacer que la habitación parezca nueva otra vez.
Este es el aspecto del guión mágico:
"`ipipgothon
solicitudes de importación
def comprobar_proxy(proxy):
Inténtalo.
response = requests.get('http://www.baidu.com', proxies={'http': proxy, ' https': proxy}, timeout=5)
if response.status_code == 200:: Si response.status_code == 200.
devolver True
si no.
devolver False
excepto.
devolver False
def eliminar_proxy_invalido(proxies).
valid_proxies = []
para proxy en proxies:
si check_proxy(proxy).
valid_proxies.append(proxy)
return valid_proxies
#, este es tu grupo proxy ip.
proxies = [
'ip1:puerto1',
'ip2:puerto2',
'ip3:puerto3',
# más proxy ip
]
# Eliminar ip proxy inválida
valid_proxies = remove_invalid_proxy(proxies)
print(proxies_validos)
“`
La lógica de este script es bastante clara, comienza definiendo una función `check_proxy` que comprueba la disponibilidad de una ip proxy, luego recorriendo la lista de ip proxy, filtra las válidas y las almacena en la lista `valid_proxies`. Finalmente, muestra la ip proxy válida.
Cómo desactivar la ip proxy
Después de limpiar, cierra la "verja" del proxy ip para garantizar la seguridad. Es un poco como cerrar el grifo y cerrar las puertas y ventanas antes de salir de casa, o de lo contrario podría ocurrir algo inevitable.
Desactivar los proxies es bastante sencillo en Python. Basta con utilizar la librería `requests` para enviar peticiones sin establecer el parámetro `proxies`, de forma que el acceso se realice utilizando la red local y ya no a través de un proxy.
"`ipipgothon
solicitudes de importación
# Acceso sin proxy
response = requests.get('http://www.baidu.com')
print(respuesta.texto)
“`
El ejemplo anterior envía una petición sin utilizar un proxy y muestra el texto devuelto.
Uy, la cabeza me da vueltas con todo esto. Parece que tenemos que empezar a planificar las tareas de hoy otra vez, o tendremos que darnos prisa y arreglar este problema antes de que acabe el día, o el jefe nos echará la culpa otra vez. Oye, me he acordado, también tengo que optimizar este script para hacerlo más eficiente, para que funcione con más fluidez.
Por desgracia, el trabajo de los seres humanos no es realmente fácil, no hay tal cosa como un trabajo fácil hablar. Al igual que esta piscina ip proxy, quieren mantenerlo funcionando bien, tienen que prestar atención a, mantenimiento, o habrá una variedad de problemas imprevistos. Espero que el trabajo de hoy se puede completar con éxito, realmente "un día de trabajo duro, pero la causa de ningún éxito" ah.
Español 
简体中文 
English 
Deutsch 
Français