Wie wird die Verwendung einer inländischen Proxy-IP angegeben?
Hallo, alle! Heute bin ich hier, um mit Ihnen darüber zu sprechen, wie man die Verwendung von inländischen Proxy-IP angeben, für einige müssen die inländischen Website-Daten zu kriechen oder müssen die inländischen spezifischen Ressourcen für Freunde zugreifen, geben Sie die Verwendung von inländischen Proxy-IP ist sehr wichtig. Also, lassen Sie mich es im Detail für Sie erklären!
Was ist Proxy IP
Proxy-IP ist wie ein Mittelsmann, Ihre Anfrage wird zuerst an den Proxy-Server gesendet, dann sendet der Proxy-Server die Anfrage an den Zielserver, und die vom Proxy-Server zurückgegebene Antwort wird dann über die Proxy-IP an Sie weitergeleitet. Durch die Verwendung von Proxy-IP können Sie Ihre echte IP-Adresse verbergen und gleichzeitig die IP-Adresse des Proxy-Servers erhalten, so dass Sie einige spezielle Anforderungen erfüllen können.
Verfügbare inländische Proxy-IP abrufen
Um die Verwendung von inländischen Proxy-IPs festzulegen, müssen wir zunächst die verfügbaren inländischen Proxy-IPs ermitteln.
Zuerst müssen wir die Python-Request-Bibliothek verwenden, um eine Anfrage zu senden, um den Inhalt der Seite zu erhalten. Das Codebeispiel lautet wie folgt:
Einfuhrgesuche
url = 'http://www.example.com' # URL der Proxy-IP-Site
Antwort = requests.get(url)
Inhalt = Antwort.Text
Dann können wir reguläre Ausdrücke oder BeautifulSoup verwenden, um die Proxy-IP-Informationen auf der Webseite zu extrahieren. Hier ist ein Beispiel für die Verwendung eines regulären Ausdrucks mit dem folgenden Codebeispiel:
Importware
pattern = r'd+.d+.d+.d+.d+:d+' Regulärer Ausdruck für # IP-Adresse
proxy_ips = re.findall(muster, inhalt)
Als nächstes müssen wir die Verfügbarkeit dieser Proxy-IPs überprüfen. Wir können diese verifizierten verfügbaren Proxy-IPs für die zukünftige Verwendung speichern. Das Codebeispiel lautet wie folgt:
def check_proxy_ip(proxy_ip):
proxies = {
'https': 'https://' + proxy_ip,
}
try.
response = requests.get('http://www.example.com', proxies=proxies, timeout=5)
if response.status_code == 200: if response.status_code == 200: if response.status_code == 200
return True
if response.status_code == 200: return True
return False
except: return False
return False
valid_proxy_ips = []
for proxy_ip in proxy_ips: if check_proxy_ip(proxy_ip)
if check_proxy_ip(proxy_ip): valid_proxy_ips.append(proxy_ip).
valid_proxy_ips.append(proxy_ip)
print(gültige_proxy_ips)
Legen Sie die Verwendung einer inländischen Proxy-IP fest
Jetzt, da wir die verfügbaren inländischen Proxy-IPs haben, müssen wir als Nächstes ihre Verwendung festlegen. Wir können dies mit der Python-Request-Bibliothek tun.
Importieren Sie zunächst die Bibliothek für Anfragen und die Bibliothek für Zufallszahlen. Die Bibliothek für Zufallszahlen wird zur zufälligen Auswahl einer Proxy-IP verwendet:
Anfragen importieren
zufällig importieren
# Dann müssen wir die Proxy-Parameter von requests ändern, bevor wir die Anfrage senden. Das Codebeispiel lautet wie folgt:
proxy = random.choice(valid_proxy_ips) # Zufällige Auswahl einer Proxy-IP
proxies = {
'http': 'http://' + proxy, 'http': 'http://'
'https': 'https://' + proxy,
}
# Als nächstes können wir diese Proxy-IP verwenden, um Anfragen zu senden. Das Codebeispiel lautet wie folgt:
url = 'http://www.example.com' # URL der Ziel-Website
response = requests.get(url, proxies=proxies) # Senden der Anfrage unter Verwendung der Proxy-IP
content = response.text # Verarbeitung des Antwortinhalts
Durch die oben genannten Vorgänge haben wir die Verwendung inländischer Proxy-IP erfolgreich spezifiziert und können problemlos auf bestimmte inländische Ressourcen zugreifen oder inländische Website-Daten crawlen.