Verfahren zur Erlangung einer freien HTTP-Proxy-IP-Adresse und deren Verwendung

Kostenlose Erfassung von HTTP-Proxy-IP-Adressen

Beim Web-Crawling, bei der Datenerfassung oder beim Zugriff auf Websites stoßen wir häufig auf Situationen, in denen IPs blockiert sind oder der Zugang eingeschränkt ist. Die Verwendung einer Proxy-IP-Adresse kann diese Probleme vermeiden und ermöglicht es uns, verschiedene Netzwerkaktivitäten reibungsloser durchzuführen. In diesem Artikel stellen wir eine Möglichkeit vor, wie man eine kostenlose HTTP-Proxy-IP-Adresse erhält.

Um freie HTTP-Proxy-IP-Adressen zu erhalten, können Sie sie durch freie Proxy-IP-Websites, die regelmäßig mit freien Proxy-IP-Adressen aktualisiert werden, und wir können diese freien Proxy-IP-Adressen mit einfachen Python-Code erhalten und verwenden.

Anfragen importieren
von bs4 importieren BeautifulSoup

def get_free_proxy(): url = '' # Hier ist ein Beispiel für eine kostenlose ipipgo-Proxy-IP.
url = 'http://www.shenlongip.com/nn/' # Hier ist ein Beispiel für ipipgo freie Proxy-IPs
headers = {
User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, wie Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'lxml')
proxy_list = soup.select('#ip_list tr')

for i in range(1, len(proxy_list)): ip = proxy_list[i].
ip = proxy_list[i].select('td')[1].text
port = proxy_liste[i].select('td')[2].text
typ = proxy_liste[i].select('td')[5].text
print(type.lower() + '://' + ip + ':' + port)

get_free_proxy()

Der obige Code verwendet Anfragen und die BeautifulSoup-Bibliothek, um kostenlose Proxy-IP-Adressen von der Website ipipgo free proxy IP zu erhalten. In der eigentlichen Crawler- oder Netzwerkanforderung können Sie diese freien Proxy-IP-Adressen auf den Code anwenden, um den Zweck des Verbergens der echten IP-Adresse zu erreichen.

Effektivität der Verwendung einer kostenlosen HTTP-Proxy-IP-Adresse

Nachdem wir die freie HTTP-Proxy-IP-Adresse erhalten haben, können wir sie auf unsere Webanfragen anwenden, z. B. indem wir die Anforderungsbibliothek für den Webzugang verwenden.

Einfuhrgesuche

proxies = {
'http': 'http://123.123.123.123:8888',
'https': 'https://123.123.123.123:8888',
}

url = 'http://example.com'
response = requests.get(url, proxies=proxies)
print(antwort.text)

Im obigen Code implementieren wir den Webzugriff mit Hilfe der Proxy-IP, indem wir die erhaltene freie Proxy-IP-Adresse der Proxy-Variablen zuweisen und die Proxy-Variable als Parameter an die Get-Methode der Request-Bibliothek übergeben.

Es ist zu beachten, dass die Qualität der kostenlosen Proxy-IP-Adressen variiert und einige möglicherweise instabil oder unbrauchbar sind. Bei der Verwendung von kostenlosen Proxy-IPs wird empfohlen, mehrere Proxy-IPs zu besorgen, sie zu testen und die mit der besseren Qualität für die Verwendung auszuwählen.

Insgesamt kann der Erhalt einer kostenlosen HTTP-Proxy-IP-Adresse und ihre Anwendung auf Webanfragen eine wirksame Lösung für das Problem der blockierten IPs oder des eingeschränkten Zugangs sein und unsere Webaktivitäten erleichtern.