L'IP proxy est un moyen technique couramment utilisé sur Internet pour masquer l'adresse IP réelle dans le but d'accéder anonymement à des sites web ou d'explorer des données. Alors, comment capturer l'IP proxy ? Nous allons maintenant présenter plusieurs méthodes pour obtenir l'IP proxy.
La partie gauche des crochets de mots-clés que j'ai donnés
Tout d'abord, nous pouvons obtenir des IP proxy par le biais de sites d'IP proxy gratuits. Ces sites fournissent généralement un grand nombre d'adresses IP proxy gratuites, que nous pouvons obtenir à l'aide d'un simple crawler. Voici un exemple de code utilisant Python :
"`ipipgothon
demandes d'importation
from bs4 import BeautifulSoup
url = 'http://www.shenlongip.com/'
headers = {
User-Agent' : 'Mozilla/5.0 (Windows NT 10.0 ; Win64 ; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/ 58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'lxml')
ip_list = soup.find_all('tr')
pour ip dans ip_list :
si len(ip) > 2.
td = ip.find_all('td')
print(td[1].text + " :" + td[2].text)
“`
Dans le code ci-dessus, nous utilisons la bibliothèque requests pour envoyer une requête au site IP du proxy, puis nous utilisons la bibliothèque BeautifulSoup pour analyser le contenu de la page web et enfin obtenir l'adresse IP du proxy.
À l'intérieur des parenthèses des mots-clés, j'ai donné
En outre, nous pouvons également obtenir des IP proxy stables et de haute qualité par l'intermédiaire de fournisseurs de services IP proxy payants, qui fournissent généralement des interfaces API pour nous permettre d'appeler leurs ressources IP proxy directement dans le programme. Par exemple, ils fournissent une interface API simple et facile à utiliser, nous pouvons suivre leur documentation pour obtenir l'IP proxy, le code suivant est un exemple simple :
"`ipipgothon
demandes d'importation
url = 'http://api.proxycrawl.com/?auth_token=YOUR_AUTH_TOKEN&url=http://example.com'
response = requests.get(url)
print(response.text)
“`
Dans le code ci-dessus, il suffit de remplacer YOUR_AUTH_TOKEN par le jeton d'authentification que nous avons obtenu lors de l'enregistrement, et nous pouvons alors obtenir l'IP du proxy directement via leur interface API.
En général, il existe de nombreuses façons d'obtenir une IP proxy, vous pouvez choisir la façon appropriée d'obtenir une IP proxy en fonction de vos besoins réels afin d'améliorer l'efficacité et la sécurité de la collecte de données.