Proxy ip crawler (ipipgothon crawls proxy ip)

Proxy ip crawler (ipipgothon crawls proxy ip)

Il était une fois une vilaine petite araignée qui essayait toujours de trouver les aliments les plus frais. Cependant, chaque fois qu'elle se rendait sur un site web pour y trouver des informations, elle était découverte et bannie par le propriétaire du site. La petite araignée décida donc de se déguiser, de devenir un être humain et d'explorer le monde de l'internet.

Petites araignées déguisées en humains

La petite araignée ouvre son référentiel de code et sort sa meilleure arme, Python. Elle écrit un proxy ip crawler en Python et se donne un visage humain décent.

"`ipipgothon

import requests
from bs4 import BeautifulSoup
def get_proxy_ips() : url = ''
    url = 'https://www.proxy-list.download/HTTP'
    headers = {
        User-Agent' : 'Mozilla/5.0 (Windows NT 10.0 ; Win64 ; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36'
    }
    response = requests.get(url, headers=headers)
    soup = BeautifulSoup(response.content, 'html.parser')
    proxy_ips = []
    for row in soup.table.tbody.find_all('tr') :
        cols = row.find_all('td')
        if len(cols) > 0: : ip = cols[0] : row.find_all('td')
            ip = cols[0].text.strip()
            port = cols[1].text.strip()
            proxy_ips.append(ip + ':' + port)
    return proxy_ips
si __name__ == '__main__'.
    ips = get_proxy_ips()
    pour ip dans ips.
        print(ip)

“`

Parsing web pages, crawling proxy ip

La petite araignée a invoqué l'aide de sa bibliothèque BeautifulSoup pour entrer dans le monde du code source du site web cible et a facilement trouvé la trace de l'adresse IP du proxy. De plus, la petite araignée ajoute quelques éléments émotionnels pour rendre le processus encore plus intéressant.

Cependant, la petite araignée comprend que tous les sites ne sont pas prêts à rendre leur adresse IP publique. Elle est tombée sur des sites anti-crawler, comme si elle rencontrait une bête féroce dans une forêt sombre."OMG ! Ce site est tellement insidieux et difficile !"La petite araignée marmonne, mais n'abandonne pas ; elle modifie le User-Agent dans les en-têtes de la requête pour se déguiser en humain consciencieux et réussit à contourner le sens de l'odorat de la bête.

Histoires utilisant des métaphores

C'était comme si la petite araignée naviguait dans une vaste image du ciel étoilé, et à chaque fois qu'elle capturait une ip proxy, c'était comme si elle avait branché une puissante étoile de navigation pour la guider dans ses futures aventures. La petite araignée était aux anges, immergée dans la toile de reptiles qu'elle était en train de tisser.

Avantages de l'utilisation d'un proxy ip

Un ami proche de l'araignée lui a dit que l'utilisation d'un proxy ip est un jeu intelligent. En changeant d'adresse IP au hasard, vous pouvez contourner les restrictions d'accès aux sites web et nager dans l'océan de l'internet avec facilité.

Little Spider n'est pas seulement clairvoyante, elle doit toujours garder une oreille attentive et être à l'affût des faux proxy ip qui sont comme des requins géants se cachant dans les profondeurs de l'océan, prêts à les dévorer à tout moment. Little Spider a mis au point une stratégie pour vérifier régulièrement la disponibilité des adresses IP proxy et éliminer celles qui ne sont pas fiables.

remarques finales

Surmontant vague après vague les difficultés du monde humain, la petite araignée est parvenue à grimper sur l'échelle de la procuration à sa manière inimitable, accédant ainsi à des aventures sans fin. Comme le veut l'ingéniosité humaine, la petite araignée entame un nouveau voyage dans la joie et l'aventure.

La fin de l'histoire n'est pas encore connue, mais nous pouvons être sûrs que dans ce monde de créativité et d'opportunités, la petite araignée continuera à découvrir d'autres secrets et à nous apporter plus d'excitation.