Guide de construction d'un serveur proxy double protocole HTTP/HTTPS

I. Pourquoi avez-vous besoin d'un double protocole ?

Aujourd'hui, les sites web sont commevoiture hybridePar exemple, vous pouvez explorer un site de commerce électronique dont la page de détail des produits est en HTTP, mais dont l'interface d'évaluation des utilisateurs requiert HTTPS. Par exemple, si vous parcourez un site de commerce électronique, la page des détails du produit peut être HTTP, mais l'interface d'évaluation des utilisateurs nécessite HTTPS. Avec un proxy à protocole unique, vous rencontrerez deux problèmes : soit la requête cryptée échoue, soit la requête normale est interceptée.

Recommandé iciipipgo IP résidentielle dynamiqueLe système peut automatiquement s'adapter aux protocoles du site web cible. Par exemple : lorsque le site cible a activé le protocole HTTPS, le système attribue automatiquement des adresses IP qui prennent en charge le protocole SSL, le taux de réussite est plus élevé que celui du proxy ordinaire 40% ou plus.

Deuxièmement, le blanc peut également prendre en charge le processus de construction

Étape 1 : Préparer les ingrédients
1. louer un serveur cloud (2 cœurs 4G pour commencer, système Ubuntu recommandé)
2) Ouvrez la console ipipgo et créez le fichier"Pool IP dédié à double protocole(N'oubliez pas de cocher la case "Adaptation automatique du protocole")
3) Installer Nginx sur le serveur, la version 1.18 ou supérieure est recommandée.

Étape 2 : Configuration de la sauce secrète
Modifiez le fichier de configuration de Nginx (/etc/nginx/nginx.conf) :

 http { server { listen 8888.

     # Canal de traitement HTTP
    location /http {
        proxy_pass http://$target_url ; proxy_set_header X-Real-IP $ { ipipgo dynamic IP}
        proxy_set_header X-Real-IP ${ipipgo dynamic IP} ;
    }

    Canal de traitement HTTPS #
    location /https {
        proxy_ssl_server_name on ; proxy_pass ; }
        proxy_pass https://$target_url:443 ;
        proxy_set_header Host $host.
    }
}

}

Sauvegarder et exécutersudo nginx -s reloadprend effet. L'intérêt de cette configuration est que la différenciation des protocoles avec des chemins différents permet d'économiser des ressources par rapport à l'ouverture de plusieurs ports.

Étape 3 : Liaison des ressources IP
Allez au centre de développement ipipgo pour obtenir la clé API et configurer deux règles de clé :
1) Lorsque la requête HTTPS échoue 3 fois, changer automatiquement l'IP qui supporte TLS1.3.
2. nettoyer automatiquement les adresses IP qui ont été utilisées pendant plus de 12 heures aux premières heures de chaque jour.

Suite d'optimisation des performances en trois parties

IV. expansion du programme au niveau de l'entreprise

Si vous traitez plus de 100 000 demandes par jour, il est recommandé d'utiliser l'optionarchitecture distribuée: :
1. déploiement d'un serveur à Tokyo, Singapour et Francfort
2. l'adoption de l'ipipgoAPI de routage intelligentLa première permet aux utilisateurs américains de se connecter au nœud de la Silicon Valley, et la seconde aux utilisateurs japonais de se connecter au nœud de Tokyo.
3. mettre en cache les requêtes à haute fréquence avec Redis pour réduire les recherches répétitives
Une société financière a utilisé cette méthode pour multiplier par trois la vitesse de collecte des données.

v. guide des problèmes courants de déminage

Q : Qu'y a-t-il de mieux à construire mon propre proxy qu'à utiliser directement l'API d'ipipgo ?
R : Il y a trois avantages majeurs à construire son propre système :
1. les stratégies de mise en cache peuvent être personnalisées (par exemple, images mises en cache pendant 1 heure, texte mis en cache pendant 5 minutes)
2. capacité à mener des analyses approfondies en liaison avec les systèmes de contrôle internes
3. un coût inférieur à long terme (100 000 demandes à 601 TP3T)

Q : Pourquoi les requêtes HTTPS sont-elles parfois interrompues ?
R : Vérifier à trois endroits :
1. la configuration de Nginx n'a pas deNom du serveur proxy_ssl_server
2. si l'heure du serveur est exacte (les erreurs de fuseau horaire peuvent entraîner des échecs de la poignée de main SSL)
3. si le pool d'adresses IP d'ipipgo est activé ou non"Contrôle du niveau de cryptage élevé"

Q : Comment puis-je vérifier que l'agent fonctionne correctement ?
A : Détecter avec cette combinaison :
1. visitez http://httpbin.org/ip pour voir si l'adresse IP renvoyée change
2) Visitez https://www.cloudflare.com/cdn-cgi/trace pour vérifier si HTTPS fonctionne.
3. vu sur la console ipipgoRapport sur l'utilisation de l'IPConfirmer que la fréquence de commutation est normale.

Q : Dois-je assurer la maintenance du serveur ?
R : Il suffit de faire ces trois choses chaque mois :
1. mettre à jour les correctifs de sécurité de Nginx
2. nettoyer les fichiers journaux (pour éviter que les disques durs ne se remplissent)
3. rafraîchir les liaisons IP dans le backend ipipgo

Suivez ce guide pour construire un proxy double protocole stable et utilisable en moins d'une heure. Maintenant avec leEssai gratuitToutes les fonctionnalités avancées sont accessibles pendant la période de test, ce qui convient particulièrement aux entreprises qui ont besoin de collecter des données à grande échelle.