Bauanleitung für HTTP/HTTPS-Proxyserver mit zwei Protokollen

I. Warum brauchen Sie Unterstützung für zwei Protokolle?

Heutzutage sind Websites wieHybrid-AutoWenn Sie zum Beispiel eine E-Commerce-Website crawlen, deren Produktdetailseite HTTP ist, die Benutzeroberfläche für die Bewertungen aber HTTPS erfordert. Wenn Sie beispielsweise eine E-Commerce-Website crawlen, könnte die Produktdetailseite HTTP sein, aber die Benutzeroberfläche für die Bewertungen erfordert HTTPS. Mit einem einzelnen Protokoll-Proxy haben Sie zwei Probleme: Entweder schlägt die verschlüsselte Anfrage fehl, oder die normale Anfrage wird abgefangen.

Hier empfohlenipipgo Dynamische Anwohner-IPDas System kann automatisch umschalten, um sich an die Protokolle der Ziel-Website anzupassen. Zum Beispiel: bei der Erkennung der Ziel-Website aktiviert HTTPS, wird das System automatisch zuweisen IPs, die SSL-Handshake unterstützen, ist die Erfolgsquote höher als gewöhnliche Proxy 40% oder mehr.

Zweitens kann das Weiß auch den Bauprozess übernehmen

Schritt 1: Bereiten Sie die Zutaten vor
1. einen Cloud-Server mieten (2-Core 4G für den Anfang, empfohlenes Ubuntu-System)
2 Öffnen Sie die ipipgo-Konsole und erstellen Sie die"Dedizierter IP-Pool mit zwei Protokollen"(Denken Sie daran, das Kästchen "Automatische Protokollanpassung" anzukreuzen)
3. installieren Sie Nginx auf dem Server, Version 1.18 oder höher wird empfohlen.

Schritt 2: Konfigurieren Sie die geheime Sauce
Ändern Sie die Nginx-Konfigurationsdatei (/etc/nginx/nginx.conf):

 http { server { listen 8888.

     # HTTP-Verarbeitungskanal
    Standort /http {
        proxy_pass http://$target_url; proxy_set_header X-Real-IP $ { ipipgo dynamische IP}
        proxy_set_header X-Real-IP ${ipipgo dynamic IP};
    }

    # HTTPS-Verarbeitungskanal
    Standort /https {
        proxy_ssl_server_name on; proxy_pass ; }
        proxy_pass https://$target_url:443;
        proxy_set_header Host $host.
    }
}

}

Speichern und ausführensudo nginx -s reloadwirksam wird. Das Schöne an dieser Konfiguration ist, dass durch die Unterscheidung von Protokollen mit unterschiedlichen Pfaden Ressourcen gegenüber der Öffnung mehrerer Ports eingespart werden.

Schritt 3: IP-Ressourcen binden
Rufen Sie das ipipgo-Entwicklerzentrum auf, um den API-Schlüssel zu erhalten und zwei Schlüsselregeln einzurichten:
1. wenn die HTTPS-Anfrage dreimal fehlschlägt, wechseln Sie automatisch die IP, die TLS1.3 unterstützt
2. automatische Bereinigung von IPs, die länger als 12 Stunden verwendet wurden, in den frühen Morgenstunden eines jeden Tages.

III. dreiteilige Suite zur Leistungsoptimierung

IV. Ausweitung des Programms auf Unternehmensebene

Wenn Sie mehr als 100.000 Anfragen pro Tag verarbeiten, wird empfohlen, dass Sie dieverteilte Architektur::
1. je 1 Server in Tokio, Singapur und Frankfurt bereitstellen
2. die Annahme von ipipgoIntelligente Routing-APIDie erste ist für US-Benutzer, die sich mit dem Silicon-Valley-Knoten verbinden wollen, und die zweite für japanische Benutzer, die sich mit dem Tokioter Knoten verbinden wollen.
3. hochfrequente Anfragen mit Redis zwischenspeichern, um wiederholtes Crawlen zu reduzieren
Ein Finanzunternehmen nutzte diese Methode, um die Geschwindigkeit der Datenerfassung um das Dreifache zu erhöhen.

v. leitfaden für die entminung gemeinsamer probleme

F: Was ist besser daran, einen eigenen Proxy zu bauen, als die API von ipipgo direkt zu nutzen?
A: Es gibt drei große Vorteile, wenn Sie Ihr eigenes Gebäude bauen:
1. die Caching-Strategien können individuell angepasst werden (z. B. Bilder für 1 Stunde, Text für 5 Minuten im Cache)
2. die Fähigkeit zur Durchführung eingehender Analysen in Verbindung mit internen Überwachungssystemen
3. langfristig niedrigere Kosten (100.000 Anfragen zu 601 TP3T)

F: Warum brechen HTTPS-Anfragen manchmal ab?
A: Überprüfen Sie drei Stellen:
1. die Nginx-Konfiguration hat keineproxy_ssl_server_name
2. ob die Serverzeit korrekt ist (Zeitzonenfehler können zu Fehlern beim SSL-Handshake führen)
3. ob der IP-Pool von ipipgo eingeschaltet ist oder nicht"Hohe Verschlüsselungsstufe - Screening"

F: Wie prüfe ich, ob das Mittel ordnungsgemäß funktioniert?
A: Mit dieser Kombination aufspüren:
1. http://httpbin.org/ip besuchen, um zu sehen, ob sich die zurückgegebene IP ändert
2. https://www.cloudflare.com/cdn-cgi/trace besuchen, um zu überprüfen, ob HTTPS funktioniert.
3. auf der ipipgo-Konsole gesehenIP-NutzungsberichtStellen Sie sicher, dass die Schaltfrequenz normal ist.

F: Muss ich den Server warten?
A: Es reicht, wenn Sie diese drei Dinge jeden Monat tun:
1. die Nginx-Sicherheitspatches aktualisieren
2. das Bereinigen von Protokolldateien (um zu verhindern, dass die Festplatten überfüllt werden)
3. die IP-Bindungen im ipipgo-Backend aktualisieren

Folgen Sie dieser Anleitung, um einen stabilen und brauchbaren Dual-Protokoll-Proxy in nur 1 Stunde zu erstellen. Jetzt mit ipipgo'sKostenloses SchnupperpaketSie können die Ressourcenvorteile von 90 Millionen privaten IPs nutzen. Alle fortschrittlichen Funktionen sind während der Testphase zugänglich und eignen sich besonders für Unternehmen, die Daten in großem Umfang erfassen müssen.