Ergebnis 1 bis 15 von 19

Thema: Crawler optimieren (Schneller!?)

Baum-Darstellung

  1. #7
    Junior Avatar von 4nn8
    Registriert
    Apr 2018
    Beiträge
    63
    Gefällt mir!
    19
    Du gefällst: 90
    Asynchron macht es nicht schneller, sondern sorgt dafür, dass deine HTTP-Requests in get_data gleichzeitig ausgeführt werden und nicht hintereinander.
    In der jetzigen Foreach wird jedes mal gewartet, bis der eine HTTP-Aufruf fertig ist, damit die Schleife weiterlaufen kann.
    Pro Iteration sind das also bestimmt acht Round-Trip-Times je nach Größe der Seite.
    Bei einer Paketumlaufzeit von 40ms sind das schon 320ms. Und das ist der Best-Case würde ich sagen ^^

    Wenn du es asynchron machst, dann läuft die Schleife sofort durch und im Hintergrund werden alle HTTP-Aufrufe gleichzeitig durchgeführt.
    Umgesetzt wird es durch eine Event Loop und läuft im selben Thread ab.

  2. Diesen Mitgliedern gefällt dieser Beitrag:


Ähnliche Themen

  1. Rclone / Plex optimieren
    Von ChAiN SaW im Forum Technik / Hardware & Software
    Antworten: 23
    Letzter Beitrag: 11.03.2023, 13:16
  2. Filmwiedergabe optimieren (NAS, Apple TV)
    Von Anteil im Forum Technik / Hardware & Software
    Antworten: 14
    Letzter Beitrag: 30.06.2021, 07:20
  3. (Suche) - Webseite: Script Bugs entfernen und optimieren (PHP?)
    Von Blackbird im Forum Entwickler / IT-Techniker
    Antworten: 2
    Letzter Beitrag: 02.12.2018, 19:07
  4. Temp ordner - was ist schneller?
    Von DrNice im Forum IntelliTool.it
    Antworten: 3
    Letzter Beitrag: 04.10.2017, 10:02
  5. (PHP) - Crawler optimieren?
    Von Nightmare im Forum Entwicklung / Programmierung
    Antworten: 8
    Letzter Beitrag: 18.02.2016, 01:59

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •  
SzeneBox.org... im Mittelpunkt der Szene!
© since 2015 szeneBOX.org - All Rights Reserved
Domains: www.szenebox.org