Als Website-Betreiber fragt man sich zunehmend, ob eine Website unbedingt statisch sein muss, damit es keine Probleme mit dem Crawling seitens der Suchmaschinen gibt.
Das moderne Web hat sich weiterentwickelt und immer mehr Websites werden "dynamisch" und "flexibel":
- Inhalte werden per AJAX nachgeladen, sobald der Nutzer eine Aktion ausführt, zum Beispiel einen Artikel vollständig gelesen hat.
- Bilder werden nur geladen, wenn ein Nutzer weit genug auf der Seite gescrollt hat.
- Es werden die Inhaltsvorschläge nachgeladen, die am besten zu den Interessen des Nutzers passen.
- Auch Anzeigen werden dynamisch geladen, wenn der Nutzer bereit ist, sie zu sehen.
Das Web ist heute dynamisch, AJAX ist heute überall, auch wenn du es nicht auf den ersten Blick siehst.
Es sollte niemanden überraschen, dass sich auch die Suchmaschinen diesem Trend angepasst haben und Webseiten jetzt genauso darstellen wie moderne Browser wie Firefox und Chrome.
Google hat Ende 2015 offiziell bestätigt, dass der GoogleBot dynamische Webseiten, die mit AJAX implementiert wurden, lesen und crawlen kann. Der GoogleBot verhält sich wie ein normaler Browser, wenn er eine Seite aufruft.
Wenn also die Seite oder Teile davon dynamisch geladen werden, wenn der GoogleBot sie besucht, wird der GoogleBot warten, bis der Inhalt vollständig geladen ist - du solltest den Bot aber nie zu lange warten lassen...
Es gibt keine offiziellen Angaben von Google, wie lange der GoogleBot wartet, bis eine Seite vollständig geladen ist, aber eine Recherche führt zu dem Ergebnis, dass die Seite idealerweise unter 3 Sekunden laden sollte, um Crawling-Probleme zu vermeiden.
