Indeksowanie

Zanim Silktide będzie mógł cokolwiek przetestować, musi to pobrać. Robot indeksujący rozpoczyna od strony głównej Twojej witryny, odczytuje znalezione treści, podąża za linkami i kontynuuje działanie, aż obejmie wszystko w zakresie.

Przez większość czasu proces ten jest niewidoczny, a jego wyniki widzisz tylko w Inwentarzu. W tej sekcji wyjaśniamy, jak działa pobieranie — oraz co zrobić, gdy witryna odpowiada wolno, odrzuca żądania lub wyświetla Silktide coś innego niż Tobie.

Jak działa indeksowanie

• Jak Silktide indeksuje — testowanie w prawdziwej przeglądarce, strony a pliki oraz ogólny model pobierania.
• Wykrywanie — jak adresy URL trafiają do kolejki z linków, map witryn i wymuszonych stron.
• Reguły zakresu — reguły dozwolone, zablokowane i wymuszone oraz dlaczego cała witryna opiera się wyłącznie na adresach URL.

Łączenie i ładowanie

• Skąd łączy się Silktide — adresy IP AWS, serwery proxy i agent użytkownika.
• Ładowanie strony — limity czasu, banery plików cookie, przewijanie, tryb ukryty i inne ustawienia zaawansowane.

Gdy coś pójdzie nie tak

• Ograniczanie liczby żądań i ponowne próby — co się dzieje, gdy witryna odrzuca żądania przychodzące zbyt szybko.
• Gdy indeksowanie się nie powiedzie — ochrona przed botami, uwierzytelnianie, nieprawidłowa treść i inne typowe blokady.

Powiązane

• Zakres testowania — jak Silktide określa, które treści wykrywać i analizować.
• Co testujemy — skonfiguruj dozwolone, zablokowane i wymuszone reguły adresów URL.
• Ustawienia zaawansowane — równoległe żądania, limity czasu ładowania stron, serwer proxy i inne ustawienia ładowania.
• Pokrycie inwentarza — dlaczego to, co znalazł Silktide, może różnić się od listy w CMS.