W przypadku usług hostingowych Linux i WP Ready wdrożyliśmy środki zapobiegające przeciążeniu naszych serwerów przez boty, które mają negatywny wpływ na nasze klastry. Środki te obejmują blokowanie niektórych programów użytkownika w oparciu o ustalone zasady i ograniczenia. Jednym z takich botów jest
facebookexternalhit/1.1 (
więcej informacji), który może powodować problemy z ładowaniem podglądu stron na Facebooku.
Jak działa limit botów?
Wprowadziliśmy limit 30 zapytań jednego bota dla domeny na minutę. Jeśli ten limit zostanie przekroczony, serwer zwróci błąd 429 (zbyt wiele zapytań). Wdrożenie limitu botów jest kluczowe dla stabilności i wydajności naszych serwerów, oraz ma na celu ochronę zasobów przed przeciążeniem.
Problem powiązany z Facebookiem
facebookexternalhit to robot, który przeszukuje strony internetowe i buforuje je w celu ewentualnego udostępnienia przez użytkowników. Ten bot zapewnia dostępność prawidłowych podglądów, tytułów, opisów i innych metadanych podczas udostępniania treści na Facebooku.
Niestety, bot ten jest zaprojektowany w taki sposób, że jeśli napotka błąd 429, buforuje go. Oznacza to, że jeśli użytkownik udostępni następnie na Facebooku stronę, dla której zastosowano ten limit, zamiast oczekiwanego podglądu wyświetli się błąd. W takim przypadku klienci często zgłaszają, że udostępnianie nie działa prawidłowo i uważają, że problem leży po stronie naszego hostingu.
Rozwiązanie problemu
W rzeczywistości wina leży po stronie Facebooka i jego bota
facebookexternalhit. Problem można rozwiązać za pomocą narzędzia do rozwiązywania problemów o nazwie
Facebook Sharing Debugger. Wklej adres URL problematycznej strony do debugera i pozwól mu go przeanalizować. Narzędzie pozwoli Ci ponownie załadować zawartość i zaktualizować pamięć podręczną po stronie Facebooka.
Za pomocą Debuggera możesz także sprawdzić jakie błędy zostały wykryte na stronie i ewentualnie dokonać dalszych korekt w celu optymalizacji podglądu.