BajtoviBot
BajtoviBot je mali program Bajtova koji prati cene tehnike u srpskim online prodavnicama. Cilj je jednostavan: da čitaocima kažemo da li je neki popust stvarno popust, poređenjem sa najnižom cenom iz prethodnih 30 i 90 dana.
Kako ga prepoznati
Svaki zahtev nosi ovaj User-Agent:
BajtoviBot/0.1 (+https://bajtovi.com/bot/)Šta čita
- Samo stranice proizvoda sa našeg ručno izabranog spiska (trenutno oko 200 proizvoda), nikad celu prodavnicu.
- Sa stranice uzima samo strukturisane podatke (schema.org): cenu, dostupnost i EAN kod. Tekstove, slike i recenzije ne čuva i ne kopira.
- Ne prijavljuje se na nalog, ne šalje formulare, ne koristi pretragu i ne dodaje parametre u adresu.
Koliko često
- Jednu stranicu proizvoda čita otprilike na svakih 7 sati (najređe na 12, najčešće na 6 sati).
- Zahtevi idu jedan po jedan, raspoređeni tokom celog dana: prodavnica dobija otprilike jedan zahtev na nekoliko minuta.
Pravila koja poštuje
robots.txtčita jednom dnevno i poštuje pravila zaBajtoviBoti za*.- Ako prodavnica odgovori sa 403, pauzira je 24 sata. Na 429 i greške servera (5xx) pauzira od 1 do 24 sata i poštuje
Retry-After. - Prodavnice koje botove blokiraju ne čitamo i ne zaobilazimo blokadu.
Kako da ga isključite
Dodajte ovo u robots.txt vaše prodavnice. BajtoviBot prestaje da je čita najkasnije za 24 sata:
User-agent: BajtoviBot
Disallow: /Ako vam više odgovara da nam cene šaljete preko feed-a ili API-ja umesto da ih bot čita, javite nam se. To je za nas bolje rešenje.