Robots.txt in Sitemap.xml

Robots.txt

Kaj je Robots.txt?

Robots.txt datoteka je datoteka, ki jo najdemo na večini spletnih strani, vsekakor pa na vseh dobro optimiziranih spletnih straneh. Gre za navadno besedilno (.txt) datoteko, ki je namenjena iskalnikom in njihovim robotkom, uporabniki pa je pravzaprav ne vidijo, saj na to datoteko ne kaže nobena povezava iz spletne strani. Glavna namena robots.txt datoteke sta dva, 1. da iskalnikom pove, katerih podstrani ali direktorijev naj se ne dotikajo, torej jih naj ne prikazujejo v iskalnih rezultatih in 2. da iskalnikom pove kje točno se nahaja sitemap.xml datoteka. Nahaja se vedno v osnovnem direktoriju vsake spletne strani, saj jo iskalniki na tem mestu pričakujejo in če je ni tukaj, bodo prepričani, da je enostavno ni.

Kako deluje Robots.txt?

Ko želi iskalni pajek obiskati spletno stran najprej preveri povezavo ime_domene/robots.txt, kjer najde:


User-agent: *                * pomeni, da se nanašajo na vse pajke
Disallow:                          brez oznake pomeni popoln dostop do vseh map in direktorijev

SITEMAP.XML

Kaj je Sitemap?

Sitemap je seznam vseh obstoječih podstrani na vaši spletni strani, izdelan v formatu .xml, ki pajkom omogoča lažje in hitrejše indeksiranje strani.

Kako izdelam zemljevid strani?

Za izdelavo zemljevida spletne strani je na spletu na voljo kar nekaj enostavnih orodij. Eno teh najdete recimo na www.xml-sitemaps.com. Vnesete domeno svoje spletne strani v okence in poženete kreiranje XML datoteke.

Za vse tiste, ki imate svojo spletno stran postavljeno na WordPressu, pa bo morda še najenostavneje, da to storite kar s pomočjo vtičnika Yoast SEO, ki se najde skorajda na vsaki tovrstni strani. Za začetek boste morali omogočiti funkcijo, s pomočjo katere bo vtičnik kreiral zemljevid strani. Celoten postopek najdete tukaj.

Dodajanje Sitemap datoteke v Google Search Console

Google bo prej ali slej sam našel vašo Sitemap .xml datoteko, vendar to lahko traja nekaj časa.  V kolikor želite, da Google vašo spletno stran začne indeksirati nemudoma, potem lahko Sitemap .xml datoteko vnesete direktno v Google Search Console. Tukaj se nahajajo Googlova navodila, ki so vedno aktualizirana.

Robots in Sitemap vam uredimo tudi mi

Datoteke Robots.txt in Sitemap.xml so praktično nujno potrebne za delovanje spletne strani ali trgovine. Le tako bodo iskalniki Google, Bing in ostali znali pravilno razumeti vašo stran. V kolikor potrebujete pomoč pri kreiranju datotek in pravilni konfiguraciji Google Search Console izpolnite spodnji obrazec in izberite opcijo Robots.txt in Sitemap.xml. V polje Vaše želje pa napišite vaše želje oziroma potrebe. V kratkem času vas kontaktiramo, da se dogovorimo za ureditev datotek Robots.txt in Sitemap.xml.

V kolikor že imate spletno stran ali trgovino vas naprošamo, da vpišete spletni naslov.