Fisierul robots.txt - ce este si cum te ajuta in procesul de optimizare SEO
Pentru ca magazinul tau MerchantPro sa poata fi descoperit de motoarele de cautare precum Google, Yahoo sau Bing, este necesar sa permiti accesul la paginile care doresti sa fie indexate.
Cu toate acestea, exista cateva pagini a caror afisare in rezultatele de cautare nu este necesara.
In acest sens, fisierul robots.txt cuprinde o serie de instructiuni oferite motoarelor de cautare si include o lista de parti ale website-ului care nu pot fi accesate de catre crawlerele motoarelor de cautare.
Varianta standard a fisierului robots.txt
Fisierul robots.txt poate fi accesat din Website > Editor templateuri. Continutul predefinit pentru fisierul robots.txt este urmatorul:
- User-agent - indica unui motor de cautare faptul ca exista o regula de aplicat;
- Disallow - indica unui motor de cautare sa nu indexeze pagina sau fisierul respectiv. In robots.txt este recomandata si adaugarea sitemap-ului.
Tag-ul Disallow marcheaza urmatoarele pagini pentru care nu este necesara indexarea in motoarele de cautare:
- Disallow: /html/ - face referire la paginile predefinite pentru erorile 404, 403 etc.;
- Disallow: /scripts/ - face referire la scripturi de callback plati sau alte scripturi care nu necesita indexare;
- Disallow: /invoice - face referire la linkurile pentru facturi;
- Disallow: /*?f=* - face referire la paginile de filtrare, cu minimum doua filtre aplicate (pagini marcate cu noindex pentru a nu fi indexate);
- Disallow: /*?fb_xd_fragment - face referire la elemente specifice Facebook care nu se indexeaza, precum click pe butonul Like;
- Disallow: /*?qty=* - face referire la link-urile de cart in cazul modificarii cantitatilor pentru produsele din cosul de cumparaturi.
Editarea fisierului robots.txt
Administrarea continutul asociat se poate face prin editarea inregistrarii fisierului robots.txt.twig din Website > Editor templateuri.
Nota
Varianta standard a fisierului robots.txt este creata astfel incat sa blocheze pagini a caror indexare nu este necesara si, totodata, sa nu permita anumitor motoare de cautare sa acceseze site-ul. Iti recomandam sa nu modifici continutul fisierului robots.txt, deoarece aceasta actiune poate avea efecte negative asupra modului in care magazinul este indexat de catre motoarele de cautare.
Poate fi o pagina indexata chiar daca este blocata din robots.txt?
Este posibil ca motoarele de cautare sa indexeze un fisier sau o pagina chiar daca acestea sunt blocate, prin utilizarea parametrului Disallow in robots.txt. In acest sens, pentru a anunta un motor de cautare ca nu este necesara indexarea unei anumite pagini, se foloseste si meta tagul noindex.