Cum blochez indexarea anumitor pagini din magazin?
Platforma MerchantPro foloseste marcajele "disallow", "nofollow" si "noindex" pentru a optimiza indexarea in rezultatele la cautari prin restrictionarea accesului robotilor motoarelor de cautare la anumite pagini ce pot genera continut duplicat.
Marcajele utilizate au urmatoarele roluri:
Tag-ul "disallow" - este folosit in cadrul fisierului robots.txt pentru a nu permite motoarelor de cautare sa citeasca continutul din pagina respectiva, insa aceasta pagina poate fi in continuare indexata si astfel link-ul catre pagina va fi listat in rezultatele de cautare. Exemplu: Disallow: /dashboard)
Tag-ul "nofollow" - este o valoare care poate fi asignata unui link dintr-o pagina pentru a indica motoarelor de cautare ca respectivul hyperlink nu ar trebui luat in considerare in calcularea page ranking-ului. Adaugat in header-ul paginii, nofollow opreste citirea tuturor link-urilor din acea pagina, insa pagina si continutul din pagina vor putea fi indexate. Exemplu tag in pagina: meta name="robots" content="nofollow" />; Exemplu tag pe link individual: < a href="shop.demo.ro/dashboard" rel="nofollow" >< /a>;
Tag-ul "noindex" - poate fi adaugat la nivel de pagina si permite motoarelor de cautare sa gaseasca acea pagina, dar este descurajata indexarea respectivei pagini si nu va fi inclusa in rezultatele de cautare. Link-urile existente in acea pagina pot fi parcurse de crawleri, iar acele noi pagini vor fi indexate daca nu contin la randul lor tag-ul noindex. Exemplu: < meta name="robots" content="noindex" />;
Important
Odata setat tag-ul "disallow", crawlerii (botii) nu vor putea citi pagina si astfel nu vor putea gasi meta tag-ul "noindex". Astfel, paginile care au tag-ul "disallow" nu vor fi automat eliminate din rezultatele cautarilor in cazul in care au fost deja indexate.
Nota
Pentru a se evita indexarea, cat si citirea continutului unei pagini de catre crawleri, este necesar sa fie setat mai intai tag-ul "noindex" (daca pagina fost deja indexata). Dupa ce pagina este eliminata din rezultatele la cautari, poate fi adaugat si tag-ul "disallow" pentru ca informatiile din pagina sa nu mai fie citite de catre crawleri.