robots.txt joomlaUtilizzando la riscrittura degli Url di Joomla può capitare che vengano generate Url di questo tipo:

nomesito.it/categoria/nome-pagine.html
nomesito.it/Categoria/Nome-Pagine.html

La differenza tra le due Url è che in uno i caratteri sono tutti in minuscolo, nell’altro ci sono caratteri in maiuscolo.
Cosa significa? Se si effettua un “site:dominio.tld” si scopre che entrambi gli Url sono presenti nell’indice del motore, generando quindi blocchi di contenuti identici all’interno dello stesso dominio.
Durante il crawling gli algoritmi del motore decideranno quale sia la miglior versione della pagina ma è sicuramente una soluzione migliore indicare quale è la nostra versione preferita (naturalmente le pagine con url in minuscolo).

Lo strumento per comunicare al crawler le nostre intenzioni è come al solito il file robots.txt:

Disallow: /*A*
Disallow: /*B*
Disallow: /*C*
Disallow: /*D*
Disallow: /*E*
Disallow: /*F*
Disallow: /*G*
Disallow: /*H*
Disallow: /*I*
Disallow: /*L*
Disallow: /*M*
Disallow: /*N*
Disallow: /*O*
Disallow: /*P*
Disallow: /*Q*
Disallow: /*R*
Disallow: /*S*
Disallow: /*T*
Disallow: /*U*
Disallow: /*V*
Disallow: /*Z*
Disallow: /*Y*
Disallow: /*W*
Disallow: /*J*
Disallow: /*K*
Disallow: /*X*

Come è facile intuire, indichiamo al crawler di non indicizzare tutti gli url che hanno una lettera maiuscola dopo l’estensione del dominio.
Inoltre, se non vogliamo perdere i backlink delle vecchie Url possiamo completare l’opera con un redirect 301 dal file .htaccess alle nuove Url.

Siamo stati utili? 😉