Nel web ci sono numerosi template di Magento robots.txt, con decine di comandi per i crawler. Molti di questi sono specifici per prevenire gli spider dal leggere le directory di Magento. Ma a volte queste istruzioni, se non sono ben fornite, fanno si che le immagini non vengano lette da Google.
In questo articolo andrò a spiegarti il perchè questo succede e come risolvere il problema.
Il file robots.txt
Prima di tutto, andiamo ad analizzare che cosa è file robots.txt.
Questo è un file che serve tantissimo in quanto è quello che per prima viene letto dai motori di ricerca. Qui, gli spider trovano le informazioni, su come leggere il sito e così si comportano di conseguenza.
Nel filefile robots.txt due informazioni importantissime sono:
User-agent: Disallow:
User-agent ci fornisce il comando che diamo agli spider se seguire o non le cose che seguono.
Nel caso dell’esempio qui sopra, viene indicato che tutti gli “User-agent” (ad esempio il Googlebot) hanno il permesso a indicizzare le pagine e seguirne i link. Questo è il famoso (Index,Follow).
Aggiungendo una / Slash subito dopo il Disallow: / si ottiene l’esatto contrario che rappresenta il classico noindex,nofollow.
Potresti avere una o più definizioni di User-agent, ma ricordati che non si aggiungono, ogni gruppo è a se, e cosa più importante, le definizioni più specifiche hanno la precedenza rispetto alle altre.
Googlebot vs Googlebot-image
Google ha differenti bot/crawlers. Uno per le pagine statiche, un’altro per le pagine dinamiche, un altro ancora per le immagini e così via. Qui puoi vedere tutta la lista.
Grazie a questi hai la possibilità di creare le istruzioni che desideri a seconda del tuo scopo.
Tra le varie istruzioni che puoi fornire c’è la seguente:
Disallow: /media/
Questo specifico comando blocca tutti i crawler, che non vedono tutti file che si trovano sotto la cartella /media/. Di conseguenza anche le immagini non vengono viste.
Questo fatto potrebbe essere svantaggioso dal punto di vista della Seo in quanto tutte le immagini, ed altri file sotto la cartella media, non vengono considerate per il posizionamento. E questo penalizza senz’altro un sito web.
Perciò dovresti fare in modo che Googlebot-Image veda le immagini del tuo sito, e non le trascuri. Ecco come:
Dovresti inserire questo all’interno del file robots.txt:
# Google Image Crawler Setup
User-agent: Googlebot-Image
Disallow:
# all other crawlers
User-agent: *
Disallow: /media/
+[other instructions]
Se fai il test delle istruzioni su Google Webmasters Tools, otterrai questo:
Spero che questo breve articolo sull’indicizzazione di Google delle immagini in Magento ti sia stato utile, per migliorare il tuo posizionamento nei motori di ricerca.
Forse ti può interessare questo articolo riguardo l’ottimizzazione dei file robots.txt in Magento.
*Tratto da Inchoo