Meta är ju vad det är, i detta sammanhang något som ligger i headern och beskriver dokumentet på en rad olika sätt.
Meta kan beskriva nyckelorden för sajten (meta keywords, värdelöst idag), men har också ett element som lyder robots. Tanken är att det är för dom som inte kan ändra i sin robots.txt (en fil som berättar för robots såsom t.ex. Google-bot vilka sidor den får besöka, vilka som inte ska indexeras osv) kan ge instruktioner där. Idag använder man inte (antar jag) robots.txt så meta robots är the way to go om man har något man inte vill ska synas i sökmotorerna (prislistor, tack för ditt mail-sidor osv).
den skrivs i stil med i headern om man vill hindra indexering och hindra att den följer länkarna på sidan.
Förmodligen har du snubblat över någon som menat att du ”måste” skriva INDEX, FOLLOW så att du är säker på att googlebot indexerar din sida och följer länkarna?
Denne någon har förmodligen IQ under 2 eftersom min katt har listat ut att det ligger i en sökmotors intresse att indexera sidor och följa länkar, och därmed vore det högst märkligt om den besökte din sida (annars kan den ju inte läsa dina instruktioner), men inte tog med den i sitt index bara för att du inte bad den göra det. Index och follow är alltså i högsta grad standard.
.
.
