A Google Search Console már 2015-ben kezdte el a felhasználók figyelmeztetését arra vonatkozóan, hogy a JS és CSS fájlokat ne blokkolják, mivel egy fontos üzenetről van szó, így ezt nem lehet elégszer ismételni.

Ezeket a fájlokat nem érdemes blokkolni, mert a Google-t akadályozzuk meg abban, hogy átnézze az oldalt és megállapítja, jól működik-e. Ha a robots.txt fájlban blokkoljuk őket, a Google nem fogja tudni rendeltetésszerűen lefordítani magának az oldalt. Ez fogja azt eredményezni, hogy a Google nem lesz képes teljesen arra, hogy megértse a weboldalt, így vissza is sorolhatja azt a helyezésekben. Ez illeszkedik is abba az általános feltételezésbe, hogy a Google egyre inkább emberivé válik. A weboldalakat igyekszik úgy nézni, ahogyan egy emberi látogató tenné azt, így képes elkülöníteni az extrákat és a fő tartalmakat egyaránt, ugyanakkor azt is tudni szeretné, hogy fokozza-e vagy tönkreteszi a felhasználói élményt a JavaScript.

A webmestereket vezeti a Google, pontosabban a letiltott források ellenőrzésében a Google Console-on belül. A Google Search Console segítségével fájlokat lehet tesztelni, hogy megfelelnek-e a robots.txt beállításoknak a Crawl > Robots.txt teszterben. Az eszköz megmondja, hogy melyik fájl elfogadott és melyik nem a robots.txt fájlnak megfelelően. A robots.txt fájl megváltoztatásáig nyúlik vissza a blokkolt források feloldása. A fájlt úgy kell beállítani, hogy a Google hozzáférését tovább ne korlátozza a CSS és JS fájlok estében. Használjuk a Yoast SEO-t ha WordPress weboldallal dolgozunk, amely közvetlenül a Yoast SEO bővítményben megvalósítható. Nem jó döntés összességében blokkolni bármit is a robots.txt fájlban, kivéve, ha annak valós oka van.

A WordPress-ben a legtöbb esetben is jól lehet dolgozni a blokkolások beállítása nélkül. Gyakran látjuk, hogy a wp/admin nem engedélyezett a robot.txt fájlokban, de ez legtöbb esetben a Google abban is meggátolja, hogy bizonyos fájlokat elérjen, így ezen könyvtár letiltására nincs szükség. A Googlebot-ot abban ne gátoljuk meg, hogy a CSS és JS fájlokat zavartalanul elérje, hiszen ezek a fájlok teszik a Google számára lehetővé, hogy tisztességesen lefordítsa az oldalt és kialakítson egy képet róla. Amennyiben nem tudja, hogy néz ki, nem fogja megbízhatónak tartani, amely a helyezésekben is meg fog látszódni.