I softwares che scandagliano la rete per catalogarne i contenuti si chiamano "Spiders". Il processo di catalogazione o indicizzazione da parte degli spiders avviene in continuazione, 24 ore su 24. Considerando la vastità delle pagine web presenti in rete, è comprensibile che possano occorrere settimane prima che uno stesso spider torni a visitare un sito e, quindi, ad aggiornare i suoi indici in funzione di eventuali cambiamenti.

I diversi spiders utilizzano differenti criteri per l'estrazione delle parole chiave dalle pagine web che sondano. Questi criteri sono codificati a livello informatico in degli algoritmi. Questi algoritmi permettono un'indicizzazione completamente automatica che esula completamente dall'intervento umano. Alcuni di questi algoritmi implementano delle reti neurali.

Ciò consente loro di "imparare" dalla rete e dai suoi contenuti per combattere contro lo spamming che alcuni Search Engine Optimizer effettuano per far apparire un sito migliore di quello che è.
Gli spiders incontrano però grosse difficoltà nell'interpretazione degli effetti grafici avanzati che abbondano nella maggior parte dei siti.
In particolare, i menu in Flash, seppur molto appariscenti appariscenti per l'uomo, nascondono i collegamenti ipertestuali dentro i files di animazione, rendendo impossibile agli spiders di seguire la rete di link interna al sito. Questo porta il motore di ricerca a non indicizzare molte pagine del sito facendolo ritenere più piccolo e, quindi, meno rilevante, nel posizionamento.
Un'altra fonte di problemi per l'indicizzazione è costituita dallo strumento dei "frames". Il web designer spesso untilizza i frames per evitare di dover riscrivere i menù di navigazione nelle varie pagine web che compongono il sito. Il motore di ricerca quindi rischia di indicizzare le varie pagine che concorrono ai frames, facendo apparire al potenziale cliente solo il menù o solo i contenuti di ciascuna pagina con il risultato che il cliente abbandona al più presto il sito in oggetto.
I cosiddetti Javascript vanno incontro a problemi analoghi a quelli descritti per le animazioni flash. Molti dei motori di ricerca più importanti, non riescono ad interpretare correttamente i link cui rimandano gli script con il risultato di far apparire un sito più piccolo e meno pertinente agli occhi degli spiders.
Riassumendo una buona pagina web deve essere il giusto compromesso fra l'impiego di grafica che colpisca l'occhio "umano" del potenziale cliente e quello "robotizzato" degli spiders che vedono i testi, i link ecc. Trovare questo compromesso è compito dell'ottimizzatore della pagina web.