I webmaster e i fornitori di contenuti hanno iniziato a ottimizzare i siti Web per i motori di ricerca a metà degli anni 1990, poiché i primi motori di ricerca stavano catalogando il primo Web. Inizialmente, tutti i webmaster dovevano solo inviare l’indirizzo di una pagina, o URL, ai vari motori che inviavano un crawler web per eseguire la scansione di quella pagina, estrarre collegamenti ad altre pagine da esso e restituire le informazioni trovate sulla pagina da indicizzare. Il processo comporta un motore di ricerca spider scaricare una pagina e memorizzarla sul proprio server del motore di ricerca. Un secondo programma, noto come indicizzatore, estrae informazioni sulla pagina, come le parole che contiene, dove si trovano e qualsiasi peso per parole specifiche, così come tutti i collegamenti che la pagina contiene. Tutte queste informazioni vengono quindi inserite in uno scheduler per la scansione in un secondo momento.

I proprietari di siti Web hanno riconosciuto il valore di un alto posizionamento e visibilità nei risultati dei motori di ricerca, creando un’opportunità sia per i professionisti SEO white hat che black hat. Secondo l’analista del settore Danny Sullivan, la frase “ottimizzazione dei motori di ricerca” probabilmente è entrata in uso nel 1997. Sullivan crediti Bruce Clay come una delle prime persone a diffondere il termine.

Le prime versioni degli algoritmi di ricerca si basavano su informazioni fornite dai webmaster come la parola chiave meta tag o i file indice in motori come ALIWEB. I meta tag forniscono una guida al contenuto di ogni pagina. L’utilizzo dei metadati per indicizzare le pagine è risultato non affidabile, tuttavia, perché la scelta delle parole chiave del webmaster nel meta tag potrebbe potenzialmente essere una rappresentazione imprecisa del contenuto effettivo del sito. I dati imprecisi, incompleti e incoerenti nei meta tag potrebbero e potrebbero causare il posizionamento delle pagine per ricerche irrilevanti. I fornitori di contenuti Web hanno anche manipolato alcuni attributi all’interno del sorgente HTML di una pagina nel tentativo di classificarsi bene nei motori di ricerca. Dal 1997, i progettisti dei motori di ricerca hanno riconosciuto che i webmaster stavano facendo sforzi per classificare bene nel loro motore di ricerca e che alcuni webmaster stavano persino manipolando le loro classifiche nei risultati di ricerca riempiendo le pagine con parole chiave eccessive o irrilevanti. I primi motori di ricerca, come Altavista e Infoseek, hanno regolato i loro algoritmi per impedire ai webmaster di manipolare le classifiche.

Facendo molto affidamento su fattori come la densità delle parole chiave, che erano esclusivamente sotto il controllo di un webmaster, i primi motori di ricerca soffrivano di abusi e manipolazione del ranking. Per fornire risultati migliori ai loro utenti, i motori di ricerca hanno dovuto adattarsi per garantire che le loro pagine dei risultati mostrassero i risultati di ricerca più rilevanti, piuttosto che pagine non correlate farcite con numerose parole chiave da webmaster senza scrupoli. Ciò significava allontanarsi dalla forte dipendenza dalla densità dei termini per un processo più olistico per il punteggio dei segnali semantici. Dal momento che il successo e la popolarità di un motore di ricerca è determinato dalla sua capacità di produrre i risultati più rilevanti per una determinata ricerca, scarsa qualità o risultati di ricerca irrilevanti potrebbero portare gli utenti a trovare altre fonti di ricerca. I motori di ricerca hanno risposto sviluppando algoritmi di classificazione più complessi, tenendo conto di ulteriori fattori che erano più difficili da manipolare per i webmaster.

Le aziende che impiegano tecniche eccessivamente aggressive possono ottenere i loro siti Web dei clienti vietati dai risultati di ricerca. Nel 2005, il Wall Street Journal ha riferito di una società, Traffic Power, che avrebbe utilizzato tecniche ad alto rischio e non ha rivelato tali rischi ai propri clienti. Wired magazine ha riferito che la stessa società citato in giudizio blogger e SEO Aaron Wall per aver scritto circa il divieto. Matt Cutts di Google in seguito ha confermato che Google ha infatti vietato il potere del traffico e alcuni dei suoi clienti.

Alcuni motori di ricerca hanno anche raggiunto il settore SEO, e sono frequenti sponsor e ospiti a conferenze SEO, webchats, e seminari. I principali motori di ricerca forniscono informazioni e linee guida per aiutare con l’ottimizzazione del sito web. Google ha un programma Sitemaps per aiutare i webmaster imparare se Google sta avendo problemi di indicizzazione loro sito web e fornisce anche i dati sul traffico di Google al sito web. Bing Webmaster Tools fornisce un modo per i webmaster di inviare una mappa del sito e feed web, consente agli utenti di determinare il “tasso di scansione”, e monitorare lo stato dell’indice delle pagine web.

Nel 2015, è stato riferito che Google stava sviluppando e promuovendo la ricerca mobile come una caratteristica chiave all’interno dei prodotti futuri. In risposta, molti marchi hanno iniziato ad adottare un approccio diverso alle loro strategie di marketing su Internet.

Rapporto con Google

Nel 1998, due studenti laureati della Stanford University, Larry Page e Sergey Brin, hanno sviluppato “Backrub”, un motore di ricerca che si basava su un algoritmo matematico per valutare l’importanza delle pagine web. Il numero calcolato dall’algoritmo, PageRank, è una funzione della quantità e della forza dei collegamenti in entrata. PageRank stima la probabilità che una determinata pagina venga raggiunta da un utente web che naviga casualmente sul Web e segue i collegamenti da una pagina all’altra. In effetti, ciò significa che alcuni link sono più forti di altri, poiché è più probabile che una pagina PageRank più alta venga raggiunta dal navigatore Web casuale.

Page e Brin hanno fondato Google nel 1998. Google ha attirato un seguito fedele tra il crescente numero di utenti di Internet, a cui è piaciuto il suo design semplice. Sono stati considerati fattori off-page (come PageRank e analisi dei collegamenti ipertestuali) e fattori on-page (come frequenza delle parole chiave, meta tag, intestazioni, collegamenti e struttura del sito) per consentire a Google di evitare il tipo di manipolazione visto nei motori di ricerca che consideravano solo fattori on-page per la loro classifica. Anche se il PageRank era più difficile da giocare, i webmaster avevano già sviluppato strumenti di link building e schemi per influenzare il motore di ricerca Inktomi, e questi metodi si sono dimostrati simili applicabili al PageRank di gioco. Molti siti si sono concentrati sullo scambio, l’acquisto e la vendita di link, spesso su larga scala. Alcuni di questi schemi, o link farm, hanno comportato la creazione di migliaia di siti al solo scopo di link spamming.

Nel 2004, i motori di ricerca avevano incorporato una vasta gamma di fattori non divulgati nei loro algoritmi di classificazione per ridurre l’impatto della manipolazione dei link. Nel giugno 2007, Saul Hansell del New York Times ha dichiarato che Google classifica i siti utilizzando più di 200 segnali diversi. I principali motori di ricerca, Google, Bing e Yahoo, non rivelano gli algoritmi che usano per classificare le pagine. Alcuni professionisti SEO hanno studiato diversi approcci per l’ottimizzazione dei motori di ricerca, e hanno condiviso le loro opinioni personali. I brevetti relativi ai motori di ricerca possono fornire informazioni per comprendere meglio i motori di ricerca. Nel 2005, Google ha iniziato a personalizzare i risultati di ricerca per ogni utente. A seconda della cronologia delle ricerche precedenti, Google ha creato i risultati per gli utenti registrati.

Nel 2007, Google ha annunciato una campagna contro i link a pagamento che trasferiscono PageRank. Il 15 giugno 2009, Google ha rivelato di aver adottato misure per mitigare gli effetti del PageRank sculpting utilizzando l’attributo nofollow sui link. Matt Cutts, un noto ingegnere del software di Google, ha annunciato che Google Bot non avrebbe più trattato alcun link nofollow, allo stesso modo, per impedire ai fornitori di servizi SEO di utilizzare nofollow per scolpire il PageRank. Come risultato di questo cambiamento l’utilizzo di nofollow ha portato all’evaporazione di PageRank. Per evitare quanto sopra, gli ingegneri SEO hanno sviluppato tecniche alternative che sostituiscono i tag nofollowed con JavaScript offuscato e quindi consentono di scolpire il PageRank. Inoltre sono state suggerite diverse soluzioni che includono l’utilizzo di iframe, Flash e JavaScript.

Nel dicembre 2009, Google ha annunciato che avrebbe utilizzato la cronologia delle ricerche web di tutti i suoi utenti al fine di popolare i risultati di ricerca. L ‘ 8 giugno 2010 è stato annunciato un nuovo sistema di indicizzazione web chiamato Google Caffeine. Progettato per consentire agli utenti di trovare risultati di notizie, post sul forum e altri contenuti molto prima dopo la pubblicazione rispetto a prima, Google Caffeina è stato un cambiamento nel modo in cui Google ha aggiornato il suo indice per far apparire le cose più velocemente su Google rispetto a prima. Secondo Carrie Grimes, l’ingegnere del software che ha annunciato la caffeina per Google, “La caffeina fornisce risultati 50 per cento più freschi per le ricerche web rispetto al nostro ultimo indice…”Google Instant, real-time-search, è stato introdotto alla fine del 2010 nel tentativo di rendere i risultati di ricerca più tempestivi e pertinenti. Storicamente gli amministratori del sito hanno trascorso mesi o addirittura anni ottimizzando un sito web per aumentare le classifiche di ricerca. Con la crescita della popolarità dei siti di social media e dei blog, i principali motori hanno apportato modifiche ai loro algoritmi per consentire ai contenuti freschi di classificarsi rapidamente nei risultati di ricerca.

Nel febbraio 2011, Google ha annunciato l’aggiornamento Panda, che penalizza i siti web contenenti contenuti duplicati da altri siti web e fonti. Storicamente i siti web hanno copiato i contenuti l’uno dall’altro e hanno beneficiato del posizionamento nei motori di ricerca impegnandosi in questa pratica. Tuttavia, Google ha implementato un nuovo sistema che punisce i siti il cui contenuto non è unico. Il 2012 Google Penguin ha tentato di penalizzare i siti web che hanno utilizzato tecniche manipolative per migliorare la loro classifica sul motore di ricerca. Anche se Google Penguin è stato presentato come un algoritmo volto a combattere lo spam web, si concentra davvero sui link di spam misurando la qualità dei siti da cui provengono i link. L’aggiornamento 2013 di Google Hummingbird ha caratterizzato un cambiamento di algoritmo progettato per migliorare l’elaborazione del linguaggio naturale di Google e la comprensione semantica delle pagine web. Il sistema di elaborazione del linguaggio di Hummingbird rientra nel termine recentemente riconosciuto di “ricerca conversazionale” in cui il sistema presta maggiore attenzione a ogni parola nella query al fine di abbinare meglio le pagine al significato della query piuttosto che a poche parole. Per quanto riguarda le modifiche apportate all’ottimizzazione dei motori di ricerca, per editori e scrittori di contenuti, Hummingbird ha lo scopo di risolvere i problemi eliminando contenuti irrilevanti e spam, consentendo a Google di produrre contenuti di alta qualità e affidarsi a loro per essere autori “fidati”.

Nell’ottobre 2019, Google ha annunciato che avrebbe iniziato ad applicare i modelli BERT per le query di ricerca in lingua inglese negli Stati Uniti. Rappresentazioni Encoder bidirezionali da Transformers (BERT) è stato un altro tentativo da parte di Google per migliorare la loro elaborazione del linguaggio naturale, ma questa volta al fine di comprendere meglio le query di ricerca dei loro utenti. In termini di ottimizzazione dei motori di ricerca, BERT intendeva connettere gli utenti più facilmente ai contenuti pertinenti e aumentare la qualità del traffico che arriva ai siti Web che si posizionano nella pagina dei risultati dei motori di ricerca.