webbansvariga och innehållsleverantörer började optimera webbplatser för sökmotorer i mitten av 1990-talet, eftersom de första sökmotorerna katalogiserade den tidiga webben. Inledningsvis behövde alla webbansvariga bara skicka adressen till en sida eller URL till de olika motorerna som skulle skicka en webbsökare för att genomsöka den sidan, extrahera länkar till andra sidor från den och returnera information som finns på sidan som ska indexeras. Processen innebär att en sökmotorspindel laddar ner en sida och lagrar den på sökmotorns egen server. Ett andra program, känt som indexerare, extraherar information om sidan, till exempel orden Den innehåller, var de finns och vilken vikt som helst för specifika ord, liksom alla länkar som sidan innehåller. All denna information placeras sedan i en schemaläggare för genomsökning vid ett senare tillfälle.

webbplatsägare erkände värdet av en hög ranking och synlighet i sökmotorns resultat, vilket skapade en möjlighet för både White hat och black hat SEO-utövare. Enligt branschanalytiker Danny Sullivan kom frasen” sökmotoroptimering ” troligen i bruk 1997. Sullivan krediterar Bruce Clay som en av de första som populariserade termen.

tidiga versioner av sökalgoritmer förlitade sig på webmaster-tillhandahållen information som nyckelordet metatagg eller indexfiler i motorer som ALIWEB. Metataggar ger en guide till varje sidas innehåll. Att använda metadata för att indexera sidor visade sig dock vara mindre än tillförlitligt, eftersom webmasterens val av nyckelord i metataggen potentiellt kan vara en felaktig representation av webbplatsens faktiska innehåll. Felaktiga, ofullständiga och inkonsekventa data i metataggar kan och gjorde att sidor rankades för irrelevanta sökningar. Webbinnehållsleverantörer manipulerade också vissa attribut inom HTML-källan på en sida i ett försök att rangordna bra i sökmotorer. År 1997 insåg sökmotordesigners att webbansvariga gjorde ansträngningar för att rankas bra i sin sökmotor, och att vissa webbansvariga till och med manipulerade sina rankningar i sökresultaten genom att fylla sidor med överdrivna eller irrelevanta nyckelord. Tidiga sökmotorer, som Altavista och Infoseek, justerade sina algoritmer för att förhindra att webbansvariga manipulerar rankningar.

genom att starkt förlita sig på faktorer som sökordsdensitet, som uteslutande var inom en webmasters kontroll, drabbades tidiga sökmotorer av missbruk och rankningsmanipulation. För att ge bättre resultat till sina användare måste sökmotorer anpassa sig för att säkerställa att deras resultatsidor visade de mest relevanta sökresultaten, snarare än orelaterade sidor fyllda med många nyckelord av skrupelfria webbansvariga. Detta innebar att man rörde sig bort från stort beroende av termdensitet till en mer holistisk process för att göra semantiska signaler. Eftersom framgången och populariteten hos en sökmotor bestäms av dess förmåga att producera de mest relevanta resultaten för en viss sökning, kan dålig kvalitet eller irrelevanta sökresultat leda användare att hitta andra sökkällor. Sökmotorer svarade genom att utveckla mer komplexa rankningsalgoritmer, med hänsyn till ytterligare faktorer som var svårare för webbansvariga att manipulera.

företag som använder alltför aggressiva tekniker kan få sina klientwebbplatser förbjudna från sökresultaten. År 2005 rapporterade Wall Street Journal om ett företag, Traffic Power, som påstås använda högrisktekniker och misslyckades med att avslöja dessa risker för sina kunder. Wired magazine rapporterade att samma företag stämde bloggare och SEO Aaron Wall för att skriva om förbudet. Googles Matt Cutts bekräftade senare att Google faktiskt förbjöd Trafikkraft och några av sina kunder.

vissa sökmotorer har också nått ut till SEO-branschen och är frekventa sponsorer och gäster på SEO-konferenser, webchats och seminarier. Stora sökmotorer ger information och riktlinjer för att hjälpa till med webbplatsoptimering. Google har ett Sitemaps-program som hjälper webbansvariga att lära sig om Google har problem med att indexera sin webbplats och ger också data om Googles trafik till webbplatsen. Bing Webmaster Tools ger ett sätt för webbansvariga att skicka in en webbplatskarta och webbflöden, tillåter användare att bestämma ”crawl rate” och spåra webbsidornas indexstatus.

under 2015 rapporterades att Google utvecklade och marknadsförde mobilsökning som en nyckelfunktion inom framtida produkter. Som svar började många märken ta en annan inställning till sina marknadsföringsstrategier på Internet.

förhållande till Google

1998 utvecklade två doktorander vid Stanford University, Larry Page och Sergey Brin, ”Backrub”, en sökmotor som förlitade sig på en matematisk algoritm för att betygsätta framträdande webbsidor. Numret beräknat av algoritmen, PageRank, är en funktion av kvantiteten och styrkan hos inkommande länkar. PageRank uppskattar sannolikheten för att en viss sida kommer att nås av en webbanvändare som slumpmässigt surfar på webben och följer länkar från en sida till en annan. I själva verket betyder det att vissa länkar är starkare än andra, eftersom en högre PageRank-sida är mer sannolikt att nås av den slumpmässiga webbsurfaren.

Page och Brin grundade Google 1998. Google lockade en lojal följd bland det växande antalet Internetanvändare, som gillade sin enkla design. Off-page faktorer (såsom PageRank och hyperlänkanalys) beaktades liksom på sidan faktorer (såsom sökord frekvens, metataggar, rubriker, länkar och webbplatsstruktur) för att göra det möjligt för Google att undvika den typ av manipulation ses i sökmotorer som endast beaktas på sidan faktorer för deras ranking. Även om PageRank var svårare att spela, hade webbansvariga redan utvecklat länkbyggnadsverktyg och system för att påverka Inktomi-sökmotorn, och dessa metoder visade sig vara tillämpliga på spel PageRank. Många webbplatser fokuserade på att utbyta, köpa och sälja länkar, ofta i stor skala. Några av dessa system, eller länkgårdar, involverade skapandet av tusentals webbplatser för det enda syftet med länkspammning.

år 2004 hade sökmotorer införlivat ett brett spektrum av oupptäckta faktorer i sina rankningsalgoritmer för att minska effekterna av länkmanipulation. I juni 2007 New York Times Saul Hansell uppgav att Google rankar webbplatser med mer än 200 olika signaler. De ledande sökmotorerna, Google, Bing och Yahoo, avslöjar inte algoritmerna de använder för att rangordna sidor. Vissa SEO-utövare har studerat olika metoder för sökmotoroptimering och har delat sina personliga åsikter. Patent relaterade till sökmotorer kan ge information för att bättre förstå sökmotorer. 2005 började Google anpassa sökresultaten för varje användare. Beroende på deras historik över tidigare sökningar skapade Google resultat för inloggade användare.

2007 tillkännagav Google en kampanj mot betalda länkar som överför PageRank. Den 15 juni 2009 avslöjade Google att de hade vidtagit åtgärder för att mildra effekterna av PageRank-skulptur med hjälp av nofollow-attributet på länkar. Matt Cutts, en välkänd mjukvaruingenjör på Google, meddelade att Google Bot inte längre skulle behandla några nofollow-länkar på samma sätt för att förhindra att SEO-tjänsteleverantörer använder nofollow för PageRank sculpting. Som ett resultat av denna förändring ledde användningen av nofollow till avdunstning av PageRank. För att undvika ovanstående utvecklade SEO-ingenjörer alternativa tekniker som ersätter nofollowed taggar med obfuscated JavaScript och därmed tillåter PageRank sculpting. Dessutom har flera lösningar föreslagits som inkluderar användningen av Iframes, Flash och JavaScript.

i December 2009 meddelade Google att de skulle använda webbsökningshistoriken för alla sina användare för att fylla i sökresultat. Den 8 juni 2010 tillkännagavs ett nytt webbindexeringssystem som heter Google Caffeine. Utformad för att tillåta användare att hitta nyhetsresultat, foruminlägg och annat innehåll mycket tidigare efter publicering än tidigare, var Google Caffeine en förändring av hur Google uppdaterade sitt index för att få saker att dyka upp snabbare på Google än tidigare. Enligt Carrie Grimes, mjukvaruingenjören som tillkännagav koffein för Google, ” koffein ger 50 procent fräschare resultat för webbsökningar än vårt senaste index…”Google Instant, realtidssökning, introducerades i slutet av 2010 i ett försök att göra sökresultaten mer aktuella och relevanta. Historiskt har webbplatsadministratörer spenderat månader eller till och med år på att optimera en webbplats för att öka sökrankningen. Med tillväxten i popularitet av sociala medier och bloggar gjorde de ledande motorerna ändringar i sina algoritmer för att tillåta nytt innehåll att rangordna snabbt i sökresultaten.

i februari 2011 tillkännagav Google Panda update, som straffar webbplatser som innehåller innehåll duplicerat från andra webbplatser och källor. Historiskt har webbplatser kopierat innehåll från varandra och gynnats i sökmotorrankningar genom att delta i denna praxis. Google implementerade dock ett nytt system som straffar webbplatser vars innehåll inte är unikt. Google Penguin 2012 försökte straffa webbplatser som använde manipulativa tekniker för att förbättra sina rankningar på sökmotorn. Även om Google Penguin har presenterats som en algoritm som syftar till att bekämpa webbspam, fokuserar den verkligen på skräppostlänkar genom att mäta kvaliteten på de webbplatser länkarna kommer från. Google Hummingbird-uppdateringen 2013 innehöll en algoritmändring som syftar till att förbättra Googles naturliga språkbehandling och semantiska förståelse av webbsidor. Hummingbirds språkbehandlingssystem faller under den nyligen erkända termen ”konversationssökning” där systemet ägnar mer uppmärksamhet åt varje ord i frågan för att bättre matcha sidorna till betydelsen av frågan snarare än några ord. När det gäller de ändringar som gjorts i sökmotoroptimering, för innehållsutgivare och författare, är Hummingbird avsett att lösa problem genom att bli av med irrelevant innehåll och skräppost, så att Google kan producera innehåll av hög kvalitet och lita på att de är ’betrodda’ författare.

i oktober 2019 meddelade Google att de skulle börja tillämpa BERT-modeller för engelskspråkiga sökfrågor i USA. Bidirectional Encoder Representations from Transformers (BERT) var ett annat försök av Google att förbättra sin naturliga språkbehandling men den här gången för att bättre förstå användarnas sökfrågor. När det gäller sökmotoroptimering avsåg BERT att lättare ansluta användare till relevant innehåll och öka kvaliteten på trafiken som kommer till webbplatser som rankas på sökmotorns resultatsida.