a webmesterek és a tartalomszolgáltatók az 1990-es évek közepén kezdték el optimalizálni a keresőmotorok weboldalait, mivel az első keresőmotorok katalogizálták a korai internetet. Kezdetben minden webmesternek csak egy oldal vagy URL címét kellett elküldenie a különféle motorokhoz, amelyek webrobotot küldenek az oldal feltérképezéséhez, kivonják a linkeket más oldalakra, és visszaadják az indexelni kívánt oldalon található információkat. A folyamat során egy kereső pók letölt egy oldalt, majd tárolja a keresőmotor saját szerverén. Egy második, indexelőként ismert program kivonja az oldalra vonatkozó információkat, például a benne szereplő szavakat, ahol találhatók, valamint az adott szavak súlyát, valamint az oldal összes linkjét. Mindezt az információt ezután egy ütemezőbe helyezzük, hogy egy későbbi időpontban feltérképezzük.

a weboldal tulajdonosai felismerték a keresőmotor eredményeinek magas rangú és láthatósági értékét, lehetőséget teremtve mind a white hat, mind a black hat SEO szakemberek számára. Danny Sullivan ipari elemző szerint a “keresőmotor-optimalizálás” kifejezést valószínűleg 1997-ben használták. Sullivan jóváírja Bruce Clay-t, mint az egyik első embert, aki népszerűsítette a kifejezést.

a keresési algoritmusok korai verziói a webmester által szolgáltatott információkra támaszkodtak, mint például a kulcsszó metacímke vagy indexfájlok olyan motorokban, mint az ALIWEB. A metacímkék útmutatást nyújtanak az egyes oldalak tartalmához. A metaadatok használata az oldalak indexeléséhez azonban kevésbé megbízhatónak bizonyult, mivel a webmester kulcsszavak kiválasztása a metacímkében potenciálisan pontatlan ábrázolása lehet a webhely tényleges tartalmának. A metacímkékben lévő pontatlan, hiányos és következetlen adatok az oldalak rangsorolását eredményezhetik az irreleváns keresések esetében. A webes tartalomszolgáltatók manipuláltak néhány attribútumot az oldal HTML forrásán belül, hogy megpróbálják jól rangsorolni a keresőmotorokat. 1997-re a keresőmotor tervezői felismerték, hogy a webmesterek erőfeszítéseket tesznek annak érdekében, hogy jól rangsorolják a keresőmotorjukat, és hogy egyes webmesterek még a keresési eredmények rangsorolását is manipulálják azáltal, hogy túlzott vagy irreleváns kulcsszavakkal töltik be az oldalakat. A korai keresőmotorok, mint például az Altavista vagy az Infoseek, módosították algoritmusaikat, hogy megakadályozzák a webmestereket a rangsorok manipulálásában.

azáltal, hogy erősen támaszkodott olyan tényezőkre, mint például a kulcsszó sűrűsége, amelyek kizárólag a webmester irányítása alatt álltak, a korai keresőmotorok visszaélést és rangsorolási manipulációt szenvedtek. Ahhoz, hogy jobb eredményeket, hogy a felhasználók, a keresőmotorok kellett alkalmazkodni annak biztosítása érdekében, hogy az eredmények oldalak azt mutatták, a legrelevánsabb keresési eredmények, nem pedig a független oldalak töltött számos kulcsszavak gátlástalan webmesterek. Ez azt jelentette, hogy távolodjon el a kifejezéssűrűségtől a holisztikusabb folyamatig a szemantikai jelek pontozásához. Mivel a keresőmotor sikerét és népszerűségét az határozza meg, hogy képes-e az adott keresés legfontosabb eredményeit előállítani, a rossz minőségű vagy irreleváns keresési eredmények arra késztethetik a felhasználókat, hogy más keresési forrásokat találjanak. A keresőmotorok összetettebb rangsorolási algoritmusok kidolgozásával válaszoltak, figyelembe véve azokat a további tényezőket, amelyeket a webmesterek számára nehezebb volt manipulálni.

a túlzottan agresszív technikákat alkalmazó vállalatok az ügyfél webhelyeit betilthatják a keresési eredményekből. A Wall Street Journal 2005-ben számolt be egy olyan cégről, A Traffic Powerről, amely állítólag magas kockázatú technikákat alkalmazott, és nem hozta nyilvánosságra ezeket a kockázatokat ügyfeleinek. A Wired magazin arról számolt be, hogy ugyanez a cég beperelte a bloggert és SEO Aaron Wallt, amiért a tiltásról írt. A Google Matt Cutts később megerősítette, hogy a Google valójában betiltotta a forgalmi energiát és néhány ügyfelét.

néhány keresőmotor is felkereste a SEO iparágat, és gyakori szponzorok és vendégek SEO konferenciákon, webchatokon és szemináriumokon. A főbb keresőmotorok információkat és iránymutatásokat nyújtanak a weboldal optimalizálásához. A Google egy Sitemaps programot, hogy segítsen a webmesterek megtanulják, ha a Google problémái vannak indexelés a honlapon, valamint adatokat szolgáltat a Google forgalom a honlapon. A Bing Webmaster Tools lehetőséget biztosít a webmesterek számára a webhelytérkép és a webes hírcsatornák benyújtására, lehetővé teszi a felhasználók számára a “feltérképezési arány” meghatározását, valamint a weboldalak index állapotának nyomon követését.

2015-ben arról számoltak be, hogy a Google a jövőbeli termékeken belül kulcsfontosságú elemként fejleszti és népszerűsíti a mobil keresést. Válaszul, sok márka kezdett, hogy egy másik megközelítés, hogy az internetes marketing stratégiák.

Kapcsolat a Google

1998-Ban, két végzős hallgatók a Stanford Egyetemen, Larry Page, valamint Sergey Brin, a fejlett “Hátmasszázs”, kereső támaszkodott egy matematikai algoritmus, hogy értékelje a hangsúlyt a weboldalakat. Az algoritmus által kiszámított szám, a PageRank a bejövő linkek mennyiségének és erősségének függvénye. A PageRank becslése szerint egy adott oldal elérésének valószínűsége egy olyan webfelhasználó által történik, aki véletlenszerűen szörföz az interneten, és az egyik oldalról a másikra mutató linkeket követi. Valójában ez azt jelenti, hogy egyes linkek erősebbek, mint mások, mivel egy magasabb PageRank oldalt nagyobb valószínűséggel ér el a véletlenszerű internetes szörfös.

Page és Brin 1998-ban alapították a Google-t. A Google hűséges követést vonzott az egyre növekvő számú Internet-felhasználó között, akiknek tetszett az egyszerű kialakítása. Off-page tényezők (mint például a PageRank illetve hivatkozás elemzés) tekintették, valamint az oldalon szereplő tényezők (mint például a kulcsszó gyakorisága, meta tag-ek, címek, linkek, site struktúra), hogy engedélyezi a Google, hogy elkerüljék a fajta manipuláció láttam a keresőkben, hogy csak az tekinthető a oldal tényezők a rangsorban. Bár a PageRank-ot nehezebb volt játszani, a webmesterek már kifejlesztettek linképítő eszközöket és rendszereket az Inktomi keresőmotor befolyásolására, és ezek a módszerek hasonlóan alkalmazhatónak bizonyultak a gaming PageRank esetében is. Sok webhely a linkek cseréjére, vásárlására és értékesítésére összpontosított, gyakran hatalmas léptékben. Néhány ilyen rendszerek, vagy link gazdaságok, létrehozása több ezer oldalak kizárólag a link spam.

2004-re a keresőmotorok számos nyilvánosságra nem hozott tényezőt beépítettek rangsorolási algoritmusaikba a linkmanipuláció hatásának csökkentése érdekében. 2007 júniusában a New York Times Saul Hansell szerint a Google több mint 200 különböző jelet használva rangsorolja a webhelyeket. A vezető keresőmotorok, a Google, a Bing és a Yahoo nem hozzák nyilvánosságra azokat az algoritmusokat, amelyeket az oldalak rangsorolására használnak. Egyes SEO szakemberek tanulmányozták a keresőmotor optimalizálásának különböző megközelítéseit, és megosztották személyes véleményüket. A keresőmotorokkal kapcsolatos szabadalmak információkat szolgáltathatnak a keresőmotorok jobb megértéséhez. 2005-ben a Google elkezdte személyre szabni a keresési eredményeket minden felhasználó számára. A korábbi keresések előzményeitől függően a Google a bejelentkezett felhasználók számára készített eredményeket.

2007 – ben a Google kampányt jelentett be a PageRank-ot átutaló fizetett linkek ellen. 2009.június 15-én a Google nyilvánosságra hozta, hogy intézkedéseket hoztak a PageRank szobrászat hatásainak enyhítésére a nofollow attribútum linkekre történő használatával. Matt Cutts, a Google jól ismert szoftvermérnöke bejelentette, hogy a Google Bot már nem kezeli a nofollow linkeket ugyanúgy, hogy megakadályozza a SEO szolgáltatókat abban, hogy a nofollow-t használják a PageRank szobrászathoz. Ennek a változásnak köszönhetően a nofollow használata a PageRank elpárologtatásához vezetett. A fentiek elkerülése érdekében a SEO mérnökei olyan alternatív technikákat fejlesztettek ki, amelyek a nofollowed címkéket elmosódott JavaScriptre cserélik, így lehetővé teszik a PageRank szobrászatát. Emellett számos olyan megoldást javasoltak, amelyek magukban foglalják az iframe-ek használatát, a Flash-t és a Javascriptet.

2009 decemberében a Google bejelentette, hogy az összes felhasználó webes keresési előzményeit fogja használni a keresési eredmények feltöltése érdekében. 2010. június 8-án bejelentették a Google Caffeine nevű új webes indexelő rendszert. Úgy tervezték, hogy a felhasználók sokkal hamarabb találhassanak híreket, fórumokat és más tartalmakat a közzététel után, mint korábban, a Google koffein megváltoztatta az index frissítésének módját annak érdekében, hogy a dolgok gyorsabban jelenjenek meg a Google-on, mint korábban. Carrie Grimes, a Google számára koffeint bejelentő szoftvermérnök szerint ” a koffein 50 százalékkal frissebb eredményeket biztosít a webes keresésekhez, mint az utolsó indexünk…”A Google Instant, valós idejű keresést 2010 végén vezették be annak érdekében, hogy a keresési eredmények időszerűbbek és relevánsabbak legyenek. Történelmileg a webhely adminisztrátorai hónapokat vagy akár éveket töltöttek egy webhely optimalizálásával a keresési rangsor növelése érdekében. A közösségi oldalak, blogok népszerűségének növekedésével a vezető motorok módosították algoritmusaikat, hogy a friss tartalmak gyorsan rangsorolhassanak a keresési eredmények között.

2011 februárjában a Google bejelentette a Panda frissítést, amely bünteti a más weboldalakról és forrásokból duplikált tartalmat tartalmazó webhelyeket. Történelmileg weboldalak másolt tartalmat egymástól, és részesült a keresőmotorok rangsorolását azáltal, hogy ezt a gyakorlatot. A Google azonban egy új rendszert vezetett be, amely bünteti azokat a webhelyeket, amelyek tartalma nem egyedi. A 2012-es Google Penguin megpróbálta büntetni azokat a webhelyeket, amelyek manipulatív technikákat alkalmaztak a keresőmotor rangsorolásának javítása érdekében. Bár a Google Penguint olyan algoritmusként mutatták be, amely a webes spam elleni küzdelmet célozza, valóban a spam-linkekre összpontosít azáltal, hogy felméri a webhelyek minőségét, amelyekből a linkek származnak. A 2013-as Google Hummingbird-frissítés olyan algoritmusváltást tartalmazott, amelynek célja a Google természetes nyelvfeldolgozásának és a weboldalak szemantikai megértésének javítása. A kolibri nyelvfeldolgozó rendszere a “társalgási keresés” újonnan elismert kifejezésébe tartozik, ahol a rendszer nagyobb figyelmet fordít a lekérdezés minden egyes szavára annak érdekében, hogy jobban illeszkedjen az oldalakhoz a lekérdezés jelentéséhez, nem pedig néhány szó. Azzal kapcsolatban, hogy a változások search engine optimization, a tartalom kiadók, írók, Kolibri célja, hogy megoldja a problémákat megszabadulni irreleváns tartalmak, spam, amely lehetővé teszi, hogy a Google jó minőségű tartalom, számíthat rájuk, hogy “megbízható” szerzők.

2019 októberében a Google bejelentette, hogy elkezdi alkalmazni a BERT modelleket az angol nyelvű keresési lekérdezésekhez az Egyesült Államokban. A Transformers (BERT) kétirányú kódoló ábrázolása a Google újabb kísérlete volt a természetes nyelv feldolgozásának javítására, de ezúttal a felhasználók keresési lekérdezéseinek jobb megértése érdekében. Ami a keresőmotor optimalizálását illeti, A BERT célja, hogy könnyebben összekapcsolja a felhasználókat a releváns tartalmakkal, és növelje a keresőmotor találati oldalán rangsorolt webhelyekre érkező forgalom minőségét.