Zipf törvénye leírja, hogy a természetes nyelvű szó gyakorisága függ a frekvenciatáblázat rangsorától. Tehát a leggyakoribb szó kétszer olyan gyakran fordul elő,mint a második leggyakoribb munka, háromszor olyan gyakran, mint a következő szó, stb. A törvényt George Kingsley Zipf amerikai nyelvészről nevezték el, aki az első volt, aki 1935 körül megpróbálta megmagyarázni.

a számítógépes nyelvészet legnagyobb rejtélye

“azt hiszem, nyugodtan mondhatjuk, hogy A Zipf törvénye a számítógépes nyelvészet legnagyobb rejtélye” – mondja Sander Lestrade, a hollandiai nijmegeni Radboud Egyetem nyelvésze. “Annak ellenére, hogy több évtizedes elmélet, eredete továbbra is megfoghatatlan.”Lestrade most azt mutatja, hogy A Zipf törvénye a mondatok (szintaxis) szerkezete és a szavak (szemantika) jelentése közötti kölcsönhatással magyarázható egy szövegben. Számítógépes szimulációk segítségével meg tudta mutatni, hogy sem a szintaxis, sem a szemantika nem elegendő ahhoz, hogy önmagában zipfian eloszlást indukáljon, de ehhez a szintaxisnak és a szemantikának “szüksége van” egymásra.

“angol nyelven, de hollandul is csak három cikk, több tízezer főnév létezik” – magyarázza Lestrade. “Mivel szinte minden főnév előtt használ egy cikket, a cikkek gyakrabban fordulnak elő, mint a főnevek.”De ez nem elegendő A Zipf törvényének magyarázatához. “A főneveken belül nagy különbségeket is talál. A “dolog” szó például sokkal gyakoribb, mint a “tengeralattjáró”, így gyakrabban használható. De ahhoz, hogy valóban gyakran fordul elő, egy szó sem lehet túl általános. Ha megsokszorozza a jelentésbeli különbségeket a szóosztályokon belül, minden szóosztály szükségességével, csodálatos Zipfian eloszlást talál. Ez az eloszlás csak egy kicsit különbözik a Zipfian ideálistól, csakúgy, mint a természetes nyelv.”

nem csak előrejelzések alapján Lestrades új modell teljesen összhangban jelenségek találhatók a természetes nyelv, elmélete is tart szinte minden nyelven a világon, nem csak az angol vagy holland. Lestrade: “nagyon örülök ennek a megállapításnak, és meg vagyok győződve az elméletemről. Ennek ellenére a megerősítésnek más nyelvészektől kell származnia.”