prawo Zipfa opisuje, w jaki sposób częstotliwość występowania słowa w języku naturalnym zależy od jego rangi w tabeli częstotliwości. Tak więc najczęstsze słowo występuje dwa razy częściej niż drugie najczęstsze dzieło, trzy razy częściej niż kolejne słowo i tak dalej, aż do najmniej częstego słowa. Prawo to zostało nazwane na cześć amerykańskiego językoznawcy George ’ a Kingsleya Zipfa, który jako pierwszy próbował je wyjaśnić około 1935 roku.

największa tajemnica lingwistyki komputerowej

„myślę, że można śmiało powiedzieć, że prawo Zipfa jest największą tajemnicą w lingwistyce komputerowej”, mówi Sander Lestrade, językoznawca na Uniwersytecie Radboud w Nijmegen w Holandii. „Pomimo dziesięcioleci teoretyzowania, jego początki pozostają nieuchwytne.”Lestrade pokazuje teraz, że prawo Zipfa można wyjaśnić interakcją między strukturą zdań (składnia) a znaczeniem słów (semantyka) w tekście. Korzystając z symulacji komputerowych, był w stanie pokazać, że ani składnia, ani semantyka nie wystarczają do samodzielnego wywołania dystrybucji Zipfiana, ale że składnia i semantyka „potrzebują” siebie nawzajem do tego.

„w języku Angielskim, ale także w języku niderlandzkim, istnieją tylko trzy artykuły i dziesiątki tysięcy rzeczowników”, wyjaśnia Lestrade. „Ponieważ używasz przedimka przed prawie każdym rzeczownikiem, artykuły występują znacznie częściej niż rzeczowniki.”Ale to nie wystarczy, aby wyjaśnić prawo Zipfa. „Wewnątrz rzeczowników można również znaleźć duże różnice. Na przykład słowo „rzecz” jest znacznie bardziej powszechne niż „łódź podwodna”, a zatem może być używane częściej. Ale aby rzeczywiście często występować, słowo nie powinno być zbyt ogólne. Jeśli pomnożysz różnice w znaczeniu w klasach wyrazów, z potrzebą każdej klasy wyrazów, znajdziesz wspaniałą dystrybucję Zipfian. I ten rozkład różni się tylko trochę od ideału Zipfian, tak jak język naturalny.”

przewidywania oparte na nowym modelu Lestradesa są nie tylko całkowicie zgodne ze zjawiskami występującymi w języku naturalnym, jego teoria dotyczy również prawie każdego języka na świecie, nie tylko angielskiego czy holenderskiego. Lestrade: „jestem zachwycony tym odkryciem i jestem przekonany o mojej teorii. Jednak jego potwierdzenie musi pochodzić od innych językoznawców.”