1
Zipfの法則は、自然言語における単語の頻度が頻度表内のランクにどのように依存するかを したがって、最も頻繁な単語は、2番目に頻繁な作業の2倍、後続の単語の3倍の頻度で発生し、最も頻度の低い単語まで発生します。 この法律は、1935年頃にそれを説明しようとした最初のアメリカの言語学者George Kingsley Zipfにちなんで命名されました。
計算言語学における最大の謎
“Zipfの法則は計算言語学における最大の謎であると言っても安全だと思います”と、オランダのナイメーヘンにあるRadboud大学の言語学者であるSander Lestrade氏は述べています。 “理論化の数十年にもかかわらず、その起源はとらえどころのないままです。”レストレードは今、Zipfの法則は、文の構造(構文)とテキスト内の単語の意味(意味論)との間の相互作用によって説明できることを示しています。 コンピュータシミュレーションを用いて、彼は構文も意味論もジップフィアン分布を単独で誘導するのに十分ではないことを示すことができたが、その構文と意味論はお互いに”必要”であることを示すことができた。
“英語ではなく、オランダ語でも、唯一の三つの記事、および名詞の数万人があり、”レストレードは説明しています。 “あなたはほとんどすべての名詞の前に記事を使用するので、記事は名詞よりも頻繁に発生します。”しかし、それはZipfの法則を説明するのに十分ではありません。 “名詞の中で、あなたはまた、大きな違いを見つけます。 例えば、”thing”という言葉は”submarine”よりもはるかに一般的であり、より頻繁に使用することができます。 しかし、実際に頻繁に発生するためには、単語もあまりにも一般的であってはなりません。 単語クラス内の意味の違いを、すべての単語クラスの必要性と掛け合わせると、壮大なジップフィアン分布が見つかります。 そして、この分布は、自然言語が行うのと同じように、ジップフィアン理想とは少しだけ異なります。”
だけでなく、自然言語で見つかった現象と完全に一致したレストレードの新しいモデルに基づいて予測され、彼の理論はまた、英語やオランダ語だけでなく、世界のほぼすべての言語のために保持しています。 レストレード:”私はこの発見に大喜びしています、そして私は私の理論を確信しています。 それでも、その確認は他の言語学者から来なければなりません。”
Leave a Reply