|
インターネットのID付ブログ記事のデータを解析し、キーワードの出現頻度に関する経験的な法則を統計物理学の方法を用いて網羅的に探し出す研究を進めている。その結果、人間の書き込み特性に関して、以下の2つの普遍的な性質が観測された。
そのひとつが、単語の出現頻度の累積分布が傾き-1のべき分布となるZipfの法則である。IDの異なるブロガーを観測した結果、高頻度で用いられる単語の種類は、一人一人それぞれ異なるが、個々の単語の使用頻度においてジップ則が成り立っていることを確認した。ジップの法則は、企業所得の分布やインターネットサイトのアクセスランキングなど、他の社会科学の現象でも観測されている。
もうひとつの普遍的な性質として、Heapsの法則が観測された。これは、観測した総単語数(生態系では個体数)と新単語数(異なる種の数)の関係がべき乗であることを示した法則であり、生態系などでは、この関数関係をrarefactionと呼んでいる。既存研究では、Zipfの法則で観測されたべき分布の指数とHeapsの法則で観測されるべき乗の指数関係が知られているが、本研究では、潜在的な新単語数が有限である効果をモデルに取り込み、より詳細に観測結果と合うようにrarefactionの関係式を発展させ、定式化した。その結果、個々のブロガーがもつ潜在的な単語数が見積もれるようになった。
上記の拡張したrarefactionを推定する手法は、ブログデータ以外にも、限られたサンプルから例えば腸内細菌の潜在的な種類の数を推定する問題などに応用可能であると期待される。
|
