| Project/Area Number |
18650016
|
|---|
| Research Category |
Grant-in-Aid for Exploratory Research
|
| Allocation Type | Single-year Grants |
|---|
| Research Field |
Media informatics/Database
|
|---|
| Research Institution | Hokkaido University |
|---|
Principal Investigator |
吉井 伸一郎 北大, 情報科学研究科, 助教授 (00374611)
|
|---|
| Project Period (FY) |
2006 – 2008
|
| Project Status |
Completed (Fiscal Year 2007)
|
| Budget Amount *help |
¥2,200,000 (Direct Cost: ¥2,200,000)
Fiscal Year 2007: ¥1,000,000 (Direct Cost: ¥1,000,000)
Fiscal Year 2006: ¥1,200,000 (Direct Cost: ¥1,200,000)
|
|---|
| Keywords | モデル化 / ネットワーク生態系 / WWW / 複雑系 / コンテンツ・アーカイブ |
|---|
| Research Abstract |
WWWにおける情報伝播は、ウェブのコンテンツを相互結合するハイパーリンクの構造によって変化する一方、情報伝播の結果によってハイパーリンクの構造もまた、同時に変化する。本研究対象は、こうした構造と現象の変化の連環から成る複雑系である。このような複雑系にアプローチしていくために、本年度は以下の研究課題を進めた。
・WWWクローラによる各種パラメータ観測システムの開発
導入予定の計算機システムを用いてWWW上のハイパーリンクを渡り歩いて情報を収集するクローラシステムを開発した。一般的にWWWクローラとは、検索用のインデックスを作成するために自然言語解析等を行うが、本研究では、情報ネットワーク生態系の進化ダイナミクスを解明することが目的であるので、ハイパーリンクの構造やページの更新日時等のパラメータを収集するクローラを開発する。
・HTTPクライアントの作成
上記のWWWクローラを作成するためのツールとして、高機能なHTTPクライアントを開発した。URLを指定するのみでWeb上のデータを取得することが可能なため、通常のものに比ベコーディング量を大幅に減らすことができる。具体的機能として、クローリングの際に適切なべ一ジ取得間隔をあける、プロキシが必要な場合は自動的に選択したプロキシを利用する、認証が求められた場合は設定されたアカウントとパスワードによって認証を行うことができる、リダイレクトを自動的に処理し所望のページを取得することが可能である、ヘッダの更新日時を取得することで無駄なページの取得をしなくてもすむ、等の機能を有する。
|
