| 研究課題/領域番号 |
18650016
|
|---|
| 研究種目 |
萌芽研究
|
| 配分区分 | 補助金 |
|---|
| 研究分野 |
メディア情報学・データベース
|
|---|
| 研究機関 | 北海道大学 |
|---|
研究代表者 |
吉井 伸一郎 北大, 情報科学研究科, 助教授 (00374611)
|
|---|
| 研究期間 (年度) |
2006 – 2008
|
| 研究課題ステータス |
完了 (2007年度)
|
| 配分額 *注記 |
2,200千円 (直接経費: 2,200千円)
2007年度: 1,000千円 (直接経費: 1,000千円)
2006年度: 1,200千円 (直接経費: 1,200千円)
|
|---|
| キーワード | モデル化 / ネットワーク生態系 / WWW / 複雑系 / コンテンツ・アーカイブ |
|---|
| 研究概要 |
WWWにおける情報伝播は、ウェブのコンテンツを相互結合するハイパーリンクの構造によって変化する一方、情報伝播の結果によってハイパーリンクの構造もまた、同時に変化する。本研究対象は、こうした構造と現象の変化の連環から成る複雑系である。このような複雑系にアプローチしていくために、本年度は以下の研究課題を進めた。
・WWWクローラによる各種パラメータ観測システムの開発
導入予定の計算機システムを用いてWWW上のハイパーリンクを渡り歩いて情報を収集するクローラシステムを開発した。一般的にWWWクローラとは、検索用のインデックスを作成するために自然言語解析等を行うが、本研究では、情報ネットワーク生態系の進化ダイナミクスを解明することが目的であるので、ハイパーリンクの構造やページの更新日時等のパラメータを収集するクローラを開発する。
・HTTPクライアントの作成
上記のWWWクローラを作成するためのツールとして、高機能なHTTPクライアントを開発した。URLを指定するのみでWeb上のデータを取得することが可能なため、通常のものに比ベコーディング量を大幅に減らすことができる。具体的機能として、クローリングの際に適切なべ一ジ取得間隔をあける、プロキシが必要な場合は自動的に選択したプロキシを利用する、認証が求められた場合は設定されたアカウントとパスワードによって認証を行うことができる、リダイレクトを自動的に処理し所望のページを取得することが可能である、ヘッダの更新日時を取得することで無駄なページの取得をしなくてもすむ、等の機能を有する。
|
