2016 Fiscal Year Research-status Report
研究成果の評価指標開発：ソーシャルメディアにおけるインパクト実証研究
| Project/Area Number |
16K12770
|
|---|
| Research Institution | Doshisha University |
|---|
Principal Investigator |
山田 礼子 同志社大学, 社会学部, 教授 (90288986)
|
|---|
| Project Period (FY) |
2016-04-01 – 2018-03-31
|
| Keywords | 研究IR / 評価指標 / ビブリオメトリクス / オルトメトリックス / 学術文献データベース / ソシオメトリックス |
|---|
| Outline of Annual Research Achievements |
これまで，研究の実績(Performance)における研究の成果(Product)として，施策の意図した結果(Outcome)，それをもたらす活動の結果(Output)，意図した結果以外の波及効果(Impact)という分類が行われてきた．高等教育機関の研究について，「国の研究開発評価に関する大綱的指針」（平成24年12月）では，研究開発課題の主な評価の実施方法として，有効性の観点から見込まれる波及効果の内容等の視点が明示されていることに着目し，本申請の課題を設定した．日本でも，多視点で即時的な影響度を波及効果として測定する手法が，林隆之／山下泰弘（「ビブリオメトリクスを用いた大学研究活動の自己分析」2011年），吉田光男（「計量書誌学の新たな挑戦」2014年）等により考察されている．プロの研究者のジャーナル評価以外に，社会各層の関係者のソーシャルメディアを介した評価も含め，研究の成果と影響度の可視化に向けた効果的な指標の開発はほとんど行われていない．
本研究では，こうした新しい指標をどう開発し，研究評価として利用できるかという課題をソーシャルメディアという視点から探求することに主眼を置いた．当初はソーシャルメディアの様々な指標を実験的に活用したが，なかなか安定的な結果が得られないことが判明し，現段階では，科研費データベースでの分野間での協力度合，ビッグデータのなかにあるデータから研究評価指標の新たな側面として利用できないかどうかを現在若手研究者を中心に試行錯誤している．5回の研究会と「大学のワールドランキングと研究動向」というテーマで海外からの招聘者6名を含む11名の発表者による国際会議を2017年3月に開催した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初は,ソーシャルメディアの指標を使い,研究IRとし新たな評価指標を開発できないかということが大きな目的であった.このために,年度の前半はソーシャルメディアの指標を使っての評価研究を行っている研究者を招いて研究会を開催し,様々な知見を得ようと試みた.実際,若手研究者を中心のオータナティブな指標を使って研究の評価を試みたが,やはりデータが安定するとはいえず,どうしても社会的関心がその時期にある分野や情報発信の多いところに偏るなど正確な評価になりえないのではないかという仮説を持つに至った．このことがかえって，どのような指標が安定的な研究評価になりうるのかという原点に立ち返っての研究の方向を確認するに至っている．一環の確認作業を通して，論文の評価に用いられる指標の1つとして従来から重視されてきた被引用数に再度着目した．この被引用数を引用ネットワークを用いてのクラスタリングすることに初年度の後半は注力してきた．計量社会調査の手法（ソシオメトリックス）により，学術文献情報のアクセス，ソーシャメディアの言及等の電子情報を計量分析（オルトメトリックス）を行って，成果の受信者からの発言の意図を対面調査で検証して，波及効果に妥当な意味づけを付与する．論文公開時の情報をもとに，2～3年後のIF評価を見通し成果の影響度の予測を行って，後続の研究計画の一助とすることが可能になるという道筋へとつながる一歩であると思われるからである．
|
| Strategy for Future Research Activity |
論文の評価に用いられる指標の1つとして被引用数がある．しかし，研究分野によって1論文に対する引用数が異なるため，被引用数は研究分野を超えて比較することが難しい．また，研究分野自体も区切りが難しく，被引用数を用いて評価するために適切な区切りは難しい．そこで，引用ネットワークを用いて，論文をクラスタリングすることで，分野を抽出し，その中での論文の役割をネットワーク構造の指標を用いて定量化した．また，クラスタ内で正規化することで，論文間のある種の比較を可能とした．今年度は本方法を深化させ,安定化することに注力をする.平成29年度はもともと評価指標の項目測定とモデル化において，研究成果による影響度について，波及効果の指標を含めた統合的な新指標の評価体系案のモデル化を行う．新指標にもとづく仮説をSNS調査データで検証し、評価体系とする.特定の研究プロジェクト下の論文や発表活動を選定し，Twitter／Facebook各データから，話題や評判の文字情報，いいね!等の反応を課題・時系列の視点で，限定的にパイロット分析を行う．Twitter／Facebookの一定期間（半年程度）データを対象に，前述の分析を本申請者の研究コミュニティ（高等教育、教育政策等）に関連する論文や発表活動に拡大適用し，分析ソフトウェア機能の極力網羅的に利活用を図った分析を行う．先に理論・体系化を図った評価体系，新指標の項目・基準について，実データで妥当性を検証し，再考すべきモデルの構成要素（数式、パラメータ）や要考察データがあれば，体系の修正を検討するという研究計画を立てていた．しかし,Twitter／FacebookというSNSのデータは偏りがあり安定していないことが判明した為に，SNSデータではなく,引用ネットワークを用いての指標開発に重きを置くことに変更する.
|
| Causes of Carryover |
「大学ランキングとSTEM研究，研究IR」に関する国際会議を開催するにあたって，招聘者の一人の謝金（交通費を含む）が日本での他大学での用務があることから，謝金が半分程度の出費でよくなった．そのため25万円あまりの結果としての差が生じた．
|
| Expenditure Plan for Carryover Budget |
25万生じた費用は，1．本年度の研究の海外投稿論文の英文校閲費として計上し，活用することを計画している．あるいは2．「ビブリオメトリクスと大学ランキングの関係」について専門的に研究しているゲストを招聘しての研究会開催を計画している．
|
