Citation analysis and peer ranking of Australian social science journals / Haddow & Genoni(2010)

Citation - Haddow, G., & Genoni, P. (2010). Citation analysis and peer ranking of Australian social science journals. Scientometrics, 85(2), 471-487.

Keyword -

Abstract

澳洲社會科學的引文分析由Web of Science 與 Scopus 中取得資料。 這些期刊的排名資料是為了2010澳洲卓越研究計畫(Excellence in Research for Australia, ERA)而進行比較與分析。 排名取決於各種以引文為基礎的指數,包括了:期刊影響力指數(extended Journal impact factor), H指數(h-index), 修正期刊擴散指數(modified journal diffusion factor)。

本研究發現,Scopus 資料庫提供更多期刊與更多引文數量。然而,對期刊排名與衍生的引文資料間缺乏關聯。 以及 澳洲卓越研究計畫 利用這些引文分析 對澳洲社會科學研究者的影響。

Content

儘管澳洲研究諮議會(ARC)認為ERA能妥善的處理各學科領域的不同,但人文與創作藝術學科(Humanities and the Creative Arts)的研究計畫卻得以豁免於ERA評鑑之中。這說明了ERA無法真正妥善的處理學科間差異。本文的目的在於說明ERA也無助於社會科學研究。

研究目的:評估 > 引文量測指標 對 社會科學期刊品質 的 有效性。

引文分析指標不適用於澳洲社會科學的原因,有三點:

  • 對 引文量測指標 是否能 有效 代表 研究品質 的 質疑
    the problematic usefulness of citation-based measures as an indication of research quality or impact;
  • 社會科學研究者 與 其他科學家 在 學術傳播活動 上 的 差異
    the second to the differences between the scholarly communication practices of social science researchers and those of science researchers (for whom citation indexes were initially developed);
  • 採用 引文索引資料庫(Web-of-Science, Scopus) 對 澳洲社會科學期刊 的 適當性
    the adequacy of the two main citation indexes in providing citations data for Australian social science journals.

引文索引涵蓋度問題

Hicks: 「由於社會科學研究的是研究者自己所處的社會,本質上更趨於國內的脈絡」。如果社會科學研究者選擇通過發表在聚焦於國內事務的期刊,則可能不會為收錄範圍有限的主流引文索引所涵蓋,而使得引用資料的可取得性受到限制。
HICKS, ‘‘because social sciences investigate society they are oriented to their social context and are inherently more national’’ (p. 202). If social science researchers choose to publish (and are more likely to have their articles accepted) in journals that focus on national issues then the availability of citations data for these publications will be limited due to the restricted coverage of the main citation indexes.

澳洲研究卓越計畫 (Excellence in Research for Australia, ERA)

澳洲研究卓越計畫(Excellence in Research for Australia, ERA)是由澳洲研究諮議會(Australian Research Council, ARC)所發展的。計畫中的一部分在建立研究期刊排名:包含了澳洲與非澳洲出版的研究期刊,並將期刊根據所出版的論文品質分為四級:A*, A, B, 與 C。
Excellence in Research for Australia (ERA), developed by the Australian Research Council (ARC). An important component of ERA is a list of journals ranked in four tiers, A*, A, B and C, which will be used to indicate the ‘quality’ of articles published in those journals…. Australian and non-Australian journals across all disciplines are represented in the list.

目前(2010)期刊的學科分類是根據「研究領域分類碼(Field of Research code, FoR code)」。而澳洲研究諮議會(ARC)很少針對不同的學科領域差異做出相關規範,只憑引文指標而很少有學術同儕判斷。
At the time of writing, disciplinary groups are in the process of reviewing the journals listed in their corresponding Field of Research (FoR) code, a numeric indicator for subject areas (Australian Bureau of Statistics 2008). The ARC provided very few guidelines to direct the initial journal ranking process and the methods used by different disciplinary groups varied widely (Genoni and Haddow 2009), with some utilising metrics such as citation-based indicators, while others ranked titles solely on peer judgments.

Note

最終主要批評涵蓋率的問題。