张娟:综合评价机制在核心期刊测定中的运用研究——以档案学核心期刊测定 ...
张娟:综合评价机制在核心期刊测定中的运用研究——以档案学核心期刊测定的实证分析为例 [转贴 2010-05-11 19:22:23]   

文章来源:

综合评价机制在核心期刊测定中的运用研究

——以档案学核心期刊测定的实证分析为例

 

张娟   (南京大学信息管理系  江苏南京  邮编210000)

 

摘要:目前我国国内对核心期刊的遴选存在多种体系,多种方法。各种测算方法虽都各俱独特之处,但也未必尽善尽美。笔者在对几种常用评价方法优劣之处进行简单分析后指出综合评价方法不失为一种可以兼顾各自优势又能避免单一方面片面性的良策,并以档案学类核心期刊的综合测定方法(文摘法、引文法、h指数的结合)为例进行定量实证分析,以期进一步完善核心期刊评价机制。

关键词:核心期刊测定   综合评定方法    档案学实证分析

 

1引言

据中国政法大学杨玉圣教授介绍,当初我国引进核心期刊的初衷有二:一是为图书馆收藏期刊提供“参考”;二是为读者选择、阅读期刊文献提供“门径”。但在随后,国内核心期刊的原始功能逐步退化,反而其附带功能——评价功能渐趋突出。大学和一些研究机构从便利管理出发,把核心期刊的评价功能作为科研、教师管理和研究生科研能力的手段。在此,笔者暂且不对选用核心期刊作为学术水平评价机制的合理性作深入分析,因为在能推出更为科学的评价和管理机制之前,妄加批驳似乎也不可为。因此笔者在此仅试图探寻一种使这种评价机制更为完善的途径与方法。

2核心期刊传统评价方法

目前我国国内对核心期刊的遴选就有多种体系,其中比较典型的有:北京大学图书馆“中文核心期刊”、南京大学“中文社会科学引文索引(CSSCI)来源期刊”、中国科学技术信息研究所“中国科技论文统计源期刊”(又称“中国科技核心期刊”)。而众多遴选系统采用的具体方法更是多种多样:同行评价方法、布拉德福测定法、引文法、文摘法、流通法、影响因子法和最近几年提出的h指数评价方法等。各种测算方法虽各俱独特之处,但也存在不同程度的缺陷1]。

2.1文摘法

文摘法是以社会科学领域xx性的转录刊物、文摘或者题录刊物收录情况作为衡量社会科学研究成果价值和质量的重要标识。如中国人民大学的《复印报刊资料》就是全文转载的类型。但是文摘法是以xxxx为基础的方法,具有一定的主观性,且是在特定期限内的决定,一旦形成就无法更改替换、查漏补缺,存在一定的偶然性。同时转录刊物本身篇幅的限制一定程度也影响了小型高质量专业期刊的评定。

2.2引文法(论文被引用次数)

引文分析是指通过对文献之间的引用关系进行分析,以揭示文献群内存在的数量特征和内在规律的一种文献计量研究方法。由于引文法弥补了只以论文数量的多少为依据而没有考虑论文质量的那些方法的缺陷,因而成为测定核心期刊常用的方法之一。此外,该方法另一大优越就是它不仅可以测定像档案学这样的专业性核心期刊,而且也可以用于测定多学科综合性的核心期刊(包括报纸刊物),其应用范围比较广泛。但事实上,引文法也是存在诸多缺陷的。

2.2.1引文法本身的缺陷

引文率的高低固然可以说明论文被引用的程度,但也有例外。如有些高引文率只是由于自引或是因某种功利的目的而被人情引用;相反,引文率低的也不一定xx是没水平的,这与许多因素相关2]:比如论文可能因刊登在新刊上而未得到公平对待,再如正文使用的文种、出版者地位、专业范围、论文数量等都会影响引文的结果。

2.2.2引文法实践中的不良效应

引文法在实践中的过分死板运用可能会对学术研究、期刊发展、整个学科的建设造成不良的影响。①期刊过分依赖引文的指标很容易出现的“马太效应”倾向。类似《档案学通讯》、《档案学研究》等{yl}期刊会因为较高的认同度而创造更高的引用指数,而处于弱势或新生地位的期刊却因永远无人问津而惨淡经营,面临停刊的危机。②期刊的创刊宗旨逐渐背离初衷。期刊的出现为学科学术研究提供了共享信息传播知识的平台,是为学术研究者服务,而评价排行背后的利益引诱让学术期刊逐渐背离原轨,带有浓厚的功利主义色彩。高引文率似乎掩盖了学者的学术轨迹,与发文数量、发文质量的延续性、一贯性脱离了联系,只要创造数篇的辉煌即可得到学术界的认同。③引文分析往往只注意分析期刊论文的引文,而忽视了对会议录、论文集、科技报告等其他类型的出版物的重视。

2.3h指数

所谓的h指数是美国科学家Hirsch在2005年提出的用来测评科学家学术成就的一个新的评价指标,该评价指标巧妙地将数量指标(论文数量)和质量指标(被引频次)结合在一起,引起学术界高度关注。Hirsch将h指数定义为:一位作者的h指数等于其发表的所有论文中至少有h篇被引了h次以上。此值一开始是为了评价科学工作者个人成就的,后来经布劳恩(Braun)等人的发展也将该方法用于评价科学共同体或期刊的成就。

h指数的一大优势就是不仅能将论文的发文量与引文量结合,一定程度上能够解决传统的文献计量学指标的局限性,而且h指数是一个稳健的累积指标,不随未被引用论文数的增加而改变,因而单纯论文数量的增长对该指标不会产生直接的影响;h指数能够测度科学家的持久绩效,而不仅仅是测量其科学成就的峰值(此点恰好与引文法互补)3]。但是,h指数也存在缺陷。①h指数对于那些刚开始从事科学研究的人员而言是不利的,因为他们的发文量和引文率相对较低。②根据h指数的定义,它不能超越论文数量的界限,因此它不利于那些论文数量少而被引频次高的学术研究者。③这项指标有可能造成研究者们继续科研的动力不足,因为研究者即使没有新的论文产生,以往的论文仍然有可能获得被引数量,进而引起h指数的增加。④h指数的操作过程与引文数据库的结构特征密切相关。以笔者曾经进行的一次调查实践为例。笔者在调查主题为“档案学{yl}期刊核心作者群”时,将南京大学CSSCI引文数据库作为统计数据源,时间跨度为2000-2008年,但在实践中遇到诸多不便。按h值定义,笔者需要调出2000-2008年内作者的发文篇数、每篇被引频次(9年的整合数据),但CSSCI引文数据库没有很好的实现不同年度数据的整合,即分年度罗列,且同一篇论文在不同引用年度出现时被计为不同篇数,也就是说其统计的总发文篇数比实际值偏大,而9年的每篇被引频次整合甚至需要人工逐年计算。除此,该数据库不能解决同名作者的筛选等问题。当然,一个新生事物的出现,其配套辅助工具的发展必然要有一段探索完善的过程,但其发展的程度与速度无疑影响了h指数测算方法的推广利用。(以上是针对h指数评价科学工作者个人成就而言)

2.4其他方法的局限

布拉德福定律是由英国xx文献学家B.C.Bradford于20世纪30年代率先提出的描述文献分散规律的经验定律。其核心思想核心区、相关区、非相关区期刊数量之间1:n:n2的关系已得到实践验证。但一定程度上说,利用此法测定核心期刊对于登载论文较少而却是对口的期刊来说就有可能排除在外;流通法是根据期刊流通状况衡量其质量,确定核心期刊,但也只能鉴别本馆既有期刊的质量,受本单位、本地区的局限,且存在相同读者间的重复借阅,借了不用和指导性期刊的借阅次数少等情况,因而其统计结果也不能全面反映实际情况4];影响因子法即把某种期刊在前两年发表的论文在该年被引用的总次数除以该期刊在这两年内发表的论文总数而得的数据。相对指标避免了{jd1}数的偶然性,但也存在2年为一周期的误差。至于同行评价法与其他几种具体操作方法不同的是,它是一种指导性方法,不仅注重结果,也看重过程,其评价具有相当的客观性,可以内化在具体的操作行为中,与其他具体方法并用。

以上分析不难发现,在测定核心期刊时单一使用任何一种方法都可能造成某些方面不同程度的片面性,而客观事物又是由不同属性、不同侧面,组成的,如只从一个角度,只依据一个方面对客观事物进行评价,片面性在所难免,因此单一使用上述任何一种方法确定核心期刊都不够理想。目前,众多学者纷纷提出了“综合评价法”的理念,力图兼顾期刊载文的数量和质量,又可以克服单一评价方法的片面性。笔者认为此方法是具有实际指导意义的,在此对该方法在档案学核心期刊测定过程中的情况作一尝试。

3综合评价法测定档案学类核心期刊

3.1文摘法测档案学核心期刊

为保证数据准确完整,笔者首先将CNKI数据库中收录的28种档案及博物馆类期刊(其中档案类期刊24种,除《城建档案》外即23种)组成初步筛选母本,凡被中国人民大学的《复印报刊资料》(以下简称《资料》)转载的期刊按刊载论文数从高到低排列,时间跨度为2000-2009年十年(较长的时间跨度可以避免偶然性,减少误差)。

表一:文摘法测定档案学核心期刊统计表

顺序号

来源期刊

转载量

所占比例

顺序号

  来源期刊

  转载量 

 所占比例

1

档案学通讯

165

16.68%

11

机电兵船档案

    23

   2.33%

2

中国档案

149

15.07%

12

  湖北档案

    22

   2.22%

3

档案学研究

132

13.35%

13

档案天地

18

1.82%

4

浙江档案

91

9.20%

14

档案时空

12

1.21%

5

档案与建设

80

8.09%

15

四川档案

11

1.11%

6

档案管理

70

7.08%

16

兰台内外

9

0.91%

7

山西档案

61

6.17%

17

   档案

7

0.71%

8

兰台世界

47

4.75%

18

云南档案

2

0.20%

9

上海档案

45

4.55%

18

山东档案

2

0.20%

10

北京档案

43

4.35%

 

 

 

 

当然《资料》上刊载的有关档案工作、档案事业、档案学等方面文章不仅来自档案专业期刊,还有来自其他综合类期刊、报刊等资料,这里笔者对其他类型不作讨论。

3.2引文法测档案学核心期刊

对于引文法的优劣之处笔者在上文中已经分析,为尽大可能的减小误差,笔者在此采用引文二次分析法对档案学核心期刊进行测定。引文二次分析法的基本思路是:从一种或数种期刊出发统计该刊所载专业文献的全部期刊引文,在此基础上找出被引率{zg}的多种期刊进行第二次引文统计,然后进行系统分析测定专业核心期刊。这种分析的{zd0}优点是5]:①排除了期刊所存在的自引率偏高和文种限制等方面的影响;②克服了选择统计期刊过程中的盲目性和主观性。

笔者选用《档案与建设》2008年(CNKI对2009年期刊未收录齐全)全部论文引文情况作为统计对象。统计结果得:403篇论文共引用63种期刊(其中部分为非档案专业期刊),总引用频次107次,表二列出了引用频次大于2的13种期刊名称(已去除非本专业期刊)。

表二:《档案与建设2008年引用期刊分布情况》

序号

期刊刊名

    引用频次   

序号    

期刊刊名

引用频次

1

档案学通讯

       27

8

兰台世界

   

2

档案学研究 

      

9

山西档案

   

3

中国档案

       

10

山东档案

   

4

档案与建设

      

11

四川档案

   

5

北京档案

      

12

湖北档案

   

6

浙江档案

      

13

机电兵船档案

    2

7

档案管理

      

 

总频次

   107

由于前7种期刊被引频次已达82%,因此选取1-7号期刊二次统计源,利用CNKI数据统计每种期刊在2008年引用情况。

表三:7种期刊2008年引用情况统计表(即引文法测定档案学核心期刊统计表)

序号

      

被引用期刊\二次源

 

档案学通讯

档案学研究

中国档案

档案管理

浙江档案

山西档案

档案与建设

总和

1

档案学通讯

87

40

11

61

32

14

27

272

2

档案学研究

37

27

5

27

4

5

16

121

3

中国档案

42

17

3

24

10

7

12

115

4

档案管理

9

10

2

65

6

0

7

99

5

浙江档案

15

13

2

19

10

3

8

70

6

北京档案

12

4

1

17

4

2

9

49

7

兰台世界

16

11

0

5

4

0

6

42

8

档案与建设

9

4

1

11

5

2

9

41

9

山西档案

8

1

0

6

2

3

4

24

10

云南档案

15

1

0

1

1

0

0

18

11

档案

3

4

1

4

1

2

0

15

12

四川档案

4

1

0

5

2

0

2

14

13

山东档案

4

1

0

3

0

1

3

12

14

湖北档案

3

1

0

2

2

0

2

10

从表中很容易看出期刊的自引情况,甚至有些期刊的自引率是占比{zd0}的,所以这也验证了笔者对引文法本身存在缺陷的分析,反过来说这也是为什么笔者要采用二次引文法的原因。

3.3 h指数测算档案学核心期刊

笔者认为虽然h指数从定义上看似乎操作起来比较困难,但其实只要有相应功能的数据库也是可以取得的。正如笔者在上文对CSSCI被引数据库的弊端分析,因此笔者在此采用了具有相应统计功能的CNKI统计数据库作为数据源。

表四:基于2000-2008年度h指数测定档案学核心期刊

序号

    

期刊名\年度

 

00

01

002

03

04

05

06

07

08

00-08总h指数

1

档案学通讯

12

12

11

16

13

12

9

8

4

22

2

中国档案

10

8

11

12

10

11

7

6

3

16

3

档案学研究

7

9

7

8

9

9

8

6

3

14

4

浙江档案

8

7

6

5

6

7

7

4

3

12

5

档案与建设

7

6

6

7

6

6

5

4

4

11

6

兰台世界

3

4

4

3

5

8

7

5

4

10

6

档案管理

6

7

6

6

5

6

6

5

3

10

6

北京档案

5

6

7

6

8

6

4

4

3

10

9

山西档案

4

4

4

6

6

4

5

4

3

9

9

档案春秋

6

4

6

6

5

2

2

2

1

9

11

档案

5

5

4

4

3

3

3

3

3

8

12

四川档案

4

4

4

5

3

3

4

3

2

7

12

山东档案

3

2

4

3

4

4

3

3

2

7

12

档案时空

4

2

3

5

5

4

4

2

2

7

15

云南档案

3

2

1

3

4

2

2

4

3

6

15

湖北档案

2

2

3

4

5

5

4

3

2

6

15

档案天地

2

3

4

5

3

4

3

2

1

6

由表四可以看出,2000-2008年度的总h指数均大于单独每年计算的h指数,据相关分析一般社会科学的被引情况要小于自然学科,对于档案学这一在社会科学中处于相对弱势地位的学科来说,无论是这个总数值还是每年度的分数值能有如此的成果已是一种学科认同的{zh0}证明,但同时背后的差异也还是值得反思和重视的。

3.4综合法测评核心期刊

以上三种方法的测评结果虽大局稳定,但排序还是有很大出入,因此笔者在此借鉴“综合评价法”理念将以上三种方法结合使用,重新排序,从而试图兼顾各自优势又能避免单一方面的片面性6]。

表五:综合法测定档案学核心期刊

期刊名

   文摘法排名

   引文法排名

  h指数排名

   综合排名   

08《总览》排名

档案学通讯

      1

      1

     1

      1

    1

中国档案

      2

      3

     2

      2

    2

档案学研究

      3

      2

     3

      3

    3

浙江档案

      4

      5

     4

      4

    5

档案管理

      6

      4

     6

      5

    6

档案与建设

      5

      8

     5

      6

    4

兰台世界

      8

      7

     6

      7

    7

北京档案

     10

      6

     6

      8

    10

山西档案

      7

      9

     9

      9

    8

档案

     17

      11

     11

      10

    9

四川档案

     15

      12

     12

      11

    12

湖北档案

     12

      14

     15

      12

 

档案时空

     14

      15

     12

      12

    13

注:《湖南档案》改名为《档案时空》,以上所有数据统计时间为2010年1月9日。

笔者将表五综合法测定的核心期刊位次与2008年版北大出版的《中文核心期刊要目总览》(表五{zh1}一列)相对应,除了本方法中《湖北档案》与《总览》中《上海档案》有出入外,其余12种期刊仅是排名上的区别,而且前三位xx一致,这也是与档案学界共识相吻合的。当然,笔者在此仅将三种方法视为同等权重只是权益之计,事实上运用“综合评价法”是一个复杂的问题,运用哪些具体方法的结合,同时也要区分出不同类型方法所起的作用大小,所占的权重。而这些技术性的问题还有待相关人员的进一步研究与完善。

 

郑重声明:资讯 【张娟:综合评价机制在核心期刊测定中的运用研究——以档案学核心期刊测定 ...】由 发布,版权归原作者及其所在单位,其原创性以及文中陈述文字和内容未经(企业库qiyeku.com)证实,请读者仅作参考,并请自行核实相关内容。若本文有侵犯到您的版权, 请你提供相关证明及申请并与我们联系(qiyeku # qq.com)或【在线投诉】,我们审核后将会尽快处理。
—— 相关资讯 ——