学术期刊评价理论的演变分析

教师之友网

学术期刊评价理论的演变分析


赵丹群


　　
　　【作者简介】赵丹群，女，1966年生，北京大学信息管理系副教授，北京　100871。
　　【内容提要】文章基于理论思考，提出了学术期刊评价理念由“发文数量”到“引文数量”再到“引文质量”的发展演变路径，将学术期刊评价研究及相关实践活动概括为基于布拉德福定律的简单评价、基于引文分析理论的综合评价和基于复杂网络理论的复杂评价三个不同发展阶段，对不同发展阶段的理论基础和核心评价指标进行了论述分析。
　　【关键词】学术期刊/期刊评价/影响因子/特征因子academicjournal/journalevaluation/impact factor/Eigenfactor
　　1　引言
　　期刊是一类非常重要的连续出版物，通常具有内容新颖、报道及时、出版连续、信息密集、形式一致等特点。对于其中的学术性期刊来说，由于它刊载有大量的、原始性数据资料和原创性观点及成果，在近现代以来的科学研究与交流活动中一直扮演着极其重要的角色。最近数十年来，随着科研活动的日益繁荣，学术期刊数量急剧增加，给图书馆采购、读者阅读、科研成果评价等都造成了很大困扰。在此情势下，期刊评价问题逐渐成为图书情报、编辑出版、学术研究以及科研管理与决策等多个领域共同关注的一个重要话题。
　　简单回顾学术性期刊的评价研究历史，从20世纪40年代“核心期刊”概念的提出，到20世纪70年代专用评价工具ISI Journal Citation Reports（JCR）的问世，再到当前新兴的学术期刊评价网站及其复杂评价算法的设计构建，虽然评价指标众多，评价活动令人眼花缭乱，但基于理论观察，其评价理念主要是沿着由“发文数量”向“引文数量”再到“引文质量”的方向前进和发展的。依据对评价理念这种由“数量化”到“质量化”演变的认识和理解，本文尝试把学术期刊评价活动划分为三个不同阶段：简单评价阶段（20世纪50年代—60年代）、综合评价阶段（20世纪70年代—90年代）和复杂评价阶段（2000年—），并分阶段对其评价的理论基础进行阐述分析，以期为网络环境下数字出版、语义出版时代的学术期刊评价研究及相关实践活动提供有益的启示。
　　2　布拉德福定律和普赖斯曲线：以发文数量为依据的简单评价
　　期刊评价始于“核心期刊”问题的提出，而“核心期刊”问题的提出最早源于英国图书馆学家布拉德福（S. C. Bradford）20世纪30～ 40年代对科学文献集中与分散规律的研究。在此基础上形成的布拉德福定律，以及20世纪50年代普赖斯（D. Price）对文献增长与老化问题的研究发现，共同支撑、构成了以“发文数量”为中心指标的核心期刊评选理论框架。
　　作为文献计量学的三大经典定律之一，布拉德福定律的文字表述如下：“如果把科技期刊按其刊载某专业论文数量的多少以递减顺序排列，这些期刊就可以分出一个核心区域和相继的几个区域，每个区域刊载的论文数量相等。此时，核心区域和相继各区域中的期刊数量之间的关系为1：n：：…（n为布拉德福常数）”。1934年，身为英国科学图书馆馆长的布拉德福以Sources of information on Specific Subjects为题，首次撰文提出了定量描述文献分散规律的上述经验定律[1]。不过直到1948年，这一研究发现才开始逐渐赢得学术上的赞誉。此后，经由众多后继学者的持续努力和探索，最终形成了一个包含两个不同学派、十数个经验公式和四个数学模型的布拉德福分布理论体系[2]。
　　普赖斯是国际科学计量学领域最为著名和有影响力的学者。自20世纪40年代末，他便开始关注并投入到对文献增长现象的研究中，所取得的一个重要研究发现——文献指数增长规律（即“普赖斯曲线”）[3]，则充分彰显了核心期刊问题研究和核心期刊评选工作的紧迫性和必要性。毕竟，文献的急速增长，客观上要求人们对文献的产出、分布、收集和管理等进行深入分析，而对文献资源的科学评估，可以有效促进对它们的充分利用，并最终有力推进科学研究的发展和社会进步。
　　值得说明的是，除“普赖斯曲线”外，普赖斯在期刊评价方面还做出了更多极具学术贡献的后续研究发现，例如“引文网络”概念的提出、关系到核心期刊评选过程中确定引文数据采集时效性的“最大引用年限”（或“引用峰值”）的认识发现、用于测度学科文献老化速度的“普赖斯指数”等[4-5]。
　　作为遴选核心期刊最为原始的理论依据，布拉德福定律揭示出了学科（专业）文献在期刊中的分布规律，为人们从文献数量（期刊发文数量）的角度寻找特定领域的核心期刊提供了理论支持。以下是基于布氏定律的“图像分析法”确定核心期刊的基本步骤：（1）选择、确定收录特定学科（专业）相关论文的目录性或文摘性检索工具；（2）基于检索工具分别统计期刊数（A）、载文数（B）、累积期刊数（C）、累积载文数（D）和累积期刊数的常用对数（E，E=logC）；（3）根据期刊载文（B）进行降序排序，形成列表（共有A、B、C、D、E5个　目）；（4）建立半对数坐标系（横坐标为E，纵坐标为D），并根据统计表中的数据绘制出布拉德福分散曲线图；（5）从曲线图中确定出核心区域的分界点（即曲线和直线的分界点），其横坐标即为该学科（专业）核心期刊的数量，而出现在核心区内的期刊即为该学科（专业）的核心期刊。
　　期刊的发文数量是描述期刊生产（或发表）专业论文能力的基本指标之一。在学术期刊评价研究的最初阶段，基于布拉德福定律单纯依据“发文数”来筛选核心期刊，虽然评选方法较为繁琐，需手工操作，但毕竟开启了期刊评价的研究序幕。当然，从本质上说，任何单纯使用数量指标用于质量评价的活动，都注定存在着某种先天缺陷和不足。学术期刊评价亟须寻找新的理论支撑，并不断发展、完善自身的评价理念！
　　3　加菲尔德的引文分析理论：以引文数量为基础的综合评价
　　时间进入到20世纪70年代后，加菲尔德（E. Garfield）创建的引文分析（Citation Analysis）理论体系逐渐成熟。1972年，他在对SCI收录期刊论文的文后“参考文献”进行统计分析时发现，这些参考文献（或被引文献）高度集中并分布于少数期刊中[6]，与布拉德福所揭示的来源文献在期刊中的分布规律是一样的。基于这一调查发现，他总结提出了“加菲尔德（引文）集中定律”（Garfield's Law of Concentration）。这不仅在更广泛的意义上证实了布拉德福定律，而且从理论上对它形成了进一步的发展和丰富。自此以后，引文分析理论在期刊评价实践中的重要性逐渐超越并最终取代了布拉德福定律。
　　基于引文分析理论的学术期刊评价，主要围绕着文献（或期刊）的“被引频次”（“引文数”）来进行。与布拉德福定律的“发文数”指标不同，“引文数”指标可着重从文献质量的角度来遴选、评价核心期刊。因为文献（或期刊）的被引用，反映了该文献（或期刊）的质量、重要性和学术影响，即一篇特定文献或某一特定期刊的被引用频次（数量）与其内在品质（质量）存在着某种正向（肯定）的联系。
　　1972年，加菲尔德设计、提出了多个基于“引文数”测度的学术期刊评价指标，其中最著名，并在实践中获得极其广泛应用的一个指标是“影响因子”（Impact　Factor）[6]。
　　期刊影响因子是一个年度性评价指标，具体计算公式如下：
　　某年度某期刊影响因子=某期刊前两年发表论文在该年的被引用次数/该期刊前两年发表论文总数
　　上述定义并没有直接使用“被引频次”等绝对量指标来评价期刊的质量和学术影响力，而是将“发文量”指标结合进来，避免了因期刊载文量不同而带来的被引用频次上的优势或劣势，因而可以更客观、真实地反映和评估期刊的学术品质。此外，定义中将时间范围限制在两年之内，主要是基于对自身实地调查数据的观察分析，此外也受到了普赖斯对“最大引用年限”研究结果的影响。
　　自“影响因子”被提出以来，其有效性在期刊评价学术研究及应用实践中得到了一致认可，进而在科研课题申请、成果鉴定、职称评审、学位申请等方面也产生了广泛影响。目前，基于不同的计算方法和应用环境，一系列更为实用而有效的“影响因子”衍生指标大量出现。例如，在最新版本的JCR数据库中，除传统的“影响因子”指标值外，已新增了“5年影响因子”（5-Year Journal Impact Factor）、“剔除自引的影响因子”（Impact Factor without Self Cites）、“影响因子趋势图”（Impact Factor Trend）、“影响因子箱线图”（Impact Factor Box Plot）等指标数据。而鲁索（R. Rousseau）提出的“影响因子”通用计算公式（1988年）[7]及英格沃森（P. Ingwersen）对应用于网络链接分析的“网络影响因子”（Web Impact Factor）的定义（1998年）[8]，则在理论上形成了对“影响因子”指标的研究及拓展。
　　20世纪80年代以来，以引文分析理论为指导、以“影响因子”为核心指标的学术期刊评价模式逐渐确立，并在各种评价实践中，与“载文量”、“文摘量”/“收录量”、“借阅率”/“流通量”、“快引指数”、“基金论文比”、“Web下载率”等量化指标以及定性的专家评审法等相互结合和集成，共同形成了评价应用效果更为理想的“综合评价法”。仅以国内情况为例，从1988年开始编制并持续至今的《中文核心期刊要目总览》，到中文引文数据库（例如CSCD、CSSCI等）的研制开发，所有的大型学术期刊评价工作无一例外，都采用了“综合评价法”，而其中“影响因子”无疑是一个权重最大的核心指标。
　　2005年，美国物理学家赫希（J. E. Hirsch）提出用于评价研究者个人学术成就的“h指数”后[9]，衍生的“期刊h指数”也随即被提出并被应用于期刊评价研究中。“h指数”的定义将“发文量”和“引文量”相结合，并同等看待，虽与“影响因子”的“引文量/发文量”定义方式不同，但评价理念并没有根本性的更新。目前，“期刊h指数”大多还停留在实证研究阶段，尚未进入具体的期刊评价应用实践。
　　4　复杂网络理论：兼顾引文数量和引文质量的复杂评价
　　传统的引文分析理论及“影响因子”指标虽然在学术期刊评价工作中发挥了巨大的作用，但其在评价理念上仍然存在着一个明显的不足——仅关注并计算其“引文数量”，未顾及不同引文所具有的质量差异。显然，来自于Nature和Science这样高影响力的权威期刊的引用，比来自于一些普通期刊的引用分量要大得多。如何兼顾引文的“数量”和“质量”因素，并对其“质量”进行必要的区分和量化，以构建新的评价理论和新的评价指标，一个新的挑战性任务又摆在了研究人员面前。
　　早在20世纪60年代，普赖斯就曾极富远见地对文献（集合）基于引用和被引用关系所形成的“引文网络”问题进行过探讨[4]。但当时的讨论还仅限于简单的定性描述。伴随着复杂网络（Complex Network）理论的研究进展，“引文网络”的复杂网络特性逐渐引起了人们的关注。1998年，搜索引擎Google的问世及其推出的PageRank算法，率先对与文献“引用”具有类似效应的网页“链接”问题进行分析[10]，并基于复杂网络算法来计算不同网页的链接权重，以此作为衡量网页重要性和质量的指标用于搜索结果的排序之中。
　　PageRank算法不仅给Google带来了巨大的成功，也极大地影响和启发了新世纪期刊评价学者的研究思路。2007年，美国华盛顿大学的“文献计量研究项目组”发布了一个新的学术期刊评价指标——“Eigenfactor”[11]，国内学者将其翻译为“特征因子”；2008年，Nature报道了西班牙研究小组Scimago基于Scopus数据库（1996—2007年，涉及约1.5万种期刊）研发的期刊评价新指标—SCImago Journal Rank（简称SJR）；而澳大利亚学者也在基于Google Scholar数据源进行着类似的评价指标设计[12]。这些新指标的问世，标志着一个新的期刊评价研究阶段的到来。由于它们均使用了类似于Google的PageRank算法思想，具体计算时对来自高声望期刊的引用赋予更高的权重，因此，这也就使得最早由普赖斯提出的“引文网络”能以更切合实际情形的权重网络形式在算法层面上被成功操作。
　　2009年初，汤姆森路透科技集团选择与华盛顿大学“文献计量研究项目组”合作，宣布推出具增强功能的新版JCR（2007年版），新增了两个评价指标——“特征因子值”（Eigenfactor Score，简称EF）和“论文影响分值”（Article Influence Score，简称AI）。EF和AI指标值的计算主要使用JCR为数据源，因此，此举不仅进一步巩固了JCR在期刊评价领域的权威地位，也在一定程度上推动了新指标“特征因子”的实用化进程。
　　“特征因子”的计算模型可简单概括为：假设一位研究者随机选择某年出版的一份刊物的某篇文章，任意选择该文章的一篇参考文献，跟随引文链接进入下一份期刊；然后，从这份期刊中再任意选择文章，继续随机选择引文进入再下一份期刊；研究者不停地重复这个行为。很显然，如果这个动作不断进行下去，越是影响力大的期刊，研究者进入的次数就会越多。而研究者进入某个期刊的几率大小，即为该期刊的特征因子值。例如，2010年Nature和Science的特征因子分值是1.73520和1.45546，这表明研究者在JCR收录期刊的SCI和SSCI文章中按照上述模式进行漫游，分别有1.73520%和1.45546%的几率进入Nature和Science。
　　“特征因子”的计算过程相当复杂，主要步骤包括：（1）使用JCR数据，构建剔除自引的期刊5年期引文矩阵，并进行矩阵规范化；（2）悬点判定及处理；（3）构建论文向量；（4）模拟研究者浏览期刊的随机过程，构建与PageRank网页链接矩阵相类似的过渡矩阵；（5）通过迭代计算，寻找过渡矩阵的唯一主特征向量；（6）以收敛后的主特征向量值作为区分期刊影响力的权重（即“影响向量”，其实际含义表示研究者在每个期刊停留的时间比例），最终完成EF和AI值的计算。
　　从上述设计思想和计算过程来看，“特征因子”具有以下突出优点：（1）很好地兼顾了引文的“数量”和“质量”因素，评价理念更为先进和合理；（2）引文统计时段向前延伸至5年，并完全剔除了自引的影响；（3）突破了学科限制，方便进行学术期刊的跨学科评价和比较；（4）指标值具有可加性，利于实际应用和操作。
　　不过，作为一个新创设的评价指标，近年来已有的实证研究发现，“特征因子”自身也存在着不足之处，例如：计算过程的不透明和较强的数据封闭性、对排名靠后期刊评价的区分度较低、具有一定的发文量依赖倾向、准确性难以检验和解释等[13-14]。所有这些，预示着“特征因子”和包括SJR等在内的新评价指标的应用实践并非指日可待。
　　5　结语
　　综上所述，不难发现，布拉德福定律和普赖斯曲线为学术期刊评价提供了最初的数量评价依据，而随着引文分析和复杂网络理论的引入，评价活动在兼顾数量指标的基础上，逐渐迈向了质量评价的深化发展之路。从理论上分析，期刊评价理念的这种演变路径无疑是合理而正确的，但由此带来的评价复杂性及成本的大幅增加，也使得已经到来的复杂评价阶段依然迷雾重重，很多问题悬而未决。例如，“特征因子”未来能否取代“影响因子”成为新一代核心评价指标？其应用空间如何拓展？期刊评价数据的公开和免费获取能否成为趋势？在评价复杂性（成本）与评价效果改善（收益）之间如何权衡？等等。更重要的一点是，其他更新的评价理论（模型）被创建（或引入）的可能性如何？毕竟，当前的复杂评价还只是单纯考虑了期刊的“发文”和“引文”因素（仅涉及“论文”一个维度），更名副其实的复杂评价，恐怕还需要统筹考虑“期刊”、“论文”、“作者”（及“合作者”）、“机构”等因素之间的相互影响和品质关联，而构建一个集成化的学术对象评价模型（可涵盖作者、论文、期刊、机构等不同维度）的研究设想，也许更具价值和挑战性。
　　此外，还需特别注意的是，在当前的网络环境下，学术期刊出版模式正面临着重大变革，这种变革不仅会引发期刊的内容组织与呈现、传播应用、阅读及使用习惯等方面的巨大变化，也将对期刊评价模式产生重大影响。目前，以在线数据库为存在形式、以海量文献检索和跨期刊链接为主要特征的期刊2.0时代已全面取代纸本期刊（期刊1.0），而以“语义出版”为特征的期刊3.0也已是呼之欲出，以论文的片段化内容（“知识点”）为核心呈现单元，并基于可视化技术在不同知识点之间建立必要的语义关联，预计将成为未来学术期刊出版的主流形式。不难看出，在这种期刊出版模式的巨大变革中，读者对“期刊”的概念已变得逐渐模糊，“论文”也将不再是主要的关注对象，只有蕴涵在论文中的“知识点”才是最重要的，而如何对论文中的“知识点”进行自动识别、提取并构建它们的语义关系网络，不仅关系到学术期刊的出版，也必然影响到学术期刊的评价。因此，3.0时代的学术期刊评价模式将如何构建，还需拭目以待。
　　【参考文献】
　　[1]S C Bradford. Sources of information on specific subjects[J].Engineering: An Illustrated Weekly Journal, 1934, 137: 85-86.
　　[2]邱均平.信息计量学[M].武汉：武汉大学出版社，2007：123-125.
　　[3]D Price . The exponential curve of science[J]. Discovery , 1956,17(1):240-243 .
　　[4]D Price . Networks of scientific papers[J].Sc ience , 1965, 149(3683):510-515.
　　[5]D Price. Citation measures of hard science，soft science, technology and non-science[J].Studii si Cercetari de Documentare, 1970, 12(3):205-221.
　　[6]E Garfield. Citation analysis as a tool in journal evaluation[J].Science ,1972,178(4060):471-479.
　　[7]R Rousseau. Citation distribution of pure mathematics journals[M]//L. Egghe and R. Rousseau(Edition).Informetrics 87/88. Elsevier Science Publishers B .V., 1988: 249-262 .
　　[8]P Ingwersen. The calculation of Web impact factors[J].Journal of Documentation, 1998,54(2):236-243.
　　[9]J E Hirsch. An index to quantify an individual's scientific research output[C].Proceedings of the National Academy of Science of the United States of America, 2005: 16569-16572.
　　[10]S Brin, L Page. The anatomy of a Large-Scale hypertextual Web search engine[J].Computer Networks and ISDN Systems, 1998,30(1-7):107-117.
　　[11]C Bergstrom. Eigenfactor: Measuring the value and prestige of scholarly journals[J].College & Research Libraries News, 2007, 68(5):314-316.
　　[12]D. Butler. Free journal-ranking tool enters citation market[J].Nature, 2008, 451(7174):6.
　　[13]窦曦骞，祁延莉.特征因子与论文影响力指标初探[J].大学图书馆学报，2009(6)：57-62，88.
　　[14]赵星.期刊引文评价新指标Eigenfactor的特性研究——基于我国期刊的实证[J].情报理论与实践，2009，32(8)：53-56.