武书连排行榜坚持“成果导向”,指标体系除了“新生录取分数线”之外,大量评价因子关注大学的产出,强调社会贡献。不看过程,只看结果;不用软评价,只用硬指标。专注的成果导向和数据偏好下,固然社会评价褒贬不一,总体来说对大学办学情况的灵敏度较高,精炼而明快。有三个特点:
广泛“归一” 有“层”无类”
为了实现综合排名,武书连提出了“不同学科的科研人员平均具有相同创新能力”的假设,姑且将之称为“大学人”假设。据此假设,在衡量学科指标时进行归一化处理,对不同的学科、不同的学校类型进行了同一序列内的比较,甚至连人数的计算都设定了“师生当量”,把自然人进行了归一化处理。
除比较不同学科进行了归一化处理外,又用了各种因子将源数据进行了同比约除。所以现在表上看到的各个分项指标都不是源数据,而是相对值。必须乘以相应年度因子后才能恢复源数据数值。也就是说,对于各个学校来说,不能纵向比较每年各个单项得分。
归一化的数据处理结果直接直观,用A、B、C、D、E共五等11级分级,把各类学校的档次区分得清清楚楚明明白白。
自建数据库 自定义系数
武书连榜非常重视科研成果,文献计量占了很大比重,而且采用了自创的科学引文数据库SCD。其中中文引文收录始于2006年,国际引文收录始于2014年,目前是武书连榜单的唯一科研文献数据来源。总体来说SCD数据库偏小,2021年总共有2860本中文期刊入选SCD期刊目录。其中社科卷大概400本,自然科学卷大概2460本左右,外文期刊CSCD有7000上下。
SCD数据库的逻辑依旧遵循其“大学人”假设,强调“学科平等”“机会均等”。当然现实情况并非这么理想,学科也分红海蓝海,此处不作细究。假设认为某个学科的期刊入选总数应该取决于该学科的人头数(用中级职称以上的师资人数替代)。SCD数据库的源期刊总量,由全国高校中级以上师资人数确定;各学科源期刊论文数量与该学科中级以上师资人数成正比例相关。由此可知,该数据库在统计操作中需要设计一些加权系数,要对源期刊进行排序筛检,要对论文引用次数遴选。如果能够在上述过程中确保价值中立和客观判断,也可谓快意之事、创新之举。
从用法来看,武书连榜对科研成果的统计同样不重视区分质量,各期刊论文得分一致,通过他引次数的加分来提升分值,和ESI逻辑相仿。
源自公开数据
武书连强调,所有的数据都公开可得,可重复,可检验。一是为了力求“真实可靠”,大量选用了政府部门的公开数据。二是为了避免“社会热议”,摒弃了院士、基金委杰青、教育部等国家重要人才计划等项目。而他坚定地反对纳入院士的理由是“院士早就不做科研了”,这使得评价因子颗粒度变小,灵敏度上升,倒也未尝不可。三是,诚如武老师所言,教育部、科技部等主管部门对大学办学也有一些相当严谨和客观的综合评价,但由于大量数据不公开,可能存在一些更有含金量、更关键的评价因子没能体现其中,堪为憾事。

(麻雀式解剖武书连排名之三︱断层扫描,公众号里不贴了。)

