一是指标不系统，一些重要的方向性指标缺失。
系统思维应该从顶层设计开始，自上而下、自洽自适。同样，指标体系也应该是一套连贯的具有系统性的指标，体现大学的本质特征和整体功能。然而，当前的大学排名指标体系只能反映师生比、科研等局部量化特征。至于就业率评价存在着无处着力的缺憾。
①缺乏对人才培养过程研判的有力抓手。立德树人才是大学的核心任务，虽然目前的指标体系有对人才培养的考量，但缺乏伴随式、过程性、发展性的杀手锏级评价手段。
②对于社会服务和文化传承也缺少适用的抓手。教育部门和经济部门的分而治之，导致评价体系的分道扬镳，真正利益相关者的满意度评价未能列入指标体系。至于大学的软环境，诸如精神文化、学术氛围、人文情怀更加难以量化、无从比较。
③不重视中长周期评价。对于基础研究等方面人才，应突出中长期评价，减少短期行为。着重评价原创价值、研究质量和实际贡献。例如美国的休斯医学研究所只资助人，不资助项目，考核周期长达7年。
二是过分倚重高水平大颗粒度评价因子。
由于重大项目、科技奖励和人才帽子容易计数，且显示度高，逐渐成了高质量发展的代言人，是一类具有中国特色的评价因子。这些高水平指标中很大比重来自政府、行业领导部门的评估结果，固然数据可靠可信，但综合分析，如果不加克制，所带来的效果可能弊大于利。
①仅对排名靠前的研究型大学有较好分辨率。从捕捞法则来看，对高水平指标的倚重会导致“取法乎上，得其高分辨率”，即对大颗粒度、高水平成果有分辨率，有利于研究型大学的竞技，所以中国大学排名的第一方阵不出意外地成为研究型大学的舞台，其他类型高校无可争锋。
②降低了对中小颗粒评价因子的灵敏度，可能会滋生“一俊遮百丑”的自我麻痹。由于高端成果需要较长周期积累，例如教学名师需要几十年的积累，重点实验室也需要几代人的努力，这种长跨度指标更多地表现存量水平，不能敏锐地体现增量，呈现发展的“拖尾效应”，可能会遮蔽掩盖真实问题，无法反映实时现状。
③违背了独立性原则。指标体系能拆解的底层假设是还原论，即整体能拆分成多个指标，同时各个指标能有机组成一个整体。还原论逻辑意味着同层次的指标应具备独立性，不应具有包含关系。但实际上这些高水平指标往往是高度重叠，诸如人才帽子经常有“大满贯”选手，大量的重复计算，实则导致了指标体系低效而臃肿，区分度降低，而信号机制却被过分放大了。
④容易催生竞争失灵或者恶性竞争。由于计划经济带来的高等教育“分层”逻辑及“限项”原则，部属院校在获取上述项目、奖励或头衔的机率大于地方院校，经常是不完全公平竞争的状态；与此同时，为了争取人才项目，导致大学彼此之间互撬人才、互挖“墙脚”的恶性竞争乱象。
三是个别评价因子筛选不当，未能体现评价目标。
例如，①教师薪酬指标可能与学生的科研学习呈负相关。
②毕业生就业收入指标，可能与办学情况缺乏正相关性，仅仅所学专业和个人努力有关。
③毕业生就业率指标更是备受争议，用就业率替代“高质量就业能力”属于混淆视听。但是由于拥有“应届”身份在求职、考试、落户，尤其在公务员招录等方面具有优势，毕业生对初次就业慎之又慎，很多毕业生为了保留应届生身份宁愿待业，“慢就业”甚至“不就业”，这种情况下继续追求就业率已经不合时宜。
④声誉指标调查则有很明显的“晕轮效应”，人们往往凭印象、凭直觉进行主观判断，一个经典案例是在美国举办的一次学生调查中，普林斯顿大学的法学院位居调查结果的前十名，但实际上普林斯顿大学根本没有设立法学院。
