人文社会科学成果评价的思考

文章对人文社会科学成果评价的环境与条件进行了思考。认为:无论是用科学计量学方法进行定量评价,还是用同行评议方法进行定性评价,都应该重视评价信息源的建设;从学术成果发表开始,净化学术环境;构建社会科学成果查新体系,参与成果创新性测评等等。     

破“五唯”政策视角下的学术成果评价研究

最近,教育部、科技部等部门出台了多个破除"五唯"不良倾向的政策文件,特别强调要破除学术成果评价中的"五唯"导向.那么,我国学术成果评价究竟存在哪些问题、原因何在、如何解决?梳理已有文献发现:目前我国学术成果评价容易受到作者个人和单位级别的影响;学术成果评价与个人利益、单位利益相联系;单位的学术成果评价制度受到各级政府部门出台的政策文件影响;交叉学科学术成果评价存在盲区.分析认为:全球各评估机构发布学术评估指标的导向作用,国家、省部级及各级教学科研单位制定的学术成果评价制度,按照学科专业细分学术成果的相关制度等,均是造成不良评价倾向的诱因.为此,笔者借鉴发达国家学术成果评价的成功经验,结合我国学术成果评价的目的,建议重新审视我国学术成果评价制度,不唯论文不是不要论文,进而完善我国学术成果的评价方法,鼓励创作出有价值、高水平的原创学术成果.     

中文学术成果评价的Altmetrics发展及实践路径

为有效解决中文学术成果评价的Altmetrics应用问题,针对中文环境下Altmetrics评价数据基础设施缺失现状,在综述Altmetrics思想、方法、技术发展历程及中文学术成果应用实践的基础上,提出中文学术成果Altmetrics评价需要解决三方面的问题:利益相关者的Altmetrics应用诉求识别,中文Altmetrics工具开发,以引文为基础的传统计量与以网络空间数据为基础的Altmetrics计量的融合模型。只有解决中文环境下Altmetrics评价的这些基础性问题,中文学术成果评价才会具有坚实的数据基础设施。     

自然评价：人工智能驱动下的学术成果评价模式重构

学术成果评价作为科研项目评审、人才评价、期刊评价、机构评价等活动的基础，是学术评价体系的重中之重，也是科研管理的关键环节之一。当前，我国学术成果评价模式存在“同行评议黑箱”“引文动机模糊”“评价数据间接且片面”等弊端，阻碍了学术创新，也与当下建构自主知识体系的战略相悖。而近年来人工智能等技术在数据、算法、算力上的突破性发展，特别是判别式模型和生成式模型在机器翻译、文本分类、文本摘要、情感分析、问答系统等领域日益成熟的应用，为传统学术成果评价模式的革新带来契机，为实现更加科学、多元与智能的学术成果评价提供了充分可能。基于对现有学术成果评价模式不足与人工智能应用契合度的分析，文章提出学术成果评价新模式——自然评价。自然评价模式是人工智能与学术成果评价的深度融合，既是对以往同行评议、文献计量、网络计量、替代计量等传统评价模式的批判性继承与发展，也是一种突破与革新。具体而言，自然评价是基于学术共同体在各种学术活动中自然产生的全量化的学术痕迹大数据，将人工智能技术应用于学术成果知识内容和学术共同体学术痕迹数据的语义理解与自动分析中，从而动态形成评价判断，并服务于知识创新与学术进步的一种评价模式。...     

韩国高校学术评价制度体系的借鉴与反思

高等学校学术评价制度体系的国际化比较研究意义十分重大。韩国高校的学术评价制度于1986年开始实施,并逐渐形成规模体系。其学术成果的评价方法包括定量评价以及是否登载于检索期刊的定性评价,但数量化导向的特征较为明显。韩国高校之间的激烈竞争导致教师由于学术成果评价而产生的心理压力较大,此种现象与促进教师全面发展的目标相违背。韩国高校学术评价制度体系的建设对于我国高校学术评价制度改革具有重要的借鉴与反思价值。     

知识管理视域下的代表性学术成果评价研究

代表性学术成果评价在国内外学术评价体系与学术资源配置中长期发挥着无可替代的独特作用,但其固有的代表作甄选与认定偏差、单篇成果评价高成本、同行评议专家人情因素等问题,却是困扰学术界和管理界的痼疾。近几年,随着管理科学与信息技术的不断发展,探索新的评价思路与评价模式的基础条件已经成熟,而国家科技创新发展需求也在呼唤创新综合的代表性学术成果评价方案。知识管理系统兼具管理科学与技术科学的特征,属于综合性交叉领域,人文管理范式和科学技术范式是知识管理研究与应用的两个重要维度,其内嵌的显性知识和隐性知识管理理念,正对应着代表性学术成果的外在文献属性与内在知识属性。通过系统梳理、分析国内外代表性学术成果评价的研究与实践状况,在概念解读与理论阐释的基础上,提出了知识管理视域下的代表性学术成果甄选与评价研究框架,包括具体的研究路径、内容主题与思路方法等,以便开展进一步的后期研究与实践探索。     

中国人文社会科学成果评价方法的现状与趋势

哲学社会科学成果评价是社会科学科研管理的重要环节,目前的评价方法可分为三类:定性评价法、定量评价法和定性与定量相结合评价法,其具体表现形式即同行评议法、引文分析法和综合评价法。同行评议的优点在于定性但主观性较强,引文分析的优点在于定量但很难对学术成果的层次进行区分,定性与定量相结合的方法应该是发展的方向。根据定性与定量相结合、学术评价与社会价值评价相结合的原则,设计出同行评议、引文分析、预期需求、现实效益四个维度的综合评价方法。这种方法进一步强调了社会科学和社会经济相结合,从更宽广的研究视角对哲学社会科学成果进行价值影响与效益评估,充分体现了社会科学要"社会化"的时代强音。     

现代学术期刊的学术评价功能实现研究

学界和业界对学术期刊研究的重点是如何构建科学的学术期刊评价体系,如何从宏观层面评价学术期刊在国家科研实力提升方面的作用,对学术期刊本身具有学术评价的微观功能却很少关注。事实上,小到具体科研机构的职称评定、奖项评审,大到构建中国特色哲学社会科学的“三大体系”、中国自主知识体系的建构,在很大程度上都依赖于学术期刊的学术评价功能发挥的效果与水准。当前学术期刊的学术评价功能是学术期刊存在的重要价值所在,在一定程度上决定着学界的学术研究生态,进而影响着我国在国际上各项科学研究领域中的学术地位。基于此,首先,本文对学术期刊的学术评价功能的研究背景、现状进行分析,根据学术成果评价的阶段划分为初次评价和二次评价,评价的阶段不同,学术评价的重点也应该不同。在初次评价阶段,学术期刊的评价功能应体现在对学术成果的整体评价上,评价的内容从选题创新性、研究规范性到论证完备性都要进行评价;在二次评价阶段,学术期刊对学术成果的评价关注点更多地应放在学术创新性和社会影响力方面。其次,对现阶段我国学术期刊的学术评价功能失灵的现状进行梳理,发现存在低质量学术论文大量涌现、学术期刊的学术不端现象频现、刊发或转载的学术论文选...     

工科教师绩效评价浅析

工科教师的绩效评价是教师绩效评价中的关键一环。目前工科教师绩效评价中存在的主要问题是:学术成果、工程成果的指标不均衡,定性、定量评价的界定模糊,评价主体的构成不科学及评价结果的反馈未归于学术。因此本文提出建议:重视工科教师的工程成果,提高评价指标的科学性,注重教师在评价中的主体地位,并将评价结果应用于学术的发展。     

学术文摘与学术评价

学术文摘期刊是基于同行评议原则、按照学术质量标准、评选流程等选编(摘)优秀学术成果的出版物.在有效信息匮乏的大数据时代,学术文摘推优、推新的特质客观上被赋予了一定的学术评价功能.与引文分析法不同,学术文摘分析法可以较为及时地反映学术成果及其载体的影响力.学术文摘虽然是另一种形式的同行评议行为,但依然不是学术评价的主体.学术评价可以参考学术文摘的二次选优结果,高效开展对评价对象的基本水平、基本趋势、社会影响力等的评估.     

中国人文社会科学跨学科研究成果评价探析

跨学科研究成果的评价是颇具挑战性的重点和难点问题,国内外人文社会科学跨学科研究成果评价在某些方面形成了初步的共识,但是总体上相关探讨尚在起步阶段。文章在已有研究的基础上,就人文社会科学跨学科研究成果评价的总体原则、评价指标、评价方法等进行探讨,以期为科研管理部门制定相关政策提供参考。     

科研评价体系中学术论文评价实证分析

针对当前科研评价体系中中对学术论文质量的评价存在局限性的问题,以计算机学科中的学术论文评价为实证,以某大学的科研评价标准体系与考核指标为案例,地学术论文评价的相关问题进行研究。研究认为,如何定位会议论文和SCI期刊论文在科研评价体系中的价值与定位,能否坚持正确导向是科研管理评价体系面临的主要问题;在计算机学科中,国际上大部分的标志性成果都会在顶级会议上发表论文,但中国的科研评价体系仍以SCI期刊论文为主,中国学者在国际计算机学会的权威会议上参与与发文量均较低;中国的科研评价体系中应重视顶级会议论文的重要性,平衡不同评价指标的权重,平衡不同学科领域之间的差异,提高会议论文认定的等级,发挥评价体系的导向作用,制定科学的评价指标,完善科研评价管理制度;某高校制定了分学科科研评价标准体系和差异化的考核指标,依据不同的专业领域拟定了同行专家评价认可的期刊与会议列表,规范了期刊文章和会议文章的量化指标来综合衡量学术论文的学术和文献价值,在学术科研的国际化方面取得了显著成绩。     

以量化为基础以代表作为主的综合化学术评价制度构建——基于S大学的经验

高校学术评价的重点和基础在于科研成果和教学科研人员的评价,而在教学科研人员的评价中专业化技术职务的评聘更为典型和引人注目。S大学多年来坚持人才评价制度改革,已建立并形成了一套相对完善的以量化为基础以代表作为主的综合化评价体系,在实践中充分展现出了规范性、公正性和合理性。这一制度以2016年新修的《专业技术职务（教师）评聘工作办法》为主件,以《教师系列职务评审量化办法》等为附件,其内容包括了指导思想和评聘原则、组织机构、工作程序、申报资格及业绩的认定、对特殊人员的聘任等方方面面;其突出特点是评价过程公开透明、量化办法全面合理、坚持同行专家评价、代表作评审严格、注重分类指导与评价、配套制度完善。总结吸收S大学学术人才评价的经验和做法,我们认为构建以量化为基础以代表作为主的学术评价制度,其量化评价应不同于以往以科研为主、以成果数量和项目级别等为主的方法,要既评科研,也评教学,既看数量,也看质量,同时也不忽视思想政治表现与职业道德情操。与量化评价重在全面、客观和准确地揭示教学科研人员的学术水平和学术贡献不同,代表作评价主要在于测度、考量被评人的科研水平和能力。评审代表作,外审专家的遴选至关重要,并应采取措施,尽力排除人际关系等干扰。对于人文社会科学学术评价来说,单纯量化的办法存在诸多弊端,而单纯代表作评价亦有不少问题。相较而言,实行以量化为基础以代表作为主的综合化评价制度,不失为保证学术评价科学合理、公平公正且具可操作性的正确选择。     

高校人文社科科研绩效评价方式的科学性探讨

当前,评价高校人文社科教师的科研水平采取了“一刀切”的方式,主要是看论文发表在核心期刊的数量,获得科研经费的数量,获奖项目的级别和数量。这样的科研绩效评价标准使高校教师陷入到论文和科研经费“GDP崇拜”的旋涡之中。改革目前高校人文社科科研绩效评价标准和方式的对策是：强化质量指标,淡化数量指标;建立独立的学术组织,推进学术自评自律;取消期刊等级制,建立文章同行评价机制;学校每年召开各种类型的学术交流会,让教师介绍自己的研究成果。     

高校哲学社会科学研究评价的本质要求及其制度建设

建设具有中国特色、中国风格、中国气派的哲学社会科学,一直是我国哲学社会科学繁荣发展的根本目的.提升高校哲学社会科学繁荣发展水平,离不开科学有效的哲学社会科学研究评价.坚持党的领导、"二为"方向和"双百"方针是哲学社会科学繁荣发展的根本保障,坚持"质量为本"和"创新至上"是哲学社会科学繁荣发展的必然要求,坚持科学权威和公开透明是哲学社会科学研究评价的现实需要.结合当前高校哲学社会科学研究评价中"量化评价下数量与质量的关系论辩","学术评价与科研管理评价的边界异化"和"学术权力和行政权力的制度规制"三大问题聚讼,文章建议通过强化学术成果质量保障机制、优化学术共同体工作机制、构建学术争鸣长效机制和完善学术成果转化应用机制等制度建设,推动构建科学权威、公开透明的哲学社会科学研究评价体系,以期进一步改善新时代高校哲学社会科学研究评价工作.     

人工智能聊天机器人对科研成果与人才评价的影响研究——基于ChatGPT、Microsoft Bing视角分析

美国开放人工智能研究中心(OpenAI)研发的人工智能聊天机器人ChatGPT,基于“生成预训练转换器”(GPT)语言模型能够理解和响应自然语言输入，于2022年11月30日正式发布，短时间内在全球互联网界、学术界及产业界引发热议和关注。以ChatGPT、Microsoft Bing为代表的人工智能聊天机器人基于超大海量数据，采用“从人类反馈中强化学习”(RLHF)进行训练，主要具有三大功能：智能交互对话、智能文本生成、智能文献爬取。人工智能聊天机器人的核心竞争力是采用人工智能生成内容技术(AIGC)而具有强大的内容生成或文本生成能力，除能够生成一般应用性文稿外，还能够从事科学写作，从而引领和推动知识生产方式和学术研究范式变革，知识生产和学术研究进程将显著提速，知识生产者将从非创造性劳动中获得解放，知识生产方式将由“手动式”“半自动式”迈向“自动化”“智能化”。这种变革对传统的科研成果评价机制将产生重大影响，更进一步将对通过科研成果进行人才评价产生重大影响。大体上说，以ChatGPT为代表的人工智能聊天机器人应用于学术研究中，将遮蔽成果演化学术史，影响科研成果创新性评价；挑战知识产权保...     

研究型大学的基本特征和评价体系

研究型大学在学科点和学位授权点、科研经费、学术成果、学术队伍等方面有着明显的优势及特点。我国研究型大学面临生源、师资和经费三个方面日趋激烈的竞争环境 ,应从学术核心和管理外壳两方面构建核心竞争能力。研究型大学的评价指标应包含研究规模、学术水平、研究生教育、本科教育、社会支持等 5个方面 ,而学科差异、教学与研究的关系等对评价体系构成影响     

论质化研究在期刊评价中的应用

学术期刊是知识生产的一个特殊部门,它不仅是学者发表成果和学术交流的载体,更承担着学术评价的功能与责任。期刊评价是学术评价的重要组成部分,是推进学术评价伦理化、合理化的路径之一。学术期刊的社会和公共属性决定了期刊评价具有深刻的政治性、行政性、社会性和情感性。期刊评价中的定性和定量评价法是质化和量化研究在评价中的应用,主要体现为文献计量法的影响因子类评价和同行评议的定性评价。文献计量法重视对期刊影响因子类数据的采集和等级排序,而同行评议法则侧重发挥学术共同体的评价主体作用。但是,科学计量法下的同行评议主要采用专家问卷打分法,这是一种定量化和技术化的路线,而非定性评价。期刊定性评价法需理解期刊的学术性和社会性,研究期刊评价中的学科文化和评价文化对评价活动的影响。评价要在知识社会学视野下理解同行评议过程,对期刊评价的学术社会场域进行质化研究。通过同行评议的质化研究,评价者可以拓展同行评议法的深度和广度,建构学术期刊的定性评价体系。