一、内容与方法
(一)研究内容
通过文献检索和实地调研,课题组发现近年来大多数职业院校基本建立了教学质量评价体系,且具备了检索查询等初级功能,但缺乏系统性统计分析,更缺乏对数据库中的大量信息进行挖掘和深层次的利用。如何科学的从大量数据中挖掘有利于教学质量评价的信息?如何对数据进行关联分析?如何将分析结果反馈于教学,促进教学质量的提高?都是值得我们思考的问题。因此,课题组多次实地调查走访国内部分高职院校,了解其教育教学情况和质量管理现状,走访与其合作的相关企业,调研过程中采集了大量的数据(主要包括专业质量、理论实践教学质量、班级整体教学过程质量、学校整体教学质量的评价、企业对实习生的考核评价、毕业生对学院的评价)。将所采集到的数据建立数据库,运用多算法数据挖掘技术,进行多层次、多角度的分析,探索出一套有利用价值的高职教学质量标准,并设计开发一套符合学院实际需求的管理系统,该系统将实现系统维护、用户管理、基础信息管理、评价管理等功能。
1.将数据挖掘技术顺利迁移、运用到教学质量评价体系的构建中。
采用调查问卷的方式,一是从培养目标、生源质量、“双师型”师资队伍、课程体系、教学模式、教学方法、实践教学、教学管理等共性的影响因子展开高职院校教学质量现状的调查研究;二是针对目前高职校企合作过程中存在的学校和企业一头热,一头冷的现象,以医药类企业为例,对企业参与职业教育的现状进行调查。找出影响高职教学质量发展瓶颈的主要原因,为教学质量评价体系的构建奠定基础。主要做法如下:
1.1数据准备
实地调查走访国内部分高职院校,了解其教育教学情况和质量管理现状,走访与其合作的相关企业,获得大量数据,建立对专业设置评价、理论实践教学质量评价、班级整体教学过程质量评价、学校整体教学质量的评价、企业对实习生的考核评价、毕业生对学院的评价、师资队伍评价、学生质量评价、等,然后从相应的源数据中提取相关数据,并对数据进行集成,将多个数据源中提取的数据存放在统一的数据仓库中。
1.2数据选择
数据挖掘中的有些数据对挖掘任务是没有意义的,而且多余的数据还可能给数据挖掘有负面影响。针对本课题,数据挖掘人员在教育领域专家的悉心指导下,从经过数据集成的数据仓库中选择出与教学质量评价体系相关的数据集合,排除无关数据,选择有用的数据信息。比如对专业质量的数据评价主要选择专业设置和专业培养目标、课程体系和课程结构、科目课程、教学环节、职业关键能力与素质培养、教学环境、产学研合作、师资队伍、学生素质、毕业生就业等十个方面选择数据。
1.3数据预处理
数据预处理是数据挖掘过程中一个很重要的步骤。主要是对前一步骤进行的数据进行再加工,消除噪声、消除重复记录、转换数据类型、检查数据的完整性和数据的一致性等,提高数据挖掘对象的质量。本课题将针对数据选择的情况进行数据与处理,为下一个步骤的顺利进行做好铺垫。
1.4数据挖掘算法设计
数据挖掘是整个数据挖掘工作的核心步骤。数据挖掘算法是根据数据创建数据挖掘模型的一组试探法和计算。为了创建模型,算法首先根据提供的数据,查找特定类型的模式和趋势。在这个阶段,需要选择适当的数据挖掘方法,选择合适的数据挖掘算法来完成数据挖掘工作。数据挖掘的方法有统计方法、机器学习方法、聚类分析方法、神经网络方法、粗糙集或模糊集方法等。如何对数据进行挖掘和分析最主要的是选择什么样的算法来实现它,针对本课题的实际情况,主要采用的方法为神经网络、层次分析法和关联规则的经典算法--Apriori算法等。
1.5算法评估与应用
数据挖掘过程中发现的模式需要经过评估,去除冗余的或者与挖掘目标无关的模式,或将某个有用的模式转换成用户能够了解的形式。如果发现的模式不能满足本次挖掘的要求,为得到更有用的知识,还需要返回前面的各个阶段,反复进行。本课题主要对专业质量、教师考核评价、理论实践教学质量、班级整体教学过程质量、企业对实习生的考核评价、学生成绩评价等信息进行挖掘,提取出隐藏在数据中的有用信息,并对产生的信息进行分析,为全面了解教学运行状态的途径及改进教学管理工作提供重要依据。
2.通过数据挖掘,建立多元化的教学质量评价平台。
借助平台,实现专业质量评价、理论实践教学质量评价、班级整体质量评价、学校整体教学质量评价、企业对实习生的考核评价等功能。
对照评价标准,研发了管理、分析一体的基于智能算法的高职教学质量评价系统,该系统采用B/S三层结构模式,以Visual Studio.NET作为开发工具,以Microsoft SQL SERVER 2005作为系统的后台数据库开发完成,借助平台,实现了系统维护、用户管理、基础信息管理、在线评价等功能。完成专业质量评价、理论实践教学质量评价、班级整体质量评价、学校整体教学质量评价、企业对实习生的考核评价等,并申请了软件著作权。(软件著作权编号:2019SR1022414)
此成果实现了用户登录模块、题库编辑模块和管理员模块及在线评分模块等的设计。实践证明,与传统手工评分相比,本系统较大的提高了工作效率,节省了人力、财力、物力,使用效果良好。
3.运用数据挖掘技术对采集的教学评价数据进行充分深入的挖掘。
本课题将数据挖掘的目标确定为,利用数据挖掘技术从大量数据中获取有利于教学质量评价的隐含的有用信息,找到数据之间的关联。通过对教学质量评价数据及其相关数据进行数据挖掘,从中找到影响教学质量评价结果的因素,从而针对这些影响因素分析并提出提高教学质量的方法。。
主要调研山西药科职业学院和天津生物工程职业技术学院及其他几个高职院校,得到大量的数据,数据库总体评价记录累计28 万余条,教学过程中分项详细评价记录累计3 万余条,考试结束后分项详细评价记录累计17 万余条,师生留言数据记录近1万条。大量的评价数据为数据挖掘工作的实施奠定了良好的基础。
比如对教师个人因素对评价结果的影响进行分析,可选用学生评价数据作为分析对象,分析教师性别、教师学历、教师年龄、职称等综合因素与教学质量评价分数的关系;再比如教师授课课堂相关属性对评价结果的影响分析,可从课堂学生人数、课程学时、课程属性以及课堂相关属性综合因素与教学质量评价分数的关系进行分析。在分析教师评价数据和学生每个学期的成绩变化时,使用的是数据挖掘中的关联规则;在找到学生计算机基础成绩的影响因素时,使用的是决策树分析等。
(二)研究方法
1.调查研究法。通过采用现场问卷、网络答题、会议研讨等方式进行调研,了解国内高职教育教学情况和质量管理现状,走访与其合作的相关企业,获取大量的与教学质量评价相关的信息。
2.文献研究法。查阅国内外专家、学者对数据挖掘在教学质量评价方面的研究,学习并分析研究的结论和成果,让其借鉴和指导我们的研究,开阔研究思路。
3.归纳对比分析法。对数据、专家学者的研究、院校实际进行科学的定性和定量分析,归纳总结,运用到我们的研究中。
4.实验法。采用有效的数据挖掘方法对获得的海量数据进行信息挖掘,并对产生的信息进行分析;将实验结果和目前存在的数据相结合,完成一个既能对用户基本信息进行管理,又能行之有效地对教学质量进行评价的管理系统。
5.实证研究法。应用调查结论,拟定改进措施,并组织实施。
6.经验总结法。根据实际经验,进行理论提升和实践创新。
二、结论与对策
本课题围绕数据挖掘技术如何在高职教学质量评价体系中进行构建及应用,如何提高教学质量,让师生受益,进行了研究与实践。
1.改变传统评价标准模糊的问题,率先构建了采用神经网络模型而确立的具有医药特色的教学质量评价体系,解决了评价标准体系不健全的问题。
传统教学质量评价模糊化,方法单一化,不能及时发现教学工作中哪部分欠缺或不到位,不能形成一个全面的、全员参与的评价体系。教学督导只停留于常规方法,学生在每学期末给教师评分,教师只看到分数而看不到问题的存在,处于恶性循环的打分现状。
此次改革从专业质量考核的权重入手,多角度分析教学的全过程,将用人单位的意见以及社会考评的结果进行综合考虑,为教学质量监控提供了一套完善的方法与标准体系。将教学质量监控内容的每一部分确立明确的质量监控点,并赋予每个监控点不同层次的评价与评价标准。在具体量化的过程中,采用神经网络方法,利用数据拟合函数关系,梯度下降对参数进行迭代,从而找到优化的方向,利用特征选择方法,去掉冗余的考核指标,最终合理确定各项考核权重,使得每个标准及等级有依有据。
以实践教学考核评价为例,采用数据挖掘技术中神经网络方法,建立了一个基于人工神经网络的仿真模型,将方案准备、操作训练、总结报告、考核鉴定作为输入层,实践教学质量作为输出层,建立人工神经网络模型,利用构建的模型对数据进行预测,将预测的结果转换为教学经验,运用到实际的教学过程中。不断地更新数据库,利用新的数据进行检验,测试其成功的几率。
结果表明,使用神经网络方法评价高职实践教学工作的质量精度高,收敛快,计算过程简单,通过网络自主学习实现大量的参数设定,避免了人为主观因素的影响,评估结果客观有效。克服了传统评价方法的缺点,可以快速、准确地得到评价结果。
2.改变传统教学质量评价系统针对性不强的问题,设计研发了管理、分析与挖掘一体的高职教学质量评价系统。
目前,有关教学质量评价系统的软件有多种,但市场上出售的这些评价系统,价格昂贵且均为通用评价系统,对于特定的学校,很多通用功能利用率甚低,而需求使用功能尚不存在。
对照教学质量评价标准,结合医药行业特色,研发了基于B/S 模式的高职教学质量评价系统,形成涵盖专业质量、理论教学质量、实践教学质量、理实一体化教学质量、学校整体教学质量等的评价体系,实现了系统维护、用户管理、基础信息管理、评价项目管理、在线评价等功能。通过信息化手段,将过程评价与结果评价相结合,注重每堂课教师教的质量和学生学的质量,提升教学管理的有效性,实现有效督,快速导,实现从课堂到课外、从学校到企业、从教师到学生的全程监控、跟踪,达到有效的教学诊断,有效地调动各部门工作者的积极性。
3.改变了传统教学数据未深入挖掘的问题,充分运用了数据挖掘技术,并将其迁移到教学质量评价体系的构建中。
教务信息是高职院校丰富的资源。面对这些大量的数据,大多数院校并未对教务数据中的隐含信息进行挖掘和分析。本课题引入了数据挖掘技术,将开发的评价系统和原有的教务管理系统集成到一起,自动提取相关信息,对采集的信息(如课堂教学评价信息、学生的学籍信息、学生的在校课程成绩、教师信息)利用数据挖掘提取其中隐含的信息,运用数据挖掘技术的分类、聚类等方法,进行多层次、多角度的分析,提取出隐藏在数据中的有用信息,除了对数据进行横向的比较分析,还对历年来的数据进行纵向的分析挖掘。发现和诊断问题,更好地指导教学,更好地为教学工作提供公正性和客观性的评定依据。
三、成果与影响
(一)教学成果
1.成果名称:医药类高职院校基于信息平台的教学质量监控体系研究与实践
获奖等级:山西省职业教育教学成果二等奖
完成时间:2018年1月
成果影响:创建“分段循环可持续发展”模式,在此模式下展开教学质量监控改革,制订了一整套教学质量评价办法与制度,创立了考评公式,并将专业质量考核融入考核中;根据新模式的要求,结合全面质量管理全面性、全员性、全程性和多样化的理念,取得实质性突破。并在国内部分院校和校企合作单位推广应用,效果良好。
2.成果名称:《基于“信息平台+数据分析”的医药类高职教学质量评价体系创新与实践》
获奖等级:山西省职业教育教学成果一等奖
获奖时间:2019年11月
成果影响:本成果在国内率先构建了模型化的教学质量评价体系,融合了信息技术、数据挖掘技术,经实践检验,最终形成“评价-反馈-改进”螺旋式上升的教学评价模式。目前,已有国内部分高职院校和合作企业将该成果纳入日常管理,应用效果显著,得到中国职业技术教育学会医药专业委员会的好评。
(二)专著
成果名称:《数据挖掘在高职教学质量评价体系构建中的研究与应用》
成果形式:专著
出版:吉林科学技术出版社
书号:ISBN 978-7-5578-6113-1
出版时间:2019年10月
(三)软件
成果名称:基于智能算法的高职教学质量评价系统
成果形式:软件
软件著作权编号:2019SR1022414)
完成时间:2019年10月
成果影响:开发了基于B/S模式的高职教学质量评价系统,从山西药科职业学院15个专业66个班级2970名学生和其他医药类相关院校对此软件的应用情况分析,该研究软件有效地推进了教学改革,在推进人才培养全过程,指导教学模式的改革,专业建设等方面,效果显著,并得到天津生物工程职业技术学院和中国职业技术教育学会医药专业委员会的认可。
(四)论文
1.成果名称:高职教学质量评价系统的设计与开发
成果形式:论文,发表在办公自动化
发表时间:2017年3月
成果影响:该论文发表后,在中国知网被多次引用。
针对职业教育发展给高等职业院校带来一系列挑战,如学生数量的增加、专业的设置、基础设施需要更新、教学方式的改变等等。结合高职院校特点,分析如何提高教学质量,设计了高职教学质量监控系统,对其进行了功能分析、模块划分和系统设计,实现了系统维护、用户管理、基础信息管理、评价项目管理、在线评价等功能。
2.成果名称:基于人工神经网络的高职院校实践教学工作质量评价
成果形式:论文,发表在现代计算机
发表时间:2017年6月
成果影响:该论文发表后,在中国知网被多次引用。
针对高职院校教学工作中存在的质量评价问题,建立一个基于神经网络的仿真模型,将方案准备、操作训练、总结报告、考核鉴定作为输入层,实践教学质量作为输出层,建立人工神经网络模型,利用实际数据进行网络的训练和测试。
测试结果表明,该模型可以得出数字化的评估结果,可以准确、直观地反映高职实践教学工作的优劣,具有良好的识别精度。同时对人工神经网络在高校高职实践教学工作质量评价的前景进行展望。
四、改进与完善
系统解读了国家对高职高专院校教学质量方面的相关文件,并对国内相关高职院校和合作企业进行了调研,深刻地认识到高职院校作为培养高技能人才的摇篮,要在当今社会立于不败之地,只有提高自己的产品质量——学生的质量,而要提高学生的质量就必须建立一系列的评价制度。
本课题通过建立教学质量监控的必要性入手,通过对高职院校教学质量的一系列概念进行辨析,在对高职院校现状分析的基础上,提出了现存的影响教学质量的主要问题,并根据问题提出了相应的对策。提出了数据挖掘技术在高职教学质量评价体系构建中的重要性并运用到实际教学质量分析中。由于时间和技术有限,技术水准不够高,本课题还存在许多方面的工作尚未完善。
1.软件系统的开发经历了系统需求分析、设计和编程三个阶段,力求提高软件的质量,避免错误的产生。但是,由于分析、设计和编程都是人来完成的,难免会出现各种各样的缺陷,这就需要我们对软件系统进行测试,找出存在的错误。测试完成后要上交测试报告,及时发现问题并提出解决方案,便于系统的维护与升级。
2.对关联规则挖掘结果的研究中,发现产生的规则还是有误差,究其原因,认为在数据集中的属性字段选择上,还有许多影响学生成绩的因素没有考虑到,教务信息内容还不够全面,所使用的数据集可能还不是最佳数据集,这一点有待将来进一步研究。
针对自身研究缺陷,需要改进的事项如下:
在对关联规则挖掘结果的研究中,发现产生的规则还是有误差,认为在数据集中的属性字段选择上,还有许多影响学生成绩的因素没有考虑周全,教务信息内容还不够全面,所使用的数据集可能还不是最佳数据集,这将有待进一步研究。
针对教务信息的分析,除了在学校的教学管理方面,还可以利用数据挖掘技术进行学生综合评价、学生心理分析、考试试题分析和就业导向研究等,这些方面的应用都是有待研究的新课题。
根据研究结论获得的启示:
1.从可持续发展的角度考虑,如何才能更好地提高高职的教学质量?
2.如何能更好地使教学质量的评价更客观、更具有推广意义?
3.如何才能使得高职教学质量评价更好地体现科学性?
4.针对教务信息的分析,除了在学校的教学管理方面,还可以利用数据挖掘技术进行学生综合评价、学生心理分析、考试试题分析和就业导向研究等,这些方面的应用都是有待研究的新课题。
五、成果统计一览表(请按下页的“课题组成果统计一览表”栏目填写完整)