为了改善课堂点名给教师和学生带来的种种不便，从而提高高校教师的上课效率，设计实现了这一种教师课表数据挖掘的教师课堂考勤系统。课题中教师课表的抽取以教务系统内提供的教师课表信息作为研究背景。通过对Python应用编写网络爬虫，在教务网上抓取相关的课表信息，并根据登录相关信息给教师提供其专属课表。实验虽然无法自动识别并对教务网上的验证码进行输入处理，但能够顺利取得了教务网上的教师课表信息。系统运用了Asp.Net技术，MySQL数据库技术完成。关键词 学生考勤，数据挖掘，语义分析，MySQL，Asp.Net本系统（基于语义分析的教务系统）是针对教务系统中的教师课表进行数据挖掘操作并将课表存储进入数据库以便于教师课堂考勤的系统。系统课题的第一个关键词就是对于教师课表数据挖掘，数据挖掘，又被称为资料探勘、数据采矿。数据挖掘（Knowledge Discovery in Databases，即KDD)作为数据库知识发现的一个重要步骤（KDD的主要步骤有：选择数据，数据准备[2]，数据格式转换，数据挖掘，数据结果评估。数据库知识发现与数据挖掘两者实质上差别不大。[3]），在基于语义分析的教务系统中起着至关重要的作用。[4、5] 从定义上来说数据挖掘就是利用算法从海量的数据里面搜索隐藏于其中有利用价值的信息的过程。[6]系统中提供的是挖掘并语义处理后的教师课表，从提高挖掘数据的质量上提升了挖掘过程的效率。[7]课题的第二个关键词是考勤，顾名思义，广义上来讲就是对一个人出勤的考察，也就是说，将一些团体或部门以及员工个人的出勤情况（包括出勤的地点和出勤的时间），通过某种特殊的渠道进行提取，在此基础上，总结过去和当前时间段内该团体或个人的出勤情况，并对这些数据进行分析处理，得到有关的规律，以便于进行未来时间阶段内的对于企业员工的统筹、安排等。本系统需要做到对教师上课信息的抓取以及对教师上课时学生的考勤状况的统计与分析等。目 录
1 引言 1
1.1 课题背景 1
1.2 课题目的和要求 7
1.3 课题意义 7
2 系统分析及主要开发技术简介 7
2.1 功能需求分析 8
2.2 Asp.Net技术分析 9
2.3 系统需求分析 13
3  *景先生毕设|www.jxszl.com +Q: ^351916072* 
学生的考勤状况的统计与分析等。目 录
1 引言 1
1.1 课题背景 1
1.2 课题目的和要求 7
1.3 课题意义 7
2 系统分析及主要开发技术简介 7
2.1 功能需求分析 8
2.2 Asp.Net技术分析 9
2.3 系统需求分析 13
3 详细设计 14
3.1 主要设计思想 14
3.2 数据库分析与设计 14
3.3 系统功能模块设计 16
4 课表数据挖掘结果 18
4.1 课表抓取的前期学习 19
4.2 爬虫框架的对比与选取 21
4.3 课表挖掘难点分析 23
5 爬虫测试结果及系统对比分析 25
5.1 爬虫实现及操作流程介绍 25
5.2 系统对比 26
结 论 30
致 谢 31
参 考 文 献 32
附录：系统操作手册 35
 1 引言
自进入本世纪以来，计算机技术得到迅猛发展，伴随着这一轮科技发展的浪潮，以计算机为应用主体的Internet数据应用技术，为广大的电脑和网络用户提供了更为便捷的服务，使人们越来越感觉到网络世界带给他们的人性化感觉。[1]在信息化技术的普及过程中，各行各业都装备了如雨后春笋般上线运行的信息管理系统，随着不断提高的数据采集能力，也进一步地为这些管理系统提供了数据运算能力。当前，应用于企业运营中的多数管理系统大多是“外部操作，内部处理，网络公开”的运行模式，在这样的模式下，大批量的原始数据被积累了下来。但是从浩瀚的数据中提取出有用的数据信息却是一个亟待解决的大问题，因此“大数据”时代为今后数据挖掘的应用研究布置了严峻的任务。
本系统（基于语义分析的教务系统）是针对教务系统中的教师课表进行数据挖掘操作并将课表存储进入数据库以便于教师课堂考勤的系统。系统课题的第一个关键词就是对于教师课表数据挖掘，数据挖掘，又被称为资料探勘、数据采矿。数据挖掘（Knowledge Discovery in Databases，即KDD)作为数据库知识发现的一个重要步骤（KDD的主要步骤有：选择数据，数据准备[2]，数据格式转换，数据挖掘，数据结果评估。数据库知识发现与数据挖掘两者实质上差别不大。[3]），在基于语义分析的教务系统中起着至关重要的作用。[4、5] 从定义上来说数据挖掘就是利用算法从海量的数据里面搜索隐藏于其中有利用价值的信息的过程。[6]系统中提供的是挖掘并语义处理后的教师课表，从提高挖掘数据的质量上提升了挖掘过程的效率。[7]课题的第二个关键词是考勤，顾名思义，广义上来讲就是对一个人出勤的考察，也就是说，将一些团体或部门以及员工个人的出勤情况（包括出勤的地点和出勤的时间），通过某种特殊的渠道进行提取，在此基础上，总结过去和当前时间段内该团体或个人的出勤情况，并对这些数据进行分析处理，得到有关的规律，以便于进行未来时间阶段内的对于企业员工的统筹、安排等。本系统需要做到对教师上课信息的抓取以及对教师上课时学生的考勤状况的统计与分析等。
1.1 课题背景
考勤对于当代社会的企业而言至关重要，也是企业所必须制定的符合现代企业制度发展的标准。完善考勤制度一方面可以加强对员工的管理机制，另外一方面可以促进企业的高效发展，是企业自动化、科学化、规范化发展的首要条件。特别是对企业的管理者、决策者而言，通过员工考勤数据就可以及时获取诸多相关信息，基于这一点考虑，考勤制度还必须有方便用户查询的特点，从而帮助企业更好更及时的了解员工的相关考勤情况。对于一个企业而言，科学的考勤管理更有利于企业的发展，促进企业对员工的管理，同样的，在各大高校之中，考勤也是教师对学生上课情况的一种监督，现今最直接的考勤方法依然还是点名，一直以来，以这种传统的人工的方式管理学生出勤状况的方法暴露了许多缺点，例如：效率低、安全性差、消耗时间过长等等，这对于教师以及学生而言造成了诸多不便。
因此，为了高校老师的上课更加便捷，提高传统的课堂考勤机制（点名）效率以便于学生从教师那里更加地汲取知识，根据考勤管理的实际情况，一个好的课堂考勤管理系统应具有如下特点：
使用方便快捷，节省时间
支持对学生的集中管理
全面的课堂考勤管理
大型数据库的后台支持（MySql）
齐全的预置课表数据
高校上课时间十分宝贵，但考勤也是不可或缺的一部分，如若普通的点名机制所消耗的时间低于考勤系统对于对考勤信息的统计，那么考勤系统的存在便并没有那么显著性的意义，所以方便和省时对于一个课堂考勤系统来说不可或缺；高校授课通常是一对多的授课方式，所以考勤时对于集中管理的需求很有必要；在课堂考勤管理上，教师不仅仅可以在抓取的课表下导入学生的电子表格还可以添加或者修改课程（仅限于教师自我修改）；对于抓取一个学校所有教师的上课信息，数据量虽说不上海量也没有相比之下那么小，所以需要一个大型数据库作为坚强后盾；数据挖掘的作用，在于及时地抓取教师课表数据信息并作为课堂考勤的依据预置在教师课表中，可供教师修改与使用。
关于本毕业设计说明书的编写目的，主要是为了便于教师在上课时对学生的考勤状况等情况进行统筹分析和总结，通过运用先进的网络技术，老师及时准确的将学生的上课记录进行标记。游客（或学生）登陆此系统，可以查询某个教师上周的上课期间的考勤记录。
本教师课表数据挖掘的课堂考勤系统用Asp.Net开发，本文重点介绍本系统的设计阶段所用到的技术，在功能的设计与实现中遇到的问题及对此类问题的解决方法。
1.1.1 课题关键技术简介
人工智能在经历了一次项目研究的失败后，转而向以实际应用为目的的方向加速发展，在这一科技背景下，一种全新的，尚未被人们所知晓的领域——数据挖掘，开始出现在大众的视野中，并在最近几年得到了长足的发展，数据挖掘主要针对商业应用性
原文链接：http://www.jxszl.com/jsj/jsjkxyjs/33113.html