CN101827124A - 用于分布式网络上的考试的系统和方法 - Google Patents

用于分布式网络上的考试的系统和方法 Download PDF

Info

Publication number
CN101827124A
CN101827124A CN201010135554A CN201010135554A CN101827124A CN 101827124 A CN101827124 A CN 101827124A CN 201010135554 A CN201010135554 A CN 201010135554A CN 201010135554 A CN201010135554 A CN 201010135554A CN 101827124 A CN101827124 A CN 101827124A
Authority
CN
China
Prior art keywords
test
exam
station
examination
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201010135554A
Other languages
English (en)
Other versions
CN101827124B (zh
Inventor
廷巴蒂亚·达山
史蒂夫·亨德肖特
肯·伯杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Educational Testing Service
Original Assignee
Educational Testing Service
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Educational Testing Service filed Critical Educational Testing Service
Publication of CN101827124A publication Critical patent/CN101827124A/zh
Application granted granted Critical
Publication of CN101827124B publication Critical patent/CN101827124B/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00Electrically-operated teaching apparatus or devices working with questions and answers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/10Active monitoring, e.g. heartbeat, ping or trace-route
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/16Threshold monitoring
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S706/00Data processing: artificial intelligence
    • Y10S706/902Application using ai with detail of the ai system
    • Y10S706/927Education or instruction

Abstract

公开了用于基于计算机的考试系统的方法和系统,其中该系统包括可通过因特网与考试服务中心通信以提供考试服务的考试站(111n)。考试服务中心(110)还可与后端数据存储服务器(133)通信,后端数据存储服务器向考试服务中心(110)提供考试包,并存储对显示给应考者的考试项目的回答。所述系统可操作来执行状态管理以实现在考试进行期间由于计算设备出现故障而引发的故障恢复。该系统还可操作来利用多种缓存技术以举行考试。

Description

用于分布式网络上的考试的系统和方法
本申请是2003年11月13日递交的申请号为200380108147.2的发明专利申请“用于分布式网络上的考试的系统和方法”的分案申请。
交叉引用:本申请要求了2002年11月13日递交的序列号为60/425,740的美国临时申请的优先权,该申请的名称为“基于计算机的考试系统”。
背景技术
许多年来,出于各种原因而对应试者举行标准化的考试,例如教育性考试或为了评测特定的技能。例如,学术技能考试(例如SAT、GRE、LSAT、GMAT等等)通常面向大量学生举行。这些考试的结果被学院、大学和其他教育机构用作为确定是否应录用应试者到该教育机构学习的一个因素。还举行其他标准化考试来确定某个个体是否达到了指定的知识水平或掌握了给定的科目(subject)。
传统上,标准化考试是基于纸面的,应试者聚集在房间内,并向他们给出纸面考试材料,通常包括问卷小册子和可通过光或磁手段而为计算机可读的答题纸。随着计算机工业的增长和计算设备价格的降低,传统上通过纸张传播信息的领域已开始转向电子信息传播手段。标准化考试领域也不例外。可使用适度定价的计算机系统来取代纸张考试小册子,管理对用户的考试问题。使用计算机系统将考试问题递送给用户通常被描述为“基于计算机的考试”(CBT)。一种用于基于计算机的考试的系统在美国专利No.5,827,070(授权给Kershaw等人)中进行了描述,该专利也共同转让给了本申请的受让人,其整个内容通过引用而包括于此。
虽然用于基于计算机的考试的系统已经可获得,但是它们通常依赖于过时的技术,例如考试问题和相关软件的物理递送。虽然数据存储介质(例如光盘或磁带)上的数据和软件的物理递送是可靠且安全的,但它慢而麻烦,因为它存在固有的迟延时间(即递送该介质花费的时间),并且它需要人工来物理处理递送介质(即安装盘片或磁带)。虽然安装物理介质上的初始考试材料是可接受的,但是在一些情形下,使用物理介质提供对所述材料的重复性更新的麻烦程度是不可接受的。随着网络技术中的进步,例如因特网容量和使用的增长,许多环境下网络通信正在迅速代替物理递送,许多现代的预期需要不低于网络通信可提供的速度,同时仍要求物理递送的安全性和可靠性。在考试环境下,引入网络传播时保持安全性和可靠性的需求怎么强调也不过分。
发明内容
本发明的一个方面提供了一种用于举行测验的系统,包括:一个或多个考试站,其被配置成接收多个考试项目并向用户显示所述考试项目,并且其中所述一个或多个考试站还被配置成记录状态信息,该状态信息包括从所述测验的开始已过去的时间、显示给所述用户的考试项目的标识以及与所述考试站的用户交互;可与所述一个或多个考试站通信的第一服务器计算机系统,其中所述第一服务器计算机系统被配置成电子化地发送所述考试项目到所述一个或多个考试站,并从所述一个或多个考试站接收用户信息以及对所述考试项目的回答,并且其中所述第一服务器计算机系统还被配置成从所述一个或多个考试站接收所述状态信息以及电子化地存储所述状态信息;以及,可与所述第一服务器计算机系统通信的第二服务器计算机系统,其中所述第二服务器计算机系统被配置成从所述第一服务器计算机系统接收用户信息和对所述考试项目的回答,并将考试包递送给所述第一服务器计算机系统。
在一些实施方案中,所述第一服务器计算机系统通过分布式网络,如,因特网,与所述一个或多个考试站通信。
在一些实施方案中,所述一个或多个考试站还被配置成将所述考试项目存储在易失性存储器中。
在一些实施方案中,所述第一服务器计算机系统包括:一个或多个计算机,其被配置成执行web服务器、小服务程序引擎和应用服务器的功能;以及,一个或多个数据存储设备。
在一些实施方案中,所述一个或多个考试站还被配置成周期性地将所述状态信息的改变递送到所述第一服务器计算机系统。
在一些实施方案中,所述一个或多个考试站还被配置成在所述用户与所述考试站交互时,将所述状态信息的改变递送到所述第一服务器计算机系统。
在一些实施方案中,所述第二服务器计算机系统包括:一个或多个计算机;一个或多个数据存储设备;以及,包迁移工具,其被配置成在将考试包递送到所述第一服务器计算机系统之前适当地格式化所述考试包。在一些实施方案中,所述包迁移工具还被配置成管理所述考试包的后续版本的使用。
在一些实施方案中,所述第二服务器计算机系统还被配置成对所述考试项目的回答进行计分。
在一些实施方案中,所述测验是线性测验,或自适应性测验。
本发明的另一个方面提供了一种通过分布式网络向用户举行测验的方法,包括:同步在服务器和在可与所述服务器通信的一个或多个考试站上的初始状态对象,其中所述初始状态对象包括必须在其中完成所述测验的时间以及将提供给所述用户的考试项目;将多个考试项目递送到一个或多个考试站;向所述用户显示所述多个考试项目并记录所述用户的回答;以及,向所述服务器递送已改变的状态对象,该对象包括所述测验已过去的时间、提供给所述用户的考试项目以及所述用户对所述考试项目的回答。
在一些实施方案中,在所述考试站上发生触发事件时,将所述已改变的状态对象递送到所述服务器。在一些实施方案中,所述触发事件是过去了预定的时间段,或所述用户与所述考试站交互。
在一些实施方案中,所述测验是自适应性测验,或线性测验。
在一些实施方案中,在所述考试站出现故障时,使用所述初始状态对象和存储在所述服务器上的所述已改变的状态对象来在所述考试站上,在所述故障发生的测验点处重新创建所述测验。
本发明的在一个方面提供了一种管理测验状态的方法,包括:将要在一个或多个考试站上举行的测验的标识递送到服务计算机;在所述服务器计算机上创建初始状态对象,其中所述初始状态对象定义了所述测验的初始状态;将所述初始状态对象递送到所述一个或多个考试站;记录与所述一个或多个考试站的每次用户交互;以及,将所述初始状态对象的改变从所述一个或多个考试站递送到所述服务器计算机。
在一些实施方案中,在所述考试站出现故障后重新开始所述测验,其中,使用所述初始状态对象和存储在所述服务器计算机上的所述初始状态对象的改变来在所述考试站上,在所述的考试站的故障发生的测验点处重新创建所述测验。
本发明的又一个方面提供了一种将考试项目递送到考试站以向用户提供测验的方法,包括:在服务器计算机上创建缓存列表,其中所述缓存列表包括将递送到所述考试站的考试组件的标识;将所述缓存列表递送到所述考试站;将第一组考试组件递送到所述考试站,其中所述第一组考试组件在所述测验开始时被递送;以及在所述考试站上发生触发事件时,将一组或多组后续考试组件递送到所述考试站。
在一些实施方案中,执行所述递送所述一组或多组后续考试组件的步骤来在所述考试站上维护预定数量的未显示的考试组件。
在一些实施方案中,所述考试组件用于创建考试项目。
在一些实施方案中,所述触发事件是所述用户与所述考试站的交互。
在一些实施方案中,所述测验是线性测验,或自适应性测验。
本发明公开了一种用于基于计算机的考试的系统和方法,其中在中央位置准备并存储考试信息,并通过因特网递送到一个或多个执行应考软件的考试站,从而举行考试。考试信息包括考试项目(item),包括考试问题、测验标识和序列信息。应考软件可以是使用JNLP协议启动的JAVA应用程序、JAVA小应用程序或任何其他软件应用。JAVA应用程序与JAVA小应用程序不同,它不受限于浏览器的约束,通常具有更好的性能,因为该应用程序被加载到考试站上,因而是应考软件的优选实施方案。另外,作为优选实施方案的一部分,使用JAVA网络启动协议(JNLP),因而使得JAVA应用程序可立即通过因特网取得该应用程序的最新版本。另外,不需要“保持存活”连接来通过因特网(例如HTTP/HTTPS协议)在考试站和提供考试的服务中心之间进行通信。包括考试项目的考试信息只存储在考试站上的易失性存储器上。将所述项目显示给应考者(这里也称为用户),所有与考试站的用户交互都被发送给中央位置并存储在存储设备上。
在本发明的实施方案中,创建一个缓存列表,包括所有考试组件的列表,这些考试组件(component)将被递送给考试站,并且需要它们来将所述项目显示给用户。使用考试组件来创建考试项目以递送给用户。将缓存列表递送给考试站,并与中央服务器进行同步。考试站然后预取缓存列表上可配置数量的组件。发生某些预定触发事件时,从中央服务器递送额外的组件到考试站,以最小化数据延迟问题。
在本发明的另一个实施方案中,与考试站上的测验的状况和状态有关的信息被记录在可由中央服务器访问的存储设备上,以用于故障恢复。中央服务器记录考试站的初始状态,就给定的正在进行的测验的标识,初始状态可由中央服务器确定。初始状态包括在数据对象中,该数据对象被递送给考试站并存储在易失性存储器中,使得可在测试站上维护该状态,并在中央服务器上有镜像。之后,考试站将所述状态的改变(可包括用户与考试站的交互以及逝去的时间)周期性地以及在发生特定用户动作时递送到中央服务器。
附图说明
在附图中以示例性而非限制性的方式示出了本发明,其中相似的标号表示相似的元件,并且其中:
图1示出了根据本发明实施方案,示例性的基于计算机的考试系统;
图2示出了根据本发明的实施方案,用于在考试站进行状态管理的方法的流程图;
图3示出了根据本发明的实施方案,用于在服务中心进行状态管理的方法的流程图;
图4示出了根据本发明实施方案的考试信息缓存表;
图5示出了根据本发明的实施方案,用于进行考试缓存的方法的流程图;
图6示出了根据本发明实施方案的示例性的计算机平台。
具体实施方式
在下面的详细描述中,给出了大量具体细节以透彻理解本发明。然后,对本领域的普通技术人员来说很清楚这些具体细节对实施本发明来说不是必需的。在其他情形下,未详细示出公知的结构、接口和过程以免不必要地模糊本发明。
在描述本发明的方法和系统之前,应理解到本发明并不局限于所描述的特定方法、协议或系统,因为它们是可以变化的。还应理解到,说明书中使用的术语仅仅是为了描述特定的版本或实施方案,并非是要限制本发明的范围,本发明的范围仅受限于所附权利要求书。具体地说,虽然本发明是结合因特网文件来描述的,但应认识到本发明可在任何具有一个或多个计算机的网络中获得应用。
还必须注意到,在这里使用时以及在所附权利要求中,单数形式“一个”和“所述”包括复数引用,除非上下文有明确的相反指示。因此,例如对一个“计算机”或“服务器”的引用是对一个或多个计算机或服务器及本领域技术人员所公知的等同物等等的引用。除非有相反的定义,否则这里所使用的所有技术术语和科学术语都具有本领域的普通技术人员所共同理解的含义。虽然可使用与这里描述的方法类似或等同的任何方法来实施或测试本发明的实施方案,但是现在描述的是优选的方法。这里提到的所有出版物都通过引用而被包括进来。这里的任何内容都不应被理解为承认“本发明没有资格作为在先发明而在日期上早于这种公开”。
这里使用的术语“项目”指考试问题,优选地包括题干、提问、回答和指示,或者这些元素的某个子集。这些包括考试项目的元素也称为考试组件。与考试领域相关的“项目”这一概念在美国专利No.5,827,070(授权给Kershaw等人)中有更完整的讨论,该专利的整体通过引用被包括进来。
图1示出了根据本发明实施方案的考试系统100。该系统包括考试中心110,考试中心110包括一个或多个考试站111a…n,可与服务中心120通信,服务中心120又可与服务中心后端130通信。考试中心110可以是一个或多个应考者聚集来参加测验的位置、教室或应考者的个人计算机的位置。而且,虽然在图1中未示出,但是应认识到一个或多个考试中心110可与服务中心120通信以进行多个测验。考试中心110、服务中心120和服务中心后端130之间的通信可通过任何数据通信方法进行,包括无线通信、有线通信、通过公共电话交换网(PTSN)或通过一个或多个网络,例如因特网、内部网、局域网或广域网。
考试中心110
在一个实施方案中,考试站111a…n中的每一个都可通过网络与服务中心120通信,所述网络例如是局域网(LAN)、广域网(WAN)或因特网。可全部或部分地使用其他通信手段,包括无线通信、有线通信、PTSN或它们的组合。考试站111a…n可使用任何协议例如JNLP或HTTP/HTTPS与服务中心120通信,但是优选安全的协议例如JNLP。考试站111a…n和服务中心120之间的连接可仅在需要交换信息时才建立,而非在评测期间维持连续的连接。考试中心110和服务中心120之间的连接可通过拨号连接、高速因特网连接或包括无线通信在内的任何其他通信手段来实现。
每个考试站111a…n都被配置成执行环境准备软件113和应考软件112以为用户举行考试。考试站111a…n执行的环境准备软件113进一步配置每个考试站111a…n,以通过禁用考试站111a…n在应考软件112和任何其他应用程序之间切换或在应考软件112和任何其他应用程序之间交换数据的能力,在安全的环境中实现考试信息的递送和管理。
在一个实施方案中,应考软件112是JAVA应用程序,可在JNLP期间启动。JAVA应用程序可用来举行多种考试类型。例如,应考软件112可用来举行所谓的线性考试(例如具有预定问题的考试)或所谓的自适应性考试(例如基于用户的在先回答而生成问题的考试)。系统100可改装来提供和举行从任何类型的模型生成的测验。应考软件112还可操作缓存问题,例如下面参考图5和6所详细描述的那样,并执行本发明的其他方法。
应考软件112可构成不被浏览器的限制所约束的JAVA应用程序,例如其JAVA运行时环境所支持的版本。而且,在使用JNLP时,应考软件112可被容易地更新。或者,应考软件112可通过小应用程序或配置来执行这里描述的方法的任何其他软件应用程序来实现。
考试站111a…n下载考试信息以举行考试。作为安全措施,考试信息存储在考试站111a…n的易失性存储器中,并在考试完成后被删除。在一个实施方案中,考试信息封装在JAVA存档文件(JAR)中,并保存在考试站的易失性存储器中,以为应考软件112所用。考试信息包括测验标识、考试项目和考试组件。
考试站111a…n可位于考试中心110处,可在一个机构处向多个用户举行考试。但是,并不需要考试站111a…n物理上处于同一位置。
服务中心120
服务中心120包括web服务器122,web服务器122被配置成通过任何协议来接收数据通信,但优选使用安全的协议例如JNLP或HTTPS。另外,小服务程序引擎121提供通信框架,应用服务器125被配置成在测验进行中将数据递送给考试站111a…n,并从考试站111a…n接收数据。虽然示出为分开的组件,但是web服务器122、小服务程序引擎121和应用服务器125可以是物理上分开的组件,或结合到单个物理组件中。
web服务器122可与考试站111a…n通信来提供对服务中心120的访问。web服务器122还可与数据存储设备123通信。数据存储设备123被配置成存储所有从考试站111a…n接收的数据,该数据的信息可包括用户对问题的回答以及用户和考试站111a…n之间的任何其他交互。另外,数据存储设备123还存储用于在考试站111a…n发生故障时进行故障恢复所必需的数据。故障回复信息可包括正在向用户举行的考试的当前状态的实质性镜像拷贝,其足以使得可进行故障恢复而无需从所存储的信息重建所述状态。状态信息可包括例如正在考试站上向用户举行的考试的考试答案以及过去的时间。数据存储设备123还缓存从后端130接收的考试信息(例如考试问题等等),并且还被配置成存储可被递送到考试站111a…n并显示在其上的考试项目,以及存储从考试站111a…n接收到并要发送到后端130的信息(例如考试结果、用户标识信息等等)。
应用服务器125被配置成支持运行在考试站111a…n上的应考软件112。应用服务器125可接收来自考试站111a…n的获得数据的请求,并适当地响应这些请求。应用服务器125将控制考试项目和组件到考试站111a…n的递送,例如通过ENTERPRISE JAVABEANS(EJB)容器或Active X控件。而且,从考试站111a…n发送的数据通过web服务器122进行接收,并被递送到数据存储设备123。
可选地,管理者站(未示出)可与应用服务器125进行通信。管理者站可远程于服务中心120、位于服务中心120处或作为基于计算机的考试系统100的其他组件之一而被包括其中。管理者站可用来执行考试中心110的管理功能,例如监控考试站111a…n以发现故障、登记用户或打印测试分数。管理者站还可被配置成执行服务中心120的监控和其他功能,例如负载平衡、浏览考试和/或回答、监控与考试站111a…n的通信以及故障检修。另外,管理者站还可配置成执行后端130的类似功能。
从考试站111a…n接收的数据可从数据存储设备123发送到后端130,在后端130处对所述数据进行进一步的处理,例如计分或存档性存储。所述传输可通过考试结果传输模块124进行,考试结果传输模块124从数据存储设备123接收用户信息和考试结果,并将所述信息和结果传输到后端130。
后端130
数据存储设备123从后端130接收数据并将数据递送到后端130。后端130是从考试站接收的数据例如用户信息和考试结果存储的位置,以及准备并打包考试信息的位置。另外,包迁移工具132存储将要递送到数据存储设备123的考试包的最新版本。考试项目存储在数据存储后端设备133上。在本发明的实施方案中,考试项目以考试包的形式存储在数据存储后端设备133上。包装迁移工具132从数据存储后端设备133取得考试项目,进行适当的格式化,以递送到数据存储设备123。当以考试包的形式将考试项目存储在数据存储后端设备133上时,包装迁移工具132还管理对考试包的后续版本的适当的处理,以确保从数据存储设备123正在访问的是适当的版本。例如,可在数据存储后端设备133上创建考试包A(版本1),并由包装迁移工具132递送到数据存储设备123。然后将考试包A更新为版本2。当包装迁移工具132将版本2递送到数据存储设备123时,它利用一个指示符进行这一工作,该指示符表明在先版本(即版本1)应被标记为不可递送,并且响应于对考试包A的请求,应提供版本2。包装迁移工具132还可通过任何传统加密方法来进行加密,例如那些基于对称密钥算法或公/私钥算法的方法。
从服务中心120递送从考试站接收的数据例如用户信息和考试结果,并存储在考试信息存储库135中。用户信息可包括用户的名字和地址,和/或与应考用户相关的其他信息,例如包括考试中心110的标识。考试结果可包括诸如用户对各个考试项目的回答、采用的考试包的版本以及测验日期和时间等信息。可选地,后端130还可包括考试信息处理器134。考试信息处理器134被配置成从考试信息存储库135接收信息,并处理这一数据以生成所需的报告和分析。例如,考试信息处理器134可对考试项目的回答计分,可关联考试结果和用户信息,以及产生考试分数报告、统计分析或与测验相关的其他信息。
状态管理
重要的是,系统100被配置成在考试站111a…n中的一个或多个在测验期间出现故障,需要在评测完成前重启时提供对考试站111a…n的快速、有效的恢复。本发明提供了用于这一恢复的方法,称为状态管理,其可针对每项考试的需要和需求而进行配置,并将使得用户可在测验中考试站出现故障的基本相同点处重启他/她的测验。该方法需要将考试站111a…n上存在的考试状态原样地镜像到数据存储设备123上。考试状态数据是可配置的数据对象集合,描述了测验中给定点处的考试站111a…n的状态。
考试状态数据例如包括已过去的(elapsed)考试时间、当前正在进行的考试项目、已进行的在先评测(assessment)项目以及对在先考试项目的回答。已过去的考试时间包括从正进行的考试的开始时间开始已过去的应考时间量。已过去的考试时间考虑了考试进行期间考试对用户不可用的任何时间量。例如,考试的一些部分可能是在考试进行期间下载的。由于传输延迟,问题可能对用户不可用。如果向用户分配了预定量的时间来应考,则问题对用户不可用的时间不会加罚到用户身上。考试状态数据中还包括用户对在先考试项目的回答。这包括用户已输入的任何答案。
图2示出了根据本发明的实施方案进行状态管理的方法。在考试站上,在考试开始205处启动该方法。考试站将正在举行的测验的标识发送给服务中心210。服务中心然后创建该测验的初始状态对象220,并将该初始状态对象存储在数据存储设备上。从服务中心将初始状态对象递送到考试站225。状态对象包括正在举行的测验的标识,还可包括考试项目、考试项目回答、已过去的时间以及与参加测验相关的任何其他信息。然后启动心跳(heartbeat)计时器230,并记录每次用户与考试站的交互235。然后,检查用户交互以确定它是否是以被预定要引发状态更新的用户交互240。可引发状态更新的用户交互可被配置成满足给定测验的需要,并可包括任何交互,或只包括那些导致对正在显示的当前考试项目作出回答的交互。如果用户交互需要更新状态,则考试站将状态改变发送到服务中心245。重要的是只发送状态改变,不发送整个状态对象。发送到服务中心的状态改变不仅包括引发步骤245处的发送的用户交互,还包括自上次发送以来已发生的任何其他改变以及时间上的改变。用状态中的改变更新状态对象后,重新启动心跳计时器230。
或者,如果用户交互不需要更新状态,则将用户交互排队以在以后发送到服务中心250。检查心跳计时器以确定它是否已超过最大值255。所述最大值可被配置为任何数量,依赖于测验的需求。如果心跳计时器尚未超过其最大值,则增加心跳计时器257,并且方法继续到记录用户交互235。否则,在步骤245发生状态改变的发送。
图3示出了在服务中心120处进行状态管理的方法。该方法开始于从考试站接收考试标识305。服务中心然后创建初始状态对象310,并将初始状态对象递送到考试站315。然后,启动故障计时器320,并且服务中心等待来自考试站的数据。如果接收到数据325,则将状态改变记录在数据存储设备中,并记录状态改变350。或者,如果未接收到数据325,则检查故障计时器330,以确定故障计时器是否已超过最大值。如果故障计时器未超过最大值,则增加故障计时器335,并且服务中心继续等待来自考试站的数据。如果故障计时器超过最大值,则服务中心将考试站指定为可重启340,并关闭考试会话345。
故障计时器只在它在足以得出结论“考试站不再在运行”的时间段内未从考试站接收到数据时才会超过最大值。当重启考试站时,服务中心将在考试站上进行的测验标识为先前关闭并指定为可重新开始的测验。使用初始状态以及已记录在数据存储设备上的初始状态的改变,在可配置来满足测验的需求的参数内,服务中心将在考试站上在考试站出现故障时处重新创建测验。
评测项目缓存
系统100可操作来举行任何类型的测验,包括但不局限于线性考试和自适应性考试。对于线性考试,考试的问题是预先确定的。但是,服务中心120不是将整个考试发送到考试站,而是在考试进行期间,使用这里描述的方法,一部分一部分地发送考试。例如,考试的一部分可被发送到考试站并存储在本地易失性存储器中,这样用户可开始应考。随着考试的进行,考试的多个部分被连续发送到考试站并存储在易失性存储器中。可触发考试的一部分的传输的事件可包括用户回答了预定数量的问题,或过去了预定量的时间。
包装迁移工具132可从数据存储后端设备133取得考试。包装迁移工具132可将考试存储在数据存储后端设备123和web服务器122中。然后,应用服务器125根据需要将部分考试发送到考试站111a…n。
对于自适应性考试,提供给用户的下一个问题不是预先确定的;相反,它基于用户对当前考试问题的回答。对于自适应性考试,服务中心120将一组考试项目或问题发送到举行考试的考试站111a…n。应考软件112然后选择一个或多个问题,以基于用户对先前的问题的回答来显示给用户。所选择的(多个)问题然后在要回答的考试期间提供给用户。重复这一过程直到考试完成。服务中心120可在用户回答问题期间发送所述问题组。因此,用户可不必等待读下一个问题。
包装迁移工具132可从数据存储后端设备133取得大量问题,并将问题存储在数据存储设备123中。应用服务器125可响应于从考试站111a…n接收到回答,从数据存储设备123中选择一组问题。所述问题组被发送到考试站111a…n,从而基于用户对先前的(多个)问题的回答,将该组中的一个或多个问题提供/显示给用户。
图4示出了在自适应性考试的进行中,回答和接下来将提供给用户的问题之间的关联的实施例。考试站111a…n接收一组7个问题,存储在易失性存储器中。如果用户对某个问题(例如考试中的问题10)选择了选项A,则应考软件从该组中选择问题1和2,并且这些问题是接下来将提供给用户的问题(例如作为问题11和12)。如果用户选择了答案选项B,则从该组中选择问题3以接下来提供给用户。如果用户选择答案选项C,则从该组中选择问题4-6。如果用户选择答案选项D,则从该组中选择问题7。
应考软件112和应用服务器125一起管理自适应性考试项目选择算法例如图4中描述的预测函数的实现。可在应用服务器125和应考软件112上实现任何自适应性考试算法。它基于对先前的问题的回答,选择将从服务中心取得并显示给用户的考试问题。应用服务器125可采用某种机制来向考试站111a…n提供几个问题。例如,可将两组问题递送到考试站——一组用于当前项目被正确回答时,另一组用于当前项目未被正确回答时。这是用于问题的一个级别的预测算法。应用在需要时可被配置来作进一步的预测并提供多级问题组以改善性能。另外,应用服务器可使用基于答案选项选择的算法例如图4描述的预测函数。
图5示出了缓存考试组件的方法,该方法可用于任何测验模型,包括但不局限于线性考试或自适应性考试。在考试开始505之后,服务中心创建将递送到考试站以举行考试的所有组件的缓存列表510。在优选实施方案中,该缓存列表将包括任何数据、消息和需要来创建并显示测验的考试项目以及记录用户的回答的其他信息。缓存列表标识出将被递送到考试站的组件,即考试项目。然后将缓存列表递送到考试站515,并存储在易失性存储器中。然后同步考试站以及服务中心上的缓存列表520。考试站然后预取可配置的量的数据525。预取的数据量是一种缓冲,所述方法需要维护它以避免数据延迟问题。根据正举行的测验的需要和网络的带宽容量,配置作为缓冲而存储的数据量。监视并记录所有与考试站的用户交互530。如果用户动作是触发动作535,则该方法管理/更新缓存列表540,以维护预取步骤中建立的数据缓冲。基本上,管理缓存列表需要从服务中心取额外的数据。但是,为了避免在用户正与考试站交互时不利地影响考试站的性能,所述取动作将被定时在将使这些问题最小化的时间发生,例如与回答当前考试项目相关联的不活动期间。如果所记录的用户交互不是触发动作,则系统返回到监视用户交互。
任何时候只要需要就可终结所述方法,以继续有序地向用户显示考试项目并记录对考试项目的回答。例如,如果用户跳到尚未预加载到考试站的考试项目,则将终结项目缓存方法以将该考试项目的组件下载到考试站。下载了该考试项目的组件后,重启考试缓存方法。
在优选实施方案中,可乱序取缓存列表上的组件。在本实施方案中,可乱序地从缓存列表取需要成比例的大量数据的考试项目组件。
项目缓存还需要管理可用带宽,以不仅优化项目缓存还优化状态管理。在优选实施方案中,预留一部分带宽用于与状态管理相关的数据,即使在项目缓存的取步骤中也是如此。按照这种方式,本系统可实现状态管理和项目缓存二者的优点。
图6示出了根据本发明实施方案的示例性计算机平台,用于系统100中的计算设备,例如考试站、服务器等等。该平台包括一个或多个处理器,例如处理器602,提供用于执行考试软件的平台。来自处理器602的命令和数据被通过通信总线604而被传送。平台600还包括主存储器606和副存储器608,主存储器606例如是随机访问存储器(RAM),运行时期间可在此运行软件。副存储器608例如包括硬盘驱动器610和/或代表软盘驱动器、磁带驱动器、光盘驱动器等等的可拆卸存储驱动器612,在此可存储用于对等隐私模块的计算机程序实施方案的拷贝。可拆卸存储驱动器612以公知的方式从可拆卸存储单元614读并且/或者对其写。用户可利用键盘616、鼠标618和显示器620与平台600相接口。显示适配器622与通信总线604和显示器620相接口,从处理器602接收显示数据,转换来自处理器602的显示数据,并将显示数据转换为显示器620的显示命令。
这里已经描述并示出了本发明的优选实施方案及其变体。这里使用的术语、描述和附图的提出只是为了进行说明,而非限制。本领域的技术人员将会认识到在本发明由所附权利要求书及其等同物所定义的精神和范围内可以有许多变体,在权利要求书中所有术语应被理解为它们最宽的合理的含义,除非有相反的说明。

Claims (18)

1.一种通过分布式网络举行测验的方法,所述方法使用一个或多个考试站、服务中心和后端存储设备,其中所述服务中心包括web服务器、应用服务器、至少一个服务中心存储设备以及后端设备,其中所述后端设备包括包迁移工具、后端存储设备以及考试信息存储库,所述方法包括:
以考试包的形式在所述后端存储设备存储考试项目;
将所述考试包从所述包迁移工具递送给所述至少一个服务中心存储设备;
将考试项目从所述应用服务器发送到所述一个或多个考试站,用于向用户显示,其中所述一个或多个考试站被配置成记录状态信息,所述状态信息包括从所述测验的开始已过去的时间、显示给所述用户的考试项目的标识以及与所述考试站的用户交互;
在所述web服务器,从所述一个或多个考试站接收用户信息和对所述考试项目的回答;
在所述至少一个服务中心存储设备,从所述一个或多个考试站接收所述状态信息,并存储所述状态信息;以及
在所述考试信息存储库,从所述至少一个服务中心存储设备接收用户信息和对所述考试项目的回答。
2.如权利要求1所述的方法,其中所述服务中心通过所述分布式网络与所述一个或多个考试站通信。
3.如权利要求2所述的方法,其中所述分布式网络是因特网。
4.如权利要求1所述的方法,其中所述一个或多个考试站还被配置成将所述考试项目存储在易失性存储器中。
5.如权利要求1所述的方法,其中所述服务中心还包括小服务程序引擎。
6.如权利要求1所述的方法,包括在所述服务中心,从所述一个或多个考试站周期性地接收所述状态信息的改变。
7.如权利要求1所述的方法,包括在所述用户与考试站交互时,在所述服务中心,从所述一个或多个考试站接收所述状态信息的改变。
8.如权利要求1所述的方法,其中所述包迁移工具还被配置成在将考试包递送到所述服务中心之前适当地格式化所述考试包。
9.如权利要求8所述的方法,其中所述包迁移工具还被配置成管理所述考试包的后续版本的使用。
10.如权利要求1所述的方法,包括在所述后端设备对所述考试项目的回答进行计分。
11.如权利要求1所述的方法,其中所述测验是线性测验。
12.如权利要求1所述的方法,其中所述测验是自适应性测验。
13.如权利要求1所述的方法,包括:
创建初始状态对象,其中所述初始状态对象定义所述测验的初始状态;
将所述初始状态从所述服务中心递送到所述一个或多个考试站;
基于与所述一个或多个考试站的用户交互,在所述服务中心从所述一个或多个考试站接收所述初始状态对象的改变。
14.如权利要求13所述的方法,包括:
在所述考试站出现故障后重新开始所述测验,其中,使用所述初始状态对象和存储在所述服务器中心的所述初始状态对象的改变来在所述考试站上,在所述考试站的故障发生的测验点处重新创建所述测验。
15.如权利要求1所述的方法,包括:
在所述服务中心创建缓存列表,其中所述缓存列表包括将递送到所述一个或多个考试站的考试组件的标识;
将所述缓存列表递送到所述一个或多个考试站;
将第一组考试组件递送到所述一个或多个考试站,其中所述第一组考试组件在所述测验开始时被递送;以及
在所述一个或多个考试站上发生触发事件时,将一组或多组后续考试组件递送到所述一个或多个考试站。
16.如权利要求15所述的方法,其中,执行所述递送所述一组或多组后续考试组件的步骤来在所述考试站上维护预定数量的未显示的考试组件。
17.如权利要求15所述的方法,其中所述考试组件用于创建考试项目。
18.如权利要求15所述的方法,其中所述触发事件是所述用户与所述考试站的交互。
CN2010101355544A 2002-11-13 2003-11-13 用于分布式网络上的考试的系统和方法 Expired - Fee Related CN101827124B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US42574002P 2002-11-13 2002-11-13
US60/425,740 2002-11-13

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN2003801081472A Division CN1732490B (zh) 2002-11-13 2003-11-13 用于分布式网络上的考试的系统

Publications (2)

Publication Number Publication Date
CN101827124A true CN101827124A (zh) 2010-09-08
CN101827124B CN101827124B (zh) 2011-12-28

Family

ID=32507609

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2003801081472A Expired - Fee Related CN1732490B (zh) 2002-11-13 2003-11-13 用于分布式网络上的考试的系统
CN2010101355544A Expired - Fee Related CN101827124B (zh) 2002-11-13 2003-11-13 用于分布式网络上的考试的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN2003801081472A Expired - Fee Related CN1732490B (zh) 2002-11-13 2003-11-13 用于分布式网络上的考试的系统

Country Status (5)

Country Link
US (2) US8554129B2 (zh)
CN (2) CN1732490B (zh)
AU (1) AU2003302232A1 (zh)
HK (2) HK1087514A1 (zh)
WO (1) WO2004053292A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102542860A (zh) * 2010-12-14 2012-07-04 联想(北京)有限公司 一种远程服务方法、系统及客户端
CN105610942A (zh) * 2015-12-31 2016-05-25 广东诚伯信息有限公司 一种基于pc前端的学习系统及学习方法
CN106251727A (zh) * 2016-10-11 2016-12-21 北京润尼尔数字科技有限公司 一种通用计算机化考试系统

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070042335A1 (en) * 2005-05-11 2007-02-22 Ctb Mcgraw-Hill System and method for assessment or survey response collection using a remote, digitally recording user input device
US8170466B2 (en) * 2005-05-27 2012-05-01 Ctb/Mcgraw-Hill System and method for automated assessment of constrained constructed responses
US8684748B1 (en) * 2005-11-30 2014-04-01 Saba Software, Inc. System and method for playing web-based training content on a client computer system
US20090087827A1 (en) * 2007-09-26 2009-04-02 Goldburd Benjamin A Computerized testing system
US9256695B1 (en) 2009-09-30 2016-02-09 Saba Software, Inc. Method and system for sharing content
CN102169525A (zh) * 2010-02-26 2011-08-31 卢君毅 具时控警示的考试系统
WO2012024352A2 (en) * 2010-08-16 2012-02-23 Extegrity Inc. Systems and methods for detecting substitution of high-value electronic documents
CN102254096A (zh) * 2011-07-06 2011-11-23 上海智翔信息科技股份有限公司 一种电子化智能考试系统
CN102831500A (zh) * 2012-08-08 2012-12-19 广东兰贝斯信息科技有限公司 一种无纸化考试考务安全监控系统及方法
US9116865B2 (en) 2012-12-05 2015-08-25 Chegg, Inc. Enhancing automated terms listings in HTML document publishing based on user searches
US9166982B1 (en) 2013-10-11 2015-10-20 Flat World Knowledge, Inc. System and method for providing access to educational content in private browsing mode
CN103729269A (zh) * 2014-01-26 2014-04-16 国家电网公司 一种基于云架构的网络考试数据双缓存方法
US20160035236A1 (en) * 2014-07-31 2016-02-04 Act, Inc. Method and system for controlling ability estimates in computer adaptive testing providing review and/or change of test item responses
CA2902090A1 (en) * 2014-08-29 2016-02-29 Enable Training And Consulting, Inc. System and method for integrated learning
WO2016065552A1 (zh) * 2014-10-29 2016-05-06 华为技术有限公司 一种心跳周期的设置方法及终端
US10002240B2 (en) * 2015-05-08 2018-06-19 International Business Machines Corporation Conducting a sequence of surveys using a challenge-response test
US9916231B2 (en) * 2015-07-17 2018-03-13 Magine Holding AB Modular plug-and-play system for continuous model driven testing
CN105897734A (zh) * 2016-05-12 2016-08-24 湖南汇博电子技术有限公司 一种通过网络进行竞赛的方法和服务器
US20180176156A1 (en) * 2016-12-21 2018-06-21 Pearson Education, Inc. Systems and methods for automatic multi-recipient electronic notification
WO2020022294A1 (ja) * 2018-07-27 2020-01-30 ソニー株式会社 情報処理システム、情報処理方法、および、記録媒体
US10574657B1 (en) 2019-07-18 2020-02-25 Capital One Services, Llc Automatic transaction processing failover

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5565316A (en) * 1992-10-09 1996-10-15 Educational Testing Service System and method for computer based testing
US6056738A (en) * 1997-01-31 2000-05-02 Transmedica International, Inc. Interstitial fluid monitoring
US6315572B1 (en) 1995-03-22 2001-11-13 William M. Bancroft Method and system for computerized authoring, learning, and evaluation
US5749736A (en) 1995-03-22 1998-05-12 Taras Development Method and system for computerized learning, response, and evaluation
GB9602431D0 (en) * 1996-02-07 1996-04-03 Philips Electronics Nv Interactive audio entertainment apparatus
US5947747A (en) * 1996-05-09 1999-09-07 Walker Asset Management Limited Partnership Method and apparatus for computer-based educational testing
US5727950A (en) * 1996-05-22 1998-03-17 Netsage Corporation Agent based instruction system and method
US5855011A (en) 1996-09-13 1998-12-29 Tatsuoka; Curtis M. Method for classifying test subjects in knowledge and functionality states
US6112051A (en) 1996-11-22 2000-08-29 Fogcutter, Llc Random problem generator
US5915973A (en) * 1997-03-11 1999-06-29 Sylvan Learning Systems, Inc. System for administration of remotely-proctored, secure examinations and methods therefor
US6259890B1 (en) 1997-03-27 2001-07-10 Educational Testing Service System and method for computer based test creation
US6014760A (en) * 1997-09-22 2000-01-11 Hewlett-Packard Company Scheduling method and apparatus for a distributed automated testing system
US6112049A (en) * 1997-10-21 2000-08-29 The Riverside Publishing Company Computer network based testing system
US6208832B1 (en) * 1997-11-14 2001-03-27 Sony Corporation Learning system with response analyzer
US6000945A (en) 1998-02-09 1999-12-14 Educational Testing Service System and method for computer based test assembly
US6212564B1 (en) * 1998-07-01 2001-04-03 International Business Machines Corporation Distributed application launcher for optimizing desktops based on client characteristics information
US6513042B1 (en) 1999-02-11 2003-01-28 Test.Com Internet test-making method
AU780938B2 (en) * 1999-06-30 2005-04-28 Blackboard Inc. Internet-based education support system and methods
US6431875B1 (en) * 1999-08-12 2002-08-13 Test And Evaluation Software Technologies Method for developing and administering tests over a network
US6282404B1 (en) * 1999-09-22 2001-08-28 Chet D. Linton Method and system for accessing multimedia data in an interactive format having reporting capabilities
US6370355B1 (en) * 1999-10-04 2002-04-09 Epic Learning, Inc. Blended learning educational system and method
US6681098B2 (en) * 2000-01-11 2004-01-20 Performance Assessment Network, Inc. Test administration system using the internet
US6381444B1 (en) * 2000-07-12 2002-04-30 International Business Machines Corporation Interactive multimedia virtual classes requiring small online network bandwidth
US6413100B1 (en) 2000-08-08 2002-07-02 Netucation, Llc System and methods for searching for and delivering solutions to specific problems and problem types
JP3883795B2 (ja) 2000-08-24 2007-02-21 富士通株式会社 受講講習会選定装置、受講講習会選定方法、及び記憶媒体
US7099620B2 (en) * 2000-09-22 2006-08-29 Medical Council Of Canada Method and apparatus for administering an internet based examination to remote sites
US6970939B2 (en) * 2000-10-26 2005-11-29 Intel Corporation Method and apparatus for large payload distribution in a network
US20020119433A1 (en) * 2000-12-15 2002-08-29 Callender Thomas J. Process and system for creating and administering interview or test
US6688889B2 (en) * 2001-03-08 2004-02-10 Boostmyscore.Com Computerized test preparation system employing individually tailored diagnostics and remediation
US6633742B1 (en) * 2001-05-15 2003-10-14 Siemens Medical Solutions Usa, Inc. System and method for adaptive knowledge access and presentation
US6669481B2 (en) * 2001-11-08 2003-12-30 The United States Of America As Represented By The Secretary Of The Army Neurocognitive assessment apparatus and method
US7828551B2 (en) * 2001-11-13 2010-11-09 Prometric, Inc. Method and system for computer based testing using customizable templates
US20030152904A1 (en) * 2001-11-30 2003-08-14 Doty Thomas R. Network based educational system
US6884078B2 (en) * 2002-09-17 2005-04-26 Harcourt Assessment, Inc. Test of parietal lobe function and associated methods
US20040229199A1 (en) * 2003-04-16 2004-11-18 Measured Progress, Inc. Computer-based standardized test administration, scoring and analysis system

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102542860A (zh) * 2010-12-14 2012-07-04 联想(北京)有限公司 一种远程服务方法、系统及客户端
CN102542860B (zh) * 2010-12-14 2014-12-31 联想(北京)有限公司 一种远程服务方法、系统及客户端
CN105610942A (zh) * 2015-12-31 2016-05-25 广东诚伯信息有限公司 一种基于pc前端的学习系统及学习方法
CN106251727A (zh) * 2016-10-11 2016-12-21 北京润尼尔数字科技有限公司 一种通用计算机化考试系统

Also Published As

Publication number Publication date
US9449525B2 (en) 2016-09-20
US20040221013A1 (en) 2004-11-04
AU2003302232A1 (en) 2004-06-30
CN101827124B (zh) 2011-12-28
HK1087514A1 (en) 2006-10-13
AU2003302232A8 (en) 2004-06-30
WO2004053292A2 (en) 2004-06-24
US8554129B2 (en) 2013-10-08
CN1732490A (zh) 2006-02-08
US20140030690A1 (en) 2014-01-30
CN1732490B (zh) 2010-05-26
HK1148139A1 (en) 2011-08-26
WO2004053292A3 (en) 2004-08-19

Similar Documents

Publication Publication Date Title
CN101827124B (zh) 用于分布式网络上的考试的系统和方法
US10127826B2 (en) System and method for proctoring a test by acting on universal controls affecting all test takers
US9672753B2 (en) System and method for dynamic online test content generation
US7133908B1 (en) Metrics and status presentation system and method using persistent template-driven web objects
US10861343B2 (en) Polling for tracking online test taker status
US9111455B2 (en) Dynamic online test content generation
US9111456B2 (en) Dynamically presenting practice screens to determine student preparedness for online testing
US20080102435A1 (en) Using testing metadata for test question timing and selection
WO2007014186A2 (en) Systems, methods, and software for online courses
US20080102430A1 (en) Remote student assessment using dynamic animation
US20080102432A1 (en) Dynamic content and polling for online test taker accomodations
JP2006048679A (ja) 失敗した要求にサービスを提供するエージェント管理コンソールソフトウェア
US20020194028A1 (en) Method, apparatus, and readable medium for on-line patient evaluation
US20080183547A1 (en) Clinical Rotation Scheduling System
US20220301677A1 (en) Platform and interfaces for managing caregivers
CA2819727A1 (en) System and method for providing automated caregiving services
KR100342436B1 (ko) 인터넷 가상환경에 접속되어 시험을 응시 하는 방법
JP2003345906A (ja) 履修申請支援用記録媒体及び履修申請支援システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1148139

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1148139

Country of ref document: HK

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20111228

CF01 Termination of patent right due to non-payment of annual fee