CN1987922A - 实际产品it系统的采用推测的在线性能建模方法和系统 - Google Patents

Abstract

具有一个或多个服务器用于执行多种事务的信息技术IT系统的性能建模方法，包括接收事务流和系统拓扑的数据以及接收所述IT系统性能测量数据。测试数据基于共性丛集成多种状态。基于丛集的数据可以推测服务请求和网络延迟参数。

Description

实际产品IT系统的采用推测的在线性能建模方法和系统

技术领域

本发明涉及信息技术(IT)系统的性能建模。更确切的说，本发明涉及实际产品IT系统的采用推测的在线性能建模。

背景技术

几十年来，性能建模已经在计算机和通讯系统以及各种应用程序的设计、操纵和优化方面具有重大理论和实践重要性。建模方法在向设计师和工程师提供关于所考虑的系统的定量和定性的理解上特别有效。

然而，随着信息技术(IT)在可利用的应用范围的成熟和发展，IT系统的大小和复杂度都以递增的速度增长。例如现今典型网络服务主机中心也许有数百个节点和同时在其中运行的几十个不同的应用程序。每一个节点反过来通常具有多个处理器和分级高速缓存。这些节点利用本地和共享的存储系统。如果还能管理的话，这些系统的大小和复杂度也使得性能建模益发困难。具体建模，精确调试和准确分析仅在非常小的系统或系统的非常小的元件上进行。

此外，源自硬件技术的飞快发展，这些系统的元件以比新近的过往更快的速度升级着，以满足性能和有效性的需求和改善性能和有效性的服务质量(QoS)参数。因此，性能建模应在很短的时间帧完成以使得模型和分析相互关联。

这些限制使得对现代IT系统的性能建模工作非常昂贵，且常常无法负担。为了在很短的周转期获得相对准确的性能评估结果，也就是在所考虑的系统变荒废前，在人力和计算机资源方面的大量投资是必需的。

另一方面，IT系统已经在大多商业上变得非常关键。当一家公司的IT系统瘫痪时，每分钟百万美元的损失已被充分证明。因而，用户们自然越来越苛求他们系统中的服务质量(QoS)。在IT外购时，在多边协定间签订的服务级协议(SLA)规定了服务质量保证以及其他事项，通常伴随有惩罚条款以防止违反协议。结果，在这种系统中的容量规划和服务质量管理的预测建模至关重要。

为了在短时间帧内建立性能模型，其中典型地没有时间建立任何测试环境，设计人员应考虑使用由实际IT系统(production IT system)得到的性能参数来在线调试该模型。这么做时有些基本的挑战，由于该实际系统是一个非可控环境，工作负载典型地为易变的，非静止的，具有高峰期/非高峰期的变化特征，还具有每天，每周或每季度的变化方式。没有关于这种混合事务(transaction)的详细信息，因为它是瞬变的。

此外，只有有限的监测/性能测量是可以收集来助以建构模型，因此这些测量对于该实际系统并没有太多打扰。这种监测和性能测量典型地通过从各种不同地理位置周期侦测来收集，由于该侦测来自不同地理位置，在包括不同的和瞬间的网络延迟的这种端到端延迟测量的意义上说，这也导致进一步挑战。

排队网络模型已经是并将继续是这种系统的性能分析上最流行的样式(参见，例如，L.Kleinrock；Queueing Systems Volume II：ComputerApplications；John Wiley and Sons，1976；and D.Menasce and V.Almeida；Capacity Planning for web Performance；Prentice hall，1998)。人们也使用离散事件仿真方法来模型化一复杂的IT系统。这种方法要求馈送具体的模型参数给仿真器，但直接测量这些参数通常费钱，耗时，且干扰实际系统。

发明内容

需要工具、系统和方法旨在自动进行在线实际IT基础构造(productionIT infrastructure)和应用的性能建模和最优化处理，以减少设备和人力成本，缩短性能评估、预测和容量规划的周转期。这种系统和方法应当能够处理在在线实际IT系统中很常见的实时的动态变化，包括了易失性，非静态的特性，高峰期/非高峰期的状态(regime)，以及每天，每周或每季的模式。

具有执行许多种类事务的服务器(组)的用于信息技术(IT)系统的性能建模的系统和方法包括接收系统拓扑和事务流(transaction flow)数据，接收IT系统的性能测量数据。该测量数据基于共性被丛集(clustered)成多种状态(multiple regimes)。基于丛集的数据推测服务请求和网络延迟参数。

这些以及其它的目标，特征和优点将由以下连同附图一起阅读的实施例的具体描述而变得更明显。

附图说明

本公开提供了结合下述附图的下列优选实施例的具体描述，其中

图1示出可根据本发明建模的电子商务站点构造的示例；

图2示出与图1中所示的电子商务站点相应的排队模型的示例；

图3示出根据本发明一实施例的基于丛集方法的通过推测数据来进行IT系统建模的系统/方法的方块/流程图；

图4示出根据本发明另一实施例的用于IT系统建模的系统/方法的方块/流程图。

具体实施方式

提供了实际产品信息技术系统的在线性能建模的系统和方法。实施例包括了接收端到端延迟和服务器利用率(server utilization)的在线性能测量数据，接收事务流和系统拓扑数据以及利用丛集算法(clusteringalgorithm)将测量数据重新组织成多种状态。基于该多种状态丛集的测量数据推测服务请求参数，以及基于在预测和测量响应时间之间的最小间隔的最优化算法可以用于推测性能参数。另外，在线预测和费用最优化方法被引用来进行预测，假定推测分析和费用-效率系统设计。

考虑到传统方法的前述问题、缺陷和缺点，本发明的一方面合并了丛集、排队模型和推测技术来自动进行实时实际IT系统和应用程序的在线性能建模和最优化的过程。

本发明的方法采用丛集技术来处理实际系统的工作负载在通讯强度和混合事务两方面都不稳定的现实。依照本发明方案的丛集算法用于基于共性重新组织监测到的性能测量数据，因此所述性能数据在模型建构中被分组成单独考虑的多种状态。

借助于所述的重新组织的性能数据，更先进的推测技术提出来以自动建构基础的排队网络模型和工具。该推测考虑了所述性能数据是在不同地理位置的多个测试站点收集的这一事实，并考虑到了不同地理位置间的网络延迟的差异。本发明的实施例可以包括采用最常见和最廉价的测量作为输入。这些测量可以包括，例如系统信息通过量，服务器利用率，端到端响应时间等。

借助于上述的方法和系统，可以对任一用途的任一给定的系统结构建立性能模型。由于通过持续地供给实时性能数据，该模型可以快速地(onthe fly)自动重新校准，该模型可应用在诸如次要版本(dot release)的发展和维护阶段，因此，该模型能快速适应实际系统(在硬件和软件升级两方面)的快速演化。

作为副产品，评估了在不同机器/服务器上的不同应用/事务的计算机处理单元(CPU)利用率。这对于具体的仪表技术而言是非干扰的备选方案。此方法对于基于利用率的列表很有用。

在本发明的一实施例中，可利用闭合式等式来表征IT系统。在该实施例中，推测方法包括下述步骤：基于闭合式等式导出端到端响应时间公式；根据可获得的性能度量用公式表述推测(参数估计)问题；把事务的端到端响应时间和服务器利用率数据输入推测问题公式中；求解模型参数(每个服务器每个事务的服务要求)的推测问题，从而使模型产生的性能度量到测量的结果的距离最小化。

本发明的另一实施例致力于不存在闭合式表达式的情况。在这种情况下，离散事件仿真器以及一组巨集式启发式(meta-heuristic)搜索方法可被用于获得优化的性能参数。巨集式启发式搜索方式将引导搜索产生下一候选参数设置。所述模型的仿真器将被用于评估性能度量以进行候选参数设置。巨集式启发式搜索方式将被再次根据当前和过去的候选设置的性能度量，产生下一候选参数设置。重复该过程，直到指定的停止标准被满足为止。该程序的输出是所述参数设置的当前最佳估计。

本发明的实施例可完全采用硬件实施例的形式，完全软件实施例的形式，或者软硬件都包括的实施例形式。在一优选实施例中，本发明由软件来实现，其中软件包括但不限于固件，常驻软件，微码等。

此外，本发明可采用计算机程序产品的形式，其可由提供程序代码的计算机可用或计算机可读媒介来访问，该介质用于计算机或任一指令执行系统或与一计算机或任一指令执行系统连接。为了本说明的目的，计算机可用或计算机可读媒介可以包括，用于所述指令执行系统、设备、仪器或者与其连接的存储、通讯、传播或传送所述程序的任一设备。这些媒介可以是电的，磁的，光学的，电磁的，红外线的，或半导体系统(或设备或仪器)或传播媒介。计算机可读媒介的例子包括半导体或固态存储器，磁带，可移动计算机磁盘，随机存储器(RAM)，只读存储器(ROM)，硬磁盘和光盘。本例中的光盘包括压缩盘-只读存储器(CD-ROM)，读/写压缩盘(CD-R/W)和DVD。

适于存储和/或执行程序代码的数据处理系统可以包括通过系统总线直接或间接耦合到存储元件的至少一个处理器。所述存储元件包括在实际执行程序代码时使用的本地存储器、大容量存储器，和提供暂时存储至少部分程序代码以减少在执行期间从大容量存储器中检索代码的次数的高速缓存器。输入/输出或I/O装置(包括但不限于键盘、显示器、打印装置)可以直接或通过插入的I/O控制器耦合到所述系统。

网络适配器也可以耦合到所述系统中使得所述数据处理系统通过中间的专用或公共网络和其它数据处理系统或远端打印机或存储设备耦合起来。调制解调器，电缆调制解调器和以太网卡是网络适配器的现有的几种可用的种类。

本发明提供实际产品IT系统和应用的自动在线性能建模和工具。本发明的一方面包括使用丛集技术来处理实际系统的工作量在通讯强度和事务混合两方面的不稳定的现实。先进的丛集算法被用于基于共性来重新组织监测到的性能测量数据，因此所述性能数据被分成在模型建构中被单独考虑的多种状态。

借助于所述的重新组织的性能数据，进一步的推测技术提出来以自动建构基础的排队网络模型。该推测考虑了所述性能数据是在不同地理位置的多个测试站点收集的，并考虑了不同地理位置间的网络延迟的差异。本发明优选以最常见和最廉价的测量作为输入。这些测量包括，例如系统信息通过量，服务器利用率，端到端响应时间。

本发明的实施例相对于常规方法提供了许多有吸引力的特点和优点。例如，一个实施例利用先进的丛集分析技术把非静止瞬时测量数据组成基于共性的多种状态。另外，通过依靠高水平的排队网络模型和基于观测利用率和端到端性能数据的先进的推测技术，本发明的实施例避免了传统排队网络建模作业的问题。传统排队网络需要大量的低端系统监测和数据收集。

本发明实施例的模型建构方法允许采用快速和准确的方式建构性能模型，尤其对于复杂的实际系统而言。与基于手工参数调试的传统性能建模方法相比，利用本发明的方案导致了显著的时间上的节约。本发明实施例还允许基于系统的监测信息快速地建构性能模型。此特点对于随选系统(on-demand system)的动态供应(dynamic provisioning)特别有效。

因此本发明实施例提供了一种端到端、自调试和灵活的系统/方法，其允许基于所述系统的监测的信息快速地建构在线性能模型。它能很容易的并入一组性能操控功能中去，包括从性能预测，到优化现有的IT基础构造，和设计费用-效率体系。所有的所述功能可以提供对一网点能力的洞悉，同时可以很好的了解在可量测性(scalability)，服务质量(QoS)，容量成本(capacity cost)，操作风险(operations risk)等之间的平衡。从而本发明在其它事务中，能使得IT规划者积极发展和提供用于增加客户基础构造、应用程序和服务管理能力的解决方法，以及能帮助客户主动管理他们的资源以及满足他们随选的服务级协议。

现在参见附图，图中相同的数字代表与图1最初的元件相同或相似的元件，示出了一个电子商务环境以示意性地展示本发明实施例。本发明优选实施例在一个分布数据处理环境实现，其中端到端响应时间和CPU利用率测量被编辑并用于自动模型建构。在本发明一有用实施例中，一分布数据处理环境可以用于一商业网点的在线实际环境建模。

一实际IT系统100包括多个电子商务服务器，其可以被组织成具有多层结构。该体系100由因特网131分配；然而，也可使用任何网络或其它分配系统。在此实施例中，为了安全使用了防火墙109；然而，如同实际情况中一样，每一系统也可以包括附加的或另外的网络构造。

例如，站点101可以包括两个分离的服务器群集(cluster)。一门户群集(portal cluster)103主要负责与认证相关的请求。商务相关的请求由一商务事务服务器群集105单独处理。在每个群集内，有两个或多个层，前端服务器121-122，和后端数据库服务器123-124。进入站点的请求通过一负载平衡路由器107(例如，IBM的企业网络分配器(eND)，或类似产品)发送到一组前端服务器121-122(参见，例如G.Hunt，G.Goldszmidt，R.King，and，R.Mukherjee.Network dispatcher：A connection router forscalable Internet services.Proceedings of the 7th International WorldWide Web Conference，April，1998)。所述路由器107以加权轮询调度(Weighted round robin)方式发送请求，以至均匀分布工作负载到前端服务器121-122。处理后的页面直接回程到客户机110-112，而非通过路由器107返回。前端服务器121-122和后端服务器123-124利用率测量可以通过持续的在线测量得到。

由事务和到电子商务服务器的请求组成的电子商务工作负载，也是相当复杂的。以企业在线购物情景为例来考虑。这一相互作用包括了认证例如登录的事务，诸如浏览产品目录的商业事务，搜索产品，增加条目到购物车，进行付帐等。这些事务的每一种使用站点的不同资源。

诸如浏览的各事务可以仅包含前端应用服务器去引出静态页，其相对便宜，而其它事务，例如搜索或付帐事务，可以包括动态页或到数据库的多种查询的组合，其需要大量的处理时间和同时包括了前端应用服务器和后端数据库服务器。此外，不同用户之间的在网上的浏览模式有相当显著不同。一些用户可能将所有时间用于浏览和搜索，而一些经常性的买主可能直接上网购买。

对于实际系统100，电子商务混合工作负荷通常并非清楚明了。即使该系统记录的日志文件可以提供一些关于混合负荷的信息，但这些信息经常不完整。一组在地理上分散的探测站点可以用来监测IT系统的性能。这些探测站点可以定时发出不同交易事务的探测请求以及测量端到端的响应时间。而该响应时间包括了网络延迟，该网络延迟在每个地理位置间通常不相同。

由于用于实际系统中的IT系统的工作负荷是非静态的，所以建模极具挑战性。工作负荷具有高峰期的/非高峰期的容量，具有每天/每周模式，并可能很不稳定。因此，在系统结构多种多样，具有不同功能的应用程序众多和用户行为差异巨大的情况下，评估通过整个IT环境传递端到端性能确认的IT系统的容量是件艰巨的任务。

建模

为了确保模型框架的可行性并仍抓住电子商务基础构造的基本原则，提出了排队模型，将以一种既不太具体也不太笼统的方式来描述该模型，并将其描述为依赖于可控制的参数数量。

现参看图2并继续参照图1，描述了一高级多类别排队网络模型200。这种形式的模型抓住了主要资源和延迟效应，并提供性能测量和系统结构之间良好的可跟踪性。引起不可忽略的延迟的每个资源组件将通过具有排队效应的通用服务站点(service station)来建模。这种通用服务站点可具有从一个到无限个的任何数量的服务器。例如，如果在防火墙109引发的延迟是不变的且不可忽略的，设计人员可以把防火墙109模型化成具有不变服务时间的无限服务站点。

其次，事务被特征化并概括(profiled)成不同类别，因此在每一类别中的请求将通过流经不同服务器站点的相似的路径，并沿着所述路径在每个站点需要相似的服务请求。这种概括可以基于先前的操控知识或在仔细工作负荷分析后。例如，登录事务(login transaction)通常不同于购买事务，这些不同事务段将访问不同组的服务器站点和产生不同的资源请求。

参照图1所描述的系统可以模型化成图2中的闭合排队网络200。图2中，网络231相当于图1中的因特网131；网络分配器207相当于路由器107；服务器221-224相当于服务器121-124。

要获取计算机环境的多线程处理，为了说明性目的可设想这些服务器根据处理器共享(PS)规程服务于各作业。由于网络231导致的延迟是不可忽略的，这种延迟效应被模型化成延迟服务器。还假定网络231具有不变的延迟(依赖于客户机的地理位置)。

为了说明性目的，特别作业(或事务)的端到端延迟可以定义为用户从她发布事务的时间到她接收到期望的完整响应时间时所经历的总响应时间。从而客户的端到端延迟包括在网络231的网络延迟和在网络服务器221-224的延迟。

丛集分析法：重新组织测量的性能数据

通过丛集分析法提供重新组织的测量的实际系统的性能数据。传统上，在人们投放使用一种IT系统到生产中去时，经常建立一测试系统。采用测试系统具有可全盘控制环境的优点。通过采用本发明的方案，可以知晓混合工作负载和工作负载强度的全部信息。而且，所述系统可以运行到其稳定状态以收集性能测量数据。

建立测试系统费财又耗时。IT系统的飞快演化经常使得很困难去判断用于测试系统的费用和时间。尤其在测试系统几乎不能完全模拟包括真实客户使用、混合工作负载、用户行为、系统使用和网络利用率等的实际系统时。因此，对实际系统直接建构性能模型更为理想。

由于来自实际系统的性能测量的瞬变性和不稳定性的本质特点，较为理想的是将所述监测的数据重新组织成不同的状态。每一状态可以代表一个工作环境，在其中所述系统的每一服务器以不变的工作负载运行。丛集分析技术可以用于获取不同的状态。

K法(K-means)算法

有许多不同类型的丛集分析算法。本公开示例性描述了K-MEANS算法，因为它是一种最简单的无需监督的排他分块(un-supervised exclusivepartitioning)算法，其将对象集合划分成K个组。除K-MEANS外或代替K-MEANS的其它丛集分析算法也可以使用。下面简要描述K-MEANS算法。

放置K个点在由成被分类的对象所表示的空间内。这些点代表了初始质心组(initial group of centroids)。每一对象被指派到具有最接近质心的组内，当所有对象都被指派完后，重新计算所述K个质心的位置。重复这一过程直到所述质心不再移动。这导致所述对象被分为多个组，由此可计算要被最小化的度量。

当指派每个对象到一个组中时，定义一个距离度量。对于高维度数据的常用度量为闵可夫斯基(Minkowski)度量(dp)，

$d_p(x_i,x_j)={\left(\underset{k=l}{\overset{d}{\mathrm{\Σ}}}{|x_{\mathrm{ik}}-x_{\mathrm{jk}}|}^p\right)}^{\frac{l}{p}}$

这里d是数据的维数。闵可夫斯基(Minkowski)度量的两个特例是欧几里德(Euclidean)距离和曼哈顿(Manhattan)距离，分别对应于p＝2和p＝1的情况。然而对于任一给定的应用没有一般的指导规则用于选择p。在一实施例中选择欧几里德距离。

多种状态的性能数据

用(R_t，ρ_t)定义在探测时间t(t＝t₁，t₂，....，t_N)的端到端延迟(或用于模型化系统的其他的度量)和系统利用率。对ρ_t项应用K-MEANS算法以获得K个丛集，这里丛集k大小为n_k，并具有组元Ck＝{t₁ ^k，t₂ ^k，....，t_nk ^k}。因此，状态k的性能数据计算为

${\stackrel{-}{R}}_k=\frac{1}{n_k}\underset{t\∈C_k}{\mathrm{\Σ}}{R}_t$ ${\stackrel{-}{\mathrm{\ρ}}}_k=\frac{1}{n_k}\underset{t\∈C_k}{\mathrm{\Σ}}{\mathrm{\ρ}}_t$

模型参数校准

在所述性能模型的建构中，获取排队网络模型中每个通用服务器上每个类别的服务请求参数。理想地，获得这些参数值涉及直接测量在每个设备处每个类别的资源消耗，实践中，这样做的成本很高。一种解决方案依赖于可测量并且相对廉价的性能度量，例如端到端响应时间，一些或全部服务器的CPU负载信息等。端到端响应时间可被容易地测量，端到端的响应时间可定义成从用户发起请求的开始到用户收到响应为止的时间。事实上，公司通常为这些端到端延迟设置具体目标，以便保证令人满意的用户体验。CPU负载信息是用于Web服务性能监视的另一种度量。其它的度量也可以使用。

本发明可利用通用推测方法，以利用最常见的测量结果，例如系统信息通过量，服务器的利用率，和端到端响应时间，来推测这些服务时间参数。由于IT系统的随机性，因此难以精确地确认哪个测量数据组最佳。从而，如果所得到的IT系统模型的性能“最接近于”所述测量的性能，那么该组推测的参数可定义为“最佳”。两种不同性能度量之间的距离可以是广义的，例如跨越不同组件或类别的加权平均。

本发明中应用的推测方法可以包括两方面。如果基础的排队网络模型具有闭合形式的性能表示(或良好的解析近似)，那么其性能可用公式表示成未知服务要求参数的函数，解算机或其它优化工具可被用于获得最佳参数设置。图3中说明性描述了上述建模过程，其表示了本发明的实现方式。

下面描述关于在基础排队网络模型中具有I个服务器，J种不同的事务类型(作业种类)的系统的一个例子。以下的输入参数和性能测量假定已给出：

J：＝作业种类的数目；

I：＝服务站的数目；

L：＝探测站的数目；

V_ji；＝j类作业访问i站点的次数；

E_jl ^m＝从探测点l探测j类作业而测量到的端到端延迟；

ρ_i ^m＝测量到的i服务站的利用率；

下面估算以下参数和性能度量：

s_ji：＝站点i的j类作业的平均服务请求；

n_jl：＝从探测点l探测j类作业的平均网络延迟；

R_ji：＝站点i的j类作业的平均响应时间；

T_ji：＝V_jiR_ji站点i的j类作业(多次访问总和)的总平均响应时间；

E_jl ^e：＝从探测点l探测j类作业而估算的端到端延迟；

更进一步用矩阵形式表示：

S＝{s_ji}_J×I；(服务时间)

N＝{n_jl}_J×L；(探测延迟)

T＝{υ_jiR_ji}_J×I；(多重访问响应时间矩阵)

$E^m=\left\{E_{\mathrm{jl}}^m\right\}J\×L;$ (测量的端到端延迟)

$E^e={\{E}_{\mathrm{jl}}^e\}J\×L;$ (估算的端到端延迟)

${\mathrm{\ρ}}^m=\left\{{\mathrm{\ρ}}_i^m\right\}I\×l;$ (测量的服务器利用率)

为了使得该模型易处理，假定所述通用服务站点或是延迟中心，例如，模型化为无限服务器(IS)队列(下文中称为IS站点)，或是运行在服务器共享(PS)服务规程(下文中称为PS站点)下的有限容量服务站点。

那么j类作业在站点i的到达速率为：

λ_ji：＝υ_jiλ_j

以及在站点I的全部作业的到达速率为：

${\mathrm{\λ}}^{\left(i\right)}=\underset{j=1}{\overset{J}{\mathrm{\Σ}}}{\mathrm{\λ}}_{\mathrm{ji}}$ i＝1，......，I

站点i的总业务量强度为

${\mathrm{\ρ}}_i=\underset{j=1}{\overset{J}{\mathrm{\Σ}}}{\mathrm{\ρ}}_{\mathrm{ji}}$

$=\underset{j=1}{\overset{J}{\mathrm{\Σ}}}{\mathrm{\υ}}_{\mathrm{ji}}{\mathrm{\λ}}_j{s}_{\mathrm{ji}}$ i＝1，......，I

由于所有的服务站点被假定为或是无限服务器(IS)或是服务器共享(PS)站点(都是对称的队列)，因此，所述基础排队网络是准可逆网络。基于排队理论，对于PS站点，在站点i的j类作业的平均响应时间R_ji表示为

$R_{\mathrm{ji}}=\frac{L_{\mathrm{ji}}}{{\mathrm{\λ}}_{\mathrm{ji}}}=\frac{s_{\mathrm{ji}}}{1-{\mathrm{\ρ}}_i}$

对于IS站点，在站点i的j类作业的平均响应时间R_ji表示为

R_ji＝s_ji

因此，j类作业的端到端延迟可由下式得到：

$E_j=\underset{i\∈H\left(j\right).i\∈\mathrm{lS}}{\mathrm{\Σ}{s}_{\mathrm{ji}}}+\underset{i\∈H\left(j\right),i\∈\mathrm{PS}}{\mathrm{\Σ}}\frac{S_{\mathrm{ji}}}{1-{\mathrm{\ρ}}_i}$

基于上述响应时间公式，应用统计推测技术来搜索最佳的参数组，从而得到的性能最接近于测量的性能，

min||E^m-E^e||

这里距离||E^m-E^e||可以是广义的，例如，绝对差值，最大差值，绝对差值加权总和，或最小二乘方差加权总和等。由丛集分析法得到的多种状态现在可以用来阐明推测问题。

单一状态：

首先来关注单一状态来得到推测程序的相应二次参数。多种实验的扩展随后将提出。

由探测站点l探测j类作业而估算的总的端到端延迟是网络延迟和服务器延迟(响应时间)的总和。也就是说，

$E_{\mathrm{ji}}^e=n_{\mathrm{jl}}+T\·1_{I\×1}=n_{\mathrm{jl}}+S_j\·D\left(V_j\right)\·\mathrm{\β}$

其中

以及S_j和V_j分别代表矩阵S＝{s_ji}和V＝{V_ji}中的第j行，D(V_j)是V_j的对角矩阵。

因此，参数估计最优化的问题是找到服务请求S和探测延迟N从而使得加权最小二乘方差最小化。该问题已被修订从而在所述参数估计值和测量值之间的差以确定的约束条件呈现，并且根据这些差值，这些偏差的平方和被最小化。换句话说，在对服务请求s_ji和探测延迟n_jl的非负约束条件下，二次规划(quadratic program)可解，即，

$\begin{array}{c}\min \\ s\end{array}\underset{j=1}{\overset{J}{\mathrm{\Σ}}}\underset{l=1}{\overset{L}{\mathrm{\Σ}}}{\mathrm{\δ}}_{\mathrm{jl}}^2$

$E_{\mathrm{jl}}^e\left(s\right)-E_{\mathrm{jl}}^m={\mathrm{\δ}}_{\mathrm{jl}},$ j＝1，...，J，l＝1，...，L

s.t.s_ji≥0，  j＝1，...，J；i＝1，...，I

n_jl≥0，j＝1，...，J；l＝1，...，L

于是最优化问题可以重新表述为下面的标准形式的二次规划公式：

$\begin{array}{cc}\min & \frac{1}{2}{x}^T\mathrm{Hx}\end{array}$

(QP)s.t.Ax＝b；

x_k≥0，k＝1，...，J×(I+L)

其中

$x$ $=$ $\left[\begin{array}{c}\tilde{x}\\ \stackrel{\≈}{x}\\ \mathrm{\δ}\end{array}\right],$ $H=\left[\begin{array}{cc}{0}_{J\×(I+L)}& 0\\ 0& {2I}_{\mathrm{JL}\×\mathrm{JL}}\end{array}\right]$

其中 和

代表网络延迟{n_jl}项和服务时间{s_ji}项，用向量而非矩阵表示。具体地

$\tilde{x}:=n_{\mathrm{jl}},$ 如果k＝(j-1)×L+1，并且 $\stackrel{\≈}{x}:=s_{\mathrm{jl}},$ 如果k＝(j-1)×I+i，δ＝{δ_jl}

以及

$A=\left[\begin{array}{ccc}{0}_{K\×\mathrm{JL}}& A_{\mathrm{\υ}}& 0_{K\×\mathrm{JL}}\\ I_{\mathrm{JL}\×\mathrm{JL}}& A_s& -I_{\mathrm{JL}\×\mathrm{JL}}\end{array}\right]$

其中

并且

$b=\left[\begin{array}{c}{b}_{\mathrm{\υ}}\\ b_s\end{array}\right]$

其中

b_υ＝0_K×1

$b_{\mathrm{sk}}=E_{\mathrm{jl}}^m,$ k＝(j-1)×L+l

多种状态：推测问题的通式

如前所述推测问题或参数估计问题可以归纳为使相对于测量的参数值的偏差的平方和最小化。对于任一特定状态的任一组测量值，前面的模型可以求解，以得到这种状态的恰当的参数。

然而，如同起源于一系列实验的任何参数估计问题的情况一样，单单求解单个实验的上述二次推测问题是不够的。事实上，由于负载过程非静态，所述测量的数据被分成多种负载状态。

完整的状态组包括在参数估计步骤中，以在整个参数范围内，尤其是面临非线性队列效应时尽可能多地获取数据。

假定可得到N种状态的数据，基于在所述实验中给定的输入参数，ρⁿ，E^N，...，每一数据提供矩阵H^N和约束值X^N的估计。

因此，对于多个实验的组的推测问题的目的就是为每一实验找出参数的鲁棒向量x，x最佳地代表了通过求解逆参数估算问题而得到的参数，且能够侦测和排除了无关的实验。

$\begin{array}{cc}\min & \frac{1}{2}{x}^T\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{H}^{n}x\end{array}$

s.t.Aⁿx＝bⁿ；n＝1，...，N

x_k≥0，k＝1，...，J×(I+L)

上述将所有实验结合成单个最优化问题的QP方法可以用于推测相应参数，尤其是推测网络延迟{n_jl}项和服务时间{s_ji}项。

参看图3，示例性示出了本发明的方法300的具体实现。模型系统300包括4个模块301，303，305和307。每个模块采用不同的方法来使得建模过程自动化成为可能。模块301处理数据和系统设置输入功能。模块303可以执行丛集分析功能从而将在线测量数据重组为多种状态。模块305可以执行模型建构功能，该功能包括建构排队模型和中心推测引擎(engine)。模块307可以执行性能预测和成本优化功能。每个模型可以包括软件和硬件特征以及可以包括软件模块，或如上所述可包括由一个或多个计算机设备执行的算法组。

模块301可执行两个初始步骤：(i)在模块312中认识所述系统构造，(ii)在模块311中收集在线测量数据，其包括了端到端延迟测量和每一服务器利用率数据，其它度量也可使用。在一实施例中，模块303应用了丛集分析算法并基于共性将在线测量数据组织成多组。在当天的时间，地理位置，事务发生速率，处理所述请求的服务时间等方面，在不同丛集中的请求可能不同。

接着，模块305将系统结构映射成通用服务器网络。不同组的请求(归纳的结果)被映射成多种状态，其中每种状态在服务器延迟，网络延迟等方面可以具有不同的性能。模块307利用上述的在模块321中的所述排队等式和模块322中的最优化公式推测未知的网络和服务请求参数。模块309可以使用部分数据集来修整模型以及用剩余的数据集来验证该模型。事实上，上述学习过程可以重复，随着更多测量数据的获取，该模型可被改进。当验证结果令人满意并温定时，性能模型就全面完成了。从而，要获取有效的性能模型进需要获取优化的推测参数。

一旦有效的性能模型已经建立，先前的排队公式可用以预测(在模块321)性能，优化(在模块322)存在的IT基础构造，并通过配置和操作提出成本-效率结构设计。这些功能能够在模块321和322中完成。

举例来说，预测在不同工作负载下的性能(假定所预测的负载具有期望的未来交易增长)，输入负载可以插入解析的排队公式来获得在所述预测负载下的期望的延迟和资源利用率。基于所述输出性能度量和资源利用率度量，本发明的系统可以决定用现有基础构造可以为每一服务输送的服务品质等级，系统瓶颈的位置等。

同样，来自模块321的推测模型可以用于理解所述可量测性和分析一系列假设分析(what-if)情况。例如，为了回答“如果前端服务器容量翻倍会怎样”的问题，仅仅需要修改相应的排队公式即可。输出立刻可以提供答案。

在电子商务环境中，对于IT规划者而言将经济因素和容量相结合是很重要的。模块322进一步提供费用最优化功能，其量化了成本性能平衡。由提供电子商务系统基础结构的总成本和容量利用率，能够计算每个事务的成本，每种服务的成本，以及支持每一客户的成本。

现参考图4，方块/流程图示例性示出对具有一个或多个的服务器来执行多种事务的IT系统进行性能建模的系统/方法的例子。在模块402中为要被建模的系统收集和接收系统拓扑和事务流程数据。这可包括接收相应于所述系统中至少一个元件的至少一个模型化的队列。

在模块404中确定所述IT系统的性能测量数据。这可包括接收在许多不同情况下的实际IT系统执行的事务的端到端响应时间。所述情况可以包括来自多个地理位置，和/或一天多次的或持续的事务。持续的或一天多次的IT系统的在线服务器利用率可以被接收以被评估从而用于建模。在这种方式中所述模型或多个模型可以基于要被建模的系统所经历的动态状况来运行。

在模块406中，基于共性性能测量数据被丛集(clusted)成多种状态。例如可采用K-MEANS或其它丛集算法。

在模块408种，基于丛集的数据推测服务命令和网络延迟参数。这可以包括基于丛集的多种状态的测量数据推测由一个或多个服务器处理的事务的服务时间和来自多个地理位置的网络延迟参数。所述推测可以包括在模块409中导出用于性能测量数据的等式，并求解这些等式以找到对应于在模块410中的一个服务器处理的事务的服务时间的至少一个值。在模块412中选择出服务时间的最佳值。

选择优化值(模块412)的步骤可以包括，在模块414中求解用丛集的多种状态性能测量数据用公式表达的二次规划程序(quadraticprogram)，在模块416中比较计算的性能参数和接收的性能测量数据，在模块418中选择与最接近于所述性能测量数据的所述计算的性能值相应的服务时间值。

在另一个实施例中，模块414包括在模块420中产生一个IT系统的随机多种状态排队网络模型，在模块422中从该随机模型中获取对应于由服务器处理的事务的服务时间的至少一个值，以及在模块424中寻找服务时间的最佳值。

已经描述了在线性能建模的方法和系统的优选实施例(其意在说明而非限定)，该在线性能建模使用了对它所针对的真实产品的推测，应指出本领域的技术人员可在上述教导下进行各种修改和变更。因而应明了能够在所公开的具体实施例中做出如附加权利要求所概括的本发明的范围和精神之内的改变。在根据专利法要求的细节及规定描述了本发明的各个方案后，由所附的权利要求书限定所要求保护的或期望由专利证保护的内容。

Claims (12)

1、具有一个或多个服务器用于执行多种事务的信息技术(IT)系统的性能建模方法，包括：

接收系统拓扑和事务流的数据；

接收所述IT系统性能测量数据；

基于共性把所述性能测量数据丛集成多种状态；以及

基于所述丛集的性能测量数据推测服务请求和网络延迟参数。

2、如权利要求1所述的方法，其中接收系统拓扑和事务流的数据包括接收与所述系统的至少一个组件相对应的至少一个模型化的队列。

3、如权利要求1所述的方法，其中接收性能测量数据包括接收在多个不同情况下实际IT系统执行的事务的端到端响应时间。

4、如权利要求3所述的方法，其中所述情形包括从多个地理位置，和/或在一天中多次或持续的事务。

5、如权利要求1所述的方法，其中接收性能测量数据包括持续或在一天中多次地接收所述IT系统的在线服务器的利用率。

6、如权利要求1所述的方法，其中基于所述丛集的性能测量数据推测服务请求和网络延迟参数包括基于所述丛集的多种状态性能测量数据推测由一个或多个服务器处理的事务的服务时间和来自多个地理位置的网络延迟参数。

7、如权利要求1所述的方法，其中基于所述丛集的数据推测服务请求和网络延迟参数包括：

导出性能测量数据的等式；

求解所述等式，以找出和一个所述服务器处理的事务的服务时间相对应的至少一个值；以及

选择服务时间的最佳值。

8、如权利要求7所述的方法，其中选择最佳值的所述步骤包括：

求解采用所述丛集的多种状态性能测量数据表达的二次规划程序；

比较计算的性能数据和所述接收的测量性能数据；以及

选择与最接近于所述性能测量数据的所述计算的性能数据相对应的服务时间的所述值。

9、如权利要求1所述的方法，其中所述推测步骤包括：

产生所述IT系统的随机多种状态排队网络模型；

从所述随机模型得到与服务器处理的事务的服务时间相对应的至少一个值；以及

搜索服务时间的最佳值。

10、为具有一个或多个服务器来执行多种事务的信息技术(IT)系统建模的系统，其包括：

第一模块，用以接收要模型化的所述IT系统的系统拓扑和事务流数据以及性能测量数据；

丛集模块，其将所述测量数据基于共性丛集成多种状态；以及

推测模块，其基于丛集的数据来推测服务请求和网络延迟参数以形成模型来模拟在多种情况下的所述IT系统的操作和状况。

11、如权利要求10所述的系统，还包括一个模块，其通过准许多个参数变更来执行性能预测和性能优化从而改善所述IT系统建模。

12、如权利要求10所述的系统，还包括模型验证模块，其基于可获取的数据改进模型。

Images