杭州大型网站压力测试及优化方案-利来国际登录

目录

  • 木桶理论应用在系统优化中
  • 压力测试如何实施
  • 常用压力测试工具选型
  • 如何监控系统资源,定位性能瓶颈
  • 针对测试报告进行针对性优化
  • 使用jmeter进行压力测试实践

木桶理论应用在系统优化中

木桶理论又称短板理论,其核心思想是一只木桶盛水多少,并不取决于最高的木板,而取决于最短的那块木板。

木桶原理应用在系统分析中,即系统的最终性能取决于系统中性能表现最差的组件,为了提升系统整体性能,对系统中表现最差的组件进行优化可以得到最好的效果。


在网站系统中,用户的访问请求到达服务器,然后服务器返回数据并展示给用户,这个过程要经过很多处理,每一个过程的低效都会影响系统整体表现出来的性能。

按照木桶理论,如果一台服务器性能非常强大,拥有充足的内存资源和cpu资源,但是磁盘i/o性能不足,那么系统的总体性能是取决于当前最慢的磁盘i/o速度,而不是当前最优越的cpu或者内存,此时,磁盘i/o就是系统的性能瓶颈。

典型的比如使用redis进行存储的系统,由于redis本身性能非常优秀,通常情况下存储并不会制约系统的性能,在海量请求的情况下,redis的吞吐量会非常大,这时候制约系统的性能瓶颈就变成网络带宽。

压力测试如何实施

性能测试在大型网站系统的设计和开发中非常重要,通常会和容量预估等工作结合在一起,穿插在系统开发的不同方案。

性能测试可以帮助我们及时发现系统的性能短板,评估系统的能力,在这个基础在上再进行针对性的性能优化。

同时,压力测试还可以帮助我们验证系统的稳定性和可靠性。

一个完整的性能测试方案通常包括以下几个方面:

1.压力测试及生成性能报告

压力测试一个重点是如何产生压力,通常可以通过自己编写脚本模拟请求,或者使用成熟的压测工具进行。

压力测试很重要的一点是如何使得模拟压测的数据尽量真实,越接近真实用户越好。

2.根据性能报告定位系统瓶颈,进行针对性优化,测试和优化的工作可以和日常开发并行

压力测试完成以后,我们会拿到一个压测报告,这个报告通常会告诉我们系统的qps、tps、响应时延等数据,

这些数据可以让我们对服务器的性能有个整体的了解,发现存在的问题,但是不能帮助我们定位问题。

这个时候我们可以从系统的各个组件入手,关注系统的cpu、内存、io、网络,对比这些环节对整体性能的影响,确定性能问题是系统哪一部分造成的,然后针对性的在系统中逐个优化。

3.估算容量承载能力,合理规划系统资源

进行压力测试的一个重要目的是让现有的服务器资源发挥最大的价值,

经过前期的测试和分析,这时候我们对系统整体的性能有了一个认识,对服务器的承载能力有了预估,

这个时候我们就可以结合业务规模配置服务器数量,cdn资源等,让最少的资源产生最大的价值。

常用压力测试工具选型

压力测试很关键的一点是如何产生压力,选择哪款测试工具很重要,大的互联网公司如百度/腾讯等,都有专门的测试开发团队,开发公司内部应用的测试工具,以便更好的适应公司的业务,作为saas服务的重要部分,几个云服务提供商也纷纷开放了压测及性能监控服务。

大多数公司还是会选择自己完成测试工作,这里关注一下常用的压力测试工具。

1.几款流行的压力测试工具

(1)jmeter

apache jmeter是apache组织开发的基于java的压力测试工具,用于对软件做压力测试,它最初被设计用于web应用测试但后来扩展到其他测试领域。它可以用于测试静态和动态资源例如静态文件、java小服务程序、cgi脚本、java 对象、数据库, ftp服务器, 等等。

jmeter 可以用于对服务器、网络或对象模拟巨大的负载,来在不同压力类别下测试它们的强度和分析整体性能。

另外,jmeter能够对应用程序做功能回归测试,通过创建带有断言的脚本来验证你的程序是否返回了期望的结果。

为了最大限度的灵活性,jmeter允许使用正则表达式创建断言。

(2)loadrunner

loadrunner是惠普旗下一款自动负载测试工具,它能预测系统行为,优化性能。loadrunner强调的是整个企业的系统,它通过模拟实际用户的操作行为和实行实时性能监测,来帮助更快的确认和查找问题。此外,loadrunner 能支持最宽范的协议和技术,量身定做地提供利来国际登录的解决方案。

(3)其他测试工具

  • siege是一款开源的压力测试工具,可以根据配置对一个web站点进行多用户的并发访问,

记录每个用户所有请求过程的相应时间,并在一定数量的并发访问下重复进行。

  • tcpcopy是一种请求复制(所有基于tcp的packets)工具,可以把在线请求导入到测试系统中去。

tcpcopy的特点是可以拷贝线上真实流量,模拟用户数据。

2.性能测试工具的横向对比

这里对比主流的 jmeter和loadrunner,一般来说,除了自研测试工具的公司,互联网公司使用jmeter作为测试工具的较多。


jmeter

loadrunner

开发语言

纯java开发

使用c语言开发

支持应用

对java为主的系统支持较好

支持比较全面

是否收费

开源免费

商业软件

学习成本

应用简单,上手快,java自定义测试计划

功能复杂,学习成本高

协议支持

支持常见的http/ftp/smp等

支持较全面

自定义测试

支持使用java编写sample

使用完善的组件进行定制化测试

组件功能

thread group, samplers, listeners, pre & post processors

一套完整的测试组件,比如vu generator, controller, analyzer, load generator, load calculator 和protocol advisor.

如何监控系统资源,定位性能瓶颈

压力测试可以暴露系统性能问题,如高并发下访问缓慢,服务宕机等,但是通过压测不能具体到哪里存在瓶颈,必须要在压测同时配合适当的资源监控,帮助我们定位问题。

1.配置合理的资源监控方案

(1)使用nmon监控系统性能

nmon是linux上广泛使用的监控与分析工具,相对于其它一些系统资源监控工具来说,nmon所记录的信息是比较全面的,它能在系统运行过程中实时地捕捉系统资源的使用情况,并且能输出结果到文件中,然后通过nmon_analyzer工具产生数据文件与图形化结果。

nmon所记录的数据包含以下一些方面:

  ● cpu占用率

  ● 内存使用情况

  ● 磁盘i/o速度、传输和读写比率

  ● 文件系统的使用率

  ● 网络i/o速度、传输和读写比率、错误统计率与传输包的大小

  ● 消耗资源最多的进程

  ● 计算机详细信息和资源

  ● 页面空间和页面i/o速度

  ● 用户自定义的磁盘组

  ● 网络文件系统

(2)使用rpc.rstatd监控系统性能

rpc.rstatd通常配合loadrunner一起使用,注意与系统服务rpc.statd进行区分。

rstatd后台程序可以从系统核心中获取系统性能统计的相关信息,将结果返回给调用程序。

进行压力测试时,loadrunner客户端通过给服务器上的 rstatd 后台程序发送请求,来收集应用或数据库服务器的性能数据。

(3)针对不同的服务合理配置资源监控方案

以java服务为例,在压测同时可以对jvm虚拟机进行性能监控,这方面常用的有jvisualvm、jps、jstack等。

下面是jvisualvm的应用界面,可以监控本地和远程的jvm实例运行状态。


针对测试报告进行针对性优化

在压力测试发现问题以后,就要进行有针对性的优化。对于不同的系统,这个过程的策略并不是确定的,但是大概可以划分为以下几个步骤:

1.定位性能瓶颈,找出系统存在的问题

不同系统的特点不同,在性能瓶颈上也有不同的表现,一般来说,下面的几个方面通常存在比较大的优化空间:

(1)磁盘i/o及文件操作

由于磁盘i/o读写的速度要比内存慢很多,程序在运行过程中,如果需要等待磁盘i/o完成,那么低效的i/o操作会拖累整个系统。

(2)网络操作

对网络数据进行读写的情况与磁盘i/o类似。由于网络环境的不确定性,尤其是对互联网上数据的读写,网络操作的速度可能比本地磁盘i/o更慢。

(3)cpu

对计算资源要求较高的应用,由于其长时间、不间断地大量占用cpu资源,那么对cpu的争夺将导致性能问题。如科学计算、3d渲染等对cpu需求旺盛的应用。

(4)高并发下的上下文切换及锁竞争等

高并发程序如果没有做好优化,存在大量的锁竞争,激烈得锁竞争将会明显增加线程上下文切换的开销,对性能造成极大的影响

(5)数据库

大部分应用程序都离不开数据库,而海量数据的读写操作可能是相当费时的。而应用程序可能需要等待数据库操作完成或者返回请求的结果集,那么缓慢的同步操作将成为系统瓶颈。

2.确定调整目标,提出利来国际登录的解决方案

找到系统的性能问题以后,需要作出对应的利来国际登录的解决方案。

典型的影响性能的问题,比如:

(1)系统对高并发的场景响应不足,如数据库连接池过低,服务器连接数超过上限,数据库锁控制考虑不足等

(2)内存泄露,如在长时间运行下,内存没有正常释放,发生宕机等

(3)数据库优化不足,业务日益增长,关联表众多,sql不够优化等

定位到上述问题,接下来就是提出合理的调整目标,

比如服务器资源有限,可以通过配置更多的机器,服务上云等进行优化;

如果对高并发支持不好,就可以在代码层面优化,提高并发支持;

数据库性能问题,如慢查询等问题,就可以进行 sql语句优化等。

3.实施利来国际登录的解决方案,进行迭代开发

上一步的分析给出了一个初步的性能优化方案,接下来就是针对方案中提到的内容进行针对性的改进。

这个过程可以应用敏捷的思想进行迭代,在开发完成后,为了对比优化结果,可以对调优后的系统进行小范围测试。

4.进行基准测试并分析调优结果

数据说明一切,性能优化的结果不能简单的通过 “感觉系统变快了”来衡量,最好是通过对比优化前后的测试结果,用图表的方式直观的把优化结果展示出来。基准测试是指通过设计科学的测试工具和方式方法,实现对一类测试对象的某项性能指标进行定量的和可对比的测试。对比测试结果,结合容量评估等工作,可以让系统发挥最大的效用。

一个阶段的优化工作完成以后,最好是总结反思一下,比如本次优化是否达到了目标?系统的整体性能是否得到了改善?用户体验是否得到了提升?以及如何在接下来的开发工作中做的更好。

使用jmeter进行压力测试实践

jmeter是目前流行的测试工具,这里简单的介绍一下相关的应用。

1.jmeter安装与使用

linux下可直接下载安装,mac系统进入http://jmeter.apache.org/download_jmeter.cgi,下载apache-jmeter-3.1.tgz。

下载完毕后解压,得到安装包,进入到进入解压目录/bin/,单击jmeter图案,即可启动jmeter。

2.基本组件简介

应用jmeter需要熟悉一些基本的概念,这是编辑测试计划的界面:


(1)threads 线程组

这个组件主要用来控制jmeter并发时产生线程的数量,在它的下一级菜单下只有一个组件(线程组),可以这么理解每个线程就是一个虚拟的用户。所有的其他类型组件必须是(线程组)节点的子节点。

(2)configelement 配置单元

和sample组件一起工作,主要用来配置sample如何来发起请求访问服务器,这个东西的主要特点是可以把一些sample的共同配置放在一个元素里面方便管理,配置单元是有作用域的。作用域和树的那个关系一样越是上级节点的作用域越大,越是接近叶子节点的

作用域就越小,可以复写上级作用域的配置。

(3)timer 定时器

这个主要是用来调节(线程组),控制线程每次运行测试逻辑(比如说:发出请求)的时间间隔。当然这个下面还有很多类型的定时器,他们主要功能就是调节时间间隔,但个个组件之间的策略有很大不同。

(4)pre processors 前置处理器 / post processors 后置处理器

类似一个hook,在测试执行之前和执行之后执行一些脚本的逻辑。该组件我还没有具体使用过,但大致功能就是这样,非重点组件。

(5)assert 断言

是指对于sample完成了请求发送之后,判断一下返回的结果是否满足期望。

(6)listener 监听器

这个组件不同于平时在web编程的那种监听器,他是伴随着jemeter测试的运行而从中抓取运行期间的数据的一个组件,经常使用的是聚合报告组件,从里面可以统计到测试的tps,响应时间等关键测试数据。

3.进行第一个测试

(1)设置线程组参数

首先在testplan下面添加一个threadgroup组件,设置线程组组件各项参数。


线程数:最大测试时使用的线程数。

ramp-up period : jmeter达到指定最大线程数的时间。

循环次数 : 如果是forever,线程组中的线程将不间断的连续测试系统,当然也可以设置每个线程测试的次数,当完成了规定次数后,该线程将自动退出线程组。

(2)添加sampler信息

保存线程组后,接着在线程组下面添加sample组件,我们添加一个http request组件,

设置属性如下图:


sampler表示客户端发送某种格式或者规范的请求到服务端,所以有各种各样的sampler,如ftp/jdbc等。

这里我添加了一个针对百度百科利来手机娱乐首页的访问请求,端口为80,使用http协议。

(3)添加聚合报告的监听器组件

添加一个aggregate report的listener的监听器组件。

aggregate report 是 jmeter 常用的一个 listener,中文被翻译为“聚合报告”。

(4)启动运行

点击run运行测试即可。然后可以看到本次测试的aggregate report。


4.jmeter中的几个重要测试指标释义

可以看到,上面的聚合报告中有很多维度的信息,简单介绍几个比较重要的指标。

label

每个 jmeter 的 element(例如 http request)都有一个 name 属性,这里显示的就是 name 属性的值

#samples

表示你这次测试中一共发出了多少个请求,如果模拟10个用户,每个用户迭代10次,那么这里显示100

average

平均响应时间——默认情况下是单个 request 的平均响应时间,当使用了 transaction controller 时,也可以以transaction 为单位显示平均响应时间

median

中位数,也就是 50% 用户的响应时间

90% line

90% 用户的响应时间,其他的几个可以类推

min

最小响应时间

max

最大响应时间

error%

本次测试中出现错误的请求的数量/请求的总数

throughput

吞吐量——默认情况下表示每秒完成的请求数(request per second)

received / sent kb/sec

每秒从服务器端接收到/发送的数据量

作者:邴越 

返回观点列表
本文标签:

相关专题

  • 品牌利来手机网址官网设计

    杭州派迪科技为高端客户提供品牌利来手机网址官网咨询策划,品牌利来手机网址官网设计,品牌利来手机网址官网建设开发服务,以国际化视野和标准为基础,为各行业领军品牌提供高端企业网站定制、策划、设计、互动与制作

    查看详情
  • 大策略营销门户网站

    杭州派迪科技有自己的营销型网站cms系统,适合白帽seo网站。特别对大策略的营销型门户网站制作有一定的经验,曾经为上海天擎外贸行业网站、浙江兆龙营销型门户、先临三维门户营销网站提供全程的利来手机娱乐的技术支持及seo优化指导

    查看详情
  • 集团/上市公司网站

    杭州派迪科技为杭州本地集团公司提供网页设计、制作、开发服务,为集团公司网站建设提供了响应式、营销型、品牌型、门户型网站建设需求,欢迎广大集团公司客户咨询

    查看详情
  • 外贸网站建设

    杭州派迪科技为高端客户提供外贸网站咨询策划,外贸利来手机网址官网设计,外贸利来手机网址官网建设开发服务,以谷歌搜索引起算法为基础,为各行业外贸公司提供高端企业外贸网站定制、策划、设计、互动与制作

    查看详情
  • 企业网站建设

    高端专业、令人印象深刻的用户界面、易于访问——企业网站必须反映一切,因为派迪科技在这里提供帮助,凭借精湛的技术、丰富的经验、与客户的持续沟通以及对每一个细节的关注,我们确保在快速的周期时间内提供优质的服务。

    查看详情
  • 杭州派迪科技模板网站建设专题_各行业方案专题栏目提供各行业产品适合的网站建设方案,帮助企业了解派迪科技建站效果等信息,您可以通过本站了解各行业网站建设方案,如需要获取本行业定制网站建设方案,可以联系在线客服或拨打电话咨询

体验从沟通开始,让我们聆听您的需求!

开始您的数字化品牌体验! 0571-85815193 期待您的来电!

[ 网站建设×品牌利来手机网址官网设计×大策略营销门户×微信小程序开发×微信公众号开发]

派迪业务总监微信号

了解最新项目报价

派迪产品经理钉钉号

免费获取项目方案

我们正使用 cookie 来改善您的访问体验

派迪科技非常重视您的个人隐私,当您访问我们的网站www.hzpady.com时,请同意使用所有cookie 。

如果您想详细了解我们如何使用cookie请访问我们的 《隐私政策》

cookie 偏好

如果您想详细了解我们如何使用cookie请访问我们的 《隐私政策》

管理cookie偏好

基本 cookie

始终允许

这些 cookie 是网站运行所必需的,不能在我们的系统中关闭。它们通常仅针对您所做的相当于服务请求的操作而设置,例如设置您的隐私首选项、登录或填写表格。您可以将浏览器设置为阻止或提醒您有关这些 cookie 的信息,但网站的某些部分将无法运行。这些 cookie 不存储任何个人身份信息。

性能 cookie

始终允许
这些 cookie 使我们能够计算访问量和流量来源,以便我们可以衡量和改进我们网站的性能。它们帮助我们了解哪些页面最受欢迎和最不受欢迎,并了解访问者如何在网站上移动。这些 cookie 收集的所有信息都是汇总的,而且是匿名的。如果您不允许这些 cookie,我们将不知道您何时访问了我们的网站,也无法监控其性能。

功能性 cookie

这些 cookie 收集信息用于分析和个性化您的定向广告体验。您可以使用此拨动开关来行使选择不获取个人信息的权利。如果您选择关闭,我们将无法向您提供个性化广告,也不会将您的个人信息交给任何第三方。

定位 cookie

这些 cookie 可能由我们的广告利来国际登录的合作伙伴通过我们的网站设置。这些公司可能会使用它们来建立您的兴趣档案,并在其他网站上向您展示相关广告。它们不直接存储个人信息,而是基于唯一标识您的浏览器和互联网设备。如果您不允许使用这些 cookie,您将体验到较少针对性的广告。

我们正使用 cookie 来改善您的访问体验

派迪科技非常重视您的个人隐私,当您访问我们的网站www.hzpady.com时,请同意使用所有cookie 。

如果您想详细了解我们如何使用cookie请访问我们的 《隐私政策》