相关的主题文章：

记得联系我... 手机 15021385113
在jmeter中如何实现https的验证呢?
本地为一个用户证书,服务端为信任链证书?如何设置脚本呢?
我用过2个月的JMeter,好像是2.3.1版本的,记不清楚啦.
但是JMeter给我最深刻的印象是:资源监控机制不健全,尽管它有漂亮的图表和漂亮的GUI;当JMeter测试不能录制到测试步骤时,比如:
客户端:智能手机
软件:手机短信管理软件
这时JMeter(也包括loadrunner)就不能录制到测试脚本啦.我们就得去开发新的JMeter组件,模拟手机报文向服务器发送请求,JMeter给出了大量的jar包,我们可以去另外开发jar包,这需要有相当经验的开发人员承担的,这是我们大约70%测试人员都无法做到的,因为我们都没有做过开发或者只有一些开发的基础.
请不要把性能测试工具比来比去,容易让测试初学者找不到学习性能测试工具的方向.
另外我们也没有必要去比较这些测试工具的缺点和优点,这样做有意义吗?每一种测试工具都有它本身的优缺点,也许这个工具对你现在测试的项目比较适合使用,下一个项目另外一个工具比较合适,所以这些性能测试工具之间没有可比性.(纯属个人观点)
靠,你也拿到的是山寨系列啊,我拿到大唐的机子,也是山寨机样子,山寨系统MTK
希望相对于其它的性能测试书籍能有更多更值得我们学习的东西.非常感谢!
{dy}版为入门必备,写的非常不错,但随着性能测试的深入,书中的内容稍有欠缺,非常期待第二版.
1、希望增加性能瓶颈的更多分析,以及优化描述.
2、对于内存或是网络等的影响也要尽可能涉及.
3、对于数据库性能及中间件服务器的常见问题分析等.
4、除jmeter外,希望推荐较适用的与性能测试各个环节相关的测试工具.
5、更多的理论尽量使用一章来说明,其它章节多写遇到的问题及解决的方法.呵呵.到时价钱高些,相信购买的人也会非常多,经验来之不易.
socket常见问题也期待......
关河老师,看了你写的软件性能测试的书,确实学了很多知识,结合我们公司的业务系统(物流系统)有1个问题请教一下.我可以获取使用这个系统各个功能的用户有多少,而且也知道这个系统各功能每天的数据增长情况,但是我在实际测试时,对于thinktime、rampup(以loadrunner为例)设置为多少,还是模糊不清,乘用车购置税,不知道这些值为多少,才能比较准确的模拟实际情况.我问这个问题,是希望能更准确的设计测试用例.谢谢!
补充一个很好玩的网站,www.94hw.com,号称将好玩一网打尽,将创意进行到底,主要内容和创意,新鲜,新奇的东西以及好玩视频,小游戏有关
@隐形人
首先,不要让某个工具的概念影响了你对要解决问题的思考.工具是帮助你是实现自己期望的支撑,而不是限制你的思考的框架.
LR中的概念固然多,但其实在一个具体的场景中应该怎么设计并不取决于LR提供了多少概念,而是,如何让LR得到的结果是能够验证你需要验证的性能需求的.
我会写一篇描述如何通过测试解决一个具体的性能问题的例子.
@刘艳梅
很负责任的说,这两个工具的测试结果不可能xx一致.JMeter和LR在具体的实现方式上都不是很一样,因此也不可能要求他们具有相同的结果.
@软件测试的爱好者
可以通过dennis.duan@gmail.com联系到我
软件性能测试过程详解与案例剖析{dy}版和仔细看了一下,由于现在用的工具是LR,所以就案例部分看的最多的就是案例三.采用PTGM模型来指导性能测试的工作是一个很好的方法,它充分考虑到了工具的性能测试工作中的运用.但是我在看这本书时存在一个很大的疑惑,就是测试的设计,设计的场景设计方面.从性能需求项得出的场景设计方案是否可行,你如此设计场景的依据何在(别说是按需求来设计,因为单从你的需求测试项是看不出来你这样设计的依据).我想这也是性能测试人员关测试工作中常常难以决定的事情---从需求设计场景.就单拿LR来说,向华强资料,在一个场景中可以有之个脚本同时执行,每个脚本里又有思考时间,步,代理之类的runtime-setting,不同的runtime-setting会影响到最终的测试结果.但是就能力验证领域来说,我们要做的就是模拟真实的场景,怎么样才算是模拟了最真实的场景,我想这些runtime-setting的设置也要包括进去吧.
别外,在测试设计时,书里提到最多的就是数据的采集(并发用户数,数据量)和计算.但是这些数据的来源前提是从老版本的系统里采集的.如果对一个新上线的系统来说,从日志里采集数据是不可行的,而老系统也是不存在的,那么,对于这样的系统,数据又从何而来?
看了{dy}版,觉得写的挺好的.不过在计算思考时间的时候,我有些不理解.关老师能否详细介绍一下如何计算和设置思考时间,{zh0}在案例中给出.
看到2位大师的比较,觉得很合理.
但是,我们是否遗漏了最重要的一点,就是比较它们的测试结果?在同样场景下,结果是否一致?拿吞吐量来说,jmeter中的qps与loadrunner中的tps,个人觉得2者相差挺多的,希望大师讲一下二者的异同,谢谢!
买了关老师得书很久,小学二年级看图作文,受益很多,我还有一下两个建议:
1.是否需要思考时间,以及如何设定思考时间?
2.在{dy}版的书中,性能指标的制定(并发数\TPS),在{dy}版中有比较详细的说明,但是在后面的案例中,直接写出来了性能指标,希望有更详细的过程.
@liangjianzhao
Page detailer的确不能度量IE本身的render时间,你从该工具的原理中可以看出来,该工具是hook了winsock相应的dll函数来工作的.
如果想要度量IE的render时间,可以自己写一个BHO(Browser Helper Object)加载到IE中,例如,计算从BeforeNavigate2事件到DocumentComplete2事件的时间.至于你说的"每个元素逐个画图的时间",恐怕没有办法获得,从IE本身的实现来说,它并不是download一个element就会立刻在窗口中绘制出来的.
初步看了一下page detailer的功能,似乎做不到度量page 在IE里面 render (就是下载到网卡后在IE 页面每个元素逐个画图) 的时间
和你一样的感受,这些天来,心情一直被塞的满满的.面对自然的强悍,生命脆弱的让生者无法承受.在双手合十诚心为逝者默念一路走好的同时,我们应该学会珍惜,祝福那些灾后重生的人们,平安,幸福.
你说的"动态请求"是什么意思?Ajax请求?
应该是可以处理的.
偶是阿里巴巴的工程师,最近也在xx前端性能测试.
呵呵,除了用web 网页分析工具 如page detailer 以及 firebug 外,还有什么比较好的工具推荐呢?
这些工具能很好处理动态请求么 ?
--引用-
关河: @duyan
我今天下午(2008年4月26日)在柏彦大厦就有一个关于web应用前端的性能测试和性能调整的讲座,2:00-5:00,不知道你能不能赶得及,呵呵.赶不上也没所谓,我会把PPT放到我的blog上的.
性能测试方向确实是一个比较有意思的方向,但要求测试工程师对应用的实现细节有较多了解.如果你熟悉J2EE的话,可以考虑向J2EE/web类应用的性能测试方向发展.
谢谢老师的回复,我就决定往Web应用产品的性能测试方向努力了.正好,我现在所在的公司是一家做Web产品的互联网公司.
@沙加
原因是一样的吧,也就是先后顺序问题.
假设HTML中有这样一段:
<script language="javascript" src="needtouseforimg.js"></script>
<img src="test.jpg" onclick="ClickImage()"></img>
其中ClickImage是needtouseforimg.js中的一个函数.
显然,如果js文件和jpg同时开始下载,并且jpg文件先于js文件下载完成,此时浏览器会render和显示出jpg文件,而如果用户对jpg文件进行操作,就会出现一个script error.
对script的非并行处理,就是要保证script一定会先于使用它的element之前下载完成.
呵呵,尽管我对LR的熟悉程度要比jmeter多得多.看到这样的帖子,我还是觉得挺高兴.相对来说,我还是觉得opensource的有更多的支持者是好事情.
纵然对我来说,不敢擅评测试行业的发展问题,所以我的话只是个人观点.
1,如果从cost和feature两个方面来说的话,显然jmeter有着很大的优越性.做为一个这么小(相对LR来说)工具,能实现这么全面的feature,还是很难得的.所以这一方面LR是没得比的.当然,这两个出现的历史和初衷就是不同的.做为商业工具,我觉得和其他的商业工具相比,更有可比性.
2,对于LR的性能方面表现比较出色,也归功于它的设计和商业运作.这一点可能大家都有感觉.呵呵,在硬件资源发展迅速的大环境下,软件的成本可能成为{zd0}的障碍,一点我同意关河的观点.jmeter做为一个java的工具,表现已经非常不错了.不过,自从HP收购了mercury做的一系列对LR的改动,从我个人的角度来看,在用户模拟方面并没有什么提升,相反,我觉得速度有所下降.
3,关于灵活的扩展,我觉得LR的扩展还是不错的.VuGen做为脚本的IDE,支持的语言和外部扩展,可以实现很多我们自己想定制的功能了.我觉得在扩展上,jmeter应该没有LR全面,就从支持的语言角度,jmeter也没有LR支持的多.这一点取决于被测对象的要求,如果用jmeter可以xx实现想要的扩展,且其他方面也可以做得到,选择它会是{sx}.
4,对工具可信度的讨论,呵呵,我挺有体会.为了验证工具的某个feature的实现方式,我曾经费了很多的时间和脑细胞.要是有source可以看,当然,就不用这么痛苦了.这个好处,是显而易见的.所以在这一方面,jmeter同样具有不可比拟的优越性.考虑另一方面,也就是商业问题,出发点不同,这个没有什么可说的.就像现在很多人挺开源的东西,但是愿意付出那么多心血的人,还是少得多.
5,测试人员对工具的熟悉度也影响了工具的市场和发展.如关河所说,jmeter可以实现很多的feature.但是,它的GUI相比LR来说,还是没有那么多的亲和力.易用性上,还是LR比较容易接受(这可能和我对LR的熟悉多一些有关系).有一些功能名称的定义和BTO的概念的提出,我觉得这是jmeter不能比的.现在在性能测试这一块里,还是有很多LR中的名称和概念被普遍的接受了.像关河文章中引用的名称一样.这是商业运作的结果.不管是不是为了卖工具而炒概念,这些都给接触性能测试或者这些工具,以更直观的理解.LR的功能很多,至少从界面上看来很多.但是,一点也不觉得让人眼花缭乱.不像其他的某些工具.
暂聊这些吧.
但是我仍然有个问题,js虽然不能与js一起下载但是为什么不能与其它的资源一并下载呢~~?
@zhang_ming1
"测试脚本的支持算不算Critical Features" ——脚本的支持当然是Critical,只是我认为这个是任何工具都应该default support,因此没有列出来.JMeter同样支持脚本,只不过他的脚本是以和LR不同的形式表现出来而已:{dy},JMeter的脚本大体上是以树状结构体现的步骤;第二,在JMeter中,你可以使用Beanshell脚本书写代码,这些自然也是脚本的一部分.我并不认为JMeter"不支持脚本",最多是,它使用的脚本的形态和LR不一样而已.
"我觉得LoadRunner在性能方面比JMeter要好一些.包括一个机器可以承受的虚拟用户数和每个虚拟用户的处理速度上"——这个我同意,在我引用的那篇比较文章中也提到了同样的观点.相同配置的机器,LoadRunner能支持的虚拟用户数要更大一些,但考虑到JMeter为了提供跨平台性而使用Java,这也是可接受的一个折中.换句话说,就算LR能够比JMeter支持更多的虚拟用户,在需要1000个VU的情况下,使用10台设备,和使用12台设备,区别有多大呢?如果考虑LR的license费用,这就更不是一个问题了.
"工具本身具有很好的可信度,可以通过查看代码等方式,了解当意外发生时是工具本身的问题或是应用的问题. 这个我觉得loadrunner做的也很好,虽然没有它的源代码,但它的测试日志可以记录的很详细,跟踪起来很方便"——如果对于错误的追踪"{wy}"可行的方式是通过日志,我不认为这是值得信赖的.举一个简单的例子,在使用JMeter的时候,我发现它在使用某个变量作为Swtich变量的时候存在一个interation的偏差,但我不能确定是我的beanshell脚本的问题或是它自身的问题,通过JMeter源代码的阅读,最终确定了这个问题是它处理上的一个问题,对我来说,这是最直接的问题处理方式.而如果依赖日志等,没有人能保证日志中一定能找到这些内容的线索.拿LR来说,如果出现了一个某协议使用时的不能录制的问题,谁能保证通过日志找到问题的原因是什么呢?
PS,终于等到了一个不错的讨论线索,谢谢zhang_ming,欢迎继续讨论.
测试脚本的支持算不算Critical Features? 我觉得这个在测试复杂场景的时候是很有用处的.
另外,我觉得LoadRunner在性能方面比JMeter要好一些.包括一个机器可以承受的虚拟用户数和每个虚拟用户的处理速度上.
关于4,工具本身具有很好的可信度,2009车辆购置税,可以通过查看代码等方式,了解当意外发生时是工具本身的问题或是应用的问题. 这个我觉得loadrunner做的也很好,虽然没有它的源代码,但它的测试日志可以记录的很详细,跟踪起来很方便.
非常感谢段老师的详细解释,这下就明晰了很多了,也就是js的调用顺序有程序员来保证,这样浏览器只是xx按照已经定义好的顺序进行download了,谢谢段老师的精彩的讲解,受益匪浅啊
以前做的几个系统,数据量不大,上个系统由于数据量过大,任志强 北京房价,出现性能问题,又将系统重构,才开始xx性能测试,向楼主学习.
@duyan
由于工作原因,最近我很少在测试时代的论坛上活动,刘涛结婚车队,也很少有公开的讲座.
不过你的建议很不错,下次有公开讲座或是和大家的交流探讨机会的时候,我会在我的BLOG上公开发布这方面的信息.
学习了.
很遗憾,错过了讲座时间,没能亲临现在领略您的演讲风采.
老师,近一年半多来,我也经常xx"测试时代"的论坛,但总是看不到您将在某时某地做讲座的消息,不知道您的讲座信息,一般都会刊登在什么地方啊?
我有个小建议:以后您再在北京的某时某地做关于性能测试方面讲座的话,能否在您的博客中提前做个预告啊?谢谢老师!很想当面聆听您的教诲,呵呵!
@duyan
我今天下午(2008年4月26日)在柏彦大厦就有一个关于web应用前端的性能测试和性能调整的讲座,2:00-5:00,不知道你能不能赶得及,呵呵.赶不上也没所谓,我会把PPT放到我的blog上的.
性能测试方向确实是一个比较有意思的方向,但要求测试工程师对应用的实现细节有较多了解.如果你熟悉J2EE的话,可以考虑向J2EE/web类应用的性能测试方向发展.
段老师,您好!
我是您忠实的读者,我是2006年8月,在北航的伯彦大厦,由《程序员》杂志社举办的"软件测试论坛"上认识您的.
您当时的演讲,给我留下了深刻的印象,也即从那时起,我对性能测试有了一定的认识和兴趣,不知您什么时候还有公开的演讲啊?我很想去聆听.
我现在只是做一些黑合功能类的测试,感觉发展空间很有限.
我会编程,熟悉JAVA EE,所以很想往性能测试方向发展.
请多指教!
@朱利霞
那只有一种可能,就是你在选择关联的时候弄错了需要关联的对象:)
我按照老大的办法已生成下载文件名,但是文件里的内容不是我要得内容.郁闷~~`我需要下载的是客户名单,脚本回放下载是一些乱码以及程序员文件内容.~奇怪很~
@coffee2008
LR所谓的"对服务器监控的支持"其实都是通过服务器自己的监控接口来完成的,不借助LR,只适用服务器自己的监控接口是xx可以监控服务器的.LR所做的工作无非就是将数据归一化了而已.
主要是JMeter,因为它是开源工具,用的公司比较多,一定受测试人员的欢迎.后台服务器监控,报告(图)分析,以及里面的主要文件讲解等等
顶楼上的大漠飞鹰的问题.
然后就是多介绍一下JMeter这个开源工具的使用以及后台服务器监控方面的东西,因为JMeter工具对服务器监控支持的不是很好,相比LOADRUNNER要差很多;以及聚合报告是怎么分析的,梁洛施个人资料;怎么使用JMeter控制台和其他工具去录制WEB脚本;以及JMeter源文件中一些主要文件的讲解等,因为有的项目是录制不到脚本的,所以就修改里面的某些文件去给服务器加压;等等吧,希望关河多多辛苦,我们会支持你的书.
re: 有奖调查——《软件性能测试过程详解与案例剖析》第二版内容调查 re: JMeter与LoadRunner的比较 re: JMeter与LoadRunner的比较 re: 有奖调查——《软件性能测试过程详解与案例剖析》第二版内容调查 re: 今天下午做的一个关于web前端性能/性能测试的Talk re: 今天下午做的一个关于web前端性能/性能测试的Talk re: 今天下午做的一个关于web前端性能/性能测试的Talk re: 今天下午做的一个关于web前端性能/性能测试的Talk re: 论"响应时间" re: 浏览器对Script下载的非并行处理再说明 re: JMeter与LoadRunner的比较 re: 浏览器对Script下载的非并行处理再说明 re: JMeter与LoadRunner的比较 re: JMeter与LoadRunner的比较 re: 浏览器对Script下载的非并行处理再说明 re: 今天下午做的一个关于web前端性能/性能测试的Talk re: 浏览器对Script下载的非并行处理再说明 re: 浏览器对Script下载的非并行处理再说明 re: 今天下午做的一个关于web前端性能/性能测试的Talk re: 今天下午做的一个关于web前端性能/性能测试的Talk re: 论"响应时间" re: 论"响应时间" re: 论"响应时间" re: WEB自动化测试中针对验证码的解决方案 (二) re: 用LoadRunner下载文件并保存到本地 re: 用LoadRunner下载文件并保存到本地 re: 有奖调查——《软件性能测试过程详解与案例剖析》第二版内容调查 re: 有奖调查——《软件性能测试过程详解与案例剖析》第二版内容调查 re: 有奖调查——《软件性能测试过程详解与案例剖析》第二版内容调查