性能測試一般指的是功能測試,主要測試還設備運用的功能有哪些,就測那些固定參數是否符合規定。性能測試是通過自動化的測試工具模擬多種正常、峰值以及異常負載條件來對系統的各項性能指標進行測試。負載測試和壓力測試都屬于性能測試,兩者可以結合進行。功能測試就是對產品的各功能進行驗證,根據功能測試用例,逐項測試,檢查產品是否達到用戶要求的功能。
性能是一種指標,表明軟件系統或構件對其及時性要求的符合程度;其次,性能是軟件產品的一種特性,可以用時間來進行度量。性能的及時性用響應時間或吞吐量來衡量。響應時間是指服務器對請求作出響應所需要的時間。常見的性能測試方法如下:
1.負載測試
在這里,負載測試指的是最常見的驗證一般性能需求而進行的性能測試,在上面我們提到了用戶最常見的性能需求就是“既要馬兒跑,又要馬兒少吃草”。因此負載測試主要是考察軟件系統在既定負載下的性能表現。我們對負載測試可以有如下理解:
(1)負載測試是站在用戶的角度去觀察在一定條件下軟件系統的性能表現。
(2)負載測試的預期結果是用戶的性能需求得到滿足。此指標一般體現為響應時間、交易容量、并發容量、資源使用率等。
2.壓力測試
壓力測試是為了考察系統在極端條件下的表現,極端條件可以是超負荷的交易量和并發用戶數。注意,這個極端條件并不一定是用戶的性能需求,可能要遠遠高于用戶的性能需求。可以這樣理解,壓力測試和負載測試不同的是,壓力測試的預期結果就是系統出現問題,而我們要考察的是系統處理問題的方式。比如說,我們期待一個系統在面臨壓力的情況下能夠保持穩定,處理速度可以變慢,但不能系統崩潰。因此,壓力測試是能讓我們識別系統的弱點和在極限負載下程序將如何運行。
3.并發測試
驗證系統的并發處理能力。一般是和服務器端建立大量的并發連接,通過客戶端的響應時間和服務器端的性能監測情況來判斷系統是否達到了既定的并發能力指標。負載測試往往就會使用并發來創造負載,之所以把并發測試單獨提出來,是因為并發測試往往涉及服務器的并發容量,以及多進程/多線程協調同步可能帶來的問題。這是要特別注意,必須測試的。
4.基準測試
當軟件系統中增加一個新的模塊的時候,需要做基準測試,以判斷新模塊對整個軟件系統的性能影響。按照基準測試的方法,需要打開/關閉新模塊至少各做一次測試。關閉模塊之前的系統各個性能指標記下來作為基準(Benchmark),然后與打開模塊狀態下的系統性能指標作比較,以判斷模塊對系統性能的影響。
5.穩定性測試
“路遙知馬力”,在這里我們要說的是和性能測試有關的穩定性測試,即測試系統在一定負載下運行長時間后是否會發生問題。軟件系統的有些問題是不能一下子就暴露出來的,或者說是需要時間積累才能達到能夠度量的程度。為什么會需要這樣的測試呢?因為有些軟件的問題只有在運行一天或一個星期甚至更長的時間才會暴露。這種問題一般是程序占用資源卻不能及時釋放而引起的。比如,內存泄漏問題就是經過一段時間積累才會慢慢變得顯著,在運行初期卻很難檢測出來;還有客戶端和服務器在負載運行一段時間后,建立了大量的連接通路,卻不能有效地復用或及時釋放。
6.可恢復測試
測試系統能否快速地從錯誤狀態中恢復到正常狀態。比如,在一個配有負載均衡的系統中,主機承受了壓力無法正常工作后,備份機是否能夠快速地接管負載。可恢復測試通常結合壓力測試一起來做。
提示:每種測試有其存在的空間和目的。當我們接手一個軟件項目后,在有限的資源條件下,選擇去做哪一種測試,這應該根據當前軟件過程階段和項目的本身特點來做選擇。比如,在集成測試的時候要做基準測試,在軟件產品每個發布點要做性能測試。
總的來說,系統性能包括時間和空間兩個維度,時間是指客戶操作業務的響應時間,空間是指系統執行客戶端請求時,系統資源消耗情況。客戶關注的性能只是時間的表現,客戶不關注是什么原因引起的性能問題,但性能測試工程師和系統工程師就必須關注系統資源使用的情況。性能測試是測試系統端到端(即客戶端發送請求經過服務器將信息返回的過程)的性能指標,目前在系統設計階段無法設計出一個定量性能的系統,即開發工程師無法保證設計好的系統其性能表現如何,還是得靠測試來驗證性能的表現,性能測試是一系列的測試過程。在系統投入到市場之前,必須對系統的性能進行測試,否則無法確定系統的性能是否能滿足客戶的需求。