DH Developement

Jmeter란?

• Apache에서 자바로 만든 웹 애플리케이션 성능 테스트 오픈 소스입니다.
• 위의 그림과 같은 GUI를 지원합니다.

테스트 용어

• Thread Group : 테스트에 사용될 스레드 개수, 스레드 1개당 사용자 1명
• Sampler : 사용자의 액션 (예: 로그인, 게시물 작성, 게시물 조회 등)
• Listener : 응답을 받아 리포팅, 검증, 그래프 등 다양한 처리
• Configuration : Sampler 또는 Listener가 사용할 설정 값 (쿠키, JDBC 커넥션 등)
• Assertion : 응답 확인 방법 (응답 코드, 본문 내용 비교 등)

예시

• Thread 개수가 1000 개이고, Ramp-up Period가 60, Loop Count가 10이면
  • 1000명의 유저가 60초 동안 10번 반복해서 요청 보낸다는 의미
• Sampler - 사용자의 액션
  • 프로토콜, IP, 포트, HTTP, PATH 등을 지정 가능
  • Parameter와 Body 도 넘길 수 있음

설치 (MAC)

Homebrew 로 설치

• MAC 기준 설치 및 실행

brew install jmeter

• 실행

  open /opt/homebrew/bin/jmeter

소스 다운로드로 설치

• Archive 로 설치
  • url :https://jmeter.apache.org/download_jmeter.cgi

cd apache-jmeter-5.6.2 

./bin/jmeter.sh

HTML 보고서 만들기 (Mac - Homebrew)

• Graph 차트로 만든 보고서를 csv로 저장한 후에 HTML로 보고서를 생성할 수 있다.

그래프 보고서 생성

• 결과 파일 csv 저장하기 위해 경로 설정
  • Wirte result to file/Read from file
• 설정 시 뜨는 오류는 무시해도 됨

HTML 보고서 생성

• 보고서 설정
  • 상단의 Tool - Generate HTML 선택
    • csv: 그래프 차트 저장으로 생성된 CSV
    • properties: /bin/jmeter/jmeter.properties 선택
  • homebrew
    • properties: /opt/homebrew/Cellar/jmeter/버전/libexec/bin/jmeter.properties 선택
  • 결과 html 저장 경로
    • 빈 디렉토리어야 함. 따라서 새로운 폴더 생성

Jmeter란?

• Apache에서 자바로 만든 웹 애플리케이션 성능 테스트 오픈 소스입니다.
• 위의 그림과 같은 GUI를 지원합니다.

테스트 용어

• Thread Group : 테스트에 사용될 스레드 개수, 스레드 1개당 사용자 1명
• Sampler : 사용자의 액션 (예: 로그인, 게시물 작성, 게시물 조회 등)
• Listener : 응답을 받아 리포팅, 검증, 그래프 등 다양한 처리
• Configuration : Sampler 또는 Listener가 사용할 설정 값 (쿠키, JDBC 커넥션 등)
• Assertion : 응답 확인 방법 (응답 코드, 본문 내용 비교 등)

예시

• Thread 개수가 1000 개이고, Ramp-up Period가 60, Loop Count가 10이면
  • 1000명의 유저가 60초 동안 10번 반복해서 요청 보낸다는 의미
• Sampler - 사용자의 액션
  • 프로토콜, IP, 포트, HTTP, PATH 등을 지정 가능
  • Parameter와 Body 도 넘길 수 있음

테스트 수행

• 아래처럼 생각하면 좋다
  • Thread Group 추가 - 테스트 설정
  • Sampler 추가 - 요청 관련 설정
  • Listener 추가 - 테스트 결과 확인

Add Thread Group

• 테스트 세팅
  • Thread, Ramp up, Loop Count

Add Sampler - HTTP Request

• 요청 세팅
  • 프로토콜, url, port, body 등 세팅

Add Listener - Summary Report

• 상단 초록색 실행 아이콘 눌렀을 때, 그. 테스트 결과 확인
  • samplers: 표본 수
  • Average: 응답 시간 (ms)
  • Min: 응답 시간 (ms)
  • Max: 응답 시간 (ms)
  • Error: 400 / 500 번대 응답 코드 비율
  • Throughput: TPS(Transaction Per Second) 초당 처리량
  • 

어플리케이션 테스트

• 어플리케이션에 잠재된 결함을 찾아내는 일련의 행위 또는 절차
  • Verification 검증 -> 개발자 입장, 소프트웨어 명세서 만족
  • Validation 확인 -> 사용자 입장, 고객 요구사항 만족

어플리케이션 테스트 원리

• 완벽한 테스트는 불가능
  • 잠재적 결함을 줄일 수 있지만, 결함이 없다고 증명할 수 없음
• 파레토 법칙
  • 어플리케이션의 20% 코드에서 전체 결함의 80%가 발견
• 살충제 패러독스
  • 동일한 테스트 케이스 반복하면 더 이상 결함이 반복되지 않음
• 테스팅은 정황(Context)에 의존적
  • 정황에 따라 테스트 결과가 달라질 수 있기에, 정황에 따른 테스트 수행
• 오류-부재의 궤변
  • 결함을 모두 제거해도 사용자 요구사항 만족시키지 못하면 품질이 높지 못함

어플리케이션 테스트 분류

실행 여부 따라

• 정적 테스트 따라 -> 실행X
  • 워크스루(검토회의) -> 전문가 직접 검토, 절차 따라, 오류 조기 검출
  • 인스펙션 -> 워크스루의 발전, 산출된 결과물 품질 평가 및 개선 방법 제시
• 동적 테스트 -> 실행 O, 모든 단계
• 화이트박스 테스트 / 블랙박스 테스트

테스트 기반에 따라

• 명세 기반 테스트 -> 사용자 요구사항 명세
• 구조 기반 테스트 -> SW 내부 논리 흐름
• 경험 기반 테스트 -> 테스터의 경험, 체크리스트

시각에 따라

• Verification 검증 테스트 -> 개발자 시각, 제품 명세서
• Validation 확인 테스트 -> 사용자 시각, 사용자 요구사항

목적에 따라

• Recovery 회복 테스트 -> 실패시키고 올바르게 복구되는가
• Security 안전 테스트 -> 보호 도구가 볼법 침입으로부터 보호하는가
• Stress 강도 테스트 -> 과부하 시 정상적으로 실행되는가
• Performance 성능 테스트 -> 실시간 성능, 전체 효율성 등 응답시간 및 처리량
• Structure 구조 테스트 -> 내부 논리적 경로, 소스코드 복잡도
• Regression 회귀 테스트 -> 변경/수정된 코드에 새로운 결함이 없는가. 즉 반복 테스트
• Parallel 병행 테스트 -> 변경된 SW와 기존 SW 동일한 데이터 입력해서 결과 비교

테스트 기법에 따라

화이트박스 테스트

• 내부 논리적 경로 및 모듈 안의 내용 볼수 있어서, 내부의 논리적인 모든 경로 테스트
• 종류
  • 기초경로 검사 -> 대표적. 절차적 설계의 논리적 복잡성 측정
  • 제어구조 검사 -> 조건 검사: 논리적 조건
• 검증 기준
  • 문장 검증 기준 -> 모든 구문 한 번 이상
  • 분기 검증 기준 -> 모든 조건문의 조건식 결과가 (True, False) 한 번 이상
  • 조건 검증 기준 -> 조건문의 개별 조건식 결과가 (True, False) 한 번 이상
  • 분기/조건 기준 -> 분기 검증 기준, 조건 검증 기준 모두 만족

블랙박스 테스트

• 각 기능이 완전히 작동되는 것을 입증하는 테스트
• 종류
  • 동치 분할 검사 Equivalence Partitioning Testing
    • 타당/타당하지 않은 입력 자료 개수가 균등할 때, 입력자료에 맞는 결과가 출력되는지 확인
  • 경계값 분석 Boundary Value Analysis
    • 중간값보다 경계값에서 오류 발생 확률 높음. 경계값을 테스트 케이스로
  • 원인-효과 그래프 검사 Cause-Effect Graphing Test
    • 입력 데이트간 관계와 출력에 영향 미치는 상황 분석 후, 효용성 높은 테스트 케이스 선정
  • 오류 예측 검사 Error Guessing
    • 과거의 경험. 확인자 감각으로 테스트
  • 비교 검사 Comparison Testing
    • 여러 버전에 동일한 테스트 자료 제공, 동일한 결과 출력되는지 테스트
      => 동적 테스트, 명세 기반 테스트, 경험 기반 테스트에 해당