무료 사고 보고서 양식

발생 경위, 영향, 시간대별 경과, 근본 원인, 조치 내용과 재발 방지 대책을 명확하게 기록하는 사고(장애) 보고서입니다.

구성

장애 보고서 · INC-2026-0318

결제 서비스 장애

작성자: 문지환 SRE 리드 · 2026년 10월 6일

발생일

2026년 10월 3일(토)

지속 시간

47분 (KST 11:52~12:39)

심각도

SEV-1

상태

해결됨

영향 시스템

결제 서비스, 모바일 앱

대응 책임자

문지환

개요

토요일 주문이 가장 몰리는 시간대에 장보고마켓 고객이 47분간 웹사이트와 앱에서 주문을 완료하지 못했습니다. 정기 업데이트 중 변경된 데이터베이스 설정이 연결 수를 제한해 결제 요청이 시간 초과되었습니다.

영향

6,240건

결제 실패 시도

1억 2,500만 원

추정 주문 손실액

1,130건

접수된 고객 문의

고객 데이터의 손실이나 유출은 없었습니다. 실패한 주문에 대해서는 결제가 이루어지지 않았습니다.

시간대별 경과 (KST)

시각

내용

11:40

데이터베이스 설정 업데이트 배포

11:52

결제 오류율 40% 초과, 당직자 호출

12:05

SEV-1 장애 선언, 대응 상황실 개설

12:21

연결 수 제한을 원인으로 확인

12:31

설정 롤백

12:39

결제 성공률 정상화, 장애 해결

근본 원인

업데이트 과정에서 테스트 환경 설정 파일의 값이 잘못 복사되어 데이터베이스 최대 연결 수가 500에서 50으로 줄었습니다. 배포 전 점검에서 환경 간 설정값을 비교하지 않았습니다.

조치 내용

  • 12시 31분 설정 롤백
  • 앱 배너와 X에 15분마다 상황 공지
  • 10월 4일 영향을 받은 모든 고객에게 사과 메시지와 5,000원 할인 쿠폰 발송

재발 방지 대책

  • 운영 환경 대비 20% 이상 차이 나는 설정 변경을 자동으로 차단하는 검사 추가 · 서나은 · 10월 20일
  • 데이터베이스 연결 수가 한도의 80%를 넘으면 알림 발송 · 문지환 · 10월 16일
  • 주말 10:00~22:00 긴급하지 않은 변경 배포 금지 · 백승호 · 10월 13일
  • 전체 개발 조직에 본 보고서 공유 · 문지환 · 완료

교훈

모니터링으로 문제를 빠르게 감지했지만, 엉뚱한 서비스를 살피느라 16분을 허비했습니다. 결제 오류 대응 매뉴얼이 더 명확했다면 장애 시간을 절반으로 줄일 수 있었습니다.

다른 템플릿

  • 견적서: 엑셀 견적서 양식. 수량과 단가를 넣으면 공급가액, 부가세(10%), 합계금액이 수식으로 자동 계산됩니다. 공급자 사업자등록번호, 상호, 대표자, 업태·종목 칸과 유효기간·납기·결제조건이 포함되어 있습니다.
  • 거래명세서: 엑셀 거래명세서(거래명세표) 양식. 공급자와 공급받는자의 사업자등록번호를 나란히 적고, 품목별 공급가액과 세액(10%), 합계금액, 전잔금·입금액·잔액이 자동으로 계산됩니다.
  • 회의록: 팀 회의와 정기 회의에 쓰는 회의록 양식. 회의명, 일시, 장소, 참석자, 작성자 표와 회의 안건, 회의 내용, 결정 사항, 담당자와 기한이 있는 실행 항목, 다음 회의 일정을 작성 예시와 함께 담았습니다.
  • 분기 실적 보고 (QBR): 한 분기를 11장으로 보고합니다. 요약을 먼저 보여 주고 목표 대비 매출, 성과, 부진, 파이프라인, 리스크, 다음 분기 우선순위 순으로 정리합니다. 예시 숫자 포함.
  • 주간 업무 보고: 핵심 요약, 주요 지표, 완료한 일, 담당자가 정해진 이슈, 다음 주 계획까지 6장으로 정리하는 주간 보고 자료입니다. 예시 팀과 숫자 포함.
  • SWOT 분석: 사업, 제품, 계획의 강점·약점·기회·위협을 정리하고 전략과 다음 단계로 연결하는 9장 구성입니다. 예시 사업 포함.
  • 회사 소개서: 미션, 주요 수치, 제품과 서비스, 핵심 가치, 고객 후기, 연락처로 파트너, 신규 입사자, 고객에게 회사를 소개합니다. 태양광 회사 예시가 들어 있습니다.
  • 컨설팅 전략 보고서: 현황, 문제, 해결책, 대안 비교, 권고안, 로드맵, 리스크까지 컨설턴트처럼 고객에게 전략을 제안합니다. 예시 고객사가 들어 있습니다.

모든 템플릿