무료 사고 보고서 양식
발생 경위, 영향, 시간대별 경과, 근본 원인, 조치 내용과 재발 방지 대책을 명확하게 기록하는 사고(장애) 보고서입니다.
구성
장애 보고서 · INC-2026-0318 결제 서비스 장애 작성자: 문지환 SRE 리드 · 2026년 10월 6일 |
발생일 | 2026년 10월 3일(토) | 지속 시간 | 47분 (KST 11:52~12:39) |
심각도 | SEV-1 | 상태 | 해결됨 |
영향 시스템 | 결제 서비스, 모바일 앱 | 대응 책임자 | 문지환 |
개요
토요일 주문이 가장 몰리는 시간대에 장보고마켓 고객이 47분간 웹사이트와 앱에서 주문을 완료하지 못했습니다. 정기 업데이트 중 변경된 데이터베이스 설정이 연결 수를 제한해 결제 요청이 시간 초과되었습니다.
영향
6,240건 결제 실패 시도 | 1억 2,500만 원 추정 주문 손실액 | 1,130건 접수된 고객 문의 |
고객 데이터의 손실이나 유출은 없었습니다. 실패한 주문에 대해서는 결제가 이루어지지 않았습니다.
시간대별 경과 (KST)
시각 | 내용 |
|---|---|
11:40 | 데이터베이스 설정 업데이트 배포 |
11:52 | 결제 오류율 40% 초과, 당직자 호출 |
12:05 | SEV-1 장애 선언, 대응 상황실 개설 |
12:21 | 연결 수 제한을 원인으로 확인 |
12:31 | 설정 롤백 |
12:39 | 결제 성공률 정상화, 장애 해결 |
근본 원인
업데이트 과정에서 테스트 환경 설정 파일의 값이 잘못 복사되어 데이터베이스 최대 연결 수가 500에서 50으로 줄었습니다. 배포 전 점검에서 환경 간 설정값을 비교하지 않았습니다.
조치 내용
- 12시 31분 설정 롤백
- 앱 배너와 X에 15분마다 상황 공지
- 10월 4일 영향을 받은 모든 고객에게 사과 메시지와 5,000원 할인 쿠폰 발송
재발 방지 대책
- 운영 환경 대비 20% 이상 차이 나는 설정 변경을 자동으로 차단하는 검사 추가 · 서나은 · 10월 20일
- 데이터베이스 연결 수가 한도의 80%를 넘으면 알림 발송 · 문지환 · 10월 16일
- 주말 10:00~22:00 긴급하지 않은 변경 배포 금지 · 백승호 · 10월 13일
- 전체 개발 조직에 본 보고서 공유 · 문지환 · 완료
교훈
모니터링으로 문제를 빠르게 감지했지만, 엉뚱한 서비스를 살피느라 16분을 허비했습니다. 결제 오류 대응 매뉴얼이 더 명확했다면 장애 시간을 절반으로 줄일 수 있었습니다.
다른 템플릿
- 견적서: 엑셀 견적서 양식. 수량과 단가를 넣으면 공급가액, 부가세(10%), 합계금액이 수식으로 자동 계산됩니다. 공급자 사업자등록번호, 상호, 대표자, 업태·종목 칸과 유효기간·납기·결제조건이 포함되어 있습니다.
- 거래명세서: 엑셀 거래명세서(거래명세표) 양식. 공급자와 공급받는자의 사업자등록번호를 나란히 적고, 품목별 공급가액과 세액(10%), 합계금액, 전잔금·입금액·잔액이 자동으로 계산됩니다.
- 회의록: 팀 회의와 정기 회의에 쓰는 회의록 양식. 회의명, 일시, 장소, 참석자, 작성자 표와 회의 안건, 회의 내용, 결정 사항, 담당자와 기한이 있는 실행 항목, 다음 회의 일정을 작성 예시와 함께 담았습니다.
- 분기 실적 보고 (QBR): 한 분기를 11장으로 보고합니다. 요약을 먼저 보여 주고 목표 대비 매출, 성과, 부진, 파이프라인, 리스크, 다음 분기 우선순위 순으로 정리합니다. 예시 숫자 포함.
- 주간 업무 보고: 핵심 요약, 주요 지표, 완료한 일, 담당자가 정해진 이슈, 다음 주 계획까지 6장으로 정리하는 주간 보고 자료입니다. 예시 팀과 숫자 포함.
- SWOT 분석: 사업, 제품, 계획의 강점·약점·기회·위협을 정리하고 전략과 다음 단계로 연결하는 9장 구성입니다. 예시 사업 포함.
- 회사 소개서: 미션, 주요 수치, 제품과 서비스, 핵심 가치, 고객 후기, 연락처로 파트너, 신규 입사자, 고객에게 회사를 소개합니다. 태양광 회사 예시가 들어 있습니다.
- 컨설팅 전략 보고서: 현황, 문제, 해결책, 대안 비교, 권고안, 로드맵, 리스크까지 컨설턴트처럼 고객에게 전략을 제안합니다. 예시 고객사가 들어 있습니다.