2019.08.19 14:46

최근 주기적으로 발생한 일시 서버 장애에 대해 대응중

조회 수 23869 추천 수 322 댓글 170

시스템 모니터입니다.


최근 주기적으로 일시 서버 장애가 짧게는 몇 초, 길게는 10분 발생하고 있었는데,


머피의 법칙에 따라 어제 관련 부분 때문에 일부 서버를 재시작 했더니,

핵심 모니터링 서버의 SSD 가 불량 발생하고, 다른 백업 서버 또한 하드웨어 장애가 발생했습니다.

다만 해당 고장들은 에펨코리아 일시 장애 원인이 아니며, 제가 원인을 찾는 작업을 크게 방해하고 저에게 많은 고통을 줄 뿐입니다.


기존 서버 모니터링 방식에 해당 문제 원인이 명확하게 보이지 않아,

어제 거의 잠 안 자면서 오늘 아침에 새롭게 1초 마다 관련 서버 분석하는 모니터링 툴을 새롭게 구축하고 도입했습니다.

원인의 반 정도가 현재 분석 완료되었으나, 숨겨진 여러 문제들이 복합적으로 문제를 일으킨 것으로 보여 분석이 조금 걸릴 수 있습니다.

장애가 나야 분석이 되는데, 장애 핵심 원인이 실질적으로 3초 이내에 끝나서 분석이 쉽지 않습니다.


서버 안정성 위해 계속 작업 중입니다.

불편 끼쳐 드려서 죄송합니다.


[요약]

- 일하는 중


[경과]

2019-08-19 오전에 1초 마다 장애 원인 분석 위해 자동 모니터링 프로그램을 새롭게 구축

2019-08-19 14:33:36~15:03:09 로그에서 의심되는 락 문제가 발생

2019-08-19 15:03:45 숨겨진 다른 문제가 또 있을 가능성이 있으나, 응급 안정화 패치 적용함

2019-08-19 20:07 근본 원인을 찾은 것 같고, 서버 설정 작업 진행함


글 목록
분류 제목 글쓴이 날짜 조회 추천
11월 7일 22:10 ~ 22:35 서버 장애 및 이후 일시적인 이상 현상 복구 40 운영진시스템모니터 2019.11.08 1204 -18
11월 11일 월요일 오전 05:00 시에 네트워크 장비 교체 및 업그레이드 작업 예정입니다. 223 운영진시스템모니터 2019.11.02 22434 16
데이터베이스 장애 처리 및 업데이트 작업 진행 6 운영진시스템모니터 2019.10.19 378 -11
[복구 완료] 서버 장애 복구 완료되었습니다. 487 운영진시스템모니터 2019.10.10 35879 -764
서버 안정화 작업 진행 완료 159 운영진시스템모니터 2019.08.19 30787 50
최근 주기적으로 발생한 일시 서버 장애에 대해 대응중 170 운영진시스템모니터 2019.08.19 23869 133
서버 응급 커널 교체 작업 및 부팅 작업 완료 113 운영진시스템모니터 2019.08.10 4508 -13
서버 회선 장애 복구에 대해 공지합니다 86 첨부파일 운영진시스템모니터 2019.05.05 21982 132
[해결완료] 서버에 회선 공급하는 통신사 장애가 발생 63 운영진시스템모니터 2019.03.03 24825 156
2018년 6월 23일 새벽 3:10 부터 3:30 장애 발생했습니다. 8 첨부파일 운영진시스템모니터 2018.06.23 478 -6
일시적 서버 장애 및 관련 복구 작업 완료되었습니다. 3 운영진시스템모니터 2018.02.07 2403 8
3월 8일 오전 9:30에 서버 메인보드 교체 예정입니다. 37 운영진시스템모니터 2017.03.03 5871 28
서버 이전 후 장애 복구되었습니다. 95 첨부파일 운영진시스템모니터 2016.08.27 16000 156
새벽 4시~ 아침 11:30 까지 발생한 접속 장애 복구했습니다. 21 운영진시스템모니터 2016.05.23 4977 44
게시판 목록 페이징 이전 1 다음
/ 1