2019.08.19 14:46

포텐 최근 주기적으로 발생한 일시 서버 장애에 대해 대응중

조회 수 22367 추천 수 322 댓글 172

시스템 모니터입니다.


최근 주기적으로 일시 서버 장애가 짧게는 몇 초, 길게는 10분 발생하고 있었는데,


머피의 법칙에 따라 어제 관련 부분 때문에 일부 서버를 재시작 했더니,

핵심 모니터링 서버의 SSD 가 불량 발생하고, 다른 백업 서버 또한 하드웨어 장애가 발생했습니다.

다만 해당 고장들은 에펨코리아 일시 장애 원인이 아니며, 제가 원인을 찾는 작업을 크게 방해하고 저에게 많은 고통을 줄 뿐입니다.


기존 서버 모니터링 방식에 해당 문제 원인이 명확하게 보이지 않아,

어제 거의 잠 안 자면서 오늘 아침에 새롭게 1초 마다 관련 서버 분석하는 모니터링 툴을 새롭게 구축하고 도입했습니다.

원인의 반 정도가 현재 분석 완료되었으나, 숨겨진 여러 문제들이 복합적으로 문제를 일으킨 것으로 보여 분석이 조금 걸릴 수 있습니다.

장애가 나야 분석이 되는데, 장애 핵심 원인이 실질적으로 3초 이내에 끝나서 분석이 쉽지 않습니다.


서버 안정성 위해 계속 작업 중입니다.

불편 끼쳐 드려서 죄송합니다.


[요약]

- 일하는 중


[경과]

2019-08-19 오전에 1초 마다 장애 원인 분석 위해 자동 모니터링 프로그램을 새롭게 구축

2019-08-19 14:33:36~15:03:09 로그에서 의심되는 락 문제가 발생

2019-08-19 15:03:45 숨겨진 다른 문제가 또 있을 가능성이 있으나, 응급 안정화 패치 적용함

2019-08-19 20:07 근본 원인을 찾은 것 같고, 서버 설정 작업 진행함


글 목록
분류 제목 글쓴이 날짜 조회
알림 에펨코리아 현재 서버 인프라 및 강화 계획 323 동영상첨부파일 포텐 운영진시스템모니터 2019.08.27 53544
알림 서버 안정화 작업 진행 완료 159 포텐 운영진시스템모니터 2019.08.19 30530
알림 최근 주기적으로 발생한 일시 서버 장애에 대해 대응중 172 포텐 운영진시스템모니터 2019.08.19 22367
알림 [통계] 에펨코리아 게시판별 동시 접속자 수 134 포텐 운영진시스템모니터 2019.08.11 23492
알림 서버 응급 커널 교체 작업 및 부팅 작업 완료 114 운영진시스템모니터 2019.08.10 2800
알림 여자연예인 게시판이 새롭게 개설, 인물 게시판 수용소로 이름 변경 165 동영상첨부파일 포텐 운영진시스템모니터 2019.08.06 51540
알림 10월 기프티콘 이벤트 계획, 8월 기프티콘 이벤트 발송 완료 129 동영상첨부파일 포텐 운영진시스템모니터 2019.08.06 23142
알림 핵심 서버 응급 부팅 작업 진행 완료 152 운영진시스템모니터 2019.08.05 3430
알림 크롬 76 업데이트 및 다크 모드 관련 안내 117 첨부파일 포텐 운영진시스템모니터 2019.08.04 33489
알림 서버 부하 개선 작업 진행, 최근 사이트 업데이트 186 첨부파일 포텐 운영진시스템모니터 2019.07.29 38409
알림 게시판 인기 통계 + 사이트 최근 업데이트 203 포텐 운영진시스템모니터 2019.07.07 46332
알림 잉여력 아이콘 리마스터 테스트 적용 중입니다. 310 첨부파일 포텐 운영진시스템모니터 2019.07.07 28301
알림 7월 기프티콘 이벤트 상위 700명에게 발송하였습니다. 259 포텐 [레벨:20]독고 2019.07.01 28635
알림 TFT(롤토체스) 게시판 신설 59 첨부파일 포텐 운영진시스템모니터 2019.06.30 62905
알림 PoE 및 랑그릿사 게시판 독립 63 첨부파일 포텐 운영진시스템모니터 2019.06.24 38347
알림 주주 및 7월 기프티콘 이벤트에 대해 공지합니다. 164 포텐 운영진시스템모니터 2019.06.09 41960
알림 윈도우용 크롬 최신 75.0.3770.80 버전에서 한글 버그 179 포텐 운영진시스템모니터 2019.06.09 38766
알림 모바일 다중 파일 업로드 지원 추가, 기타 업데이트 102 첨부파일 포텐 운영진시스템모니터 2019.05.31 29116
알림 서버 및 인프라 업그레이드 예정입니다. 159 포텐 운영진시스템모니터 2019.05.25 34843
알림 "이전, 다음, 목록" 관련 단축키 변경 관련 의견 부탁드립니다. 52 첨부파일 운영진시스템모니터 2019.05.15 1546
게시판 목록 페이징 이전 1 2 3 4 5 6 7 8 9 10 다음
/ 10