2018.02.07 19:52

일시적 서버 장애 및 관련 복구 작업 완료되었습니다.

조회 수 2556 추천 수 8 댓글 3

시스템 모니터입니다.


최근 24시간 동안 발생된 2번의 긴 일시 점검 및 장애에 대해 유저들에게 불편 끼쳐 드려서 죄송합니다.


2월 6일 17:00시 근처에 메모리 오류가 발생하면서 데이터베이스 서버의 데이터가 깨지는 오류가 발생했습니다.

그로 인해 이중화된 하위 데이터베이스 까지 문제가 생겼고,

응급으로 복구 조치를 위해 약 2시간 동안 임시 점검하면서 복구 작업 진행하고, 신규 글 및 댓글에 대한 검색 서비스 등은 꺼 놓고 정상적인 최소한의 서비스에 필요한 요건으로 오후 18:50시에 서비스를 다시 오픈 했습니다.


그러나 하위의 이중화 데이터베이스는 여전히 깨져서, 2월 7일 새벽 04:05시 부터 약 새벽 05:30 까지 임시 점검을 해서 하위 데이터베이스 동기화 작업을 성공적으로 마치고 신규 글 및 댓글에 대한 검색 포함한 모든 서비스를 다시 오픈 했습니다.


과거에도 유사한 데이터베이스 문제로 서비스 점검이 더 길게 있던 적이 있었는데,

추후 관련 부분을 예방하기 위해 지금 처럼 이중화 서비스 및 백업을 지속적으로 하고,

유사 문제에 의한 피해를 미래에는 장애 시간을 줄이기 위해, 이중화 뿐만 아니라 서비스 장애에는 이중화 데이터베이스로 자동 복구가 가능하도록 고급 기법들을 적용할 예정입니다.


유저들에게 더 안정적인 서비스를 제공하도록 노력하겠습니다.

감사합니다.


글 목록
제목 글쓴이 날짜 조회 추천
11월 7일 22:10 ~ 22:35 서버 장애 및 이후 일시적인 이상 현상 복구 40 운영진시스템모니터 2019.11.08 1680 -18
11월 11일 월요일 오전 05:00 시에 네트워크 장비 교체 및 업그레이드 작업 예정입니다. 221 운영진시스템모니터 2019.11.02 22900 16
데이터베이스 장애 처리 및 업데이트 작업 진행 6 운영진시스템모니터 2019.10.19 442 -11
[복구 완료] 서버 장애 복구 완료되었습니다. 483 운영진시스템모니터 2019.10.10 36355 -764
서버 안정화 작업 진행 완료 158 운영진시스템모니터 2019.08.19 31166 50
최근 주기적으로 발생한 일시 서버 장애에 대해 대응중 169 운영진시스템모니터 2019.08.19 24369 133
서버 응급 커널 교체 작업 및 부팅 작업 완료 113 운영진시스템모니터 2019.08.10 4601 -13
서버 회선 장애 복구에 대해 공지합니다 86 첨부파일 운영진시스템모니터 2019.05.05 23081 132
[해결완료] 서버에 회선 공급하는 통신사 장애가 발생 63 운영진시스템모니터 2019.03.03 25226 156
2018년 6월 23일 새벽 3:10 부터 3:30 장애 발생했습니다. 8 첨부파일 운영진시스템모니터 2018.06.23 1034 -6
일시적 서버 장애 및 관련 복구 작업 완료되었습니다. 3 운영진시스템모니터 2018.02.07 2556 8
3월 8일 오전 9:30에 서버 메인보드 교체 예정입니다. 37 운영진시스템모니터 2017.03.03 6854 28
서버 이전 후 장애 복구되었습니다. 95 첨부파일 운영진시스템모니터 2016.08.27 17164 156
새벽 4시~ 아침 11:30 까지 발생한 접속 장애 복구했습니다. 21 운영진시스템모니터 2016.05.23 5416 44
게시판 목록 페이징 이전 1 다음
/ 1