2019.08.27 12:31

포텐 에펨코리아 현재 서버 인프라 및 강화 계획

조회 수 61792 추천 수 296 댓글 323
안녕하세요, 에펨코리아의 엔지니어 업무를 맡고 있는 시스템 모니터입니다.
최근에 컨텐츠 관여를 어쩔 수 없이 여러 차례 공지를 했는데, 제 좋아하는 관심사는 오로지 IT이긴 합니다(일을 해야 하니 다른 사이트 사항도 어쩔 수 없이 관여하게 될 뿐... 관여하고 싶은 부분은 아님).

에펨코리아의 경우 
웹호스팅 → 일반 PC에 가정 회선 → 저가형 서버 호스팅 → IDC 코로케이션 → [현재] IDC 코로케이션, 클라우드 하이브리드 구조 + 독립 단독 회선을 포함한 다중 전용 네트워크 회선
으로 인프라가 발전했습니다.

대기업들은 관련 부분을 처음부터 자본으로 쉽게 고가 인프라로 구축이 쉽지만, 에펨코리아 같은 곳은 차례로 하나하나 인프라를 강화하면서 상당한 노력이 필요합니다. 자본도 문제이지만, 자본이 해결되더라도 돌아가고 있는 사이트에서 인프라를 업데이트하기 어렵습니다.

아래 글을 통해 현재의 에펨코리아 인프라를 일부 공개하며, 관련 인프라 강화 계획도 공개합니다.
1.
기본적으로 에펨코리아의 서버는 현재 100% 모두 기업용 CPU인 인텔 제온 계열을 사용합니다.
물론 지금 새롭게 구축하면 AMD 신규 Epyc2 라인업도 고려하겠지만, 한국에서 AMD는 아무리 가격이 저렴하더라도 당장 유통 및 A/S 문제가 많습니다.
제온 계열 CPU를 사용하는 장점은 듀얼 CPU 구성도 쉽게 사용 가능하고, ECC 메모리를 사용할 수 있습니다.
에펨코리아 서버는 100% 모두 자동으로 메모리 오류를 교정할 수 있는 ECC 메모리로 현재 운영되고 있습니다.
아래는 에펨코리아 현재 핵심 서버의 실제 CPU 돌아가는 모습이며, 모두 가상 코어가 아닌 물리적 실제 코어입니다(동시 접속자 많은 시기를 위해 충분한 여유폭을 둡니다):


2.
에펨코리아는 현재 파일 저장소 외에는 100% SSD 사용합니다.
처음에 자금 문제로 삼성 EVO를 사용했지만, 지금 새로 도입되는 서버는 100% 기업용 인텔이나 삼성 SSD를 사용합니다.
기업용 SSD의 장점은 단순 성능 외에도 반도체 자체가 더 품질 높아서 고장률이 적고, 또한 전력 보호 기능이 있습니다(power loss protection). SSD에 성능 때문에 일시적으로 메모리에 저장되는 데이터가 있는데, 전원을 확 뽑아버리면 기업용 SSD는 해당 메모리에 있는 데이터를 안전하게 저장할 수 있도록 임시 전력(축전기) 공급 장치가 내부에 있습니다. 해당 부분 때문에 전력 문제가 발생할 경우 기업용 SSD가 데이터 손실 방지에 절대적으로 유리합니다.

3.
파일 저장소는 현재 일반 회전하는 형태의 디스크 기반이고, 중간에 SSD로 임시 저장되어 가속화되고 있으며, 해당 SSD 부분은 다시 메모리 캐싱으로 가속화됩니다.
현재 구조는
RAID 6 회전 디스크 ⎯(캐싱)→ 캐싱 전용 SSD ⎯(캐싱)→ 캐싱 전용 메모리 ⎯(캐싱)→ OS 메모리
동시에 디스크 3개가 고장나야 데이터가 손실되는 구조이며, 실제로 에펨코리아에 과거에 여러 차례 하드가 고장난 적이 있으나 서비스 중단 없이 디스크 교체를 시행했습니다.
또한 디스크가 고장 나면 여유 디스크가 하나 비상용으로 연결되어 있어, 자동으로 데이터 복제가 즉시 일어납니다(hot spare).
전원 문제가 생길 때 데이터 소실을 방지하기 위해 해당 캐싱 전용 메모리도 임시 전력(축전기) 공급 장치가 연결되어 있습니다.
교체 예정: 파일 서버를 100% SSD 서버로 교체할 계획입니다. 추후 관련 부분으로 인해 서비스 중단이 있을 수 있습니다.

4.
에펨코리아는 현재 4개의 회선 업체와 계약해서 서비스를 운영 중입니다.
한달에 약 550,000 GB 전송하고 있으며, DVD 야동을 550,000번 정도 전송할 수 있는 양입니다.
과거에 회선 비용 문제로 몇 배 저렴한 해외 회선을 테스트해봤는데, 너무 느려서 현재 국내 사용자는 100% 국내 회선으로 가도록 해서 성능 향상을 하고 있습니다.
반면에 해외 사용자는 사이트 속도가 일정하도록 모두 해외 전용 회선에 접속되도록 경로가 국내 사용자와 다르게 가며, 해외에서 이미지나 동영상은 해외 서버에 일시 저장되는 가속화 기법을 적용하고 있습니다. 국내 커뮤니티 중에 해외에서 상당히 빠르고 잘 접속되는 사이트일 것입니다.
또한 과거에 이미 디도스(DDoS) 공격을 맞은 적이 있어, 관련 공격에 취약하지 않도록 구조를 계속 강화하고 있습니다. 과거에 https://www.fmkorea.com/1560100861 디도스 공격 이후에 여러 가지 방어 정책을 구축했습니다.

5.
에펨코리아는 사용자의 데이터 보호를 위해 보안에 상당히 신경 쓰고 있습니다.
사용자가 보내는 모든 요청은 웹방화벽(Web Application Firewall)을 통과하게 되어 있으며, 의심스러운 요청은 자동 차단됩니다.
또한 기본적으로 모든 서버는 네트워크 방화벽(Network Firewall)이 설정되어 있습니다.
에펨코리아의 모든 서버와 소프트웨어는 적극적을 보안 업데이트 패치를 적용하고 있습니다.
예를 들어 https://www.nginx.com/blog/nginx-updates-mitigate-august-2019-http-2-vulnerabilities/ 과 같은 문제에 대해서는 패치 나온 당일에 100% 모든 서버에 적용했습니다.
또한 몇 년에 걸쳐 과거에 공지한 것처럼 "에펨코리아 보안 강화" https://www.fmkorea.com/1043784091 의 여러 가지 정책을 진행했습니다.

6.
에펨코리아의 내부 네트워크 구조는 현재 1 Gbps 기반인데, 주요 일부 신규 서버는 1 Gbps 과 10 Gbps 동시에 호환되는 네트워크 카드와 케이블로 도입을 했으며, 추후 핵심 네트워크 스위치를 10 Gbps로 변경할 예정입니다.
구체적으로는 과거 서버는 흔히 사용되는 1 Gbps 랜 카드와 케이블만 사용하고 있었지만, 신규 도입되는 핵심 서버는 10BASE-T 랜 카드에 cat 7 케이블을 사용하고 있습니다.
관련 부분을 모두 연결해주는 핵심 네트워크 스위치는 아직 1 Gbps 기반이고, 추후 10 Gbps 지원되는 10BASE-T 기반으로 변경 예정입니다.
교체 예정: 핵심 네트워크 스위치를 10BASE-T 지원되는 것으로 바꿀 예정입니다. 추후 관련 부분으로 인해 서비스 중단이 있을 수 있습니다.

7.
사용자 데이터 안정성 위해 에펨코리아의 데이터베이스는 매일 전체 백업되며, 물리적으로 다른 위치에 일주일에 2번 별도로 백업됩니다.
또한, 데이터베이스 핵심 서버는 고장이 나는 경우 10초 안에 자동으로 다른 데이터베이스 서버로 복구되는 고가용성 구조로 운영되고 있습니다. 다만 핵심 서버 아닌 서버가 고장 나면 제가 그냥 수동 서비스 복구와 교체해야 합니다.
해당 고가용성 운영으로 핵심 데이터베이스 서버도 쉽게 보안 패치, 업그레이드, 부팅이 가능합니다.

8.
서부 부하 문제나 프로그램 문제를 추적하기 위해 1초당, 1분당, 5분당 서버 모니터링 도구가 여러 개 돌아가고 있습니다. 해당 부분으로 동시 접속자가 몰릴 때 오류나 접속 지연이 발생하면 원인을 추적해서 교정하고 있습니다. https://www.fmkorea.com/2104995639 에 공지한 것처럼 최근에 발생한 일시적인 서버 장애도 관련 모니터링을 통해 원인을 파악하고 성공적으로 해결했습니다.
1년 전의 서버 구조로 현재의 동시접속자가 접속했으면 즉시 다운될 것입니다. 그 동안 계속 모니터링하면서 서버 부하 문제점을 찾아서 소프트웨어, 하드웨어, 네트워크 개선을 동시에 모두 진행했습니다.

9.
빠른 관리를 위해 주요 서버는 모두 전원, 리셋, 부팅, BIOS 설정 변경, OS 설치를 원격으로 할 수 있습니다.
관련 원격 조절 구축으로 장애나 장비 업그레이드할 때 조금 더 빠르게 대응할 수 있습니다.

[요약]
- 일하고 있음
- 펨코 서버 인프라를 계속 강화하고 있음
- 미래를 생각해서 파일 서버 및 네트워크 장비 교체 계획 중이며, 그 때 일시적인 서비스 중단이 예상됨
  • [레벨:3]햇반맨 2019.08.27 13:07
    서비스중단?! 포찌 보상으로 주면 봐줌
  • [레벨:7]문어 2019.08.27 13:07
    시고모추
  • [레벨:29]빅버드 2019.08.27 13:08
    ???:나다 개새끼들아
  • [레벨:23]김뢰하 2019.08.27 13:08
    ㅇㅇ 수고했다 물론 읽지는 않았다
  • [레벨:31]첼시9번이동국 2019.08.27 13:09
    선생님 나중에 실명인증해서 하는 장터같은것도 만들어 주세여..
  • [레벨:35]후라봉봉 2019.08.27 13:09
    최다추천수 볼수있듯이 예를들어 추천수1위 메호대전 종결 2위 3위 이렇게
    최다조회수도 이렇게 볼수있게 부탁 좀..
    최다조회 도 이런기능 추가좀..
  • [레벨:2]패션패션패숑 2019.08.27 13:11
    하모랑 시고싶다..
  • [레벨:31]클종롭신해 2019.08.27 13:12
    광고 눌러드림
  • [레벨:19]라이언 2019.08.27 13:13
    시모 존나 멋잇어..
  • [레벨:4]기적의언어 2019.08.27 13:15
    묻지도않고 ㅂㅊ
  • [레벨:23]3번참으면화냄 2019.08.27 13:15
    그래서 정치글 신고 명단 공개 함??
  • [레벨:2]b_palvin 2019.08.27 13:16
    와 님 혼자일함? 진짜 개바쁠거같은데ㅋㅋㅋㅋ
  • 운영진시스템모니터 2019.08.27 13:17
    b_palvin 사이트 운영 및 개발은 저와 펨신님, 부주심님, 펨코개발님(글/댓글 활동은 안 함), 독고님 등이 한 팀으로 활동 및 도와주고 있습니다. ^^
    서버 관리는 제가 단독으로 현재 하고 있긴 합니다. ;;
  • [레벨:26]PikaPica 2019.08.27 13:18
    펨신 살려내라
  • [레벨:38]크개뢴새케끼 2019.08.27 13:20
    축구 어디팬이심
  • [레벨:27]달리는자동차. 2019.08.27 13:20
    시모는 추석때 뭐함?
  • [레벨:2]노틸러스 2019.08.27 13:20
    방출 누른 사람 목록 업데이트 계획은 없나요?
  • 운영진시스템모니터 2019.08.27 13:24
    노틸러스 비추천 공개하면 서로 찾아다니면서 스토킹하며, 분쟁이 엄청나게 증가합니다.
    일부 사용자들은 비추천한 사용자 글 및 댓글 마다 찾아가서 댓글 달고 비추천 합니다.
    또한 특정 글들의 비추천자를 전부 일베, 대깨문, 메갈 등으로 몰아가는 경향이 흔히 있습니다.

    그래서 해당 부분은 계획이 없습니다.
  • [레벨:2]노틸러스 2019.08.27 13:28
    시스템모니터 답변 감사합니다
  • [레벨:1]과전곡이 2019.08.27 13:20
    회사에서 일함 집에서 일함?
  • [레벨:1]멜란지 2019.08.27 13:22
    야동추천좀
  • [레벨:24]N.I.R.O 2019.08.28 01:32
    멜란지 불가능
  • [레벨:24]LCK 2019.08.27 13:24
    시모 이새끼 분명 어디 대기업에서 일했을거같은데
  • [레벨:23]한머리두냄새 2019.08.27 13:24
    장애 대응도 빨리 잘 되는거 같은디 apm 같은것도 쓰시나요 ㅇㅅㅇ
  • 운영진시스템모니터 2019.08.27 13:24
    한머리두냄새 넵, 요청의 일부 % 를 별도로 profiling 돌리고 1분 마다 통계 내고 있습니다.
  • [레벨:23]한머리두냄새 2019.08.27 13:26
    시스템모니터 트래픽이 많아서 샘플링 하지 않으면 모니터링 리소스도 많이 들겠네요 퍄퍄 펨코 기술 블로그좀 운영해주세요 이런 글 재밌게 잘 보고있어요
  • [레벨:17]이엘리야 2019.08.27 13:24
    시모 요즘에 볼만한 드라마 추천좀
  • [레벨:40]잉여력놀이터 2019.08.27 13:26
    멈출상황있을거면 미리공지좀 해주세요 잉토여는데 참고할수 있게...
  • 운영진시스템모니터 2019.08.27 13:28
    잉여력놀이터 위에 언급된 부분은 계획 잡히면 그렇게 하겠습니다.
    드물게 도와주는 업체의 작업 인력 시간 때문에 급하게 그냥 할 때도 있긴 합니다.
    (자체 인력이 거의 없는 펨코라서 ㅠㅠ)
  • [레벨:40]잉여력놀이터 2019.08.27 13:28
    시스템모니터 1시간전에라도 꼭좀 부탁 드립니다 연장을 하던 미리 마감을치던 조치를할수 있게요
  • 운영진시스템모니터 2019.08.27 13:29
  • [레벨:33]광복군 2019.08.27 13:27
    일하고있음 뭔데 ㅋㅋㅋㅋ
  • [레벨:22]SAD10마네 2019.08.27 13:27
    수익은 광고로 들어오는거?
  • [레벨:24]cha5s 2019.08.27 13:28
    뭐래니 얘
  • [레벨:20]롤케익빵 2019.08.27 13:29
    교체하고 남은 부품들은 어떻게 처리되는지 개인적으로 궁금합니다

    예비물품으로 보관? 아니면 전량 폐기?
  • 운영진시스템모니터 2019.08.27 13:33
    롤케익빵 일부는 중고나라에
    일부는 작업 도와준 직원에게 선물
    일부는 폐기
  • [레벨:20]롤케익빵 2019.08.27 13:33
    시스템모니터 나중에 이벤트성으로 중고나라말고 디갤 장터도 찾아와주십쇼
  • [레벨:3]댕.댕.이 2019.08.28 08:31
    시스템모니터 그 일부의 폐기가 다른사람에게 필요한거일수도 있습니다^^
  • [레벨:24]날두고가라 2019.08.27 13:30
    와 와드 와드 이런글을 쓰다니 대박
  • [레벨:18]하모칸 2019.08.27 13:31
    [삭제된 댓글입니다.]
  • 운영진시스템모니터 2019.08.27 13:33
    하모칸 아쉽게도 해당 부분은 여러 가지 이유로 현재 따로 공개하고 있지 않습니다.
  • [레벨:21]알더웨이럴트 2019.08.27 13:59
    하모칸 db갱신되었을 때 ajax기반으로 업데이트 하는 방식을 사용할거 같은데요
    F12눌러서 스크립트 한번 살펴보세요
  • [레벨:31]누해스 2019.08.27 14:00
    알더웨이럴트 아약스..?
  • [레벨:4]만튀 2019.08.27 13:34
    시모 능력자같은데 월 얼마 벌어요
  • [레벨:4]다비드질봐 2019.08.27 13:34
    포찌 나눔좀여ㅜㅜ
  • [레벨:1]여자친구예린이 2019.08.27 13:34
    댓글달려고 하면 가끔 등록버튼이 잘 안눌러지는건 폰 문제임?
  • 운영진시스템모니터 2019.08.27 13:36
    여자친구예린이 넵, 아이폰은 과거 부터 펨코 뿐만 아니라 모든 사이트에 터치 문제가 종종 발생하는 것으로 알고 있습니다.
    계속 좋아지기는 하는 듯 한데, 과거 공지 https://www.fmkorea.com/1369875283 참고
  • [레벨:1]kindguy 2019.08.27 13:37
    항상 관리자님들 응원합니다 화이팅
  • [레벨:2](엄마) 2019.08.27 13:40
    시모는 모쏠인가?
  • [레벨:9]그냥그러려니한다 2019.08.27 13:41
    야짤 따로모으시나요?
  • [레벨:9]9.마샬 2019.08.27 13:42
    역시 빠버갤 백곰갤 야동 빼돌린거 운영진이였어 ㅡㅡ
  • [레벨:1]파계승 2019.08.27 13:43
    시모님 야동 적당히 보세요
  • [레벨:33]IIIllII 2019.08.27 13:43
    사무실에 하루종일 앉아서 일하나
  • [레벨:31]개잘하는집 2019.08.27 13:44
    포 좀 주세요
  • [레벨:2]정예인 2019.08.27 13:44
    그래서 님 아이콘 정식도입은 언제합니까요
  • [레벨:33]IIIllII 2019.08.27 13:45
    궁금한거 있어요 .
    이렇게 장비도 놓고 그럼 당연히 사무실도 필요할꺼고.
    돈도 필요 하고 인력도 필요할텐데
    돈이야 뭐 광고료로 한다치고
    펨코 운영하기위해서 직원도 부리나요??
  • [레벨:24]asul 2019.08.27 13:48
    오래오래 유지 하시길..초심 잃지 마시고..
  • [레벨:18]가슴 2019.08.27 13:50
    운영을 그냥 개인으로 하는건가요? 아니면 개인이더라도 사업자를 내서 운영중이신건가요
  • [레벨:26]으아으차으배 2019.08.27 13:51
    사이트커져서 광고많이들어올텐데 돈좀만지심?
  • [레벨:21]앵그리버드2 2019.08.27 13:52
    그래서 시모는 여자친구가 있습니까? 제발...
  • [레벨:24]N.I.R.O 2019.08.28 01:33
    앵그리버드2 너빼고 다 있다는데...
  • [레벨:24]아크네스튜디오 2019.08.27 13:53
    오른쪽 아래 위로가기/아래로가기 버튼 누르다가 방출찍히는 경우 꽤 많은데 고쳐주세양 미안함 가끔
  • [레벨:24]이낙선 2019.08.27 13:53
    뭔 개소리야 ㅡㅡ
  • [레벨:16]백예린 2019.08.27 13:55
    에펨 몇년차임?
  • [레벨:2]타다기 2019.08.27 13:59
    하드웨어를 직접 구매해서 특정 장소에 설치하고 운영중이었음? idc나 클라우드/호스팅업체 안통하고? 진짜 대단하네
  • 운영진시스템모니터 2019.08.27 14:17
    타다기 위 글 참고하면
    [현재] IDC 코로케이션, 클라우드 하이브리드 구조

    하드웨어는 직접 구매하긴 합니다.
  • [레벨:22]쫄깃 2019.08.27 13:59
    사무실같은거 있음?? 재택근무임?
  • [레벨:21]알더웨이럴트 2019.08.27 14:01
    앱개발 계획은 따로 없으신가요?
  • 운영진시스템모니터 2019.08.27 14:05
    알더웨이럴트 https://play.google.com/store/apps/details?id=com.fmkorea.m.fmk 참고하시길 바랍니다.
  • [레벨:21]알더웨이럴트 2019.08.27 20:35
    시스템모니터 ios가 없어요 ㅠㅠ
  • [레벨:22]로제앓이 2019.08.27 14:01
    모바일 어플로 사진 첨부시 빠르게 누르지 않으면
    글내용이 지워지고, 사진 첨부가 취소되는 경우가 드물지 않게 발생합니다.

    이 부분 설명좀 부탁드립니다.

    한번 안되면 여러번 할때까지 계속 오류나서 승질남; ㅡ.ㅡ

    지웠다 깔아도, 껏다 켜도, 캐시 삭제해도
    그대롭니다
  • 운영진시스템모니터 2019.08.27 14:04
    로제앓이 쪽지로 답변 드립니다.
  • [레벨:3]한우사주면결혼함 2019.08.27 14:06
    댓글에 사진기능 추가 예정은 있는지?
  • 운영진시스템모니터 2019.08.27 14:09
    한우사주면결혼함 처음에는 관리 이슈, 트래픽, 속도 등을 고려하고, 중립적으로 고려하고 있는 기능이었으나,
    에펨코리아의 경우 실시간 댓글 알림이나 댓글 새로고침 등이 관련 기능으로 무거워지는 문제가 발생할 수 있고, 2절 3절... 100절 하는 분위기에 의한 관리 이슈도 있습니다.
    그래서 현재는 시행 안 하기로 결정한 부분입니다.
  • [레벨:20]펨코는역시눈팅 2019.08.27 14:06
    방화벽이나 웹방화벽 외에는 별도의 보안장비는 운영중이진않음?
    서버는 단일서버로 운영중인건가 코어가 저렇게많은거보면..
  • 운영진시스템모니터 2019.08.27 14:09
    펨코는역시눈팅 보안은 기본적으로 소스 코드 및 서버 설정이 부실하지 않게 하는 것이 중요하며,
    그 다음에 부가적으로 네트워크 방화벽 및 웹방화벽 같은 것으로 혹시 놓친 부분이 있을까 봐 운영하는 것 입니다.
    기본적으로 방화벽 하고 웹방화벽을 다 꺼도 되는 구조로 만들려고 노력은 하고 있습니다.
    그 외에 최근에 보안 검토를 위해 외부에 모의 사이트 해킹 신청했습니다.

    현재는 펨코는 단일 서버로 운영이 불가능한 부하입니다.
  • [레벨:31]AS모나코 2019.08.27 14:07
    시모님 아이콘이 대체 뭔지 모르겠으니
    설명을 해주세요
  • 운영진시스템모니터 2019.08.27 14:32
    AS모나코 귀여움의 상징인 곰이 녹색 망토를 착용하는 동시에 배경에 녹색 풀을 통해서 자연의 향기를 느낄 수 있게 하는 풀망곰 입니다.
  • [레벨:22]포도킹 2019.08.27 14:37
    시스템모니터 혼자 아이콘 좋은거 쓰네 그아이콘 저도 쓰게 해주삼
  • [레벨:31]AS모나코 2019.08.27 14:38
    시스템모니터 아무리봐도 이상해요..
    적극적인 수정 건의합니다.
    시모님은 능력자니까 충분히 가능하잖아요?
  • [레벨:6]비주얼스튜디오 2019.08.27 14:31
    시모님 에펨에 취직하고싶어요
  • [레벨:3]아즈이원 2019.08.27 14:31
    비주얼스튜디오 1년 무급으로 인턴가능?
  • [레벨:6]비주얼스튜디오 2019.08.27 14:32
    아즈이원 열정페이라......
  • [레벨:20]돌려돌려돌림판 2019.08.27 14:35
    펨코콘 만들어줘
  • 운영진시스템모니터 2019.08.27 14:40
    돌려돌려돌림판 처음에는 관리 이슈, 트래픽, 속도 등을 고려하고, 중립적으로 고려하고 있는 기능이었으나,
    에펨코리아의 경우 실시간 댓글 알림이나 댓글 새로고침 등이 관련 기능으로 무거워지는 문제가 발생할 수 있고, 2절 3절... 100절 하는 분위기에 의한 관리 이슈도 있습니다.
    그래서 현재는 시행 안 하기로 결정한 부분입니다.
  • [레벨:5]NIKE.com 2019.08.27 15:02
    시스템모니터 궁금한거 있어요
    님 월급받아요?
  • [레벨:18]츄오 2019.08.27 15:01
    펨코는 채용안합니까?
  • [레벨:27]꼴데꼴데 2019.08.27 15:15
    샤워 하루에 몇 번함?
  • [레벨:23]효종승 2019.08.27 15:27
    컴공출신이야? 자기?
  • [레벨:24]케논 2019.08.27 15:28
    이거 비추누르는 새끼들은 뭐하는 병신들이냐
  • [레벨:24]민트초코존맛 2019.08.27 15:46
    멋진 시모의 웹서버 구성내용 ㅇㄷ
  • [레벨:21]이랜드노예 2019.08.27 16:02
    이거 하고 얼마받음
  • [레벨:7]camal 2019.08.27 16:38
    "DVD 야동을 550,000번 정도 전송할 수 있는 양입니다."
  • [레벨:10]십팔색크레용 2019.08.27 17:18
    aws는 왜 안써요?
  • 운영진시스템모니터 2019.08.27 17:25
    십팔색크레용 AWS도 일부 사용하나, 비용 효율 위해 물리적 서버를 많이 사용하고 있습니다.
  • [레벨:22]아이유의고음교실 2019.08.27 17:28
    시모님 풀망이 마음에 드시나보군요
    계속 쓰시네 ;;
  • [레벨:26]롱타마 2019.08.27 18:05
    아늬 야동갤 만들어 줄 것도 아니면서 야동에 비유하네 ㅡㅡ
  • [레벨:21]최원태 2019.08.27 18:09
    야짤 삭제할때 저장하고 삭제하시나요?
  • [레벨:24]감수 2019.08.27 19:05
    열일먼디;;
  • [레벨:26]열무비빔면 2019.08.27 19:39
    당신은 알등이가 안되나요 ??

글 목록
제목 글쓴이 날짜 조회
알림 알림 시스템 실시간 강화 및 디자인 변경 225 동영상첨부파일 포텐 운영진시스템모니터 2019.10.22 22373
알림 펨코도르 100명 - 10월 기프티콘 이벤트 218 첨부파일 포텐 운영진시스템모니터 2019.10.18 38199
알림 게시판 인기 통계, 게시판 관리자 기프티콘 이벤트, 업데이트 내역 192 첨부파일 포텐 운영진시스템모니터 2019.10.01 49365
알림 PC 사이트 우측 상단 실시간 알림 업데이트 252 동영상첨부파일 포텐 운영진시스템모니터 2019.09.25 41161
알림 에펨코리아 현재 서버 인프라 및 강화 계획 323 동영상첨부파일 포텐 운영진시스템모니터 2019.08.27 61792
알림 여자연예인 게시판이 새롭게 개설, 인물 게시판 수용소로 이름 변경 166 동영상첨부파일 포텐 운영진시스템모니터 2019.08.06 60418
알림 10월 기프티콘 이벤트 계획, 8월 기프티콘 이벤트 발송 완료 132 동영상첨부파일 포텐 운영진시스템모니터 2019.08.06 26053
알림 핵심 서버 응급 부팅 작업 진행 완료 147 운영진시스템모니터 2019.08.05 4538
알림 크롬 76 업데이트 및 다크 모드 관련 안내 117 첨부파일 포텐 운영진시스템모니터 2019.08.04 37684
알림 서버 부하 개선 작업 진행, 최근 사이트 업데이트 186 첨부파일 포텐 운영진시스템모니터 2019.07.29 39752
알림 게시판 인기 통계 + 사이트 최근 업데이트 202 포텐 운영진시스템모니터 2019.07.07 52172
알림 잉여력 아이콘 리마스터 테스트 적용 중입니다. 306 첨부파일 포텐 운영진시스템모니터 2019.07.07 39490
알림 7월 기프티콘 이벤트 상위 700명에게 발송하였습니다. 259 포텐 운영진독고 2019.07.01 29997
알림 TFT(롤토체스) 게시판 신설 59 첨부파일 포텐 운영진시스템모니터 2019.06.30 69059
알림 PoE 및 랑그릿사 게시판 독립 62 첨부파일 포텐 운영진시스템모니터 2019.06.24 39071
알림 주주 및 7월 기프티콘 이벤트에 대해 공지합니다. 164 포텐 운영진시스템모니터 2019.06.09 43631
알림 윈도우용 크롬 최신 75.0.3770.80 버전에서 한글 버그 177 포텐 운영진시스템모니터 2019.06.09 41281
알림 모바일 다중 파일 업로드 지원 추가, 기타 업데이트 102 첨부파일 포텐 운영진시스템모니터 2019.05.31 30815
알림 서버 및 인프라 업그레이드 예정입니다. 158 포텐 운영진시스템모니터 2019.05.25 37249
알림 [응급 수정] IP 차단 관련 오류 및 해결 406 포텐 운영진시스템모니터 2019.05.14 22430
게시판 목록 페이징 이전 1 2 3 4 5 6 7 8 9 10 ... 다음
/ 15