절망 에서 희망 까지: 마이크로 동맹의 경 혼 168 시간

"우 리 는 다행히 이번 '천재' 를 면 했 지만 뜻밖에도 '인재' 로 우 리 를 매우 어 려 운 지경 에 처 하 게 하 였 다."2 월 27 일 에 마이크로 동맹의 창시자 인 손 타 오 용이 이 말 을 했 을 때 마이크로 헤게모니 가 회사 역사상 최대 의 위 기 를 맞 았 다.

2 월 25 일 미 동맹 은 항구 거래 소 를 통 해 2 월 23 일 19 시 이후 회사 SaaS 의 업무 생산 환경 과 데이터 가 파괴 되 었 다 는 소식 을 대외 적 으로 발표 했다. 미 동맹 은 28 일 에 모든 SaaS 업무 생산 환경 을 회복 하 였 으 나 전체 백업 데 이 터 를 되 찾 지 않 고 미 국 제품 의 백업 데 이 터 를 복원 하 였 으 며 3 월 1 일 20 시 에 야 데 이 터 를 모두 찾 았 다.

이 부분 데 이 터 를 되 찾 을 수 없다 면 마이크로 동맹의 영향 은 상상 하기 어 려 울 것 이다.2013 년 에 설립 된 마이크로 동맹의 경우 2019 년 1 월 에 홍콩 거래 소 를 통 해 2019 년 중기 재무 보고 에 따 르 면 SaaS 업무 의 수입 은 마이크로 동맹의 전체 수입 에서 33.4% 를 차 지 했 고 총 이윤 은 48.5% 를 차지 했다.

실제로 미 동맹 은 직원 들 의 오 작 동 으로 인 한 데이터 손실 이 아니 라 악의 적 으로 파 괴 된 것 이다.앞서 복수 의 업계 인사 들 은 기자 들 에 게 이런 상황 에서 이런 대규모 데 이 터 를 완벽 하 게 복구 하 는 것 은 거의 불가능 한 일 이 었 지만, 미 동맹 은 다행 이 라 고 말 했다.데 이 터 를 잃 어 버 린 것 에서 데 이 터 를 되 찾 은 것 까지 미 동맹 은 168 시간 을 경 험 했 습 니 다.

데이터 소실

2 월 23 일 오후 6 시가 넘 어 마이크로 서버 가 고장 보 고 를 내 고 검사 한 결과 모든 서버 가 서비스 에 응답 할 수 없 는 상태 에 있 었 다.이 어 기술자 가 서버 중 한 대 를 재 개 한 결과 시스템 에 있 던 모든 데이터 가 없어 진 것 으로 밝 혀 졌 다.

"이 럴 때 는 굉장히 긴 장 된 상황 입 니 다. 서버 가 대면 적 으로 고장 이 나 서 두 가지 이유 가 있 을 수 있 습 니 다. 하 나 는 침입 이 고 다른 하 나 는 고의 적 으로 파괴 되 었 습 니 다."텐 센트 클 라 우 드 센터 와 서 용 주 고객 서비스 부서 장 은 "

텐 센트 클 라 우 드 는 즉시 두 개의 업무 라인 을 배정 하여 추가 적 인 검 사 를 실시 했다. 한 라인 은 서버 팀 으로 그들 은 서버 에 대한 검 사 를 계속 하고 최종 적 으로 확 정 했 으 며 마이크로 서버 에 있 는 모든 파일 을 이미 잃 어 버 렸 다. 다른 라인 은 보안 팀 이다. 그들 은 마이크로 동맹의 기술 직원 과 합작 하여 권한 을 수 여 받 은 계 정 으로 데이터베이스 에 들 어가 서 삭제 작업 을 진행 했다.

기술 작업 을 하 는 사람들 은 가끔 씩 농담 을 하면 서 '엠 - rf / *' 라 고 말 하기 도 한다. 이것 은 리 눅 스 시스템 에서 내 린 파일 삭제 명령 이다. 시스템 과 데 이 터 를 포함 한 모든 파일 을 삭제 하고 복구 가 불가능 하 다.

마이크로 동맹 은, 바로 이런 블랙 스 완 사건 을 만 났 다.미 동맹 은 데이터 베 이 스 를 삭제 하 는 것 외 에 백업 서버 도 로그 인 할 수 없 으 며 백업 데이터 도 함께 삭 제 된 것 을 의미한다 고 소개 했다.회사 의 한 핵심 운송업 체 가 관련 업무 자 료 를 삭 제 했 기 때문이다.

데이터 복원 은 사실 매우 전문 적 인 분야 이 고 정상 적 으로 보면 모두 기업 이 주도 하고 클 라 우 드 업 체 가 협조 한다.그러나 마이크로 맹 은 그 당시 에 더 이상 방법 이 없어 텐 센트 운 에 의존 할 수 밖 에 없 었 고 텐 센트 측은 이런 상황 에 직면 했 기 때문에 자신 이 없 었 다.

"수백 T 의 데 이 터 는 백업 조차 삭 제 됐 으 며, 짧 은 시간 내 에 복구 하려 고 했 지만, 이 는 과거의 역사 에서 일어나 지 않 았 다.""몇 군데 의 데이터 복구 회 사 를 물 어 봤 더 니 모두 20% 정도 의 데 이 터 를 복구 할 수 있 으 면 좋 겠 다 고 답 했다."서 용 주 는 솔직하게 말 했다.

긴급 구조

일반적으로 데이터 회복 은 세 단계 로 나 눌 수 있다. 첫 번 째 단 계 는 손 상 된 면 을 제어 하 는 것 이다. 이것 은 데 이 터 를 되 찾 을 기회 가 있 는 서버 에 더 이상 문제 가 발생 하지 않도록 해 야 한다. 두 번 째 단 계 는 전문 소프트웨어 를 통 해 데 이 터 를 찾 는 것 이다. 세 번 째 단 계 는 회사 의 데이터 검증, 온라인 연결 등 조작 이다.

그 중에서 가장 중요 한 것 은 앞의 두 걸음 을 잘 끝내 면 데이터 도 순조롭게 찾 을 수 있다 는 것 이다.이번 마이크로 동맹의 데 이 터 를 되 찾 는 것 도 이 절차 에 따 른 것 이다.

서 용 주 는 첫 번 째 단계 로 원본 데 이 터 를 거울 로 복사 해 소스 데 이 터 를 보호 하 겠 다 고 밝 혔 다.그러나 마이크로 동맹의 상황 에 대한 분석 을 통 해 그들 은 전통 적 인 네트워크 에서 복제 하 든 하드웨어 를 복제 하 든 실효 성과 안전성 에 있어 서 만족 할 수 없다 고 생각한다.

그래서 텐 센트 클 라 우 드 팀 은 거울의 복사 단 계 를 넘 어 다른 시스템 디스크 를 기 존 서버 에 설치 하고 새 시스템 디스크 에 OS 와 데이터 복구 소프트웨어 를 추가 하여 직접 서버 를 스캐닝 하기 로 대담 한 결정 을 내 렸 다.

"조작 을 하 는 동안 많은 동료 들 이 현장 에 도착 하지 못 했 습 니 다. 우 리 는 동 영상 을 통 해 전방 의 모든 작업 을 확인 합 니 다" 라 고 회상 했다. 서 용 주 는 "모든 과정 이 매우 긴 장 했 습 니 다. 거 스 를 수 없 는 과정 이기 때문에 한 걸음 도 거 스 를 수 없 었 습 니 다" 라 고 회상 했다.

다행히 마지막 에 놀 라 움 도 없고 데이터 의 읽 기 작업 이 순조롭게 완성 되 었 으 며 다음 도전 은 데이터 추출 입 니 다.2 월 26 일 텐 센트 클 라 우 드 팀 은 첫 번 째 데 이 터 를 받 았 고 검증 을 받 은 후에 도 정상 적 인 데 이 는 그들 을 매우 흥분 하 게 만 들 었 으 며 승리 가 눈앞 에 있 음 을 느 꼈 다.그러나 이들 은 2 월 17 일 까지 의 데이터 로 이 데이터 가 완전 하 더 라 도 일주일 간 의 데이터 손실 이 있 음 을 곧 발견 했다.

모든 팀 의 마음 이 다시 바닥 으로 떨 어 졌 다.그러나 사실은 앞에서 일련의 조작 을 통 해 데이터 가 아직도 존재 한 다 는 것 을 증명 하 였 으 나 그 당시 에 찾 고 싶 은 것 은 모든 데 이 터 였 다.

그래서 텐 센트 클 라 우 드 팀 은 다시 '인양' 방안 을 제정 했다.이번 엔 데이터 회사 의 복구 방안 에 따라 디스크 의 '블록 (Block)' 을 모두 스 캔 하기 로 했다. 이와 함께 텐 센트 클 라 우 드 는 서버 OS 층 에서 데이터 인양 에 들 어 가 는 B 계획 을 세 웠 다.

"B 계획 은 예비 방안 입 니 다. 엄 청 난 시도 와 데이터 검증 이 필요 하고 시간 이 많이 걸 립 니 다.""일단 B 계획 을 채택 해 야 한다 면 마이크로 동맹의 데 이 터 는 예상 한 대로 완성 되 지 못 하고 구체 적 인 시간 도 확정 하기 어렵다."서 용 주 는

다행히 첫 번 째 서버 의 '블록 (Block)' 을 스 캔 하 는 데 성 공 했 고 데이터 경험 증 도 완전 하 게 나 와 A 계획 이 가능 하 다 는 것 을 알 수 있 습 니 다.다만, 이 를 통 해 얻 은 데이터 의 크기 는 마이크로 아 이 덴 의 핵심 데이터 보다 훨씬 작 습 니 다. 이 는 마치 깨 진 거대 한 퍼 즐 과 같 습 니 다. 전체 데 이 터 를 얻 으 려 면 연결 이 필요 합 니 다.

"데이터 가 클 수록 맞 추 는 것 도 어렵 습 니 다."그러나 다행히 마이크로 동맹의 백업 시스템 이 비교적 완전 하고 데이터 유형 도 상대 적 으로 통일 되 었 다. 마지막 으로 일련의 기술 수단 을 통 해 드디어 맞 춤 형 작업 을 완 성 했 고 마이크로 동맹의 데이터 도 성공 적 으로 찾 았 다.서 용 주 는

3 월 2 일 미 동맹 발표 에 따 르 면 2020 년 3 월 1 일 저녁 8 시 까지 텐 센트 클 라 우 드 의 협 조 를 받 아 백업 한 데 이 터 를 되 찾 았 고, 3 월 2 일 새벽 2 시 부터 오전 8 시 까지 데이터 회복 연습 을 통 해 3 월 2 일 밤 10 시 부터 3 월 3 일 오전 9 시 까지 진행 된다.

3 월 3 일 오전 에 마이크로 동맹 은 2020 년 3 월 3 일 오전 6 시 까지 회사 의 SaaS 업무 데 이 터 를 회복 했다 고 발표 했다.

경종 을 울리다

데이터 손실 로 미 동맹 피해 가 막심 하 다.2 월 25 일 공식 적 으로 데 이 터 를 잃 은 후 미 동맹 주 가 는 3 일 연속 큰 폭 으로 하락 했다. 6. 18 홍콩 달러 에서 4. 8 홍콩 달러 로 한때 20% 포인트 떨 어 졌 다.그리고 상인 에 대해 마이크로 동맹 은 1 억 5000 만 위안 의 배상 자금 을 마련 하고 현금 배상 과 유량 배상 두 가지 배상 방식 을 제공 했다.

한 정보 보안 전문가 가 기자 에 게 인위적 요인 으로 지금 은 기업 데이터 안전 문 제 를 일 으 키 는 가장 주요 한 수단 이 라 고 말 했다. 어떤 것 은 직원 들 의 잘못된 조작 으로 인해 서버 가 붕괴 되 거나 핵심 데이터 베 이 스 를 삭제 하 는 것 이다. 또한 마이크로 연맹 과 같은 악의 적 인 파 괴 는 이러한 위해 성 이 더욱 크다.

이 문제 에 대해 서 용 주 는 기자 에 게 기업 의 데이터 안전 은 어떠한 단독 전략 에 의존 하 는 것 이 아니 라 완전한 시스템 을 갖 추고 모든 부분 에 소홀 해 서 는 안 된다 고 말 했다.전통 적 인 데이터 관리 보다 클 라 우 드 에 있어 데이터 의 안전 이 더 보장 된다.

예 를 들 어 클 라 우 드 계 정 관리 권한 의 관 리 를 통 해 기업 이 계 정 에 있 는 자원 에 대한 방문 권한 을 입도 통제 할 수 있 습 니 다. 예 를 들 어 일부 서브 계 정 은 특정한 COS 저장 통 의 읽 기 권한 만 가지 도록 합 니 다. 다른 계 정 은 해당 COS 저장 대상 의 쓰기 권한 등 을 가지 고 있 습 니 다. 그러면 조작 이 불필요 하거나 불필요 한 조작 으로 인 한 데이터 손실, 분실 위험 을 크게 낮 출 수 있 습 니 다.