스케일아웃 솔루션, 어떻게 선택할까?
2015-08-24 박현선 기자
스케일아웃 솔루션 포인트 ①로드밸런싱
용량에 비례하여 성능도 업그레이드 되는 것이 스케일아웃 스토리지의 장점이지만 파일 공유 환경의 특성상 사용자가 다수 늘어날 경우 성능 저하가 일어날 수 있다. 데이터 용량의 증가가 아닌 사용자 증가로 인한 성능 저하다.
용량과 성능이 비례한다는 점이 스케일아웃 스토리지의 장점이지만 성능을 담보하기 위해 용량을 늘리는 것은 제한된 해결책이다. 데이터 용량이 늘어난 것이 아니라 사용자 폭주로 성능이 저하될 경우에는 스토리지 용량(노드) 증설은 적절하지 않다. 사용자 폭주는 특정 이슈나 기간에 좌우될 수 있기 때문이다.
퀀텀코리아는 “스케일아웃 스토리지 솔루션은 클러스터링과 로드밸런싱 기술이 핵심으로, 사용자 관점에서 성능이 저하되지 않는 게 중요하다”고 지적한다. 퀀텀은 자사 제품에 대해 ‘워크플로 기반의 스케일아웃 솔루션’이라고 주장하는데 ‘퀀텀 스토어넥스트’와 같은 네트워크 성능 가속 솔루션을 사용해 사용자 폭주에 대처하기 때문이다.
퀀텀 스토어넥스트는 사용자 폭주 시 접속 범위와 네트워크 성능을 증가시켜 개별 사용자들에 신속한 액세스를 제공한다. 영상 미디어 제작 및 서비스 기업들은 스토리지 용량을 적정선에서 유지하면서도 사용자들에겐 쾌적한 작업 혹은 시청 환경을 보장할 수 있다.
이는 경쟁사보다 스토리지 디스크를 덜 늘리면서도 사용자 체감 속도를 올리는 효과가 있다. 이러한 기능은 국내 방송사 스케일아웃 스토리지 시장을 퀀텀코리아가 다수 장악하고 있는 이유이기도 하다.
한국EMC 관계자는 “24시간, 365일 무중단으로 시스템이 운영돼야 하는 미디어 특성을 반영하여 특정 노드에 장애가 발생하더라도 다른 노드를 통해 파일을 안전하게 복구 및 조회할 수 있도록 데이터가 모든 노드에 걸쳐 고르게 분산, 저장되어 있어야 한다”고 지적했다.
또 클러스터링 기술은 스케일아웃 스토리지 솔루션을 선택하는 변별점이 될 수 있다. 예를 들어 각 노드가 최소 20TB 가용 용량을 가지며 2만 IOPS를 제공한다면, 20개 노드의 클러스터는 이론적으로는 400TB와 40만 IOPS를 제공한다. 스케일아웃 스토리지의 클러스터 소프트웨어가 얼마나 많은 노드를 다룰 수 있는지 결정한다. 8대의 노드로 한정된 중소기업용 솔루션부터 수십 혹은 수백 노드까지 다루는 솔루션이 있다. 수백 노드로 확장 가능할 경우 수 페타바이트와 수백만 IOPS를 처리할 수 있다.
스케일아웃 스토리지가 통합 파일 서비스 스토리지 환경을 제공한다는 점에서 각 벤더의 파일 시스템 역시 솔루션 선택 포인트가 된다. 관리 가능한 파일 숫자와 속도를 결정하기 때문이다.
스케일아웃 스토리지가 이론상으로는 수백 노드, 페타바이트급 확장이 가능하더라도 파일 시스템이 관리할 수 있는 파일 개수는 수백만개 이내로 제한된다. 선택하려는 스케일아웃 스토리지 솔루션이 얼마나 많은 파일들을 관리할 수 있는지도 살펴야 한다. EMC 아이실론, 넷앱 FAS가 이 부분에서는 명성을 얻고 있다. 퀀텀 스토어넥스트 파일시스템의 경우 최대 수십억개의 파일을 단일 파일시스템으로 관리할 수 있는 글로벌 네임스페이스를 제공하며, 데이터의 타입이나 성능 목적에 따라 다수의 파일시스템으로 나누어 사용하거나 디렉토리로 구분하여 사용할 수 있는 어피니티(Affinity. 밀접성) 기능을 제공한다.
또 파일 시스템은 파일 데이터를 불러오는 속도에도 영향을 미친다. 파일 시스템은 파일 위치, 보안, 읽기/쓰기 잠금, 정보 탐색(디렉토리의 콘텐츠 리스트업)를 추적하고 관리하기 위해 라이브 메타데이터를 요구한다. 대용량 파일 데이터 환경에서 파일과 메타데이터 숫자가 늘어날수록, 파일명이 길어질수록, 디렉토리 구조가 깊어질수록 해당 파일을 찾기 위해 메타데이터를 검색하는 시간이 길어진다.
한국EMC의 아이실론은 단일 파일 시스템과 단일 볼륨 매니저로 50PB 이상 확장 가능하다. 빅데이터 처리에 효과적인 380만 IOPS와 함께 인사이트IQ, 스마트풀, 싱크IQ 등 데이터 계층화와 중복 제거, 프로비저닝, 백업 복제 등 각종 데이터 관리와 보호를 위한 다수의 소프트웨어를 함께 지원하는 것도 눈에 띈다.
퀀텀코리아의 스토어넥스트 파일 시스템은 경쟁사 대비 2~3배 빠른 튜닝 프로토콜을 자랑한다. 또 고속의 메타데이터 검색을 위해 어플라이언스를 별도 제공하고 있다. 퀀텀 스토어넥스트 프로 워크그룹은 메타데이터 어플라이언스(스토어넥스트 M662XL)와 고성능 스토리지 어레이(스토어넥스트 QX-1200)로 구성된다. 스토어넥스트 스토리지 매니저(StorNext Storage Manager)를 활용하여 콘텐트를 작업 단계에 따라 2차 스토리지로 자동 아카이빙하는 기능도 제공한다.
한국넷앱은 자사 스케일아웃 솔루션이 △WAFL(Write Anywhere File Layout) 기술로 데이터의 쓰기 성능을 최적화 시키는 파일시스템을 이용하고 ‘플래시캐시(flashcache)’ 기술로 액세스 빈도가 많은 데이터와 메타데이터를 플래시에 상주시켜 빠른 데이터 처리를 제공한다고 설명한다. 또 각 노드별 데이터 정보를 실시간 공유하면서 일부 노드의 I/O 증가로 인한 성능 이슈를 감지할 경우 바로 로드밸런싱을 수행하고 노드 장애 발생 시 온라인 서비스를 유지시켜준다고 전했다.
스케일아웃 스토리지가 파일 서비스 환경을 거의 용량 제한 없이 구현할 수 있다는 점에서 NAS 환경에서 각광 받고 있지만 그렇다고 해서 스케일아웃 스토리지가 NAS 전용인 것은 아니다. 클라우드 환경과 엔터프라이즈 애플리케이션을 위한 스토리지로서도 스케일아웃 스토리지를 대안으로 검토해야 한다는 목소리가 높다.
왜 스케일아웃 스토리지가 클라우드와 엔터프라이즈 애플리케이션에 보다 좋은 솔루션일까. 답은 간단하다. 미래 예측 불투명성에 대응할 수 있는 솔루션이기 때문이다.
기업 IT책임자들에겐 혼란의 시기가 계속되고 있다. 가상화, 클라우드가 기업 데이터센터 아키텍처 재구성의 불을 지폈다면 소프트웨어 정의 데이터센터, 소프트웨어 정의 스토리지가 뜨겁게 달구고 있다. 인메모리 데이터베이스, 플래시 스토리지 등 신기술들이 급부상하면서 스토리지 선택을 재고해야 하는 상황이 왔다.
기업 IT책임자들은 현재 스토리지 퍼포먼스를 심사숙고해야 한다. 엔터프라이즈 애플리케이션과 멀티터넌트 클라우드에서 요구되는 스토리지는 공유 자원에 대한 24×7 액세스를 요구한다. 백업, 복제, 유지보수 등 백엔드 업무를 위해 스토리지 가동을 중단한다는 것은 이제 허용되지 않는다. 계획된 셧다운 마저도 용인되지 않는 시대다.
이제 이러한 모든 백엔드 관리 작업은 기업 내외부 엔드유저와 애플리케이션에 대한 데이터 서비스를 제공하는 중에 이뤄져야 한다. 특히 최근의 비즈니스 환경은 기업의 시스템이 내부 직원은 물론 외부 고객에 대한 무중단 서비스를 제공하도록 압력받고 있다. 워크로드 통제와 예측이 불가능한 환경이라는 것이다.
이 때문에 내부 엔터프라이즈 애플리케이션용 스토리지로서 스케일아웃 스토리지를 검토하는 추세다. 또 ‘스케일아웃’은 클라우드 솔루션의 공통 분모라고 할 수 있다.
박현선기자 hspark@etnews.com
-> [스케일아웃스토리지⑤]로 이어짐