Red Hat JBoss Data Virtualization

JBoss Data Virtualization 은 분산되어 있는 물리 데이터베이스를 가상으로 통합하여 최신 데이터를 실시간으로 활용할 수 있도록 환경을 구축하는 데이터 가상화 제품입니다.

즉 다수의 이기종 소스의 데이터에 액세스하여 결합, 연계하여 가상 뷰 또는 가상 데이터베이스를 만들 수 있습니다.

어떻게 하면 흩어져있는 데이터를 통합하여 비즈니스에 활용할 수 있을까?

JBoss Data Virtualization 을 도입하면 여러 데이터베이스에서 필요한 데이터를 추출하여 사용자가 요구하는 데이터 모델을 가상 뷰로 즉시 생성해서 제공합니다.

예를 들어 이기종 데이터베이스 시스템, XML 파일, 하둡 등을 단일 로컬 데이터베이스에 있는 테이블 또는 테이블 세트와 같이 보이도록 가상 뷰를 제공하여, 단일 물리적 데이터베이스처럼 엑세스할 수 있도록 줍니다.

JBoss Data Virtualization 이란?

Red Hat JDV는 업무별로 다른 시스템의 여러 DB를 논리적으로 정의하여 “가상 데이터베이스”로 하나로 보이는 데이터 통합 ​​솔루션입니다.

  • 기업 내외부의 데이터를 모델링/가상통합/리얼타임연계 해주는 런타임 환경
  • 여러 개의 데이터 소스를 조회/변경하는 표준 인터페이스 제공
  • 데이터 가상화를 통하여 데이터의 구조나 항목을 자유롭게 변환
  • 데이터를 복제하지 않고 데이터를 통합
  • 데이터 사용에 대한 감사와 접근 제어 및 통제
JBoss Data Virtualization

비즈니스와 IT 가 직면한 데이터 관리 과제

복잡하고 다양한 대량의 데이터가 다양한 애플리케이션 사일로에 분산되어있는 상황에서 데이터에 대한 활용이 점점 더 어려워지고 있습니다.

이처럼 대규모로 분산된 다양한 데이터는 비용 절감과 안정적이고 효율적인 운영이 있어서 문제점이 있습니다.

데이터소스 마다 접근하는 매커니즘이 다르고 보안 상에 데이터베이스 노출에 치명적인 문제가 있습니다.

또한 물리적인 데이터 복제를 통한 통합 방법을 사용하게 되면 중복 데이터나 불완전한 데이터로 인한 문제가 발생합니다.

데이터베이스 통합 이슈

기존 데이터 통합 방안과 가상 데이터 통합 방안 비교

지금까지 – 물리적인 DB 통합 방안

여러 물리적 시스템마다 각각의 데이터베이스가 있습니다.물리적으로 중간에 데이터베이스를 구축하고 ETL 도구 등으로 데이터를 통합합니다.

  • 물리적으로 신규 데이터베이스 구축이 필요하며 ,하나의 DB  변경에도  영향도가 높음
  • 신규 데이터베이스로 데이터 복사본을 생성하고  전송해야 함
  • 주기적으로 Batch 프로게스에 의한 데이터에 대한  업데이트를 하기 때문에 과거 데이터를 참조
  • ETL 도구에 종속적인 시스템
  • 여러 데이터베이스에 걸처 데이터에 대한 중복 발생
  • 추가적으로 데이터베이스 소프트웨어,스토리지,  ETL 도구 도입과 구축이 필요
JBoss Data Virtualization
JBoss Data Virtualization

차세대 DB 통합 방안 – 가상 데이터베이스

논리적인 형태의 데이터베이스이기 때문에 쉽게 여러 데이터 소스를 통합, 새로운 데이터 소스를 손쉽게 구축 할 수있습니다.

구축 후에도 사용자 요구에 맞게 필요한 데이터를 언제든지 통합 할 수있습니다.

  • 신규 데이터모델 추가시에도 기존 시스템에 영향 없이 손쉽게 구축
  • 물리적인 데이터 전송과 데이터 사본이 불필요
  • 실제 데이터를 저장하지 않기 때문에, 최신 데이터를 실시간으로 참조
  • 향후 연계될 데이터베이스에 대한 유연한 데이터 통합 가능
  • 데이터 가상화를 통해 데이터의 구조 및 항목을 자유롭게 변환 할 수있어 중복과 일관성없는 데이터 정리 불필요
  • 추가적으로 데이터베이스 소프트웨어,스토리지,  ETL 도구 도입과 구축이 불필요

데이터 통합 방식별 차별성

기존의 데이터 통합 방식은 실시간으로 업데이트 된 데이터를 반영하지 못하며, 구축하고 테스트하는 데 많은 시간이 소요되고, 복잡한 아키텍처로 인해 가상화, SOA 등의 새로운 기술 도입을 지연시켰습니다.

특히, 데이터를 물리적으로 이동시키는 데 필요한 데이터 저장 공간에 대한 비용이 큰 문제였습니다.

데이터 통합 방식 비교

JDV (JBoss Data Virtualization) 주요 기능

  • 풍부한 데이터 소스에 대한 연결 어댑터
  • 표준 SQL 및 오픈 API (JDBC, ODBC REST, SOAP OData) 로 접근 할 수 있는 인터페이스 제공
  • 대시 보드 빌더를 통한 통합된 데이터 시각화
  • 쿼리 최적화, 데이터 캐싱, 데이터 보안, 중복, 부하 분산
  • 데이터 통합을 위한 모델링 도구 제공

아래는 JDV 에서 제공하는 주요 커넥터 종류입니다.

이 기종 DB를 실시간으로 통합하는 데이터 가상화 솔루션 -JDV

JBoss Data Virtualization 이란?

JBoss Data Virtualization 은 분산되어 있는 물리 데이터베이스를 가상으로 통합하고 최신 데이터를 실시간으로 활용할 수 있도록 환경을 구축하는 데이터 가상화 제품입니다.

아래의 그림에서 가운데 있는 데이터 가상화 소프트웨어는 데이터의 물리적 이동없이 많은 외부 소스의 데이터에 신속하고 직접 액세스 할 수있는 데이터 추상화 계층을 제공합니다.

이 기종 DB 실시간 통합 솔루션 JDV

JBoss Data Virtualization 을 도입하면 여러 데이터베이스에서 필요한 데이터를 추출하여 사용자가 요구하는 데이터 모델을 가상 뷰로 즉시 생성해서 제공합니다.

즉 다수의 이기종 소스의 데이터에 액세스하여 결합, 연계하여 가상 뷰 또는 가상 데이터베이스를 만들 수 있습니다.

이 기종 DB를 실시간으로 통합하는 데이터 가상화 솔루션 -JDV

JDV (JBoss Data Virtualization) Use Case

  • 기업내의 정보를 통합하고 비즈니스 리더를 위한 최적화 된 대시 보드 구축
  • 빅 데이터와 정형화된 데이터를 통합한 싱글 뷰
  • 콜센터와 영업지원시스템을 위한 360° 고객 데이터 제공
  • 데이터 가상화를 통하여 데이터 전송및 변환 그리고 불필요한 일괄 처리 시스템 제거를 통한 비용 절감
  • 기업내의 데이터 서비스 기반 구축을 통한 기민성 확보
  • 기업 컴플라이언스와 데이터 보안을 위한 데이터 방화벽 구축

References & Related Links

기존의 ETL 이나 SOA 가 아닌 데이터통합의 대안이 필요할때

  • 기존에는 다른 시스템에 있는 데이터가 필요한 경우에 데이터 파일 전송이나 SOA 를 통한 연계 또는 MDM 구축 등과 같은 방법을 사용했습니다.
    이러한 방식들은 물리적으로 데이터 모델을 재구축하고, 데이터를 전송/복제해야 하기 때문에 복잡성이 높아지는 방법입니다.
  • 애플리케이션의 변화에​ 따라 데이터에 대한 제공 환경도 함께 변화해야 합니다.
    기존의 ETL (Extract/Transform/Load) 도구를 사용하여 일괄 처리하는 방식은 필요한 정보를 사용자에게 즉시 제공하는 것이 어렵습니다.
    ETL Batch는 아직 많이 사용되는 솔루션이지만 민첩성 부족, 복잡성, 비용, 데이터의 중복 등 한계가 있습니다.

기존의 ETL 이나 SOA 가 아닌 데이터통합의 대안이 필요할때

  • 기존에는 다른 시스템에 있는 데이터가 필요한 경우에 데이터 파일 전송이나 SOA 를 통한 연계 또는 MDM 구축 등과 같은 방법을 사용했습니다.
    이러한 방식들은 물리적으로 데이터 모델을 재구축하고, 데이터를 전송/복제해야 하기 때문에 복잡성이 높아지는 방법입니다.
  • 애플리케이션의 변화에​ 따라 데이터에 대한 제공 환경도 함께 변화해야 합니다.
    기존의 ETL (Extract/Transform/Load) 도구를 사용하여 일괄 처리하는 방식은 필요한 정보를 사용자에게 즉시 제공하는 것이 어렵습니다.
    ETL Batch는 아직 많이 사용되는 솔루션이지만 민첩성 부족, 복잡성, 비용, 데이터의 중복 등 한계가 있습니다.