오랜 시간 동안 대다수의 기업들은 IT 시스템에 다양하고 많은 투자를 집중해 왔다. 초기 단순하고 반복적인 업무에 대한 자동화를 시작으로 좀 더 복잡한 업무의 효율적 처리로 변화하였으며, 이후 IT 시스템의 업무 적용 비중이 높아지면서 이에 대한 통합(예: ERP 도입 등)으로 발전해 왔다. IT System은 이제 기업의 핵심 역량이자 자원이 되었다. 뿐만 아니라 경영의사 결정의 기반이 되었다고 해도 과언이 아니다. 기업의 경영진들은 좀 더 신속하고 정확한 정보를 필요로 하고 있으며, 이를 기반으로 최적의 의사 결정이 이루어 지기를 원한다. 이러한 요구는 BI(Business Intelligence) 시스템으로 발전하였으며, 많은 기업들이 다양한 형태의 시스템을 구축하게 됐다. BI 시스템은 다양한 형태로 존재하는 각 시스템의 정보(Data)를 취합하고 이를 체계적인 형태로 제공하며 나아가 다양한 분석 기능을 제공해 주고 있다.
그러나, 이러한 BI 시스템이 성공적으로 운영되는 사례는 많지 않다. 이러한 움직임이 가장 먼저 나타났던 미국의 경우, Oracle의 조사에 따르면 BI 시스템의 성공적 구축 및 운영을 달성한 회사는 30% 미만이라고 한다. BI 시스템 Project가 성공하지 못하는 가장 큰 이유는 저 품질의 데이터이다. IT 기술을 기반으로 다양한 시스템으로부터 통계와 분석에 필요한 데이터를 수집하고 이를 체계적으로 정리하여 정확한 통계와 분석정보를 제공하는 전반적인 프로세스에는 별다른 문제가 없어 보인다. 물론 정확한 통계와 분석 요건의 사전 정의와 통합된 데이터에 대한 활용 방안의 확정 또한 BI 시스템 성공의 중요한 요건임에는 틀림없다. 그러나 그 보다 더 심각한 문제는 바로 BI 시스템을 통해 제공되는 정보의 신뢰도를 확보하기가 쉽지 않다는 것이다. 이러한 신뢰도 확보의 가장 기본적인 전제 사항은 각 시스템으로부터 제공받는 원천데이터의 품질 확보이며 또한 다수의 시스템으로부터 확보된 원천 데이터의 통합, 정제, 가공 작업의 정합성 확보이다.
통상적으로 이러한 데이터 확보 및 가공 정제 작업은 DW(Data Warehouse)로의 적재 작업 과정에서 ETL을 통하여 수행되어 왔으나 데이터의 복잡도와 양적인 증가가 이 작업의 수행에 상당한 부담을 가지게 한다. 또한 다양한 시스템들의 개선 작업 등으로 인한 원천 시스템의 변경으로 인해 잦은 ETL 변경작업을 수반하게 되며, 이러한 변경과정에서 신뢰도 확보를 위해 상당한 노력이 필요하게 된다. 이 과정을 효율적으로 수행하기 위해 필요한 것이 데이터 품질관리이다. 기존의 데이터 품질관리는 단위 업무나 제한적 영역에서 업무 규칙에 따른 데이터의 정합성, 일치성 등을 점검하는 방법으로 진행되어 왔으나 BI 시스템을 위해서는 이 보다 좀 더 체계적인 품질관리 체계가 필요하게 된다. 먼저 분석계 시스템에 활용되는 원천 시스템 데이터에 대한 전반적 파악과 관리 그리고 이들 각각에 대한 데이터 품질 진단을 통한 이슈 도출이 수행되어야 하고 이슈들을 유형별로 정리하여 이에 대한 해결 방안을 수립하는 과정을 필요로 한다.
기업들의 사례를 기반으로 볼 때 원천 시스템의 데이터 품질 이슈는 데이터 표준에 대한 준수 여부, 각 원천 시스템의 자체적 기능적 문제와 같은 근본적 해결이 필요한 영역과 데이터의 수집과 매핑, 가공 등의 과정에서 발생하는 수작업 처리상의 효율 문제와 같이 DQ 시스템의 적용을 통해 단시간에 해결 가능한 영역으로 구분될 수 있다. 따라서 이러한 이슈 영역별로 장, 단기적인 대안을 수립하여 개선하게 되면 BI 시스템의 신뢰도 제고가 가능하고 활용도가 증가되어 단순한 통계적 측면에 머물지 않고 고도화된 분석 기능 활용의 기반을 구축할 수 있다. 최근 선진 기업들의 경우 이러한 BI 시스템의 활용과 고도화를 위해 핵심 성공 요소의 하나인 데이터에 대한 관심이 증대되고 있으며, 특히 원천데이터의 품질 확보를 위한 다양한 노력들을 기울 이고 있다. 이러한 노력들은 전반적 데이터 품질에 대한 진단에서 출발하여 전반적 데이터 품질개선을 위한 전략 수립, 그리고 단기간에 이슈 해결이 가능한 DQ 시스템의 도입 등으로 진행되고 있다. 이러한 움직임 들은 향후 BI 시스템을 도입하거나 고도화를 진행하려고 하는 기업들이라면 진지하게 고려해 보아야 할 사항이다.
이 주제에 대한 여러분의 생각은 어떠신가요?
여러분의 의견을 남겨주시면 더 발전된 컨텐츠로 보답하는 바이블이 되겠습니다🎉
▶ 해당 콘텐츠는 저작권법에 의하여 보호받는 저작물로 바이블에게 저작권이 있습니다. ▶ 해당 콘텐츠는 사전 동의 없이 2차 가공 및 영리적인 이용을 금하고 있습니다.
