빅 데이터는 지난 몇 년 동안 각광을 받아 왔습니다.빅데이터를 분석하면 경험과 직관에 기반해 하던 일을 합리적으로 해낼 수 있을 것으로 기대되기 때문이다.빅데이터와 밀접한 관련이 있는 빅데이터와 데이터마이닝의 정의를 간단히 설명하고 빅데이터 분석이 사회에 미치는 영향을 생각해 보도록 하겠습니다.엣지 컴퓨팅과의 관계에 대해서도 언급하겠습니다.
빅데이터란 무엇일까요?
빅데이터란 무엇일까요?일반적으로 “대량으로 실시간으로 발생하는 정형 또는 비정형 데이터 또는 데이터 자체를 축적, 분석 및 처리하는 기술의 총칭”을 의미합니다.
구조화된 데이터는 전통적으로 데이터베이스에서 관리되었던 데이터, 즉 조직화된 데이터입니다.반면, 비정형 데이터는 아직 정리되지 않은 원시 데이터를 의미합니다.
빅데이터 분석 이전에는 현장의 정보를 사람이 분석하고 이를 기반으로 회사 결정을 내렸습니다.그곳에는 인간에 대한 다년간의 경험과 직관이 필요했습니다.그러나 최근에는 정보기기의 발달로 현장에서 자동으로 수집되는 데이터의 양과 종류가 가속화되면서 인간의 부담이 커져 분석에 필요한 경험과 직관이 하루아침에 얻어지는 것이 아닙니다.즉, 분석 출처의 데이터가 증가하고 있음에도 충분한 경험과 직관을 가진 사람들의 수는 감소하고 있습니다.
따라서 데이터 마이닝 기술은 데이터 분석 및 의사 결정을 지원하기 위해 개발되었습니다.데이터 마이닝은 데이터 간의 상관관계를 찾고 대용량 데이터 간의 유용한 관계를 발견하는 데 도움이 되는 기술로서 빅데이터 분석과 분리할 수 없습니다.즉, 지금까지 분석을 도출하는 데 사용되었던 인간의 직관이나 경험 등의 프로세스를 대신하여 행동하여 의사결정을 내릴 수 있도록 지원하는 기술입니다.
빅 데이터를 분석하기 위한 데이터 마이닝의 개념
빅 데이터를 분석하기 위한 데이터 마이닝에 대해 자세히 살펴보겠습니다.일반적으로 빅데이터 분석은 다음 모델 (DIKW 모델) 을 기반으로 하는 경우가 많습니다.
“데이터: 데이터”
이것이 바로 수집된 상태로 남아 있는 원시 데이터입니다.또한 구조화되지 않은 데이터이기도 합니다.일반적으로 테라바이트 단위의 페타바이트 크기입니다.
“정보: 정보”
이것은 원시 데이터의 체계적인 버전이며, 기본적으로 이 단계에서 데이터 마이닝이 도움이 될 수 있습니다.또한 구조화된 데이터이기도 합니다.
지식: 지식
정보에서 얻은 트렌드와 지식을 말합니다.최근 몇 년 동안 데이터 마이닝 도구는 인공 지능과 통계 분석을 사용하여 이 단계의 지식을 뒷받침했습니다.
“지혜: 지혜”
지식을 바탕으로 인간이 판단하는 것을 말합니다.
데이터 마이닝 도구는 데이터에서 정보를 생성할 수 있지만 정보에서 지식과 지혜를 생성하는 것은 궁극적으로 인간의 판단에 달려 있다는 점에 유의하는 것이 중요합니다.
현재 기술에서는 데이터 간의 상관관계가 필요하지만 상관관계 결과를 통해 사람이 실제 현상을 유추하는 것이 필요합니다.이런 일을 하는 것이 바로 데이터 사이언티스트라는 직업이지만 매우 어려운 직업입니다.
난이도가 높은 이유는 데이터를 분석하기 위한 지식 (통계 분석, 인공지능 등) 외에도 현재의 시장 흐름과 인간의 행동 및 심리에 대해 잘 알고 있어야 하기 때문입니다.이러한 고도로 전문화된 지식 외에도 데이터 상관 관계를 통해 현상을 추론할 수 있는 통찰력도 필요합니다.전문성과 광범위한 분야의 지식이 균형을 이루어야 하는 직업이라고 할 수 있습니다.또한 이러한 인적 자원은 하루아침에 개발할 수 없으며 인적 자원이 부족합니다.현재 빅데이터 분석 현황의 문제라고 할 수 있습니다.
반면에 기존의 인간의 경험과 직관에만 의존하는 분석은 분석을 수행하는 사람의 추측을 통해 중요한 지식과 지혜를 간과할 수 있습니다.데이터 마이닝에 의한 객관적인 빅데이터 분석을 통해 기존의 추측과 상식을 뒤엎는 지식을 얻을 수 있는 경우가 많습니다.이것이 빅 데이터 분석의 주요 장점입니다.
빅 데이터 분석을 통한 사회 영향
지금까지 언급한 것처럼 얼핏 보면 관련 없는 데이터에서 법칙을 찾을 수 있기 때문에 빅데이터 분석을 통해 경험과 직관에 의한 실패를 줄일 수 있습니다.또는 인간의 직관과 경험을 객관적으로 뒷받침할 수도 있습니다.“기저귀와 맥주”로 유명한 사례가 있는 만큼, 빅 데이터 분석 결과에서 판매 대책에 대한 상식과 추측을 뒤집은 사례도 있습니다.데이터 마이닝을 통해 새로운 지식을 추출함으로써 영업 및 마케팅 전략을 검토하는 데에도 효과적입니다.
물류 분야에서는 제품 및 상자에 IC 태그를 부착하여 데이터를 수집하고 빅데이터 분석을 수행합니다.어떤 물류 경로와 얼마나 많은 제품이 밀집되어 있는지 분석하여 물류 경로를 최적화할 수 있습니다.또한 물류 경로를 최적화하면 비용과 운송 시간이 줄어듭니다.
생산 부문에서는 제품 검사 데이터를 수집하고 추세를 분석하여 제품 품질을 개선할 수 있습니다.또한 생산 라인 주요 지점에 센서를 설치하고 수집된 택트 타임을 빅데이터로 분석하면 전체 생산 라인의 병목 현상도 감지할 수 있다.센서를 제조 장비에 설치하여 상시 모니터링할 수 있으며 데이터를 수집 및 분석하여 고장을 예측할 수 있습니다.
이처럼 빅데이터 분석을 통해 새로운 지식을 얻어 운영의 효율성과 최적화를 높일 수 있다는 것이 가장 큰 장점입니다.이는 향후 문제가 심각해질 것으로 예상되는 노동인구의 감소와 근로방식 개혁에 대응할 수 있는 강력한 수단 중 하나라고 할 수 있다.
물류 및 생산 분야에서는 대량의 데이터가 실시간으로 생성되는 경우가 많아 각 라인을 중단하고 데이터를 수집하기가 어렵습니다.따라서 회선을 멈추지 않고 실시간으로 빅데이터 분석을 수행할 경우 엣지 컴퓨팅을 통해 엣지 AI로 구현하는 것이 효과적이라고 판단된다.
빅 데이터 분석은 사회를 더 의미 있게 만듭니다
지금까지 빅데이터에 대해 간단히 설명해 드렸습니다.데이터 사이언티스트가 부족하다는 문제가 있지만 앞으로 빅데이터 분석의 필요성은 점점 더 커질 것입니다.따라서 인공 지능과 엣지 컴퓨팅의 도움으로 빅 데이터 분석 기술은 계속 발전할 것입니다.그리고 그것은 사회를 조금씩 변화시킬 것입니다.인류에게 의미 있는 변화가 될 것으로 기대됩니다.
