하둡 에코시스템(Hadoop EcoSystem) - 하둡 프로젝트와 생태계
이전에 작성한 글을 통해 하둡으로 대용량 데이터를 저장하고 처리할 수 있다고 말씀드렸습니다. 하지만, 아쉽게도 하둡 단 하나만을 가지고 할 수 있는 것은 거의 없습니다. 빅데이터는 수집, 정제, 적재, 분석, 시각화 등의 여러 단계를 거칩니다. 이 단계를 거치는 동안 빅데이터는 여러 가지 기술을 이용하여 처리되고, 이 기술들이 통틀어 에코시스템인 셈입니다. 즉, 하둡에서 데이터를 분석, 유지, 저장, 관리 등을 할 때 필요한 모든 것들을 의미합니다. 하둡 에코시스템(Hadoop EcoSystem) 하둡은 효율적인 데이터 처리와 분석을 위해 HDFS와 MapReduce 말고도 많은 구성요소로 포함됩니다. 여기서 HDFS와 MapReduce는 하둡의 코어 프로젝트이며, 이를 제외한 많은 구성요소인 서브 프로..
2023. 8. 21.
