본문 바로가기

Big Data/Hadoop5

얀(Yet Another Resource Negotiator, YARN)이란? - 하둡 맵리듀스와 얀 맵리듀스 다시보기 https://nanocoding.tistory.com/entry/%EB%A7%B5%EB%A6%AC%EB%93%80%EC%8A%A4MapReduce-%EB%9E%80-%EB%A7%B5%EB%A6%AC%EB%93%80%EC%8A%A4%EC%99%80-HDFS 맵리듀스(MapReduce) 란? - 맵리듀스와 HDFS 이전 글 https://nanocoding.tistory.com/entry/%ED%95%98%EB%91%A1-%EB%B6%84%EC%82%B0-%ED%8C%8C%EC%9D%BC-%EC%8B%9C%EC%8A%A4%ED%85%9CHadoop-Distributed-File-System-HDFS-%EC%9D%B4%EB%9E%80 하둡 분산 파일 시스템(Hadoop Distributed.. 2023. 8. 21.
하둡 에코시스템(Hadoop EcoSystem) - 하둡 프로젝트와 생태계 이전에 작성한 글을 통해 하둡으로 대용량 데이터를 저장하고 처리할 수 있다고 말씀드렸습니다. 하지만, 아쉽게도 하둡 단 하나만을 가지고 할 수 있는 것은 거의 없습니다. 빅데이터는 수집, 정제, 적재, 분석, 시각화 등의 여러 단계를 거칩니다. 이 단계를 거치는 동안 빅데이터는 여러 가지 기술을 이용하여 처리되고, 이 기술들이 통틀어 에코시스템인 셈입니다. 즉, 하둡에서 데이터를 분석, 유지, 저장, 관리 등을 할 때 필요한 모든 것들을 의미합니다. 하둡 에코시스템(Hadoop EcoSystem) 하둡은 효율적인 데이터 처리와 분석을 위해 HDFS와 MapReduce 말고도 많은 구성요소로 포함됩니다. 여기서 HDFS와 MapReduce는 하둡의 코어 프로젝트이며, 이를 제외한 많은 구성요소인 서브 프로.. 2023. 8. 21.
맵리듀스(MapReduce) 란? - 맵리듀스와 HDFS 이전 글 https://nanocoding.tistory.com/entry/%ED%95%98%EB%91%A1-%EB%B6%84%EC%82%B0-%ED%8C%8C%EC%9D%BC-%EC%8B%9C%EC%8A%A4%ED%85%9CHadoop-Distributed-File-System-HDFS-%EC%9D%B4%EB%9E%80 하둡 분산 파일 시스템(Hadoop Distributed File System, HDFS) 이란? 이전 글 https://nanocoding.tistory.com/entry/%ED%95%98%EB%91%A1Hadoop%EC%9D%B4%EB%9E%80-HDFS-MapReduce-EcoSystem-YARN-%ED%95%9C%EB%B2%88%EC%97%90-%EB%B3%B4%EA%B8%B0 .. 2023. 8. 21.
하둡 분산 파일 시스템(Hadoop Distributed File System, HDFS) 이란? 이전 글 https://nanocoding.tistory.com/entry/%ED%95%98%EB%91%A1Hadoop%EC%9D%B4%EB%9E%80-HDFS-MapReduce-EcoSystem-YARN-%ED%95%9C%EB%B2%88%EC%97%90-%EB%B3%B4%EA%B8%B0 하둡(Hadoop)이란? - HDFS, MapReduce, EcoSystem, YARN 한번에 보기 하둡은 빅데이터를 다루는 유용한 도구로서, 기존의 기술로 할 수 없었던 대량의 데이터를 처리할 수 있게 해 주었습니다. 대량의 데이터에 대한 프로세싱 확장성, 데이터 포맷과 구조에 관계없 nanocoding.tistory.com 하둡 분산 파일 시스템(Hadoop Distributed File System, HDFS) H.. 2023. 8. 21.
하둡(Hadoop) 이란? - 빅데이터와 하둡 하둡은 빅데이터를 다루는 유용한 도구로서, 기존의 기술로 할 수 없었던 대량의 데이터를 처리할 수 있게 해 주었습니다. 대량의 데이터에 대한 프로세싱 확장성, 데이터 포맷과 구조에 관계없이 데이터를 처리할 수 있게 되었습니다. 즉, 하둡의 사용으로 기존의 데이터 관리 솔루션으로 하지 못하던 대용량 데이터를 처리할 수 있게 되었고, 이러한 이유로 하둡과 빅데이터는 밀접하게 관련되어 함께 거론되거나 혹은 같이 등장하는 경우가 많아지게 되었습니다. 하둡(High-Availability Distributed Object-Oriented Platform, Hadoop) 하둡(Hadoop)은 대용량 데이터를 분산처리 할 수 있는 자바 기반의 오픈소스 프레임워크입니다. 또한, 대량의 데이터 처리를 위한 병렬 분산 처.. 2023. 2. 12.

티스토리툴바