hadoop2 맵/리듀스 (Map/Reduce) 이해하기 빅데이터를 접하기 시작하면서 자주듣게 되는 용어가 있습니다. 맵/리듀스 라는 용어인데요, MR이라고도 많이 쓰구요, 빅데이터 처리에는 늘 맵리듀스 개념이 들어가죠. 그럼, 빅데이터 처리의 기본이되는 맵리듀스란 무엇인지 자세히 알아볼께요. 일단 맵(Map) 이라는 것은 지도? 아니구요, :) 데이터를 담아두는 자료 구조 중의 하나입니다. 맵은 키와 밸류라는 두개의 값을 쌍으로 가지고 있는 형태입니다. 수학시간에 좌표를 표시할때 순서쌍이라고 하죠, (x,y) 이렇게 하던 바로 그 개념입니다. 여기서 x가 키이고, y가 밸류 즉 값인거죠. 그리고 함수 f(x) => y 도 생각나시죠? x를 알면 y를 알 수 있는 구조로 관리 됩니다. 리듀스(Reduce)는 이 맵을 정리해 나가는(줄여나가는) 방법이라고 할 수.. 2015. 3. 6. 빅데이터란 무엇인가? 정말 오랜만에 글을 씁니다. 제가 이 블로그를 돌보지 않는 동안에도 방문자가 꾸준이 늘었더라구요. 무언가 검색해서 제 글을 읽어주신 모든 분들께 정말 감사드립니다. 그리고, 조금이나마 도움이 되었다면 좋겠다는 맘이 굴뚝같네요. 그런데, 단 한 분 정도만 글을 남겨주셔서 느낌이 어떠셨는지 알 수가 없다는 아쉬움이....쿨럭.........:-)------------------------------------------------------------------------------------------------------ 요사이는 빅데이터 관련 일을 하고 있습니다. 개인적으로 또 한번의 새로운 도전이죠. 왜그렇게 힘들게 사냐는 친구들도 물론 있지만, :) 그래도 맘이 끌리는대로 움직여 봅니다. 빅데이터!.. 2015. 2. 21. 이전 1 다음
