본문 바로가기

log3

몇 번째 이벤트에 반응했는지 확인하는 Scala 코드 예제 오늘은 Spark + Zeppelin 상에서 돌아가는 scala 코드 예제를 좀 보여드리려고 합니다. 이걸 보시면 map reduce의 개념과 로그 데이터 처리를 어떤 식으로 하는지에 대한 대략의 감을 잡으실 수 있을것 같아서요.코드가 어렵지 않습니다. 포기하지 말고 읽어보세요. :) 아래와 같이 유저별 이벤트 시간과 반응여부 데이터를 가지고 있을때, 각각의 유저별로 몇번째 이벤트에서 처음 반응(O)을 했는지 알아보려고 합니다. val test_rdd = sc.makeRDD(List( ("user1","2016-07-01 03:03:00","X") ,("user1","2016-07-01 15:15:00","O") ,("user1","2016-07-01 16:16:00","X") ,("user1","201.. 2017. 2. 12.
빅데이터를 가지고 무엇을 보나요? 이번주에는 로그 형태의 빅데이터로 주로 어떤 분석을 하고, 그렇다면 그 로그는 어떻게 설계하는게 좋은지 생각해 봤습니다. 로그형태의 빅데이터 라는게 제가 주로 경험하는 한정된 예제이긴 한데, 데이터 모델링 주제이래로 계속 다루고 있는 '인터넷 쇼핑몰' 예시에 맞기도 하고, 어느정도는 일반적이라고 생각이 돼서, 한 번 정리해보려고 해요. :) 빅데이터로 분석할때에는 쇼핑몰에서 일어나는 의미있는 모든 이벤트에 대해서 로그를 남기고 이에 대해서 분석을 하게 됩니다. 로그 예제는 앞의 글에서도 다루었듯이 이런 형태라고 가정 할께요. 사용일자:사용자아이디:행동유형:관련금액-----------------------------------------20150305 0930:chulsoo:addToCart:0201503.. 2015. 3. 13.
빅데이터란 무엇인가? 정말 오랜만에 글을 씁니다. 제가 이 블로그를 돌보지 않는 동안에도 방문자가 꾸준이 늘었더라구요. 무언가 검색해서 제 글을 읽어주신 모든 분들께 정말 감사드립니다. 그리고, 조금이나마 도움이 되었다면 좋겠다는 맘이 굴뚝같네요. 그런데, 단 한 분 정도만 글을 남겨주셔서 느낌이 어떠셨는지 알 수가 없다는 아쉬움이....쿨럭.........:-)------------------------------------------------------------------------------------------------------ 요사이는 빅데이터 관련 일을 하고 있습니다. 개인적으로 또 한번의 새로운 도전이죠. 왜그렇게 힘들게 사냐는 친구들도 물론 있지만, :) 그래도 맘이 끌리는대로 움직여 봅니다. 빅데이터!.. 2015. 2. 21.

티스토리툴바