본문 바로가기

2017/022

몇 번째 이벤트에 반응했는지 확인하는 Scala 코드 예제 오늘은 Spark + Zeppelin 상에서 돌아가는 scala 코드 예제를 좀 보여드리려고 합니다. 이걸 보시면 map reduce의 개념과 로그 데이터 처리를 어떤 식으로 하는지에 대한 대략의 감을 잡으실 수 있을것 같아서요.코드가 어렵지 않습니다. 포기하지 말고 읽어보세요. :) 아래와 같이 유저별 이벤트 시간과 반응여부 데이터를 가지고 있을때, 각각의 유저별로 몇번째 이벤트에서 처음 반응(O)을 했는지 알아보려고 합니다. val test_rdd = sc.makeRDD(List( ("user1","2016-07-01 03:03:00","X") ,("user1","2016-07-01 15:15:00","O") ,("user1","2016-07-01 16:16:00","X") ,("user1","201.. 2017. 2. 12.
인생의 고민을 함께하는 동지를 만난 느낌... ('열한 계단'을 읽고) 올해는 100권의 책을 읽어보기로 했습니다. 보통 연 50여권의 책을 읽어온 저에게는 도전적인 목표입니다. 맘이 급해졌죠. 시간이 있을까? 시간은 있더군요! ... 주중엔 회사에 오가며 읽고, 가끔 점심시간에 혼자 샌드위치나 샐러드 먹으며 읽기도 하구요, 주말엔 읽을 책이 있으니 시간을 효율적으로 쓰게돼 두꺼운 책 한권쯤은 거뜬히 읽어내게 되더라구요. 재미있는 책이 있을까?제가 폭넓은 독서형은 아니다보니 걱정됐어요. 억지로 머리에도 안들어오는데 꾸역꾸역 읽게되거나, 반대로 목표 숫자에 눈이멀어 쉬운 소설책들만을 읽어제낄것 같기도 했어요. 그런데, 세상은 넓고 읽을 책은 많더군요! 아직도 제가 접하지 않/못 했던 많은 분야가 있고, 그 분야마다 제 수준에 맞춰서 쉽고 재미있게 쓰여진 입문서들이 있었습니다... 2017. 2. 11.