본문 바로가기
Big Data

zeppelin notebook 만들기

by csk 2015. 5. 4.

요즘 제가 쓰고있는 환경은  Spark + Zeppelin 입니다.


간단히 설명드리자면 Spark는 Hadoop의 모든 처리를 memory에서 수행하는 방식으로 높은 성능을 제공하는 빅데이터 처리 프레임워크 이구요, Zeppelin은 Spark와 잘 연동되면서  SQL을 처리할 수 있는 인터페이스를 제공하는 도구 입니다. 

둘 다 오픈소스구요, 

Zeppelin은 SQL, scala, python, java 등도 처리할 수 있는데다가 iPython notebook과 같이 interpreter(한 줄씩 입력하고 실행해 볼 수 있는) 환경을 제공합니다. 그래서 데이터 분석가가 한 환경내에서 데이터를 추출하고 처리해서 분석할 수 있게 해주죠. 


zeppelin 노트북을 만드는 방법을 간략히 설명 해보았습니다. 자료 참고하세요. :)


http://www.slideshare.net/SooKyungChoi/zeppelin-notebookss