아파치 암바리 (2) 썸네일형 리스트형 애저 마켓플레이스 '추천 솔루션' - Azure에 올린 호튼웍스 HDP 클러스터 관리를 손쉽게 해주는 'Cloudbreak' 애저 마켓플레이스에 최근 빅 데이터 관련해 꽤 유용한 서비스가 올라왔습니다. 그 이름은 'Cloudbreak for Hortonworks Data Platform(이하 Cloudbreak)'입니다. 호튼웍스 HDP는 세계적인 기업들이 사용하는 오픈 소스 기반 빅 데이터 플랫폼인데요, 애저에서도 서비스 형태로 이용할 수 있습니다. 예전에는 직접 빅 데이터 클러스터를 구축해 운영하는 곳이 많았습니다. 하지만 최근에는 추세가 클라우드 쪽으로 바뀌고 있습니다. 클러스터를 직접 구축하고 여기에 운영체제, HDP 등 빅 데이터 관련 소프트웨어 스택을 올려 설정하는 작업이 만만치 않다 보니, 이를 클라우드에 믿고 맡기는 곳이 늘고 있는 것이죠. Cloudbreak는 애저 환경에서 HDP 클러스터 관리를 쉽게 해줍니다.. 비주얼 스튜디오 코드에서 HDInsight 클러스터로 직접 연결하는 초간단 비법 ~ 빅 데이터 관련 개발이 더 안전하고, 편리해진다 ~ 평소 손에 익은 개발 환경에서 빅 데이터를 다룬다! 이 정도 편의성이야 기본이죠. 마이크로소프트 애저는 'HDInsight Tools for VSCode'란 도구로 이 편의를 제공하죠. 비주얼 스튜디오 코드(Visual Studio Code)를 설치한 다음 애저 마켓플레이스에서 'HDInsight Tools for VSCode'를 찾아 깔면 됩니다. 윈도우 환경이 아니라 맥이나 리눅스를 개발 머신으로 쓴다면 Mono 4.2.x만 더 설치하면 됩니다. 이렇게 간단히 준비하면 비주얼 스튜디오 코드 화면에서 HDInsight 클러스터에 연결해 하이브 쿼리와 배치 작업 그리고 PySpark 작업을 할 수 있습니다. 개발자 도구에서 직접 빅 데이터 클러스터에 접근하는 것은 보안 측면에서 보면 위험할 수 있습니다... 이전 1 다음
