본문 바로가기

분류 전체보기

 (108)
사용자 행위 분석까지 해야 개발의 완성 ~ 웹 앱 개발자의 완소 아이템 애저 애플리케이션 인사이트(Azure Application Insights)라는 툴을 들어 보셨나요? 개발자가 작성한 웹 앱을 사용자가 실제로 어떻게 쓰는지에 대한 통찰력을 제공하기 위한 분석 도구입니다. 온 프레미스 환경에서 APM이 하던 기능을 클라우드 스케일로 확대 적용한 것이라 이해하면 될 듯싶네요. 애플리케이션 인사이트가 새로운 무기(?)를 장착했습니다. 작년에 프리뷰로 공개했던 애플리케이션 인사이트를 위한 사용자 행위 분석 툴(User Behavior Analytics Tools)이 정식으로 발표되었습니다. 프리뷰 기간 동안 받은 사용자 의견을 모아 이런저런 개선을 꽤 많이 한 모양입니다. 사용자 행위 분석 툴이 더해지면서 애저 애플리케이션 인사이트가 더 쓸만해졌는데요, 관련해 주요 특징을 살..
대량에서 소량까지 ~ 클라우드로 데이터 옮기기, 눈에 보여 안심되는 확실한 데이터 마이그레이션 서비스 클라우드로 데이터를 옮길 때 모든 것을 네트워크로 전송하기 부담스러울 수 있습니다. 양이 많아서, 민감한 데이터가 있어서, 시간과 비용이 많이 들 수 있어서 등 이유도 많죠. 이런 고민까지 풀어줘야 클라우드 서비스라 할 수 있겠죠. 마이크로소프트 애저의 경우 현재 프리뷰 단계이긴 하지만 대용량 데이터와 소용량 데이터 모두 안전하게 물리적인 저장 장치를 활용해 클라우드로 옮길 수 있는 옵션을 제공합니다. 대용량 파일의 경우 애저 데이터 박스(Azure Data Box)를 이용할 수 있습니다. 다음 그림처럼 주문한 다음 박스를 받아서 데이터 옮기고, 이를 다시 보내면 됩니다. 데이터를 옮기면 256비트 AES 알고리즘으로 암호화가 되므로 데이터 유출 걱정도 없습니다. 아, 용량은 박스 하나당 100TB입니다..
불붙은 클라우드 기반 DW 성능 경쟁 - 애저가 아마존 Redshift를 앞서가나요 ~ ~ 최근 클라우드 기반 데이터웨어하우스 서비스 경쟁이 갈수록 치열해지고 있습니다. 한동안 아마존 Redshift가 주도하나 싶더니, 오라클이 최근 오라클 오토노머스 데이터웨어하우스를 공개하면서 전통적인 강자(?)의 면모를 보여 주었죠. 이 경쟁에 마이크로소프트가 '나도 있다'라는 강력한 메시지를 보내고 있습니다. 마이크로소프트가 앞세우는 것은 성능과 가성비입니다. 마이크로소프트가 제공하는 클라우드 기반 데이터웨어하우스 서비스 이름은 '애저 SQL 데이터웨어하우스(Azure SQL Data Warehouse)'입니다. 이 서비스 관련 벤치마크 결과를 마이크로소프트가 공개했는데요, 그 수치가 인상적입니다. 공정을 기하기 위해 기가옴 리서치(Gigaom Research)를 통해 벤치마크를 수행했는데요, 주요 결과..
애저 HDInsight 새소식, 아파치 스파크 2.3 지원됩니다! 스파크 기반 머신 러닝, IoT 등 활용 시나리오가 더욱 풍성 ~ 마이크로소프트가 제공하는 매니지드 기반 빅 데이터 서비스인 애저 HDInsight가 아파치 스파크 2.3.0을 공식 지원합니다. 스파크 2.3.0 버전의 주요 개선 사항은 크게 세 가지입니다. 첫 번째는 파이썬 UDF를 이용하는 데이터 엔지니어는 10배에서 최대 100배까지 빨라진 데이터 처리 속도를 경험할 수 있다는 것입니다. 이에 따라 데이터 엔지니어는 스파크 기반 머신 러닝 환경에 텐서플로우 등의 프레임워크를 통합해 운영하기 좋아졌습니다. 흔히 머신 러닝 파이프라인이라고 하죠. 다음 그림 보면 이해가 쉬울 것입니다. 스파크 기반 머신 러닝 파이프라인에 각종 프레임워크를 연결해 써도 될 만큼 데이터 처리 속도가 좋아졌습니다. 두 번째 개선 사항은 비즈니스 분석가를 위한 혜택입니다. 널리 쓰이는 컬럼 ..
애저 이벤트 허브와 서비스 버스 보안 강화를 위해 필요한 서비스 ~ IP 필터링 애저 이벤트 허브와 애저 서비스 버스를 이용 중이라면 이번에 발표된 IP 필터링 프리뷰를 꼭 한번 써보기 바랍니다. 참고로 이벤트 허브는 웹, 앱 등 모든 원천에서 데이터 스트림을 원격으로 수집해 분석하는 서비스입니다. 그리고 서비스 버스는 클라우드 기반 메시징 서비스입니다. 두 서비스의 공통점이라면 연결 접점이 많다는 것입니다. 이를 보안 측면에서 풀이하면 연결을 허용해야 할 것과 그렇지 않아야 할 것을 잘 가려내는 것이 중요합니다. 그래서 마이크로소프트에서 두 서비스를 위한 IP 필터링 기능 프리뷰를 공개했습니다. 크게 화려한 기능은 아닙니다. 룰 기반으로 특정 IP 주소에서 오는 트래픽을 허용할지 말지 정하는 기능이라 보면 됩니다. 참고로 IP 필터링 프리뷰 기능은 서비스 버스 프리미엄, 이벤트 허..
하둡 애플리케이션을 위한 가장 경제적인 선택 - 클라우드 오브젝트 스토리지에서 Data Lake 운영 하둡 커뮤니티에서 가장 경제적인 스토리지 인프라 운영 방안으로 꼽는 것은? 네, 클라우드 서비스 사업자의 오브젝트 스토리지로 데이터 레이크를 운영하는 것입니다. 관련해 하둡 커뮤니티에서 최고로 꼽는 것은 ADL(Azure Data Lake) 스토리지입니다. ADL만 해도 경쟁력이 충분한데 마이크로소프트에서 ADL Gen2 프리뷰로 제대로 된 데이터 레이크 전용 클라우드 스토리지 아키텍처를 제시해 화제입니다. 다음 자료는 호튼웍스에서 작성한 것인데요. 클라우드 스토리지 관련 선택지를 보여 줍니다. 성능과 최적화 면에서 ADL은 최고죠. 클라우드 오브젝트 스토리지를 이용할 경우 성능이 문제가 되곤 합니다. 그 이유는 하둡 파일시스템(HDFS)을 추상화하기 때문이죠. ADL Gen2는 이런 문제를 근본적으로 ..
Azure Data Factory 버전 2 발표! 마우스 드래그앤드롭으로 70개가 넘는 소스에서 데이터 수집 및 통합 다양한 데이터 원천에서 데이터를 추출하고 변환해 적재하는 ETL 작업 ~ 참 손 많이 가는 일이죠. 클라우드에서는 이게 참 쉽습니다. 애저 환경의 경우 애저 데이터 팩토리(ADF) 기능을 지원하는데요, 최근 버전 2가 공식 발표되었습니다. ADF v2에 추가된 신 기능을 보면 '와우 ~' 소리가 좀 나옵니다. 데이터 원천을 지정하고, 정한 일정에 맞춰 데이터를 추출하고 변환해 통합하는 일련의 작업들이 정말 간단합니다. 여러 데이터 원천을 대상으로 ETL 작업을 하는 데이터 파이프라인을 이렇게 쉽게 그려도 되나 싶을 정도입니다. 간단히 주요 개선 사항을 보시죠. 첫 번째는 사용자 인터페이스(UI)입니다. 새로운 UI는 정말 직관적입니다. 데이터 소스를 지정하고 데이터를 가져오기 위해 코드 한 줄 쓸 일이 ..
Azure App Service를 위한 Maven 플러그인을 이용해 자바 8과 톰캣 8.5/9 환경에 앱 배포해 보기 반가운 소식 하나 알려 드립니다. 애저 앱 서비스를 위한 Maven 플러그인이 발표되었습니다. 이제 아파치 Maven을 이용한 프로젝트 관리 범위를 애저 환경까지 간단하게 확대할 수 있습니다. 한 단계만 거치면 WAR 파일을 애저 웹 앱 환경에 배포할 수 있습니다. 애저의 리눅스에 올린 톰캣으로 자바 앱을 배포하는 예를 간단히 살펴보겠습니다. 자, 애저 앱 서비스 플러그인이 IDE와 지속적 통합/지속적 배포(CI/CD) 파이프라인에 잘 녹아들어 가는지 함께 보시죠. 몇 달 전에 리눅스 기반의 애저 웹 앱(Azure Web Apps on Linux) 환경을 위한 자바 8과 톰캣 8.5/9.0 지원에 대한 프리뷰가 발표되었습니다. 개발자가 자바 앱을 애저 환경에 손쉽게 배포하고 운영할 수 있도록 지원하기 위..

티스토리툴바