야후, 빅데이터 엔진 '베스파' 오픈소스로 공개

[빅데이터뉴스 한승균 기자] 야후가 빅데이터 프로세싱 엔진 ‘베스파‘를 오픈소스 기술로 공개했다.

베스파는 대규모 데이터를 실시간으로 계산하고 처리할 수 있게 도와주는 엔진이다. 베스파 기술은 야후 검색 사이트, 야후 뉴스, 야후 파이낸스, 플리커 등에 사용되고 있다.

만일, 야후 검색 결과나 추천 목록을 보여줘야 할 때 내부 시스템에서는 알맞은 아이템을 찾고, 적절한 쿼리를 연결해줘야 한다. 데이터가 너무 크고, 내부 알고리즘이 효율적이지 않다면 연산 시간이 길어진다. 이 경우 베스파를 활용할 수 있다.

존 브랫세스 베스퍼 아키텍트는 블로그에서 "하둡과 스톰은 데이터를 저장하고 처리하는 데 유용하지만 엔드 유저 단에 처리 결과값을 전달하는 데 도움이 되지 않는다"며 "장애없이 많은 데이터를 빠르게 연산할 때 베스퍼가 유용하다"고 설명했다.

한승균 기자 / 전자공학 박사