블록체인 및 핀테크 전문기업 두나무(대표 이석우)는 자사 머신러닝팀이 연구·개발한 텍스트-SQL 변환 모델이 글로벌 AI 모델 평가 지표인 BIRD-SQL에서 글로벌 리더보드 1위를 달성했다고 25일 밝혔다.
텍스트-SQL 변환 모델은 사람의 언어를 데이터 관리 프로그래밍 언어인 SQL로 변환하는 AI 모델로, 생성형 AI의 등장 이후 큰 관심을 받고 있는 연구 분야다.
두나무 머신러닝팀이 이번에 개발한 텍스트-SQL 모델은 사용자가 자연어로 질문을 입력하면 SQL 변환이 필요한 데이터를 빠르고 정확하게 추출, 챗GPT의 성능을 한층 강화시키는 것이 특징이다.
특히 AI 모델 성능 측정 벤치마크인 BIRD-SQL(A Big Bench for Large-Scale Database Grounded Text-to-SQLs)의 글로벌 리더보드에서 정확도 점수 65.4%, 효율성 점수 71.3%를 각각 받으며 모두 1위에 올랐다. 이는 GPT-4의 정확도(54.8%)와 효율성(60.7%)을 각각 10% 이상 상회하는 수치다. 2위 모델과도 정확도 항목에서 4.7%, 효율성에서 3.6%의 높은 성능 격차를 기록했다. 처음 1위에 오른 1월 14일 이후 현재까지도 계속 선두를 지키고 있다.
이번 연구를 통해 증권플러스에서 제공하는 인공지능 대화형 서비스 ‘우디’의 자연어를 통한 종목 스크리닝 성능을 크게 향상시킬 수 있을 것으로 기대된다.
김수아 빅데이터뉴스 기자 ksa@thebigdata.co.kr
<저작권자 © 빅데이터뉴스, 무단 전재 및 재배포 금지>
