AI 전문 예진(대표 고종현)은 한국어에 특화된 80억 매개변수 파운데이션 모델 ‘예진 8B v3’를 개발했다고 6일 밝혔다.
예진 8B v3는 해외 공개 모델의 가중치를 쓰지 않고, 토크나이저 설계부터 사전학습까지 전 과정을 직접 수행한 프롬 스크래치 모델이다. 공개 모델 6종과 가중치를 비교한 결과, 유사도가 0.0014 이하로 기존 모델을 미세조정한 파생 모델이 아니라는 설명이다.
학습에는 과학기술정보통신부와 정보통신산업진흥원(NIPA)의 ‘고성능 컴퓨팅 지원사업’으로 지원받은 엔비디아 H200 그래픽처리장치(GPU) 8장을 활용했다.
학습 데이터도 과기부와 한국지능정보사회진흥원(NIA)이 운영하는 ‘AI허브’ 공공 데이터를 포함한 약 2.7테라바이트(TB) 규모의 원천 데이터에서 중복·유해 문서를 걸러낸 뒤 총 1384억 토큰을 학습시켰다.
숫자를 따로 나눠 처리하는 '숫자 분리형' 토크나이저를 적용, 동일 한국어 법령 문서를 라마 3 등 해외 모델 대비 24~38% 적은 토큰으로 처리한다. 모델 크기도 약 15기가바이트(GB)로 공공기관 내부망 및 기업 전산실 환경에서도 구동 가능하며, 상업적 이용과 수정이 자유로운 '아파치 2.0 라이선스'로 공개됐다.
성능 지표도 확인했다. AI허브에서 시범 운영 중인 ‘K-AI 리더보드’의 300억 파라미터(30B) 이하 중소형 모델 부문에서 평균 0.366점으로 마이크로소프트의 ‘파라-7B’와 카카오의 ‘카나나-1.5-8B-인스트럭트’ 및 엔씨소프트의 ‘라마-바르코-8B-인스트럭트’ 등을 앞섰다.
현재 해당 모델은 법령·판례 데이터를 추가 학습해 대국민 무료 법령 안내 서비스 ‘젤리법령 도우미’에 탑재됐다.
예진은 기초 사전학습 데이터를 v3 대비 약 2.5배 늘린 ‘예진 8B v4’를 연내 공개 목표로 개발 중이며, 온프레미스 패키지도 차례로 공급할 계획이다.
고종현 예진 대표는 “공공 데이터와 컴퓨팅 지원을 바탕으로 만든 독자 모델을 누구나 쓸 수 있게 공개해 국내 기업과 공공기관이 외산 AI에 기대지 않고 한국어 특화 AI를 도입할 수 있도록 하겠다”고 말했다.