매우 중요 AI·응용소프트웨어 21世纪经济报道

텐센트의 최신 언어 모델 Hy3 preview 토큰 호출량 1위

전문가 해설

5월 7일, 세계 최대 API 통합 플랫폼 OpenRouter가 발표한 주간 순위에 따르면, 텐센트의 최신 언어 모델인 Hy3 preview의 Token 호출량과 시장 점유율이 모두 1위를 차지했습니다. 텐센트는 이 새로운 모델이 출시된 지 2주 만에 이전 세대의 Hy2 호출량이 10배를 넘어섰으며, 자사 CodeBuddy, WorkBuddy 등 스마트 기기 애플리케이션에서의 토큰 호출량은 16.5배 증가했다고 밝혔습니다. 같은 날 텐센트 주가는 3% 이상 급등했습니다.
4월 23일, 텐센트는 하이브리드 Hy3 preview 모델을 공개하며 이를 "믹스 재구성 후 훈련된 첫 번째 모델"이자 지금까지 가장 스마트한 모델이라고 언급했습니다. 이 모델은 빠른 사고와 느린 사고가 융합된 MoE(혼합 전문가) 아키텍처를 사용하며, 총 매개변수 수는 295B, 활성화된 매개변수 수는 21B, 최대 256K 컨텍스트 길이를 지원합니다.
야오순위는 텐센트 'CEO/총재실'의 수석 AI 과학자로 취임한 후, 혼원 대모델의 중대한 업데이트를 추진했습니다. 그는 여러 제품과의 공동 디자인(co-design)이 유일한 경로임을 강조하며, 텐센트가 최고의 제품 생태계와 팀 문화를 보유하고 있다고 밝혔습니다. 이전에 텐센트는 야오순위를 OpenAI에서 영입하여 기술 대기업 간의 치열한 AI 경쟁에서 우위를 점하고자 했습니다.
야오순위는 출근 후 회사의 AI 발전 전략을 개혁하는 데 전념했으며, 여기에는 내부 장벽을 허물고 지도부를 간소화하며 모델 작업을 통합하는 것이 포함됩니다. 또한 1월 말에 Hy3 모델 훈련 작업을 시작했습니다. 텐센트는 AI Infra 부서, AI Data 부서 및 데이터 컴퓨팅 플랫폼 부서를 새로 설립하여 대규모 모델의 연구 개발 체계와 핵심 역량을 강화했습니다.
혼원 팀은 실용성을 추구하는 원칙을 확립하고, 더 이상 '차트 조작'에 집착하지 않으며, 복잡한 비즈니스 시나리오의 적합성과 실제 실행 효율성에 대한 평가로 전환했습니다. 연구 개발 팀은 산업 등급 시나리오에서 모델의 실제 가용성을 평가하고, 제품 측의 실제 사용 데이터를 통해 모델 반복을 역방향으로 구동하기 위해 50개 이상의 맞춤형 테스트 벤치마크(Benchmarks)를 구축했습니다.

💡 MoE(혼합전문가)는 다양한 작업에 적합한 여러 전문 모델을 하나의 시스템 내에서 효율적으로 공유하고 활용하는 기술로, 텐서플로우나 파이토치와 같은 딥러닝 프레임워크에서도 지원됩니다.