2.8조 파라미터.
896개 전문가 모듈.
그중 토큰 하나를 처리할 때 실제로 활성화되는 전문가는 16개.
숫자만 보면 거대한 모델이지만, 키미 K3가 주목받은 이유는 단순히 모델을 크게 만든 데 있지 않습니다.
긴 문맥을 처리하는 방식과 필요한 전문가만 선택하는 구조를 통해, 거대한 모델을 상대적으로 효율적으로 운용하도록 설계했다는 점이 핵심입니다.
그런데 이 모델에는 별도의 논란도 따라붙었습니다.
(더 보기…)2.8조 파라미터.
896개 전문가 모듈.
그중 토큰 하나를 처리할 때 실제로 활성화되는 전문가는 16개.
숫자만 보면 거대한 모델이지만, 키미 K3가 주목받은 이유는 단순히 모델을 크게 만든 데 있지 않습니다.
긴 문맥을 처리하는 방식과 필요한 전문가만 선택하는 구조를 통해, 거대한 모델을 상대적으로 효율적으로 운용하도록 설계했다는 점이 핵심입니다.
그런데 이 모델에는 별도의 논란도 따라붙었습니다.
(더 보기…)