키미 K3, 3배 싼데 성능은 어디까지 따라왔나

2.8조 파라미터.

896개 전문가 모듈.

그중 토큰 하나를 처리할 때 실제로 활성화되는 전문가는 16개.

숫자만 보면 거대한 모델이지만, 키미 K3가 주목받은 이유는 단순히 모델을 크게 만든 데 있지 않습니다.

긴 문맥을 처리하는 방식과 필요한 전문가만 선택하는 구조를 통해, 거대한 모델을 상대적으로 효율적으로 운용하도록 설계했다는 점이 핵심입니다.

그런데 이 모델에는 별도의 논란도 따라붙었습니다.

더 읽기