Çin merkezli yapay zeka çalışmaları, küresel teknoloji yarışında etkisini güçlendiriyor. Alibaba tarafından desteklenen Moonshot AI, açık kaynaklı yeni bir büyük dil modeli olan Kimi K2’yi yayınladı. Model mimarisi ve ilk performans sonuçlarıyla dikkat çekiyor.
Kimi K2, 1 trilyon parametreye sahip bir Karma Uzmanlar (MoE) mimarisini kullanarak geliştirildi. Ancak her bilgi birimi (token) işleminde yalnızca yaklaşık 32 milyon parametre aktif olarak çalışıyor. Bu tasarım, modelin verimlilik ve işlem maliyetleri arasında denge kurmasını sağlıyor. Modelde, 384 uzman modülden sekizi ve bir ortak uzman, her işlemde eş zamanlı olarak devreye giriyor. 61 katmandan oluşan model, 15.5 trilyon bilgi birimi (token) büyüklüğündeki bir veri kümesiyle eğitildi.
Eğitim aşamasında, dikkat mekanizmasındaki dengesizlikleri ortadan kaldırmak için özel bir optimizasyon yöntemi olan MuonClip kullanıldı. Bu teknik, modelin dikkat ağırlıklarını daha dengeli dağıtarak performans istikrarını artırdı.
Kimi K2, aynı zamanda 128 bin bilgi birimine (token) kadar bağlam penceresi desteği sunuyor. Bu özellik, yaklaşık 192 sayfalık metni tek seferde işleyebildiği anlamına geliyor ve uzun metinlerdeki çalışmalarda avantaj sağlıyor.
Model, ücretsiz Kimi uygulaması üzerinden kullanıcılara sunuluyor. Açık kaynak kodu sayesinde geliştiriciler tarafından çeşitli projelerde kullanılabiliyor. Kullanım maliyetleri, mevcut büyük dil modellerine göre çok daha düşük seviyede tutuldu. 1 milyon giriş bilgi birimi (token) için sadece 15 sent, çıkış bilgi birimi (token) için ise 2.5 dolar ücret talep ediliyor. Örneğin, Claude modelinin 75 dolarlık çıkış bilgi birimi (token) maliyetiyle kıyaslandığında bu fiyatlar oldukça düşük.
Modelin yayınlanmasının ardından gelen ilk kullanıcı geri bildirimleri dört gün içinde çoğunlukla olumlu. Özellikle sosyal medyada yapılan değerlendirmelerde, modelin kodlama görevlerinde yüksek doğruluk sağladığı vurgulanıyor. MagicPath kurucusu Pietro Schirano, Kimi K2’nin Claude 3.5 Sonnet’ten sonra üretim aşamasına yakın olan ilk modellerden biri olduğunu belirtti.