labelOnDeviceAI(1 บทความ)

โมเดลใหญ่บนแล็ปท็อป! Edge0 เปิดน้ำหนัก Edge0-145B รันบนเครื่องส่วนตัวใช้แรม 29GB

Edge0 เปิดน้ำหนักโมเดล Edge0-145B ใช้ Latent Sparse MoE เปิดแค่ 10 experts ต่อโทเคน รันบนแล็ปท็อปด้วยแรม 29GB เร็วเกิน 80 โทเคน/วินาที