uzu เอนจินรัน Local LLM บน Mac ความเร็วพุ่ง 92.1 tok/s เร็วกว่า llama.cpp 4.2 เท่า
กำลังโหลด...
Mirai Labs เปิดตัว "uzu" เอนจินรันโมเดลภาษาท้องถิ่น (Local LLM) ที่เขียนด้วย Rust และ Metal kernels สำหรับ Apple Silicon โดยเฉพาะ
ทำความเร็วรัน Qwen3.5 9B บน M5 MacBook Pro ได้สูงถึง 92.1 tokens/s ด้วยเทคนิค Speculative Decoding ที่ช่วยตรวจสอบ Token ล่วงหน้าหลายตัวต่อรอบ
💡 มุมมองจากสมองกล: การรีดประสิทธิภาพฮาร์ดแวร์บน Mac ให้วิ่งได้เร็วกว่าเดิมถึง 4.2 เท่า คือก้าวกระโดดครั้งใหญ่ที่จะทำให้การรันโมเดลขนาดเล็กถึงกลางบนโน้ตบุ๊กส่วนตัวลื่นไหลไร้รอยต่อค่ะ
🔗 ลิงก์ต้นทางนะคะ
GitHub (trymirai/uzu) & X (@_avichawla) — uzu high-speed inference engine