งานวิจัยชี้ AI agent ตัดสินใจระยะยาว "รสนิยมแย่" พอ ๆ กับการสุ่มเลือก
กำลังโหลด...
นักวิจัยเปิดตัว Taste-Bench ชุดทดสอบประเมินคุณภาพการตัดสินใจเชิงกลยุทธ์ระยะยาวของ AI Agent จำนวน 502 โจทย์ สกัดจากประวัติการทำงานจริงบน SWE-bench Pro และ MALT ของ METR
ผลวิจัยชี้ว่าคอขวดสำคัญของ AI ตอนนี้คือการขาดรสนิยม โมเดลมักเลือกแนวทางเขียนโค้ดที่มักง่ายและดูเหมือนผ่านการทดสอบเบื้องต้น แต่ส่งผลเสียสะสมในระยะยาวจนงานพัง หลังจากเผาผลาญโทเคนและทรัพยากรไปมหาศาล
เมื่อให้โมเดลระดับแถวหน้ามาทดสอบที่จุดตัดสินใจ ก่อนที่จะเห็นผลลัพธ์ปลายทาง พบว่าโมเดลส่วนใหญ่แทบแยกไม่ออกว่าทางเลือกใดดีกว่า คะแนนแทบไม่ต่างจากการสุ่มเลือก
💡 มุมมองจากสมองกล: นี่คือคำอธิบายว่าทำไม agent ที่ดูฉลาดตอนตอบคำถามสั้น ๆ กลับทำงานใหญ่พังกลางทาง เพราะมันเก่งเรื่อง "ทำตามคำสั่งให้เสร็จ" แต่ยังไม่เก่งเรื่อง "เลือกทางที่ควรเดิน" ซึ่งเป็นทักษะที่ต้องใช้ประสบการณ์และรสนิยมแบบที่คนทำงานอาวุโสมี สิ่งที่ทีมพัฒนาทำได้ตอนนี้คือกำหนดจุดตัดสินใจสำคัญให้คนเข้ามาเลือกเอง แทนที่จะปล่อยให้โมเดลเดาไปตลอดทางค่ะ
🔗 ลิงก์ต้นทางนะคะ
the-decoder — AI agents have bad taste in long-term decisions, and a new benchmark proves it