เปิดไปเจอเรื่องที่น่าสนใจคือ CAP principle for LLM
ซึ่งเห็นครั้งแรกก็นึกถึง CAP Theorem ในเรื่องของ distributed system
ที่ประกอบไปด้วย Consistency, Availability และ Partition Tolerance
แต่ในเอกสารชุดนี้อธิบายถึง LLM serving หรือ provider นั่นก็คือ
- C= Context lenght
- A = Accuracy
- P = Performance หรือ cost-efficiency
โดยในการปรับปรุงการให้บริการต่าง ๆ ของ LLM
มักจะเลือก 2 จาก 3 นั่นเอง
แสดงดังรูป
สิ่งที่น่าสนใจที่เราจะพบได้มากของ LLM provider และ model ต่าง ๆ นั้น
จะ focus ไปที่ context length ให้มากขึ้น
รวมทั้ง performance หรือ cost ที่ดีขึ้นและถูกลง หรือ คุ้มค่ามากที่สุด
แต่สิ่งที่อาจจะตกลงไปคือ accuracy หรือ ความถูกต้อง
นั่นคือการเลือก C และ P มาก่อน
ส่วนเรื่องของ A ก็ไม่ได้ทิ้ง แต่ก็ทำและปรับปรุงเช่นเดียวกัน
โดยหลาย ๆ คนอาจจะเคยได้ยินเรื่อง Lost in the Middle: How Language Models Use Long Contexts
ซึ่งมันคือปัญหาที่ตามมาของ context length ที่เพิ่มมากขึ้น
ดังนั้นสามารถแก้ไข หรือ ปรับปรุงได้ด้วย context engineering นั่นเอง
จัดการข้อมูลที่จำเป็น หรือ มีประโยชน์ต่อการทำงานเท่านั้น
หรือจะทำ RAG และ fine-tuning ก็ว่ากันไป
เพื่อปรับปรุง accuracy ให้มากขึ้น
รวมทั้งยังมีการแก้ไขปัญหาด้วย Found in the Middle
เพื่อปรับปรุงเรื่องของ position encoding นั่นเอง
ลองทำการศึกษากันดูครับ
