เปิดไปเจอเรื่องที่น่าสนใจคือ CAP principle for LLMซึ่งเห็นครั้งแรกก็นึกถึง CAP Theorem ในเรื่องของ distributed systemที่ประกอบไปด้วย Consistency, Availability และ Partition Tolerance แต่ในเอกสารชุดนี้อธิบายถึง LLM serving หรือ provider นั่นก็คือ โดยในการปรับปรุงการให้บริการต่าง ๆ ของ LLMมักจะเลือก 2 จาก 3 นั่นเอง

Read More…