หนึ่งในกระบวนการทำงานสำคัญของ RAG (Retrieval Augmented Generation)คือ การทำ chunking ข้อมูลที่มีขนาดใหญ่ เกินกว่า context windows ของ LLM modelให้อยู่ในขนาดที่เล็ก ๆ และ เหมาะสม ซึ่งมีวิธีการทำ chunking มากมายทั้ง fixed-size, paragraph, document เป็นต้นจากนั้นก็ทำการ embedding เพื่อช่วยให้ค้นหา หรือ retrieve ได้รวดเร็วมากขึ้นด้วยการค้นหาแบบ vector search หรือ semantic search นั่นเอง