ในการใช้งาน LLM model ต่าง ๆ นั้น จะคิดค่าใช้จ่าย และ limit ต่าง ๆ
ผ่านจำนวน token ที่ใช้งาน ทั้ง Input/Output/Cache ต่อ 1 ล้าน token เสมอ
แต่มีสิ่งหนึ่งที่น่าสนใจคือ model ใหม่ ๆ กับ tokenizer ใหม่ ๆ นั้น
จะมีจำนวน token มากขึ้น ๆ ทั้ง ๆ ที่ input ของเราคือของเดิม
โดยสิ่งที่ใช้งานคือ source code นั่นเอง
ยกตัวอย่างเช่น การนับ token ผ่าน Count Token API จาก Anthropic
พบว่า Opus 4.8/4.7 และ Fable นั้น
จะมีจำนวน token เพิ่มขึ้นมา 1.4 เท่า จาก Opus 4.6 และ Sonnet 4.6
โดยใช้ source code เหมือนกัน !!
นั่นหมายความว่า ค่าใช้จ่ายสูงขึ้นไหม ?
ยังไม่รวม output token, thinking token และ caching token นะ
เมื่อไปทดสอบผ่าน OpenAI Input Token API
จะได้จำนวน token เพียง 10,290 เท่านั้น ในตระกูล GPT 5.x
น้อยกว่ามาก ๆ
การทดลองใช้ code ของ TypeScript จากที่ GitHub
ดูแปลก ไหมนะ สำหรับ Anthropic Model !!
แต่สิ่งที่ต้องวัดเพิ่มคือ output ได้รับกลับมาว่า มันคุ้มค่าหรือไม่นั่นเอง
ต่อไปการคิดราคาอาจจะเปลี่ยนก็ได้นะ
ปล. ไว้ไปลองทดสอบกับ LLM model อื่น ๆ บ้าง
ว่ามีการนับ token อย่างไร ?
