หลังจากที่ ThaiLLM เปิดตัวออกมาให้ใช้งาน
ซึ่งได้เตรียมชุดของ API และ model ต่าง ๆ ให้ใช้งาน
โดยเป็น model ที่ถูก fine tuning ด้วยข้อมูลภาษาไทย ประกอบไปด้วย
- OpenThaiGPT-ThaiLLM-8B-Instruct-v7.2 (Research Preview)
- Pathumma-ThaiLLM-qwen3-8b-think-3.0.0
- Typhoon-S-ThaiLLM-8B-Instruct (Research Preview)
- THaLLE-0.2-ThaiLLM-8B-fa
สามารถ chat ผ่าน web ได้เลย
รวมทั้งยังไม่ API ให้ใช้งาน
ทำให้เรานำไป integrate กับ AI Agent ต่าง ๆ ได้ง่ายขึ้น
แต่ดันไม่ compatible กับ OpenAI API ตรงนี้เสียดายจริง ๆ
สามารถใช้งานได้ 5 request ต่อ วินาที
หรือ 200 request ต่อ นาที
แต่เราก็แก้ไขง่าย ๆ ด้วยการใช้งานผ่าน LLM Proxy นั่นเอง
ยกตัวอย่างเช่น LiteLLM เป็นต้น
ตัวอย่างการ config LiteLLM
จากนั้นทำการ start แล้วใช้งานผ่าน LiteLLM Proxy API
ได้ผลการทำงานดังนี้
จากนั้นให้ AI Agent เรียกใช้งานผ่าน Lite LLM
ที่ compatible กับ OpenAI API ได้เลย
