เห็นอาจารย์ชาญวิทย์ปล่อย Laya-Goish ออกมา
ซึ่งเป็น Jev-like inference engine ที่สนับสนุนทั้ง Laya และ OpenThai-SystemOne
สามารถทำงานบน CPU ได้เลย
และจะมี REST API ผ่าน HTTP server ให้ใช้งานง่าย ๆ เลย
ดังนั้นลองใช้งานเล่น ๆ กันดูหน่อย
โดยเครื่องที่ผมใช้คือ Mac M2
และต้องการ build และ run ด้วย Docker
จึงทำการ fork code จาก repository หลักมาสร้างสิ่งที่ต้องการนิดหน่อย
มีขั้นตอนดังนี้
ขั้นตอนที่ 1 ทำการ download binary ของ laya-goish ลงมาใช้งาน
ขั้นตอนที่ 2 สร้าง Dockerfile และ docker compose
ซึ่งมีขั้นตอนการทำงานดังนี้
- ทำการ download GGUF file ของ Laya
- ทำการ build image
- ทำการ run container สำหรับสร้าง HTTP server ขึ้นมาผ่าน port 8080
Dockerfile สำหรับการ build image บน arm64
และไฟล์ docker-compose.yml เพื่อ download, build และ run
ขั้นตอนที่ 3 ทำการ run ดังนี้
ขั้นตอนที่ 4 ทดสอบใช้งานผ่าน REST API
ลองใช้งานกันดูครับ
ตัวอย่างของ code และ script อยู่ที่ Github:Up1
