ทาง Microsoft ปล่อย Foundry Local ออกมาให้ใช้งาน เป็น public preview version
ใช้สำหรับการ run AI model บนเครื่องของเราเอง (Local LLM)
เหมือนกับ Ollama นั่นเอง
โดยได้เตรียมเครื่องมือสำหรับการใช้งานมาให้ดังนี้
- มี REST API ให้ใช้งาน ซึ่ง compatability กับ OpenAI
- มี CLI และ SDK มาให้ใช้งาน
- ใช้ ONNX runtime สำหรับการ run model ซึ่งสามารถงานหลากหลาย hardware และ device (CPU, GPU และ NPU)
แสดงดังรูป
มาลองใช้งานกัน
ขั้นตอนแรก ทำการติดตั้งก่อน
โดยจะมี model ที่สนับสนุนคือ
- Phi
- Qwen
- Mistral
ขั้นตอนที่สอง มาลอง Download และ Run model
ขั้นตอนที่สาม ทำการเขียน code ใช้งานนิดหน่อย
ทำการ generate code ด้วยภาษา Go ดังนี้
ผลการทำงานเป็นดังนี้
เพียงเท่านี้ก็สามารถใช้งานแบบง่าย ๆ ได้แล้ว
