เห็นว่า WasmeEdge นั้นสนับสนุน opensource LLM แล้ว (เป็นภาษา Rust)
ชื่อ project คือ LlamaEdge
ซึ่งช่วยให้ง่าย และ ทำงานรวดเร็วมาก ๆ ทั้งการ run และ fine tune mode บน local นั่นเอง
มาลองใช้งานกันดู

เริ่มที่เป้าหมายของ LlamaEdge

  • program จะมีขนาดเล็ก เป็น MB ซึ่งมีการเปรียบเทียบกับ Python และ Go ด้วยนะ
  • สนับสนุนการทำงานบน hardware ต่าง ๆ รวมทั้งเน้นเรื่องของ performance ที่สูง
  • สนับสนุน LLM model ต่าง ๆ ซึ่งดู model ได้ หรือที่ Hugging Face ก็ได้

มาลองติดตั้งและใช้งาน LLM บน local ดีกว่า

เพียงเท่านี้ก็สามารถใช้งาน Local LLM ได้แล้ว
โดยที่ยังมี API server ให้อีกด้วย มีทั้ง HTTP และ WebSocket
ซึ่งจะ compatibility กับ OpenAI API ดังนั้นการปรับเปลี่ยนจึงสะดวกยิ่งขึ้น

มาลอง Start API Server กัน

จากนั้นก็ลองเขียน code ใช้งานผ่าน openai library กัน

เพียงเท่านี้ก็ใช้งานได้แล้ว
ลองใช้งานกันดูครับ