ทาง Google Chrome ได้ปล่อย Build-in AI API ออกมาให้ลองใช้งาน
ซึ่งมาพร้อมกับ Google Chrome Canary นั่นเอง
โดยจะมี API ต่าง ๆ ดังนี้

  • Prompt API
  • Summarize API
  • Writer API
  • Rewrite API
  • Translate API

ในการทำงานจะใช้งาน Gemini Namo model
ที่สร้างมาสำหรับ device ขนาดเล็ก และ บน browser แสดงดังรูป

จากรูปจะเห็นได้ว่าทำการ download model = Gemini Nano มาลงใน browser กันไปเลย
เป้าหมายเพื่อ

  • ช่วยให้นักพัฒนาง่ายต่อการพัฒนา ลดการใช้งาน resource ต่าง ๆ ลงไป
  • สามารถใช้ได้ทั้ง GPU, NPU หรือกลับมาทำงานบน CPU ก็ได้ ตามแต่ละเครื่อง
  • มีการทำงานแบบ local ดังนั้นเรื่องของ data privacy จึงลดลงไป
  • รวมทั้งใช้งานแบบ offline ได้อีกด้วย

การใช้งานก็ไม่ยากมากนัก

เริ่มด้วยการ Download Google Chrome Canary

จากนั้นทำการ enable ดังนี้

  • ไปที่ Chrome จากนั้นเข้าไปที่ chrome://flags/#optimization-guide-on-device-model
  • ทำการเปิด Enabled BypassPerfRequirement
  • จากนั้นทำการเปิดใช้งาน API ต่าง ๆ  เช่น Prompt API => chrome://flags/#prompt-api-for-gemini-nano

เมื่อทึกอย่างพร้อมเริ่มใช้งานกันแบบง่าย ๆ
เข้าไปที่ Dev Tools ทำการตรวจสอบด้วย code ดังนี้ใน Console

จากนั้นลองใช้งาน Prompt API

ลองเล่นกันดูครับ น่าสนใจมาก ๆ

คำแนะนำสำหรับ Gemini Nano ใน browser

  • สามารถใส่ context, persona และ rule ต่าง ๆ เพื่อปรับปรุง output ออกมาตามที่ต้องการ
  • สิ่งที่ควรระวังในการใช้งาน เช่น การถามแบบใช่หรือไม่ใช่ เนื่องจากเป็น model ขนาดเล็กไม่มีความรู้มาก และจำเป็นต้องมีการ interact กับ user เสมอ รวมทั้งการปรับปรุง parameter ต่าง ๆ เช่น temperature และ topK แนะนำให้ใช้ค่า default ไปก่อน
  • ลองเล่น Prompt API Playground ก่อนได้
  • เน้นย้ำว่าใช้งานบน Google Chrome Canary นะครับ

Reference website