จากบทความเรื่อง Under the hood, off the hot path: How D1 scales to millions of databases
เป็น Cloud managed database ของ Cloudflare
ซึ่งเป็น serverless database ที่ทำงานอยู่บน SQLite database
ทำการอธิบายและตอบคำถามว่า D1 นั้นทำการ scaling อย่างไร
ให้รองรับผู้ใช้งานและ database จำนวนมาก ๆ
โดยที่ไม่มีปัญหาคอขวด และ slow query ?

สิ่งแรกที่ต้องกลับมาดูก่อนคือเรื่องของ Architecture ของระบบว่าเป็นอย่างไร

ถ้าแบบเดิมคือมี server ใหญ่ ๆ และเพิ่ม node ต่าง ๆ ใน cluster ไป
จากนั้นเรื่องของ connection ก็ต้องมี layer ของการจัดการ connection pooling ออกมาอีก
แสดงดังรูป

มาดูแนวคิดสำหรับการออกแบบ D1 เพื่อรองรับจำนวนการใช้งาน database ที่สูงขึ้น

จากสถิติการใช้งาน active database รายวัน (มีการ query ข้อมูลอย่างน้อย 1 ครั้ง)
มีจำนวนมากขึ้นจากปัที่ผ่านมาถึง 18 เท่า

โดยที่ Cloudflare จะมี guideline เดียวกันในการสร้างระบบต่าง ๆ ประกอบไปด้วย

  • ในการออกแบบทุก ๆ ขั้นตอนจะ focus ที่ failure และ idempotency เสมอ เนื่องจากความผิดพลาดเกิดขึ้นได้ตลอด ดังนั้นจะทำอย่างไรทำงานต่อไปได้ และสามารถทำงานได้อย่างถูกต้องอีกด้วย
  • หลีกเลี่ยงการออกแบบ component หรือส่วนง่ายต่าง ๆ ที่เป็น centralized single-region หรือตัวกลางที่อยู่ในเพียง region เดียว มันก่อให้เกิดปัญหาได้ (single-point of failure) เช่นการ query ข้อมูล ที่ถูกใช้เยอะมาก ๆ (hot path)
  • มีการใช้งาน caching ข้อมูลเสมอ โดยจะใช้ Workers KV นั่นเอง เป็น global distributed Key-value store เพื่อลดภาระการเข้าถึง database ที่ไม่จำเป็น
  • ในการเข้าถึง database จะใช้งานผ่าน Hyperdrive คือตัวกลางสำหรับจัดการ connection pooling การ routing request การทำ caching และทำการอ่านจาก replica database server ถ้ามีความจำเป็น
  • มีการทำ pre-aggregation สำหรับข้อมูลและ query ต่าง ๆ เพื่อลดการ query และ scan data จาก database ตรง ๆ
  • ทำงานแบบ eventual consistency แทนที่จะเป็น strong consistency
  • ทำ load testing จาก traffic การใช้งานจริงเสมอ เพื่อหาว่าส่วนใหญ่ติดขัดหรือมีปัญหา เพื่อที่จะทำการ optimize ให้ดีตั้งแต่เนิ่น ๆ

โดยที่ high level architecture ของ D1 เป็นดังรูป

จะแยกการทำงานของ CRUD endpoints และ Query endpointsข้อมูลออกจากกัน

  • Data plane สำหรับดึงข้อมูลให้เร็วที่สุดเท่าที่จะเป็นไปได้
  • Control plane สำหรับการจัดการภายใน ไม่ได้มาจากผู้ใช้งาน
  • Background asynchronous plane สำหรับระบบ analytic, limit usage และ billing ต่าง ๆ

Flow ในการสร้าง database ใน D1 เป็นดังนี้

ในแต่ละขั้นตอนต้องมีการ design for failure เสมอ
และสุดท้ายข้อมูลจะ sync ไปยัง Workers KV แบบ asynchronous เสมอ

ส่วน operation การดึงข้อมูลจาก user (Hot path ) จะผ่าน Workers KV เสมอ

ต้องการหลีกเลี่ยงการเข้าถึง Postgres database
เพื่อให้การดึงข้อมูลเร็วที่สุดเท่าที่จะเป็นไปได้

ตัวอย่าง flow ของการคิดคำนวณ limit และ billing ต่าง ๆ

จะทำงานใน Background asynchronous plane
ซึ่งจะโยนการใช้งานต่าง ๆ ของ D1 object ไปยัง Kafka
จากนั้นให้ consumer มา process การทำงานอีกทีเพื่อตรวจสอบ limit และ billing ต่อไป

ส่วนการนับ limit แบบ Row usage จะใช้ผ่าน ClickHouse

ยังมีอีกหลายเรื่องที่น่าสนใจ
แต่สิ่งที่ชอบมาก ๆ สำหรับบทความนี้คือ flow การทำงานต่าง ๆ ของระบบ
ที่แยกออกแบบเป็นแต่ละ flow
ช่วยให้เราเข้าใจการทำงานของระบบแบบ end-to-end ได้ดียิ่งขึ้น (เราไม่รู้หรอกว่าจริงหรือไม่ ?)
แต่น่าจะเป็นตัวอย่าง ให้เรานำไปปรับใช้กับการออกแบบระบบได้
ทั้งเรื่องของ design for failure, idempotency และ eventual consistency

Reference websites