
จากบทความเรื่อง Under the hood, off the hot path: How D1 scales to millions of databases
เป็น Cloud managed database ของ Cloudflare
ซึ่งเป็น serverless database ที่ทำงานอยู่บน SQLite database
ทำการอธิบายและตอบคำถามว่า D1 นั้นทำการ scaling อย่างไร
ให้รองรับผู้ใช้งานและ database จำนวนมาก ๆ
โดยที่ไม่มีปัญหาคอขวด และ slow query ?
สิ่งแรกที่ต้องกลับมาดูก่อนคือเรื่องของ Architecture ของระบบว่าเป็นอย่างไร
ถ้าแบบเดิมคือมี server ใหญ่ ๆ และเพิ่ม node ต่าง ๆ ใน cluster ไป
จากนั้นเรื่องของ connection ก็ต้องมี layer ของการจัดการ connection pooling ออกมาอีก
แสดงดังรูป

มาดูแนวคิดสำหรับการออกแบบ D1 เพื่อรองรับจำนวนการใช้งาน database ที่สูงขึ้น
จากสถิติการใช้งาน active database รายวัน (มีการ query ข้อมูลอย่างน้อย 1 ครั้ง)
มีจำนวนมากขึ้นจากปัที่ผ่านมาถึง 18 เท่า
โดยที่ Cloudflare จะมี guideline เดียวกันในการสร้างระบบต่าง ๆ ประกอบไปด้วย
- ในการออกแบบทุก ๆ ขั้นตอนจะ focus ที่ failure และ idempotency เสมอ เนื่องจากความผิดพลาดเกิดขึ้นได้ตลอด ดังนั้นจะทำอย่างไรทำงานต่อไปได้ และสามารถทำงานได้อย่างถูกต้องอีกด้วย
- หลีกเลี่ยงการออกแบบ component หรือส่วนง่ายต่าง ๆ ที่เป็น centralized single-region หรือตัวกลางที่อยู่ในเพียง region เดียว มันก่อให้เกิดปัญหาได้ (single-point of failure) เช่นการ query ข้อมูล ที่ถูกใช้เยอะมาก ๆ (hot path)
- มีการใช้งาน caching ข้อมูลเสมอ โดยจะใช้ Workers KV นั่นเอง เป็น global distributed Key-value store เพื่อลดภาระการเข้าถึง database ที่ไม่จำเป็น
- ในการเข้าถึง database จะใช้งานผ่าน Hyperdrive คือตัวกลางสำหรับจัดการ connection pooling การ routing request การทำ caching และทำการอ่านจาก replica database server ถ้ามีความจำเป็น
- มีการทำ pre-aggregation สำหรับข้อมูลและ query ต่าง ๆ เพื่อลดการ query และ scan data จาก database ตรง ๆ
- ทำงานแบบ eventual consistency แทนที่จะเป็น strong consistency
- ทำ load testing จาก traffic การใช้งานจริงเสมอ เพื่อหาว่าส่วนใหญ่ติดขัดหรือมีปัญหา เพื่อที่จะทำการ optimize ให้ดีตั้งแต่เนิ่น ๆ
โดยที่ high level architecture ของ D1 เป็นดังรูป
จะแยกการทำงานของ CRUD endpoints และ Query endpointsข้อมูลออกจากกัน
- Data plane สำหรับดึงข้อมูลให้เร็วที่สุดเท่าที่จะเป็นไปได้
- Control plane สำหรับการจัดการภายใน ไม่ได้มาจากผู้ใช้งาน
- Background asynchronous plane สำหรับระบบ analytic, limit usage และ billing ต่าง ๆ

Flow ในการสร้าง database ใน D1 เป็นดังนี้
ในแต่ละขั้นตอนต้องมีการ design for failure เสมอ
และสุดท้ายข้อมูลจะ sync ไปยัง Workers KV แบบ asynchronous เสมอ

ส่วน operation การดึงข้อมูลจาก user (Hot path ) จะผ่าน Workers KV เสมอ
ต้องการหลีกเลี่ยงการเข้าถึง Postgres database
เพื่อให้การดึงข้อมูลเร็วที่สุดเท่าที่จะเป็นไปได้

ตัวอย่าง flow ของการคิดคำนวณ limit และ billing ต่าง ๆ
จะทำงานใน Background asynchronous plane
ซึ่งจะโยนการใช้งานต่าง ๆ ของ D1 object ไปยัง Kafka
จากนั้นให้ consumer มา process การทำงานอีกทีเพื่อตรวจสอบ limit และ billing ต่อไป

ส่วนการนับ limit แบบ Row usage จะใช้ผ่าน ClickHouse

ยังมีอีกหลายเรื่องที่น่าสนใจ
แต่สิ่งที่ชอบมาก ๆ สำหรับบทความนี้คือ flow การทำงานต่าง ๆ ของระบบ
ที่แยกออกแบบเป็นแต่ละ flow
ช่วยให้เราเข้าใจการทำงานของระบบแบบ end-to-end ได้ดียิ่งขึ้น (เราไม่รู้หรอกว่าจริงหรือไม่ ?)
แต่น่าจะเป็นตัวอย่าง ให้เรานำไปปรับใช้กับการออกแบบระบบได้
ทั้งเรื่องของ design for failure, idempotency และ eventual consistency
Reference websites