เห็นใน feed มีการ share บทความเรื่อง How Quora scaled MySQL to 100k+ Queries Per Secondเป็นการ scale MySQL database ของระบบ Quoraซึ่งเป็นระบบถามตอบปัญหาต่าง ๆ นั่นเองโดยมีการใช้งานคร่าว ๆ คือ ข้อมูลต่าง ๆ จะเก็บไว้ใน MySQL นั่นเองดังนั้นมาดูกันว่าทางระบบทำการ scale กันอย่างไร
เห็นใน feed มีการ share เครื่องมือในการทำ Database migration ชื่อว่า Atlasสิ่งที่น่าสนใจคือ มีรูปแบบการทำงาน 2 แบบ คือ
พอดีต้องทำงานกับ Vector Database ทั้งPinecone, Milvus, Redis, Elasticsearch และ pgvectorเกิดคำถามว่าคืออะไร ทำงานอะไรได้บ้างเนื่องจากปกติ NoSQL จะรู้จักแค่ key-value, column, document และ graphพอมาเจอ Vector ก็เลยงง ๆดังนั้นทำความรู้จักกันหน่อย
เห็นว่ามีการ share บทความเรื่อง HOW DISCORD STORES TRILLIONS OF MESSAGES ? ซึ่งเป็นบันทึกการเปลี่ยนแปลง database ที่ใช้เก็บข้อมูลที่พูดคุยต่าง ๆ ในระบบ Discordจาก MongoDB -> Cassandra -> ScyllaDBทำให้เราเห็น use case และ เหตุผลในการเปลี่ยนแปลงนั่นคือการแก้ไขปัญหานั่นเองจึงทำการสรุปสิ่งที่สนใจเอาไว้ดังนี้
มี project ต้องการใช้งาน DBML (Database Markup Language)สำหรับการออกแบบและพัฒนาระบบงานจึงทำการสรุป flow การทำงานไว้นิดหน่อย
มีเรื่องของ Data architecture ที่ต้องทำเลยสรุปเรื่องของ Data architecture ไว้หน่อยว่ามีความเป็นมาอย่างไรบ้างเราอยู่ตรงไหน และจะไปทางไหนต่อ
เมื่อวันที่ 13 ตุลาคมที่ผ่านมา PostgreSQL 15 ปล่อยออกมาแล้วโดยหลัก ๆ เป็นการปรับปรุง performance ของตัว databaseเพื่อให้สามารถรองรับการใช้งานที่สูงขึ้นรวมทั้งความสามารถที่ช่วยให้นักพัฒนาใช้งานได้ง่ายขึ้น
จากบทความเรื่อง Reducing Database Loadingอธิบายถึงแนวทางการลดการใช้งาน database ได้อย่างไรบ้างรวมทั้งแนวทางให้ database มีความยืดหยุ่นต่อการใช้งานมากยิ่งขึ้นมาดูว่ามีวิธีการอะไรที่น่าสนใจบ้างเป็นเรื่องพื้นฐานที่สำคัญมาก ๆ มาเริ่มกันเลย
วิธีการสำหรับการ scale database ให้รองรับข้อมูล และ traffic ที่มากขึ้นนั้น มีหลายวิธียกตัวอย่างเช่น การขยายเครื่องให้ใหญ่ขึ้น การเพิ่มเรื่องให้มากขึ้น การจัดทำ index แต่ถ้ามีข้อมูลในแต่ละ table มากขึ้น ก็ใหญ่ ดังนั้นต้องทำ partition เพื่อให้ table เล็กลง และ index มีขนาดเล็กลง การทำ replication เช่น master-slave, multi-master เป็นต้น เพื่อแยกระหว่างการ read กับ write data ออกจากกัน การทำ house keeping ของข้อมูล ให้มีใช้และเก็บเท่าที่จำเป็น
ปัญหาอย่างหนึ่งที่พบเจอบ่อย ๆ คือเมื่อข้อมูลในระบบมากขึ้นเรื่อย ๆ ตามอายุของระบบ หรือเพิ่มตามจำนวนผู้ใช้งานที่สูงขึ้นผลที่ตามมาคือ ระบบที่เคยทำงานได้ดี กลับแย่ลงเรื่อย ๆทั้งที่ไม่ได้เปลี่ยนแปลงอะไรเลย