สำหรับคนที่ทำงานสาย data ไม่น่าจะพลาดกับการใช้งาน library ชื่อว่า Pandas ซึ่งช่วยให้การจัดการข้อมูลเป็นเรื่องที่ง่ายและรวดเร็วขึ้นเป็นอย่างมาก แถมมี community ที่แข็งแรงและ active อย่างมาก อีกทั้งยังมีเครื่องมือแวดล้อมถูกสร้างขึ้นมามากมาย ไม่ว่าจะเป็น SweetViz Pandas profiling Bamboolib แต่มีอีกเครื่องมือหนึ่งที่น่าใช้มาก ๆ คือ Pandas
ระหว่างนั่งรอเครื่องบินไปจังหวัดเชียงใหม่ เจอข้อมูลที่น่าสนใจจาก sensor เกี่ยวกับสภาวะอากาศ จึงนำมาใช้ฝึกการ cleaning ข้อมูลด้วย Pandas library กันหน่อย โดยขั้นตอนการทำงานประกอบไปด้วย อ่านข้อมูลจากไฟล์ CSV ทำการจัดเรียงข้อมูล ทำการ transform ข้อมูลในแต่ละ column ทำการจัดการเรื่อง missing value การ plotting หรือแสดงข้อมูลในรูปแบบ graph มาเริ่มกันหน่อย
ช่วงนี้มีโอกาสใช้งาน Array ของ Numpy library และ Series/DataFrame ของ Pandas library สำหรับการจัดการและวิเคราะห์ข้อมูลของระบบนิดหน่อย จากการใช้งานพบว่า ในการเข้าถึงข้อมูลของ Pandas นั้นช้ากว่า Numpy มากพอสมควร แต่ก็ยังเร็วกว่า Python standard library !! จึงลองทำ profiling ดูนิดหน่อย รวมทั้งการปรับปรุง code ให้ทำงานเร็วขึ้นบ้าง