Test Automation มันแย่ เลิกเถอะ !!

เพิ่งคุยกับทีมที่นำ Test Automation มาใช้ในการพัฒนา Software
โดยข้อมูลที่ได้รับมาก็คือ
เราคงต้องเลิก หรือ ปิดการทำทดสอบแบบอัตโนมัติแล้ว
เพราะว่า การทดสอบมันไม่เสถียรเลย
ซึ่งจะนำมาใช้อีกครั้ง เมื่อทำการแก้ไขให้มันทำงานเสถียรก่อน !!

คำถามที่เกิดขึ้นมาทันทีก็คือ ปัญหาที่แท้จริงมันคืออะไรกันแน่ ?

เนื่องจากระบบงานต้องทำงานตลอด 24 ชั่วโมง

แน่นอนว่า ต้องมีคนคอย support ตลอดเวลา
บ่อยครั้งที่ระบบจะมีปัญหาช่วงกลางดึก (บ่อยมาก ๆ )
แถมชอบเกิดขึ้นช่วงวันหยุดอีกด้วย
สรุปได้เลยว่า งานแม่ง ….. มากมาย !!

ดังนั้นจึงนำเอา Test Automation มาช่วยทดสอบระบบทุก ๆ ชั่วโมง
ซึ่งเป็น Functional หรือ UI testing นั่นเอง
เพื่อช่วยตรวจสอบว่า
ระบบยังคงทำงานได้อย่างถูกต้องตามที่คาดหวังหรือไม่

แต่ว่ามีอยู่วันหนึ่งช่วงกลางดึก
Test Automation ทำการแจ้งบอกว่าการทดสอบมัน fail
แต่เมื่อทีม support เข้ามาตรวจสอบ
และทดสอบใช้งานระบบแล้ว พบว่าระบบไม่มีปัญหาแต่อย่างใด
ซึ่งเกิดเหตุการณ์แบบนี้บ่อยมาก ๆ

บรรดาหัวหน้าทีม และ manager ต่าง ๆ จึงสรุปปัญหาได้ดังนี้

• ระบบ Test Automation มันไม่เสถียร
• ระบบ Test Automation มันทำงานผิดพลาดตลอด
• มันไม่ยุติธรรมต่อทีม support ที่ต้องตื่นมาตรวจสอบปัญหาเหล่านี้ ทั้ง ๆ ที่มันไม่มีปัญหา

ทำให้ได้ข้อสรุปของการแก้ไขปัญหา คือ ปิดการทำงานของ Test Automation ซะเถอะ !!

แต่เดี๋ยวก่อนนะ เรามาหาความจริงกันหน่อยดีไหม ?

ระบบ Test Automation มันไม่เสถียร ?

จากการพูดคุยในรายละเอียดพบว่า
ใช้ Selenium WebDriver สำหรับการทดสอบ

โดยผลจากการทดสอบพบว่า
บางหน้าใช้เวลาในการดึงข้อมูลมาแสดงผลมากกว่า 10 วินาที !!
ซึ่ง Test Automation ที่สร้างไว้ก็รอไปเรื่อย ๆ
จนสุดท้ายก็ยังดึงข้อมูล และ แสดงผลไม่เสร็จ

คำถามที่เกิดขึ้นมาก็คือ
ปัญหาแบบนี้มันคือ Test Automation มันไม่เสถียร หรือ ระบบงานมันไม่เสถียรกันแน่ ?

ซึ่งข้อมูลที่ใช้มีทั้งรูปภาพที่ capture ไว้ พร้อม VDO
แต่ไม่นำมาใช้งาน และ นำมาวิเคราะห์กัน

คำถามที่ถามกลับไปยังทีมคือ
เรายอมรับให้ระบบงานใช้เวลาดึงข้อมูลนานเกิน 10 วินาทีกันเลยใช่ไหม ?
คำตอบที่ได้รับกลับมาก็คือ
ใช่แล้ว !!

ลองคิดดูสิว่า ลูกค้า หรือ ผู้ใช้งานระบบจะรอไหมนะ ?
อาจจะมีแต่น้อยหรือเปล่านะ

ปัญหาจริง ๆ ก็คือ
ระบบงานมันทำงานช้า ระบบงานมันดึงข้อมูลช้า
ดังนั้นได้เวลาแก้ไขปัญหาแล้วนะ
อย่าหนีปัญหากันสิ !!

ระบบ Test Automation มันทำงานผิดพลาดตลอด !!

ข้อมูลที่ได้รับมาก็คือ จะผิดพลาดประมาณ 1 ใน 10 ครั้งของการทดสอบ
ซึ่งผมสรุปได้เลยว่า มันไม่ได้ทำงานผิดพลาดบ่อยแบบที่ว่ากันนะ

โดยแนวทางการแก้ไขปัญหาแบบง่าย ๆ ที่เกิดขึ้นมา ประกอบไปด้วย

• เพิ่ม Timeout ไปสิ
• ใส่การ retry ไปสิ

แต่ลองคิดแบบใช้เหตุผลหน่อยสิ
เรากำลังจะแก้ไขปัญหา หรือ กำลังซ่อน หรือ เพิ่มปัญหาใหม่เข้ามายังระบบ

ลองคิดดูสิว่า
ตอนนี้ก็มี Timeout เป็น 10 วินาทีแล้ว
ระบบการทดสอบยังทำงานผิดพลาดเลยนะ
ยังจะเพิ่ม Timeout กันอีกหรือไง ?

หรือลองคิดดูสิว่า
ผู้ใช้งานจะทำการ retry ระบบที่มันช้า ๆ หรือไม่ ?
ถ้าไม่ ระบบการทดสอบต้องทำด้วยหรือ

ดังนั้นไปแก้ไขปัญหาที่ต้นเหตุได้แล้ว

มันไม่ยุติธรรมต่อทีม support ที่ต้องตื่นมาตรวจสอบปัญหาเหล่านี้ ทั้ง ๆ ที่มันไม่มีปัญหา

ตอบได้เลยว่า ใช่แล้ว
ไม่มีใครอยากตื่นกลางดึก
เพื่อมาแก้ไขปัญหาจากสิ่งที่ตนเองไม่ได้ทำหรอกนะ
แต่มันต้องทำ เพราะว่าเป็นงานที่ถูกจ้างมานั่นเอง

แน่นอนว่า มันทำให้สุขภาพย่ำแย่
มันทำให้เราโกรธ
แต่ควรไปลงที่ปัญหาจริง ๆ สิ ไม่ใช่ไปลงที่ Test Automation
ปัญหาจริง ๆ คืออะไรบ้าง ?
เขียน code ได้แย่
เขียน test ได้ห่วย
Server ห่วย
Network แย่

สุดท้ายแล้ว ก่อนจะเลิกใช้งาน Test Automation

ช่วยคิด วิเคราะห์ แยกแยะก่อนว่า

• วิธีการ และ เครื่องมือที่นำมาใช้สร้างนั้น มันเหมาะสม หรือ มีปัญหาหรือไม่ ?
• ต้องทำการพิสูจน์ให้ได้ว่า Test Automation มันแย่ หรือ ไม่แย่ ช่วย หรือ ไม่ช่วย ดี หรือ ไม่ดี ?
• ถ้า Test Automation มันทำงานถูกต้องของมันแล้ว ดังนั้น สิ่งต่อไปที่ต้องแก้ไขคือ การแก้ไขระบบ และ code นั่นเอง
• ทาง Manager ของคุณอาจจะไม่เห็นด้วยกับคุณ แต่สิ่งที่คุณทำได้ก็คือ นำข้อมูลต่าง ๆ ออกมาเพื่อสนับสนุนเหตุผลของคุณให้ได้มาก และ ดีที่สุด ว่าสาเหตุที่แท้จริงมันเกิดมาจากอะไร

สุดท้ายควรจะต้อง Test early, Test often นะครับ
เพื่อป้องกันไม่ให้เกิดเหตุการณ์แบบนี้กัน
หรือถ้าเกิดขึ้นเราจะรู้ได้ตั้งแต่เนิ่น ๆ ไม่ใช่มารู้กันบน production