สมมติว่าคุณมีโมเดลการถดถอยเชิงลอจิสติกสําหรับการตรวจจับอีเมลสแปมซึ่งคาดการณ์ค่าระหว่าง 0 ถึง 1 ซึ่งแสดงถึงแนวโน้มที่อีเมลหนึ่งๆ จะเป็นสแปม การคาดการณ์ 0.50 หมายถึงความน่าจะเป็น 50% ที่อีเมลจะเป็นจดหมายขยะ การคาดการณ์ 0.75 หมายถึงความน่าจะเป็น 75% ที่อีเมลจะเป็นจดหมายขยะ และอื่นๆ
คุณต้องการติดตั้งใช้งานรูปแบบนี้ในแอปพลิเคชันอีเมลเพื่อกรองจดหมายขยะไปยังโฟลเดอร์อีเมลแยกต่างหาก แต่คุณจะต้องแปลงเอาต์พุตตัวเลขดิบของโมเดล (เช่น 0.75) ออกเป็น 2 หมวดหมู่ ได้แก่ "สแปม" หรือ "ไม่ใช่สแปม"
หากต้องการทําการเปลี่ยนรูปแบบนี้ ให้เลือกความน่าจะเป็นเกณฑ์ที่เรียกว่าเกณฑ์การจัดประเภท
จากนั้นระบบจะกําหนดตัวอย่างที่มีความน่าจะเป็นสูงกว่าเกณฑ์เป็นคลาสที่เป็นบวก ซึ่งเป็นคลาสที่คุณกําลังทดสอบ (ในที่นี้คือ spam) และกำหนดตัวอย่างที่มีความน่าจะเป็นต่ำกว่าเป็นคลาสที่เป็นลบ ซึ่งเป็นคลาสทางเลือก (ในที่นี้คือ not spam)
คลิกที่นี่เพื่อดูรายละเอียดเพิ่มเติมเกี่ยวกับเกณฑ์การจัดประเภท
คุณอาจสงสัยว่าจะเกิดอะไรขึ้นหากคะแนนที่คาดการณ์เท่ากับเกณฑ์การจัดประเภท (เช่น คะแนน 0.5 เมื่อเกณฑ์การจัดประเภทคือ 0.5 ด้วย) การจัดการสำหรับกรณีนี้ขึ้นอยู่กับการใช้งานที่เลือกสำหรับรูปแบบการจัดประเภท ไลบรารี Keras จะคาดการณ์คลาสเชิงลบหากคะแนนและเกณฑ์เท่ากัน แต่เครื่องมือ/เฟรมเวิร์กอื่นๆ อาจจัดการเคสนี้แตกต่างกัน
สมมติว่าโมเดลให้คะแนนอีเมลฉบับหนึ่งเป็น 0.99 ซึ่งคาดการณ์ว่าอีเมลดังกล่าวมีโอกาสเป็นจดหมายขยะ 99% และอีกฉบับหนึ่งเป็น 0.51 ซึ่งคาดการณ์ว่าอีเมลดังกล่าวมีโอกาสเป็นจดหมายขยะ 51% หากคุณตั้งค่าเกณฑ์การจัดประเภทเป็น 0.5 โมเดลจะจัดประเภททั้ง 2 อีเมลว่าเป็นจดหมายขยะ หากคุณตั้งค่าเกณฑ์เป็น 0.95 จะมีเพียงอีเมลที่มีคะแนน 0.99 เท่านั้นที่จัดว่าเป็นจดหมายขยะ
แม้ว่า 0.5 อาจดูเหมือนเกณฑ์ที่เข้าใจง่าย แต่ก็ไม่เหมาะในกรณีที่ต้นทุนของการแยกประเภทที่ไม่ถูกต้องประเภทหนึ่งสูงกว่าอีกประเภทหนึ่ง หรือในกรณีที่คลาสไม่สมดุล หากมีอีเมลเพียง 0.01% ที่เป็นจดหมายขยะ หรือหากการแยกอีเมลที่ถูกต้องไปยังโฟลเดอร์ที่ไม่ถูกต้องส่งผลเสียมากกว่าการปล่อยให้จดหมายขยะเข้ามาในกล่องจดหมาย การติดป้ายกำกับอีเมลที่โมเดลพิจารณาว่ามีแนวโน้มเป็นจดหมายขยะอย่างน้อย 50% เป็นจดหมายขยะจะทำให้เกิดผลลัพธ์ที่ไม่พึงประสงค์
เมตริกความสับสน
คะแนนความน่าจะเป็นไม่ใช่ความจริงหรือข้อมูลพื้นฐาน ผลลัพธ์ที่เป็นไปได้ของเอาต์พุตแต่ละรายการจากตัวแยกประเภทแบบไบนารีมี 4 รายการ สําหรับตัวอย่างตัวแยกประเภทสแปม หากคุณจัดวางข้อมูลที่เป็นความจริงเป็นคอลัมน์และการคาดการณ์ของโมเดลเป็นแถว ตารางต่อไปนี้ซึ่งเรียกว่าเมทริกซ์ความสับสนจะแสดงผลลัพธ์
| ผลบวกจริง | ลบจริง | |
|---|---|---|
| ผลบวกที่คาดการณ์ | True Positive (TP): อีเมลที่เป็นสแปมที่จัดประเภทเป็นอีเมลสแปมอย่างถูกต้อง ข้อความเหล่านี้คือข้อความสแปมที่ระบบส่งไปยังโฟลเดอร์จดหมายขยะโดยอัตโนมัติ | การตรวจพบที่ผิดพลาด (FP): อีเมลที่ไม่ใช่จดหมายขยะแต่ได้รับการจัดประเภทเป็นจดหมายขยะ อีเมลเหล่านี้เป็นอีเมลที่ถูกต้องซึ่งปรากฏในโฟลเดอร์จดหมายขยะ |
| เชิงลบที่คาดการณ์ | ผลลบลวง (FN): อีเมลสแปมที่จัดประเภทไม่ถูกต้องว่าเป็นไม่ใช่สแปม อีเมลเหล่านี้เป็นอีเมลขยะที่ไม่ได้ถูกตัวกรองจดหมายขยะจับได้และส่งไปยังกล่องจดหมาย | True Negative (TN): อีเมลที่ไม่ใช่จดหมายขยะซึ่งจัดประเภทอย่างถูกต้องว่าไม่ใช่จดหมายขยะ อีเมลเหล่านี้เป็นอีเมลที่ถูกต้องซึ่งส่งไปยังกล่องจดหมายโดยตรง |
โปรดทราบว่าผลรวมในแต่ละแถวแสดงผลบวกที่คาดการณ์ทั้งหมด (TP + FP) และผลลบที่คาดการณ์ทั้งหมด (FN + TN) โดยไม่คำนึงถึงความถูกต้อง ส่วนผลรวมในแต่ละคอลัมน์จะแสดงผลบวกจริงทั้งหมด (TP + FN) และผลลบจริงทั้งหมด (FP + TN) โดยไม่คำนึงถึงการจัดประเภทโมเดล
เมื่อผลรวมของรายการเชิงบวกจริงไม่ได้ใกล้เคียงกับผลรวมของรายการเชิงลบจริง แสดงว่าชุดข้อมูลไม่สมดุล อินสแตนซ์ของชุดข้อมูลที่ไม่สมดุลอาจเป็นชุดรูปภาพเมฆหลายพันรูป โดยเมฆประเภทที่หายากซึ่งคุณสนใจ เช่น เมฆรูปเกลียว ปรากฏเพียงไม่กี่ครั้ง
ผลของเกณฑ์ที่มีต่อผลบวกจริงและผลบวกลวง รวมถึงผลลบ
โดยปกติแล้ว เกณฑ์ที่แตกต่างกันจะส่งผลให้ผลบวกจริงและผลบวกลวง รวมถึงผลลบจริงและผลลบลวงมีจำนวนไม่เท่ากัน วิดีโอต่อไปนี้อธิบายสาเหตุของปัญหานี้
ลองเปลี่ยนเกณฑ์ด้วยตนเอง
วิดเจ็ตนี้มีชุดข้อมูลของของเล่น 3 ชุด ได้แก่
- แยก ซึ่งโดยทั่วไปแล้วตัวอย่างเชิงบวกและตัวอย่างเชิงลบจะแยกแยะกันได้ดี โดยตัวอย่างเชิงบวกส่วนใหญ่จะมีคะแนนสูงกว่าตัวอย่างเชิงลบ
- ไม่แยก ซึ่งตัวอย่างเชิงบวกจำนวนมากมีคะแนนต่ำกว่าตัวอย่างเชิงลบ และตัวอย่างเชิงลบจำนวนมากมีคะแนนสูงกว่าตัวอย่างเชิงบวก
- ไม่สมดุล มีตัวอย่างของคลาสเชิงบวกเพียงไม่กี่รายการ