A Unified Framework for Automated Captioning and Damage Segmentation in Car Damage Analysis

This research presents a deep learning method for generating automatic captions from the segmentation of car part damage. It analyzes car images using a Unified Framework to accurately and quickly identify and describe the damage. The development is based on the research "GRiT: A Generative Region-to-text Transformer for Object Understanding," which has been adapted for car image analysis. The improvement aims to make the model generate precise descriptions for different areas of the car, from damaged parts to identifying various components. The researchers focuses on developing deep learning techniques for automatic caption generation and damage segmentation in car damage analysis. The aim is to enable precise identification and description of damages on vehicles, there by increasing speed and reducing the work load of experts in damage assessment. Traditionally, damage assessment relies solely on expert evaluations, which are costly and time-consuming. To address this issue, we propose utilizing data generation for training, automatic caption creation, and damage segmentation using an integrated framework. The researchers created a new dataset from CarDD, which is specifically designed for cardamage detection. This dataset includes labeled damages on vehicles, and the researchers have used it to feed into models for segmenting car parts and accurately labeling each part and damage category. Preliminary results from the model demonstrate its capability in automatic caption generation and damage segmentation for car damage analysis to be satisfactory. With these results, the model serves as an essential foundation for future development. This advancement aims not only to enhance performance in damage segmentation and caption generation but also to improve the model’s adaptability to a diversity of damages occurring on various surfaces and parts of vehicles. This will allow the system to be applied more broadly to different vehicle types and conditions of damage inthe future

ในปัจจุบัน การประเมินความเสียหายที่เกิดขึ้นกับรถยนต์เป็นงานที่ซับซ้อนและต้องการความเชี่ยวชาญจากผู้ประเมินที่มีประสบการณ์ เนื่องจากลักษณะความเสียหายแต่ละกรณีมีความแตกต่างกัน โดยต้องพิจารณาหลายปัจจัย เช่น ชนิดของความเสียหายและตำแหน่งที่ได้รับผลกระทบ การขาดมาตรฐานการประเมินที่ชัดเจนและความแตกต่างในวิธีการของผู้เชี่ยวชาญแต่ละคน อาจนำไปสู่ความไม่สอดคล้องในการตัดสินใจ ทำให้เกิดความล่าช้าในการซ่อมแซมและการเบิกจ่ายค่าสินไหมทดแทนที่ขาดมาตรฐาน ซึ่งกลายเป็นความท้าทายสำคัญที่ภาคประกันภัยต้องเผชิญ ในปี 2021 สหรัฐอเมริกามีรายงานอุบัติเหตุบนท้องถนนสูงถึง 1,767,116 ครั้ง ซึ่งเพิ่มขึ้น 13.3% จากปี 2011 แนวโน้มนี้สอดคล้องกับการเคลมค่าสินไหมที่เพิ่มขึ้น9%ในปี2022เมื่อเทียบกับปี2021ซึ่งเป็นผลจากค่าใช้จ่ายในการซ่อมแซมที่สูงขึ้นและภาวะเงินเฟ้อ ส่งผลให้ต้นทุนของภาคประกันภัยเพิ่มขึ้นอย่างมีนัยสำคัญ การเพิ่มขึ้นของจำนวนอุบัติเหตุและต้นทุนการซ่อมแซมได้นำไปสู่ความท้าทายหลักสองประการประการแรกคือ ความรวดเร็วและความแม่นยำในการประเมินความเสียหาย ซึ่งเป็นปัจจัยสำคัญในการปรับปรุงประสิทธิภาพของกระบวนการซ่อมแซมและการเบิกค่าสินไหม การประเมินด้วยมนุษย์อาจเกิดความล่าช้าและข้อผิดพลาด ทำให้เกิดความไม่พึงพอใจในด้านบริการของผู้เอาประกันภัย ประการที่สองคือการขาดมาตรฐานการประเมินความเสียหายที่ชัดเจนวิธีการประเมินของผู้เชี่ยวชาญที่แตกต่างกันอาจส่งผลให้เกิดความไม่สอดคล้องในการประเมินราคาและข้อเสนอแนะสำหรับการซ่อมแซมนอกจากนี้การขาดมาตรฐานกลางยังอาจก่อให้เกิดความไม่เป็นธรรมระหว่างบริษัทประกันและผู้เอาประกันภัย เนื่องจากการตีความขอบเขตความเสียหายที่แตกต่างกัน เพื่อแก้ปัญหานี้ แนวคิด การแบ่งส่วนความเสียหาย (Damage Segmentation) ได้ถูกเสนอให้เป็นเครื่องมือในการระบุและจำแนกความเสียหายตามส่วนต่าง ๆ ของรถยนต์ วิธีนี้ช่วยให้เกิดมาตรฐานในการประเมินและเพิ่มความรวดเร็วและแม่นยำในการประเมิน อย่างไรก็ตาม งานวิจัยส่วนใหญ่ที่เกี่ยวกับการแบ่งส่วนความเสียหายของรถยนต์ มักเน้นเพียงการแยกแยะความเสียหายออกจากพื้นที่โดยรอบ แต่ไม่ได้ระบุชิ้นส่วนที่เสียหายอย่างชัดเจน ขณะที่งานวิจัยบางชิ้นมุ่งเน้นแค่การแบ่งส่วนชิ้นส่วนของรถยนต์แยกกันเท่านั้น จากการศึกษาข้อมูลในปัจจุบัน ไม่พบงานวิจัยใดที่พยายามผสานเทคนิคการแบ่งส่วนความเสียหายร่วมกับการแบ่งส่วนชิ้นส่วนของรถยนต์ เพื่อสร้างความเข้าใจที่ครอบคลุม ด้วยเหตุนี้ งานวิจัยนี้จึงมุ่งเน้นการพัฒนา คำบรรยายอัตโนมัติ (Image Captioning) ร่วมกับการแบ่งส่วนความเสียหายซึ่งไม่เพียงแค่ระบุประเภทความเสียหาย แต่ยังสามารถระบุชิ้นส่วนที่ได้รับความเสียหายจากภาพถ่ายปัจจุบันงานวิจัยเกี่ยวกับคำบรรยายอัตโนมัติ ส่วนใหญ่เน้นการบรรยายภาพในเชิงทั่วไป เช่น การระบุวัตถุหรือกิจกรรมภายในภาพ แม้ว่าจะมีงานที่บูรณาการระหว่างการแบ่งส่วนผนวกเข้ากับคำบรรยาย แต่ยังไม่มีงานใดที่เจาะจงบรรยายภาพเพื่อระบุความเสียหายของรถยนต์โดยเฉพาะ วิธีการนี้จะช่วยสร้างมาตรฐานใหม่ในการประเมินความเสียหายของยานพาหนะ ลดข้อผิดพลาดจากการประเมินด้วยมนุษย์ และเพิ่มความรวดเร็วในการประเมินได้อย่างมีประสิทธิภาพ