مقايسه اندازه هاي كد و اندازه هاي طراحي در بهبود كارايي سامانه هاي آزمون خودكار

Effect of design metrics on improving accuracy of automatic test systems based on software code

چكيده: پيشگويي خودكار خطا بر اساس اندازه‌هاي در دسترس، يك موضوع مورد توجه محققان براي افزايش كيفيت نرم افزار است. علي رغم استفاده زياد از اندازه‌هاي كد در مطالعات گذشته، تنها سه مطالعه است كه تاثير اندازه‌هاي كد و اندازه‌هاي طراحي را در پيشگويي خطاي نرم افزار مقايسه مي‌كند و نتايج متناقضي هم دارند. بنابراين براي فهم واقع‌بينانه‌تر و قابل اطمينان تر از تاثير اندازه‌هاي طراحي نسبت به اندازه‌هاي كد، آزمايشات متنوع‌تري روي طيف وسيع‌تري از مجموعه‌هاي داده با به‌كارگيري تعداد بيشتري از دسته بندي كننده‌ها انجام شده است. مدل‌هاي پيشگويي خطا، مبتني بر اندازه كد و اندازه طراحي و تركيب آن دو ساخته شده است. معيارهاي ارزيابي كارايي مدل، AUC و معيار F هستند. بر اساس آزمون‌هاي آماري مختلف، در كارايي مدل‌هايي كه از تركيب اندازه‌هاي كد و طراحي استفاده مي‌كنند، نسبت به آن‌هايي كه از اندازه‌هاي كد استفاده مي‌كنند، پيشرفت قابل توجهي وجود ندارد. همچنين اندازه‌هاي طراحي به تنهايي، نسبت به اندازه‌هاي كد به تنهايي و يا تركيب اندازه‌هاي كد و طراحي، تاثير كمتري روي شناسايي پيمانه‌هاي مستعد خطا دارد.

Abstract: Automatic defect prediction based on available metrics is an interesting research topic to increase software quality. In spite of high usage of code metrics in previous researches, there are only three researches that have been conducted on comparing the effect of code metrics and design metrics in software defect prediction which have contradictory results. Thus, to have a better and more reliable understanding of the effect of design metrics over code metrics the investigation has been extended to an extensively larger dataset with many more classifiers. Defect prediction models have been built based on code metrics, design metrics and both. Due to imbalance datasets accuracy was not used. In contrast, AUC and F-measure are the performance evaluation measures of classifiers. Based on different statistical tests, no significant improvement in performance of the models based on combination of design and code metrics compared to the models which have been implemented with code metrics exist. Generally, design metrics alone have less discriminating effect on detecting fault-prone modules in comparison to code metrics alone or combination of code and design metrics.