Automatic Testing of Automotive Dashboards with Autoencoder-Based Defect Detection

Questa tesi descrive il progetto realizzato in MTA S.p.A, con lo scopo di sviluppare un test automatico per verificare il corretto funzionamento di cruscotti in ambito automotive per il settore agricolo. Questo progetto può essere diviso in due parti: la prima copre gli aspetti elettrici dei test, descrivendo i circuiti interni del cruscotto e i test svolti per verificarne il funzionamento. La seconda parte descrive i test visivi che verificano la corretta forma e colore di tutte le spie e il funzionamento degli LCD. La parte di visione di focalizza poi sullo sviluppo di una rete neurale per il riconoscimento di difetti nelle spie. Questo algoritmo si basa su un autoencoder, che crea la ricostruzione di una data forma e trova difetti in base alla differenza tra l'immagine originale e quella ricostruita. Dopo la procedura di training, l'autoencoder è implementato usando LabVIEW, per eseguirlo con il resto del sistema di testing. L'algoritmo è poi valutato, testandolo su immagini con e senza difetti, ed è confrontato con il metodo attualmente in uso per il rilevamento dei difetti, basato sul geometric pattern matching (GPM). I risultati mostrano un'alta efficienza nel rilevare immagini senza difetti in entrambi gli algoritmi, con una media del 98% per l'autoencoder e 95% per il GPM. Invece, considerando le immagini difettose, l'autoencoder raggiunge risultati migliori, con una media di falsi positivi del 0.84%, rispetto al 7.42% del GPM. Questo indica che il sistema basato sull'autoencoder è una buona alternativa al metodo precedentemente usato per il rilevamento di difetti nelle spie.

This thesis describes the project carried out at MTA S.p.A., with the aim of developing an automatic test to verify the correct functionality of automotive dashboards for the agricultural sector. This project can be divided into two parts: the first one covers the electrical aspects of the testing, describing the internal circuitry of the dashboard and the tests performed to verify the correct functionality of each stage. The second part describes the vision tests that verify the correct shape and color of all the warning lights and the functionality of LCD. The vision part will then focus on the development of a neural network to detect defects in warning lights. This algorithm is based on an autoencoder that creates a reconstruction of a given shape and finds defects based on the difference between the original image and the reconstructed one. After the neural network training procedure, the autoencoder is implemented using LabVIEW, to execute it with the rest of the testing environment. The algorithm is then evaluated by testing it on images with and without defects, and it is compared with the method currently used for defect detection, based on geometric pattern matching (GPM). The results show a high efficiency in detecting images without defects for both algorithms, with an average of 98 % for the autoencoder and 95 % for the GPM. Instead, considering defective images, the autoencoder is able to achieve better performance, with an average false pass rate of 0.84 %, compared to 7.42 % for the GPM. This indicates that the autoencoder-based algorithm is a good alternative to the previously used system in the detection of warning light defects.