În cadrul ecosistemelor digitale inteligente (SES), utilizarea inteligenței artificiale și, în special, a învățării automate (ML), devine din ce în ce mai frecventă în scenariile concepute pentru a îmbunătăți experiența utilizatorului în ceea ce privește performanța funcțională a unui sistem. Abordarea BIECO privind consolidarea încrederii în ecosistemele complexe trebuie să ia în considerare, de asemenea, provocarea care constă în asigurarea siguranței acestora. Utilizăm SafeML pentru a evalua fiabilitatea și robustețea folosind măsuri statistice de distanță.
Rezumat: Estimarea fiabilității modelelor de Machine Learning (ML) devine un subiect esențial. Acest lucru este valabil în special atunci când astfel de modele sunt implementate în aplicații critice pentru siguranță, deoarece deciziile bazate pe predicțiile modelului pot duce la situații periculoase. În acest sens, cercetările recente au propus metode de obținere a unor sisteme ML sigure, sigure și fiabile. Una dintre aceste metode constă în detectarea și analizarea schimbărilor de distribuție și apoi în măsurarea modului în care astfel de sisteme răspund la aceste schimbări. Această metodă a fost propusă în lucrările anterioare în SafeML. Această lucrare se concentrează pe utilizarea SafeML pentru date din serii de timp și pe estimarea fiabilității și a robusteții metodelor de previzionare ML folosind măsuri de distanță statistică. În acest scop, măsurile de distanță bazate pe funcția de distribuție empirică cumulativă (ECDF) propusă în SafeML sunt explorate pentru a măsura disimilaritatea distanței statistice (SDD) între seriile de timp. Propunem apoi măsuri de estimare a fiabilității bazate pe SDD (StaDRe) și de robustețe bazate pe SDD (StaDRo). Cu ajutorul unei tehnici de grupare, se identifică similitudinea dintre proprietățile statistice ale datelor observate în timpul instruirii și previziunile. Metoda propusă este capabilă să ofere o legătură între SDD din setul de date și indicatorii cheie de performanță (KPI) ai modelelor ML.
Lucrarea este prezentată în cadrul atelierului WAISE din cadrul SafeComp 2022.
Versiunea pre-print a lucrării este disponibilă aici: [2206.11116] StaDRe și StaDRo: Reliability and Robustness Estimation of ML-based Forecasting using Statistical Distance Measures (estimarea fiabilității și robusteții previziunilor bazate pe ML folosind măsuri de distanță statistică) (arxiv.org).
Lucrarea este, de asemenea, disponibilă pe Zenodo aici: https://zenodo.org/record/6695299
