L'AI al servizio delle tecnologie assistive: il progetto LIS2Speech per la traduzione della lingua dei segni

Le tecnologie assistive potenziate dall’Intelligenza Artificiale stanno diventando strumenti essenziali per rispondere alle esigenze di accessibilità, abbattendo le barriere comunicative in settori chiave come la Pubblica Amministrazione, il turismo, la sanità e il retail.

Tra le applicazioni più promettenti, vi sono quelle che interpretano la Lingua dei Segni Italiana (LIS), una lingua visivo-gestuale utilizzata dalle persone sorde o con difficoltà uditive per comunicare. Queste tecnologie consentono di tradurre in tempo reale la LIS in messaggi accessibili, facilitando l’interazione tra persone udenti e non udenti e colmando il divario che la complessità e la scarsa diffusione della LIS possono creare.

LIS2Speech: un progetto per tradurre la lingua dei segni in tempo reale

Orbyta Tech, in quanto azienda specializzata nello sviluppo di soluzioni digitali con un’attenzione all’inclusione e all’accessibilità, ha attivato il progetto LIS2Speech, nato dalla volontà di contribuire con le competenze nell’ambito dell’Intelligenza Artificiale e dello sviluppo di applicazioni cross-platform allo sviluppo di tecnologie che favoriscano l’accessibilità.

L’obiettivo è sviluppare una piattaforma aperta che, combinando reti neurali, deep learning e computer vision, possa essere utilizzata per creare app in grado di riconoscere e tradurre la lingua dei segni in tempo reale e mettere i risultati a disposizione di iniziative pubblico-private finalizzate a promuovere l’accessibilità per le persone con deficit uditivi.

Lo sviluppo di un’applicazione fruibile su dispositivi dotati di fotocamera, in grado di catturare i movimenti del parlante la lingua dei segni (LIS) e tradurli in tempo reale in formato vocale o testuale, rappresenta infatti un’iniziativa promettente per abbattere le barriere comunicative tra le persone sorde e quelle udenti, posizionandosi come una tecnologia assistiva in grado di aprire a nuove opportunità di inclusione sociale.

Riconoscere i segni con l’Intelligenza Artificiale

Il processo di riconoscimento della lingua dei segni italiana (LIS) tramite l’Intelligenza Artificiale si sviluppa in tre fasi:

La fase di Sign Language Recognition articolata in tre passaggi:

    • Creazione di un dataset specifico di glosse della LIS, che rappresentano le unità linguistiche fondamentali.
    • Addestramento di una rete neurale artificiale utilizzando il dataset, per consentire la comprensione delle singole glosse.
    • Sviluppo di algoritmi basati su dati scheletrici e coordinate spaziali, per riconoscere con precisione i segni nel contesto dei movimenti.

La fase di Sign Language Translation, in cui entrano in gioco algoritmi avanzati per la traduzione diretta della LIS in italiano scritto, utilizzando approcci sign-to-text.

La fase text-to-speech in cui la traduzione scritta viene convertita in testo parlato attraverso algoritmi di AI generativa, rendendo il messaggio comprensibile in forma orale.

LIS-to-speech per l’accessibilità e l’inclusione

Sviluppo di app cross-platform di traduzione in tempo reale LIS-to-speech
Precisione della traduzione grazie ad algoritmi di riconoscimento dei segni e di traduzione automatica basati su reti neurali e deep learning
Miglioramento dell’accessibilità e inclusione sociale

Contattaci per un approfondimento

Contatttaci

Domande frequenti sulle tecnologie assistive

Le tecnologie assistive sono strumenti progettati per supportare persone con disabilità, migliorando la loro capacità di comunicare, lavorare e interagire con l’ambiente circostante. Queste tecnologie includono dispositivi e software che facilitano l’accesso alle informazioni, alla mobilità e alla comunicazione, contribuendo a ridurre le barriere e favorire l’inclusione sociale.

La lingua dei segni italiana (LIS) è una lingua visivo-gestuale utilizzata principalmente dalle persone sorde in Italia per comunicare. La LIS non è una forma abbreviata di italiano, ma una lingua con proprie regole grammaticali, sintattiche, morfologiche e lessicali.

Per comunicare con la lingua dei segni si utilizzano principalmente i gesti delle mani, le espressioni facciali e la postura. Ogni segno rappresenta concetti, parole o frasi, e la combinazione di questi gesti consente di costruire un discorso. Non è una trascrizione della lingua parlata, ma una lingua a sé stante con una grammatica e una sintassi proprie, che varia da paese a paese.

Le reti neurali sono modelli computazionali ispirati al funzionamento del cervello umano, utilizzati per riconoscere pattern e apprendere da grandi quantità di dati. Servono a risolvere problemi complessi come il riconoscimento vocale, il riconoscimento delle immagini e la traduzione automatica. Le reti neurali sono alla base di molte applicazioni di intelligenza artificiale, come quelle per il riconoscimento della lingua dei segni. Grazie alla loro capacità di “imparare” dai dati (deep learning), possono migliorare le loro prestazioni nel tempo.