Be My Eyes ha una missione: aiutare i non vedenti a esplorare il mondo che li circonda grazie alla tecnologia degli smartphone. Nata nel 2015, l’app sviluppata dall’omonima startup danese mette in contatto gli utenti ciechi con un network di volontari vedenti che, attraverso una videochiamata, “prestano” i loro occhi per osservare e descrivere ciò che osservano attraverso la videocamera del dispositivo.
In un futuro non troppo lontano, dei volontari potrebbe però non esserci più bisogno. Be My Eyes sta infatti sviluppando una versione beta dell’applicazione che si appoggia a un assistente virtuale basato su GPT-4, la più recente versione del modello di intelligenza artificiale di Open Ai. GPT-4, a differenza del predecessore GPT-3.5, è infatti un sistema multimodale: come input può accettare non solo il testo ma anche le immagini, di cui può scansionare i contenuti per contestualizzarli in risposta a un comando scritto.
La funzione sviluppata da Be My Eyes grazie a questa capacità si chiama, senza troppa fantasia, Virtual Volunteer. Gli utenti, invece di videochiamare un volontario in carne e ossa, possono mandare un’immagine a quello virtuale basato sull’IA, che poi risponde alle domande degli utenti relative al contenuto della foto.
“Abbiamo avuto accesso [a GPT-4] da poco, ma abbiamo già visto prestazioni senza paragoni rispetto a qualsiasi sistema di riconoscimento delle immagini e degli oggetti esistente”, ha detto Michael Buckley, CEO di Be My Eyes. “Le implicazioni per l’accessibilità a livello globale sono profonde. In un futuro non lontano, la comunità dei ciechi e degli ipovedenti utilizzerà questi strumenti non solo per esigenze di interpretazione visiva, ma anche per raggiungere un maggior grado di indipendenza nella propria vita”.
Gli sviluppatori di Be My Eyes hanno iniziato a sperimentare l’inclusione di GPT-4 nell’app a inizio febbraio. I risultati ottenuti finora e il feeback dei beta-tester sono stati così positivi da convincere la startup ad accelerare i tempi di rilascio della nuova funzione, che già nei prossimi mesi potrebbe essere aperta a tutti gli utenti. L’assistente virtuale non sostituirà gli umani, ma sarà semplicemente una delle opzioni disponibili nell’applicazione.
“Ciò che distingue lo strumento del Volontario Virtuale dalle altre tecnologie di interpretazione delle immagini oggi disponibili è il contesto, con un livello più profondo di comprensione e capacità di conversazione mai visto prima nel campo degli assistenti digitali”, ha spiegato la startup in un post di presentazione della nuova funzione. “Ad esempio, se un utente invia una foto dell’interno del proprio frigorifero, il Virtual Volunteer non solo sarà in grado di identificare correttamente il contenuto, ma anche di estrapolare e analizzare cosa si può preparare con quegli ingredienti. Lo strumento può anche offrire una serie di ricette e inviare una guida passo-passo su come prepararle”.
