Como fazer a IA funcionar em 22 idiomas

Vineet Sawant passou os últimos dois anos navegando pelas ruas de Mumbai em uma scooter como motorista de entrega.
“Estar na estrada é sempre muito estressante e, especialmente, em cidades como Mumbai”, diz ele.
Mas quando ele começou as barreiras linguísticas era um problema adicional.
Sua primeira língua é Marathi e Sawant fala “muito pouco” inglês. “Eu posso entender, mas é muito difícil de ler”, explica ele.
Isso causou problemas em seu novo emprego.
Ele disse: “No começo, foi difícil. Tudo estava em inglês, e eu posso entender um pouco disso, mas estou mais confortável em Marathi. Eu costumava pedir a outros entregadores para me ajudar a descobrir o que fazer”.
Seu empregador, Zepto, promete “a entrega de supermercado on -line mais rápida da Índia”. Portanto, ter motoristas lutando com as instruções de entrega não era ideal.
Para suavizar esse processo há um ano, a Zepto fez uma parceria com a Reverie Language Technologies para introduzir um serviço de tradução de IA para seus motoristas.
Desde então, seus drivers de entrega foram capazes de escolher entre seis idiomas no aplicativo Zepto.
“Não preciso mais adivinhar”, diz Sawant.
“Anteriormente, eu levava mais tempo para ler e às vezes até cometeu erros. Agora, se o cliente escrever ‘anel sino’, recebo essa instrução em Marathi. Então, não preciso perguntar ou verificar novamente. Está tudo claro.”
A Índia possui 22 idiomas oficiais e centenas de dialetos (Getty Images)
As dificuldades do Sr. Sawant são comuns.
“A Índia possui 22 idiomas oficiais e centenas de dialetos”, diz o professor Pushpak Bhattacharyya, do IIT Mumbai, um dos principais especialistas da Índia no uso da IA nos idiomas indianos.
“Sem tecnologia, isso entende e fala esses idiomas, milhões são excluídos da Revolução Digital – especialmente em educação, governança, saúde e bancos”, ressalta.
O lançamento de novos sistemas generativos de IA, como o ChatGPT, tornou a tarefa mais urgente.
Vastas quantidades de dados, como páginas da web, livros ou transcrições de vídeo são usadas para treinar uma IA.
Em línguas amplamente faladas como hindi e inglês, é relativamente fácil de obter, mas para outros é mais difícil.
“O principal desafio para criar modelos de idiomas indianos é a disponibilidade de dados. Estou falando de dados refinados. Dados de qualidade grossa está disponível. Mas esses dados não são de alta qualidade, ele precisa de filtragem”, diz o professor Bhattacharyya.
“A questão na Índia é para muitos idiomas indianos, especialmente dialetos tribais e regionais, esses dados simplesmente não existem ou não são digitalizados”.
A Reverie Language Technologies está agora implantando sua tecnologia de tradução orientada à IA para uma variedade de empresas indianas.
O co-fundador Vivekananda Pani diz que, embora a tecnologia de tradução facilite a comunicação, há “potencial para que os dialetos menos comuns sejam deixados de lado”.
“O desafio será garantir que os benefícios surpreendentes dos avanços de idiomas orientados a IA não diminuam acidentalmente a rica variedade de linguagem humana”.
Para ajudar a enfrentar o problema, o professor Bhattacharyya tem Contribuiu para BhashiniUm projeto do governo para desenvolver os conjuntos de dados de alta qualidade necessários para treinar uma IA.
Além dos conjuntos de dados, a Bhashini construiu modelos de idiomas e serviços de tradução em 22 idiomas.
Começou em 2022, é um empreendimento enorme, mas já fez muito progresso.
Atualmente, a Bhashini hospeda 350 modelos de idiomas baseados em IA que processaram mais de um bilhão de tarefas.
Mais de 50 departamentos governamentais trabalham com a Bhashini, bem como 25 governos estaduais.
Por exemplo, a Bhashini Tech é usada em chatbots multilíngues para serviços públicos e para traduzir esquemas do governo em idiomas locais.
“A Bhashini garante que a representação linguística e cultural da Índia construindo modelos de IA específicos da Índia, em vez de depender de plataformas globais”, diz Amitabh Nag, CEO da Digital India, Divisão Bhashini.
Ele espera que, nos próximos dois ou três anos, usuários rurais tenham acesso habilitado para voz a serviços governamentais, ferramentas financeiras e sistemas de informação em seus idiomas nativos.
Pesquisas indianas estão desenvolvendo uma IA para ajudar os fumantes a sair (Getty Images)
Esperamos que esses conjuntos de dados focados na Índia dêem um dia às pessoas que desenvolvem modelos baseados em IA as ferramentas para facilitar muito a adaptação para toda a população.
Atualmente, projetar qualquer programa de IA para lidar com processos complexos como a saúde pode ser extremamente desafiador.
Kshitij Jadhav, professor associado do Koita Center for Digital Health do IIT Mumbai, está trabalhando em um programa de IA que ajudaria as pessoas a deixarem de fumar.
Ele explica que as pessoas em diferentes estágios do processo precisam de conselhos diferentes e geralmente precisam de um humano bem treinado para fazer essa avaliação.
Mas há um número limitado de profissionais que podem ajudar, principalmente aqueles que podem operar em vários idiomas, então o professor Jadhav espera que seu modelo de IA possa preencher a lacuna.
A IA “primeiro identificará o tipo de conversa que a pessoa precisa e, portanto, enquadrará perguntas, mostrará empatia, emoções”, diz o professor Jadhav.
E tudo isso, esperançosamente, acabará sendo feito em 22 idiomas. Experimentos iniciais estão em andamento em inglês e hindi.
“Será muito personalizado, não será algo fora da prateleira”, diz ele.
De volta às ruas da cidade, Vineet Sawant aumentou o número de parcelas que ele oferece de dez para 30 por dia, ajudou em parte pela função de tradução no aplicativo de entrega.
Ele acha que isso ajudará mais pessoas como ele.
“Isso nos faz sentir que pertencemos. Nem todo mundo entende o inglês. Quando o aplicativo fala nosso idioma, nos sentimos mais confiantes e trabalhamos melhor”.