Estudo de caso - Aulas de inglês a partir do jogo na sua tela
O Looté é um app iOS para gamers brasileiros que estão aprendendo inglês. Ele lê a tela do jogo, explica cada fala no contexto da cena e transforma o que você salva em flashcards com repetição espaçada.
- Cliente
- Looté
- Ano
- Serviço
- Desenvolvimento iOS, IA aplicada
Visão geral
Inglês a partir da tela do jogo que você já está jogando
O Looté é um app iOS para gamers brasileiros que estão aprendendo inglês. Você fotografa ou compartilha uma tela do jogo, o Vision encontra o texto e o agrupa em frases, e um toque numa frase ou numa palavra explica o que ela quer dizer naquela cena. Ele está na App Store.
O que você salva vira um flashcard que guarda o print de onde veio, e a aba Revisar agenda esses cards com SM-2. O app é escrito em português, com localizações em inglês e espanhol, e quem fala espanhol recebe as explicações em espanhol.
- OCR com Vision
- Tradução do iOS
- Modelo no aparelho
- Nuvem da Apple
- Flashcards com SM-2
- Português, inglês, espanhol
Como funciona
Cada resposta mostra quem a escreveu
Toque, explicação, palavra
Tradução do iOS
Com os idiomas inglês e português instalados, o framework Translation traduz todas as frases assim que o print é capturado, então o toque já abre com a tradução pronta.
Modelo no aparelho
Os Foundation Models da Apple explicam o registro, o sentido na cena, um exemplo e uma nota. Funciona sem internet, mas leva alguns segundos, e é o que o plano grátis usa nos toques e nos resumos de cena.
Nuvem da Apple
O Private Cloud Compute escreve o resumo da sessão, porque uma fila inteira de prints não cabe no contexto do modelo no aparelho. Para quem é Pro, ele também cuida dos resumos de cena e dos toques. No limite diário, tudo passa sozinho para o modelo no aparelho.
Uma caixa de entrada para prints
Uma extensão de compartilhamento recebe até 20 imagens pela folha de compartilhar de qualquer app e as guarda numa caixa de entrada, sem abrir o Looté. Depois o app percorre essas imagens como uma fila, um print por vez.
Repetição espaçada
Salvar uma frase ou uma palavra cria um card com o print. A aba Revisar agenda os cards com SM-2, e a Progresso mostra a sequência de dias, as revisões por dia e os cards aprendidos e maduros.
Looté Pro
O Pro, vendido pelo RevenueCat, libera a fila de dois ou mais prints com o resumo da sessão, o modo Completo, em que a nuvem da Apple responde tudo, e mais de 100 cards salvos.
Produto
Do print ao deck
Capturar
Nuvem da Apple
No aparelho
Palavra
Contexto da cena
Fila, 3 de 5
Resumo da sessão
Revisar
Progresso
Conheça o Automático
Stack e prova
Frameworks da Apple e uma dependência
Tradução do iOS, modelo no aparelho e nuvem da Apple
Imagens por envio, de qualquer app, salvas na caixa de entrada
Interface em português, inglês e espanhol
Cards salvos antes de o Pro ser necessário
Tecnologias
- Swift
- SwiftUI
- SwiftData
- Vision
- Translation
- Foundation Models
- Private Cloud Compute
- Share Extension
- App Groups
- AVSpeechSynthesizer
- RevenueCat
- Swift Testing
O reconhecimento de texto do Vision lê cada print, e um agrupador puro, com testes unitários, transforma as linhas em frases. O SwiftData guarda jogos, cards e o histórico de revisões. A extensão de compartilhamento não divide código com o app, só uma pasta de App Group. O Swift Testing cobre o agendador SM-2, o agrupador e o OCR de todas as cenas de exemplo.