Alternativa ao whisper.cpp ou executá-lo por conta própria?

A maioria das páginas de comparação na internet existe para explicar porque é que a alternativa é pior. Esta não pode, porque a alternativa é aquilo em que a nossa app assenta.

O whisper.cpp é a implementação em C/C++ do Whisper da OpenAI, feita por Georgi Gerganov. Tem licença MIT, é gratuito, está em desenvolvimento ativo e é muito bom. O Offline Transcription usa-o como motor. Quando ganhou deteção de atividade de voz integrada, a nossa app ganhou-a também, porque é o mesmo código.

Por isso, a pergunta honesta não é "qual é melhor". É "quer fazer a montagem por si".

Execute-o por si se… #

Está à vontade num terminal. Tudo se resume a ./build/bin/whisper-cli -m model.bin -f audio.wav. Se esta frase não lhe causa estranheza, está a dez minutos de uma transcrição e não deve pagar a ninguém por isto.

Quer automatizá-lo com scripts. Pastas vigiadas, tarefas cron, encaminhar transcrições para outras ferramentas, transcrever num servidor — é aqui que uma CLI não é apenas mais barata, mas genuinamente melhor. Nenhuma interface gráfica compete com um ciclo de shell em automação.

Quer todos os botões de controlo. Beam size, temperature fallback, prompts personalizados, modelos alternativos, quantizações completamente diferentes. Expomos as definições de que achamos que a maioria das pessoas precisa; o whisper.cpp expõe todas.

O seu orçamento é zero. Totalmente legítimo. É software livre e funciona.

Use a app se… #

Não quer compilar nada. Ter o caminho rápido em Apple Silicon implica compilar com as flags certas e converter o codificador para Core ML com ferramentas em Python. Está documentado e não é difícil, mas continua a ser uma tarde da primeira vez e uma repetição sempre que atualiza. Nós fazemos isso uma vez e distribuímos o resultado.

Quer tê-lo no telemóvel. Há um projeto iOS de exemplo no repositório, e compilá-lo, assiná-lo e instalá-lo no seu próprio dispositivo é uma tarefa real no Xcode que expira com o seu perfil de aprovisionamento, a menos que tenha uma conta de programador. Uma app universal da App Store é outra conversa.

O trabalho está na revisão, não na transcrição. É este o cerne honesto da questão. Tirar texto de áudio é um comando. Encontrar a passagem de que precisa, confirmar um nome contra o áudio, corrigi-lo e exportar legendas é onde o tempo realmente se vai — e uma CLI dá-lhe um ficheiro de texto e deseja-lhe boa sorte. Um navegador de segmentos em que clica numa linha e ouve essa linha não é algo que um terminal consiga fazer.

Outras pessoas precisam de o usar. Colegas, uma equipa de investigação, um editor. "Instale as ferramentas de linha de comandos do Xcode e execute make" não é um método de trabalho que possa entregar a outra pessoa.

Aquilo por que está realmente a pagar #

Não é o modelo — esse é gratuito e público. Não é o motor — esse tem licença MIT e é público.

Está a pagar pelo acabamento: um codificador Core ML compilado e incluído, um modelo quantizado num tamanho que cabe num telemóvel, uma fila, uma escolha de idioma por ficheiro, um navegador de segmentos com reprodução de áudio, sete formatos de exportação e um tratamento de ficheiros longos que mantém a memória estável, para que uma gravação de duas horas não faça o iPhone terminar o processo.

É uma quantidade real de trabalho, e também é perfeitamente razoável decidir que prefere fazê-lo por si, de graça.

Uma nota sobre open source #

Porque a nossa app depende dele: se o whisper.cpp lhe é útil, seja através da nossa app ou diretamente, vale a pena dar uma estrela ao repositório e ler as issues. A razão pela qual a transcrição local ficou boa em hardware de consumo nos últimos anos é, em grande parte, esse projeto e a biblioteca ggml por baixo dele.

Acompanhamo-lo de perto — o nosso artigo sobre como funciona a transcrição no dispositivo é essencialmente uma descrição do que o whisper.cpp faz, porque é isso que está a correr.