Fala para texto

Aviso

A função de conversão de fala para texto não funciona com a versão 21.04.2 devido a problemas com a API Vosk. Use a versão 21.04.1 ou 21.04.3 e versões posteriores.

Antes de usar a função de conversão de fala em texto, ela precisa ser configurada corretamente e os modelos de fala instalados. Consulte o capítulo Configurar fala para texto.

Dica

Embora seja possível configurar e instalar o VOSK e o Whisper para reconhecimento de voz, o motor selecionado na seção de configuração Fala para texto será usado para reconhecimento de voz na próxima vez que você utilizar este recurso. Você pode alternar entre eles durante a edição e usar motores diferentes para diferentes finalidades. O widget do editor de fala possui uma entrada de menu para acesso rápido à seção de configuração, evitando o caminho Menu –> Configurações –> Configurar Kdenlive –>`Fala para texto

Reconhecimento de fala

Existem dois casos de uso para o reconhecimento de fala:

  1. Criação automática de legendas

  2. Criação de transcrições e a capacidade de adicionar clipes à linha do tempo com base na transcrição

Criando legendas usando o reconhecimento de voz VOSK

Se ainda não foi criada, adicione uma faixa de legenda clicando no ícone add-subtitleFerramenta de edição de legenda na barra de ferramentas da linha do tempo (6).

../_images/s2t_subs_vosk_2412.webp

Geração automática de legendas usando o motor VOSK

1:

tools-wizardReconhecimento de fala. Clique aqui para abrir a janela Legendas automáticas.

2:

Zona da linha do tempo. Mais detalhes sobre zonas da linha do tempo podem ser encontrados no capítulo Régua da linha do tempo.

3:

Escolha qual parte da linha do tempo deve ser usada para o reconhecimento de fala.

4:

Processar. Clique para iniciar o reconhecimento

5:

Modelo. Selecione o modelo para o idioma das legendas. Você pode instalar mais modelos na seção de configuração da Fala para texto.

6:

add-subtitleFerramenta de edição de legendas. Clique para abrir ou fechar a faixa de legendas.

Passos para criar legendas usando o reconhecimento de voz VOSK

(Os números entre parênteses indicam o elemento da interface gráfica na captura de tela acima):

  1. tools-wizardReconhecimento de fala (1). Clique aqui para abrir a janela de Legendas automáticas.

  2. Se necessário, defina uma zona de linha do tempo (2) para a qual deseja usar o reconhecimento de voz. Mais detalhes sobre zonas de linha do tempo podem ser encontrados no capítulo Régua da linha do tempo.

  3. Modelo (5). Selecione o modelo para o idioma das legendas. Você pode instalar mais modelos na seção de configuração da Fala para texto.

  4. Escolha qual parte da linha do tempo deve ser usada para reconhecimento de fala (3)

  5. Processar (4). Clique para iniciar a criação da legenda.

A legenda é criada e inserida automaticamente.

Observação sobre o passo 4: Por padrão, a análise é feita apenas na Zona da linha do tempo (todas as faixas) (2 na captura de tela acima). Defina a zona da linha do tempo para qual você deseja analisar (use I e O para definir os pontos de entrada e saída). A opção Clipes selecionados analisa apenas o clipe selecionado.

Criando legendas usando o reconhecimento de voz WHISPER

Se ainda não foi criada, adicione uma faixa de legenda clicando no ícone add-subtitleFerramenta de edição de legenda na barra de ferramentas da linha do tempo (11).

../_images/s2t_subs_whisper_2412.webp

Geração automática de legendas usando o motor Whisper

1:

tools-wizardReconhecimento de fala. Clique aqui para abrir a janela Legendas automáticas.

2:

Zona da linha do tempo. Mais detalhes sobre zonas da linha do tempo podem ser encontrados no capítulo Régua da linha do tempo.

3:

Escolha qual parte da linha do tempo deve ser usada para o reconhecimento de fala.

4:

Modelo. Selecione o modelo para o idioma das legendas. Você pode instalar mais modelos na seção de configuração da Fala para texto.

5:

Processar. Clique para iniciar o reconhecimento

6:

Idioma. O padrão é Detecção automática. Altere para o idioma correto caso não seja detectado corretamente.

7:

Número máximo de caracteres por linha. Define quantos caracteres por linha são permitidos antes da inserção de uma quebra de linha.

8:

Traduzir com SeamlessM4T. Marcar esta opção adiciona dois campos de seleção: um para o Idioma de entrada e outro para o Idioma de saída. Isso requer que a tradução com SeamlessM4T esteja habilitada nas configurações (Menu ‣ Configurações ‣ Configurar Kdenlive ‣ Fala para texto). Consulte o capítulo sobre Fala para Texto.

9:

Traduzir para inglês. Selecione esta opção para usar o Whisper para a tradução para inglês.

10:

add-subtitleFerramenta de edição de legendas. Clique para abrir ou fechar a faixa de legendas.

Passos para criar legendas usando o reconhecimento de voz VOSK

(Os números entre parênteses indicam o elemento da interface gráfica na captura de tela acima):

  1. tools-wizardReconhecimento de fala (1). Clique aqui para abrir a janela de Legendas automáticas.

  2. Se necessário, defina uma zona de linha do tempo (2) para a qual deseja usar o reconhecimento de voz. Mais detalhes sobre zonas de linha do tempo podem ser encontrados no capítulo Régua da linha do tempo.

  3. Modelo (5). Selecione o modelo para o idioma das legendas. Você pode instalar mais modelos na seção de configuração da Fala para texto.

  4. Escolha qual parte da linha do tempo deve ser usada para reconhecimento de fala (3)

  5. Processar (4). Clique para iniciar a criação da legenda.

A legenda é criada e inserida automaticamente.

Observação sobre o passo 4: Por padrão, a análise é feita apenas na Zona da linha do tempo (todas as faixas) (2 na captura de tela acima). Defina a zona da linha do tempo para qual você deseja analisar (use I e O para definir os pontos de entrada e saída). A opção Clipes selecionados analisa apenas o clipe selecionado.

Traduzir com o SeamlessM4T

../_images/s2t_subs_whisper_SM4T_1_2412.webp

Traduzindo com o SeamlessM4T

Selecione Idioma de entrada e Idioma de saída e clique em Processar.

Primeiro, o áudio será processado usando o Whisper, e em seguida, a tradução SeamlessM4T será iniciada. A tradução pode consumir 100% da RAM, 100% da CPU e 100% do acesso ao disco.

Atenção

Se o modelo de 9 GB ainda não foi baixado, ele será baixado agora. Com uma velocidade de download de 100 MB/s, isso levará cerca de 12 minutos!

Durante o download, o Kdenlive funcionará normalmente. Não clique em Fechar, caso contrário o download será interrompido.

../_images/s2t_subs_whisper_SM4T_2_2412.webp

Não se preocupe se vir uma mensagem como esta na caixa abaixo: Inicializando o modelo de tradução enquanto o download estiver em andamento.

Dependendo da sua conexão de internet e da largura de banda, o download do modelo pode demorar bastante (cerca de 12 minutos com velocidade de download de 100 MB/s).

Assim que o modelo de tradução for baixado, a tradução será iniciada.

Criação de vídeos usando reconhecimento de voz

Isso é útil para entrevistas e outras gravações relacionadas à fala. Acesse o widget do editor de fala. Se ainda não estiver ativado, ative-o através de Menu ‣ Exibir ‣ Editor de fala.

Nota

O uso do reconhecimento de voz para criar transcrições e, a partir delas, gerar trechos de vídeo, só é possível com os trechos presentes na Cesta do projeto.

../_images/speech_editor_2412.webp

Exibido com o motor VOSK e a Pesquisa (10) ativada.

Selecione um clipe na Cesta do projeto.

1:

Se necessário, defina os pontos de entrada e saída no Monitor de clipe e marque a opção Somente a zona selecionada. Isso transcreverá apenas o texto dentro dessa zona.

2:

Clique em application-menuMenu hambúrguer e escolha o modelo para o idioma correto quando o motor VOSK estiver configurado para reconhecimento de voz. Se o motor Whisper estiver selecionado, você pode selecionar Traduzir para inglês, se necessário. Você seleciona o motor de reconhecimento de voz em Menu ‣ Configurações ‣ Configurar Kdenlive ‣ Fala para texto. Clique em Configurar reconhecimento de voz para abrir a seção de configuração da fala para texto. Para obter mais detalhes sobre a configuração, consulte o capítulo Configurar fala para texto.

3:

Pressione o botão Transcrever.

4:

Selecione o texto desejado. Mantenha pressionada a tecla CTRL ou Shift para selecionar vários textos.

5:

Criar nova sequência com edição cria uma nova sequência com cada texto de código de tempo como um clipe individual. Inserir seleção na linha do tempo cria clipes para cada texto de código de tempo selecionado, começando na posição do cursor de reprodução. Salvar texto editado em um arquivo de lista de reprodução cria um recurso na cesta do projeto com todo o texto transcrito.

6:

format-font-size-moreAumentar o tamanho da fonte e format-font-size-lessDiminuir o tamanho da fonte diminuem, respectivamente, o tamanho da fonte.

7:

bookmark-newAdicionar marcador adiciona um marcador/guia para o código de tempo do texto selecionado. Mais detalhes sobre Marcadores da linha do tempo e Marcadores estão disponíveis no capítulo sobre Marcadores da linha do tempo.

8:

edit-deleteExcluir seleção apaga o texto selecionado.

9:

Remover zonas sem fala exclui todas as entradas “Sem fala” de uma só vez.

10:

edit-findPesquisar no texto alterna o campo de pesquisa. Digite o texto que deseja encontrar na transcrição. A pesquisa não diferencia maiúsculas de minúsculas e encontra todas as ocorrências da sequência, mesmo dentro de palavras. go-up e go-down navegam para a próxima ocorrência do termo de pesquisa. Se o campo de pesquisa ficar em vermelho, você chegou à última ocorrência do termo de pesquisa no texto.

Detecção de silêncio

Nota

Isso funciona apenas com o motor VOSK.

Selecione o clipe na Cesta do projeto e abra a janela do editor de fala (Menu ‣ Exibir ‣ Editor de fala).

Clique em application-menuMenu hambúrguer e escolha o modelo para o seu idioma. Se o modelo correto não estiver listado, clique em Configurar reconhecimento de fala. Para obter detalhes sobre como adicionar modelos para o motor VOSK, consulte o capítulo sobre Plugins.

Em seguida, clique no botão Iniciar reconhecimento.

Feito isso, escolha a opção 6 acima para remover imediatamente as zonas sem fala. Ou clique no código de tempo onde “Sem fala” é indicado (mantenha pressionada a tecla Ctrl para selecionar vários itens de uma só vez) e pressione a tecla Delete.

Repita a operação para todas as partes que deseja remover, incluindo os trechos onde alguém menciona algo que você não quer incluir na sua edição final.

Após concluir, certifique-se de que a opção Somente a zona selecionada esteja desativada, clique no botão Salvar texto editado em um arquivo de lista de reprodução (acima, no ponto 5) e, após alguns segundos, uma nova lista de reprodução será adicionada à cesta do projeto, sem o silêncio e sem o texto indesejado.