Deteção de conteúdo de IA
Este guia explica o Relatório de Deteção de Conteúdo de IA da DrillBit - o PDF descarregável que a DrillBit gera quando um documento é verificado à procura de texto gerado por IA. O relatório estima que proporção do documento submetido apresenta padrões de IA, decompõe essa estimativa bloco a bloco e reproduz o documento original com as frases detetadas realçadas a azul e o conteúdo excluído manualmente em creme pálido. Todos os relatórios de IA usam a mesma estrutura de quatro secções, independentemente do resultado, e o resto deste guia percorre cada parâmetro que irá ver.
A deteção de IA é probabilística, não definitiva: a Deteção de Conteúdo de IA da DrillBit produz uma estimativa, não um veredicto. Mesmo com uma percentagem elevada de texto de IA detetado, o resultado é um indício de que algumas secções podem ter sido escritas ou assistidas por uma ferramenta de IA - não é prova. Use o relatório em conjunto com o juízo humano e o contexto do documento, nunca como única fonte de verdade.
Ao longo deste guia é usado sempre o mesmo relatório real como exemplo: a submissão 5964872, um documento de 384 palavras com 33,85 % de texto de IA detetado, em que um dos seus dois blocos foi excluído manualmente da pontuação.
Como ler um relatório de Deteção de Conteúdo de IA
O relatório de Deteção de Conteúdo de IA da DrillBit é um PDF de várias páginas. A primeira página é um resumo de relance: a pontuação principal, a sua posição numa escala de 0 a 100 %, os metadados da submissão e o gráfico de composição do conteúdo. A segunda página decompõe a pontuação bloco a bloco e explica a metodologia. Todas as páginas seguintes reproduzem o texto original do documento com as frases detetadas realçadas. É assim que o relatório se apresenta de ponta a ponta enquanto o percorre:
O relatório está organizado assim, nesta ordem: um cabeçalho de relatório repetido em cada página; o valor principal Texto de IA Detetado com a sua barra Posição na Escala; 01 Informação da Submissão; 02 Composição do Conteúdo; um painel QR / Ajuda de Integridade de IA; 03 Análise de Conteúdo de IA - Nível de Bloco; 04 Como interpretar este relatório; e, por fim, o Conteúdo do Documento Realçado. O resto deste guia percorre cada parâmetro de cada secção.
Cabeçalho e rodapé do relatório
Todas as páginas têm o mesmo cabeçalho e rodapé, para que um relatório impresso ou parcialmente partilhado possa sempre ser associado à sua submissão. O cabeçalho mostra o logótipo DrillBit à esquerda e Relatório de Deteção de Conteúdo de IA com o ID de Submissão à direita; o rodapé repete DrillBit - Deteção de Conteúdo de IA junto ao mesmo ID de Submissão. Indique esse ID sempre que abrir um pedido de apoio - é a forma mais rápida de a equipa localizar o relatório exato.
Texto de IA Detetado e Posição na Escala
O bloco principal fica no topo da capa e divide-se em duas metades. À esquerda está o valor Texto de IA Detetado (%) - o número mais importante do relatório. À direita, a barra Posição na Escala coloca esse mesmo valor num intervalo de 0 a 100 % para que veja de relance onde se situa o documento. Observe a pontuação a subir e depois a escala a preencher-se com o seu marcador de valor:
- Texto de IA Detetado (%): a proporção do conteúdo analisado que apresenta padrões gerados por IA, com duas casas decimais. É o resultado principal do relatório - uma estimativa estatística do sinal de padrão de IA, não uma contagem de frases comprovadamente geradas por IA.
- Correspondência de n palavras com sinal de padrão de IA: a contagem absoluta de palavras por trás da percentagem. Lida em conjunto com a percentagem indica a escala do achado: 33,85 % deste documento de 384 palavras são 130 palavras, aproximadamente um parágrafo longo. A mesma percentagem numa tese de 20 000 palavras seriam quase 7000 palavras e um achado bem mais grave.
- Posição na Escala: uma barra de 0 a 100 % com a posição da pontuação preenchida e assinalada com uma etiqueta de valor. Não acrescenta dados - existe para que o resultado continue imediatamente legível num relatório impresso ou numa apresentação, sem que o leitor tenha de situar mentalmente o número num intervalo.
Como usar a percentagem de Texto de IA Detetado de forma responsável: trate qualquer valor como um motivo para investigar mais, não como uma conclusão. Compare as frases assinaladas com o resto do documento quanto à coerência estilística, pergunte ao autor sobre o seu processo de escrita quando for apropriado e considere o contexto (por exemplo, se o trabalho permitia assistência de IA) antes de tirar qualquer conclusão.
01 Informação da Submissão
Este bloco regista a identidade do documento e da pessoa que o submeteu. Cada campo é captado no momento do carregamento e não pode ser editado depois. Veja a animação abaixo enquanto cada campo é explicado:
- Nome do autor: o nome introduzido para o autor do documento no momento da submissão.
- Título: o título do documento tal como foi indicado no carregamento. Aparece em cada cópia descarregada do relatório.
- ID de Documento / Submissão: o identificador numérico único que a DrillBit atribui à submissão. Repete-se no cabeçalho e no rodapé de cada página.
- Submetido por: o endereço de e-mail da conta que carregou o documento.
- Data de submissão: a marca temporal de receção do documento, registada no formato
AAAA-MM-DD HH:MM:SS. - Tipo de documento: o tipo de fonte detetado pela DrillBit - por exemplo e-Book, tese, trabalho, artigo ou sinopse.
- Idioma: o perfil de idioma usado para analisar o documento. Os limiares de deteção são calibrados por idioma, pelo que este campo indica que perfil produziu a pontuação.
- Texto [Páginas, Frases, Palavras]: três contagens num único campo, sempre por esta ordem - aqui
[2, 43, 384]significa 2 páginas, 43 frases e 384 palavras de texto extraído. A contagem de palavras é o denominador de tudo o resto no relatório: a linha "correspondência de n palavras", as três percentagens da Composição do Conteúdo e cada valor por bloco são quotas destas 384 palavras.
Verifique primeiro a contagem de palavras: se Texto [Páginas, Frases, Palavras] for muito menor do que o documento submetido, a DrillBit só conseguiu extrair parte do texto - normalmente porque o ficheiro contém imagens digitalizadas em vez de texto selecionável. A percentagem é então calculada sobre esse extrato menor, por isso volte a submeter uma versão em texto antes de agir com base no resultado.
02 Composição do Conteúdo
Esta secção divide o documento analisado em três partes mutuamente exclusivas e mostra-as como um gráfico de anel com a legenda correspondente. A nota no canto - As cores correspondem ao realce no documento - é o pormenor importante: as cores aqui usadas são as mesmas que realçam o texto mais à frente no relatório, pelo que o gráfico e as páginas concordam visualmente. Observe o anel a desenhar os seus três segmentos e cada linha da legenda a preencher-se:
- Escrito por humanos - conteúdo original ou não assinalado (cinzento, 43,49 %): tudo o que o detetor não assinalou. Repare bem na formulação: trata-se de conteúdo que não apresentou sinal de padrão de IA, o que não é o mesmo que conteúdo comprovadamente escrito por uma pessoa.
- Texto de IA - realçado a azul no documento (azul, 33,85 %): a parte assinalada. Este valor é sempre igual ao valor principal Texto de IA Detetado (%) e é a parte que verá realçada a azul nas páginas do documento.
- Excluído - conteúdo excluído manualmente (âmbar, 22,66 %): conteúdo que um revisor ou as definições da pasta retiraram da análise, pelo que não conta para nenhum dos outros dois valores. Quando indica 0,00 % nada foi excluído e a pontuação cobre todo o documento extraído; aqui é 22,66 %, pelo que quase um quarto do documento fica fora do cálculo.
O conteúdo excluído é retirado da pontuação, não do documento: os 22,66 % deste exemplo foram na mesma analisados - simplesmente não contam para o Texto de IA Detetado. Assim, os 33,85 % principais descrevem apenas o conteúdo incluído. Sempre que Excluído for superior a zero, verifique o que foi retirado e certifique-se de que essa remoção era apropriada: uma pontuação alta num documento largamente excluído assenta numa base de texto muito menor do que o valor principal sugere.
Os três valores somam sempre 100 %: Escrito por humanos + Texto de IA + Excluído cobre todo o documento analisado - aqui 43,49 + 33,85 + 22,66 = 100. Se num relatório que esteja a ler os três não somarem 100, algo correu mal na extração e vale a pena repetir a análise.
Código QR e Ajuda de Integridade de IA
A parte inferior da capa inclui um painel com um código QR digitalizável e uma secção Ajuda de Integridade de IA. Digitalizar o código QR abre o mesmo relatório num dispositivo móvel, o que é útil para mostrar um resultado numa reunião presencial sem reencaminhar o ficheiro. Ao lado há dois links de referência permanentes: Centro de Ajuda de IA (drillbitglobal.com/ai-content-detection) para guias, políticas e boas práticas, e Metodologia de Deteção (drillbitglobal.com/ai-method) para a explicação técnica de como a pontuação é produzida. Vale a pena enviar ambos ao autor junto com o relatório, para que a conversa parta de um entendimento comum do que o número significa.
03 Análise de Conteúdo de IA - Nível de Bloco
A percentagem principal é um único número para todo o documento; esta secção mostra como a DrillBit lá chegou. O detetor divide o texto extraído em blocos - trechos contíguos de conteúdo - e pontua cada bloco separadamente. Quatro cartões de resumo ficam por cima de uma tabela com uma linha por bloco. Neste relatório um bloco foi incluído e outro excluído, pelo que a animação mostra também como uma linha excluída é assinalada:
Os quatro cartões de resumo leem-se assim:
- Blocos totais: em quantos blocos o texto extraído foi dividido - aqui 2.
- Blocos incluídos: quantos desses blocos contribuíram para a pontuação de IA - aqui 1.
- Blocos excluídos: quantos ficaram de fora do cálculo - aqui 1. Quando nada foi excluído indica 0 e Blocos incluídos é igual a Blocos totais.
- Excluído (%): a quota de conteúdo que os blocos excluídos representam, mostrada a âmbar. O âmbar é usado de forma consistente para exclusão em todo o relatório - a mesma cor assinala o segmento Excluído na Composição do Conteúdo, a linha excluída na tabela e as passagens excluídas nas páginas do documento.
A tabela por baixo dos cartões tem uma linha por bloco, com estas colunas:
- Bloco: o número do bloco. Estes números não são apenas etiquetas - reaparecem como pequenos marcadores numerados nas páginas do documento, para que localize exatamente onde cada bloco começa no texto.
- Frases e Palavras: o tamanho desse bloco, quantas frases e palavras contém. Dizem respeito apenas aos trechos assinalados e excluídos, pelo que não somam os totais de Texto [Páginas, Frases, Palavras]: o restante não assinalado do documento não é um bloco e não tem linha. Aqui as duas linhas cobrem 217 das 384 palavras do documento; as outras 167 são a parte Escrita por humanos.
- Correspondência de IA (%): a quota desse bloco no total de palavras do documento, mostrada como valor e como barra proporcional - as 130 palavras do bloco 1 são 33,85 % de 384, e as 87 palavras do bloco 2 são 22,66 %.
- Estado: Incluído ou Excluído, indicando se a linha alimentou a pontuação principal. As linhas excluídas são sombreadas a creme com margem âmbar e distintivo âmbar, sendo fáceis de descartar ao ler a tabela.
- Notas: a linha por baixo da tabela reformula as exclusões por palavras - aqui 1 blocos (87 palavras) excluídos da pontuação de IA - para que a dimensão do que foi retirado seja indicada em palavras e não apenas em percentagem.
As linhas fecham as contas - use isso para verificar o relatório: a Correspondência de IA (%) de cada linha incluída soma o valor Texto de IA Detetado da capa, e cada linha excluída soma o valor Excluído. Neste relatório a correspondência é de um para um em ambos os sentidos: os 33,85 % do bloco 1 são a pontuação principal e os 22,66 % do bloco 2 são o valor Excluído. Se precisar de confirmar de onde veio um valor principal, a tabela de blocos é a aritmética por trás dele.
Leia os blocos antes do valor principal: dois documentos podem partilhar a mesma percentagem global por razões muito diferentes - um com o sinal repartido uniformemente por vários blocos, outro com um único bloco grande a concentrar quase tudo. O segundo padrão aponta-lhe diretamente a secção que vale a pena rever, algo que o valor principal por si só não consegue fazer.
04 Como interpretar este relatório
A secção final da página de análise explica a metodologia da DrillBit em três partes curtas. Vale a pena lê-la uma vez para saber o que a pontuação mede e, igualmente importante, por que motivo pode diferir do resultado de outra ferramenta. A animação percorre cada parte e os sinais que a sustentam:
Como funciona a deteção. A DrillBit combina métodos consolidados de deteção de IA - análise de perplexidade (quão previsível é a palavra seguinte, já que o texto de IA tende a ser mais uniforme do que o humano), medição de variabilidade (quanto variam o comprimento e a complexidade das frases, já que a escrita humana é mais irregular) e perfilagem estilométrica (impressões digitais de estilo mensuráveis) - com técnicas proprietárias desenvolvidas internamente. Sobre isso, o motor avalia quatro camadas analíticas adicionais:
- A hierarquia da escrita: como as ideias estão organizadas e progridem ao longo do documento.
- O padrão de composição: estrutura frásica, transições e construções recorrentes.
- A priorização de palavras: a ordem, o peso e a colocação dos termos-chave.
- A composição técnica: consistência de formatação e uniformidade estrutural em todo o documento.
Por que as pontuações variam entre ferramentas. Os sistemas de deteção diferem em características, dados de treino e regras de pontuação, pelo que a variação entre ferramentas é esperada e não sinal de que uma esteja errada. Certos estilos de escrita - texto formal, traduzido ou baseado em modelos - podem produzir sinais elevados em qualquer sistema, porque esses estilos partilham realmente propriedades estatísticas com o texto gerado. O relatório de exemplo ilustra-o bem: uma especificação de requisitos composta por cláusulas curtas, uniformes e numeradas é exatamente o tipo de escrita baseada em modelos que eleva o sinal. Uma pontuação elevada num documento assim reflete o perfil estatístico real da escrita, e é precisamente por isso que o resultado exige uma leitura humana em vez de uma conclusão automática.
Como usar este relatório. O relatório foi concebido como base probatória para avaliar a autoria: identifica as secções que merecem exame mais atento e mostra a base analítica de cada uma. As decisões finais cabem ao revisor, ponderadas em conjunto com rascunhos, trabalhos anteriores e qualquer outro material de apoio.
Conteúdo do Documento Realçado
Depois das páginas de análise, o resto do relatório é uma reprodução fiel do documento original com o conteúdo detetado realçado nas mesmas cores do gráfico de Composição do Conteúdo: azul para Texto de IA e creme pálido para conteúdo excluído manualmente. As frases apresentadas sem realce são a parte Escrita por humanos não assinalada. Pequenos marcadores numerados indicam onde começa cada bloco de análise, pelo que a tabela de blocos da página anterior corresponde diretamente ao texto:
Como usar a secção de conteúdo realçado:
- Associe as cores ao gráfico. O azul são os 33,85 % de Texto de IA, o creme são os 22,66 % Excluídos e tudo o que não está realçado são os 43,49 % Escritos por humanos. Ler as páginas é, assim, uma verificação visual dos valores da capa.
- Use os marcadores de bloco para navegar. O pequeno marcador numerado corresponde a uma linha da tabela de blocos, pelo que um bloco com Correspondência de IA (%) elevada pode ser encontrado de imediato no texto em vez de percorrer todas as páginas.
- Leia as frases realçadas no contexto. O texto assinalado tem muitas vezes um ritmo, vocabulário ou grau de formalidade visivelmente diferentes da escrita à volta. Ler o documento seguido, em vez de saltar entre realces, costuma tornar qualquer contraste mais fácil de detetar.
- Repare na densidade, não apenas na percentagem. O peso visual do azul nestas páginas deve concordar com o valor da capa e com os números por bloco. Se não concordar - por exemplo, pontuação alta mas muito pouco realce visível - verifique o campo Texto [Páginas, Frases, Palavras], já que a causa habitual é uma extração parcial do texto.
- Use os realces como ponto de partida para a conversa, sobretudo com trabalhos de estudantes. Pedir ao autor que explique uma passagem assinalada por palavras suas costuma esclarecer se foi escrita por ele, parafraseada de outra fonte ou gerada.
Ler um relatório de IA rapidamente: comece pelo valor principal e pela contagem de palavras correspondentes para aferir a escala do achado. Verifique se Excluído é superior a zero, já que a pontuação cobre apenas o conteúdo incluído. Depois leia a tabela de blocos para ver se o sinal está concentrado ou disperso. Só então abra as páginas do documento e leia as passagens assinaladas no contexto - e lembre-se sempre de que o resultado é um indício probabilístico, não uma prova.