Обнаружение ИИ-контента
Это руководство описывает отчёт DrillBit об обнаружении ИИ-контента - загружаемый PDF, который DrillBit формирует при проверке документа на текст, сгенерированный искусственным интеллектом. Отчёт оценивает, какая доля отправленного документа демонстрирует признаки ИИ, разбивает эту оценку по блокам и воспроизводит исходный документ с обнаруженными предложениями, выделенными синим, и вручную исключённым содержимым, выделенным бледно-кремовым. Любой отчёт по ИИ использует одну и ту же структуру из четырёх разделов независимо от результата, а дальше в руководстве разбирается каждый параметр, который вы увидите.
Обнаружение ИИ вероятностно, а не окончательно: обнаружение ИИ-контента в DrillBit даёт оценку, а не вердикт. Даже при высоком проценте обнаруженного ИИ-текста результат остаётся указанием на то, что отдельные фрагменты могли быть написаны при участии ИИ-инструмента, - это не доказательство. Используйте отчёт вместе с человеческим суждением и контекстом документа, но никогда как единственный источник истины.
На протяжении руководства в качестве примера используется один и тот же реальный отчёт: отправка 5964872, документ из 384 слов с показателем 33,85 % обнаруженного ИИ-текста, в котором один из двух блоков вручную исключён из оценки.
Как читать отчёт об обнаружении ИИ-контента
Отчёт DrillBit об обнаружении ИИ-контента - это многостраничный PDF. Первая страница даёт сводку с одного взгляда: основной показатель, его положение на шкале 0-100 %, метаданные отправки и диаграмму состава содержимого. Вторая страница раскладывает показатель по блокам и объясняет методику. Все последующие страницы воспроизводят исходный текст документа с выделенными обнаруженными предложениями. Вот как выглядит отчёт от начала до конца при прокрутке:
Отчёт устроен так, в этом порядке: колонтитул отчёта, повторяющийся на каждой странице; основной показатель Обнаружен ИИ-текст с полосой Положение на шкале; 01 Сведения об отправке; 02 Состав содержимого; панель QR / Помощь по добросовестности ИИ; 03 Анализ ИИ-контента - на уровне блоков; 04 Как интерпретировать этот отчёт; и наконец Выделенное содержимое документа. Далее в руководстве разбирается каждый параметр каждого раздела.
Верхний и нижний колонтитулы отчёта
На каждой странице стоят одинаковые верхний и нижний колонтитулы, поэтому распечатанный или частично переданный отчёт всегда можно соотнести с его отправкой. В верхнем колонтитуле слева логотип DrillBit, справа - Отчёт об обнаружении ИИ-контента и идентификатор отправки; нижний колонтитул повторяет DrillBit - Обнаружение ИИ-контента рядом с тем же идентификатором. Указывайте этот идентификатор при обращении в поддержку - так специалисты быстрее всего найдут нужный отчёт.
Обнаружен ИИ-текст и Положение на шкале
Основной блок расположен в верхней части титульной страницы и разделён на две половины. Слева - показатель Обнаружен ИИ-текст (%), самое важное число отчёта. Справа полоса Положение на шкале размещает то же значение в диапазоне 0-100 %, чтобы с одного взгляда было видно, где находится документ. Посмотрите, как показатель растёт, а затем шкала заполняется с меткой значения:
- Обнаружен ИИ-текст (%): доля проанализированного содержимого с признаками генерации ИИ, приведённая с двумя знаками после запятой. Это основной результат отчёта - статистическая оценка сигнала ИИ-паттернов, а не подсчёт доказанно сгенерированных предложений.
- Совпало n слов с сигналом ИИ-паттернов: абсолютное число слов за процентом. Прочитанное вместе с процентом, оно показывает масштаб находки: 33,85 % этого документа из 384 слов - это 130 слов, примерно длинный абзац. Тот же процент в диссертации на 20 000 слов означал бы почти 7000 слов и куда более серьёзную находку.
- Положение на шкале: полоса 0-100 %, на которой положение показателя закрашено и отмечено меткой значения. Дополнительных данных она не несёт - она нужна, чтобы результат оставался мгновенно читаемым в распечатанном отчёте или презентации, без необходимости мысленно располагать число на шкале.
Как ответственно использовать процент обнаруженного ИИ-текста: относитесь к любому числу как к поводу разобраться глубже, а не как к выводу. Сравните отмеченные предложения с остальным документом на стилистическую однородность, при уместности расспросите автора о процессе написания и учтите контекст (например, допускало ли задание помощь ИИ), прежде чем делать выводы.
01 Сведения об отправке
Этот блок фиксирует данные о документе и о том, кто его отправил. Каждое поле записывается в момент загрузки и позже не редактируется. Посмотрите анимацию ниже, где объясняется каждое поле:
- Имя автора: имя, указанное для автора документа при отправке.
- Название: название документа, заданное при загрузке. Оно появляется на каждой скачанной копии отчёта.
- Идентификатор работы / отправки: уникальный числовой идентификатор, который DrillBit присваивает отправке. Он повторяется в колонтитулах каждой страницы.
- Отправлено: адрес электронной почты учётной записи, загрузившей документ.
- Дата отправки: отметка времени получения документа в формате
ГГГГ-ММ-ДД ЧЧ:ММ:СС. - Тип документа: тип источника, определённый DrillBit, - например электронная книга, диссертация, задание, статья или аннотация.
- Язык: языковой профиль, использованный для анализа документа. Пороги обнаружения калибруются по языкам, поэтому это поле показывает, какой профиль дал показатель.
- Текст [Страницы, Предложения, Слова]: три величины в одном поле, всегда в этом порядке - здесь
[2, 43, 384]означает 2 страницы, 43 предложения и 384 слова извлечённого текста. Число слов служит знаменателем для всего остального в отчёте: строка «совпало n слов», все три процента состава содержимого и каждое значение по блокам - это доли от этих 384 слов.
Сначала проверьте число слов: если Текст [Страницы, Предложения, Слова] заметно меньше отправленного документа, DrillBit смог извлечь лишь часть текста - обычно потому, что файл содержит отсканированные изображения, а не выделяемый текст. Процент тогда рассчитывается по этому меньшему фрагменту, поэтому отправьте текстовую версию заново, прежде чем действовать по результату.
02 Состав содержимого
Этот раздел делит проанализированный документ на три взаимоисключающие части и показывает их кольцевой диаграммой с соответствующей легендой. Примечание в углу - Цвета совпадают с выделением в документе - важная деталь: цвета здесь те же, что используются для выделения текста дальше в отчёте, поэтому диаграмма и страницы визуально согласуются. Посмотрите, как кольцо рисует три сегмента, а каждая строка легенды заполняется:
- Написано человеком - оригинальное или неотмеченное содержимое (серый, 43,49 %): всё, что детектор не отметил. Обратите внимание на формулировку: это содержимое, в котором не найден сигнал ИИ-паттернов, а это не то же самое, что содержимое, доказанно написанное человеком.
- ИИ-текст - выделен синим в документе (синий, 33,85 %): отмеченная часть. Это значение всегда равно основному показателю Обнаружен ИИ-текст (%) и представляет ту часть, которую вы увидите выделенной синим на страницах документа.
- Исключено - вручную исключённое содержимое (янтарный, 22,66 %): содержимое, которое проверяющий или настройки папки убрали из анализа, поэтому оно не входит ни в один из двух других показателей. Если здесь 0,00 %, ничего не исключалось и оценка охватывает весь извлечённый документ; здесь 22,66 %, то есть почти четверть документа остаётся вне расчёта.
Исключённое содержимое убирается из оценки, а не из документа: 22,66 % в этом примере всё же анализировались - просто они не учитываются в обнаруженном ИИ-тексте. Поэтому основной показатель 33,85 % описывает только включённое содержимое. Всякий раз, когда «Исключено» больше нуля, проверьте, что именно убрали, и убедитесь, что это было уместно: высокий показатель по документу с большим объёмом исключений опирается на гораздо меньшую текстовую базу, чем подразумевает основное число.
Три значения всегда дают 100 %: Написано человеком + ИИ-текст + Исключено покрывают весь проанализированный документ - здесь 43,49 + 33,85 + 22,66 = 100. Если в отчёте, который вы читаете, сумма не равна 100, при извлечении что-то пошло не так и анализ стоит запустить заново.
QR-код и Помощь по добросовестности ИИ
Внизу титульной страницы расположена панель со сканируемым QR-кодом и разделом Помощь по добросовестности ИИ. Сканирование QR-кода открывает тот же отчёт на мобильном устройстве, что удобно, чтобы показать результат при личной встрече, не пересылая файл. Рядом две постоянные справочные ссылки: Центр помощи по ИИ (drillbitglobal.com/ai-content-detection) с руководствами, политикой и лучшими практиками, и Методика обнаружения (drillbitglobal.com/ai-method) с техническим объяснением того, как формируется показатель. Обе стоит отправить автору вместе с отчётом, чтобы разговор начинался с общего понимания того, что означает это число.
03 Анализ ИИ-контента - на уровне блоков
Основной процент - это одно число для всего документа; данный раздел показывает, как DrillBit к нему пришёл. Детектор делит извлечённый текст на блоки - непрерывные фрагменты содержимого - и оценивает каждый блок отдельно. Над таблицей с одной строкой на блок расположены четыре сводных плитки. В этом отчёте один блок включён, а другой исключён, поэтому анимация показывает и то, как помечается исключённая строка:
Четыре сводные плитки читаются так:
- Всего блоков: на сколько блоков разделён извлечённый текст - здесь 2.
- Включённые блоки: сколько из них внесли вклад в показатель ИИ - здесь 1.
- Исключённые блоки: сколько осталось вне расчёта - здесь 1. Если ничего не исключалось, здесь 0, а Включённые блоки равны Всего блоков.
- Исключено (%): доля содержимого, которую составляют исключённые блоки, показана янтарным. Янтарный последовательно обозначает исключение по всему отчёту - тем же цветом отмечены сегмент Исключено в составе содержимого, исключённая строка в таблице ниже и исключённые фрагменты на страницах документа.
В таблице под плитками по одной строке на блок и такие столбцы:
- Блок: номер блока. Это не просто метки - те же номера появляются в виде небольших нумерованных маркеров на страницах документа, поэтому можно точно определить, где в тексте начинается каждый блок.
- Предложения и Слова: размер блока, сколько в нём предложений и слов. Это только отмеченные и исключённые фрагменты, поэтому они не дают итогов из поля Текст [Страницы, Предложения, Слова]: неотмеченный остаток документа блоком не является и строки не получает. Здесь две строки покрывают 217 из 384 слов документа; остальные 167 - это часть, написанная человеком.
- Совпадение ИИ (%): доля этого блока от общего числа слов документа, показанная числом и пропорциональной полосой - 130 слов блока 1 составляют 33,85 % от 384, а 87 слов блока 2 - 22,66 %.
- Статус: Включён или Исключён; показывает, вошла ли строка в основной показатель. Исключённые строки залиты кремовым с янтарной кромкой и янтарным значком, поэтому их легко не учитывать при чтении таблицы.
- Примечания: строка под таблицей повторяет исключения словами - здесь 1 блок (87 слов) исключён из показателя ИИ - так что объём удалённого назван в словах, а не только в процентах.
Строки сходятся - используйте это для проверки отчёта: сумма Совпадения ИИ (%) по всем включённым строкам равна показателю Обнаружен ИИ-текст на титульной странице, а сумма по исключённым строкам равна показателю Исключено. В этом отчёте соответствие один к одному в обе стороны: 33,85 % блока 1 - это основной показатель, а 22,66 % блока 2 - значение «Исключено». Если понадобится подтвердить, откуда взялось основное число, таблица блоков и есть стоящая за ним арифметика.
Читайте блоки прежде основного числа: два документа могут иметь одинаковый общий процент по совершенно разным причинам - в одном сигнал равномерно распределён по нескольким блокам, в другом почти всё приходится на один крупный блок. Вторая картина сразу указывает на раздел, который стоит проверить, чего одно лишь основное число сделать не может.
04 Как интерпретировать этот отчёт
Последний раздел страницы анализа объясняет методику DrillBit в трёх коротких частях. Его стоит прочитать один раз, чтобы понимать, что именно измеряет показатель и, что не менее важно, почему он может отличаться от результата другого инструмента. Анимация проходит по каждой части и стоящим за ней сигналам:
Как работает обнаружение. DrillBit сочетает устоявшиеся методы обнаружения ИИ - анализ перплексии (насколько предсказуемо следующее слово, поскольку ИИ-текст обычно ровнее человеческого), измерение «взрывности» (burstiness) (насколько варьируются длина и сложность предложений, поскольку человеческое письмо более неравномерно) и стилометрическое профилирование (измеримые отпечатки стиля) - с собственными технологиями, разработанными внутри компании. Поверх этого движок оценивает четыре дополнительных аналитических слоя:
- Иерархия изложения: как идеи организованы и развиваются по документу.
- Композиционный рисунок: строение предложений, переходы и повторяющиеся конструкции.
- Приоритет слов: порядок, вес и расположение ключевых терминов.
- Техническая композиция: единообразие форматирования и структурная однородность по всему документу.
Почему показатели различаются между инструментами. Системы обнаружения отличаются признаками, обучающими данными и правилами оценки, поэтому расхождение между инструментами ожидаемо и не является признаком ошибки одного из них. Отдельные стили письма - официальный, переводной или шаблонный текст - могут давать повышенный сигнал в любой системе, поскольку такие стили действительно имеют статистические свойства, общие со сгенерированным текстом. Пример в этом отчёте показателен: спецификация требований из коротких однотипных нумерованных пунктов - именно тот шаблонный тип письма, который повышает сигнал. Повышенный показатель по такому документу отражает реальный статистический профиль текста, и именно поэтому результат требует человеческого прочтения, а не автоматического вывода.
Как использовать этот отчёт. Отчёт задуман как доказательная основа для оценки авторства: он выделяет разделы, заслуживающие более пристального рассмотрения, и показывает аналитическое основание для каждого. Окончательные решения остаются за проверяющим и принимаются с учётом черновиков, предыдущих работ и других подтверждающих материалов.
Выделенное содержимое документа
После страниц анализа остальная часть отчёта - это точное воспроизведение исходного документа, где обнаруженное содержимое выделено теми же цветами, что и на диаграмме состава: синим для ИИ-текста и бледно-кремовым для вручную исключённого содержимого. Предложения без выделения - это неотмеченная часть, написанная человеком. Небольшие нумерованные маркеры показывают, где начинается каждый аналитический блок, поэтому таблица блоков с предыдущей страницы напрямую соотносится с текстом:
Как пользоваться разделом с выделенным содержимым:
- Сопоставьте цвета с диаграммой. Синий - это 33,85 % ИИ-текста, кремовый - 22,66 % исключённого, а всё невыделенное - 43,49 %, написанные человеком. Поэтому чтение страниц служит визуальной проверкой чисел с титульной страницы.
- Используйте маркеры блоков для навигации. Небольшой нумерованный маркер соответствует строке в таблице блоков, поэтому блок с высоким Совпадением ИИ (%) находится в тексте сразу, а не просмотром всех страниц.
- Читайте выделенные предложения в контексте. Отмеченный текст часто заметно отличается ритмом, лексикой или степенью официальности от окружающего изложения. Читать документ подряд, а не прыгать между выделениями, обычно проще для того, чтобы заметить контраст.
- Смотрите на плотность, а не только на процент. Визуальный объём синего на этих страницах должен согласовываться с числом на титульной странице и с показателями по блокам. Если нет - например, показатель высокий, а выделения почти не видно - проверьте поле Текст [Страницы, Предложения, Слова], поскольку обычная причина в частичном извлечении текста.
- Используйте выделения как повод для разговора, особенно в работах студентов. Просьба пересказать отмеченный фрагмент своими словами часто проясняет, написан ли он самим автором, перефразирован из другого источника или сгенерирован.
Как быстро прочитать отчёт по ИИ: начните с основного числа и количества совпавших слов, чтобы оценить масштаб находки. Проверьте, больше ли нуля значение Исключено, поскольку показатель охватывает только включённое содержимое. Затем прочитайте таблицу блоков, чтобы понять, сосредоточен сигнал или распределён. И только потом откройте страницы документа и прочитайте отмеченные фрагменты в контексте - и всё время помните, что результат является вероятностной подсказкой, а не доказательством.