Является ли GPTZero точным? Может ли он обнаружить чат GPT? Вот что показали наши тесты

ChatGPT покорил мир с тех пор, как он попал в новости в ноябре 2022 года. Люди начали использовать его в своей повседневной жизни, поскольку он может очень помочь получить логичные ответы на ваши вопросы о вещах вокруг вас. С ростом популярности этот инструмент вдохновил на создание более крупных языковых моделей, даже таких, как Google и Meta, которые могут вызывать беспокойство и интерес.

За несколько месяцев после его запуска было несколько случаев, когда студенты злоупотребляли ChatGPT для создания эссе и отправки заданий, поскольку инструмент может генерировать исчерпывающий контент с помощью простой подсказки. Чтобы противостоять неправомерному использованию контента, созданного ИИ, появился новый инструмент — GPTZero, который преподаватели и журналисты могут использовать для проверки того, было ли произведение создано с использованием ИИ или нет.

В этом посте мы объясним, что такое GPTZero, как вы можете его использовать и насколько вы можете доверять ему, чтобы надежно обнаруживать и отличать человеческие статьи от контента, созданного ИИ.

Что такое GPTZero

GPTZero, разработанный студентом Принстонского университета Эдвардом Тианом, представляет собой программное обеспечение, которое использует статистический анализ для определения того, был ли текст написан человеком или скопирован из генератора контента ИИ, такого как ChatGPT. Этот инструмент был разработан, чтобы помочь людям в сфере образования, журналистики и других сферах бороться с плагиатом ИИ и узнавать, когда они просматривают тексты, созданные большими языковыми моделями (LLM), одной из которых является ChatGPT.

С постоянно растущей популярностью таких инструментов, как ChatGPT, многие люди злоупотребляют письменным контентом, созданным службами ИИ, и выдают его за свой собственный. GPTZero обещает сделать использование ИИ прозрачным, определяя сложность текстов с помощью двух основных факторов — недоумения и взрывоопасности.

Недоумение — относится к мере случайности входного текста, которую GPTZero будет сравнивать с тем, как будет выглядеть текст из языковой модели. Чем выше этот показатель, тем больше шансов, что текст был написан человеком, а не машиной.

Взрывность — относится к распределению текстов в тексте. В то время как текст, сгенерированный ИИ, имеет одинаковую длину, текст, написанный людьми, может включать как длинные, так и короткие предложения со сглаженными узорами. Чем выше показатель взрывоопасности текста, тем больше вероятность того, что он был написан человеком.

Помимо определения того, написан ли текст, который вы скопировали в инструмент, искусственным интеллектом или людьми, GPTZero также может обнаруживать части текста, которые могли быть сгенерированы с помощью LLM. Если статья была написана с использованием как искусственного интеллекта, так и человеческой работы, инструмент выделит части, которые, по его мнению, могут быть созданы с использованием искусственного интеллекта. В некоторых случаях GPTZero также может определить, что входной текст «скорее всего написан человеком», но включает «предложения с низким уровнем недоумения», чтобы вы могли их улучшить.

Как вы можете использовать GPTZero

Хотя вам может потребоваться учетная запись для использования ChatGPT, использование GPTZero довольно просто, поскольку вам не требуется учетная запись или подписка, чтобы проверить, был ли текст написан ИИ. Это означает, что вам не нужно делиться своей личной информацией, такой как адрес электронной почты или номер телефона, чтобы начать пользоваться сервисом. Все, что вам нужно для использования GPTZero, это:

• Устройство, такое как компьютер или телефон, которое может подключаться к Интернету.
• Активное интернет-соединение
• Веб-браузер для запуска веб-сайта GPTZero.

После того, как вы отсортируете эти требования, запустите GPTZero в веб-браузере на любом из ваших устройств. В данном случае мы используем его в Firefox на Mac, но вы можете использовать любой браузер на любом компьютере или телефоне.

Когда GPTZero загрузится, прокрутите вниз до раздела «Попробовать». В текстовом поле, которое видно под ним, скопируйте и вставьте текст, который вы хотите проверить на плагиат ИИ. Текст, который вы вставляете сюда, должен содержать не менее 250 символов, чтобы детектор мог его проанализировать.

Вы также можете проверить тексты из документа, который у вас есть на вашем устройстве, на предмет участия ИИ, нажав «Обзор» под текстовым полем. Оттуда вы можете загрузить файл в этих поддерживаемых форматах — PDF, DOCX и TXT, чтобы GPTZero мог его проанализировать.

Примечание. При вставке текстов или загрузке документов в GPTZero необходимо помнить, что сервис может доступ, хранить или использовать любую информацию, которой вы с ним делитесь. Таким образом, вам нужно избегать предоставления какой-либо конфиденциальной информации, такой как контактные данные или местоположение, здесь, чтобы избежать проблем с конфиденциальностью в будущем.

После того, как вы ввели текст, который хотите проверить, нажмите «Получить результаты».

GPTZero мгновенно проверит текст, которым вы поделились, и определит его результаты. Ниже вы получите результат, позволяющий узнать, был ли текст написан человеком или сгенерирован искусственным интеллектом.

На основе введенного текста вы можете получить любой из следующих результатов:

• Ваш текст, скорее всего, будет полностью написан человеком.
• Ваш текст, скорее всего, полностью написан Алом.
• Ваш текст, скорее всего, написан человеком, но есть предложения с низкими недоумениями.
• Ваш текст может включать части, написанные Ал.

Вы увидите более подробную информацию о результатах при прокрутке вниз. Если GPTZero обнаружит какое-либо участие ИИ в вашем тексте, часть, которую инструмент определил как написанную ИИ, будет выделена желтым цветом.

Когда вы прокрутите дальше, вы увидите подробный анализ введенного текста с его измерениями Perplexity и Burstiness в разделе «Статистика». Эти измерения будут указаны в числовом виде, и вы увидите, как они работают, на гистограмме. Чем ниже у текста значения Perplexity и Burstiness, тем выше вероятность того, что он был написан с помощью генератора контента AI.

В конце раздела «Статистика» GPTZero также покажет предложение с наивысшей степенью недоумения, а также его индивидуальную оценку. Это не обязательно означает, что эта часть текста была написана людьми, но это показатель того, что эта часть имеет наименьшую вероятность написания с использованием ИИ.

Является ли GPTZero точным?

Версия TL; DR: за ограниченное время тестирования программного обеспечения мы смогли сделать вывод, что GPTZero почти все время точно определяет тексты, генерируемые ChatGPT. И когда дело доходит до проверки текстов, написанных людьми, здесь возникает препятствие.

Хотя GPTZero может легко обнаруживать контент, созданный ИИ, он также помечает контент, написанный людьми, как «написанный ИИ», даже если это не так. Это превосходит цель использования этого инструмента для проверки контента, созданного ИИ, поскольку GPTZero также может отмечать ложные срабатывания, когда фактический результат отрицательный.

Полная версия: чтобы проверить, может ли GPTZero определить, создан ли текст искусственным интеллектом или написан людьми, мы использовали его сами. Прежде чем мы расскажем, насколько точен этот инструмент, вам нужно сначала понять, как мы его тестировали, чтобы получить общее представление о том, как работает сервис.

Как мы тестировали GPTZero

Чтобы тщательно протестировать GPTZero, мы использовали тексты из наших существующих статей на Nerdschalk.com и скопировали различные части текстов из этих статей, такие как введение и руководства. Внутри GPTZero мы вставили скопированные выдержки из этих статей и проверили их на участие ИИ.

Наряду с текстами, написанными людьми (нашим контентом), мы также хотели проверить, обнаруживает ли GPTZero тексты, созданные с помощью ИИ. Для этого мы использовали ChatGPT и использовали его для создания заставок и руководств по тем же темам, которые мы скопировали из Nerdschalk.

Чтобы дать вам пример, мы попросили ChatGPT создать нам введение для этого поста — Как разъединить ячейки в Документах Google.

Когда служба сгенерировала ответ на наш запрос, мы скопировали написанный ИИ текст и вставили его в текстовое поле GPTZero, чтобы проверить его легитимность.

Точно так же мы скопировали вступление из нашего собственного поста и проверили его на GPTZero на предмет участия ИИ.

Чтобы убедиться, что мы можем определить согласованность результатов GPTZero, мы протестировали это как минимум с 10 отрывками текстов из наших собственных сообщений и тех, которые мы попросили ChatGPT создать на ту же тему, что и наши сообщения. Это то, что мы нашли.

Обнаруживает ли GPTZero тексты, написанные ChatGPT?

Для инструмента, предназначенного для обнаружения текстов, написанных с использованием ИИ, GPTZero действительно хорошо справляется с распознаванием текстов, созданных с помощью ChatGPT. Каждый раз, когда мы копировали контент, который мы просили ChatGPT создать, GPTZero мог точно установить, что он, вероятно, был написан с помощью ИИ.

Для текста, созданного ChatGPT, GPTZero либо определит, что весь текст был написан ИИ, либо включает части текста, в которых участвовал ИИ. Чтобы помочь вам понять, как он находит тексты, написанные ИИ, GPTZero будет показывать вам оценки недоумения и взрывоопасности в конце каждого результата.

Для текстов, сгенерированных ИИ, программное обеспечение постоянно выявляло низкие значения Perplexity, чтобы указать, что их было легче предсказать, что в случае человека было бы сложно, поскольку его лексические знания будут отличаться от других, и поэтому тексты могут казаться немного более случайными. То же самое было верно и при определении значения Burstiness, поскольку тексты, сгенерированные ChatGPT, получили более низкие оценки, что указывает на то, что используемые предложения были более однородными с точки зрения длины.

Инструмент также будет изолировать части текста, которые, по его мнению, с наибольшей вероятностью будут созданы с помощью ИИ. Посмотрите на этот скриншот, например:

Хотя это все еще небольшая выборка, мы можем сделать вывод, что GPTZero неплохо справился с пометкой контента, созданного ChatGPT, как написанного ИИ.

Обнаруживает ли GPTZero тексты, написанные людьми?

И вот тут мы наткнулись на блокпост. В то время как GPTZero смог легко определить, что тексты ChatGPT написаны ИИ, он сделал то же самое даже для текстов, которые мы скопировали из наших оригинальных статей Nerdschalk. Поскольку мы использовали тексты из той же темы, которую попросили создать ChatGPT, GPTZero смог правильно определить, что конкретный текст был написан человеком только дважды за десять попыток.

В обоих «успешных» случаях мы получили разные результаты относительно того, какая часть текста, по мнению GPTZero, была написана нами. Например, когда мы проверили этот отрывок из нашего исходного поста, программа показала точный результат, говорящий, что этот текст, возможно, был полностью написан человеком.

Однако, когда мы прокрутили, чтобы проверить его оценки Perplexity и Burstiness, показанные значения (42,5 и 13,4) были ниже, чем у текста, сгенерированного ChatGPT (которые были 46 и 20,8). Это означает, что даже параметры, которые использовались для определения вовлеченности текста в ИИ, были противоречивыми, хотя в данном случае результат был точным.

Еще один случай, когда GPTZero оказался прав, — это когда мы скопировали фрагменты текста из этого поста Nerdschalk. В отличие от предыдущего случая, хотя инструмент смог сделать вывод, что он был написан человеком, он обнаружил в отрывке предложения с более низкими значениями недоумения. Он даже выделял предложения, которые, по его мнению, были написаны ИИ, когда весь текст изначально был написан нами.

Когда мы сравнили статистику этого текста с предыдущим, GPTZero показал аналогичный показатель Perplexity 40,2 с немного более высоким значением Burstiness 17,9.

Что касается других результатов, программа ошибочно пометила 8 из 10 частей текста, которые мы написали, как сгенерированные ИИ. Например, вступление из этого оригинального поста было показано как «вероятно, полностью написанное ИИ»…

в то время как другая часть того же поста показала немного другой результат:

…что сбивает с толку, так как тот же отрывок получил самые высокие оценки Недоумения и Взрыва 76,3 и 59,3, выше, чем любой другой текст, который мы отправили на GPTZero.

Это говорит о том, что GPTZero, находящийся на ранней стадии своего развития, не способен обнаруживать тексты, написанные людьми, с той же точностью, что и контент, созданный с помощью ИИ.

Насколько точен GPTZero?

В ходе нашего тестирования программного обеспечения мы пришли к выводу, что результаты GPTZero в лучшем случае приемлемы из-за непостоянства инструмента в обнаружении текстов, написанных людьми. Несмотря на то, что он мог читать и определять контент, созданный ChatGPT, как написанный ИИ, неспособность программного обеспечения распознавать короткие предложения и тексты, написанные людьми, делает его ненадежным инструментом для преподавателей или журналистов для проверки на плагиат ИИ.

Поскольку цель такого инструмента — помочь людям справиться с неэтичным использованием генерации контента ИИ, GPTZero не может использоваться со 100% надежностью. Это не означает, что нет возможности для улучшения, поскольку распознавание текстов может достичь более высокого потенциала, поскольку программное обеспечение добавляет больше данных из других больших языковых моделей (LLM) для повышения точности распознавания. На данный момент, однако, вы можете использовать GPTZero с щепоткой соли и вашей собственной способностью различать слова, написанные людьми и машиной.