Понимание двух моделей ChatGPT

ChatGPT был создан OpenAI как модель естественного языка с открытым исходным кодом, направленная на улучшение нашего понимания ИИ и предоставление людям альтернативы ориентированным на прибыль решениям Силиконовой долины, разрабатываемым такими компаниями, как Google и другими. .

К сожалению, после 10 миллиардов долларов инвестиций от Microsoft Ранее в этом году. Настолько, что GPT-4, последняя версия ChatGPT, на самом деле скрыта за платным доступом в размере 20 долларов в месяц. Но действительно ли стоит платить за это вместо бесплатного GPT 3.5?

GPT-3.5GPT-4👨‍👧‍👦 Бесплатно для всех 💸 20 долларов США в месяц с платным доступом💨 Более быстрые ответы 🧠 Более детальные ответы📲 Требует больше контекста⚡️ Работает с минимальным вводом данных 🤖 Обучение на 175 миллиардах параметров 🚀 Обучение на 100 триллионах параметров📄 Поддерживает только текстовые данные.

GPT-3.5 против GPT-4: Газлайтинг

Прежде чем мы начнем, имейте в виду, что GPT-3 и GPT-3.5 в значительной степени одинаковы, причем последний более эффективен из-за более быстрого отклика. В общедоступной бесплатной версии GPT используется GPT 3.5, основанный на GPT-3.

На самом деле все как-то запутанно. Спрашивая самого ChatGPT о разнице, он каждый раз дает разные ответы, иногда даже вообще отрицая существование GPT-3.5. Однако из нашего исследования мы можем согласиться с тем, что GPT-3.5 быстрее, немного умнее из-за того, что он обучен на реакции человека, и в целом лучше, чем GPT-3.

ChatGPT противоречит сам себе в двух разных случаях

На изображении выше вы можете увидеть, как ChatGPT, основанный на GPT-4, прямо сказал «нет» существованию GPT-3.5. Принимая во внимание, что на тот же вопрос, используя модель GPT-3.5, мы получили другой ответ, в котором говорилось, что GPT 3.5 похож на GPT-3 с некоторыми отличиями. Он по-прежнему подчеркивал, что GPT 3.5 не существует в линейке OpenAI, несмотря на то, что то же имя написано прямо над вопросом.

Теперь, когда все это позади, давайте начнем настоящее сравнение между GPT-3.5 и GPT-4.

Цена и доступность

Возможно, это не самая большая разница между двумя моделями, но она может иметь большое значение для большинства людей. ChatGPT-3.5 бесплатен для всех. Это модель, которую вы используете, когда заходите на сайт OpenAI и пробуете GPT.

Однако, если вы предпочитаете более современный ИИ, GPT-4 доступен по всему миру за 20 долларов в месяц. Региональных цен нет, поэтому вам придется платить эту сумму независимо от того, где вы находитесь. Прежде чем мы углубимся в технические детали, этот платный доступ вокруг GPT-4 отрежет людей больше, чем любой другой фактор, следующий за ним:

ChatGPT Plus, подписка на 20 долларов в месяц, необходимая для доступа к GPT-4 | Pexels

Размер набора данных

По сравнению с GPT-3.5 набор данных, используемый для построения GPT-4, намного больше. GPT-4 требует на 45 ГБ больше обучающих данных, чем GPT-3.5. По сравнению со своим предшественником GPT-4 дает гораздо более точные результаты. Более того, GPT-4 имеет значительные улучшения в способности интерпретировать визуальные данные. Это связано с тем, что GPT-4 является мультимодальным и поэтому может понимать не только текст, но и визуальные эффекты.

С другой стороны, GPT-3.5 мог принимать только текстовые входные и выходные данные, что сильно ограничивало его использование. GPT-3.5 имеет большой набор данных размером 17 терабайт, что позволяет получать надежные результаты. Большая точность модели связана с размером и качеством набора данных.

Пользователи могут попросить GPT-4 объяснить, что происходит на изображении, и, что более важно, программное обеспечение можно использовать для помощи людям с ослабленным зрением. Распознавание изображений в GPT-4 все еще находится в зачаточном состоянии и недоступно для широкой публики, но ожидается, что оно будет выпущено в ближайшее время. Описание рисунка на предмете одежды, использование тренажерного зала и чтение карты — все это входит в компетенцию GPT-4.

Как обучается ChatGPT | OpenAI

Обработка текстов

С GPT-4 количество слов, которые он может обрабатывать одновременно, увеличивается в 8 раз. Это повышает его способность обрабатывать большие документы, что может значительно повысить его полезность в определенных профессиональных условиях. Кроме того, GPT-4 превосходит GPT-3.5 на целых 16% в типичных тестах машинного обучения и лучше справляется с многоязычными задачами, чем его предшественник, что делает его более доступным для тех, кто не говорит по-английски. язык.

В то время как для GPT-3.5 существует небольшой барьер вывода текста, в случае GPT-4 этот предел далеко. В большинстве случаев GPT-3.5 предоставляет ответ менее чем в 700 слов для любой заданной подсказки за один раз. Однако GPT-4 может даже обрабатывать больше данных, а также отвечать на 25 000 слов за один раз. Это эквивалентно 2-3 книгам литературы, которые GPT-4 теперь может писать самостоятельно.

Сравнение результатов экзаменов

Результаты GPT-4 по языковым тестам, созданным людьми, таким как Единый экзамен на адвоката, вступительный экзамен в юридическую школу (LSAT) и тест на школьные способности (SAT) по математике. Произошло заметное повышение производительности с GPT-3.5 до GPT-4, при этом GPT-4 показал более высокие результаты в диапазоне от 90-го до 99-го процентиля по всем направлениям.

Сравнение результатов экзаменов: GPT-4 работает лучше | Открытый ИИ

Эти тесты полезны для измерения уровня понимания, а не IQ. Четвертое поколение GPT (GPT-4) улучшило понимание контекста и увеличило время отклика в сложных корпоративных приложениях.

В то время как GPT-3.5 получил только 1 балл в тесте AP Calculus BC, GPT-4 показал себя еще лучше, заработав 4 балла. сдал пробный экзамен на адвоката. Кроме того, GPT-4 является настоящим мультиязычным.

Уровень владения английским языком у GPT-3.5 уже был довольно высоким — 70,1%. С другой стороны, GPT-4 значительно улучшил его, достигнув поразительных 85% с точки зрения точности выстрела. На самом деле он лучше владеет 25 языками, включая китайский, польский и суахили, чем его прародитель — английским. Большинство существующих тестов машинного обучения написаны на английском языке, так что это большое достижение.

Сравнение результатов экзаменов GPT-3.5 и GPT-4 | Открытый ИИ

Лимиты токенов

Существует параметр «длина контекста», который указывает максимальное количество токенов, которые могут использоваться в одном запросе API. Максимальное количество токенов для запроса изначально было установлено на уровне 2049 в выпуске 2020 года исходных устройств GPT-3.5. Есть две разные версии GPT-4. Оба способны обрабатывать до 50 страниц текста, хотя первый (GPT-4) имеет более короткую длину контекста — 8 192 токена.

Многозадачность

Несмотря на то, что для обучения было предоставлено лишь небольшое количество примеров, GPT-3.5 показал замечательную производительность в задачах обработки естественного языка, включая машинный перевод и ответы на вопросы. Однако, когда его попросили выполнить действие, в котором у него не было предыдущего опыта, его производительность ухудшилась.

Несмотря на свою обширную нейронную сеть, он не мог выполнять задачи, требующие только интуиции, с чем борются даже люди.

Однако, сравнивая GPT-3.5 с GPT-4, становится ясно, что GPT-4 является лучшим мета-обучающим устройством для многозадачности с несколькими выстрелами, поскольку его производительность улучшается быстрее, когда вводится больше параметров. Если GPT-3.5 продолжит в том же духе и будет иметь еще больше параметров, ожидается, что он станет еще лучшим многозадачным приложением, бросив вызов идее о том, что системам глубокого обучения нужен большой набор данных, чтобы стать опытным в конкретной деятельности.

Ключевые различия между GPT-3.5 и GPT-4 | CitiMuzik

GPT-3.5 показал, что вы можете продолжать разговор, не зная, что говорить дальше. Интересно подумать о том, что GPT-4 может сделать в этой области. Это может продемонстрировать впечатляющую способность языковых моделей учиться на ограниченных наборах данных, приближаясь в этой области к возможностям человека.

Типы ввода

В отличие от модели GPT-3.5, которая могла принимать только текстовый ввод (или, если быть более точным, код), модель GPT-4 может принимать третий тип ввода: изображения. В частности, он создает текстовые выходные данные из текстовых и визуальных входных данных. Модель GPT-4 может быть настроена на создание подписей, категоризацию видимых компонентов или выполнение анализа изображения.

Примеры модельного анализа графиков, объяснения мемов и резюме публикаций, включающих текст и изображения, можно найти в учебных материалах GPT-4. Навыки распознавания изображений GPT-4 действительно впечатляют.

GPT-4 фактически описывает результат на основе визуальных данных (изображения) | OpenAI

Расширенные лимиты токенов GPT-4 и возможности обработки изображений делают его подходящим для более широкого спектра приложений, от научных исследований до индивидуального коучинга и помощников в розничной торговле. Однако пока не слишком волнуйтесь, потому что может пройти некоторое время, прежде чем вы действительно сможете использовать этот новый навык GPT-4. Мы узнаем, что входные изображения все еще находятся на стадии предварительного просмотра и еще не доступны для широкой публики.

Расходы

Всегда есть цена. Понятно, что если вы хотите использовать самые сложные модели, вам придется платить больше, чем от 0,0004 до 0,02 доллара за каждый 1000 токенов, которые вы тратите на GPT-3.5. Стоимость токена для GPT-4 с контекстным окном размером 8 КБ составляет 0,03 доллара США за 1 тысячу запросов и 0,06 доллара США за 1 тысячу завершений. Для сравнения, GPT-4 с контекстным окном размером 32 КБ обойдется вам в 0,06 доллара США за каждые 1 000 токенов в подсказках и 0,12 доллара США за каждые 1 000 токенов в завершениях.

Если ценник GPT-3.5 в размере 8000 долларов покрывает обработку 100 000 запросов со средней продолжительностью 1500 токенов подсказки и 500 токенов завершения, ценник в 8500 долларов за GPT-4 будет покрывать окно контекста 8 КБ, а ценник в 15 000 долларов — за окно контекста 32 КБ. Это не только дороже, но и сложнее в понимании.

Шпаргалка по ценам на OpenAI, включая GPT-4 | Трэвис Фишер

Это связано с тем, что токены ввода (подсказки) имеют другую стоимость, чем токены завершения (ответы). Учитывая слабую связь между длиной ввода и вывода, оценка использования токена является сложной задачей. Использование моделей GPT-4 будет значительно дороже, а его стоимость сейчас непредсказуема из-за большей цены выходных (завершающих) токенов.

Количество параметров

Для тех, кто не знает, «параметры» — это значения, которые ИИ изучает во время обучения, чтобы понимать и генерировать человекоподобный текст. У OpenAI была цель завершить 175 миллиардов параметров в 2021 году для GPT-3.5.

Напротив, GPT-4 построен с использованием 100 триллионов параметров. Для обучения модели потребуется большее количество наборов данных, если в модель будет включено больше параметров. Похоже, это означает, что GPT-3.5 обучался с использованием большого количества различных наборов данных (почти вся Википедия).

Разница параметров между GPT-3(.5) и GPT-4

Кроме того, обучающие данные GPT-3.5 охватывают различные источники, такие как книги, статьи и веб-сайты, чтобы охватить широкий спектр человеческих знаний и языков. Включив несколько источников, GPT-3.5 стремился лучше понять контекст, семантику и нюансы генерации текста.

Для гипотетического GPT-4 расширение обучающих данных будет необходимо для дальнейшего расширения его возможностей. Это может включать в себя включение более актуальной информации, обеспечение лучшего представления неанглоязычных языков и учет более широкого круга точек зрения.

Возможности

Чтобы создавать письма, подобные человеческому мозгу, GPT-3.5 представляет собой модель большого языка для глубокого обучения. GPT-3.5 может генерировать текст, который выглядит и читается так, как будто он был написан человеком, угадывая следующее слово в предложении или фразе. Он может писать стихи, программировать, переводить материалы и отвечать на вопросы.

Окольным путем GPT-4 использует метод GPT-3.5 для получения результатов. Для того, чтобы произвести вывод, который более убедительно похож на человека. Для письменного вывода GPT-4 может принимать как визуальные, так и текстовые входные данные. GPT-4 занимает единую позицию против распространения дезинформации и распространения текстов, основанных на правде.

Считается, что GPT-4 настолько умная программа, что она может сдерживать контекст гораздо лучше, чем GPT-3.5. Например, когда GPT-4 спросили о картинке и объяснить, в чем на ней шутка, он ясно продемонстрировал полное понимание того, почему определенное изображение оказалось юмористическим. С другой стороны, GPT-3.5 не может так сложно интерпретировать контекст. Он может делать это только на базовом уровне, и то только с текстовыми данными.

Ответ Chat GPT-4 на просьбу описать изображение | Реддит

Он функционирует благодаря присущей ему гибкости для адаптации к новым обстоятельствам. Кроме того, он не будет отклоняться от своего заданного пути, чтобы защитить свою целостность и помешать любым несанкционированным командам. С помощью более длинных контекстов GPT-4 может обрабатывать более длинные тексты.

Точность

GPT-4 более точен и отзывчив на команды, чем его предшественник. Во-первых, его компоновка уменьшает проблемы с выравниванием ИИ, что является основной темой в сообществе специалистов по науке о данных и ИИ. Это на 110% правдивее по сравнению с GPT-3.5, по мнению AI-аналитика. Алан Д. Томспон.

Кроме того, он прокладывает путь для выводов о психическом состоянии пользователя. Его также можно использовать для выражения трудности создания ИИ, который уважает человеческие ценности, желания и убеждения.

Люди склонны верить в его большую точность из-за этих предположений. Нейронная сеть GPT-4 будет иметь в пять раз большую вычислительную мощность, чем современные языковые модели и технологии искусственного интеллекта.

В конечном итоге GPT-4 включает еще 100 триллионов параметров. Его высокая оценка является результатом обширных тренировок, направленных на повышение его производительности. Используя метод, называемый оптимальной параметризацией, GPT-4 генерирует язык, который является более читаемым и естественным по звучанию, чем язык, созданный моделями на основе GPT или другим программным обеспечением ИИ.

Если GPT-3.5 был продвинутым роботом, то GPT-4 подобен ядерной угрозе | БУ

Подсказка

Если вы дадите GPT-3.5 подсказку, он сможет понять, что вы пытаетесь изучить. Поскольку это может помочь рассказать правдивую историю, это может быть плюсом. Сложность в том, что подсказка может привести к нежелательным результатам.

Многие озвучивали эту проблему, так что это может быть что-то, что GPT-4 пытается исправить. Прежде чем узнать что-либо из подсказки, он может определить, насколько это хорошо. Кроме того, из наших тестов мы выяснили, что GPT-4 требует меньшего контекста по сравнению с GPT-3.5 для предоставления тех же ответов.

Приложения

GPT-3.5 был золотым стандартом точности и опыта из-за огромного набора данных и параметров. Генерация и кодирование текста, перевод и обобщение материалов, а также управление клиентами — это лишь некоторые из многих потенциальных применений GPT-3.5. GPT-3.5 уже использовался в самых разных приложениях, таких как чат-боты, виртуальные помощники и производство контента. Машинное обучение и исследования НЛП также использовали его.

Ожидается больше приложений для GPT-4, особенно в области искусства и творческого письма. Кроме того, это может повысить производительность существующих программ, таких как чат-боты и виртуальные помощники. Ожидается, что GPT-4 будет работать даже лучше, чем GPT-3.5, за счет устранения этих ограничений. Более того, GPT-4 будет использоваться для создания новых литературных, музыкальных и других произведений искусства.

GPT-3.5 против GPT-4: тест

Наша техническая команда получила ранний доступ к GPT-4, и мы смогли протестировать их оба одновременно.

Полная информация

Одной из вещей, которую мы заметили, давая одинаковые подсказки GPT-3.5 и GPT-4, была разница в лучшей информации. GPT-4 оказался более креативным и предоставил более полную информацию по сравнению с GPT-3.5. В то время как GPT-3.5 также смог предоставить точную информацию, которая нам была нужна после нескольких подсказок, GPT-4 сделал это за один раз.

Идея заключается в том, что GPT-3.5 по-прежнему требует больше подтекста, лучших подсказок и деталей для понимания, а также для лучшей адаптации к требованиям пользователя, в то время как GPT-4 может обеспечить это за один раз.

Ниже приведен пример, когда GPT-3.5 и GPT-4 спросили о том, что человек должен делать при стрессе, GPT-4 дал 8 правильных идей, в отличие от 6 идей, предложенных GPT-3.5 (см. ниже). Кроме того, идеи GPT-4 имели больше смысла и обеспечивали лучшее понимание. Это, опять же, подчеркивает тот аспект, что GPT-4 является гораздо более креативным, адаптируемым и предлагает более полную информацию по сравнению с GPT-3.5.

Подсказка: я в стрессе. Что я должен делать?

Ответ GPT-3.5Ответ GPT-4

Ошибки

Еще один ключевой аспект, который мы заметили в нашем тестировании, заключался в том, что GPT-3.5, а также GPT-4 допускали разные типы ошибок при предоставлении ответов. Хотя некоторые из этих ошибок были продвинутыми и недоступными для программы, были и другие основные ошибки, такие как неправильная химическая формула, арифметические ошибки и многие другие.

Однако они позволяют нам подвергнуть сомнению обоснованность всех других ответов, которые могут быть или не быть правильными. В некоторых случаях GPT-4 также дает неверные ответы. Как будто их учат, что как только пользователь-человек предполагает, что они не правы, они должны его соблюдать.

Подсказка: 23 + 9 = ?

Ответ GPT-3.5Ответ GPT-4

На основании этих ответов можно с полным правом сделать вывод, что технологии еще недостаточно зрелые. Это также открывает возможность того, что, когда программа может сделать такую ​​​​простую ошибку, как эта технология может быть использована для более широкого контекста в долгосрочной перспективе.

Уменьшение предубеждений

Одно из ключевых отличий GPT-3.5 от GPT-4 заключается в снижении смещения в последней версии. Поскольку GPT-4 обучается на большем наборе данных, он дает более качественную и достоверную оценку любого запроса по сравнению с GPT-3.5.

Более ранние версии GPT-3.5 показали, что он имеет некоторую форму гендерной предвзятости. Например, когда его спрашивали о качествах успешного предпринимателя, он автоматически называл его «он», а не гендерно-нейтральным. Однако, поскольку программа получает ежедневные обновления от Open AI, эта проблема была решена. Тем не менее, у него все еще может быть много таких предубеждений.

GPT-4 показывает улучшения в снижении систематических ошибок, присутствующих в обучающих данных. Решая проблему предубеждений, модель может давать более справедливые и сбалансированные результаты по различным темам, демографии и языкам.

Искусственный интеллект должен соответствовать человеческим моральным ценностям, чтобы решить важнейшую проблему | PIM

Способность понимать и ориентироваться во внешней среде — примечательная особенность GPT-4, которой нет в GPT-3.5. В определенных контекстах отсутствие у GPT-3.5 хорошо развитой теории разума и осведомленности о внешней среде может быть проблематичным. Вполне возможно, что GPT-4 может открыть более целостное представление о мире, позволяя модели делать более разумный выбор.

Имея в своем распоряжении дополнительные обучающие данные, GPT-4 ведет себя более естественно и точно в разговоре. Это связано с прогрессом, достигнутым в области сбора, очистки и предварительной обработки данных.

Интеграция обучения с подкреплением

В области машинного обучения, известной как обучение с подкреплением, агент учится соответствующим действиям в заданных условиях, выполняя их и наблюдая за результатами. Агент действует в среде, испытывает последствия (положительные или отрицательные), а затем использует эту информацию для обучения и адаптации.

В отличие от обычного обучения с подкреплением, возможности GPT-3.5 несколько ограничены. Чтобы предвидеть следующее слово во фразе на основе контекста, модель использует «обучение без учителя», когда она подвергается воздействию огромного количества текстовых данных. С добавлением улучшенного обучения с подкреплением в GPT-4 система способна лучше учиться на поведении и предпочтениях своих пользователей.

Заключение

OpenAI создал что-то действительно революционное с ChatGPT. Будь то GPT-3.5 или GPT-4, мир меняется с помощью ИИ, как мы его видим. Спустя годы мы увидим, как ИИ вплетается в ткань нашей повседневной жизни, настолько незаметно связанный с нашим нормальным функционированием, что жизнь без него кажется невозможной. А пока давайте восхищаться искусственным интеллектом следующего поколения.

Если вам нравится эта подробная разбивка, обязательно ознакомьтесь с нашим анализом того, станет ли ChatGPT, теперь интегрированный с Bing, определяющим фактором для (возрождения) поисковой системы Microsoft.