Bard и ChatGPT — прямое сравнение

24 марта 2023 г.

Я работаю над OpenAI ChatGPT API уже много лет и только недавно получил доступ к Google Bard. Поэтому я решил провести непосредственное сравнение двух моделей с целью проверки их производительности в следующих областях:

1. Общие вопросы
2. Рекомендации
3. Деликатные вопросы
4. Кратковременная память
5. Генерация кода
6. Данные в реальном времени

На момент написания этой статьи я все еще ждал своего доступа к GPT-4, поэтому, надеюсь, я смогу провести еще одно сравнение в следующей статье. Кроме того, если вы хотите, чтобы я протестировал другие области, оставьте комментарий ниже, и я буду рад провести больше тестов.

Общий вопрос (связанный)

Для начала я спросил у обеих моделей, как устроить вечеринку для 15-летнего подростка. Удивительно, но обе модели дали очень похожие ответы с точки зрения содержания и длины. В целом я бы сказал, что обе модели хорошо ответили на общие вопросы.

Рекомендация (победа в ChatGPT)

Затем я задал вопрос о том, кого пригласить на вечеринку. ChatGPT, казалось, предоставлял более персонализированный и информативный контент, в то время как ответ Барда носил более общий характер. Кроме того, ChatGPT произвел в два раза больше контента, чем Bard.

Деликатный вопрос (связанный)

Что касается моего следующего вопроса, я спросил обеих моделей, должны ли гости носить маски на вечеринке. Обе модели дали очень похожие, безопасные и политкорректные ответы на этот деликатный вопрос.

Кратковременная память (связанная)

Чтобы проверить, насколько хорошо модели запомнили мои предыдущие вопросы, я попросил их написать приглашение на мероприятие, не сообщая им, что это вечеринка в честь 15-летней давности. Обе модели довольно хорошо справились с этим тестом, обе вспомнили в своих ответах, что событие предназначалось для 15-летнего подростка.

Генерация кода (выигрывает ChatGPT)

Затем я попросил обе модели создать целевую HTML-страницу для мероприятия. С точки зрения разработчика, ChatGPT смог создать более сложный фрагмент кода, чем Bard.

Данные в реальном времени (победы Барда)

Наконец, я хотел проверить, имеют ли модели доступ к данным в реальном времени. Я спросил у обеих моделей счет игры «Лейкерс» и «Санз» прошлой ночью. ChatGPT не смог предоставить информацию в режиме реального времени, но ответ Барда был впечатляюще точным.

Заключение

В целом, я нахожу обе большие языковые модели очень впечатляющими. Однако, основываясь на моих тестах, я считаю, что ChatGPT на данный момент является лучшей моделью. Хотя Bard может отвечать данными в режиме реального времени, это достигается с помощью техники быстрого проектирования, которая включает поиск в Google в режиме реального времени и использование информации в качестве фонового контекста при задании модели вопроса.

Это аналогичный метод, который Bing использует, чтобы помочь ответить на вопросы по оперативным данным. И по этой причине я бы пришел к выводу, что ChatGPT на данный момент все еще является лучшей моделью для больших языков.

Дайте мне знать, если вы согласны или не согласны, и если вы хотите, чтобы я провел больше тестов, пожалуйста, прокомментируйте ниже, и я был бы рад их сделать.

---

Оригинал