Эта альтернатива ChatGPT с открытым исходным кодом не для всех

Эта альтернатива ChatGPT с открытым исходным кодом не для всех

4 января 2023 г.

Новая модель языка для генерации текста, сочетающая в себе собственную модель Google PaLM и метод, известный как обучение с подкреплением с обратной связью, для создания инструмент с открытым исходным кодом, который теоретически может делать все то же, что и ChatGPT OpenAI.

Однако для большинства это останется теорией. . В отличие от ChatGPT, PaLM + RLHF разработчика ИИ Филипа Вана не приходит обучен на любых текстовых данных, необходимых для обучения модели. Пользователи должны составлять свои собственные массивы данных и использовать собственное оборудование для обучения модели и обработки запросов.

Модели генерации текста, которые реагируют на человеческий ввод, такие как ChatGPT и PaLM + RLHF, — это последнее увлечение искусственным интеллектом. . Проще говоря, они предсказывают подходящие слова после изучения семантических паттернов из существующего набора данных, который может состоять из чего угодно, от электронных книг до интернет-флейма.

Создание доступного искусственного интеллекта

Несмотря на то, что PaLM + RLHF поставляются предварительно обученными, метод обучения с подкреплением с обратной связью от человека разработан для обеспечения более интуитивного взаимодействия с пользователем.

Как поясняет TechCrunch, RLHF обучает языковую модель, создавая широкий спектр ответов на подсказки человека, которые затем оцениваются людьми-добровольцами. Эти рейтинги затем используются для обучения «модели вознаграждения», которая сортирует ответы в порядке предпочтения.

Это недешевый процесс, который не позволит всем, кроме самых богатых энтузиастов ИИ, обучать модель. . PaLM имеет 540 миллиардов компонентов языковой модели (или параметров), которые необходимо обучать на данных, и 2020 исследование показало, что обучение только модели с 1,6 миллиардами параметров будет стоить от 80 000 до 1,6 миллиона долларов.

Сейчас кажется, что мы полагаемся на богатого благотворителя. принять участие, обучить и выпустить модель для публики. Такая зависимость ничем хорошим не закончилась раньше, но другие компании пытаются воспроизвести возможности ChatGPT и выпустить их как бесплатное программное обеспечение.

Исследовательские группы CarperAI и EleutherAI сотрудничают со стартапами Scale AI и Hugging Face, чтобы выпустить первую языковую модель, обученную на основе отзывов людей, готовую к запуску прямо из коробки.

И хотя это не совсем так готово, LAION, компания, предоставившая набор обучающих данных для модели «машинное обучение, преобразование текста в изображение» Stable Diffusion , создали аналогичный проект на GitHub. которая хочет превзойти OpenAI, позволив ей использовать API, проводить собственные исследования и разрешать персонализацию пользователей, и все это при оптимизации для потребительского оборудования.


Оригинал
PREVIOUS ARTICLE
NEXT ARTICLE