Обзор больших языковых моделей с открытым исходным кодом итоги 2023 года

Выпуск ChatGPT в 2022 году произвел революцию в области искусственного интеллекта. Эта модель продемонстрировала впечатляющие способности вести диалоги, генерировать текст, отвечать на вопросы и решать множество задач. Успех ChatGPT привлек огромный интерес к разработке LLM как в академических кругах, так и в бизнесе.

Группа исследователей из NTU Singapore, SalesForce AI и I2R провела всесторонний анализ последних LLM с открытым исходным кодом, чтобы выявить модели, показывающие производительность на уровне или лучше, чем у ChatGPT.

Хотя закрытые LLM обычно превосходят открытые аналоги, последние быстро догоняют лидеров. Все больше открытых LLM заявляют о достижении равных или лучших результатов в конкретных задачах.

Исследователи провели консолидацию различных оценок открытых LLM для получения объективной картины их сильных и слабых сторон. Кроме того, они систематически рассмотрели конкретные модели и задачи, в которых открытые LLM превзошли ChatGPT.

Дополнительно статья содержит ценные идеи о тенденциях развития открытых LLM, потенциальных проблемах и лучших практиках их обучения.

Результаты этого исследования предоставляют актуальную информацию как для научного сообщества, так и для бизнеса при оценке применимости и принятии решений о внедрении открытых LLM.