Ещё недавно OpenAI был безоговорочным лидером в области больших языковых моделей (LLM). Однако в 2024 году компаниям Meta, Google DeepMind и Anthropic удалось значительно сократить разрыв. Например, новая линейка Llama 3 от Meta впервые достигла уровня закрытых моделей, таких как GPT-4.
Модели теперь не просто генерируют текст — они учатся программированию, решению математических задач, анализу изображений и даже биологических данных. Компании делают ставку на мультимодальные модели, которые работают сразу с несколькими типами информации: текстом, картинками, видео и даже молекулами.
Одна из главных тем — оптимизация и снижение стоимости AI. Компании внедряют квантование (уменьшение размеров моделей), дистилляцию (передачу знаний от больших моделей к компактным) и сокращение числа параметров без потери точности. Это позволит запускать мощные модели прямо на смартфонах.