Ноутбуки с платформой NVIDIA RTX Spark позволяют запускать нейросети прямо на компьютере

Ноутбуки на платформе RTX Spark от ASUS, Dell, HP, Lenovo, Microsoft и MSI поступили в продажу по всему миру. RTX Spark — это не отдельный ноутбук от NVIDIA, а платформа (набор процессора и видеокарты), которую производители встраивают в свои устройства. Цена начинается от 2599 долларов и отличается по регионам. Главная особенность — до 128 ГБ общей памяти, которую используют одновременно процессор и видеокарта. Благодаря этому на ноутбук помещаются крупные языковые модели (нейросети, которые понимают и генерируют текст), которые обычно работают только в облаке на мощных серверах. По данным NVIDIA, платформа тянет модели размером до 120 миллиардов параметров — это условная мера «сложности» модели, чем больше, тем качественнее и разнообразнее ответы.

Запускать такие модели помогают бесплатные программы с открытым кодом — llama.cpp и Ollama, которые работают как собственный мини-сервер ИИ на самом ноутбуке. NVIDIA объявила поддержку этих и других подобных инструментов для RTX Spark.

Что это значит для бизнеса. Если компания использует нейросети для обработки текстов, ответов клиентам или анализа документов, но не хочет зависеть от облачных сервисов и платить за каждый запрос, локальный запуск модели на своём оборудовании — альтернативный путь. Данные при этом не уходят на сторонние серверы, что может быть важно для конфиденциальной информации. Минусы тоже есть: цена ноутбука высокая, настройка требует технических знаний и времени, а программы пока рассчитаны на англоязычную документацию. Производительность и удобство работы сильно зависят от выбранной модели и задач, универсальных цифр по скорости источник не приводит.