Чем локальная модель отличается от облачной
Облачная модель выполняет запрос на стороне сервиса. Ваша программа отправляет текст через интернет и получает результат. При локальном запуске вычисления происходят на вашем компьютере.
Модель — набор файлов с параметрами, по которым программа рассчитывает ответ. Для локальной работы эти файлы надо заранее получить, а затем запускать подходящей программой. В статье рассматриваем Ollama; возможности зависят от выбранной модели и вашего оборудования.
Наличие Claude Code, Codex, Antigravity или другого редактора не определяет, где выполняется каждый запрос. Посмотрите настройки конкретного инструмента и выбранного сервиса. Уже сохранённый ответ ИИ можно читать отдельно от получения нового.
Открытые веса сами по себе не значат, что модель запустится на обычном компьютере: у свежей DeepSeek V4.1-Flash-1017 файлы занимают около 510 ГБ, о чём мы писали в новости про DeepSeek API.
Что подготовить заранее
Пока есть связь, получите нужную программу и файлы модели по официальной инструкции. Сохраните материалы, с которыми хотите работать: текст, описание задачи и нужные факты. Пароли и клиентские сведения для первого опыта не требуются.
Выберите небольшую задачу: сократить доступный текст, составить вопросы или объяснить короткий фрагмент программы. Для вопроса о сегодняшних событиях модели понадобятся свежие сведения; сами по себе сохранённые файлы не делают их актуальными.
Сначала проверьте требования выбранной модели к памяти. Затем попробуйте свою задачу: запускается ли модель на этом компьютере и устраивает ли вас скорость ответа? Чужой быстрый ноутбук за вас этого не покажет.
Если локальную модель подключают как агента с командной строкой, закройте ей выход в сеть. На примере теста Cohere с Qwen разобраны риски и 5 мер защиты.
Что получилось у нас без внешней сети
13 октября мы использовали Ollama 0.40.3 и заранее загруженную qwen2.5:0.5b на центральном процессоре, без видеокарты. Программу перезапустили в контейнере — изолированной среде — без внешнего подключения. Проверочный запрос наружу не прошёл, а модель дала два ответа.
С вычислением без сети всё получилось, с качеством — плохо. В первом ответе помощник предложил проверить цены на других сайтах и начал повторяться. Во втором перечислил редакторы, включая Google Docs, не выяснив подготовку к офлайн-работе. Ответ оборвался.
В обоих запросах стоял предел 200 токенов. Токены — небольшие части текста, которыми оперирует модель. Ответы достигли этого ограничения. Такой опыт показывает возможность локального вычисления в нашей среде, но не доказывает полезность модели или требования к вашему ноутбуку.
Как проверить пользу на одном тексте
Дайте модели небольшой свой текст и задание: «Сократи до пяти предложений, сохрани числа, не добавляй сведения». Затем положите исходник и ответ рядом: какие факты пропали, что появилось лишнего?
Проверьте, сохранился ли смысл, не появились ли выдуманные факты и можно ли использовать ответ. Если нужно работать без сети, модель не должна отправлять вас искать недостающие данные в интернете. Пусть отмечает вопрос или работает с тем, что уже есть.
Полезно закрыть программу и запустить её заново в подготовленных условиях. Так вы отличите сохранённый прежний ответ от нового вычисления. Изменения рабочей сети для такого опыта обсуждают с ответственным; в нашей проверке использовалась отдельная изолированная среда.
Что это даст проекту, который вы собираете с ИИ
Можно заранее подготовить локальный текстовый инструмент для узкой задачи. Это не переносит автоматически весь облачный рабочий процесс: поиск, внешние инструменты, хранение и публикация могут оставаться сетевыми.
Начните с одной полезной операции и сохраните хороший пример результата. Если ответ приходится полностью переписывать, вариант пока не экономит работу. Возможность запустить модель — только начало выбора.
Как использовать Ною
Передайте исходный текст и скажите, какие факты нельзя менять. Попросите оформить ожидаемый результат и вопросы к недостающим данным. Полученную инструкцию сохраните вместе с материалом. Сама Ноя работает через интернет; локальный запуск — отдельный инструмент.
Готовый запрос для Нои
Откройте Ною и создайте сотрудника — помощника с сохранённой инструкцией. Вставьте запрос ниже в инструкции, а свои вводные напишите в диалоге. Проверьте ответ по исходным данным. Для нового ответа нужен интернет.
Ты — текстовый помощник в Ное. Подготовь короткое самодостаточное задание, которое человек затем сможет передать локальной модели без интернета. Работай только с переданными фактами. Не ищи сведения, не скачивай и не запускай программы.
Вводные: [ЗАДАЧА], [ИСХОДНЫЙ ТЕКСТ], [ДОСТУПНО ЛОКАЛЬНО], [ТРЕБУЕТ СЕТИ], [НЕИЗВЕСТНО], [ФОРМАТ РЕЗУЛЬТАТА]. Пустые поля означают неизвестное. Ни одного клиентского документа, пароля, ключа или внутреннего адреса не запрашивай.
1. Сразу дай документ до 250 слов: «Задание для локальной модели», «С чем работать», «Какой результат нужен», «Как проверить». Затем максимум три вопроса по критичным пробелам. Документ должен быть понятен без прежней переписки.
2. Исходные факты перепиши без усиления. Неизвестная дата цен не означает, что цены устарели. Неизвестная копия не означает её отсутствие или проверенность. Ничего не утверждай о железе, установленной модели, качестве, скорости или выполненных проверках без прямого факта.
3. Если переданного текста хватает, сформулируй работу только с ним. Включи необходимые исходные сведения в документ. Не отправляй локальную модель за ссылкой, к облачному файлу или на сайт. Не называй интернет доступным в будущем. Если нужный текст существует только в недоступном облаке и не передан, выдай задание только зафиксировать недостаток сведений. Не предлагай ни выгрузить, ни переписать, ни открыть этот документ «офлайн», даже вручную. Не составляй алгоритм получения цены. Сначала нужен доступный исходный текст; его получение сейчас не подтверждено.
4. Проверка результата: человек сравнивает каждую строку с исходником, ищет новые факты, повторы, обрыв и сетевые действия. Успешный текстовый ответ не называй проверенной работой всего проекта. Не подставляй системные даты и часы.
5. Не выполняй и не назначай установку, смену настроек, отправку сообщений, оплату или действия с рабочими данными. Если просят их выполнить, первой фразой скажи, что действие не выполнено; это обязательная фраза перед любым заголовком. Ноя требует связи; документ сохраняют отдельно. Подготовленное задание не означает загруженную модель или успешный офлайн-запуск.
Запустить помощника в Ное. Начните с вымышленных данных: так проще понять ответ и не передать лишнее.
Частые вопросы
Любое приложение с ИИ работает локально?
Нет. Оно может обращаться к модели через интернет. Уточните место вычисления в своём инструменте.
Что скачать заранее?
Программу, файлы выбранной модели и материалы задания. Затем проверьте новый запуск.
Маленькая модель даст такой же ответ, как облачная?
Такого обещания нет. Проверьте смысл, факты и полезность на своей задаче.
Локальная модель знает свежие новости?
Свежие сведения надо получить из подходящего источника. Само отсутствие сети их не добавляет.
Что доказал ваш опыт?
В нашей среде подготовленная модель дала ответы без внешней сети. Полезность ответов была низкой; требования к вашему компьютеру опытом не определяли.
Разобраться дальше
NVIDIA выпустила новые открытые модели для локальных и серверных задач. В разборе Nemotron 3.5 объясняем, что означает размер Bolt в 24 ГБ, какие варианты уже доступны и как проверить русский язык до покупки оборудования.
Источники