Одна ошибка при работе с ИИ, которую я вижу постоянно в госзакупках
Постановление Правительства №719 — документ на 600+ страниц. Он нужен, чтобы проверить, набирает ли продукция минимальный балл локализации по реестру Минпромторга.
Задача нетривиальная: нужно найти нужный ОКПД, иногда родительский, иногда искать по направлению.
Люди делают логичную вещь: закидывают постановление в ChatGPT или DeepSeek и спрашивают, сколько баллов требуется. Иногда даже пишут хороший промпт. И всё равно получают ерунду.
Почему?
Дело в токенах.
Токен — это примерно ¾ слова. Одна страница текста — около 500–700 токенов. У каждой модели есть лимит на входящий текст и на ответ.
Когда вы загружаете 600 страниц — вы занимаете почти всё доступное пространство. Модели не хватает «места», чтобы нормально обработать документ. Она начинает теряться, пропускать куски, галлюцинировать.
Решение — обрезать документ до нужного.
Вам не нужно всё постановление. Нужны только разделы с баллами по вашим ОКПД. Вырежьте именно эту часть — и отправьте только её. Чем меньше мусора на входе, тем точнее ответ на выходе.
Та же логика работает при подборе товара по техзаданию.
Казалось бы, простая задача: есть ТЗ, есть прайс — попроси ИИ подобрать позиции. Но в лоб это не работает. Закинуть прайс на тысячу строк и ТЗ одним куском — и получить точный результат — не выйдет. Токены заканчиваются раньше, чем модель успевает думать.
Мы решили это иначе: берём ограниченный прайс, строим из него структурированную базу знаний, и уже по ней модель ищет соответствие. Окно не переполняется, результат стабильный.
И ещё один момент, о котором редко говорят.
Экономия токенов важна не только для точности — она критична, если вы работаете с локальными или корпоративными моделями.
Если в компании стоит вопрос конфиденциальности — данные нельзя отправлять в облако — используют небольшие модели, которые работают локально. У них окно контекста значительно меньше. И там каждый лишний токен на входе — это прямой удар по качеству ответа.
Поэтому правило одно: отправляй модели только то, что нужно для конкретной задачи. Не весь документ — только нужный фрагмент.
Если у вас есть ограниченный прайс и вы тратите много времени на подбор товара под ТЗ — напишите. Соберём рабочий инструмент под вашу задачу.
Постановление Правительства №719 — документ на 600+ страниц. Он нужен, чтобы проверить, набирает ли продукция минимальный балл локализации по реестру Минпромторга.
Задача нетривиальная: нужно найти нужный ОКПД, иногда родительский, иногда искать по направлению.
Люди делают логичную вещь: закидывают постановление в ChatGPT или DeepSeek и спрашивают, сколько баллов требуется. Иногда даже пишут хороший промпт. И всё равно получают ерунду.
Почему?
Дело в токенах.
Токен — это примерно ¾ слова. Одна страница текста — около 500–700 токенов. У каждой модели есть лимит на входящий текст и на ответ.
Когда вы загружаете 600 страниц — вы занимаете почти всё доступное пространство. Модели не хватает «места», чтобы нормально обработать документ. Она начинает теряться, пропускать куски, галлюцинировать.
Решение — обрезать документ до нужного.
Вам не нужно всё постановление. Нужны только разделы с баллами по вашим ОКПД. Вырежьте именно эту часть — и отправьте только её. Чем меньше мусора на входе, тем точнее ответ на выходе.
Та же логика работает при подборе товара по техзаданию.
Казалось бы, простая задача: есть ТЗ, есть прайс — попроси ИИ подобрать позиции. Но в лоб это не работает. Закинуть прайс на тысячу строк и ТЗ одним куском — и получить точный результат — не выйдет. Токены заканчиваются раньше, чем модель успевает думать.
Мы решили это иначе: берём ограниченный прайс, строим из него структурированную базу знаний, и уже по ней модель ищет соответствие. Окно не переполняется, результат стабильный.
И ещё один момент, о котором редко говорят.
Экономия токенов важна не только для точности — она критична, если вы работаете с локальными или корпоративными моделями.
Если в компании стоит вопрос конфиденциальности — данные нельзя отправлять в облако — используют небольшие модели, которые работают локально. У них окно контекста значительно меньше. И там каждый лишний токен на входе — это прямой удар по качеству ответа.
Поэтому правило одно: отправляй модели только то, что нужно для конкретной задачи. Не весь документ — только нужный фрагмент.
Если у вас есть ограниченный прайс и вы тратите много времени на подбор товара под ТЗ — напишите. Соберём рабочий инструмент под вашу задачу.