Как сравнить ChatGPT, Claude и Gemini на своих документах, а не на обещаниях разработчиков

Опубликована инструкция, как самостоятельно сравнить три нейросети — ChatGPT от OpenAI, Claude от Anthropic и Gemini от Google — на реальной задаче. Авторы предлагают написать небольшую программу, которая отправляет одни и те же документы всем трём сервисам и проверяет, насколько точно каждый из них извлекает нужные данные, сколько времени это занимает и во сколько обходится.

Для проверки использовали счета на оплату — документ с чёткими полями (дата, сумма, налог, номер счёта), где легко понять, ошиблась нейросеть или нет. Специально взяли счета разного оформления — американские, европейские, британские и один с намеренно «грязным» текстом, похожим на результат плохого распознавания скана. В каждый документ добавили ловушки: например, старый долг, который не должен попасть в итоговую сумму, или номер заказа, который легко спутать с номером счёта.

Что это значит для бизнеса. Если компания хочет поручить нейросети разбор счетов, договоров или обращений клиентов, выбор конкретного сервиса — не вопрос моды или рекламы, а вопрос точности и цены за объём работы. Автор инструкции подчёркивает: быстрая и дешёвая модель иногда почти не уступает по точности дорогой и флагманской, и тогда выгоднее брать дешёвую. При этом цены и доступные модели у всех трёх компаний меняются очень часто, поэтому любые сравнения быстро устаревают, а разброс в ценах между обычными моделями и их урезанными версиями может быть в несколько десятков раз.

Как попробовать. Способ требует навыков программирования на Python и платных ключей доступа к API каждого из трёх сервисов — подписки для обычных чат-приложений для этого не подходят. Процесс занимает около часа и описан как пошаговая инструкция с готовым кодом, которую можно адаптировать под свои документы — не только счета, но и, например, договоры или обращения в поддержку.