Четыре проверки, которые не заменит таблица моделей
Таблица «лучший ИИ для юридической работы» отвечает инженеру. Адвокат в Триполи спрашивает уже: тот ли это текст, открывается ли он, и есть ли у статуса действия доказательство.
В двух строках
- Мы не коронуем модель на чужих задачах.
- Каждый ответ должен пройти четыре проверки: источник открывается, тождество совпадает, доказательство действия видно, применимость остаётся за человеком.
Раз в несколько месяцев появляется таблица. Десять моделей. Сотни задач. Жёсткий заголовок: вот лучший ИИ для юридической работы.
Таблица помогает выбрать двигатель. Она почти пуста, если вы пишете апелляцию или считаете ливийский процессуальный срок.
Неверный вопрос
«Лучший юридический ИИ» не содержит правопорядка. Лучший по какому праву, по каким источникам, и кто несёт дело, если цитата не говорит того, что утверждает модель?
Англоязычные трансграничные кейсы ничего не говорят о статье ливийского гражданско-процессуального кодекса, решении Верховного суда или номере Официального вестника с поправкой.
Первое: источник открывается?
Сноска, которая не открывает текст, — украшение. В Izuran это дверь. Не открывается — не опирайтесь.
Второе: верно ли тождество?
Модели хорошо сжимают и тихо ошибаются: номер статьи, год, страница. Фраза звучит. Указатель смотрит в другую сторону.
Третье: что за отметкой о действии?
Действует, изменено, отменено, не подтверждено. Отметка полезна и опасна, если читать её как приговор. Иногда последующий акт связан, иногда только назван, иногда есть лишь отметка. Это разная доказательственная сила.
Четвёртое: применимость — не задача модели
Найти статью не значит, что она управляет этим спором. Это чтение адвоката.
Что мы измеряем — и чего не утверждаем
Мы проверяем, что известный документ находится в индексе. Это ловит пропавшую запись, а не качество мнения. Процент юридической верности ответов мы не публикуем, пока нет ливийского набора вопросов с разметкой специалистов.
| Таблица моделей | Что нужно для подачи |
|---|---|
| Качество формулировок | Текст, который открывается |
| Точность в другом правопорядке | Тождество акта, статьи, страницы |
| Скорость и цена | Доказательство действия рядом с отметкой |
| Один победитель на всё | Применимость по фактам |
Самая сильная модель мира без двери к оригиналу остаётся искусным автором черновика.