Заказчик описывает задачу, профильные специалисты её выполняют, а несколько проверок отсеивают ошибки. На выходе готовый набор с паспортом.
Четыре шага
Тип датасета и инструкция. Своё сырьё или готовый набор из каталога.
Эксперты и допущенный крауд пишут, размечают и оценивают ответы ИИ по своему домену.
Пересечение исполнителей, скрытые gold‑задачи, экзамен‑допуск отсеивают брак.
Данные в формате SFT / RLHF / eval с паспортом качества и провенансом.
Схема качества
Не оцениваем набор на глаз. Работают несколько независимых проверок сразу.
Пример видят несколько исполнителей независимо. Итог берём по согласию большинства, расхождения отправляем на разбор.
Скрытые задачи с известным ответом. По ним видно, кто работает добросовестно.
Доступ к заданиям отрасли открывается только после экзамена. Так удерживаем качество.
Считаем κ (каппа Коэна) между разметчиками. Низкое = сигнал уточнить инструкцию.
Как это устроено внутри, в рабочем пространстве исполнителя: обзор платформы.
Провенанс
Паспорт (data card) к каждому набору: прослеживаемость по всей цепочке для аудита.
{"dataset": "Клинические рассуждения · терапия",
"type": "SFT", "examples": 4200,
"verified_by": "11 аттестованных врачей",
"agreement_kappa": 0.83,
"gold_pass_rate": 0.97,
"consent": "целевое согласие субъектов",
"pii": "обезличено по 152‑ФЗ",
"source_license": "права на передачу подтверждены",
"storage": "серверы РФ"}Два режима
Если данные уже есть, доводим их: обезличиваем, размечаем, оцениваем силами экспертов. Быстро и предсказуемо по цене.
Если своих данных нет, покупаете готовый набор из каталога. Библиотеку копим из проектов режима A, на которые получены права.
Откройте демо-кабинет заказчика или исполнителя и пройдите весь путь вживую.