Repository navigation
Description
Цель и статус
RESEARCH / P2 / REUSE-FIRST / KILL-FIRST / NO IMPLEMENTATION AUTHORIZED. Перенести из SWE-Lancer методическую идею независимой проверки завершённого пользовательского сценария в уже задуманную 007 #74 — proof-carrying changes, не разрабатывать новый benchmark/framework.
Полный разбор: SWE-Lancer — заметки, ICML 2025, grader, Inspect Evals.
Обоснование
SWE-Lancer проверяет реальные задачи исправления кода в pinned окружении независимыми end-to-end проверками. Самооценка агента и зелёные self-tests не являются доказательством правильного поведения. Сам evaluator способен ошибаться: over-strict tests #100, missing pytest exit-code graded as failure #151. Статусы конкретных инцидентов проверять перед выводами.
Нет необходимости переносить Expensify/Upwork-датасет: он предметно ограничен и менялся (первый Diamond 237 IC, публично 198 IC, Inspect Evals 195 IC). Исторические scores не сравнивать без snapshot/version pin.
Узкий kill-first дизайн: только после отдельного GO
- Выбрать 5 известных исторических дефектов с восстановимыми исходным/исправленным состояниями; при возможности WPF + SQL UI journey и Go/API side-effect. Пока не утверждать, что fixtures уже существуют.
- Для каждого сохранить исходное требование, SHA, known-good fix SHA, environment/config, fixture + reset, independent E2E observer, evaluator version/hash, UI/SQL/API postconditions, cleanup и evidence.
- Квалифицировать oracle до прогона агентов: broken baseline RED → known fix GREEN → intentionally wrong patch RED. False-red/false-green/flakiness → STOP/quarantine, не записывать в model FAIL.
- Агенту показывать task contract и исходный код; скрытые тесты и политику приёмки держать вне зоны изменения. Зафиксировать digests, разрешённый diff, run trace.
- Сравнить дешёвый baseline (существующий агент + текущие тесты) и независимый admission gate при одинаковых условиях. Разделить: task correctness, root cause, regressions/side effects, false-green, INFRA_ERROR/INCONCLUSIVE, replay, measured walltime/tokens/cost и human review.
- GO-NARROW только при реальной добавочной диагностической пользе над baseline; CHANGE при дорогом/flaky oracle; KILL при отсутствии выигрыша. N=5 не даёт универсальной статистики моделей.
Не дублировать
- 007 #74 владеет change contracts, admission policy и builder↔verifier boundary.
- 007 #42 владеет action-level provenance и измерением стоимости; не создавать вторую схему evidence.
- AI-Assistent-skeleton #8 владеет domain-specific PBT/MBT/SQL/WPF targeted controls.
- ScenarioBox page — лишь донор сценарного reset/replay, internal-only / NO-GO продукта.
Definition of Done для research
- 5 кандидатов с источниками и immutable baseline.
- Feasibility matrix для независимых oracles и negative controls.
- Статусы FAIL / PASS / INCONCLUSIVE / INFRA_ERROR и источник witness.
- Минимальная схема интеграции в 007 без дублирования Run evidence v2: action-level records linked to findings, costs and verifier outcomes #42/Proposal: proof-carrying changes and a universal admission harness for AI-generated code #74.
- Сравнение с дешевым baseline, оценка затрат, GO/CHANGE/KILL.
- Отдельный запрос GO до запусков тестов, новых зависимостей, правок CI/продукта.
Никакие реализация, прогоны, production data, deploy, PR, миграции или новые сервисы не разрешены этой issue.
Activity