Skip to content

Research / SWELANCER-01: independent E2E admission oracle, broken→fixed→wrong-patch (kill-first) #158

Open

Description

@PhysShell

Цель и статус

RESEARCH / P2 / REUSE-FIRST / KILL-FIRST / NO IMPLEMENTATION AUTHORIZED. Перенести из SWE-Lancer методическую идею независимой проверки завершённого пользовательского сценария в уже задуманную 007 #74 — proof-carrying changes, не разрабатывать новый benchmark/framework.

Полный разбор: SWE-Lancer — заметки, ICML 2025, grader, Inspect Evals.

Обоснование

SWE-Lancer проверяет реальные задачи исправления кода в pinned окружении независимыми end-to-end проверками. Самооценка агента и зелёные self-tests не являются доказательством правильного поведения. Сам evaluator способен ошибаться: over-strict tests #100, missing pytest exit-code graded as failure #151. Статусы конкретных инцидентов проверять перед выводами.

Нет необходимости переносить Expensify/Upwork-датасет: он предметно ограничен и менялся (первый Diamond 237 IC, публично 198 IC, Inspect Evals 195 IC). Исторические scores не сравнивать без snapshot/version pin.

Узкий kill-first дизайн: только после отдельного GO

  1. Выбрать 5 известных исторических дефектов с восстановимыми исходным/исправленным состояниями; при возможности WPF + SQL UI journey и Go/API side-effect. Пока не утверждать, что fixtures уже существуют.
  2. Для каждого сохранить исходное требование, SHA, known-good fix SHA, environment/config, fixture + reset, independent E2E observer, evaluator version/hash, UI/SQL/API postconditions, cleanup и evidence.
  3. Квалифицировать oracle до прогона агентов: broken baseline RED → known fix GREEN → intentionally wrong patch RED. False-red/false-green/flakiness → STOP/quarantine, не записывать в model FAIL.
  4. Агенту показывать task contract и исходный код; скрытые тесты и политику приёмки держать вне зоны изменения. Зафиксировать digests, разрешённый diff, run trace.
  5. Сравнить дешёвый baseline (существующий агент + текущие тесты) и независимый admission gate при одинаковых условиях. Разделить: task correctness, root cause, regressions/side effects, false-green, INFRA_ERROR/INCONCLUSIVE, replay, measured walltime/tokens/cost и human review.
  6. GO-NARROW только при реальной добавочной диагностической пользе над baseline; CHANGE при дорогом/flaky oracle; KILL при отсутствии выигрыша. N=5 не даёт универсальной статистики моделей.

Не дублировать

  • 007 #74 владеет change contracts, admission policy и builder↔verifier boundary.
  • 007 #42 владеет action-level provenance и измерением стоимости; не создавать вторую схему evidence.
  • AI-Assistent-skeleton #8 владеет domain-specific PBT/MBT/SQL/WPF targeted controls.
  • ScenarioBox page — лишь донор сценарного reset/replay, internal-only / NO-GO продукта.

Definition of Done для research

Никакие реализация, прогоны, production data, deploy, PR, миграции или новые сервисы не разрешены этой issue.

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions