Skip to content

Research / REFINEMENT-EVIDENCE-01: refinement-first + OpenSpec vs 007 admission gates (kill-first) #163

Open

Description

@PhysShell

Статус и назначение

RESEARCH / P2 / KILL-FIRST / NO IMPLEMENTATION AUTHORIZATION. Не устанавливать OpenSpec, не менять агентный controller, CI, release policy, security boundaries или существующие frozen contracts по одному факту появления этой issue.

Вопрос: даст ли refinement-first подход Stacy Cashmore измеримый прирост над существующим в 007 процессом change contract → isolated builder → independent verification → fail-closed admission? Не путать качество декомпозиции с гарантией правильности кода.

Проверенная исходная база

Сравниваемые гипотезы (kill-first)

ID Гипотеза Как опровергаем
H1 Problem → alternative hypotheses → small Story уменьшает wrong-solution/rework Агент всё равно выбирает неверный scope или затраты на refinement выше сэкономленной переделки
H2 Review тестового oracle до builder уменьшает false-green Рецензент принимает общий ложный oracle; held-out/negative controls не меняют исход
H3 Ограниченный контекст и роли уменьшают diff/review overhead Тот же или худший объём изменений, токенов, времени review
H4 Targeted mutation testing обнаруживает слабые тесты Нулевые actionables или много дорогих эквивалентных мутантов
H5 OpenSpec delta улучшает трассируемость contract → code → evidence Добавляет документы, но не сокращает ambiguity, drift или потери контекста

План ограниченного bakeoff

  1. Baseline inventory (read-only). Уточнить текущее состояние 007 по Proposal: proof-carrying changes and a universal admission harness for AI-generated code #74, A1: coder/reviewer/human contracts (draft) #95, текущим контрактам, frozen ADR, existing verification lanes. Составить gap map: что уже реализовано, что proposed, что отсутствует.
  2. Зафиксировать 2–3 небольших реальных изменений без production данных и зависимости от непроверенного провайдера. Для каждого указать исходный SHA, инварианты, пользовательскую проблему, ожидаемую наблюдаемую пользу, неизменяемые acceptance tests, запреты на изменения policy.
  3. Независимо сравнить существующий workflow с предлагаемым на сопоставимых задачах (предпочтительно paired, раздельные worktrees/исполнители; если невозможно — явно указать confounding). Гибрид: problem → ≥2 alternative hypotheses → reviewer-approved Story/spec/oracle → isolated implementer → current 007 verification/reducer. Контрольная ветка использует текущий workflow; оба пути проходят одинаковый независимый admission gate.
  4. Для одного детерминированного C#-среза, если реально применимо, дополнительно проверить mutation testing без расширения scope или автоизменения тестов; иначе NOT_APPLICABLE, а не fake PASS.
  5. Собрать для каждой пары сопоставимые данные: prompt+tool token cost, wall-clock, human active-review minutes, number of revisions, diff size/affected files, independently adjudicated defects, weak tests caught, false-green/negative controls, contract drift, result for user. Отдельно отмечать NOT_TESTED, INCONCLUSIVE и STOP_MISSING_INPUT.
  6. Сравнить затраты и полезность; написать decision memo без заявления статистической значимости при n=2–3.

Безопасность и неизменные границы

  • Builder не может переписывать oracle, frozen policy, verifier tools, held-out tests, accepted snapshots или reducer.
  • Ни один агент не получает полномочия push/merge/release; не включать YOLO на хосте, не давать Docker socket, секреты, произвольную сеть.
  • Эксперимент не изменяет принятые A0/A1 contract semantics из A1: coder/reviewer/human contracts (draft) #95 и не создаёт второй admission controller.
  • Разделять agent-generated assertion, independently observed evidence и human judgment.
  • Параллелизация допустима только с независимыми материализованными базами/артефактами.

Acceptance / GO–KILL

  • Есть provenance-linked baseline/gap map относительно Proposal: proof-carrying changes and a universal admission harness for AI-generated code #74 и A1: coder/reviewer/human contracts (draft) #95.
  • Есть 2–3 frozen tasks + неизменный независимый oracle; все пропуски обозначены.
  • Есть reproducible side-by-side evidence с одинаковыми admission gates.
  • Зафиксированы как выгоды, так и издержки (стоимость генерации и проверки).
  • GO LIMITED PILOT лишь если минимум на двух задачах наблюдается улучшение полезного результата / сокращение rework или human review без ухудшения независимой проверки; абсолютные величины и overhead опубликованы. Малое n не даёт права объявить универсальный выигрыш.
  • KILL / NO ADOPTION если улучшение не обнаружено, отсутствует независимая проверка, либо стоимость/сложность и maintenance превышают практическую выгоду. INCONCLUSIVE при несопоставимых задачах или недостаточных данных.
  • Решение о реализации/мердже вынесено в отдельную issue после human GO.

Ожидаемый артефакт: короткий comparison report + raw evidence + решение KEEP BASELINE / SELECTIVE ADOPT / KILL; не код.

Activity

  1. PhysShell commented on Nov 22, 2026

    @PhysShell
    OwnerAuthor

    Сводная Page для REFINEMENT-EVIDENCE-01: Stacy Cashmore: refinement-first AI-разработка vs 007 evidence-first. На странице собраны первичные ссылки, матрица сравнения, гипотезы и границы эксперимента; issue остаётся единственным actionable backlog/GO–KILL контрактом.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions