Repository navigation
Open
Description
Статус и назначение
RESEARCH / P2 / KILL-FIRST / NO IMPLEMENTATION AUTHORIZATION. Не устанавливать OpenSpec, не менять агентный controller, CI, release policy, security boundaries или существующие frozen contracts по одному факту появления этой issue.
Вопрос: даст ли refinement-first подход Stacy Cashmore измеримый прирост над существующим в 007 процессом change contract → isolated builder → independent verification → fail-closed admission? Не путать качество декомпозиции с гарантией правильности кода.
Проверенная исходная база
- JetBrains .NET Day 2026 — первичное описание доклада, выступление Stacy Cashmore Refinement-First Processes for AI Development, 7 октября 2026: problem → hypotheses → epic → features → stories, специализированные промпты/агенты, Claude Code/Copilot + OpenSpec; отдельные роли архитектуры, API, тестов, ревью, документации и ADR.
- Видео доклада, опубликовано JetBrains 15 октября 2026. Автоматический пересказ с таймкодами — secondary / unverified details, не считать самостоятельным доказательством цифр, затрат или достигнутого эффекта.
- C4.Net AGENTS.md — реальные repo guardrails (safe/ read-only except explicitly authorized, scope, тесты, target frameworks).
- C4.Net OpenSpec config —
schema: spec-driven, проектные правила в видимом файле пока закомментированы. Сам факт каталога не доказывает полное использование заявленного процесса. - C4.Net Stryker configuration — targeted mutation для клиента, JSON/crypto/API;
low=80, high=90, break=80, не глобальная policy для любого проекта. - Ближайшие внутренние работы: Proposal: proof-carrying changes and a universal admission harness for AI-generated code #74 proof-carrying changes / change admission и A1: coder/reviewer/human contracts (draft) #95 coder-reviewer-human contracts. Не дублировать их; искать улучшение pre-build refinement и human-test approval.
Сравниваемые гипотезы (kill-first)
| ID | Гипотеза | Как опровергаем |
|---|---|---|
| H1 | Problem → alternative hypotheses → small Story уменьшает wrong-solution/rework | Агент всё равно выбирает неверный scope или затраты на refinement выше сэкономленной переделки |
| H2 | Review тестового oracle до builder уменьшает false-green | Рецензент принимает общий ложный oracle; held-out/negative controls не меняют исход |
| H3 | Ограниченный контекст и роли уменьшают diff/review overhead | Тот же или худший объём изменений, токенов, времени review |
| H4 | Targeted mutation testing обнаруживает слабые тесты | Нулевые actionables или много дорогих эквивалентных мутантов |
| H5 | OpenSpec delta улучшает трассируемость contract → code → evidence | Добавляет документы, но не сокращает ambiguity, drift или потери контекста |
План ограниченного bakeoff
- Baseline inventory (read-only). Уточнить текущее состояние 007 по Proposal: proof-carrying changes and a universal admission harness for AI-generated code #74, A1: coder/reviewer/human contracts (draft) #95, текущим контрактам, frozen ADR, existing verification lanes. Составить gap map: что уже реализовано, что proposed, что отсутствует.
- Зафиксировать 2–3 небольших реальных изменений без production данных и зависимости от непроверенного провайдера. Для каждого указать исходный SHA, инварианты, пользовательскую проблему, ожидаемую наблюдаемую пользу, неизменяемые acceptance tests, запреты на изменения policy.
- Независимо сравнить существующий workflow с предлагаемым на сопоставимых задачах (предпочтительно paired, раздельные worktrees/исполнители; если невозможно — явно указать confounding). Гибрид: problem → ≥2 alternative hypotheses → reviewer-approved Story/spec/oracle → isolated implementer → current 007 verification/reducer. Контрольная ветка использует текущий workflow; оба пути проходят одинаковый независимый admission gate.
- Для одного детерминированного C#-среза, если реально применимо, дополнительно проверить mutation testing без расширения scope или автоизменения тестов; иначе
NOT_APPLICABLE, а не fake PASS. - Собрать для каждой пары сопоставимые данные: prompt+tool token cost, wall-clock, human active-review minutes, number of revisions, diff size/affected files, independently adjudicated defects, weak tests caught, false-green/negative controls, contract drift, result for user. Отдельно отмечать
NOT_TESTED,INCONCLUSIVEиSTOP_MISSING_INPUT. - Сравнить затраты и полезность; написать decision memo без заявления статистической значимости при n=2–3.
Безопасность и неизменные границы
- Builder не может переписывать oracle, frozen policy, verifier tools, held-out tests, accepted snapshots или reducer.
- Ни один агент не получает полномочия push/merge/release; не включать YOLO на хосте, не давать Docker socket, секреты, произвольную сеть.
- Эксперимент не изменяет принятые A0/A1 contract semantics из A1: coder/reviewer/human contracts (draft) #95 и не создаёт второй admission controller.
- Разделять
agent-generated assertion,independently observed evidenceиhuman judgment. - Параллелизация допустима только с независимыми материализованными базами/артефактами.
Acceptance / GO–KILL
- Есть provenance-linked baseline/gap map относительно Proposal: proof-carrying changes and a universal admission harness for AI-generated code #74 и A1: coder/reviewer/human contracts (draft) #95.
- Есть 2–3 frozen tasks + неизменный независимый oracle; все пропуски обозначены.
- Есть reproducible side-by-side evidence с одинаковыми admission gates.
- Зафиксированы как выгоды, так и издержки (стоимость генерации и проверки).
-
GO LIMITED PILOTлишь если минимум на двух задачах наблюдается улучшение полезного результата / сокращение rework или human review без ухудшения независимой проверки; абсолютные величины и overhead опубликованы. Малое n не даёт права объявить универсальный выигрыш. -
KILL / NO ADOPTIONесли улучшение не обнаружено, отсутствует независимая проверка, либо стоимость/сложность и maintenance превышают практическую выгоду.INCONCLUSIVEпри несопоставимых задачах или недостаточных данных. - Решение о реализации/мердже вынесено в отдельную issue после human GO.
Ожидаемый артефакт: короткий comparison report + raw evidence + решение KEEP BASELINE / SELECTIVE ADOPT / KILL; не код.
Metadata
Metadata
Assignees
Labels
No labels
Activity
PhysShell commentedon Nov 22, 2026
Сводная Page для REFINEMENT-EVIDENCE-01: Stacy Cashmore: refinement-first AI-разработка vs 007 evidence-first. На странице собраны первичные ссылки, матрица сравнения, гипотезы и границы эксперимента; issue остаётся единственным actionable backlog/GO–KILL контрактом.