# Diseño del experimento arquitectónico (para review adversarial, ANTES de implementar)

## 0. Lo que la Fase 1 encontró, y por qué cambia el experimento

El encargo pedía probar causalmente esta hipótesis:

> «El contenido que llega a s4 es materialmente íntegro, pero está
> insuficientemente validado/conciliado antes de s4.»

y diseñar un validador intermedio que la testee. **La Fase 1 la falsó antes de
escribir una línea de ese validador**, y por eso el diseño que sigue no es el
que se pidió literalmente.

Lo que se hizo: correr el validador EN SECO sobre el material real que
recibieron las tres corridas que fallaron. Un validador intermedio no necesita
estar en el motor para saber qué habría detectado; necesita el material y las
reglas aplicadas encima.

Resultados (IDs de evidencia en `evidencia.json`):

- **E1**: la unión de demanda da `status=verified` y cero `reason_codes` en las
  TRES corridas. El material estaba validado.
- **E2**: nueve reglas de validación de entrada producen **cero bloqueantes**
  en las tres. (Honestidad: mi primera versión de la regla V5 buscaba el
  material en el lugar equivocado y disparaba un bloqueante falso en las tres;
  corregida, el resultado es cero.)
- **E6**: la validación que se proponía «añadir antes» ya existe como función
  pura y hoy corre DENTRO de s4.
- **E4**: los textos que el verificador rechazó no son cifras inventadas. Uno
  declara honestamente una ausencia («el proveedor devolvió
  aggregate_search_volume null para todas las keywords relevantes en
  es/location 2484»); el otro describe una oportunidad citando títulos de
  videos de la competencia.
- **E3**: en las tres corridas, el mercado objetivo (`es`) tiene 56-60
  observaciones y **ninguna con volumen medido**. El brief solo podía declarar
  ausencia.
- **E7**: los seis idiomas del material no son ruido: el intent los pide.
- **E5**: las tres corridas son anteriores al encendido de `v15_dual`.

**C5**: un validador que bloquea antes de s4 no puede reducir la concentración
de fallos, porque no tiene nada que bloquear.

**C4**: la brecha real no es de VALIDACIÓN sino de SEÑALIZACIÓN. Nadie le dice
al compositor que el mercado objetivo no tiene volumen, ni le da una forma
estructurada de declararlo. Escribirlo en prosa es lo que lo mata.

## 1. La hipótesis revisada

> Los fallos de s4 no vienen de material inválido sino de que el compositor
> declara en PROSA una ausencia de demanda que el verificador legacy rechaza.
> Si esa ausencia se declara de forma ESTRUCTURADA, el mismo material produce
> un brief que pasa.

Esto es comprobable sin tocar el workflow y sin gastar en el modelo, porque el
texto que el modelo escribió ya existe: está guardado en el error del nodo.

## 2. El experimento mínimo

**Sujeto**: el verificador de demanda, en sus dos modos, sobre los textos
REALES que el modelo escribió en las corridas que fallaron.

- **CONTROL**: el texto real → verificador en modo `legacy` (lo que corrió y
  falló).
- **EXPERIMENTO A**: el mismo texto → verificador en modo `v15_dual` (lo que
  está desplegado hoy, sin cutover).
- **EXPERIMENTO B**: el mismo contenido expresado como `demand_content` con un
  slot de tipo `absence` → contrato V15 completo.

No se toca el grafo. No se parte s4. No se modifica s5. No se implementa
ninguna REC. No hay nodo nuevo en el camino crítico.

**Por qué esto y no un validador en el motor**: porque E2 dice que el validador
no tendría nada que bloquear, y meter un nodo en el camino crítico para que no
bloquee nada es exactamente el criterio de falsación que el encargo pide vigilar
(«validator adds latency/cost without improving reliability»).

### Lo que el experimento produce como evidencia estructurada

Por cada texto y cada modo: qué recibió, qué reglas se dispararon, qué se
rechazó, con qué código, y si el resultado cambia entre modos. Nada se repara en
silencio: si el modo V15 acepta lo que legacy rechazó, queda el antes y el
después uno al lado del otro.

## 3. Criterios, definidos ANTES de ejecutar

### La hipótesis revisada SOBREVIVE si

1. El texto de ausencia real (corrida 27e31613) es **rechazado** en legacy y
   **aceptado** en el camino V15 estructurado.
2. Eso ocurre sin que el verificador V15 deje pasar una cifra que legacy sí
   habría atrapado con razón (no se compra el pase aflojando el contrato).

### La hipótesis revisada QUEDA FALSADA si

1. El texto de ausencia también es rechazado en V15. Entonces el problema no
   era la forma de declararlo y V15 no lo resuelve.
2. V15 acepta el texto pero además acepta cifras no autorizadas: el pase se
   compró aflojando la veracidad, que es peor que el fallo.
3. El rechazo de legacy resulta ser correcto: si el texto SÍ contiene una
   afirmación de demanda sin respaldo, entonces el verificador hizo su trabajo
   y la culpa es del compositor, no del contrato.
4. El segundo caso (el de los títulos citados, corrida 9781d049) se comporta
   distinto del primero sin una razón que el contrato explique.

### Lo que NO se va a medir, y por qué

Tasa de éxito de s4, latencia, costo por token y calidad del artefacto final
exigen corridas completas con el modelo real. Este experimento no las produce y
**no se van a inferir de él**. Si el experimento sobrevive, la medición de esas
variables es un paso posterior y separado, con su propio permiso.

## 4. Dominio de validez (declarado por adelantado)

- entorno: offline, sobre textos y material reales guardados en la base de
  producción; lectura en READ ONLY.
- grafo: `brief-synthesis-v13` v3.
- run_ids: 27e31613, 9781d049, e57b6f79.
- llamadas reales al modelo: **ninguna**. El texto ya fue generado por el modelo
  en producción; acá solo se lo pasa por el verificador.
- tiempos: **no representativos** y no se medirán.
- costo: **no representativo** y no se medirá.
- estado: OBSERVADO para los textos y el material; el veredicto del verificador
  es determinista y reproducible.

## 5. Lo que este experimento NO puede decir

- Si el brief final sería de mejor calidad.
- Si la tasa de éxito de s4 en producción mejora.
- Nada sobre tiempos ni costos.
- Nada sobre las otras dos corridas si su texto de error está truncado en la
  base (hay que verificar el largo antes de usarlo).

## 6. Preguntas para el review adversarial

R1. ¿La falsación de la hipótesis original es correcta, o hay una forma de
    validación intermedia que las nueve reglas no cubren y que sí habría
    detectado algo en esas tres corridas?
R2. ¿El experimento revisado prueba lo que dice probar, o hay un atajo que lo
    invalida (por ejemplo, que el texto guardado en el error no sea exactamente
    el que el verificador evaluó)?
R3. Los criterios de falsación, ¿son suficientes para no auto-confirmarme?
R4. ¿El caso 2 (títulos citados) pertenece a la misma hipótesis o es un
    fenómeno distinto que habría que separar?
R5. ¿Qué evidencia falta para que este experimento sea concluyente?
R6. E3 dice que el mercado objetivo no tiene volumen en las tres corridas.
    ¿Eso es un hallazgo del workflow o un hallazgo del PROVEEDOR de datos, y
    cambia en algo la lectura?
