Saltar a contenido

Ejecución automatizada de pruebas

Estas tres skills se encargan de la parte automatizada del flujo: generar la suite ejecutable en el framework del proyecto, ejecutarla y reparar automáticamente lo que falla por motivos menores —ya sea a partir de una ejecución real fallida o de un diff de PR que rompió selectores.


lippia-neo-generate-test-suite

Cuándo usarla

Cuando existe un plan de tests y hay que generar la suite ejecutable en el framework configurado (lee qa-stack.yaml para elegir el adaptador: Playwright, Lippia o Cypress; Pytest está en estado stub y aborta). Soporta suites FE, BE o híbridas. También cubre modos alternativos sin plan completo: modo TDD (un único criterio de aceptación) y modo "ampliación de casuística" (solo los casos faltantes). Regla clave: si algún escenario ejecutado falló (status: "fail"), generar su test de regresión es obligatorio e incondicional al modo activo — la única excepción es que ya exista un archivo con el tag bug-id de ese mismo bug. Antes de generar cada caso revisa si un test existente ya cubre el mismo flujo (precondición, acción y resultado) para no duplicarlo. No escribe reportes: eso lo hace lippia-neo-write-generation-report.

Ejemplo de invocación
{
  "config": {
    "test_framework": "playwright",
    "app_type": "web",
    "tests_dir": "tests/",
    "test_plans_dir": "test-plans/",
    "auth": "basic_auth",
    "language": "javascript"
  }
}
Input Tipo Descripción
config.test_framework, config.app_type, config.tests_dir, config.test_plans_dir, config.auth, config.language Requerido Todo resuelto desde qa-stack.yaml.
config.env_file Opcional Ruta de credenciales/tokens del ambiente; si es null, los templates dejan TODO en vez de la variable de entorno real.
config.lippia_config_path Opcional Solo relevante si test_framework es Lippia.
input.manual_execution_report_path Opcional Artefacto de handoff (ui_selectors, executed_scenarios, findings, summary) producido por cualquier skill que reproduzca o explore la app.
input.tdd_single_ac Opcional Modo TDD: string con el AC-ID; genera solo ese test.
input.existing_tests Opcional Output de lippia-neo-find-existing-tests; si hay matches del mismo módulo, los archivos nuevos se agregan a esa misma carpeta.
input.missing_cases Opcional Output de lippia-neo-review-test-coverage; si está presente (aunque vacío), activa el modo "ampliación de casuística".

Salida

Campo Descripción
status success / partial (algún caso saltado) / aborted (adaptador en stub o plan no encontrado).
generated_files path, test_case_id, suite_type (fe/be) de cada archivo generado.
skipped_scenarios Casos saltados, con test_case_id y reason (por ejemplo, ya cubierto por un test existente o filtrado por modo TDD).
warnings TODOs pendientes u otras degradaciones.
Se encadena con

Consume existing_tests, missing_cases y manual_execution_report_path de las skills anteriores; su salida alimenta a lippia-neo-run-and-heal y luego a lippia-neo-write-generation-report/ lippia-neo-write-test-report.


lippia-neo-run-and-heal

Cuándo usarla

Para ejecutar la suite de tests (en cualquier framework configurado) y auto-reparar los que fallan hasta que todos pasen o se alcance el máximo de iteraciones (lee qa-stack.yaml para elegir el adaptador: Playwright, Lippia o Cypress; Pytest está en estado stub y aborta). Nunca supera max_iterations (tope 3); antes de escalar, completa todos los TODOs pendientes y reemplaza credenciales hardcodeadas por variables de entorno — ninguna de las dos cosas se escala como excusa, siempre se resuelven.

Ejemplo de invocación
{
  "config": {
    "test_framework": "playwright",
    "tests_dir": "tests/",
    "reports_dir": "test-results/reports/",
    "commands": {
      "run_tests": "npx playwright test"
    }
  }
}
Input Tipo Descripción
config.test_framework, config.tests_dir, config.reports_dir, config.commands.run_tests Requerido
config.max_iterations Opcional Por defecto 3; usar 1 para un smoke post-deploy sin healing.
config.plateau_detection Opcional Por defecto true; pasar false cuando max_iterations=1.
config.run_label Opcional Etiqueta de la ejecución en el reporte (post-fix, regresion-modulo, smoke).
config.include_dirs / config.exclude_dirs Opcional Subcarpetas a incluir/excluir (Playwright y Cypress, mutuamente excluyentes).
config.target_tests Opcional Archivos puntuales a ejecutar en vez de la suite completa (strings o objetos con path; ej. existing_tests de lippia-neo-find-existing-tests o repaired_tests de lippia-neo-repair-selectors-by-diff); tiene prioridad sobre include/exclude_dirs. Playwright y Cypress — en Lippia se ignora (no soporta scoping por carpeta ni archivo) y queda anotado en escalation_notes.

Salida

Campo Descripción
status green / plateau_abort / max_iter_abort.
iterations_used, final_pass_count, final_fail_count
healed_tests file, failure_category (selector_broken/timeout/assertion_mismatch/api_error/environment/unknown), fix_applied, fix_successful.
escalation_required, escalation_notes Si hace falta intervención humana: tests que siguen fallando, fixes intentados y sugerencia concreta.
report_path JSON de la ejecución, escrito en reports_dir.
Se encadena con

Se ejecuta después de lippia-neo-generate-test-suite (o directo sobre tests existentes); cuando escalation_required es true, ese resultado se reporta a un humano vía lippia-neo-write-test-report. También es el paso 3 del plan ui-selector-repair y el único paso de ui-selector-regression, acotado con target_tests a los tests que reparó lippia-neo-repair-selectors-by-diff.


lippia-neo-repair-selectors-by-diff

Cuándo usarla

Justo después de lippia-neo-find-ui-tests-by-code-diff, en un flujo de reparación de selectores: repara estáticamente los selectores de los tests devueltos en matched_tests, reescribiéndolos según lo que el propio diff cambió (atributos de testing, aria-label, role, id, ruta, clase o texto renombrado/eliminado). Si el diff agrega un atributo de testing (data-testid, data-test, data-qa, data-pw) a un elemento que el test buscaba por clase, texto o rol con nombre, migra el selector a ese atributo ("promoción"). No ejecuta la suite ni abre navegador — el PR todavía no está deployado en ningún ambiente, así que el diff es la única fuente de verdad. Nunca "adivina" un reemplazo: si el diff no establece una relación old→new no ambigua, el caso queda en unresolved para revisión humana.

Ejemplo de invocación
{
  "input": {
    "pr_diff_path": "tmp/pr-1234.diff",
    "matched_tests": [
      {
        "path": "tests/checkout.spec.ts",
        "suite_type": "fe",
        "matched_on": [
          { "term": "apply-coupon", "matched_location": "structured_body", "match_strength": "partial", "match_mode": "exact" }
        ]
      }
    ]
  },
  "config": {
    "test_framework": "playwright"
  }
}
Input Tipo Descripción
input.pr_diff_path Requerido El mismo diff que consumió lippia-neo-find-ui-tests-by-code-diff.
input.matched_tests Requerido El array que devolvió esa skill, nunca reconstruido a mano; se evalúan todos los términos de cada archivo. Si viene vacío, devuelve none sin abrir nada.
config.test_framework Requerido Determina cómo luce un selector en el código de test (playwright/lippia/pytest; con otro framework, incluido cypress, aborta con un warning).

Salida

Campo Descripción
status repaired (todo resuelto) / partial (hay reemplazos y también unresolved) / blocked (solo unresolved) / none (nada mecánicamente reparable).
repaired_tests Por archivo, changes con selector_type, old_value, new_value, occurrences, y old_selector_type solo cuando hubo promoción (el tipo de selector cambió).
unresolved path, matched_on (el término, como string), reason.
warnings Matches de solo alcance sin nada que reparar, promociones de selector aplicadas, trazabilidad de términos recibidos/evaluados/reparados/unresolved.
Se encadena con

Paso 2 del plan ui-selector-repair, gateado por has_matches de lippia-neo-find-ui-tests-by-code-diff; unresolved es la señal para escalar a un humano. Su repaired_tests alimenta config.target_tests de lippia-neo-run-and-heal (paso 3 del mismo plan y, después del deploy, plan ui-selector-regression).