Ejecución automatizada de pruebas
Estas tres skills se encargan de la parte automatizada del flujo: generar la suite ejecutable en el framework del proyecto, ejecutarla y reparar automáticamente lo que falla por motivos menores —ya sea a partir de una ejecución real fallida o de un diff de PR que rompió selectores.
lippia-neo-generate-test-suite
Cuándo usarla
Cuando existe un plan de tests y hay que generar la suite ejecutable en el framework
configurado (lee qa-stack.yaml para elegir el adaptador: Playwright, Lippia o Cypress;
Pytest está en estado stub y aborta). Soporta suites FE, BE o híbridas.
También cubre modos alternativos sin plan completo: modo TDD (un único criterio de aceptación)
y modo "ampliación de casuística" (solo los casos faltantes). Regla clave: si algún escenario
ejecutado falló (status: "fail"), generar su test de regresión es obligatorio e incondicional
al modo activo — la única excepción es que ya exista un archivo con el tag bug-id de ese
mismo bug. Antes de generar cada caso revisa si un test existente ya cubre el mismo flujo
(precondición, acción y resultado) para no duplicarlo. No escribe reportes: eso lo hace
lippia-neo-write-generation-report.
{
"config": {
"test_framework": "playwright",
"app_type": "web",
"tests_dir": "tests/",
"test_plans_dir": "test-plans/",
"auth": "basic_auth",
"language": "javascript"
}
}
| Input | Tipo | Descripción |
|---|---|---|
config.test_framework, config.app_type, config.tests_dir, config.test_plans_dir, config.auth, config.language |
Requerido | Todo resuelto desde qa-stack.yaml. |
config.env_file |
Opcional | Ruta de credenciales/tokens del ambiente; si es null, los templates dejan TODO en vez de la variable de entorno real. |
config.lippia_config_path |
Opcional | Solo relevante si test_framework es Lippia. |
input.manual_execution_report_path |
Opcional | Artefacto de handoff (ui_selectors, executed_scenarios, findings, summary) producido por cualquier skill que reproduzca o explore la app. |
input.tdd_single_ac |
Opcional | Modo TDD: string con el AC-ID; genera solo ese test. |
input.existing_tests |
Opcional | Output de lippia-neo-find-existing-tests; si hay matches del mismo módulo, los archivos nuevos se agregan a esa misma carpeta. |
input.missing_cases |
Opcional | Output de lippia-neo-review-test-coverage; si está presente (aunque vacío), activa el modo "ampliación de casuística". |
Salida
| Campo | Descripción |
|---|---|
status |
success / partial (algún caso saltado) / aborted (adaptador en stub o plan no encontrado). |
generated_files |
path, test_case_id, suite_type (fe/be) de cada archivo generado. |
skipped_scenarios |
Casos saltados, con test_case_id y reason (por ejemplo, ya cubierto por un test existente o filtrado por modo TDD). |
warnings |
TODOs pendientes u otras degradaciones. |
Se encadena con
Consume existing_tests, missing_cases y manual_execution_report_path de las skills anteriores; su
salida alimenta a lippia-neo-run-and-heal y luego a lippia-neo-write-generation-report/
lippia-neo-write-test-report.
lippia-neo-run-and-heal
Cuándo usarla
Para ejecutar la suite de tests (en cualquier framework configurado) y auto-reparar los que
fallan hasta que todos pasen o se alcance el máximo de iteraciones (lee qa-stack.yaml para
elegir el adaptador: Playwright, Lippia o Cypress; Pytest está en estado stub y aborta). Nunca
supera max_iterations (tope 3); antes de escalar, completa todos
los TODOs pendientes y reemplaza credenciales hardcodeadas por variables de entorno — ninguna
de las dos cosas se escala como excusa, siempre se resuelven.
{
"config": {
"test_framework": "playwright",
"tests_dir": "tests/",
"reports_dir": "test-results/reports/",
"commands": {
"run_tests": "npx playwright test"
}
}
}
| Input | Tipo | Descripción |
|---|---|---|
config.test_framework, config.tests_dir, config.reports_dir, config.commands.run_tests |
Requerido | |
config.max_iterations |
Opcional | Por defecto 3; usar 1 para un smoke post-deploy sin healing. |
config.plateau_detection |
Opcional | Por defecto true; pasar false cuando max_iterations=1. |
config.run_label |
Opcional | Etiqueta de la ejecución en el reporte (post-fix, regresion-modulo, smoke). |
config.include_dirs / config.exclude_dirs |
Opcional | Subcarpetas a incluir/excluir (Playwright y Cypress, mutuamente excluyentes). |
config.target_tests |
Opcional | Archivos puntuales a ejecutar en vez de la suite completa (strings o objetos con path; ej. existing_tests de lippia-neo-find-existing-tests o repaired_tests de lippia-neo-repair-selectors-by-diff); tiene prioridad sobre include/exclude_dirs. Playwright y Cypress — en Lippia se ignora (no soporta scoping por carpeta ni archivo) y queda anotado en escalation_notes. |
Salida
| Campo | Descripción |
|---|---|
status |
green / plateau_abort / max_iter_abort. |
iterations_used, final_pass_count, final_fail_count |
|
healed_tests |
file, failure_category (selector_broken/timeout/assertion_mismatch/api_error/environment/unknown), fix_applied, fix_successful. |
escalation_required, escalation_notes |
Si hace falta intervención humana: tests que siguen fallando, fixes intentados y sugerencia concreta. |
report_path |
JSON de la ejecución, escrito en reports_dir. |
Se encadena con
Se ejecuta después de lippia-neo-generate-test-suite (o directo sobre tests existentes); cuando
escalation_required es true, ese resultado se reporta a un humano vía
lippia-neo-write-test-report. También es el paso 3 del plan ui-selector-repair y el único
paso de ui-selector-regression, acotado con target_tests a los tests que reparó
lippia-neo-repair-selectors-by-diff.
lippia-neo-repair-selectors-by-diff
Cuándo usarla
Justo después de lippia-neo-find-ui-tests-by-code-diff, en un flujo de reparación de selectores:
repara estáticamente los selectores de los tests devueltos
en matched_tests, reescribiéndolos según lo que el propio diff cambió (atributos de testing,
aria-label, role, id, ruta, clase o texto renombrado/eliminado). Si el diff agrega un atributo
de testing (data-testid, data-test, data-qa, data-pw) a un elemento que el test
buscaba por clase, texto o rol con nombre, migra el selector a ese atributo ("promoción").
No ejecuta la suite ni abre navegador — el PR todavía no está deployado en ningún ambiente, así
que el diff es la única fuente de verdad. Nunca "adivina" un reemplazo: si el diff no establece una relación old→new
no ambigua, el caso queda en unresolved para revisión humana.
{
"input": {
"pr_diff_path": "tmp/pr-1234.diff",
"matched_tests": [
{
"path": "tests/checkout.spec.ts",
"suite_type": "fe",
"matched_on": [
{ "term": "apply-coupon", "matched_location": "structured_body", "match_strength": "partial", "match_mode": "exact" }
]
}
]
},
"config": {
"test_framework": "playwright"
}
}
| Input | Tipo | Descripción |
|---|---|---|
input.pr_diff_path |
Requerido | El mismo diff que consumió lippia-neo-find-ui-tests-by-code-diff. |
input.matched_tests |
Requerido | El array que devolvió esa skill, nunca reconstruido a mano; se evalúan todos los términos de cada archivo. Si viene vacío, devuelve none sin abrir nada. |
config.test_framework |
Requerido | Determina cómo luce un selector en el código de test (playwright/lippia/pytest; con otro framework, incluido cypress, aborta con un warning). |
Salida
| Campo | Descripción |
|---|---|
status |
repaired (todo resuelto) / partial (hay reemplazos y también unresolved) / blocked (solo unresolved) / none (nada mecánicamente reparable). |
repaired_tests |
Por archivo, changes con selector_type, old_value, new_value, occurrences, y old_selector_type solo cuando hubo promoción (el tipo de selector cambió). |
unresolved |
path, matched_on (el término, como string), reason. |
warnings |
Matches de solo alcance sin nada que reparar, promociones de selector aplicadas, trazabilidad de términos recibidos/evaluados/reparados/unresolved. |
Se encadena con
Paso 2 del plan ui-selector-repair, gateado por has_matches de
lippia-neo-find-ui-tests-by-code-diff; unresolved es la señal para escalar a un humano. Su
repaired_tests alimenta config.target_tests de lippia-neo-run-and-heal (paso 3 del mismo
plan y, después del deploy, plan ui-selector-regression).