Volver a casos
CASO DE ESTUDIO · PRODUCTOS DE IA
Hicimos reproducibles los defectos no deterministas de IA.
Resultado clave:
0
3
8
~7 meses
- Industria
- Productos de IA
- Relación
- QA embebido
- Cobertura
- 3 productos de IA · 8 ingenieros
- Período
- ~7 meses, en curso
El desafío
AppsUY lanza productos impulsados por IA cuyas fallas no se repiten a pedido. Un modelo da una respuesta incorrecta una vez y después no se puede reproducir, así que nunca se corrige: simplemente reaparece frente al próximo usuario. El equipo necesitaba una forma de convertir el «pasó a veces» en un defecto que un ingeniero pueda efectivamente cerrar.
Lo que entregó QARTY
- Estudio del comportamiento de IA y la superficie de fallas de cada producto antes de testear
- Escenarios estructurados que acotan las salidas no deterministas
- Captura de entradas, semillas y contexto para que cada defecto se reproduzca a demanda
- Traspaso de un proceso repetible que el equipo de ingeniería ejecuta sin nosotros
Resultados
- Defectos de IA antes no reproducibles pasaron a ser reproducibles de forma confiable
- Los ingenieros corrigen causas raíz en lugar de perseguir fantasmas
- Cobertura de calidad en 3 productos de IA sin contratar QA interno
“Validar plataformas AI-First requiere un enfoque de QA que va mucho más allá del testing convencional, y QARTY estuvo a la altura del desafío. Son un equipo profesional, proactivo y un aliado indispensable para cualquier desarrollador.”
Matías GonzálezFundador y CEO, AppsUYInsight clave
El no determinismo no es intesteable: está sub-instrumentado. Una vez que capturas la entrada y el contexto completos alrededor de una falla, un bug de IA «irreproducible» se vuelve uno común.
Productos cubiertos
Flujo de automatización
no deterministaAnalítica
datosNuestro enfoque
- Estudio del dominio
- Escenarios de prueba estructurados
- Reproducir y aislar
- Traspaso del proceso