Saltar al contenido
luis@data:~$

proyectos / okayish

okayish

Validaciones difusas de calidad de datos en Python: valores tipados con puntaje de confianza y marcado de lo que requiere revisión humana, con Jev como modelo de decisión.

fecha
stack
Python, Pydantic, pandas, Jev, pytest, uv, Streamlit
código
github.com/LuisResendiz/okayish

okayish resuelve las validaciones que las reglas exactas no alcanzan: si un ticket es una caída del servicio, a qué país corresponde “Alemania” o si $ son dólares o pesos. Declaras un esquema al estilo Pydantic, le pasas texto desordenado y un modelo de decisión rápido (Jev) elige entre los valores permitidos. Cada campo regresa tipado, con un puntaje de confianza, y lo que queda por debajo de su umbral se marca para revisión.

Cómo funciona

Los campos Literal y Enum se convierten en una pregunta de opción múltiple para Jev y los bool en una probabilidad de sí o no. Las coincidencias exactas se resuelven sin llamar al modelo, y si no hay backend configurado los valores sin resolver simplemente se marcan. parse_many elimina duplicados y ejecuta las llamadas en paralelo, y parse_frame agrega a un DataFrame las columnas de valor, confianza y needs_review.

Complementos

Módulos opcionales limpian países (ISO 3166), monedas (ISO 4217), unidades y nivel de seniority. Primero intentan una coincidencia local exacta o aproximada y llaman al modelo solo para el resto, lo que reduce costo y latencia. Los casos ambiguos, como el símbolo $, se resuelven con la mejor opción y baja confianza para que se revisen.

Estado

Etapa temprana. Las pruebas corren contra un backend simulado, así que no se necesita red ni llave de API, y el roadmap incluye un helper para Polars, caché, backends locales y benchmarks. No está pensada para decisiones sobre personas.