Elección de un modelo para clasificar anuncios

Comparé cuatro modelos para elegir uno que extrajera datos de productos a partir de anuncios de reventa.

20 de agosto de 2026100 casos sintéticos · Cuatro modelos · Solo texto

Una prueba fija para cuatro modelos

Probé los cuatro modelos con los mismos 100 anuncios escritos a mano, las mismas instrucciones, el mismo esquema JSON y el mismo evaluador.

Qué contaba como correcto: Un caso estricto exigía acertar categoría, identidad, términos de búsqueda, atributos de valor, soporte de mercado y uso del precio.
Configuración de los proveedores: Dejé el razonamiento, el muestreo y los demás ajustes de generación en los valores predeterminados de cada proveedor.
Qué no cubrió la prueba: Desactivé fotos, búsqueda, grounding y herramientas externas. No evalué la recuperación de ventas comparables, la precisión de la valoración final ni las ganancias reales de reventa.

Una muestra del prompt compartido

Las instrucciones exigían usar la evidencia del anuncio, conservar los datos que afectan al valor, crear una consulta de ventas comparables y señalar precios engañosos.

Instrucción original en inglés · fragmento

Identify the exact product represented by the listing using only supplied text and visible image evidence.
Never invent a model, variant, condition, or attribute that is not supported by the evidence.
Create a concise eBay sold-items search query using the consumer-facing product name and only variants such as capacity or size that materially change value.
Mark askingPriceUsable false when the displayed price is a placeholder, per-item starting price, down payment, monthly payment, financing amount, or otherwise not the purchase price for the identified product or bundle.

La solicitud también incluía todas las reglas de categorías y el esquema JSON estricto. Añadí saltos de línea para facilitar la lectura; el texto no cambió.

La primera comparación de modelos

Luna obtuvo las mejores puntuaciones estricta y semántica y el menor costo estimado. Gemini Lite respondió más rápido en promedio, pero aprobó 38 casos menos y tuvo una latencia P95 ligeramente mayor.

Modelo	Casos estrictos	Puntuación semántica	Costo / 1K	Promedio	P95	Tokens / caso
Lunagpt-5.6-luna	81/100	98.05%	$0.7929	6.28s	10.35s	1514.49
Gemini 3.7gemini-3.7-flash	54/100	95.10%	$2.8909	8.06s	20.39s	1417.71
Gemini 3.6gemini-3.6-flash	56/100	95.44%	$3.5910	11.54s	40.06s	1604.41
Gemini Litegemini-3.5-flash-lite	43/100	93.47%	$0.8795	2.51s	11.52s	1063.29

Contabilidad de la ejecución

Modelo	Tokens de entrada	Tokens de salida	Tokens de razonamiento	Gasto de la prueba
Lunagpt-5.6-luna	102,452	48,997	26,037	$0.079287
Gemini 3.7gemini-3.7-flash	80,850	60,921	30,113	$0.289091
Gemini 3.6gemini-3.6-flash	80,850	79,591	60,662	$0.359104
Gemini Litegemini-3.5-flash-lite	80,850	25,479	0	$0.087953

Los tokens de salida incluyen los de razonamiento. Calculé el gasto con las llamadas exitosas y las tarifas Standard publicadas durante el estudio. Las cifras no están conciliadas con una factura.

Por qué elegí Luna

Elegí Luna para clasificar texto porque tuvo la mayor precisión y el menor costo estimado en estas pruebas. Después trabajé en su prompt.

Resultado medido: 81/100 casos estrictos · 98.05% de puntuación semántica · $0.79 por 1,000 clasificaciones · 10.35s de latencia P95.

Límites de la primera prueba

Esta prueba pequeña y controlada cubre cuatro ejecuciones concretas. Los resultados pueden cambiar con otros datos o ajustes.

Sin huellas del prompt y del evaluador: No guardé huellas del prompt ni del evaluador. Conservé respuestas, controles, tokens, costos y tiempos, pero no compararía estas puntuaciones directamente con el estudio posterior del prompt v3.
Distinta concurrencia: Ejecuté cinco solicitudes de Luna a la vez y dos de Gemini 3.7. Estas latencias no permiten establecer el máximo rendimiento de ninguno de los proveedores.
El costo es una estimación: Los cuatro modelos completaron 400 llamadas. Con las tarifas Standard publicadas, el uso registrado suma unos $0.82. Pueden faltar cargos por solicitudes fallidas.
Casos sintéticos: Usé 100 casos sintéticos, etiquetados a mano, para encontrar errores de clasificación. No reflejan la mezcla de anuncios en producción.