Una receta de cuantización personalizada aplicada al modelo abliterado de HuiHui demuestra un rendimiento superior en comparación con la variante vanilla 3.6-35B-a3b en tareas de matemáticas y programación. Los resultados sugieren que eliminar los mecanismos de rechazo permite al modelo lograr mayor precisión y sabiduría en estos dominios.
- Se utilizó la misma cuantización personalizada para los modelos HuiHui y Vanilla 3.6-35B-a3b.
- Las pruebas se realizaron utilizando el conjunto oMLX en modo instruct sin cadenas de razonamiento largas.
- El modelo abliterado mostró un rendimiento mejorado en las pruebas de matemáticas y programación a pesar del tamaño reducido de la muestra.
Los hallazgos indican que la abliteración puede mejorar las capacidades del modelo en áreas técnicas específicas, con el modelo HuiHui disponible para descarga a través del enlace de Hugging Face proporcionado.