korshunov.ai
Español
Todos los artículos Página 1 / 62
media r/LocalLLaMA · hace 9 h

Consulta sobre la disponibilidad de modelos modernos no orientados a completado de chat

Un usuario del subreddit LocalLLaMA cuestionó si todos los modelos de lenguaje grandes modernos están exclusivamente ajustados para interacciones de chat. La consulta buscaba específicamente identificar cualquier modelo que admita completado de texto sin formato en lugar de formatos conversacionales. El autor señaló una dificultad para encontrar dichos modelos dentro del repositorio de Hugging Face. Esto destaca una brecha percibida en la disponibilidad de arquitecturas no orientadas a chat para usuarios que requieren capacidades de completado en bruto. La discusión refleja preocupaciones más amplias sobre el cambio de la industria hacia diseños de modelos ajustados por instrucciones y orientados al chat.
media r/LocalLLaMA · hace 9 h

El muestreador de retroceso y verificador mejoran drásticamente el rendimiento de codificación de modelos pequeños

Un nuevo muestreador de retroceso combinado con un modelo verificador mejora significativamente el rendimiento de codificación de modelos pequeños de 0.5B parámetros, potencialmente haciéndolos competitivos con modelos de la clase mayor de 2-4B sin cambios en los pesos. El enfoque aborda teóricamente los problemas de alucinación en modelos grandes corrigiendo errores durante la generación mediante remuestreo. Sin embargo, este método incurre en una penalización de velocidad de decodificación del 5-30% debido a la necesidad de pasadas hacia atrás y requiere entrenar un modelo verificador de tamaño similar al original. Este requisito duplica el uso de VRAM y aumenta las demandas de cómputo entre 1.5 y 3 veces en comparación con la inferencia estándar. A pesar de estos costos, el verificador se generaliza a través de modelos de clases de peso iguales o inferiores si se entrena con distribuciones de datos diversas. Entrenar el verificador es altamente eficiente, requiriendo solo aproximadamente el 0.01% del tamaño de tokens utilizado para el preentrenamiento completo.
media r/LocalLLaMA · hace 9 h

NVIDIA lanza Nemotron-TwoTower-30B-A3B, un modelo de lenguaje basado en difusión

NVIDIA ha lanzado el modelo Nemotron-TwoTower-30B-A3B-Base-BF16, que se basa en la arquitectura principal Nemotron 3 Nano 30B-A3B. Esta arquitectura difiere de los modelos autoregresivos estándar al utilizar una torre de contexto congelada junto con una torre de denoising por difusión. El sistema llena iterativamente bloques de tokens en paralelo en lugar de generarlos estrictamente uno a la vez. Según NVIDIA, esta configuración predeterminada de máscara-difusión conserva el 98.7% de la calidad agregada de las pruebas de referencia encontrada en la línea base autoregresiva. A pesar de mantener una alta calidad, el modelo logra 2.42 veces su rendimiento de generación en tiempo real. El lanzamiento destaca un enfoque novedoso para el modelado de lenguaje que combina técnicas de difusión con capacidades de lenguaje a gran escala.
media r/LocalLLaMA · hace 9 h

Implementación experimental de RDMA sobre USB4 demostrada en Strix Halo

Una entrada de blog de Hellas.ai detalla una implementación experimental de Acceso Directo a Memoria Remota (RDMA) a través de Thunderbolt. La demostración se realizó utilizando dos dispositivos equipados con procesadores AMD Strix Halo. Este enfoque permite capacidades de transferencia de datos de alta velocidad mediante el estándar USB4. El autor señala que esta tecnología podría ser significativa porque es compatible con cualquier host que admita USB4. El presentador no encontró discusión pública previa sobre esta implementación específica. El trabajo destaca el potencial de aprovechar las interfaces de hardware existentes para tareas de redes avanzadas.
media r/LocalLLaMA · hace 9 h

GLM 5.2 en Dual Strix Halo (256GB): ¿Vale la pena?

Un usuario de Reddit llamado Intrepid_Rub_3566 ha compartido una reseña en video que evalúa el rendimiento de GLM 5.2 ejecutándose en una configuración dual AMD Strix Halo con 256GB de RAM. La discusión se centra en si esta configuración específica de hardware proporciona suficiente valor para la inferencia de modelos de lenguaje grandes locales. El contenido destaca la viabilidad técnica de desplegar GLM 5.2 en dicho entorno, enfocándose en la utilización de recursos y velocidad. Los espectadores son dirigidos a un enlace de YouTube para obtener benchmarks detallados y métricas de rendimiento. La discusión también incluye comentarios de la comunidad sobre la practicidad y rentabilidad de este enfoque con doble GPU.
media r/LocalLLaMA · hace 9 h

Consulta de Reddit sobre el uso de modelos locales para auto-hacking

Un usuario del subreddit r/LocalLLaMA preguntó si alguien ha intentado obtener acceso root a su propio sistema utilizando un modelo de lenguaje grande local. Esta consulta fue motivada por discusiones recientes sobre la supuesta capacidad de Mythos de hackear sistemas del gobierno de EE. UU. La publicación busca experiencias prácticas de la comunidad sobre la viabilidad de tales acciones. Se centra específicamente en la aplicación de modelos locales para pruebas de penetración no autorizadas o acceso sin permiso. La pregunta destaca las preocupaciones sobre las implicaciones de seguridad de herramientas potentes de IA en manos de individuos.
media r/LocalLLaMA · hace 9 h

Usuarios reportan calidad y eficiencia inferiores con modelos MTP en Qwen 3.6 y Gemma 4

Un usuario que prueba los modelos autoalojados Qwen 3.6 27B y Gemma 4 en cuatro tarjetas RTX 5070 Ti informa que la Predicción Multi-Tokens (MTP) degrada la calidad de salida en comparación con las variantes no-MTP. En tareas de revisión de código, el modelo no-MTP produjo hallazgos más detallados con sugerencias de corrección mientras consumía menos tokens que su contraparte MTP. Las métricas de rendimiento mostraron que la configuración no-MTP logró aproximadamente 2000 tokens de procesamiento de prompts por segundo y una velocidad de generación de 50-60 tokens. Por el contrario, la configuración MTP arrojó velocidades de generación más altas de 100-120 tg/s pero tasas de procesamiento de prompts más bajas alrededor de 1300 pp/s. A pesar del mayor rendimiento de generación, los tiempos de finalización de tareas de agentes en el mundo real fueron solo aproximadamente un 20% más rápidos con MTP debido al mayor consumo de contexto. El usuario utilizó llama.cpp con archivos GGUF específicos de Unsloth y notó experiencias negativas similares al probar Gemma 4.
media r/LocalLLaMA · hace 9 h

Desarrollador solicita pruebas para soporte de MTP en GLM-4.7-Flash mediante llama.cpp

Un desarrollador busca asistencia de la comunidad para probar el soporte de Predicción Multi-Tokens (MTP) para el modelo GLM-4.7-Flash dentro del marco de trabajo llama.cpp. El autor reconoce que modelos anteriores como GLM Air y GLM Flash están desactualizados, pero expresa un interés personal en habilitar MTP para ellos. La solicitud se dirige específicamente a usuarios que poseen el hardware necesario para ejecutar GLM-4.7-Flash y tienen la capacidad técnica de compilar llama.cpp desde el código fuente. Se pide a los participantes que evalúen la funcionalidad del modelo GGUF proporcionado e informen cualquier problema encontrado. Además, se solicita a los probadores medir y compartir las ganancias de velocidad de rendimiento logradas mediante la implementación de MTP. El desarrollador ha cargado el modelo de prueba en un repositorio de Hugging Face para acceso inmediato. Los usuarios que requieran opciones de cuantización más pequeñas están invitados a contactar al autor directamente para obtener versiones alternativas.
media r/LocalLLaMA · hace 9 h

Pregunta sobre por qué las pilas de ROCm e Intel van detrás de CUDA en la madurez del ecosistema de software

El autor cuestiona por qué los ecosistemas de software para ROCm de AMD e Intel han fallado al mejorar rápidamente para igualar a CUDA de NVIDIA. Se argumenta que hasta que el software de los proveedores competidores se ponga al día, NVIDIA continuará cobrando una prima masiva por sus productos convenientes. El autor se identifica como usuario tanto de hardware NVIDIA como de Apple Silicon para desarrollo de IA. Expresa un deseo de precios más asequibles dentro del mercado. El argumento sugiere que las reducciones de precio solo ocurrirán cuando exista competencia genuina. Esta perspectiva destaca la dominancia actual de CUDA en el panorama del hardware de IA.
media r/LocalLLaMA · hace 9 h

Debate comunitario sobre ejecutar DeepSeek V4 Flash con descarga de MoE

Un usuario de Reddit preguntó sobre la viabilidad de ejecutar el modelo DeepSeek V4 Flash utilizando técnicas de descarga de Mezcla de Expertos. El autor señaló que los intentos anteriores para ajustar el modelo deseado y su caché KV en VRAM requerían un margen adicional de memoria de 5-10 GB. Destacó varios recursos comunitarios, incluida una versión GGUF del modelo disponible en Hugging Face del equipo huihui-ai. Además, el usuario señaló una bifurcación del repositorio de antirez que introduce paralelismo de tensor y mejoras de socket para un mejor rendimiento. El debate también hizo referencia a la implementación específica de Fringe diseñada para el soporte CUDA de DeepSeek V4 Flash. En consecuencia, el usuario consideró compilar el modelo y descargar el archivo de casi 100 GB para probar estas capacidades de descarga.
media r/LocalLLaMA · hace 9 h

Anthropic acusa a Alibaba de una campaña ilícita de extracción de capacidades de IA

Anthropic ha acusado formalmente a Alibaba de llevar a cabo una campaña para extraer de manera descarada e ilícita capacidades de sus modelos de inteligencia artificial. La compañía alega que esta actividad involucró métodos de acceso no autorizados diseñados para eludir los protocolos de seguridad estándar. Estas acusaciones destacan las crecientes preocupaciones sobre la protección de tecnologías propietarias de aprendizaje automático en el competitivo sector de la IA. Los informes indican que los esfuerzos de extracción alegados fueron sistemáticos en lugar de incidentales. Este conflicto subraya la rivalidad intensificada entre las principales empresas tecnológicas por el desarrollo de modelos avanzados. Los detalles técnicos específicos de los métodos de extracción siguen bajo investigación por ambas partes.
media r/LocalLLaMA · hace 9 h

SupraWeather-Nano-Preview: Un pequeño FT-Transformer para clasificación meteorológica

SupraLabs ha lanzado SupraWeather-Nano, un modelo de vista previa diseñado para clasificar fenómenos meteorológicos a partir de datos meteorológicos tabulares en bruto. La arquitectura utiliza un Tokenizador de Características dedicado y un Codificador Transformer, donde cada característica de entrada recibe su propio token aprendido que es agregado por un token CLS antes de procesarse a través de una pila transformer pequeña. Este enfoque elimina la necesidad de entradas de texto o prompts del sistema, permitiendo a los usuarios ingresar directamente valores numéricos para recibir un resultado de clasificación. El modelo acepta nueve entradas específicas: temperatura, humedad, presión, tendencia de presión, velocidad del viento, dirección del viento, altitud, mes y masa de aire. Fue entrenado completamente en un conjunto de datos sintético generado por métodos basados en reglas que contenía 120.000 muestras. SupraLabs señala que esto es un experimento de arquitectura más que una herramienta para pronósticos del mundo real, con cinco de seis pruebas de estrés internas aprobadas exitosamente.
arxiv arXiv cs.CL · hace 9 h

HIPE-2026: Extracción de relaciones persona-lugar a partir de textos históricos multilingües

La campaña HIPE-2026 aborda el desafío de extraer relaciones persona-lugar a partir de documentos históricos multilingües y ruidosos. Superando las ediciones anteriores centradas en el reconocimiento de entidades nombradas, esta tercera iteración se enfoca en relaciones temporalmente fundamentadas etiquetadas como 'at' e 'isAt'. La evaluación involucró a 17 equipos participantes procesando datos en francés, alemán e inglés a través de tres conjuntos de datos distintos. Estos conjuntos comprendían texto de periódicos de los siglos XIX y XX junto con un conjunto de dominio sorpresa de obras literarias francesas del período moderno temprano. Una característica clave de la campaña fue su marco tripartito que evaluaba la precisión predictiva, la eficiencia computacional y la generalización entre dominios. Los resultados de más de 40 ejecuciones enviadas demostraron una amplia variedad de estrategias, desde modelos de lenguaje grandes hasta clasificadores ligeros. Los hallazgos destacan las compensaciones inherentes entre precisión, eficiencia y robustez en la extracción de relaciones históricas a gran escala.
arxiv arXiv cs.CL · hace 9 h

Evolución basada en datos de los métodos de investigación en Ciencias de la Biblioteca y la Información (1990-2022)

Este estudio analiza la influencia de la investigación centrada en datos en las Ciencias de la Biblioteca y la Información mediante el examen de la evolución metodológica desde 1990 hasta 2022. Los investigadores extrajeron automáticamente cuatro categorías clave de entidades impulsadas por datos de artículos académicos: algoritmos y modelos, recursos de datos, software y herramientas, y métricas. El análisis evalúa tendencias en tres dimensiones, incluidas las características temporales, la evolución específica del tema y las características transversales de los métodos. Los hallazgos identifican los recursos de datos como el principal impulsor de los cambios metodológicos dentro de la disciplina. La investigación revela un patrón cíclico caracterizado por la emergencia seguida de estabilidad o aplicación práctica en los métodos de LIS. Esta perspectiva destaca cómo los avances en big data han remodelado el panorama técnico del campo durante tres décadas.
arxiv arXiv cs.CL · hace 9 h

Tejido del Pensamiento Formal: Unir la Validación Sintáctica Rigurosa con Representaciones Estructurales Aprendidas

Los autores presentan Weave of Formal Thought (WoFT), un paradigma que combina validación sintáctica rigurosa con representaciones estructurales aprendidas para la generación de código. El enfoque utiliza un motor formal y un decodificador restringido que es correcto y completo respecto a la especificación completa de Tree-sitter. Al augmentar el análisis LR generalizado con lexificación especulativa, el sistema mantiene hipótesis concurrentes del estado del lexer para admitir prefijos válidos de programas mientras rechaza los inválidos. Además, WoFT emplea ajuste fino de variables latentes para entrenar modelos a intercalar símbolos de gramática no terminal directamente en el proceso de generación. Este método utiliza el algoritmo wake-sleep reponderado para optimizar el límite inferior de evidencia ponderado por importancia del texto superficial. El modelo aprende a retener selectivamente derivaciones formales como una pizarra estructural adaptativa durante la inferencia. Los experimentos en Python muestran que el ajuste fino de StarCoder2-3B con este objetivo reduce la entropía cruzada por token en un 14.3% en comparación con una línea base solo de texto.