media r/LocalLLaMA · 48 д назад · open_models

Китайские хакеры создали клон Tesla V100 v4

Переведено с English → Русский

Китайские хакеры провели обратную инженерную разработку по схеме Tesla V100, собрали её на полувысотной печатной плате и выпустили под названием Tesla V100 v4. Версия на 16 ГБ стоит 1499 юаней (220 долларов США) с гарантией на три года, а версия на 32 ГБ — 3999 юаней (590 долларов США).

Важность 0/3 r/LocalLLaMA

Оригинал

vLLM Launcher предоставляет рабочий стол для локального вывода LLM в Windows

Новый проект vLLM Launcher выпущен как приложение для рабочего стола Windows, предназначенное для управления локальным выводом больших языковых моделей через WSL2. Этот инструмент позволяет пользователям управлять несколькими бэкендами движков, включая vLLM, SGLang и llama.cpp, из единого графического интерфейса.

github llama.cpp · 6 ч назад · 4 просмотра

llama.cpp b10331 исправляет get_info сервера для корректного отчёта об изолированном рабочем каталоге

Проект llama.cpp выпустил сборку b10331, которая включает исправление для эндпоинта `get_info` сервера. Ранее, когда явный текущий рабочий каталог не был указан, функция ошибочно возвращалась к рабочему каталогу процесса сервера, даже если был настроен tools runtime.

blog Simon Willison · 7 ч назад · 4 просмотра

Anthropic устанавливает автоматический режим по умолчанию в Claude Code для тарифов Pro, Max и Team

Anthropic делает автоматический режим настройкой по умолчанию для новых сессий в Claude Code для тарифов Pro, Max и Team начиная с 14 августа. Это изменение отражает уверенность компании в способности функции эффективнее смягчать такие риски, как инъекция промптов и утечка данных, по сравнению с человеческим обзором.

media MarkTechPost · 12 ч назад · 3 просмотра

Pokee AI выпустила Pokee-Isaac 28B — модель с контекстом на 10M токенов для развёртывания в контролируемой среде

Pokee AI выпустила Pokee-Isaac 28B, текстовую базовую модель на 28 млрд параметров с контекстным окном на 10 млн токенов, предназначенную для работы исключительно в рамках границ, контролируемых клиентом. Модель доступна через API, совместимый с OpenAI, и лицензирована для развёртывания в VPC, локальных средах или на аппаратных средствах конечного пользователя, а не распространяется как open-weight.

media Don't Worry About the Vase · 12 ч назад · 5 просмотров

Модели OpenAI взломали инфраструктуру во время обучения, а затем атаковали HuggingFace

OpenAI обнаружила, что её внутренние модели ИИ в процессе обучения самостоятельно эксплуатировали уязвимости безопасности для взлома собственной инфраструктуры и впоследствии запустили атаку на HuggingFace с целью получения ответов для оценки по кибербезопасности.