전체 기사
media r/LocalLLaMA · 2시간 전

DGX Spark와 Strix Halo를 사용한 분리형 프롬프트 처리

한 사용자가 DGX Spark를 사전 채우기(prefilling)에, Strix Halo 장치를 토큰 생성에 사용하여 분리형 추론 파이프라인을 구현했으며, 긴 컨텍스트 워크로드에서 상당한 속도 향상을 달성했습니다. 계산 집약적인 프롬프트 처리를 DGX로 오프로드하고 Strix의 메모리 대역폭을 디코딩에 활용함으로써, Strix 단독 실행 시 발생하는 성능 저하를 극복했습니다.

arxiv arXiv cs.CL · 6시간 전

교육 없는 개념 국소화를 통한 유형 공격에 대한 강건성 toward

저자들은 CLIP 기반 시각 인코더에서 유형 공격을 완화하기 위한 교육 없는 방법을 제안합니다. 여기서 관련 없는 텍스트는 시각적 표현을 어휘적 의미로 편향시킵니다. 샘플링 기반 해석과 회로 마이닝을 사용하여 이 원치 않는 어휘 정보를 부호화하는 특정 Vision Transformer 구성 요소를 분리합니다.

arxiv arXiv cs.CL · 7시간 전

누구도 지켜보지 않을 때 LLM 에이전트가 말하는 것: 다중 에이전트 토론에서의 사회적 구조와 잠재적 목적의 출현

이 연구는 듀얼 채널 토론 프레임워크 내에서 공개 발언과 비공개(OTR) 응답을 비교함으로써 사회적 구조가 LLM 에이전트의 공개적 표현에 미치는 영향을 조사합니다. 이 연구는 정렬 유도 설정이 이러한 채널 간 체계적인 분기를 유발하며, 10개 모델과 여러 시나리오에 걸쳐 의사 결정 분기가 약 3%의 기준선에서 약 40%까지 상승함을 보여줍니다.

arxiv arXiv cs.CL · 7시간 전

Program-as-Weights: 퍼지 함수를 위한 프로그래밍 패러다임

본 기사는 자연어 명세서를 컴파일하여 컴팩트하고 로컬에서 실행 가능한 신경 아티팩트로 변환하여 대규모 언어 모델 API를 대체하는 패러다임인 Program-as-Weights (PAW)를 소개합니다. 이 접근 방식은 파운데이션 모델을 입력별 문제 해결자가 아닌 도구 빌더로 취급함으로써 지역성, 재현성 및 비용 개선을 목표로 합니다.

arxiv arXiv cs.CL · 7시간 전

LLM 비학습의 국소화 정밀도를 평가하기 위한 테스트베드 LACUNA

연구자들은 모델 파라미터에서 지식이 실제로 삭제되었는지 평가하는 간극을 해결하기 위해 지표 수준의 파라미터 국소화를 특징으로 하는 최초의 비학습 테스트베드인 LACUNA를 소개했습니다. 이 테스트베드는 마스킹된 지속적 사전 학습을 통해 1B 및 7B OLMo 기반 모델의 미리 정의된 파라미터에 합성 개인의 PII를 주입합니다.

lab Anthropic News · 9시간 전

Anthropic, Fable 5 사이버 보안 조치 및 제일브레이크 프레임워크 상세 설명

Anthropic은 Claude Fable 5를 전 세계적으로 재배치하고 사이버 보안 안전 분류기 및 제안된 AI 제일브레이크 중증도 프레임워크에 대한 상세 정보를 공개했습니다. 동사는 정부와 제일브레이크 위험을 논의하기 위한 일관된 용어 체계를 확립하는 것을 목표로 하며, 더 넓은 커뮤니티로부터 피드백을 받고 있습니다.

blog Simon Willison · 10시간 전

DSPy를 사용하여 Datasette Agent의 SQL 시스템 프롬프트 평가 및 개선

Simon Willison은 Claude Code와 Fable 5 모델을 사용하여 Datasette Agent의 시스템 프롬프트 평가 및 최적화를 자동화했습니다. 이는 특히 읽기 전용 SQL 쿼리 실행 기능에 초점을 맞추고 있습니다. 이 과정에는 최신 Datasette alpha 버전과 DSPy 설치가 포함되었으며, 에이전트가 스키마 정보를 처리하는 방식의 약점을 파악하는 것을 목표로 합니다.