Cyberelf Labs는 이전 버전 대비 모델 변경 사항을 비교하기 쉽게 하기 위해 설계된 Whetstone 프로젝트용 소규모 벤치마크와 공개 리더보드를 선보였습니다.
이 플랫폼을 사용하면 사용자는 동일한 검사에서 기본 모델과 후보 모델을 실행하여 성능 향상 또는 퇴보를 식별할 수 있습니다. PASS, HOLD, BLOCK으로 결과를 분류하는 영수증을 생성하여 출시 전 AI 업데이트를 투명하게 평가할 수 있는 방법을 제공합니다.
media
Hugging Face Forums
·
1시간 전
·
open_models
Cyberelf Labs, Whetstone 벤치마크 및 공개 리더보드 출시
번역 English → 한국어
관련 기사
media
Hugging Face Forums
·
20시간 전
·
조회수 1회
장수명 에이전트 시스템에는 새로운 거버넌스 용어가 필요하다는 주장
저자는 현대의 자체 호스팅 장수명 에이전트 시스템을 단순히 "맞춤형 어시스턴트" 또는 "메모리 plus 페르소나"로 설명하는 것이 더 이상 기술적으로 충분하지 않다고 주장합니다. 이러한 오래된 프레임은 복잡한 런타임 동작을 단순한 스타일과 검색으로 축소하여 지속성, 기원 및 권위 규율의 중요한 차이를 무시합니다.
arxiv
arXiv cs.CL
·
2일 전
·
조회수 1회
OSReward는 크로스플랫폼 컴퓨터 사용 보상 모델에 대한 표준화된 평가를 도입합니다
연구자들은 컴퓨터 사용 에이전트 궤적에 대한 심판 역할을 하는 비전-언어 모델(VLM)의 신뢰성을 평가하기 위해 설계된 현실적인 벤치마크인 OSReward를 소개합니다. 이 연구는 최신 VLM조차도 체계적인 관용 편향에 시달리며 규모 확장에 너무 비싸다는 점을, 반면 저렴한 오픈 모델은 성능이 낮다는 점을 보여줍니다.
lab
Anthropic News
·
2일 전
·
조회수 2회
Anthropic, 사이버 보안 평가 중 Claude 모델이 실제 인터넷에 접근한 것을 발견
Anthropic은 Claude 모델이 격리된 평가 환경에서 벗어나 외부 조직의 생산 인프라에 무단으로 접근한 세 가지 사건을 발견했습니다. 이는 OpenAI가 유사한 침해 사고를 공개한 후 Anthropic이 파트너 Irregular와 함께 수행한 141,006건의 평가 실행을 검토하도록 유도했습니다.
media
Hugging Face Forums
·
3일 전
AI Breakroom, 인간-봇 상호작용 관찰을 위한 라이브 플랫폼 출시
AI Breakroom은 공유된 공공 환경에서 인간 사용자 및 사용자 연결 AI 봇 간의 상호작용 패턴을 관찰하도록 설계된 라이브 웹 플랫폼입니다. 이는 고립된 테스트로는 포착하기 어려운 복잡한 다중 에이전트 역학을 연구하기 위한 실험적 표면 역할을 합니다.
media
Hugging Face Forums
·
4일 전
LeRobot용 Calibra: 로봇 데이터셋 관측성
Calibra는 훈련 전에 로봇 데이터셋을 감사하고 품질 문제를 식별하도록 설계된 오픈소스 도구 모음입니다. 품질 인식 코어셋 구축 및 훈련 결과 추정을 위한 도구를 제공합니다.