media Latent Space · 1시간 전 · agents

Gemini 3.7 Flash 업데이트로 GDM이 다시 주목받다

번역 English → 한국어

본 기사는 Gemini 3.7 Flash 업데이트의 차트를 강조하며, 이전 버전(특히 3.5 및 3.6 Flash)이 Claude 4.8+ 및 GPT 5.5+ 시리즈와 같은 최신 모델에 비해 뒤처졌음을 보여줍니다.

이 업데이트는 Claude 4.8+ 및 GPT 5.5+와 같은 경쟁사 대비 성능 격차를 해소하는 것을 목표로 합니다.
발표에서 가장 설득력 있는 요소로 차트가 인용되었으며, 이전의 성능 지연을 설명합니다.

중요도 2/3 Latent Space Google DeepMind Benchmark results

VITA 임상 RAG는 HealthBench에서 최첨단 LLM과 동등하거나 이를 능가

저소득 및 중산층 국가를 위해 설계된 목적 특화 검색 증강 생성 시스템인 VITA가 HealthBench 벤치마크에서 범용 대규모 언어 모델들과 비교 평가되었습니다. 이 연구는 새로운 최첨단 모델이 출시됨에 따라라도 코퍼스 특화 설계가 경쟁력 있는 성능을 유지할 수 있음을 보여줍니다.

arxiv arXiv cs.CL · 1일 전 · 조회수 1회

Corpus 특화 VITA RAG가 HealthBench에서 최첨단 LLM을 추격하거나 능가

저소득 및 중산층 국가를 위해 설계된 검색 증강 생성 시스템인 VITA는 HealthBench의 영어 하위 집합에서 1위를 차지하며 GPT-5.4, o4-mini, Gemini 3.1 Pro, Claude Sonnet 4.6을 앞질렀습니다.

arxiv arXiv cs.AI · 39일 전

TestEvo-Bench: 테스트와 코드 공동 진화를 위한 실행 가능한 라이브 벤치마크

연구원들은 소프트웨어 테스트와 코드의 공동 진화에서 에이전트가 얼마나 잘 처리하는지 평가하기 위해 설계된 라이브 벤치마크인 TestEvo-Bench를 소개합니다. 기존 벤치마크가 정적 메타데이터에 의존하는 것과 달리, 이 프레임워크는 실제 커밋 기록과 환경 구성을 사용하여 통과율 및 커버리지와 같은 실행 가능 지표를 검증합니다.

media r/LocalLLaMA · 39일 전

Meta, ChatGPT·Gemini·Character.AI를 소년관점 위기 프롬프트로 테스트

Meta는 수백 명의 계약직이 미성년자 사칭으로 OpenAI, Google, Character.AI의 챗봇에 자살, 성, 약물 관련 프롬프트를 보내도록 했다고 보고되었다. 단일 테스트 라운드에서 45,000개 이상의 프롬프트가 전송되었다.

arxiv arXiv cs.CL · 39일 전 · 조회수 1회

Gemma 4 31B의 QLoRA 파인튜닝이 루마니아어 간 언어 관계 추출 격차를 해소

본 연구는 SemEval-2010 Task 8 벤치마크를 번역하고 인코더 기반 모델과 비교하여 Gemma 4 31B를 평가함으로써 루마니아어의 간 언어 관계 추출을 조사합니다. 결과, QLoRA 파인튜닝은 매크로 F1 점수를 22퍼센트포인트 이상 향상시켜 간 언어 격차를 3.3에서 1.4pp로 줄였습니다.