다국어 환경에서 LLM-as-a-Judge의 과제와 권장 사항
본 기사는 다국어 및 저자원 언어 맥락에서 대규모 언어 모델을 평가자로 사용하는 신뢰성을 검토하며, 현재 관행의 중요한 격차를 강조합니다. 저자들은 650편의 ACL Anthology 논문을 분석하여 불일치와 단일 judge 모델에 대한 과도한 의존을 파악했습니다.
본 기사는 다국어 및 저자원 언어 맥락에서 대규모 언어 모델을 평가자로 사용하는 신뢰성을 검토하며, 현재 관행의 중요한 격차를 강조합니다. 저자들은 650편의 ACL Anthology 논문을 분석하여 불일치와 단일 judge 모델에 대한 과도한 의존을 파악했습니다.
저자들은 명시적 메모리 계층이 장기 지평 LLM 에이전트 결정에 어떻게 영향을 미치는지 연구하도록 설계된 테스트베드인 AgenticSTS를 소개합니다. 이는 원본 기록을 추가하는 대신 유형 기반 검색으로 프롬프트를 조립하는 Slay the Spire 2 게임의 제한 메모리 계약을 활용합니다.
연구자들은 현재 표준인 PhoBERT의 한계를 해결하도록 설계된 베트남어용 새로운 BERT 기반 사전 훈련 언어 모델인 BamiBERT를 소개합니다. 129GB 코퍼스로 20 에포크 동안 처음부터 학습되었으며, 최대 2048 토큰의 확장된 컨텍스트 길이를 지원하고 외부 단어 분할 없이 원시 입력을 직접 처리합니다.
저자들은 추론 중에 사실상의 오류를 적시에 확인하고 수정함으로써 추론 언어 모델의 신뢰성을 향상시키는 프레임워크인 CheckRLM을 제안합니다. 이 접근 방식은 추론 체인에서 사실상의 주장을 추출하여 불일치를 식별하고 외부 지식을 통해 최소 비용으로 수정을 적용합니다.
HERMES는 학습된 시맨틱 변환과 3단계 잔차 벡터 양자화를 사용하여 문서를 최대 약 130k개의 셀을 가진 거시적에서 미시적 코드로 주석 처리하는 데이터 기반 레이블링 기판입니다.
본 기사는 구조 일반화 작업(예: 수식어 위치 이동)에서 방향성 구분을 더 잘 처리하기 위해 CCG 방향성 유형을 활용하는 AM-Parser의 재설계된 심볼릭 백엔드를 소개합니다.
한 사용자가 DGX Spark를 사전 채우기(prefilling)에, Strix Halo 장치를 토큰 생성에 사용하여 분리형 추론 파이프라인을 구현했으며, 긴 컨텍스트 워크로드에서 상당한 속도 향상을 달성했습니다. 계산 집약적인 프롬프트 처리를 DGX로 오프로드하고 Strix의 메모리 대역폭을 디코딩에 활용함으로써, Strix 단독 실행 시 발생하는 성능 저하를 극복했습니다.
이 기술 보고서는 계층적 탐색 가능 소세계(HNSW) 그래프의 속도와 이론적 정확성 보장을 결합하는 "Certify-then-Rectify" 프레임워크를 소개합니다. 이 방법은 검색 품질을 동적으로 평가하고 필요시 정확한 복원 알고리즘으로 격상하여 최악의 경우 정확성을 보장합니다.
본 논문은 SkillFuzz를 소개합니다. 이는 개별적으로 무해한 스킬이 상호작용하여 에이전트를 의도하지 않은 목표 방향으로 유도할 수 있는 공개 스킬 마켓플레이스에서 암시적 인텐트를 발견하도록 설계된 실행 불필요 테스트 접근법입니다. 이 발견을 스킬 구성에 대한 퍼징 문제로 공식화함으로써, 본 방법은 구조화된 계약을 추출하고 계약 기반 몬테카를로 트리 검색을 사용하여 잠재적으로 충돌하는 조합을 우선순위화합니다.
본 기사는 문학적 학문이 문화적으로 유식한 AI를 구축하는 데 필수적인 도구를 제공하며, 단일 언어 대규모 언어 모델의 한계를 해결한다고 주장합니다.
본 논문은 다국어 쉬운 읽기 번역 공동 과업인 MER-TRANS 2026의 스페인어 트랙에서 HULAT2-UC3M의 참여 세부 사항을 상세히 설명합니다. 팀은 단순화 전략을 평가하기 위해 멀티 에이전트 워크플로우와 선형 베이스라인을 비교하는 세 가지 완전 자동 실행을 제출했습니다.
저자들은 웹에서 수집된 문서를 기반으로 하며 미디어 배경 검사(MBC)의 재현 가능하고 저비용 평가를 가능하게 하기 위해 설계된 공개 지식 저장소인 MEDIAREF를 소개합니다. 이 도구는 최근 정보원 중심 추론 접근 방식에서 고가의 독점 검색 API에 대한 의존성을 해소합니다.
2010년부터 2026년까지 NLP 연구를 분석한 연구에 따르면, 대규모 언어 모델의 발전으로 인해 NLP와 일반 기계 학습 간의 경계가 모호해지면서 학문적 중심이 이동하고 있는 것으로 나타났다.
이 연구는 4개의 최첨단 대규모 언어 모델(GPT, Claude Opus, Gemini, GLM)이 짧은 Linux/bash 명령 응답을 채점할 때 전문가의 판단을 근사할 수 있는지를 평가합니다. 이 연구는 구조화된 프롬프트가 인간 채점자와의 일치도를 크게 향상시켜 컴퓨팅 교육에서 AI 지원 평가의 프레임워크를 확립함을 보여줍니다.
본 기사는 EvoPolicyGym을 소개합니다. 이는 에이전트가 고정된 상호작용 예산 내에서 피드백을 통해 실행 가능한 정책을 반복적으로 개선하는 방식을 평가하기 위해 설계된 벤치마크입니다. 이 통제된 설정은 기존 평가가 종종 과정을 최종 점수로 축소하거나 소프트웨어 엔지니어링의 진전과 혼동한다는 한계를 해결합니다.
본 논문은 NLP를 사용하여 문화적 현상을 정량화하는 것은 장치가 측정하는 현실을 수동적으로 기록하는 것이 아니라 능동적으로 구성하는 물질-담론적 실천이라고 주장한다.
본 기사는 Aiden을 소개합니다. 이는 USB를 통해 스마트폰이나 컴퓨터에 연결되는 물리적 모바일 AI 에이전트 장치입니다. 화면을 보고 음성 명령을 듣는 방식으로 작동하며, 앱 설치 없이 장치를 조작합니다.
한 사용자가 40B 파라미터 미만의 모델을 사용하는 로컬 에이전트 혼합 구성인 "MoA-Max"를 제안했으며, 이는 전체 점수 87.7을 달성하여 DeepSeek-v4-pro를 능가합니다.
콘텐츠 생성 능력을 확인하기 위해 작성된 테스트 게시물입니다. 이 토론에는 두 개의 게시글과 두 명의 참여자가 포함됩니다.
Goose v1.41.0 업데이트는 provider 지원의 상당한 확장을 도입합니다. 여기에는 iFlytek Spark, Astron, Fireworks AI, Together AI, OrcaRouter, EmpirioLabs AI, xAI SuperGrok, Perplexity, Alibaba (DashScope을 통한 Qwen), Databricks AI Gateway, NEAR AI Cloud 및 Scaleway에 대한 새로운 통합이 포함됩니다. 또한 GLM-5.2 모델 지원과 MLX 로컬 추론 기능이 추가되었습니다.