arxiv arXiv cs.CL · baru saja · research

Metrik STAR dan kerangka StarPO meningkatkan penyesuaian terjemahan mesin dokumen-ke-dokumen

Diterjemahkan dari English → Bahasa Indonesia

Peneliti memperkenalkan Sentence Translation Alignment Rate (STAR), sebuah metrik tambahan yang dirancang untuk mengukur kesetiaan struktural tingkat kalimat dalam terjemahan mesin dokumen-ke-dokumen, mengatasi masalah seperti penghilangan dan halusinasi. Mereka mengusulkan STAR-masked Preference Optimization (StarPO), sebuah kerangka kerja yang memberi peringkat hipotesis berdasarkan kualitas struktural dan menggunakan masker penyesuaian dinamis untuk memfokuskan optimasi pada segmen yang tidak sesuai.

STAR secara eksplisit mengukur kesetiaan struktural untuk menangani pelanggaran korespondensi sumber-tujuan.
StarPO memanfaatkan masker penyesuaian dinamis untuk mengoptimalkan segmen spesifik yang tidak sesuai selama pelatihan.
Eksperimen di domain berita dan sastra menunjukkan peningkatan signifikan dalam kualitas dan integritas terjemahan.
Model kompak yang menggunakan StarPO melampaui kinerja sistem tertutup masif seperti GPT-4o dengan efisiensi token yang lebih unggul.

Kerangka kerja ini memungkinkan model yang lebih kecil untuk mengungguli sistem tertutup besar sambil mempertahankan efisiensi token yang lebih baik.

Kepentingan 2/3 arXiv cs.CL Research paper Training methods

Artikel terkait

arxiv arXiv cs.AI · 8 hari lalu · 12 tayangan

Harness Continual Learning menyesuaikan keadaan agen di luar parameter model yang dibekukan

Para penulis memperkenalkan Harness Continual Learning (HCL), sebuah paradigma di mana agen meningkat dengan mengembangkan harness-nya yang berorientasi eksekusi daripada memperbarui parameter model. Pendekatan ini mengatasi tantangan mempertahankan perilaku yang sebelumnya diperoleh sambil beradaptasi dengan pengalaman baru melalui komponen seperti prompt, memori, dan aturan perutean.

media r/LocalLLaMA · 9 hari lalu · 12 tayangan

Z.ai menskalakan pasca-pelatihan GLM-5.3 untuk meningkatkan penalaran jangka panjang

Z.ai merilis GLM-5.3, sebuah eksperimen terkontrol yang menunjukkan bahwa penskalaan pasca-pelatihan menghasilkan peningkatan signifikan dalam penalaran jangka panjang tanpa mengubah model dasar atau jumlah parameter.

media Hugging Face Forums · 14 hari lalu · 11 tayangan

ThetaMem mengusulkan pengangkatan kunci perkalian bertanda untuk memori urutan keadaan tetap

ThetaMem adalah studi awal satu-seed dari mixer rekuren yang memodifikasi keadaan rekuren melalui pengangkatan kunci Hadamard atau produk-luar bertanda yang dipelajari, bukan dengan menyempurnakan mekanisme gerbang. Penulis menyajikan hasil campuran pada benchmark sintetis dan secara eksplisit mencari kritik untuk mengidentifikasi eksperimen termurah yang dapat menyangkal pendekatan tersebut.

lab NVIDIA Research · 16 hari lalu · 40 tayangan

LLM menyamai atau mengalahkan optimisasi Bayesian untuk optimisasi hiperparameter

Sebuah makalah baru mengeksplorasi penggunaan model bahasa besar fundamental (LLM) untuk mengotomatisasi optimisasi hiperparameter (HPO), sebuah proses yang biasanya mengandalkan pendekatan manual dalam pengaturan anggaran terbatas. Para penulis mengembangkan metodologi di mana LLM menyarankan konfigurasi hiperparameter berdasarkan deskripsi dataset dan model, yang kemudian disempurnakan secara iteratif sesuai dengan kinerja model.

lab NVIDIA Research · 16 hari lalu · 45 tayangan

Source memperkenalkan diferensiasi unrolled aproksimasi untuk atribusi data pelatihan

Peneliti memperkenalkan Source, metode atribusi data pelatihan (TDA) baru yang menggabungkan efisiensi komputasi fungsi pengaruh dengan akurasi pendekatan berbasis unrolling. Dengan menggunakan formula mirip fungsi pengaruh untuk mengaproksimasi diferensiasi unrolled, Source mengatasi keterbatasan dalam metode diferensiasi implisit, seperti kegagalan mereka memperhitungkan bias optimisasi atau pipeline multi-tahap.