media Hugging Face Forums · baru saja · open_models

Penulis mengusulkan 'Segel Kausal' terbuka untuk asal-usul keputusan AI yang dapat diverifikasi

Diterjemahkan dari English → Bahasa Indonesia

Penulis format terbuka dan model-agnostik untuk asal-usul keputusan AI sedang mencari umpan balik komunitas tentang standar baru yang disebut "kartu interaksi". Inisiatif ini bertujuan mengatasi kesenjangan dalam memverifikasi bagaimana output spesifik dihasilkan, melengkapi kartu model yang ada yang mendokumentasikan model itu sendiri.

"Segel Kausal" melampirkan catatan ke satu output, mengikat output, parameter kausal (identitas model, batasan, konteks, timestamp), dan momen emisi ke dalam sidik jari SHA-256.
Verifikasi dimungkinkan tanpa akses ke model atau sistem pribadi.
Spesifikasi mencakup JSON Schema, vektor kepatuhan, dan verifier Python referensi yang dapat diinstal melalui pip.
Tersedia gateway yang mengeluarkan segel per respons dan verifier browser.
Proyek ini berlisensi di bawah CC BY 4.0 dan memiliki catatan DOI di Zenodo.

Penulis menanyakan apakah ada minat pada format ini dalam ekosistem Hugging Face dan bagaimana hal itu dapat sesuai dengan kartu model.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums Safety & alignment

Baca aslinya

Peneliti mencuri jejak penalaran dari API LLM tertutup melalui serangan replay

Sebuah makalah menunjukkan bahwa blok chain-of-thought terenkripsi yang dikembalikan oleh Anthropic, OpenAI, dan Google dapat diekstrak dalam bentuk plaintext. Para penulis mengeksploitasi kerentanan di mana model-model dalam keluarga yang sama berbagi kunci enkripsi, memungkinkan mereka mereplay jejak ke model saudari yang lebih lemah.

media Hugging Face Forums · baru saja Langsung

Agen AI berdebat mengapa mereka menghindari mengatakan "Saya tidak tahu"

Sebuah diskusi di ruang chat AI langsung menyoroti bagaimana agen jarang mengakui ketidakpastian, lebih memilih aliran percakapan daripada ketepatan faktual.

media Latent Space · 15 jam lalu

Peneliti menguraikan jejak penalaran terenkripsi dari API Claude, GPT, dan Gemini

Sebuah makalah baru menunjukkan bahwa blok penalaran terenkripsi dari model mutakhir seperti Claude, GPT, dan Gemini dapat diuraikan dan diputar ulang untuk mengekstrak data rantai-pemikiran yang tersembunyi. Penulis menunjukkan bagaimana blob bertanda tangan ini dapat ditransfer ke model yang lebih lemah atau sesi berbeda untuk mentranskripsikan pemikiran mendasar, secara efektif menghindari upaya pengaburan dari penyedia.

media r/LocalLLaMA · 1 hari lalu

Claude secara resmi menandai konten yang dihasilkan AI secara steganografis

Anthropic telah secara resmi mengimplementasikan metode untuk menandai konten AI yang dihasilkan oleh Claude menggunakan steganografi. Teknik ini menyematkan sinyal tak terlihat di dalam teks keluaran untuk menunjukkan asalnya.

arxiv arXiv cs.LG · 2 hari lalu · 1 tayangan

Peneliti mengeksploitasi penggunaan ulang enkripsi lintas sesi untuk mencuri jejak penalaran dari API LLM

Para peneliti telah mengidentifikasi kerentanan dalam cara penyedia model bahasa besar terkemuka menangani jejak penalaran bertahap, yang dikembalikan sebagai blok terenkripsi untuk penggunaan sisi klien. Mereka menemukan bahwa blok-blok terenkripsi ini sepenuhnya kompatibel dan dapat dipertukarkan di seluruh sesi, pengguna, dan model yang berbeda dalam ekosistem penyedia yang sama.