Post

Antropic обявиха, че ще watermark-ват текста, който произвежда Claude. Ако и на вас ви е интересно как ще го правят, мисля, че тези пейпъри и репо ще са ви полезни: Добър пример: arxiv.org/html/2301.10... Google хората по темата: www.nature.com/articles/s41... github.com/google-deepm...

Respect за статия в Нейчър, все още звучи много яко. Също, tournament sampling е хитро. Обаче има проблем - само оригиналното LLM, което си знае теглата, може да детектира водните знаци. И ако идва от компания със затворени модели, всичко опира до "вервайте ми".

Турнирното семплирине ми прилича на нещо измислено от докторант в два сутринта (от личен опит). Изглежда красиво, но няма истински сравнителен анализ, защо аджеба пък точно това е хубавото решение и какви са му предимствата. По-скоро е "вижте какъв трик ми хрумна".

Аз го гледам през търговска и политическа гледна точка и виждам следното: 1. Няма проблем, ако не е оптимално алгоритмично, защото това е монополна услуга, която трябва да си плащаш на каквато кажат цена. 2. Неясните изисквания също е чудесно, защото позволява на индустрията да наложи стандарт.

3. Вдига цената на compliance и прави живота на малките отворени играчи по-рисков (FUD). 4. Ще насърчи иновативна маймунщина от всички по-малки играчи.

Може ли двамата да пишете човешки като за лаици какво става и защо е важно, че идиотите като мен, колкото и да им е интересно, трудно се ориентират? 🙏😆

ЕС приеха добронамерен и недомислен закон за ИИ. Едно от изискванията е всяка медия генерирана от ИИ да бъде ясно обозначена като такава - включително и текста. Как точно да се направи това е оставено на компаниите, но има разни допълнителни условия, които го правят трудно да се направи добре.

Статията предлага решение, което е удобно за голяма компания, и изпълнява критериите на ЕС. Те не споменават ЕС, само казват "вижте какво решение ни хрумна". Решението позволява лесно да се сложи воден знак, но също изглежда да може лесно да се изчисти от трети човек.

Недомислието на ЕС е, че водните знаци могат да се махнат, особено ако знаеш точно как са сложени. Ако не знаеш, че ги има, работят. Ако знаеш, че ги има, но не знаеш как са сложени, може да е трудно да се махнат. Ако са във видео, също е трудно. В суров текст, и при известен алгоритъм е лесно.

Ако правилно го чета, алгоритъмът си предвижда таен ключ, който да определя двете групи: вероятни невероятни токени. Не знам защо ще е тривиално премахването на отпечатъка

Проблемът им е в разпределението на вероятностите след един токен, което много често спада много бързо, предполагам затова ги правят тези турнири. Трябва да имаш голям избор от леко по-вероятни и леко по-невероятни избори, за да работи добре нарочното им избиране.

Представям си проста атака, която вади думи от едни места и добавя думи на други, примерно прилагателни. Може да е достатъчно е леко да се бутне разпределението. Сега, Нейчър не пасат трева, но на мен работата ми е да съм скептичен. Сигурно е ужасно трудно да се подправи позитивен резултат :)

Ти не искаш да премахнеш водния знак, искаш да направиш твоя текст да се слее с тълпата на тези със слаба вероятност да са генерирани. Даже, като се замисля, ако за един текст получа 0% вероятност да е генериран ще ми бъде ужасно подозрително:)

Edge cases по тази тема.