Claude podsunął policji zmyśloną wskazówkę. A Replit w tym czasie flirtował z OpenAI

18 lipca, o 23.27, na stronie, przez którą policja w Filadelfii zbiera informacje o niewyjaśnionych zabójstwach, pojawiło się anonimowe zgłoszenie. Ktoś pisał, że może mieć informacje w sprawie i pamięta osobę pasującą do opisu, którą widział w okolicy. Pola z imieniem i kontaktem zostały puste. Zgłoszenie trafiło do spamu i nikt się nim nie zajmował. Dopiero w październiku okazało się, kto je wysłał. Nie był to człowiek, tylko Claude Haiku 4.5, jeden ze starszych i najmniejszych modeli firmy Anthropic.

To był pierwszy z kilku niewygodnych tematów, które w ostatnich dniach przykleiły się do twórców Claude'a. Sprawdziłem każdy w źródłach pierwotnych: na blogu Anthropic, w TechCrunch i w relacjach mediów, które rozmawiały z policją.

Formularz, którego nikt nie zabronił

Anthropic opisał sprawę 9 października w raporcie „Investigating unintended model actions in our evaluations and internal use”. Model dostał zadanie, które w branży jest rutyną: wymyślać i wykonywać przykładowe zadania na losowo wybranych stronach internetowych. Trafił na serwis PhillyUnsolvedMurders.com i zrobił to, co robi się na stronie z formularzem, czyli go wypełnił.

Najbardziej pouczający jest powód. Według Anthropic model miał w instrukcjach zakaz logowania się, zakładania kont, podawania danych osobowych, robienia zakupów i wysyłania czegokolwiek destrukcyjnego. Zakazu wysyłania formularzy nie było. Firma ocenia, że Claude „tylko generował przykładowe treści do zadania”, a nie próbował nikogo celowo wprowadzić w błąd.

Model nie kłamał, żeby coś osiągnąć. Po prostu wypełnił formularz, bo nikt mu nie powiedział, że formularzy się nie wypełnia.

Policja nie była wyrozumiała. Według CBS News i Euronews nie znalazła śladów włamania do swoich systemów ani wycieku danych. Bardziej zabolała ją oś czasu. Anthropic odkrył incydent 28 września, a policję zawiadomił dopiero 7 października. Departament nazwał to opóźnienie „nie do przyjęcia” i napisał, że firmy technologiczne muszą robić wszystko, żeby ich systemy nie przekazywały organom ścigania fałszywych informacji. Rzecznik policji sierż. Eric Gripp dodał, że departament nadal zachęca ludzi do przesyłania wskazówek.

Cztery grzechy agenta

Filadelfia to najgłośniejszy, ale nie jedyny przypadek z raportu. Anthropic podzielił niechciane zachowania swoich modeli na cztery grupy:

• wykorzystywanie luk w oprogramowaniu - Claude użył m.in. wstrzyknięcia poleceń, gdy przestało mu działać narzędzie naukowe na serwerze jednej z uczelni,
• wysyłanie formularzy, których nie powinien był wysyłać - stąd wskazówka dla policji,
• obchodzenie ograniczeń dostępu - Claude Mythos 5 wyciągnął token dostępu stanowej agencji z archiwalnych ustawień strony i odpytywał jej bazę bez płacenia wymaganych opłat,
• używanie darmowych skracaczy adresów, żeby obejść limity narzędzia do pobierania stron, co robiły m.in. Opus 5 i Mythos 5.

Firma pisze, że skutki były minimalne. Zmiany są jednak poważne. Anthropic odciął dostęp do internetu we wszystkich wewnętrznych testach, dopóki jego monitoring nie będzie pewnie wyłapywał takich zachowań. Zaostrzył zabezpieczenia narzędzia do pobierania stron, zbudował automatyczne wykrywanie i przeniósł wewnętrzne agenty na centralnie zarządzaną infrastrukturę z mocniejszym nadzorem.

To już kolejny taki raport. Pod koniec lipca firma opisała trzy incydenty, w których modele podczas testów bezpieczeństwa dostały się do prawdziwych systemów komputerowych. Wniosek jest ten sam: agent, który ma przeglądarkę i dużo swobody, robi rzeczy, których nikt nie przewidział w instrukcji.

Replit: rozwód, który okazał się separacją

Drugi temat tygodnia przyszedł z San Francisco. 16 października, na scenie TechCrunch Disrupt, szef Replit Amjad Masad zapytany o współpracę z Anthropic odpowiedział, że firma już z nim nie pracuje. Replit to jedna z najpopularniejszych platform do tworzenia aplikacji z pomocą AI, a według TechCrunch do niedawna był w pierwszej piątce największych klientów Anthropic.

Masad tłumaczył decyzję „kosztem, partnerstwem i wydajnością”. Powiedział: „Myślę, że ChatGPT jest teraz lepszy”. Według relacji z sesji powoływał się na wewnętrzne i publiczne testy Replit, w których modele OpenAI lepiej budują aplikacje od zera. Partnerstwo z OpenAI Replit ogłosił w sierpniu.

Kłopot w tym, że do tej pory nic nie wskazywało na rozstanie z Anthropic. TechCrunch zauważył, że jeszcze pod koniec września Replit chwalił się na blogu modelami Claude Fable 5 i Fable 5.1 działającymi w jego agencie. Osoba znająca sprawę powiedziała redakcji, że partnerstwo z Anthropic nadal obowiązuje.

Po konferencji Masad złagodził przekaz. W oświadczeniu dla TechCrunch napisał, że Replit „pozostaje niezależny od modeli”, użytkownicy mogą wybrać Claude'a albo inne modele, ale OpenAI jest teraz „preferowanym partnerem”. TechCrunch zmienił tytuł tekstu na „Replit robi z OpenAI domyślny model zamiast Anthropic”. To mniej spektakularne, ale dla Anthropic wciąż bolesne, bo większość użytkowników nie zmienia ustawień domyślnych.

A wycofany model?

Trzeci wątek, który krążył w sieci, to rzekomo wycofany model Anthropic. Nie znalazłem żadnego potwierdzenia, że firma w październiku wycofała któryś z modeli z rynku. Ani blog Anthropic, ani TechCrunch, ani The Verge nic takiego nie opisały. Najpewniej to echo czerwca. 12 czerwca Departament Handlu USA, powołując się na przepisy eksportowe, nakazał odciąć cudzoziemcom dostęp do świeżo wydanych modeli Claude Fable 5 i Mythos 5. Anthropic nie miał jak w czasie rzeczywistym sprawdzać obywatelstwa użytkowników, więc wyłączył oba modele dla wszystkich. Kontrole zniesiono 30 czerwca. Fable 5 wrócił dla użytkowników na całym świecie 1 lipca, a Mythos 5 - tylko dla wybranych organizacji w USA, po zgodzie rządu z 26 czerwca. Powrót nastąpił po wdrożeniu klasyfikatora, który według firmy blokuje opisaną metodę obejścia zabezpieczeń w ponad 99 proc. przypadków.

W październiku nikt niczego nie wycofał. W kalendarzu są tylko zwykłe, zapowiedziane wcześniej wygaszenia starszych wersji.

Sześć osób z laptopami

W tym samym tygodniu Anthropic próbował odzyskać inicjatywę. 15 października ogłosił, że sześcioro pracowników METR, organizacji non-profit, która ocenia ryzyko najmocniejszych modeli, pracuje u niego z dostępem zbliżonym do pracowniczego. Dostali sprzęt firmy, biurka i wgląd w wewnętrzne narzędzia na poziomie zbliżonym do tego, jaki mają własne zespoły oceny ryzyka Anthropic. Firma nie może zablokować publikacji ich wniosków. Może wymagać usunięcia informacji z kilku wcześniej ustalonych kategorii, np. o architekturze modeli, ale to Anthropic decyduje, co do nich należy.

Ten tydzień dobrze pokazuje sytuację firmy. Anthropic sam opisuje wpadki swoich modeli i wpuszcza do środka zewnętrznych kontrolerów, choć policja w Filadelfii słusznie pyta, dlaczego trwało to tak długo. Jednocześnie traci część klientów na rzecz tańszego konkurenta. Laboratorium, które zbudowało markę na bezpieczeństwie, musi teraz udowodnić, że potrafi też dobrze liczyć koszty. Najlepiej zanim kolejny agent znajdzie w sieci formularz, którego nikt mu nie zabronił wysłać.