Jak tam GPT6 - Astra? jak pierwsze wrażenia?

Jakieś ciekawe spostrzeżenia, oprócz tego, że szybko przepala tokeny?

Trafiłem na taki materiał na ten temat:

PaulGilbert napisał(a):

Jakieś ciekawe spostrzeżenia, oprócz tego, że szybko przepala tokeny?

Bez zmian, LLM-y interpolują coraz lepiej, ale z ekstrapolacją mają problem.

Imho poziom Opusa 5 lub Fable. Reszta to marketing.

bustard2 napisał(a):

Imho poziom Opusa 5 lub Fable. Reszta to marketing.

Tak, coś w ten deseń. Marketingowe bla bla, a różnice są trudno zauważalne między Sol czy Fable. W praktyce i tak będę jechał dalej na Sol i Opus 5. Męczy mnie niezmiernie to pier... o tym że to już AI, o tym czego nie potrafi, o tym jak rewolucyjny model.

Toć chwalili się że to już AGI. To jak to? Jednak nie? Nie myśli jednak samodzielnie?

John Gordon napisał(a):

Toć chwalili się że to już AGI. To jak to? Jednak nie? Nie myśli jednak samodzielnie?

Nie jestem w stanie ocenić na ile i czy osiągnął AGI, ale z tego marketingowego bullshitu, jeszcze napędzanego przez tzw ekspertów niewiele można powiedzieć. Zakładam wiec to co zwykle, marketing i ledwo dostrzegalne lepsze osiągi.

Jak dla mnie najbardziej interesującą warstwą jest wpływ tych "zaawansowanych kalkulatorów" na rynek pracy i gospodarkę w ogóle, ale to oczywiście nieco inny temat.

Z prywatnych testów jedna osoba mi wspomniała, że jak miała ze 3 linijki kodu do zmiany to Astra jej zaczęła jakiś overengineering robić :-D

Ja jak na razie jakiejś przepaści nie widzę, chociaż też nie za bardzo miałem pomysł na jakieś obiektywne testy.
Natomiast z jakiegoś powodu, mimo większego parcia w mediach na Claude, mnie lepiej korzysta się z GPT. Mam wrażenie, że szybciej odpowiada, bardziej precyzyjnie, nie leje tak wody jak Claude, jego odpowiedzi bardziej mi też pasują. Claude mam wrażenie ma więcej skilli nietechnicznych, jest jakby bardziej rozwinięty z humanistycznych przedmiotów.

@PaulGilbert: Można dyskutować, bo np wg moich testów na tekstach (dość duża próbka), Claude pisze najbardziej maszynowe teksty, GPT płynniejsze, a Gemini najpłynniejsze ale np robi błędy ortograficzne czego dwa pierwsze nie robią. Jeśli chodzi o moje preferencje ogólne (tekst i kod) najpierw GPT, a potem jak wyszedł Claude to jego preferowałem, a GPT jako backup, a teraz odwrotnie - Claude jest backupem i korzystam z GPT z Sol. Gemini to tak słaby asystem programowania, że tylko to wygładzania tekstu i researchu go używam.

Maciek Sala napisał(a):

Jak dla mnie najbardziej interesującą warstwą jest wpływ tych "zaawansowanych kalkulatorów" na rynek pracy i gospodarkę w ogóle, ale to oczywiście nieco inny temat.

Temat ciekawy, bo pokazuje jak dużo ludzi wykonuje raczej odtwórcze i poniekąd powtarzalne prace, które stosunkowo łatwo teraz automatyzować, a jak mało rzeczywiście potrzebuje bardziej abstrakcyjnego myślenia przewyższającego modele językowe póki co. I tak, też uważam, że póki co całe to AI to jednak bardziej rozbudowany komputer, bardziej rozbudowane narzędzie.

Zapytam prowokująco: co jest abstrakcyjnego w większości pracy typowego programisty? Ilu z nich wymyśla nowe rzeczy? 1%? 5%? Nowe rzeczy to: nowe algorytmy, nowe wzorce. Jeśli nie, to czemu AI ma tego samego nie ogarnąć? AI jest wytrenowane na tym wszystkim. Moim zdaniem, miejszość programistów potrzebuje czegokolwiek, czego nie zna AI, a jeśli chodzi o devops to pewnie nikt. Śmiałem sie już w innym komentarzu tutaj: są tacy, którzy dają Claude dostęp do serwera przez ssh i postawi wszystko i jeszcze dokumentację napisze. Można się śmiać: ale jeśli to czysty serwer to nabiera sensu. AI ci wygeneruje flow w ansible i masz wszystko co zostało zrobione, weryfikujesz od ręki.

EDIT: tak wiem, zaraz się zgłoszą tacy, którzy są w tych moich 5%, zapewne. Pytanie na ile to prawda.

Poziom opusa/fable więc nic specjalnego ale duży plus to że tokeny pali dużo wolniej, bardzo zadowolony jestem.

John Gordon napisał(a):

Zapytam prowokująco: co jest abstrakcyjnego w większości pracy typowego programisty? Ilu z nich wymyśla nowe rzeczy? 1%? 5%? Nowe rzeczy to: nowe algorytmy, nowe wzorce. Jeśli nie, to czemu AI ma tego samego nie ogarnąć? AI jest wytrenowane na tym wszystkim. ...

głównym problemem, który ogarniają programiści, jest integracja na różnych poziomach, np kawałków jednego systemu albo różnych systemów między sobą. do tego różnorodne ograniczenia i już gotowce wymiękają. stackoverflow jest pełen gotowców, ale kopiowanie gotowców ze stackoverflow to za mało, żeby sklecić nietrywialny system. ai często dostaje kociej febry jak się okazuje, że gotowce nie działają i trzeba sobie radzić z nietypowymi ograniczeniami lub kombinacjami. już nie mówiąc o tym, że czasem generuje całkowicie niepotrzebny kod, który moi koledzy bezmyślnie commitują, bo przecież wygląda dobrze i jest pokryty testami. to w sumie chyba tłumaczy jakim 'cudem' niektórzy 'ai influencerzy' chwalą się, że agentami generują tysiące linijek kodu dziennie - prawdopodobnie 99% tego kodu to nadmiarowy kod śmieciowy, który zwiększa koszty utrzymania na dłuższą metę. ai generuje w opór kodu, aż program zacznie działać tak jak się użytkownikowi podoba, ale użytkownikowi nie chce się już czytać całego tego kodu ze zrozumieniem.

Nowe modele AI ekscytują mnie tak samo jak nowe szczepy covida po dwóch latach

John Gordon napisał(a):

Zapytam prowokująco: co jest abstrakcyjnego w większości pracy typowego programisty? Ilu z nich wymyśla nowe rzeczy? 1%? 5%? Nowe rzeczy to: nowe algorytmy, nowe wzorce. Jeśli nie, to czemu AI ma tego samego nie ogarnąć? AI jest wytrenowane na tym wszystkim.

Problem w tym, że nie jest. Tobie się wydaje, że jest, bo Ci podsyła kawałki kodu z dokumentacji. Modele dobrze rozumują w przestrzeni ściśle zdefiniowanej jak szachy, Go, formalizm matematyczny. I programowanie samo w sobie też jest mocno ścisłe, w tym sensie, że podąża za dobrze zdefiniowanymi regułami, czyli instrukcjami do wykonania. Problem w tym, że cały design oprogramowania to bardzo dużo różnych możliwości, odnóg i odgałęzień. One cały czas są spójne i logiczne, ale tego nie masz w danych treningowych, bo:

1. Trudno to skonwertować na uczenie nadzorowane, trzeba by pewnie włączyć kosztowny RLHF.
2. Spodziewam się, że główni gracze nie mają dostępu do firmowych, zamkniętych kodów, więc nawet nie ma na czym uczyć. Jest open source, ale to nie wyczerpuje tematu. Gdyby tak było, w sieci miałbyś powtarzające się te same aplikacje, a jednak firmy chcą budować swoje autorskie rozwiązania. Także Twój argument o 1% czy 5% jest słaby, to jest większa skala w moim odczuciu.

Takie modele nawet jak obserwują otoczenie, co firmy starają się naśladować za pomocą agentów, to nie wychodzą poza schematy. Wiele razy kiedy kod nie działa, taki agent proponuje rozwiązanie i sprawdza czy działa. Robi to niejako brute forcem, ale nie robi kroku wstecz, by zastanowić się, czy to na czym próbuje zbudować ma sens. I generalnie nie trzeba być geniuszem, by to dostrzec. Wystarczy po prostu mieć trochę doświadczenia i to od razu widać to w outpucie.

To tak jak napisał @Wibowit, to jest stackoverflow, ale szybsze. I za czasów wyszukiwarek + SO ludzie nie byli w stanie złożyć programu tylko na bazie odpowiedzi na forum. Musieli pomyśleć, jak to wpleść w cały kod. Ty oczekujesz, że LLM Ci to zrobi. Warto korzystać z LLM-ów, ale nie do ślepego generowania kodu.

Nawet jeśli sceptycy mają pełną rację co do ograniczeń AI, to zrzucenie na model całej powtarzalnej roboty pozwala dziś jednemu programiście dowieźć tyle, co dawniej robił pięcioosobowy zespół. Dev nie musi już marnować czasu na pisanie szablonowego kodu, testów czy dokumentacji tylko zajmuje się samą architekturą i weryfikacją tego, co wypluwa AI. Dla biznesu nie ma znaczenia, czy to "prawdziwa inteligencja", bo z punktu widzenia kosztów i tempa prac jeden człowiek zyskał po prostu kilkukrotne przyspieszenie

Wystarczy znac ultimate prompt: No mistakes, full security, go!

Zrobiłem Astrą rewrite generowania mesha z voxeli w swoim voxel edytorze i poszło bezproblemowo.
Rozpisałem sporego prompta, który definiuje wszystkie wymagania. Co daję na wejściu, co chcę na wyjściu i opis szczegółów implementacyjnych.
Jest tam trochę custom "pomysłów", np. lista 6-kolorowych struktur przypisanych do każdego voxela - kolor każdej ściany voxela.
Teraz mam fajną oddzieloną od reszty kodu klasę budującą mesh z voxeli.
Dobrze to działa ;)