Ty sam to wymyślasz, czy ktoś Ci to pisze? Przeuczymy duży model na istniejącym kodzie i co dalej? Już pomijam fakt jak bardzo karkołomne jest to zadanie, jak bardzo wymaga poetykietowania danych nie tylko o strukturze samego kodu, ale też problemów biznesowych, które rozwiązuje etc... Dodatkowo ilość danych potrzebna, żeby fine tuningować model do rozumienia pełnego kontektu biznesowego i technicznego aplikacji jest ogromna... A Ty chcesz sobie beztrosko przetrenowywać model po każdej zmianie :D
Po pierwsze model nie trzeba taranować za każdym razem, po drugie nie muszą to być modele wielkości gpt, po trzeci istnieją model których nie trzeba szkolić w całości, po czwarte zauważ jak rośnie tokenizacja obecnych modeli
Zauważ, że wielkodusznie nie przyczepiłem się do nieostrożnego użycia słowa "przeuczyć" ...
No właśnie to zrobiłeś, tylko nie wiem co chciałeś tym udowodnić że słowa mają różny znaczenia w zależności od kontekstu czy chciałeś się pochwalić że rozumiesz kontekst
"jakiś informatyk" jest w stanie o wiele szybciej i bardziej wydajnie przeskakiwać poszczególnymi fragmentami kodu a także uczyć się ich wzajemnych zależności niż LLM...
Należy pamiętać przede wszytkim że człowiek nie zniknie zniknąć ma programista na rzecz kogoś w rodzaju prompt enginnera
To dalej nie wnosi nic do meritum dyskusji, poza chęcią użycia "fachowego" słownictwa... Wierz mi... Siedzę w tym 10 lat. Nie zaimponowałeś :P
Wybacz ale miejscami zachowujesz się prostacko używając argumentów ad perosnam, na pewno nie jesteś osobą której chciałbym zaimponować, możesz siedzieć nawet i 100 lat to nic nie znaczy, w szczególności takie nieweryfikowalne informacje w postach najczęściej wskazują że jest inaczej
Rozumiem, że twierdzisz, że współczesne modele nie opierają się na koncepcji perceptronów? :D Sądzę, że mógłbyś się zdziwić :)
Zle rozumiesz, perceptron jest protoplastom sieci, niemniej to ich połączenie czy wykorzystanie wstecznej propagacji wpłynęło na ponowne ożywanie tematu AI, kolejnego lata, i tak perceptron jest składową sieci
Kilka z brzegu: problem z poprawnym rozumieniem dłuższych sekwencji tekstu zawierających wiele równoległych kontekstów, ograniczona zdolność do wnioskowania, ograniczenie ilości tokenów...
To nie jest granica to są wada, czy ograniczenia, granica było by np 100k tokenów której nie można przekroczyć, tymczasem nic takiego nie istniej znamy co najwyżej najwyższą znaną dziś wartość co nie znaczy że jest granicą jaką model może osiągnąć
Proszę bardzo. W naszym uproszczonym przykładzie weź sobie dowolny model, którego architektura nie jest w stanie idealnie zamodelować Twojego problemu i sprawdź czy osiągniesz 100% skuteczności poprzez samo zwiększanie danych treningowych.
A kto powiedział że masz osiągnąć 100% porostu poziom modelu nie rośnie liniowa wraz z nowymi danymi, jego jakość nie poprawia się liniowo
Chłopie nawet jak tworzysz sieć neuronową rozwiązującą dany problem, to iteracyjnie dobierasz jej optymalne hiperparametry, gęstość i rodzaje warstw głębokich, funkcje aktywacji, funkcje błędu etc... Że też nikt do tej pory nie wpadł, że wystarczyłoby po prostu zwiększyć liczbę danych... xD
Ależ wpadli nawet to zrobili, inną kwestią jest jakość danych i posiadania tak wielkich oczyszczonych zbiorów co nie jest takie łatwe
Nie manipuluj... Ja wyraźnie podkreśliłem, że kwestia mocy obliczeniowej również jest kluczowa a moja krytyka dotyczyła Twojego stwierdzenia, że jest ważniejsza niż same ograniczenia wynikające z architektury modeli.
Bo bez mocy obliczeniowej która napędziła pierwsze sieci prawdopodobnie nigdy by nie powstały kolejne model, bo po co, gdy pierwsze były by tylko w fazie przypuszczeń
Nie misiu tęczowy - nie jesteśmy tacy sami. Ty wygłaszasz tezy pewne i zarzucasz syndrom wyparcia tym, którzy się z Tobą nie zgadzają.. Ja wskazuję, że w tym momencie nie ma podstaw, żeby twierdzić, że w najbliższym czasie z pewnością osiągniemy przełom, że istnieją poważne argumenty (nawet zwykłe rozumowanie indukcyjne i wielokrotnie wspominane przez Ciebie "zimy" w AI) za tym, że nie osiągniemy oraz, że dyskusja na ten temat jest otwarta, w żadnym zaś razie tego nie wykluczając.
No faktycznie nie ma, wielu CEO, wielu ekspertów od AI, skokowy rozwój modeli, rynek inwestujący krocie, pojawienie się nowych jednostek obliczeniowych to wszytko są trolle by obniżyć zarobki informatyków
