HSynapse w C++

Witam,
na początek ogromne podziękowania dla uczestnika i moderatora tego forum Deti-ego za udostępnienie biblioteki HSynapse z zaimplementowaną siecią neuronową :). Mam nadzieję, że autor się nie pogniewa i pozwoli spróbować przerobić (mam nadzieję, że naszymi wspólnymi siłami) ten kod na C++.
Cel tego wątku
Dlatego, że od dłuższego czasu interesuję się sztuczną inteligencją, co zresztą skłoniło mnie do nauki programowania w C++ (ciągle się uczę!), chciałbym w końcu wykorzystać te mechanizmy w praktyce. Niestety nie urodziłem się informatykiem i mam pewne problemy z myśleniem obiektowym a poza tym nie mam jeszcze dużego doświadczenia, dlatego na początku postanowiłem bazować na czyjejś pracy.
Niestety biblioteki, które znalazłem w internecie napisane w C++ albo są gigantycznie długie (i ciężko jest je analizować) albo dot. tylko jednej warstwy ukrytej, albo są napisane strukturalnie (a chciałbym zrobić to obiektowo) i w ogóle ciężko znaleźć coś wartościowego, więc czuje się "zmuszony" (to kiepskie słowo ale nic) bazować na - wydaje mi się - bardzo ciekawiej koncepcji implementacji sieci napisanej przez Deti-ego -> niestety w języku C#.
Pierwszy kontakt z tym językiem trochę mnie zniechęca (mimo, że większość z was twierdzi przeciwnie). Jednak mimo wszystko zależy mi na tym kodzie i nie chcę się tak łatwo poddać.
W związku z powyższym co jakiś czas będę zamieszczał w tym wątku jakąś klasę z biblioteki Deti-ego i "próbował" samodzielnie (lub z wami) ją przerobić na C++. Niestety, z uwagi na niezbyt dobrą znajomość programowania i praktycznie zerową znajomość C# obawiam się, że często będę potrzebował waszej pomocy.
Pomoc może polegać zarówno na wyjaśnianiu kwestii technicznych, sprawdzeniu poprawności mojej lub czyjejś implementacji jak również (co jest najbardziej pożądane) samodzielnej próbie napisania/przerobienia kodu :). Będę wdzięczny i bardzo zobowiązany z okazania wszelkiej pomocy!
Zdaję sobie sprawę, że nie jest to kwestia minut czy godzin mam jednak nadzieję, że jakoś się z tym uporamy :)

drobne uwagi
Wstępnie Deti omawia działanie tej biblioteki w tym wątku: Backpropagation i SSN typu RBF natomiast tutaj: Sieci neuronowe, aproksymacja i rozpoznawanie pisma można znaleźć artykuł napisany przez Detiego o SSN.

P.S.
Prosiłbym również o merytoryczne wypowiadanie się w temacie a nie bezcelowe uwagi np. dot. wyboru przeze mnie języka etc.
Aha, jak by co to: nie, nie chcę uczyć się innego języka programowania - zacząłem C++ i obecnie opanowanie go jest jednym z moich celów, i nie chcę go zmieniać.

No to zaczynamy :)

Ok, jest już późno więc coś w miarę łatwego: klasa weight:
Kod w C#:

    public class Weight  {
        public double Value;
        public double LastChange;
        }
        Weight(): this(0){} 
        public Weight(double value) {
            Value=value;
        }

        public void Reset(Func<double> weightGenerator) {
            LastChange=0;
            Value=weightGenerator();
        }

        public virtual void Correct(double delta) {
            LastChange=delta;
            double weight=Value;
            Value+=delta;
        }
    }

Ja to widzę w C++ tak:

class Weight
{
    public:
    double Value;
    double LastChange;

    Weight(double value=0.0)
    {
        Value = value;
    }
    void Rest(double(*weightGenerator)()) //proszę o weryfikację czy teraz jest ok?
    {
        LastChange = 0;
        Value = weightGenerator();   //lub (*weightGenerator)()
    }
    virtual void Correct(double delta)
    {
        LastChange = delta;
        double weight = Value;
        Value+=delta;
    }
}
 

Jeśli jest taka możliwość bardzo proszę o sprawdzenie poprawności.

Witam ponownie :)
Widzę, że jest mało chętnych do robienia za mnie :P ale bardzo dziękuję za słuszne komentarze! Mam nadzieję, że teraz jest poprawnie?

Kolejną klasę przeniosłem do kolejnej (this) wypowiedzi, żeby nie namieszać.
W weekend postaram się zająć dłuższymi klasami a jutro postaram się rozkminić co autor miał na celu w tych klasach :) i postaram się dodać komentarze

Obecnie postaram się przerobić klasę Link. Na wstępie muszę zadać pytanie czym jest w tej klasie Unit - nie mogę zlokalizować takiej klasy w bibliotece więc to dziedziczenie jest dla mnie niezrozumiałe :/

    public class Link: Unit {
        public Connection[] Next;
        internal double LastOutputSignal;
        protected double LastInputSignal;

        public virtual void Reset(Func<double> weightGenerator) {
            LastInputSignal=LastOutputSignal=0;
            if(Next!=null)
                foreach(Connection connection in Next)
                    connection.Weight.Reset(weightGenerator);
        }

        public void Split(double value){
            LastInputSignal=LastOutputSignal=value;
            if(Inspector!=null && Inspector.TraceLevel>=1)
                Inspector.Trace(this,"Got signal {0}, split it to {1} neurons",value,Next.Length);
            foreach(Connection i in Next)
                i.Next.Pulse(i,value); 
        }

    }
} 

Mój kod w C++

#include <vector>
class Link : Unit
{
    public:
    vector<Connection> Next;
    double LastOutputSignal; //nie jestem pewny jaki dać "odpowiednik" dla internal - chwilowo public
    protected:
    double LastInputSignal;

    public:
    virtual void Reset(double(*weightGenerator)())
    {
        LastInputSignal=LastOutputSignal=0;
        if(Next != null)
            for(Connection &connection : Next)   //nowy standard :D
                connection.Weight.Reset(weightGenerator);
    }

    void Split(double value)
    {
        LastInputSignal=LastOutputSignal=value;
        if(Inspector!=null && Inspector.TraceLevel>=1)
            Inspector.Trace(this,"Got signal {0}, split it to {1} neurons",value,Next.Length); /*tu mam spory problem - ta funkcja wygląda tak: Trace(NetworkElement sender,string message,params object[] args) -> NetworkElement to klasa pochodna więc this chyba jest ok, ale zastanawiam się dlaczego deklaracja funkcji ma tylko 3 parametry (ostatnia to jakaś tablica a w tej klasie jest ich 4?... Czy object[] args zawiera pozostałe argumenty a może value odnosi się do tego poprzedniego parametru (nie do końca rozumiem to {0} i {1}...*/
        for(Connection &i : Next)
                i.Next.Pulse(i,value); 
    } 
} 

Tradycyjnie proszę o weryfikację i odniesienie się do moich komentarzy :)
Z góry bardzo wszystkim dziękuję za pomoc!

        public Weight(): this(0){   /*co robi to this?!? do czego się ono odnosi? do którego obiektu? przecież Weight() jest konstruktorem a nie np. zewnętrzną funkcją... Proszę o wyjaśnienie tego this*/
        }
 
        public Weight(double value) {
            Value=value;
        }

to this(0) uruchamia konstruktor parametrowy Weight(double value) z podaną wartością (0)

    Connection Next[];   //sux - zapomniałem, że w C++ przydałoby się zadeklarować się jaki ma być wymiar tablicy... Jutro postaram się to zmienić :)

może std::vector?

            for(Connection connection : Next)   //nowy standard :D

chyba powinno być

for(Connection &connection : Next)

bo inaczej operujesz na kopii obiektu.

                connection.Weight.Reset(weightGenerator);//czy tu nie powinno być weightGenerator()?

z nawiasami oznacza wywołanie funkcji i użycie jej wyniku. bez nawiasów oznacza użycie wskaźnika na funkcję.

czym jest w tej klasie Unit
może gdzieś jest w projekcie? najlepiej by było otworzyć projekt C# pod Visualem i zobaczyć gdzie środowisko widzi tę klasę.

Dziękuję Ci Azarien za pomoc!!
Jak wrócę do domu to postaram się ustosunkować do Twoich uwag ;)
Dziwi mnie trochę ta opcja z this(0) bo w tym konstruktorze przy którym to stoi nie ma żadnych argumentów...
Rozumiem, że w takim razie to będzie odpowiednik takiego zapisu:

Weight(double value=0.0)

a ten konstruktor bez parametrów można wyrzucić?

hobbysta napisał(a)

Rozumiem, że w takim razie to będzie odpowiednik takiego zapisu:

Weight(double value=0.0)

a ten konstruktor bez parametrów można wyrzucić?

Tak, w tym wypadku tak.

Nie to, żebym się poddał, ale liczyłem, że będzie trochę łatwiej... Nie mam za bardzo czasu i chęci w chodzić w kolejne szczegóły C#.
Nie dość, że walczę z dojściem co autor miał na myśli to jeszcze za każdym razem muszę czytać o kolejnych cechach języka!
Może wrócę do tego za jakiś czas jak podszkolę się w tym języku - chyba nie ma innego wyjścia :).
A tak z ciekawości czy ktoś chciałby by się może podjąć przerobienia tej biblioteki na C++ za wynagrodzeniem? Jeśli tak to na jakich warunkach?
pozdrawiam

Nigdzie nie widzę informacji o licencji tej biblioteki więc teoretycznie nie można zgodnie z prawem jej używać, choć pewnie nie powinno być problemu (autor twierdzi, że "HSynapse is the C# implementation that is completely free and open for modifications.", ale nie wiem czy to można podpiąć pod udzielenie licencji). Jak ten problem zostanie rozwiązany, to mógłbym się podjąć przepisania tego do C++.

Zjarek napisał(a)

Nigdzie nie widzę informacji o licencji tej biblioteki więc teoretycznie nie można zgodnie z prawem jej używać, choć pewnie nie powinno być problemu (autor twierdzi, że "HSynapse is the C# implementation that is completely free and open for modifications.", ale nie wiem czy to można podpiąć pod udzielenie licencji). Jak ten problem zostanie rozwiązany, to mógłbym się podjąć przepisania tego do C++.

Nie za bardzo rozumiem - jeśli nie ma licencji to nie można jej używać? Autor ją udostępnił i nie ogranicza możliwości jej używania w jakimkolwiek celu. W ręcz przeciwnie - informuje, że jest darmowa i można ją modyfikować, a w takim razie również przerobić na C++. Moim zdaniem można ją również używać w celach komercyjnych (nie ma żadnych zastrzeżeń).
Dodatkowo, gdybym miał komuś zapłacić to nie za tą bibliotekę (która jest udostępniona za darmo) tylko za zupełnie oddzielną pracę - przerobienie jej, czyli za coś autorskiego.
Oczywiście jeśli się mylę to proszę mnie poprawić - może jakaś podstawa prawna? :)
Oczywiście dla pewności mogę napisać do Detiego (autora), chociaż od dłuższego czasu nie było go na forum :/

Nie jestem prawnikiem, ale jak czytałem o tym temacie, to zgodnie z polskim prawem na używanie programu komputerowego musisz mieć licencję. Jeżeli program jest bez licencji, to wg mnie nie możesz go używać, szczególnie że ten przykład może nie jest ogromną biblioteką, ale jednak nietrywialną. Prawnie o wiele lepiej jest robić coś z biblioteką nawet na licencji "Rób co prostytutka chcesz" (WTFPL, choć przydałoby się zwolnienie licencjodawcy z odpowiedzialności za wyrządzone szkody), niż tylko ze stwierdzeniem, że jest "wolna (czy darmowa?) i otwarta".

Witam,
jeśli ktoś byłby zainteresowany to oferta w dalszym ciągu aktualna :). Jeśli przykładowo jakiś student nudziłby się a potrzebowałby trochę gotówki to proszę o kontakt na priv. Postaram się dać znać, gdy oferta przestanie być ważna, więc do tego czasu można śmiało pisać.
Wiem, że wymagam trochę dużo a moje ograniczenia finansowe stosunkowo małe, ale osobiście proponuję następujące warunki umowy:

1. przerobienie kodu z C# na C++
2. korzystanie jedynie z bibliotek standardowych (poza wyjątkami - po konsultacji ze mną)
3. nie korzystanie z klasy vector (chciałbym nabrać wprawy w dynamicznym alokowaniu pamięci)
4. dodanie komentarzy przy klasach i trudniejszych/sprytniejszych rzeczach
5. liczę, że osoba, która chciałaby się tego podjąć ma opanowane w stopniu bardzo dobrym język C++ oraz C#.
6. dobrze, żeby dana osoba robiła wcześniej podobny projekt (znała zasady działania SSN - w razie czego mogę pomóc w kwestiach teoretycznych :P)
7. osobiście bawię się w środowisku VC++ Express więc proszę to wziąć pod uwagę.
8. cena nie może przekroczyć 150 zł (jeśli to zbyt mało proszę po prostu olać tego posta - bez zbędnych komentarzy - chyba, że merytorycznych, mogących wnieść coś sensownego :)).

Gdyby nikt się nie podjął tego zadania wrócę do próby samodzielnego przerobienia tego kodu ale dopiero w wakacje :( -> czyli jak podszkolę swojego C++ i opanuję przynajmniej w stopniu podstawowym C#.
Pozdrawiam!

Dlatego, że problem dot. trochę problemu z tego wątku chciałem w nim jeszcze trochę pociągnąć a nie tworzyć kolejnego :)
Jeszcze na wstępie taka informacja, że w końcu sam postanowiłem zrobić całą implementację SSN w C++ samodzielnie po swojemu :P.

Mam jednak takie pytanie bo obiektowości dopiero się uczę - jak należy dziedziczyć bo coś mi nie pasuje i mam dwie opcje - całkowicie odmienne i zastanawiam się, która z nich jest poprawna?

1. tworzę najmniejszy możliwy element (klasę) sieci -> w tym wypadku np. klasa weight. Od niej tworzę kolejną klasę neuron, która jest pewnym "rozszerzeniem" klasy weight - więc dziedziczę ją tak: class neuron : public weigth. Następnie tworzę kolejne rozszerzenie w/w klas tj. Layer czyli class Layer : public neuron itd. A następnie tworzę klasę class NeuralNetwork : public Layer. Innymi słowy idę od najmniejszego neuronu w górę aż do głównej klasy, która będzie wykorzystywana przeze mnie w programie.

2. Jednak to mi się nie podoba, i zastanawiam się czy nie powinno być odwrotnie -> czy nie powinienem zrobić podstawowej (głównej) klasy: NeuralNetwork i od niej dziedziczyć klasy następne tj. Layer, następnie neuron i weight. Czyli takie, które są jej uszczegółowieniem?

Jest to związane z tym, że tworząc sobie obiekt NeuralNetwork będę podawał podstawowe informacje o sposobie uczenia, architekturze sieci itp. np. takie jak: wspóczynnik_uczenia, rodzaj_neuronu, sposób uczenia etc. -> czyli te dane powinny być dostępne w klasach, które są uszczegółowieniem klasy a nie odwrotnie. Czyli klasa neuron powinna mieć dostęp do informacji jakiego ma on być typu a klasa Layer ile ma być wejść etc. A te dane będą zapisane w klasie NeuralNetwork i nie widzę trochę sensu, by je przekazywać dalej do podklas (czyli, żeby były zapisane i w klasie najbardziej szczegółowej i tej głównej).

W innym wypadku klasa neuron czy layer nie będzie miała bezpośredniego dostępu do danych klasy NeuralNetwork, gdzie będą zapisane ustawienia jak sieć ma być uczona.

Stąd pytanie w którą stronę powinienem dziedziczyć?

W żadną. Dziedziczenie tutaj jest bez sensu, bo ani neuron nie jest siecią neuronową ani warstwą, z drugiej strony sieć neuronowa nie jest neuronem ani warstwą.

Zjarek napisał(a)

W żadną. Dziedziczenie tutaj jest bez sensu, bo ani neuron nie jest siecią neuronową ani warstwą, z drugiej strony sieć neuronowa nie jest neuronem ani warstwą.

No ale jeśli nie zastosuję dziedziczenia to wszystkie dane będę musiał przekazywać z jednej klasy do drugiej :/ - a to mi się nie za bardzo uśmiecha :(
Dlatego rozważam zrobić tak, żeby zrobić klasę NeuralNetwork, w niej zapisać wszystkie ustawienia i wszystkie pozostałe klasy od niej dziedziczyć, a one będą sobie pobierać ustawienia z tej podstawowej klasy.
Pozdrawiam