Importowanie i wyszukiwanie danych

Importowanie i wyszukiwanie danych
L0
  • Rejestracja:ponad 13 lat
  • Ostatnio:ponad 2 lata
1

Jeśli twoim celem jest zrobienie czegoś w niekonwencjonalny sposób, "sztukę dla sztuki", inaczej niż by zrobiła to reszta świata, i chcesz w ten sposób poduczyć się pewnej technologii to ok.Jeśli natomiast chcesz nabyć wiedzę bardziej praktyczną, taką która może się przydać komercyjnie, to wybierz inny język/technologię, np. python, java, c#, js, kotlin czy coś innego. Nabierzesz w ten sposób dużo praktyczniejszego doświadczenia. IMO lepiej poznać jak działa współczesny świat informatyki na podstawie nowszych i bardziej user-friendly technologii, a ewentualnie potem bawić się w C/C++.

IN
  • Rejestracja:ponad 2 lata
  • Ostatnio:około 2 lata
  • Postów:60
0

Na cyfrowym baronie ,http://programuj.cal.pl/forum/viewtopic.php?f=16&t=1821 masz opisane jak to zrobić. Jeśli używasz C++ Buildera 6.0. Reszta powinna być banalnie prosta. Ładujesz potem to do pamięci, kilka funkcji żeby obrobić tam dane. A potem to już algorytmy jakie sobie tylko wymarzysz. Ale to teoretyzuję dawno tego nie robiłem. Ale tak bym to zrobił. Operowanie na pamięci to świetne ćwiczenia uważam.

Konrado777
  • Rejestracja:ponad 2 lata
  • Ostatnio:3 miesiące
  • Postów:75
0

@infinityhost
Dzięki za źródło i podpowiedź.

@ly000
Programowanie chce raczej wykorzystać jako hobby i nie mam planów zrobienia kariery w tym kierunki ,bo jestem realistą. To nie tak ,że nie mam ambicji ,ale aby być w czymś dość dobrym to potrzeba grube lata praktyki ,bo pewnych umiejętności się nie przeskoczy.
Co do reszty środowisk ,które wymieniłeś masz rację w między czasie i również nimi się zainteresuje zaczynając od prostych rzeczy ,a czy mi się przydadzą to już ocenię sam.
Pozdrawiam i dzięki.

ZD
Chciałeś powiedzieć w hobbystycznych można marnować czas i energię (na MZ anty-naukę, czyli nauke o wartości ujemnej, jak tu znaffca C namawia)
RE
c++,python, c# to młotek, wiertaka itd. jak będziesz chciał wbić gwóźdź to użyjesz młotka nie wiertarki chociaż tej też można ale ile się namęczysz. To samo z językami, frameworkami. Jak chcesz robić sztukę dla sztuki spoko.
Konrado777
  • Rejestracja:ponad 2 lata
  • Ostatnio:3 miesiące
  • Postów:75
1

@ ZrobieDobrze
Jesteś strasznie irytujący. Co cię to obchodzi kto na co niby marnujesz czas? Tak samo zaglądasz znajomym do portfela i pouczasz ich ,że marnują pieniądze ,bo ich zakupy nie są wg twojego widzi mi się? Nie masz nic ciekawego do dodania w wątku to nie pisz nikt nie będzie rozpaczał za brakiem takich bezpokornych komentarzy. Jak będę miał kaprys to napiszę sobie grę na C64 i taki beton jak ty nie zrozumie tego ,bo twój światopogląd to tylko wszystko co uważasz ,a nikt inny nie może myśleć odmiennie od ciebie.

Zobacz pozostałe 6 komentarzy
_13th_Dragon
@infinityhost, to się wykaż, napiszcie to razem w githubie
ZK
@_13th_Dragon: i co z tego, że bym to zrobił, jak ty stwierdzisz, że jest niedobre ile programistów tyle rozwiązań, każdy z nas jeden problem rozwiązałby na setki innych sposobów ale cel jest jeden
ZK
@_13th_Dragon: podaj kilka czasopism w których publikowałeś i nazwisko, bo nie wiem na co patrzeć. AA i jeszcze jedno, odezwij się w wątku sieciowym czyli UDP, może mi pomożesz ale wątpię ale próbuję ciebie zachęcić do pomocy
_13th_Dragon
@zkubinski, a weź dowolny i spróbuj zrozumieć :)
RE
  • Rejestracja:ponad 18 lat
  • Ostatnio:5 minut
1

ja powiem krótko @Konrado777 chcesz to się dręcz w c++ z zadaniem wprost z machinelarnig gdzie wali się w python. Już nawet bym wolał C# i ML.NET. Nie przytoczyłeś na razie żadnych argumentów a wpisy klauna-znaffcy C to chyba jakiś trolling albo skrajana niewiedza.
Dostałeś ode mnie linki od webscalpingu i książe do machielearnig. Po co ci tu c++ to nie mam zielonego pojęcia.


We are the 4p. Existence, as you know it, is over. We will add your biological and technological distinctiveness to our own. Resistance is futile
edytowany 2x, ostatnio: revcorey
Zobacz pozostałe 10 komentarzy
IN
To chyba był 2004 rok. Więc cały download strony w builderze wygląda tak - AnsiString Url = "http://cyfbar.republika.pl/index.html"; // Adres naszej stronki IStream* pStream; Memo1->Clear(); DeleteUrlCacheEntry(Url.c_str()); // Wyczyszczenie cache dla tego adresu URLOpenBlockingStream(0, Url.c_str(), &pStream, 0, 0); // pobranie stronki std::auto_ptr<TOleStream> oStream(new TOleStream(pStream)); Memo1->Lines->LoadFromStream(oStream.get()); hehehehehe
_13th_Dragon
Nawet na 2004 rok to jakieś dziwne przestarzałe podejście od 1993 roku istnieje: https://www.indyproject.org/about/ TIdHttp i masz to samo w jednym wierszu. Z tym że to jest mały pryszcz, w porównaniu do parsowania czyli wydobycia potrzebnych danych z kodu html strony, a już w porównaniu do predykcji wyników ... ja nawet w pracach magisterskich odradzam na to się porywać bez oparcia o dobrą przetestowaną bibliotekę.
IN
Dużo większe rzeczy pisałem. Kiedyś miałem przyjemność robienia słownika z wielu plików tekstowych i jakoś wydobyłem z nich wszystkie informacje. Jeszcze do tego zrobiłem pasek postępu. To o czym powinieneś wspomnieć to o REGULARNOŚCIACH. Bo od tego w znacznej mierze zależy ile czasu potrwa zabawa z plikiem.
_13th_Dragon
@zkubinski: chyba znalazłem dla ciebie odpowiedniego mentora :) Pasujecie jak ulał.
ZK
@_13th_Dragon: nie banialukuj, tylko dawaj do wątku o UDP :P
KS
  • Rejestracja:prawie 4 lata
  • Ostatnio:dzień
  • Postów:601
0

Startuj od pliku tekstowego.Dosyć szybko będą zadowalające wyniki. Zacznij od tego. Dopieść to.

Ze stronami bywa różnie. Może pójdzie łatwo a może być masakra.
Chociaż jestem zdania, że dla początkującego będzie raczej masakra w każdym przypadku.
Jak już uda się wszystko zrobić i program będzie działał to może się okazać, że za godzinę już działać nie będzie.
A zamiast strony wyświetlać się będzie jakaś ciekawa wiadomość.
;-))))))

Mimo to jakbyś kiedyś się za to zabierał dam Ci parę rad, lepiej je sobie zapamiętaj:
Nie pisz programu do scrapa wewnątrz swojego programu który obrabia wyniki.
Niech Cię nie podkusi używanie jakichś bibliotek w C++ do tego. Zapewniam Cię zginiesz marnie. ( Chyba, że to jest Twoja własna strona - tkz należy do Ciebie )
Zapoznaj się z HTTP header. GET refere ciastka ua etc.
Zainstaluj na jakimś starym kompie linucha - do pobierania stron używaj wget lub curl. Na start to jest twoje max. Czyli użyjesz programu który zrobi to za Ciebie
Nie używaj swojego IP. ( tor / proxy Twoim przyjacielem )
Jak będziesz wybierał stronę poszukaj takiej która wygląda na zapuszczoną.
Tkz. jest w http a nie httpsie. Wygląda na starą - dawno temu zrobioną.
I od takiej zaczynaj się uczyć. Otwierasz ją w firefox i przyciskasz F12.
Odpytuj bardzo wolno co 10-20 sekund.

__

Aha ucz się języka jaki wybrałeś i nie przejmuj się co kto pisze. Osobiście c++ nie lubię ( zaczynałem od tego języka i porzuciłem na korzyść C )
Natomiast jestem zdania, ze każdy niech próbuje tego co wybrał. Z c++ jest trochę tak, ze można się go uczyć i uczyć i nic nie zrobisz bo ciągle się go uczysz . Taki miks wszystkiego.
Najwyżej zmienisz ale będziesz miał swoją wyrobioną opinię.

Mnie od jakiegoś czasu wszyscy atakują - perl i python. Ale się bronię i mówię a może common lisp?. ;-)

edytowany 4x, ostatnio: ksh
Konrado777
  • Rejestracja:ponad 2 lata
  • Ostatnio:3 miesiące
  • Postów:75
0

@ksh
Witaj
Co do danych wejściowych to nie będzie problemu ,bo mogę sobie je bardzo szybko zrobić w txt importując nawet przez excela kwerendami.
Ciekawe porady napisałeś i takie rzeczy warto jest wziąć do siebie.
Program na celu będzie miał z danych wejściowych damej ligi ,bo w pierwszym rzucie zrobię tylko jedną ligę ,aby się nie pętać. W wersi excelowej mam w tej chwili dane łacznie z podłączęczniem do 200 lig piłkarskich 50 lig koszykówki ,30 lig piłki ręcznej ,30 lig siatkarskich i 40 lig hoheja. Połączenie internetowe w razie odświeżania jest potrzebne tylko do aktualizowania wyników.Terminarze są pobrane ,ale jeśli następuje w nich zmiana są aktualizowane.Zmiana w terminarzu może być tylko data bo liga jak wiemy jest na zasadzie każdy z każdym i nic się nie zmieni. Do tego posiadam w pilkach zewnętrznych dla każdej ligi z wymienionych około 20-30 lig wstecz z każdego roku.Co roku dopisuje kolejny rok.W programie zwykle korzystam z ostanich 10 sezonów plus sezon bierzący. Mam w nim przekierowanie na specjalna tabele gdzie jest wypisane 10 ostanich sezonów. WIadomo ,że w tym roku sezonem nr 1 prócz bierzącego będzie sezon 21/22 kolejnym 20/21 i tak 10 w dół. z W tej tabeli z sezonami mam odniesienia dynamiczne do danych aktualnych i danych archiwalnych. Wszystko jest zrobione jako zakresy dynamiczne. Struktura połaczęn danych zrobiona jest w jednej komórce jako ciąg podzieony określonymi separatorami. Aby pobrać coś z danych wejściowych wiem od jakiego separatora zacząć ,aby pobrać interesujące mnie obliczenie. Jeśli w pierwszej fazie mam już pobrane dane to wtedy kolejny arkbusz dokonuje obliczenia na dany mecz ,który wybieram z listy rozwijanej. Obliczenie trwa w zwykłej wersi około 20 sekund ,a w rozrzerzonej do 40 sekund. Wersje różnią się ilością danych obliczeniowych na dany mecz.Jeśli mnie interesuje tylko prosta informacja to korzystam z szybszego rozwiązania.
Tak to wygląda.
Pozdrawiam

Konrado777
  • Rejestracja:ponad 2 lata
  • Ostatnio:3 miesiące
  • Postów:75
0

Na rynku widziałem już program do typowania meczów.
Wybierało się ligę ,mecz i na ten mecz jakiś algorytm obliczał różne prawdopodobieństwa wyników.
Obliczenia jak na płatny program były bardzo słąbe ,bo oparte tylko na rozkładzie prawdopodobieństwa Poissona ,a to niestety model podstawowy i posiadający wiele wad. Choć po małych korektach i dodaniu prawdopodobieństwa ważonego jego skuteczność wzrasta o parę procent w zalęzności na jakiej lidze i jakich typach. Jakby nie patrzeć są to suche dane i nie zawierają aktualnych składów ,rangi meczu ,kontuzji ,pogody ,sędziego prowadzącego zawody ,dyspozycję dnia drużyny. te dane wnoszą zawsze kilka punktów procentówych do analizy i czasem jedna waga może obalić wcześniejszy model dlatego nawet jakbym napisał swój program i bym umieścił w nim to co chce to bym go udostępnił jako darmowy ,bo by mi to sprawiło przyjemność stworzenie czegoś ciekawego.

RE
  • Rejestracja:ponad 18 lat
  • Ostatnio:5 minut
2

@Konrado777:

akby nie patrzeć są to suche dane i nie zawierają aktualnych składów ,rangi meczu ,kontuzji ,pogody ,sędziego prowadzącego zawody ,dyspozycję dnia drużyny. te dane wnoszą zawsze kilka punktów procentówych do analizy i czasem jedna waga może obalić wcześniejszy model dlatego nawet jakbym napisał swój program i bym umieścił w nim to co chce to bym go udostępnił jako darmowy ,bo by mi to sprawiło przyjemność stworzenie czegoś ciekawego.

Witamy w data science i ml. R i python dość mocno.
edit:
https://github.com/aziztitu/football-match-predictor
chyba zero zaskoczenia python.... nawet podałem wyżej jeden z estymatorów które użyto.


We are the 4p. Existence, as you know it, is over. We will add your biological and technological distinctiveness to our own. Resistance is futile
edytowany 3x, ostatnio: revcorey
Zobacz pozostałe 4 komentarze
IN
Jaki "ogrom pracy"? Wczytanie tego do pamięci i kilkukrotne przejechanie pętlami żeby wyłuskać i wypełnić danymi kilka struktur to ma być jakiś problem? Chyba prezentujemy różne poziomy, i Twój raczej nie jest tym wyższym.
RE
ja jebie gościu przejechanie pętlami. Nie ma co nawet komentować, wydobycie danych z strony www to hop siup w roku 2022 ehh no i wiadomo reszta nauki modeli itd. zrobi się sama. Ale zaraz skąd ty miałbys o tym pojęcie. Jak mówiłem brednie szaleńca. dobra szkoda gadać. Chcesz zemną gadać to odnoś się do całości zagadnienia a nie swoich wyborażeń na kodzie z roku 2000 który i wtedy był przestarzały. dla mnie koniec "dyskusji" z tobą.
IN
Tak jak pisałem, ja już robiłem taki program tylko on operował na danych z wyników lotto. I jakoś dałem radę. Nie wiem czemu tutaj miałbym mieć jakieś problemy.
RE
samemu zdarza mi sie opracowywac produkty oparte o ML dla przemysłu a tu typ mi gada o webscaplipngu i ml w roku 2022. Bo on w roku 2000 ściągnął stronę w czystym html i wykonał banalny algorytm na paru liczbach. Do tego kod oparty o przestarzałe API w momencie wydania, o narzędzia które sa dziś w niszy(borland) chwalący wskaźniki a jendocześnie pisząc w js. Szczyty bezczelności i głupoty. Albo będziesz bredizł to gadaj sam ze soba albo bądź merytoryczny koniec.
IN
Ale to, że swobodnie programuję to jest jednak większa głupota czy bezczelność ? he he he
Konrado777
  • Rejestracja:ponad 2 lata
  • Ostatnio:3 miesiące
  • Postów:75
0

Witaj @revcorey

Jak widzę po opiniach mnie jako początkującemu polecacie z własnych doświadczeń w tworzeniu i różnorodności programów ,aby najlepiej zagłębić się w Python. Środowisko R jak dobrze kojarzę do różnych symulacji na dużej ilości danych. Widziałem gdzieś w jakiejś pracy studenta jak tworzył model predykcji na bundesligę.
Zajmę się tym projektem docelowo w środowisko Python ,bo widzę kolejną opinię ,a to jest dla mnie ważne.
Pozdrawiam

Zobacz pozostałe 2 komentarze
Konrado777
Konrado777
@revcorey jak dodałaś we wcześniejszej odp o Ml to chodzi o ML,Net konstruktor tworzenia modeli ?? Przyznam ,że nigdy nie widziałem czegoś takiego i trafna uwaga ,bo to narzędzie bardzo mi się przyda.
RE
Podeslalem ci też link do książki dziś kosztuje 85 zł na helion.
Konrado777
Konrado777
@revcorey widzę tylko link z opisem predyktora. Jeśli mogę prosić jeszcze raz o link do książki będę wdzięczny i zakupię.
RE
tu sckitlearn + tensorflow https://helion.pl/ksiazki/uczenie-maszynowe-z-uzyciem-scikit-learn-i-tensorflow-wydanie-ii-aur-lien-g-ron,uczem2.htm#format/ tensorflow to lowlewel do sieci neuronowych zazwyczaj. do sieci neurnowych jeśli idzie o wysokie abstrakcje to keras albo pytroch, pytorch uczyłem się z stron a do keras czytałem https://helion.pl/ksiazki/deep-learning-praca-z-jezykiem-python-i-biblioteka-keras-francois-chollet,delepy.htm#format/d
Konrado777
Konrado777
@revcorey Dzięki wielkie.
Kliknij, aby dodać treść...

Pomoc 1.18.8

Typografia

Edytor obsługuje składnie Markdown, w której pojedynczy akcent *kursywa* oraz _kursywa_ to pochylenie. Z kolei podwójny akcent **pogrubienie** oraz __pogrubienie__ to pogrubienie. Dodanie znaczników ~~strike~~ to przekreślenie.

Możesz dodać formatowanie komendami , , oraz .

Ponieważ dekoracja podkreślenia jest przeznaczona na linki, markdown nie zawiera specjalnej składni dla podkreślenia. Dlatego by dodać podkreślenie, użyj <u>underline</u>.

Komendy formatujące reagują na skróty klawiszowe: Ctrl+B, Ctrl+I, Ctrl+U oraz Ctrl+S.

Linki

By dodać link w edytorze użyj komendy lub użyj składni [title](link). URL umieszczony w linku lub nawet URL umieszczony bezpośrednio w tekście będzie aktywny i klikalny.

Jeżeli chcesz, możesz samodzielnie dodać link: <a href="link">title</a>.

Wewnętrzne odnośniki

Możesz umieścić odnośnik do wewnętrznej podstrony, używając następującej składni: [[Delphi/Kompendium]] lub [[Delphi/Kompendium|kliknij, aby przejść do kompendium]]. Odnośniki mogą prowadzić do Forum 4programmers.net lub np. do Kompendium.

Wspomnienia użytkowników

By wspomnieć użytkownika forum, wpisz w formularzu znak @. Zobaczysz okienko samouzupełniające nazwy użytkowników. Samouzupełnienie dobierze odpowiedni format wspomnienia, zależnie od tego czy w nazwie użytkownika znajduje się spacja.

Znaczniki HTML

Dozwolone jest używanie niektórych znaczników HTML: <a>, <b>, <i>, <kbd>, <del>, <strong>, <dfn>, <pre>, <blockquote>, <hr/>, <sub>, <sup> oraz <img/>.

Skróty klawiszowe

Dodaj kombinację klawiszy komendą notacji klawiszy lub skrótem klawiszowym Alt+K.

Reprezentuj kombinacje klawiszowe używając taga <kbd>. Oddziel od siebie klawisze znakiem plus, np <kbd>Alt+Tab</kbd>.

Indeks górny oraz dolny

Przykład: wpisując H<sub>2</sub>O i m<sup>2</sup> otrzymasz: H2O i m2.

Składnia Tex

By precyzyjnie wyrazić działanie matematyczne, użyj składni Tex.

<tex>arcctg(x) = argtan(\frac{1}{x}) = arcsin(\frac{1}{\sqrt{1+x^2}})</tex>

Kod źródłowy

Krótkie fragmenty kodu

Wszelkie jednolinijkowe instrukcje języka programowania powinny być zawarte pomiędzy obróconymi apostrofami: `kod instrukcji` lub ``console.log(`string`);``.

Kod wielolinijkowy

Dodaj fragment kodu komendą . Fragmenty kodu zajmujące całą lub więcej linijek powinny być umieszczone w wielolinijkowym fragmencie kodu. Znaczniki ``` lub ~~~ umożliwiają kolorowanie różnych języków programowania. Możemy nadać nazwę języka programowania używając auto-uzupełnienia, kod został pokolorowany używając konkretnych ustawień kolorowania składni:

```javascript
document.write('Hello World');
```

Możesz zaznaczyć również już wklejony kod w edytorze, i użyć komendy  by zamienić go w kod. Użyj kombinacji Ctrl+`, by dodać fragment kodu bez oznaczników języka.

Tabelki

Dodaj przykładową tabelkę używając komendy . Przykładowa tabelka składa się z dwóch kolumn, nagłówka i jednego wiersza.

Wygeneruj tabelkę na podstawie szablonu. Oddziel komórki separatorem ; lub |, a następnie zaznacz szablonu.

nazwisko;dziedzina;odkrycie
Pitagoras;mathematics;Pythagorean Theorem
Albert Einstein;physics;General Relativity
Marie Curie, Pierre Curie;chemistry;Radium, Polonium

Użyj komendy by zamienić zaznaczony szablon na tabelkę Markdown.

Lista uporządkowana i nieuporządkowana

Możliwe jest tworzenie listy numerowanych oraz wypunktowanych. Wystarczy, że pierwszym znakiem linii będzie * lub - dla listy nieuporządkowanej oraz 1. dla listy uporządkowanej.

Użyj komendy by dodać listę uporządkowaną.

1. Lista numerowana
2. Lista numerowana

Użyj komendy by dodać listę nieuporządkowaną.

* Lista wypunktowana
* Lista wypunktowana
** Lista wypunktowana (drugi poziom)

Składnia Markdown

Edytor obsługuje składnię Markdown, która składa się ze znaków specjalnych. Dostępne komendy, jak formatowanie , dodanie tabelki lub fragmentu kodu są w pewnym sensie świadome otaczającej jej składni, i postarają się unikać uszkodzenia jej.

Dla przykładu, używając tylko dostępnych komend, nie możemy dodać formatowania pogrubienia do kodu wielolinijkowego, albo dodać listy do tabelki - mogłoby to doprowadzić do uszkodzenia składni.

W pewnych odosobnionych przypadkach brak nowej linii przed elementami markdown również mógłby uszkodzić składnie, dlatego edytor dodaje brakujące nowe linie. Dla przykładu, dodanie formatowania pochylenia zaraz po tabelce, mogłoby zostać błędne zinterpretowane, więc edytor doda oddzielającą nową linię pomiędzy tabelką, a pochyleniem.

Skróty klawiszowe

Skróty formatujące, kiedy w edytorze znajduje się pojedynczy kursor, wstawiają sformatowany tekst przykładowy. Jeśli w edytorze znajduje się zaznaczenie (słowo, linijka, paragraf), wtedy zaznaczenie zostaje sformatowane.

  • Ctrl+B - dodaj pogrubienie lub pogrub zaznaczenie
  • Ctrl+I - dodaj pochylenie lub pochyl zaznaczenie
  • Ctrl+U - dodaj podkreślenie lub podkreśl zaznaczenie
  • Ctrl+S - dodaj przekreślenie lub przekreśl zaznaczenie

Notacja Klawiszy

  • Alt+K - dodaj notację klawiszy

Fragment kodu bez oznacznika

  • Alt+C - dodaj pusty fragment kodu

Skróty operujące na kodzie i linijkach:

  • Alt+L - zaznaczenie całej linii
  • Alt+, Alt+ - przeniesienie linijki w której znajduje się kursor w górę/dół.
  • Tab/⌘+] - dodaj wcięcie (wcięcie w prawo)
  • Shit+Tab/⌘+[ - usunięcie wcięcia (wycięcie w lewo)

Dodawanie postów:

  • Ctrl+Enter - dodaj post
  • ⌘+Enter - dodaj post (MacOS)