Przechowywanie tysiecy obiektow w pamieci, czy to jest okej?

Przechowywanie tysiecy obiektow w pamieci, czy to jest okej?
Kobez Kobez
  • Rejestracja:prawie 7 lat
  • Ostatnio:ponad 6 lat
  • Postów:6
0

Witam,

Jestem poczatkujacym programista, zrobilem narzedzie ktore polyka dane wejsciowe, robi na nich okreslone operacje po czym zrzuca na koniec wynik do pliku.

Zrobilem to na zasadzie wczytania danych wejsciowych jako obiektow, jedno zadanie = 1 obiekt, sa one wczytywane na 'kolejke' LinkedBlockingQueue (poniewaz workerów obrabiajacych dane jest wiele i pobieraja z tej kolejki kolejne elementy, obrobka 1 elementu trwa ok 1-5sek poniewaz odbywa sie przez siec/zewn API) po czym po otrzymaniu odpowiedzi z serwera wrzuca dany obiekt usupelniony o brakujace wartosci na kolejkę wyjsciową (tez LinkedBlockingQueue).

danych do obróbki moze byc czasami duzo np 15tyś, więc po uruchomieniu programu tworzone jest 15tys obiektow (kazdy ma kilka pól typu String oraz int wiec nic wielkiego), są one obrabiane i zrzucane do pliku z kolejki wyjsciowej.

Otóż kolega ktory z Javą nie ma doczynienia, ale programuje w Pythonie (nie znam jego punktu widzenia bo nie programowalem w pythonie) caly czas twierdzi ze nie powinienem przechowywac tyle danych w pamieci, tylko w bazie danych. Wiem jak to zrobić, tj wczytac wszystko do bazy danych np postgres, pozniej pojedynczo kazdy worker by zczytywal pojedyncze dane po czym je uzupelnial, a na koniec wygenerowac plik wynikowy z bazy danych, ale moje pytanie brzmi: czy ma to większy sens?
Czy faktycznie nie powinienem przechowywac tych obiektow w pamieci tylko w bazie danych? Czy zwiekszy, badz zmniejszy to wydajnosc?
O bezpieczenstwo danych się nie martwie bo i tam mam proces ktory zrzuca plik wynikowy co okreslony czas, zeby w razie jakiegos nieoczekiwanego wywalenia móc kontynuowac dalej itd.

Szukam w internecie jakis poradnikow.dobrych praktyk w tym temacie ale z marnym skutkiem.

Dzieki za ew podpowiedzi :)

Leroy
  • Rejestracja:prawie 10 lat
  • Ostatnio:ponad rok
  • Lokalizacja:Wrocław
  • Postów:107
1

Wg mnie nie ma sensu to co twoj kolega proponuje.

Obejrzyj sobie to, chyba pasuje :D (@jarekr000000, przyklad tych 2 rozwiazan to parafraza sytuacji z zycia?)

edytowany 1x, ostatnio: Leroy
TY
Wow, świetna prezentacja. Szapo ba!
jarekr000000
  • Rejestracja:ponad 8 lat
  • Ostatnio:około 5 godzin
  • Lokalizacja:U krasnoludów - pod górą
  • Postów:4707
2

W pythonie ta baza danych tak samo nie ma sensu w tym przypadku jak w javie. Albo kolega uprawia cargo cult, albo musi sobie dokupić trochę ramu.

W tym przypadku na 15 tysiecy obiektów, jeśli pesymistycznie założymy, że na te kilka pól potrzeba 1024 bajty to musi sobie dokupić 15mb ramu.
Mam gdzieś w starym kompie (penium iii) taką kostkę 256mb. Więc starczy z zapasem. Mogę pożyczyć.


jeden i pół terabajta powinno wystarczyć każdemu
edytowany 2x, ostatnio: jarekr000000
KA
KA
  • Rejestracja:prawie 12 lat
  • Ostatnio:prawie 5 lat
  • Lokalizacja:Warszawa
  • Postów:1683
0

Właśnie już wszyscy Ci wystarczająco wyjaśnili - możesz nawet to pokazać koledze żeby się doedukował. Dorzucę jednak jedną wypowiedź Linusa Torvaldsa, którą myślę, że coraz bardziej trzeba wziąć sobie do serca:

Torvalds przypomniał jednocześnie, że jeszcze do niedawna wydajność warstwy sprzętowej systemów IT potrafiła podwajać się każdego roku. Takie tempo powoli się kończy i dlatego Torvalds ma nadzieję, że programiści wrócą teraz do czasów gdy bardziej dbali o wydajność oprogramowania zamiast zakładać- tak jak ma to niestety miejsce obecnie - że coraz to szybciej pracujący sprzęt załatwi za nich tę sprawę.

Owczywiście optymalizacja taką jak twój kolega zaprezentował nie ma żadnego sensu, ale generalnie o sensownych optymalizacjach możliwe, że będziemy musieli pamiętać o nich coraz bardziej i przejmować się nimi, bo tempo postępu powoli się zatrzymuje. Możliwe, że nasze komputery będą coraz bardziej wrażliwe na nasze mem i cpu leaki.


PROGRAMY NA ZAMÓWIENIE, ZALICZENIA STUDENCKIE, KONFIGURACJA SERWERÓW, SYSTEMÓW I BAZ DANYCH, STRONY INTERNETOWE, POMOC W PROGRAMOWANIU, POPRAWIENIE I OPTYMALIZACJA APLIKACJI
JAVA, C++, LINUX, WWW, SQL, PYTHON
POSIADAM KOMERCYJNE DOŚWIADCZENIE
TANIO, SZYBKO I PORZĄDNIE
Z KOMENTARZAMI OBJAŚNIAJĄCYMI KOD
PISZ NA PRYWATNĄ WIADOMOŚĆ
CENY JUŻ OD 49,99ZŁ ZA PROGRAM
ZAJMIJ SIĘ TYM CO CIĘ NAPRAWDĘ INTERESUJE!
YA
  • Rejestracja:prawie 10 lat
  • Ostatnio:około 2 godziny
  • Postów:2368
1

Nie wiem czy to Cię pocieszy, ale na jednym z systemów wciągaliśmy dane do pamięci, w peaku było 160 GB, wiec te 15k obiektów to nic... Największa ilość danych w pamięci jaką widziałem, to był system z 1TB RAMu pod bazę in-memory.

Zamiast martwić się czy to dużo czy mało, powinieneś pomyśleć czy potrzebujesz te dane przechowywać w trwałym składzie i co się stanie z Twoim przetwarzaniem jak braknie prądu (przysłowiowa pani sprzątaczka odpinająca kable od serwera, żeby odkurzacz podłączyć). Jak nic się nie stanie i odtworzysz sobie stan przetwarzania, to po co Ci baza?

Shalom
  • Rejestracja:około 21 lat
  • Ostatnio:prawie 3 lata
  • Lokalizacja:Space: the final frontier
  • Postów:26433
1

Dane do bazy wpisuje sie jak potrzebujesz persystencji, tzn przechowywania ich długo i trwale. Jeśli są do dane na których operujesz to nie bardzo jest sens. Ba, w "prawdziwym życiu" takie dane z bazy i tak ładuje sie do cache w pamięci aplikacji i nie czyta ich non stop.


"Nie brookliński most, ale przemienić w jasny, nowy dzień najsmutniejszą noc - to jest dopiero coś!"
Kobez Kobez
  • Rejestracja:prawie 7 lat
  • Ostatnio:ponad 6 lat
  • Postów:6
0

gdzieś w kościach czułem ze taka będzie odpowiedz, ale miło słyszeć potwierdzenie :) Dzieki za odpowiedzi!

P.S. własnie oglądam w/w wykład i swietnie się bawię :D

yarel napisał(a):

Zamiast martwić się czy to dużo czy mało, powinieneś pomyśleć czy potrzebujesz te dane przechowywać w trwałym składzie i co się stanie z Twoim przetwarzaniem jak braknie prądu (przysłowiowa pani sprzątaczka odpinająca kable od serwera, żeby odkurzacz podłączyć). Jak nic się nie stanie i odtworzysz sobie stan przetwarzania, to po co Ci baza?

W moim przypadku dane wynikowe sa zrzucane do pliku, tj cala kolejka wyjsciowa co krotki odstep czasu (2min), w razie nieoczekiwanego zamknięcia zaczynam od poczatku ale wczytujac przetworzone juz dane ktore sa automatycznie zrzucane do kolejki wynikowej, a operacje dzieją się tylko na nie przetworzonych obiektach. W najgorszym przypadku strace dane z 2minut, przy 15K danych jest to dosyc malo na co moge sobie pozwolic (do 100 zapytan, 2min pracy) i ponowić zapytania.

Raczej rzadko to się zdarza bo tylko w razie wlasnie 'wylaczenia pradu' bo wszystkie wyjatki ktore wyłapałem podczas testow (wystepujace po wystartowaniu workerow/ rozpoczeciu zapytan) uruchamiaja awaryjne generowanie wynikow wiec zwykle nie trace nic.

Zacząłem się teraz wczytywać w Java Persistance, nie slyszalem o tym tak szczerze :)

edytowany 2x, ostatnio: Kobez Kobez
Kliknij, aby dodać treść...

Pomoc 1.18.8

Typografia

Edytor obsługuje składnie Markdown, w której pojedynczy akcent *kursywa* oraz _kursywa_ to pochylenie. Z kolei podwójny akcent **pogrubienie** oraz __pogrubienie__ to pogrubienie. Dodanie znaczników ~~strike~~ to przekreślenie.

Możesz dodać formatowanie komendami , , oraz .

Ponieważ dekoracja podkreślenia jest przeznaczona na linki, markdown nie zawiera specjalnej składni dla podkreślenia. Dlatego by dodać podkreślenie, użyj <u>underline</u>.

Komendy formatujące reagują na skróty klawiszowe: Ctrl+B, Ctrl+I, Ctrl+U oraz Ctrl+S.

Linki

By dodać link w edytorze użyj komendy lub użyj składni [title](link). URL umieszczony w linku lub nawet URL umieszczony bezpośrednio w tekście będzie aktywny i klikalny.

Jeżeli chcesz, możesz samodzielnie dodać link: <a href="link">title</a>.

Wewnętrzne odnośniki

Możesz umieścić odnośnik do wewnętrznej podstrony, używając następującej składni: [[Delphi/Kompendium]] lub [[Delphi/Kompendium|kliknij, aby przejść do kompendium]]. Odnośniki mogą prowadzić do Forum 4programmers.net lub np. do Kompendium.

Wspomnienia użytkowników

By wspomnieć użytkownika forum, wpisz w formularzu znak @. Zobaczysz okienko samouzupełniające nazwy użytkowników. Samouzupełnienie dobierze odpowiedni format wspomnienia, zależnie od tego czy w nazwie użytkownika znajduje się spacja.

Znaczniki HTML

Dozwolone jest używanie niektórych znaczników HTML: <a>, <b>, <i>, <kbd>, <del>, <strong>, <dfn>, <pre>, <blockquote>, <hr/>, <sub>, <sup> oraz <img/>.

Skróty klawiszowe

Dodaj kombinację klawiszy komendą notacji klawiszy lub skrótem klawiszowym Alt+K.

Reprezentuj kombinacje klawiszowe używając taga <kbd>. Oddziel od siebie klawisze znakiem plus, np <kbd>Alt+Tab</kbd>.

Indeks górny oraz dolny

Przykład: wpisując H<sub>2</sub>O i m<sup>2</sup> otrzymasz: H2O i m2.

Składnia Tex

By precyzyjnie wyrazić działanie matematyczne, użyj składni Tex.

<tex>arcctg(x) = argtan(\frac{1}{x}) = arcsin(\frac{1}{\sqrt{1+x^2}})</tex>

Kod źródłowy

Krótkie fragmenty kodu

Wszelkie jednolinijkowe instrukcje języka programowania powinny być zawarte pomiędzy obróconymi apostrofami: `kod instrukcji` lub ``console.log(`string`);``.

Kod wielolinijkowy

Dodaj fragment kodu komendą . Fragmenty kodu zajmujące całą lub więcej linijek powinny być umieszczone w wielolinijkowym fragmencie kodu. Znaczniki ``` lub ~~~ umożliwiają kolorowanie różnych języków programowania. Możemy nadać nazwę języka programowania używając auto-uzupełnienia, kod został pokolorowany używając konkretnych ustawień kolorowania składni:

```javascript
document.write('Hello World');
```

Możesz zaznaczyć również już wklejony kod w edytorze, i użyć komendy  by zamienić go w kod. Użyj kombinacji Ctrl+`, by dodać fragment kodu bez oznaczników języka.

Tabelki

Dodaj przykładową tabelkę używając komendy . Przykładowa tabelka składa się z dwóch kolumn, nagłówka i jednego wiersza.

Wygeneruj tabelkę na podstawie szablonu. Oddziel komórki separatorem ; lub |, a następnie zaznacz szablonu.

nazwisko;dziedzina;odkrycie
Pitagoras;mathematics;Pythagorean Theorem
Albert Einstein;physics;General Relativity
Marie Curie, Pierre Curie;chemistry;Radium, Polonium

Użyj komendy by zamienić zaznaczony szablon na tabelkę Markdown.

Lista uporządkowana i nieuporządkowana

Możliwe jest tworzenie listy numerowanych oraz wypunktowanych. Wystarczy, że pierwszym znakiem linii będzie * lub - dla listy nieuporządkowanej oraz 1. dla listy uporządkowanej.

Użyj komendy by dodać listę uporządkowaną.

1. Lista numerowana
2. Lista numerowana

Użyj komendy by dodać listę nieuporządkowaną.

* Lista wypunktowana
* Lista wypunktowana
** Lista wypunktowana (drugi poziom)

Składnia Markdown

Edytor obsługuje składnię Markdown, która składa się ze znaków specjalnych. Dostępne komendy, jak formatowanie , dodanie tabelki lub fragmentu kodu są w pewnym sensie świadome otaczającej jej składni, i postarają się unikać uszkodzenia jej.

Dla przykładu, używając tylko dostępnych komend, nie możemy dodać formatowania pogrubienia do kodu wielolinijkowego, albo dodać listy do tabelki - mogłoby to doprowadzić do uszkodzenia składni.

W pewnych odosobnionych przypadkach brak nowej linii przed elementami markdown również mógłby uszkodzić składnie, dlatego edytor dodaje brakujące nowe linie. Dla przykładu, dodanie formatowania pochylenia zaraz po tabelce, mogłoby zostać błędne zinterpretowane, więc edytor doda oddzielającą nową linię pomiędzy tabelką, a pochyleniem.

Skróty klawiszowe

Skróty formatujące, kiedy w edytorze znajduje się pojedynczy kursor, wstawiają sformatowany tekst przykładowy. Jeśli w edytorze znajduje się zaznaczenie (słowo, linijka, paragraf), wtedy zaznaczenie zostaje sformatowane.

  • Ctrl+B - dodaj pogrubienie lub pogrub zaznaczenie
  • Ctrl+I - dodaj pochylenie lub pochyl zaznaczenie
  • Ctrl+U - dodaj podkreślenie lub podkreśl zaznaczenie
  • Ctrl+S - dodaj przekreślenie lub przekreśl zaznaczenie

Notacja Klawiszy

  • Alt+K - dodaj notację klawiszy

Fragment kodu bez oznacznika

  • Alt+C - dodaj pusty fragment kodu

Skróty operujące na kodzie i linijkach:

  • Alt+L - zaznaczenie całej linii
  • Alt+, Alt+ - przeniesienie linijki w której znajduje się kursor w górę/dół.
  • Tab/⌘+] - dodaj wcięcie (wcięcie w prawo)
  • Shit+Tab/⌘+[ - usunięcie wcięcia (wycięcie w lewo)

Dodawanie postów:

  • Ctrl+Enter - dodaj post
  • ⌘+Enter - dodaj post (MacOS)