Problem wydajnościowy (zużycie pamięci)

Problem wydajnościowy (zużycie pamięci)
0

Witam wszystkich forumowiczów,
Załączam kod testowej klasy, która jest wycinkiem mojego programu do przetwarzania obrazów.

Problem mam taki, że wczytuję tam wielokrotnie duże ilości obrazów, czasem np. ok. 300. Każdy ma rozdzielczość 512x512px;

Każdy piksel obrazu opisuję klasą Point. Tak więc dla każdego obrazu tworzę 512x512 obiektów typu Point, które przechowuję w tablicy Point[][].

Następnie każdy z tych obrazów przechowuję w kolekcji ArrayList<Point[][]>. Czyli kolekcja zawierać może ok. 300 takich tablic.

W przesłanej klasie imituję zachowanie mojego programu podczas wczytywania danych.

W klasie Test jest zmienna 'count', która mówi o ilości "obrazów".

Przy małej liczbie (<100) wszystko jakoś działa, ale przy większej liczbie zawsze wywali Java Heap Space przy ogólnej liczbie pamięci ponad 1GB!

Oto mój testowy kod:

Kopiuj
import java.util.ArrayList;
import java.util.Hashtable;
import java.util.Scanner;

public class ObjectPerformanceTest {
	public static void main(String[] args) {
		Test test = new Test();
	}
}

class Test {
	
	public Test() {
		int count = 20; //INCREASE THIS VALUE (e.g. 200) AND OBSERVE MEMORY USAGE
		
		test1(count);
		System.out.println("-------------");
		test2(count);
		
		Scanner scanner = new Scanner(System.in);
		scanner.nextLine();
	}
	
	private void test1(int count) {
		float time = 0.0F;
		
		time = performCreateByNewTest(count);
		
		System.out.println("New object consuming: " + time + " sec");
		displayMemory();
	}
	
	private void test2(int count) {
		try {
			float time = 0.0F;
			
			time = performCreateByCloneTest(count);
			
			System.out.println("Clone object consuming: " + time + " sec");
			displayMemory();
		} catch (CloneNotSupportedException e) {
			
		}
	}

	private float performCreateByNewTest(int count) {
		long start = System.currentTimeMillis();
		
		ArrayList<Point[][]> pointsArr = new ArrayList<Point[][]>();
		for (int c = 0; c < count; c++) {
			Point[][] points = new Point[512][512];
			
			for (int i = 0; i < 512; i++)
				for (int j = 0; j < 512; j++) {
					Point p = new Point(i, j);
					p.setIntensity(1000);
					points[i][j] = p;
				}
			
			pointsArr.add(points);
		}
		
		long elapsedTimeMillis = System.currentTimeMillis()-start;
		return elapsedTimeMillis/1000F;
	}
	
	private float performCreateByCloneTest(int count) throws CloneNotSupportedException {
		long start = System.currentTimeMillis();
		
		ArrayList<Point[][]> pointsArr = new ArrayList<Point[][]>();
		for (int c = 0; c < count; c++) {
			Point[][] points = new Point[512][512];
			
			for (int i = 0; i < 512; i++)
				for (int j = 0; j < 512; j++) {
					Point p = createPointObject();
					p.setX(i);
					p.setY(j);
					p.setIntensity(1000);
					points[i][j] = p;
				}
			
			pointsArr.add(points);
		}
		
		long elapsedTimeMillis = System.currentTimeMillis()-start;
		return elapsedTimeMillis/1000F;
	}
	
	Hashtable<String, Point> _cacheTemplate = new Hashtable<String, Point>();
	public Point createPointObject() throws CloneNotSupportedException {
		Point p = (Point) _cacheTemplate.get( "Point" );
		if (p == null) {
			p = new Point();
			_cacheTemplate.put( "Point", p );
		}
		return (Point) p.clone();
	}
	
	public void displayMemory() {
		int mb = 1024*1024;
	    Runtime r = freeMemory();
	    System.out.println("Total memory: " + (double)r.totalMemory()/mb + " MB");
	    System.out.println("Free memory: " + (double)r.freeMemory()/mb + " MB");
	    System.out.println("Memory Used="+(double)(r.totalMemory()-r.freeMemory())/mb + " MB");
	}
	
	public Runtime freeMemory() {
		Runtime r = Runtime.getRuntime();
	    r.gc();
	    r.gc();
	    return r;
	}
	
}

class Point implements Cloneable, Comparable<Point> {
	private int x = 0;
	private int y = 0;
	private int intensity = 0;
	
	public Point() {}
	
	public Point(int x, int y) {
		this.x = x;
		this.y = y;
	}
	
	public int getX() {
		return x;
	}
	public void setX(int x) {
		this.x = x;
	}
	public int getY() {
		return y;
	}
	public void setY(int y) {
		this.y = y;
	}
	public int getIntensity() {
		return intensity;
	}
	public void setIntensity(int intensity) {
		this.intensity = intensity;
	}
	
	public void increase(int val){
		this.intensity = this.intensity + val;
	}
	
	@Override
	public String toString() {
		return "("+x+", "+y+") = "+intensity;
	}
	
	public Object clone() throws CloneNotSupportedException {
		Object obj = super.clone();
		return obj;
    }
	
	public int compareTo(Point p) {
		return this.getIntensity() - p.getIntensity();
	}
}

Bardzo proszę o podpowiedzi, jak ten problem rozwiązać.

Będę wdzięczny za wszelkie odpowiedzi.

Pozdrawiam.

Wibowit
  • Rejestracja:prawie 20 lat
  • Ostatnio:około 7 godzin
0

512 px/ linię * 512 linii/ obrazek * 300 obrazków * 24 bajty/ px (12 bajtów zmienne + 8 bajtów narzutu na obiekt + wyrównanie do 8 bajtów) ~~ 1.76 GiB.

Po co ci tu w ogóle klasa Point? A konkretnie po co ci pola x i y, skoro trzymasz punkty w tablicy i masz od razu ich współrzędne?


"Programs must be written for people to read, and only incidentally for machines to execute." - Abelson & Sussman, SICP, preface to the first edition
"Ci, co najbardziej pragną planować życie społeczne, gdyby im na to pozwolić, staliby się w najwyższym stopniu niebezpieczni i nietolerancyjni wobec planów życiowych innych ludzi. Często, tchnącego dobrocią i oddanego jakiejś sprawie idealistę, dzieli od fanatyka tylko mały krok."
Demokracja jest fajna, dopóki wygrywa twoja ulubiona partia.
edytowany 1x, ostatnio: Wibowit
Kerai
bo nie myśli
Kerai
  • Rejestracja:ponad 16 lat
  • Ostatnio:ponad 2 lata
  • Lokalizacja:London
1

Programowanie nie polega na bezmyślnym klepaniu kodu... albo włącz myślenie, albo daj sobie z tym spokój. Taka moja rada.

lipkerson
  • Rejestracja:ponad 17 lat
  • Ostatnio:ponad 2 lata
0

Ano ciężko widzę to. Też kiedyś byłem początkującym i też robiłem przetwarzanie obrazu (w sekwencji miałem o wiele więcej niż 300 -500), ale na takie coś to bym w życiu nie wpadł. Wywal tą klasę Point bo ona jest Ci do d potrzebna. Skup się na wielowymiarowych tablicach. Ja jeszcze miałem każdy obraz budowany na nieregularnej piramidzie także w ogóle u mnie te tablice były "postrzępione" by tylko mniej pamięci żarło.

Taki przykład z głowy. Masz nr obrazka jego x i y i jeszcze 2 parametry dla tego piksela.

[nr obrazka][x][y][par 1][par 2];


Another jam from the world for the jam from the voices of the world......
0

Kerai - post który zamieściłeś jest zupełnie bezwartościowy.

Wibowit, Lipkerson,
Macie rację, jeżeli chodzi o tablice wielowymiarowe. Takie rozwiązanie stosowałem w poprzednich aplikacjach.
Dla lepszego zobrazowania problemu, powiem, że obrazy pochodzą z rezonansu lub tomografu komputerowego.
Celem zmiany podejścia na typowo obiektowe jest próba przeniesienia przestrzeni trójwymiarowej wyznaczonej przez te obrazy na strukturę drzewa ósemkowego lub szesnastkowego. To pozwoli mi przenieść wykonywane obliczenia na voxelach obrazu na kartę graficzną. Dodatkowo będzie możliwa wizualizacja trójwymiarowa tych danych z wykorzystaniem biblioteki OpenGL.

Dziękuję Wam bardzo za odpowiedzi, jeżeli ktoś ma jeszcze jakiś pomysł to zapraszam do dalszej dyskusji.

Kerai
Twój ma w takim razie wartość ujemną ;)
Wibowit
  • Rejestracja:prawie 20 lat
  • Ostatnio:około 7 godzin
0

Szesnastkowe? Zdjęcia są czterowymiarowe? A może symulujesz czasoprzestrzeń? Nieważne w sumie. Dalej nie napisałeś po co ci pola x i y w klasie Point.

To ci się może przydać: http://volumeviewer.kenai.com/


"Programs must be written for people to read, and only incidentally for machines to execute." - Abelson & Sussman, SICP, preface to the first edition
"Ci, co najbardziej pragną planować życie społeczne, gdyby im na to pozwolić, staliby się w najwyższym stopniu niebezpieczni i nietolerancyjni wobec planów życiowych innych ludzi. Często, tchnącego dobrocią i oddanego jakiejś sprawie idealistę, dzieli od fanatyka tylko mały krok."
Demokracja jest fajna, dopóki wygrywa twoja ulubiona partia.
Xitami
  • Rejestracja:ponad 20 lat
  • Ostatnio:około rok
0
lipkerson napisał(a)

[...]jego x i y i jeszcze 2 parametry dla tego piksela.
[nr obrazka][x][y][par 1][par 2];

jest tylko intensity, stawiałbym na "float obrazki [300][512][512]".
float nie int

a, że uczy się C++ zamiast C, wpycha bzdurne przykłady klasowości, straszy analizą złożoności zamiast dać jakieś wyczucie (choćby prosty rachunek Wibowita)
to już zupełnie inna historia

lipkerson
Ano zgadzam się - to był przykład z głowy, który sam tam kiedyś miałem. Par 1 to czy piksel był homogeniczny w swoim obrębie a par 2 czy miał 'rodzica' a wartość wynikowa to jednak u mnie musiał być int. Ale dla naszego kolegi Twoja propozycja jest ok. Za dużo chciał obiektowości a za mało 'czystego i prymitywnego' kodzenia :)
Olamagato
  • Rejestracja:ponad 16 lat
  • Ostatnio:13 dni
  • Lokalizacja:Polska, Warszawa
  • Postów:1058
0

Obiektowo to nie znaczy, że budujesz obiekt, który będzie przechowywał kopię danych, które już gdzieś istnieją i są dostępne. Zrób sobie obiekt, który sięga do danych leżących w oryginalnych miejscach. Przydzielaj pamięć w nowych obiektach tylko na nowe dane, które wynikają z rzeczywistego przetwarzania informacji (kopiowanie nie jest takim przetwarzaniem) - a problem pamięci zniknie Ci jak od rąbnięcia różdżką. :)
Nie musisz też trzymać danych obiektowo - możesz zupełnie "prymitywnie". Grunt, żeby obiektowo dało się obrabiać skoro tak potrzebujesz.
Koledzy już to napisali, choć nieco inaczej.


Jeżeli ktoś komuś coś, ewentualnie nikt nikomu nic, to właściwie po co...?
lipkerson
  • Rejestracja:ponad 17 lat
  • Ostatnio:ponad 2 lata
0

mctommek piszesz ten doft w/dla Alteris w K-CE?


Another jam from the world for the jam from the voices of the world......
Xitami
tam płacą wierszówkę?
Kliknij, aby dodać treść...

Pomoc 1.18.8

Typografia

Edytor obsługuje składnie Markdown, w której pojedynczy akcent *kursywa* oraz _kursywa_ to pochylenie. Z kolei podwójny akcent **pogrubienie** oraz __pogrubienie__ to pogrubienie. Dodanie znaczników ~~strike~~ to przekreślenie.

Możesz dodać formatowanie komendami , , oraz .

Ponieważ dekoracja podkreślenia jest przeznaczona na linki, markdown nie zawiera specjalnej składni dla podkreślenia. Dlatego by dodać podkreślenie, użyj <u>underline</u>.

Komendy formatujące reagują na skróty klawiszowe: Ctrl+B, Ctrl+I, Ctrl+U oraz Ctrl+S.

Linki

By dodać link w edytorze użyj komendy lub użyj składni [title](link). URL umieszczony w linku lub nawet URL umieszczony bezpośrednio w tekście będzie aktywny i klikalny.

Jeżeli chcesz, możesz samodzielnie dodać link: <a href="link">title</a>.

Wewnętrzne odnośniki

Możesz umieścić odnośnik do wewnętrznej podstrony, używając następującej składni: [[Delphi/Kompendium]] lub [[Delphi/Kompendium|kliknij, aby przejść do kompendium]]. Odnośniki mogą prowadzić do Forum 4programmers.net lub np. do Kompendium.

Wspomnienia użytkowników

By wspomnieć użytkownika forum, wpisz w formularzu znak @. Zobaczysz okienko samouzupełniające nazwy użytkowników. Samouzupełnienie dobierze odpowiedni format wspomnienia, zależnie od tego czy w nazwie użytkownika znajduje się spacja.

Znaczniki HTML

Dozwolone jest używanie niektórych znaczników HTML: <a>, <b>, <i>, <kbd>, <del>, <strong>, <dfn>, <pre>, <blockquote>, <hr/>, <sub>, <sup> oraz <img/>.

Skróty klawiszowe

Dodaj kombinację klawiszy komendą notacji klawiszy lub skrótem klawiszowym Alt+K.

Reprezentuj kombinacje klawiszowe używając taga <kbd>. Oddziel od siebie klawisze znakiem plus, np <kbd>Alt+Tab</kbd>.

Indeks górny oraz dolny

Przykład: wpisując H<sub>2</sub>O i m<sup>2</sup> otrzymasz: H2O i m2.

Składnia Tex

By precyzyjnie wyrazić działanie matematyczne, użyj składni Tex.

<tex>arcctg(x) = argtan(\frac{1}{x}) = arcsin(\frac{1}{\sqrt{1+x^2}})</tex>

Kod źródłowy

Krótkie fragmenty kodu

Wszelkie jednolinijkowe instrukcje języka programowania powinny być zawarte pomiędzy obróconymi apostrofami: `kod instrukcji` lub ``console.log(`string`);``.

Kod wielolinijkowy

Dodaj fragment kodu komendą . Fragmenty kodu zajmujące całą lub więcej linijek powinny być umieszczone w wielolinijkowym fragmencie kodu. Znaczniki ``` lub ~~~ umożliwiają kolorowanie różnych języków programowania. Możemy nadać nazwę języka programowania używając auto-uzupełnienia, kod został pokolorowany używając konkretnych ustawień kolorowania składni:

```javascript
document.write('Hello World');
```

Możesz zaznaczyć również już wklejony kod w edytorze, i użyć komendy  by zamienić go w kod. Użyj kombinacji Ctrl+`, by dodać fragment kodu bez oznaczników języka.

Tabelki

Dodaj przykładową tabelkę używając komendy . Przykładowa tabelka składa się z dwóch kolumn, nagłówka i jednego wiersza.

Wygeneruj tabelkę na podstawie szablonu. Oddziel komórki separatorem ; lub |, a następnie zaznacz szablonu.

nazwisko;dziedzina;odkrycie
Pitagoras;mathematics;Pythagorean Theorem
Albert Einstein;physics;General Relativity
Marie Curie, Pierre Curie;chemistry;Radium, Polonium

Użyj komendy by zamienić zaznaczony szablon na tabelkę Markdown.

Lista uporządkowana i nieuporządkowana

Możliwe jest tworzenie listy numerowanych oraz wypunktowanych. Wystarczy, że pierwszym znakiem linii będzie * lub - dla listy nieuporządkowanej oraz 1. dla listy uporządkowanej.

Użyj komendy by dodać listę uporządkowaną.

1. Lista numerowana
2. Lista numerowana

Użyj komendy by dodać listę nieuporządkowaną.

* Lista wypunktowana
* Lista wypunktowana
** Lista wypunktowana (drugi poziom)

Składnia Markdown

Edytor obsługuje składnię Markdown, która składa się ze znaków specjalnych. Dostępne komendy, jak formatowanie , dodanie tabelki lub fragmentu kodu są w pewnym sensie świadome otaczającej jej składni, i postarają się unikać uszkodzenia jej.

Dla przykładu, używając tylko dostępnych komend, nie możemy dodać formatowania pogrubienia do kodu wielolinijkowego, albo dodać listy do tabelki - mogłoby to doprowadzić do uszkodzenia składni.

W pewnych odosobnionych przypadkach brak nowej linii przed elementami markdown również mógłby uszkodzić składnie, dlatego edytor dodaje brakujące nowe linie. Dla przykładu, dodanie formatowania pochylenia zaraz po tabelce, mogłoby zostać błędne zinterpretowane, więc edytor doda oddzielającą nową linię pomiędzy tabelką, a pochyleniem.

Skróty klawiszowe

Skróty formatujące, kiedy w edytorze znajduje się pojedynczy kursor, wstawiają sformatowany tekst przykładowy. Jeśli w edytorze znajduje się zaznaczenie (słowo, linijka, paragraf), wtedy zaznaczenie zostaje sformatowane.

  • Ctrl+B - dodaj pogrubienie lub pogrub zaznaczenie
  • Ctrl+I - dodaj pochylenie lub pochyl zaznaczenie
  • Ctrl+U - dodaj podkreślenie lub podkreśl zaznaczenie
  • Ctrl+S - dodaj przekreślenie lub przekreśl zaznaczenie

Notacja Klawiszy

  • Alt+K - dodaj notację klawiszy

Fragment kodu bez oznacznika

  • Alt+C - dodaj pusty fragment kodu

Skróty operujące na kodzie i linijkach:

  • Alt+L - zaznaczenie całej linii
  • Alt+, Alt+ - przeniesienie linijki w której znajduje się kursor w górę/dół.
  • Tab/⌘+] - dodaj wcięcie (wcięcie w prawo)
  • Shit+Tab/⌘+[ - usunięcie wcięcia (wycięcie w lewo)

Dodawanie postów:

  • Ctrl+Enter - dodaj post
  • ⌘+Enter - dodaj post (MacOS)