Obliczenia rozproszone

Witam,

czy ktoś z Was orientuje się z jakich powodów większa liczba maszyn i wątków nie skraca czasu obliczeń? W czym może leżeć problem?

Nie szukam rozwiązanie konkretnego problemu, a jedynie zastanawiam się jakie są ogólne przyczyny zawodzenia obliczen rozproszonych.

Przy obliczeniach rozproszonych masz dodatkowy narzut który trzeba uwzględnić przy obliczeniu przyspieszenia.

• serializacja danych
• komunikacja
• synchronizacja
• wąskie gardła, np. alokator pamięci, dysk twardy
• psucie cache'a (wątki)
• czas wybudzania węzła obliczeniowego
• dodatkowe procesowanie które nie występuje przy wersji jedno-wątkowej np. łączenie wyników

Do tego co napisał @vpiotr dodam tylko:
https://pl.wikipedia.org/wiki/Prawo_Amdahla
https://pl.wikipedia.org/wiki/Prawo_Gustafsona

w szczególności propoinuje zauważyć co się stanie jeśli jeśli cześć "niemożliwa do zrównoleglenia" będzie dominować obliczenia.

Częstym tego powodem jest zła sieć: zbyt mały transfer lub/i zbyt duże opóźnienia. W HPC standardem jest Infiniband, lub przynajmniej Ethernet 10 GbE