OK, tego R to już nawet nieźle umiem. Czego uczyć się dalej , żeby pracować w przyszłości przy przetwarzaniu danych?
Jakiego języka się teraz nauczyć ?
- Rejestracja: dni
- Ostatnio: dni
Jak praca jako data scientist, to zdecydowanie Python.
- Rejestracja: dni
- Ostatnio: dni
- Postów: 76
//JAVA
public class aq{
public static void main(String[]args){
for (int i=1; i<200001;i++){
System.out.println(i);}
}
}
#R
for(i in 1:200000){
cat(paste(i,"\n"))
}
- Rejestracja: dni
- Ostatnio: dni
- Lokalizacja: Space: the final frontier
- Postów: 26433
A na przykład
StringBuilder sb = new StringBuilder();
for (int i=1; i<200001;i++){
sb.append(i);
sb.append("\n");
}
System.out.println(sb.toString());
? ;]
- Rejestracja: dni
- Ostatnio: dni
- Lokalizacja: Space: the final frontier
- Postów: 26433
A takie:
String x = IntStream.range(1, 200001).boxed().map(Object::toString).collect(Collectors.joining("\n"));
System.out.println(x);
? :)
- Rejestracja: dni
- Ostatnio: dni
- Lokalizacja: XML Hills
Pewnie wąskim gardłem stała się sama konsola i poniżej 7 sek nic nie zejdzie. Spróbuj wypisywania do pliku.
- Rejestracja: dni
- Ostatnio: dni
- Postów: 76
write.csv(1:200000,"abcc.csv")
0,48 sek., ale nie do końca to było celem, bo chciałem, żeby na ekran wypisywało ;p
- Rejestracja: dni
- Ostatnio: dni
- Lokalizacja: XML Hills
Kup szybszy ekran.
</sarkazm>
Jeśli testujesz wydajność w taki sposób, że testowany kod nie jest wąskim gardłem, to w zasadzie nic nie testujesz. Optymalizacje tutaj podane nie pokazują szybkości wykonywania kodu w Javie/ Pythonie/ R/ etc tylko skuteczności obchodzenia narzutu wywołania funkcji systemowych.
- Rejestracja: dni
- Ostatnio: dni
- Postów: 1219
Wibowit napisał(a):
Pewnie wąskim gardłem stała się sama konsola i poniżej 7 sek nic nie zejdzie. Spróbuj wypisywania do pliku.
Spróbuj zapisu do RAM-u. Operacje zapisu na dysk też mogą być wąskim gardłem. ;-)
- Rejestracja: dni
- Ostatnio: dni
- Postów: 2964
Wracając do tematu, jeśli chcesz robić w BigData, to na topie są Java (Hadoop) i Scala (Spark). Przy czym język to pikuś jest, tu trzeba rozumieć trochę więcej co się robi, jak działa sprzęt, jak działa silnik bazy danych, jak efektywnie używać RAMu itp. Bez tego to można się wpakować nie w 32-krotne spowolnienie a 3200-krotne.
- Rejestracja: dni
- Ostatnio: dni
Tylko R, wiadomo @Laflx :| Keep Calm and make a better world with R <--- Taki plakat nawet sobie zamówiłem :)