Apache Spark - SparkConf - local[K]

Apache Spark - SparkConf - local[K]
boplight
BO
boplight
BO
  • Rejestracja:około 9 lat
  • Ostatnio:około 9 lat
  • Postów:10
0

Witam,

jestem obecnie na etapie zapoznawania się z korzystaniem z framework Spark i przy kompilacji kodu pojawia mi sie błąd:

Kopiuj
16/02/27 15:13:19 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
16/02/27 15:13:19 ERROR SparkContext: Error initializing SparkContext.

Cały kod programu:

Kopiuj
 package com.original.java.sparkexample;

import org.apache.spark.SparkConf;
import org.apache.spark.SparkJobInfo;
import org.apache.spark.SparkStageInfo;
import org.apache.spark.api.java.JavaFutureAction;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Function;

import java.util.Arrays;
import java.util.List;

/**
 * Example of using Spark's status APIs from Java.
 */
public final class JavaStatusTrackerDemo {

  public static final String APP_NAME = "JavaStatusAPIDemo";

  public static final class IdentityWithDelay<T> implements Function<T, T> {
    @Override
    public T call(T x) throws Exception {
      Thread.sleep(2 * 1000);  // 2 seconds
      return x;
    }
  }

  public static void main(String[] args) throws Exception {
    SparkConf sparkConf = new SparkConf().setAppName(APP_NAME);
    final JavaSparkContext sc = new JavaSparkContext(sparkConf);

    // Example of implementing a progress reporter for a simple job.
    JavaRDD<Integer> rdd = sc.parallelize(Arrays.asList(1, 2, 3, 4, 5), 5).map(
        new IdentityWithDelay<Integer>());
    JavaFutureAction<List<Integer>> jobFuture = rdd.collectAsync();
    while (!jobFuture.isDone()) {
      Thread.sleep(1000);  // 1 second
      List<Integer> jobIds = jobFuture.jobIds();
      if (jobIds.isEmpty()) {
        continue;
      }
      int currentJobId = jobIds.get(jobIds.size() - 1);
      SparkJobInfo jobInfo = sc.statusTracker().getJobInfo(currentJobId);
      SparkStageInfo stageInfo = sc.statusTracker().getStageInfo(jobInfo.stageIds()[0]);
      System.out.println(stageInfo.numTasks() + " tasks total: " + stageInfo.numActiveTasks() +
          " active, " + stageInfo.numCompletedTasks() + " complete");
    }

    System.out.println("Job results are: " + jobFuture.get());
    sc.stop();
  }
}

Obawiam się że mam nieodpowiednio zainstalowany Hadoop. Co nalezy zrobić aby ten błąd już nie istaniał ?

Udostępnij
Kopiuj link do postu Kopiuj link do postu jako Markdown
Komentuj
Krolik
KR
Krolik
KR
Moderator
  • Rejestracja:prawie 21 lat
  • Ostatnio:około 22 godziny
  • Postów:2964
0

Ten warning nie ma nic wspólnego z późniejszym errorem.
Wklej cały error z pełnym stacktrace. Na pewno musi być coś więcej gdzieś.

edytowany 1x, ostatnio: Krolik
Udostępnij
Kopiuj link do postu Kopiuj link do postu jako Markdown
Komentuj
boplight
BO
boplight
BO
  • Rejestracja:około 9 lat
  • Ostatnio:około 9 lat
  • Postów:10
0
Kopiuj
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
16/02/27 17:08:41 INFO SparkContext: Running Spark version 1.4.0
16/02/27 17:08:42 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
16/02/27 17:08:43 ERROR SparkContext: Error initializing SparkContext.
org.apache.spark.SparkException: A master URL must be set in your configuration
	at org.apache.spark.SparkContext.<init>(SparkContext.scala:368)
	at org.apache.spark.api.java.JavaSparkContext.<init>(JavaSparkContext.scala:61)
	at com.original.java.sparkexample.JavaStatusTrackerDemo.main(JavaStatusTrackerDemo.java:31)
16/02/27 17:08:43 INFO SparkContext: Successfully stopped SparkContext
Exception in thread "main" org.apache.spark.SparkException: A master URL must be set in your configuration
	at org.apache.spark.SparkContext.<init>(SparkContext.scala:368)
	at org.apache.spark.api.java.JavaSparkContext.<init>(JavaSparkContext.scala:61)
	at com.original.java.sparkexample.JavaStatusTrackerDemo.main(JavaStatusTrackerDemo.java:31)
16/02/27 17:08:43 INFO Utils: Shutdown hook called
Udostępnij
Kopiuj link do postu Kopiuj link do postu jako Markdown
Komentuj
boplight
BO
boplight
BO
  • Rejestracja:około 9 lat
  • Ostatnio:około 9 lat
  • Postów:10
0

Problem rozwiązany poprzez rozszerzenie linijki kodu gdzie mamy stworzenie obiektu sparkConf klasy SparkConf.

SparkConf sparkConf = new SparkConf().setAppName("JavaSparkPi").setMaster("local[2]").set("spark.executor.memory","1g");

zamiast:

SparkConf sparkConf = new SparkConf().setAppName("JavaSparkPi");

Głównie chodziło o master URL local[K], gdzie K to jest liczba rdzeni procesora

Udostępnij
Kopiuj link do postu Kopiuj link do postu jako Markdown
Komentuj
wojtala6
wojtala6
wojtala6
wojtala6
  • Rejestracja:prawie 14 lat
  • Ostatnio:prawie 9 lat
  • Postów:18
0
Udostępnij
Kopiuj link do postu Kopiuj link do postu jako Markdown
Komentuj
Wybitny Orzeł
Wybitny Orzeł
0

próbuję odpalić sprk-shell na windows 7 i dostaje:

'C:\Program' is not recognized as an internal or external command,
operable program or batch file.

scala, java, sbt ladnie smigaja w konsoli. Jakies pomysly?

Udostępnij
Kopiuj link do postu Kopiuj link do postu jako Markdown
Komentuj
reptile333
R3
reptile333
R3
  • Rejestracja:ponad 11 lat
  • Ostatnio:dzień
  • Postów:419
0

Masz spację w ścieżce, próbuj

Kopiuj
"c:\Program Files"\ ... \bin\spark-shell.cmd
lub
"c:\Program Files\ ... \bin\spark-shell.cmd"
Udostępnij
Kopiuj link do postu Kopiuj link do postu jako Markdown
Komentuj
Biały Mleczarz
Biały Mleczarz
0

O cholera... Faktycznie dzieki.
Co prawda teraz cos buczy o nullpointerze ale inny efekt przynajmniej ;)

Udostępnij
Kopiuj link do postu Kopiuj link do postu jako Markdown
Komentuj
Mały Młot
Mały Młot
0

kolega cos tam dlubie ze sparkiem, ja niespecjalnie sie na tym znam.

ma jakis tam streaming, ktory dziala caly czas.
chcialby jakas metode odpalic w osobnym wątku czy cokolwiek, zeby jedno i drugie dzialalo jednoczesnie.

Czy new Thread albo wyslanie do Aktora powinno zadzialac ?
widzialem ,ze jakis forkjoinpool jest tworzone jak probuje tak zrobic.

Czy nie dzieje sie tak, ze watek jest tworzony ale jest on mergowany od razu do maina ?
Poniewaz streaming wydaje sie zostac zablokowany w momencie odpalenia threada/aktora.

Udostępnij
Kopiuj link do postu Kopiuj link do postu jako Markdown
Komentuj
Treść
Podgląd
Kliknij, aby dodać treść...
Kliknij, aby dodać załącznik lub wklej ze schowka.
Instrukcja obsługi Markdown
Pomoc 1.18.8

Typografia

Edytor obsługuje składnie Markdown, w której pojedynczy akcent *kursywa* oraz _kursywa_ to pochylenie. Z kolei podwójny akcent **pogrubienie** oraz __pogrubienie__ to pogrubienie. Dodanie znaczników ~~strike~~ to przekreślenie.

Możesz dodać formatowanie komendami , , oraz .

Ponieważ dekoracja podkreślenia jest przeznaczona na linki, markdown nie zawiera specjalnej składni dla podkreślenia. Dlatego by dodać podkreślenie, użyj <u>underline</u>.

Komendy formatujące reagują na skróty klawiszowe: Ctrl+B, Ctrl+I, Ctrl+U oraz Ctrl+S.

Linki

By dodać link w edytorze użyj komendy lub użyj składni [title](link). URL umieszczony w linku lub nawet URL umieszczony bezpośrednio w tekście będzie aktywny i klikalny.

Jeżeli chcesz, możesz samodzielnie dodać link: <a href="link">title</a>.

Wewnętrzne odnośniki

Możesz umieścić odnośnik do wewnętrznej podstrony, używając następującej składni: [[Delphi/Kompendium]] lub [[Delphi/Kompendium|kliknij, aby przejść do kompendium]]. Odnośniki mogą prowadzić do Forum 4programmers.net lub np. do Kompendium.

Wspomnienia użytkowników

By wspomnieć użytkownika forum, wpisz w formularzu znak @. Zobaczysz okienko samouzupełniające nazwy użytkowników. Samouzupełnienie dobierze odpowiedni format wspomnienia, zależnie od tego czy w nazwie użytkownika znajduje się spacja.

Znaczniki HTML

Dozwolone jest używanie niektórych znaczników HTML: <a>, <b>, <i>, <kbd>, <del>, <strong>, <dfn>, <pre>, <blockquote>, <hr/>, <sub>, <sup> oraz <img/>.

Skróty klawiszowe

Dodaj kombinację klawiszy komendą notacji klawiszy lub skrótem klawiszowym Alt+K.

Reprezentuj kombinacje klawiszowe używając taga <kbd>. Oddziel od siebie klawisze znakiem plus, np <kbd>Alt+Tab</kbd>.

Indeks górny oraz dolny

Przykład: wpisując H<sub>2</sub>O i m<sup>2</sup> otrzymasz: H2O i m2.

Składnia Tex

By precyzyjnie wyrazić działanie matematyczne, użyj składni Tex.

<tex>arcctg(x) = argtan(\frac{1}{x}) = arcsin(\frac{1}{\sqrt{1+x^2}})</tex>

Kod źródłowy

Krótkie fragmenty kodu

Wszelkie jednolinijkowe instrukcje języka programowania powinny być zawarte pomiędzy obróconymi apostrofami: `kod instrukcji` lub ``console.log(`string`);``.

Kod wielolinijkowy

Dodaj fragment kodu komendą . Fragmenty kodu zajmujące całą lub więcej linijek powinny być umieszczone w wielolinijkowym fragmencie kodu. Znaczniki ``` lub ~~~ umożliwiają kolorowanie różnych języków programowania. Możemy nadać nazwę języka programowania używając auto-uzupełnienia, kod został pokolorowany używając konkretnych ustawień kolorowania składni:

```javascript
document.write('Hello World');
```

Możesz zaznaczyć również już wklejony kod w edytorze, i użyć komendy  by zamienić go w kod. Użyj kombinacji Ctrl+`, by dodać fragment kodu bez oznaczników języka.

Tabelki

Dodaj przykładową tabelkę używając komendy . Przykładowa tabelka składa się z dwóch kolumn, nagłówka i jednego wiersza.

Wygeneruj tabelkę na podstawie szablonu. Oddziel komórki separatorem ; lub |, a następnie zaznacz szablonu.

nazwisko;dziedzina;odkrycie
Pitagoras;mathematics;Pythagorean Theorem
Albert Einstein;physics;General Relativity
Marie Curie, Pierre Curie;chemistry;Radium, Polonium

Użyj komendy by zamienić zaznaczony szablon na tabelkę Markdown.

Lista uporządkowana i nieuporządkowana

Możliwe jest tworzenie listy numerowanych oraz wypunktowanych. Wystarczy, że pierwszym znakiem linii będzie * lub - dla listy nieuporządkowanej oraz 1. dla listy uporządkowanej.

Użyj komendy by dodać listę uporządkowaną.

1. Lista numerowana
2. Lista numerowana

Użyj komendy by dodać listę nieuporządkowaną.

* Lista wypunktowana
* Lista wypunktowana
** Lista wypunktowana (drugi poziom)

Składnia Markdown

Edytor obsługuje składnię Markdown, która składa się ze znaków specjalnych. Dostępne komendy, jak formatowanie , dodanie tabelki lub fragmentu kodu są w pewnym sensie świadome otaczającej jej składni, i postarają się unikać uszkodzenia jej.

Dla przykładu, używając tylko dostępnych komend, nie możemy dodać formatowania pogrubienia do kodu wielolinijkowego, albo dodać listy do tabelki - mogłoby to doprowadzić do uszkodzenia składni.

W pewnych odosobnionych przypadkach brak nowej linii przed elementami markdown również mógłby uszkodzić składnie, dlatego edytor dodaje brakujące nowe linie. Dla przykładu, dodanie formatowania pochylenia zaraz po tabelce, mogłoby zostać błędne zinterpretowane, więc edytor doda oddzielającą nową linię pomiędzy tabelką, a pochyleniem.

Skróty klawiszowe

Skróty formatujące, kiedy w edytorze znajduje się pojedynczy kursor, wstawiają sformatowany tekst przykładowy. Jeśli w edytorze znajduje się zaznaczenie (słowo, linijka, paragraf), wtedy zaznaczenie zostaje sformatowane.

  • Ctrl+B - dodaj pogrubienie lub pogrub zaznaczenie
  • Ctrl+I - dodaj pochylenie lub pochyl zaznaczenie
  • Ctrl+U - dodaj podkreślenie lub podkreśl zaznaczenie
  • Ctrl+S - dodaj przekreślenie lub przekreśl zaznaczenie

Notacja Klawiszy

  • Alt+K - dodaj notację klawiszy

Fragment kodu bez oznacznika

  • Alt+C - dodaj pusty fragment kodu

Skróty operujące na kodzie i linijkach:

  • Alt+L - zaznaczenie całej linii
  • Alt+, Alt+ - przeniesienie linijki w której znajduje się kursor w górę/dół.
  • Tab/⌘+] - dodaj wcięcie (wcięcie w prawo)
  • Shit+Tab/⌘+[ - usunięcie wcięcia (wycięcie w lewo)

Dodawanie postów:

  • Ctrl+Enter - dodaj post
  • ⌘+Enter - dodaj post (MacOS)