Zapis i odczyt model ML

Zapis i odczyt model ML
Usjwo
US
Usjwo
US
  • Rejestracja:ponad 10 lat
  • Ostatnio:8 miesięcy
  • Postów:95
0

Dzien dobry wieczor,

Mam problem z zpisem odczytu modelu ML

Kopiuj
model_file = Path("modelLR.bin")
if model_file.is_file():
    with open(model_file, 'rb') as f:
        LR = joblib.load(f)
else:
    LR = LogisticRegression()
    LR.fit(xv_train, y_train)
    pred_lr = LR.predict(xv_test)
    LR.score(xv_test, y_test)
    print(classification_report(y_test, pred_lr))
    with open(model_file, 'wb') as f:
        joblib.dump(LR, f, compress=9)

Jak zladuje model z pliku zapisanego poprzednim razem, to przy wywolaniu

Kopiuj
pred_LR = LR.predict(new_xv_test)

mam blad:

ValueError: X has 33822 features, but LogisticRegression is expecting 33945 features as input.

Dla testow zrobilem zapis i odczyt w tej samej sesji i dziala:

Kopiuj
LR = LogisticRegression()
LR.fit(xv_train, y_train)
pred_lr = LR.predict(xv_test)
LR.score(xv_test, y_test)
print(classification_report(y_test, pred_lr))
#save model
with open(model_file, 'wb') as f:
        joblib.dump(LR, f, compress=9)
#restore model
with open(model_file, 'rb') as f:
        LR = joblib.load(f)
...
pred_LR = LR.predict(new_xv_test)
Udostępnij
Kopiuj link do postu Kopiuj link do postu jako Markdown
Komentuj
yarel
YA
yarel
YA
  • Rejestracja:prawie 10 lat
  • Ostatnio:około 2 godziny
  • Postów:2370
0

Czym się różni new_xv_test od xv_test ?

Udostępnij
Kopiuj link do postu Kopiuj link do postu jako Markdown
Komentuj
Usjwo
US
Usjwo
US
  • Rejestracja:ponad 10 lat
  • Ostatnio:8 miesięcy
  • Postów:95
0

xv_test - uczenie modelu
new_xv_test - to nowy text dla ktorego oczekuje predykcji

Kopiuj
x = df_data["text_"]
y = df_data["label"]
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)

vectorization = TfidfVectorizer()
xv_train = vectorization.fit_transform(x_train)
xv_test = vectorization.transform(x_test)
Kopiuj
testing_news = {"text": [news]}
new_def_test = pd.DataFrame(testing_news)
new_def_test["text"] = new_def_test["text"].apply(wordopt)
new_x_test = new_def_test["text"]
new_xv_test = vectorization.transform(new_x_test)
pred_LR = LR.predict(new_xv_test)

Jak w jednej sesji ucze i odpytuje siec to dziala dobrze. Jak zapisze model po uczeniu, i w nowej sesji zaladuje z pliku to nie dziala 🙁

Udostępnij
Kopiuj link do postu Kopiuj link do postu jako Markdown
Komentuj
lion137
lion137
lion137
lion137
  • Rejestracja:około 8 lat
  • Ostatnio:około godziny
  • Postów:4922
0

Jakiej biblioteki używasz?

Udostępnij
Kopiuj link do postu Kopiuj link do postu jako Markdown
Komentuj
Usjwo
US
Usjwo
US
  • Rejestracja:ponad 10 lat
  • Ostatnio:8 miesięcy
  • Postów:95
0
lion137 napisał(a):

Jakiej biblioteki używasz?

Kopiuj
from sklearn.linear_model import LogisticRegression
Udostępnij
Kopiuj link do postu Kopiuj link do postu jako Markdown
Komentuj
yarel
YA
yarel
YA
  • Rejestracja:prawie 10 lat
  • Ostatnio:około 2 godziny
  • Postów:2370
1
Usjwo napisał(a):

xv_test - uczenie modelu
new_xv_test - to nowy text dla ktorego oczekuje predykcji

Rozumiem. Pytanie miało na celu naprowadzić Cię określenie różnicy między strukturą xv_test i new_xv_test. Czy obydwie struktury mają tę samą liczbę cech?
Z czego może wynikać różnica? Ile cech generuje TfidVectorizer jeśli w konstruktorze nie określisz max_features?

Udostępnij
Kopiuj link do postu Kopiuj link do postu jako Markdown
Komentuj
lion137
lion137
lion137
lion137
  • Rejestracja:około 8 lat
  • Ostatnio:około godziny
  • Postów:4922
0

@Usjwo
Zapisywanie i ładowanie modelu działa, błąd masz najprawdopodobniej przez podanie innego zbioru danych niż trenowany przed zapisaniem.

Udostępnij
Kopiuj link do postu Kopiuj link do postu jako Markdown
Komentuj
Usjwo
US
Usjwo
US
  • Rejestracja:ponad 10 lat
  • Ostatnio:8 miesięcy
  • Postów:95
0

@lion137 Co masz na mysli 'innego zbioru danych niz trenowany przed zapisem'?

Kopiuj
with open(model_file, 'rb') as f:
        LR = joblib.load(f)
...
pred_LR = LR.predict(new_xv_test)

@yarel
To jest jakis trop. Jezeli uczenie modelu i odpytywanie sa w tej samej sesji, to do uczenia i odpytywania uzywam tego samego TfidfVectorizer.

Kopiuj
vectorization = TfidfVectorizer()
xv_train = vectorization.fit_transform(x_train)
xv_test = vectorization.transform(x_test)

....
new_xv_test = vectorization.transform(new_x_test)
pred_LR = LR.predict(new_xv_test)

W nowej sesji 'vectorization' jest tworzony na nowo (chociaz z tych samych danych), wic moze dlatego nie pasuje. Czy musze zapisac tez TfidfVectorizer i go potem zaladowac?

PS. W kwestii ML jestem noobem, wiec trzeba mi lopatologicznie 😜

Udostępnij
Kopiuj link do postu Kopiuj link do postu jako Markdown
Komentuj
lion137
lion137
lion137
lion137
  • Rejestracja:około 8 lat
  • Ostatnio:około godziny
  • Postów:4922
0

Po wczytaniu z pliku, model zadziała zwróci predykcję tylko z tych samych danych na których był trenowany, ewentualnie nowy przypadek w takim samym formacie, kodowaniu, etc...

EDYCJA A jeszcze, vectorization po załadowaniu to to samo co z pierwszej sesji? Albo, czy działa dokładnie tak samo?

edytowany 1x, ostatnio: lion137
Udostępnij
Kopiuj link do postu Kopiuj link do postu jako Markdown
Komentuj
Usjwo
US
Usjwo
US
  • Rejestracja:ponad 10 lat
  • Ostatnio:8 miesięcy
  • Postów:95
0

@lion137 z danymi nie powinno byc problemu. Jak trening i predykcja jest w tej samej sesji to wszystko dziala dobrze

Wyglada na to ze problem jest 'vectorization'. Wprawdzie jest on tworzony w ten sam sposob, ale nie potrafie powiedziec czy jest to dokladnie to samo 😭
Wieczorem bede mogl to sprawdzic (chyba, bo jak pisalem jestem noobem w tym temacie).

Pytanie. Czy jak zapisze 'vectorization' do pliku i potem go odtworze to powinno zadzialac? I czy to ma sens?

Udostępnij
Kopiuj link do postu Kopiuj link do postu jako Markdown
Komentuj
lion137
lion137
lion137
lion137
  • Rejestracja:około 8 lat
  • Ostatnio:około godziny
  • Postów:4922
1

Tak, to jak najbardziej ma sens, poczytaj sobie dokumentację tej klasy; takie rzeczy jak encodingi, i inne też się serializuje, żeby odtworzyć pierwotne środowisko modelu.
Musisz z tym być bardzo uważny, tu dostałeś szybki komunikat, error, a w innym przypadku stworzyłbyś bezsensowny model, czsem nawet o tym nie wiedząc ;)

edytowany 2x, ostatnio: lion137
Udostępnij
Kopiuj link do postu Kopiuj link do postu jako Markdown
Komentuj
Usjwo
US
Usjwo
US
  • Rejestracja:ponad 10 lat
  • Ostatnio:8 miesięcy
  • Postów:95
0

Prawde mowiac nie widze w ktorym momencie powinienem zapisac 'vectorization'
Ponizej kod. Jak pliki Tfidf.bin i modelLR.bin istnieja to laduje z nich dane (load_models), jak nie to tworze model (create_models)
Kod dziala jezeli nie ma plikow i model jest tworzony, jak zaladuje z plikow to dostaje error:
sklearn.exceptions.NotFittedError: The TF-IDF vectorizer is not fitted
Czegos tu brakuje bo 'vectorization' jest przypisane tylko raz

Kopiuj
vectorization = TfidfVectorizer()

Kod:

Kopiuj
def create_models(data_file, test_part):
    df_data = pd.read_csv(data_file)
    df_data = df_data.drop(["category", "rating"], axis=1)
    df_data["text_"] = df_data["text_"].apply(wordopt)
    x = df_data["text_"]
    y = df_data["label"]
    x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=test_part)

    #Vactorization
    xv_train = vectorization.fit_transform(x_train)
    xv_test = vectorization.transform(x_test)

    #Logistic Regression model
    LR.fit(xv_train, y_train)
    pred_lr = LR.predict(xv_test)
    LR.score(xv_test, y_test)
    print(classification_report(y_test, pred_lr))
    with open("modelLR.bin", 'wb') as f:
        joblib.dump(LR, f, compress=9)
    with open("Tfidf.bin", 'wb') as f:
        joblib.dump(vectorization, f, compress=9)
Kopiuj
def load_models():
    with open("Tfidf.bin", 'rb') as f:
        vectorization = joblib.load(f)
    with open("modelLR.bin", 'rb') as f:
        LR = joblib.load(f)
Kopiuj
vectorization = TfidfVectorizer()
LR = LogisticRegression()

if (Path("Tfidf.bin").is_file() and
        Path("modelLR.bin").is_file()):
    load_models()
else:
    create_models("reviews dataset.csv", 0.25)


news = open("test2.txt", "r")
content = news.read()
content = wordopt(content)
testing(content)
news.close()
Kopiuj
def testing(news):
    testing_news = {"text": [news]}
    new_def_test = pd.DataFrame(testing_news)
    new_def_test["text"] = new_def_test["text"].apply(wordopt)
    new_x_test = new_def_test["text"]
    new_xv_test = vectorization.transform(new_x_test)
    pred_LR = LR.predict(new_xv_test)
edytowany 1x, ostatnio: Usjwo
Udostępnij
Kopiuj link do postu Kopiuj link do postu jako Markdown
Komentuj
Usjwo
US
Usjwo
US
  • Rejestracja:ponad 10 lat
  • Ostatnio:8 miesięcy
  • Postów:95
0

Dziala. Problem byl z zasiegiem zmiennych

Kopiuj
if (Path("Tfidf.bin").is_file() and
        Path("modelLR.bin").is_file()):
    pass
else:
    create_models("reviews dataset.csv", 0.25)

with open("Tfidf.bin", 'rb') as f:
    vectorization = joblib.load(f)
with open("modelLR.bin", 'rb') as f:
    LR = joblib.load(f)

news = open("test2.txt", "r")
content = news.read()
content = wordopt(content)
manual_testing(content)
news.close()
Kopiuj
def create_models(data_file, test_part):
    df_data = pd.read_csv(data_file)
     df_data = df_data.drop(["category", "rating"], axis=1)
    df_data["text_"] = df_data["text_"].apply(wordopt)
    x = df_data["text_"]
    y = df_data["label"]
    x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=test_part)
    #Vactorization
    vectorization = TfidfVectorizer()
    xv_train = vectorization.fit_transform(x_train)
    xv_test = vectorization.transform(x_test)
    with open("Tfidf.bin", 'wb') as f:
        joblib.dump(vectorization, f, compress=9)
    #Logistic Regression model
    LR = LogisticRegression()
    LR.fit(xv_train, y_train)
    pred_lr = LR.predict(xv_test)
    LR.score(xv_test, y_test)
    print(classification_report(y_test, pred_lr))
    with open("modelLR.bin", 'wb') as f:
        joblib.dump(LR, f, compress=9)
edytowany 1x, ostatnio: Usjwo
Udostępnij
Kopiuj link do postu Kopiuj link do postu jako Markdown
Komentuj
Treść
Podgląd
Kliknij, aby dodać treść...
Kliknij, aby dodać załącznik lub wklej ze schowka.
Instrukcja obsługi Markdown
Pomoc 1.18.8

Typografia

Edytor obsługuje składnie Markdown, w której pojedynczy akcent *kursywa* oraz _kursywa_ to pochylenie. Z kolei podwójny akcent **pogrubienie** oraz __pogrubienie__ to pogrubienie. Dodanie znaczników ~~strike~~ to przekreślenie.

Możesz dodać formatowanie komendami , , oraz .

Ponieważ dekoracja podkreślenia jest przeznaczona na linki, markdown nie zawiera specjalnej składni dla podkreślenia. Dlatego by dodać podkreślenie, użyj <u>underline</u>.

Komendy formatujące reagują na skróty klawiszowe: Ctrl+B, Ctrl+I, Ctrl+U oraz Ctrl+S.

Linki

By dodać link w edytorze użyj komendy lub użyj składni [title](link). URL umieszczony w linku lub nawet URL umieszczony bezpośrednio w tekście będzie aktywny i klikalny.

Jeżeli chcesz, możesz samodzielnie dodać link: <a href="link">title</a>.

Wewnętrzne odnośniki

Możesz umieścić odnośnik do wewnętrznej podstrony, używając następującej składni: [[Delphi/Kompendium]] lub [[Delphi/Kompendium|kliknij, aby przejść do kompendium]]. Odnośniki mogą prowadzić do Forum 4programmers.net lub np. do Kompendium.

Wspomnienia użytkowników

By wspomnieć użytkownika forum, wpisz w formularzu znak @. Zobaczysz okienko samouzupełniające nazwy użytkowników. Samouzupełnienie dobierze odpowiedni format wspomnienia, zależnie od tego czy w nazwie użytkownika znajduje się spacja.

Znaczniki HTML

Dozwolone jest używanie niektórych znaczników HTML: <a>, <b>, <i>, <kbd>, <del>, <strong>, <dfn>, <pre>, <blockquote>, <hr/>, <sub>, <sup> oraz <img/>.

Skróty klawiszowe

Dodaj kombinację klawiszy komendą notacji klawiszy lub skrótem klawiszowym Alt+K.

Reprezentuj kombinacje klawiszowe używając taga <kbd>. Oddziel od siebie klawisze znakiem plus, np <kbd>Alt+Tab</kbd>.

Indeks górny oraz dolny

Przykład: wpisując H<sub>2</sub>O i m<sup>2</sup> otrzymasz: H2O i m2.

Składnia Tex

By precyzyjnie wyrazić działanie matematyczne, użyj składni Tex.

<tex>arcctg(x) = argtan(\frac{1}{x}) = arcsin(\frac{1}{\sqrt{1+x^2}})</tex>

Kod źródłowy

Krótkie fragmenty kodu

Wszelkie jednolinijkowe instrukcje języka programowania powinny być zawarte pomiędzy obróconymi apostrofami: `kod instrukcji` lub ``console.log(`string`);``.

Kod wielolinijkowy

Dodaj fragment kodu komendą . Fragmenty kodu zajmujące całą lub więcej linijek powinny być umieszczone w wielolinijkowym fragmencie kodu. Znaczniki ``` lub ~~~ umożliwiają kolorowanie różnych języków programowania. Możemy nadać nazwę języka programowania używając auto-uzupełnienia, kod został pokolorowany używając konkretnych ustawień kolorowania składni:

```javascript
document.write('Hello World');
```

Możesz zaznaczyć również już wklejony kod w edytorze, i użyć komendy  by zamienić go w kod. Użyj kombinacji Ctrl+`, by dodać fragment kodu bez oznaczników języka.

Tabelki

Dodaj przykładową tabelkę używając komendy . Przykładowa tabelka składa się z dwóch kolumn, nagłówka i jednego wiersza.

Wygeneruj tabelkę na podstawie szablonu. Oddziel komórki separatorem ; lub |, a następnie zaznacz szablonu.

nazwisko;dziedzina;odkrycie
Pitagoras;mathematics;Pythagorean Theorem
Albert Einstein;physics;General Relativity
Marie Curie, Pierre Curie;chemistry;Radium, Polonium

Użyj komendy by zamienić zaznaczony szablon na tabelkę Markdown.

Lista uporządkowana i nieuporządkowana

Możliwe jest tworzenie listy numerowanych oraz wypunktowanych. Wystarczy, że pierwszym znakiem linii będzie * lub - dla listy nieuporządkowanej oraz 1. dla listy uporządkowanej.

Użyj komendy by dodać listę uporządkowaną.

1. Lista numerowana
2. Lista numerowana

Użyj komendy by dodać listę nieuporządkowaną.

* Lista wypunktowana
* Lista wypunktowana
** Lista wypunktowana (drugi poziom)

Składnia Markdown

Edytor obsługuje składnię Markdown, która składa się ze znaków specjalnych. Dostępne komendy, jak formatowanie , dodanie tabelki lub fragmentu kodu są w pewnym sensie świadome otaczającej jej składni, i postarają się unikać uszkodzenia jej.

Dla przykładu, używając tylko dostępnych komend, nie możemy dodać formatowania pogrubienia do kodu wielolinijkowego, albo dodać listy do tabelki - mogłoby to doprowadzić do uszkodzenia składni.

W pewnych odosobnionych przypadkach brak nowej linii przed elementami markdown również mógłby uszkodzić składnie, dlatego edytor dodaje brakujące nowe linie. Dla przykładu, dodanie formatowania pochylenia zaraz po tabelce, mogłoby zostać błędne zinterpretowane, więc edytor doda oddzielającą nową linię pomiędzy tabelką, a pochyleniem.

Skróty klawiszowe

Skróty formatujące, kiedy w edytorze znajduje się pojedynczy kursor, wstawiają sformatowany tekst przykładowy. Jeśli w edytorze znajduje się zaznaczenie (słowo, linijka, paragraf), wtedy zaznaczenie zostaje sformatowane.

  • Ctrl+B - dodaj pogrubienie lub pogrub zaznaczenie
  • Ctrl+I - dodaj pochylenie lub pochyl zaznaczenie
  • Ctrl+U - dodaj podkreślenie lub podkreśl zaznaczenie
  • Ctrl+S - dodaj przekreślenie lub przekreśl zaznaczenie

Notacja Klawiszy

  • Alt+K - dodaj notację klawiszy

Fragment kodu bez oznacznika

  • Alt+C - dodaj pusty fragment kodu

Skróty operujące na kodzie i linijkach:

  • Alt+L - zaznaczenie całej linii
  • Alt+, Alt+ - przeniesienie linijki w której znajduje się kursor w górę/dół.
  • Tab/⌘+] - dodaj wcięcie (wcięcie w prawo)
  • Shit+Tab/⌘+[ - usunięcie wcięcia (wycięcie w lewo)

Dodawanie postów:

  • Ctrl+Enter - dodaj post
  • ⌘+Enter - dodaj post (MacOS)