Update miliona rekordów w transkacji?

Update miliona rekordów w transkacji?
CB
  • Rejestracja:około 6 lat
  • Ostatnio:17 dni
  • Postów:46
0

Cześć, mam pytanie gdyż muszę zaktualizować kolumne na bazie gdzie jest 9 milionów wierszy. Zakładam, że zwykły update zablokuje bazę.
Stąd mam pytanie, bo plan jest by zrobić jakiś sprytny WHILE i update puszczać po np. 5k wierszy. Natomiast chciałbym to wszystko zawrzeć w transakcję - czy wtedy ma to sens? Czy jeżeli zrobię transakcję, a w niej ten cały WHILE który będzie robił update po 5k wierszy to będzie to jakieś upsrawienie? Czy ostatecznie i tak wszystkie updaty pójdą na commicie transakcji więc żaden uzysk?

loza_prowizoryczna
  • Rejestracja:ponad 2 lata
  • Ostatnio:około 12 godzin
  • Postów:1583
2
CSharpBeginner napisał(a):

Stąd mam pytanie, bo plan jest by zrobić jakiś sprytny WHILE i update puszczać po np. 5k wierszy.

Dobry pomysł ale w tym kontekście powinieneś zastosować horizontal partitioning

Czy jeżeli zrobię transakcję, a w niej ten cały WHILE który będzie robił update po 5k wierszy to będzie to jakieś upsrawienie? Czy ostatecznie i tak wszystkie updaty pójdą na commicie transakcji więc żaden uzysk?

Ogólnie zserializowana transakcja nie da dużego uzysku (wszystkie te locki, checki na na consistency i narzut z powodu transaction snapshots). Ale możesz otworzyć pulę połączeń do bazy (np. w liczbie rdzeni) i zrównoleglić te transakcje. To powinno dać sporego boosta do czasu.

W połączeniu z partycjonowaniem nawet sporego.


Przetrzyma wszystko
grinder
  • Rejestracja:prawie 7 lat
  • Ostatnio:około 12 godzin
  • Postów:12
5

While w jednej transakcji raczej nie ma sensu. Sugerowałbym update wykonać w pętli, w kawałkach np po 100000 rekordów, każdy update na osobnej transakcji , wykorzystując klauzulę
OUTPUT INSERTED.Id , wrzucająca id zaktualizowanego rekordu do jakiejś tabeli logującej, aby w razie przerwania takiej pętli można pomijać rekordy które były już uaktualnione. Jeżeli wszytko musi być w jednej transakcji ze względów biznesowych, to należało by poprosić o udostępnienie czasu w oknie serwisowym.

YA
  • Rejestracja:prawie 10 lat
  • Ostatnio:około godziny
  • Postów:2363
5

Update po 5k wierszy w ramach jednej transakcji, to nadal jedna transakcja. Dlaczego chcesz 9mln wierszy aktualizować w jednej transakcji?

jurek1980
  • Rejestracja:ponad 8 lat
  • Ostatnio:około 6 godzin
  • Postów:3454
9

A jak ma wyglądać ten update?
Chcesz dodać 50Mb Blob na rekord, czy ustawić jakąś falge z true na false?
Bo może wcale nie ma się czego bać i chwilowy lock na 1 sek nie będzie zauważalny.

RA
  • Rejestracja:prawie 7 lat
  • Ostatnio:dzień
  • Postów:359
4

9 milionów to jakieś grosze, ja mam tabelki z 5 miliardami, możesz zrobić update, oczywiście możesz to robić w paczkach, za mało szczegółow podałeś na czym ci zalezy

Marius.Maximus
  • Rejestracja:ponad 14 lat
  • Ostatnio:około 8 godzin
  • Postów:2062
0

Ja bym sprawdził na testowej instancji bazy ile to trwa bo taki milion to może być chwila albo godziny zależny co tam w tej bazie siedzi
Podzielenie procesu na kilak tysiecy zapytań spowoduje że bedzie wiecej komunikacji klient-serwer wiec pewnie potrwa to dłużej
jezeli commit jest na poczatku i na koncu to w sumie to niewiele to zmieni podczas sukcesu operacji


--
Nie przyjmuję reklamacji za moje rady, używasz na własną odpowiedzialność.
Programowanie bez formatowania to jak chodzenie ze spodniami spuszczonymi na kostki. Owszem da się ale po pierwsze nie wygodne, po drugie nieprzyzwoicie wygląda.
Przed zaczęciem nowego wątku przeczytam problem XY
YA
  • Rejestracja:prawie 10 lat
  • Ostatnio:około godziny
  • Postów:2363
7
Marius.Maximus napisał(a):

Ja bym sprawdził na testowej instancji bazy ile to trwa bo taki milion to może być chwila albo godziny zależny co tam w tej bazie siedzi

Warto srpawdzić, ale pamiętać, że na testowej bazie nie masz produkcyjnego workloadu, więc wartość testów w tym, że możesz wykryć, że na nieobciążonej bazie testowej taki update trwa o wiele za długo (albo wystąpią inne problemy). To, że na testowej będzie szybko nie musi przenieść się na bezproblemową operację na bazie produkcyjnej, w przypadku której, może się sporo wydarzyć, np. lock escalation na całą tabelę, deadlocki, blokady odczytów, czy jak coś pójdzie nie tak, bardzo długi rollback.

Do tego warto się zastanowić, co to za kolumna, która jest aktualizowana, np. część klucza głównego, kolumna z constraintem, czy indeksem i jaki będzie efekt update'u na inne systemy, np. na replikację w środowisku produkcyjnym (czy jest synchroniczna, asynchroniczna, fizyczna, logiczna - konsekwencje mogą być różne).

loza_prowizoryczna
  • Rejestracja:ponad 2 lata
  • Ostatnio:około 12 godzin
  • Postów:1583
0
Marius.Maximus napisał(a):

Ja bym sprawdził na testowej instancji bazy ile to trwa bo taki milion to może być chwila albo godziny zależny co tam w tej bazie siedzi

IT to nie jest nauka eksperymentalna.


Przetrzyma wszystko
RA
jeżeli nie ogarniasz tematu to jest
loza_prowizoryczna
@ralf: Jeśli implementacja jest zgodna z modelem a klient wypowiada umowę z powodu niezgodności z celem zamówienia to nieogarnięcie zwala się na devów, sprzedaż czy analityków?
Marius.Maximus
Czasami w pracy też chodzi o trochę zabawy.
CP
Jak nie, tylko lamerzy robią ciągle to samo, profesjonaliści wszystko robią pierwszy raz ciągle, bo ciągle tworzą coś nowego. @loza_prowizoryczna
loza_prowizoryczna
Dlatego zazdroszczę królikom. Mają tak krótką pamięć że wystarczy im co kilka dni zmieniać ustawienie zabawek w dwóch konfiguracjach a cieszą jakby odkrywały nowy świat :)
Kliknij, aby dodać treść...

Pomoc 1.18.8

Typografia

Edytor obsługuje składnie Markdown, w której pojedynczy akcent *kursywa* oraz _kursywa_ to pochylenie. Z kolei podwójny akcent **pogrubienie** oraz __pogrubienie__ to pogrubienie. Dodanie znaczników ~~strike~~ to przekreślenie.

Możesz dodać formatowanie komendami , , oraz .

Ponieważ dekoracja podkreślenia jest przeznaczona na linki, markdown nie zawiera specjalnej składni dla podkreślenia. Dlatego by dodać podkreślenie, użyj <u>underline</u>.

Komendy formatujące reagują na skróty klawiszowe: Ctrl+B, Ctrl+I, Ctrl+U oraz Ctrl+S.

Linki

By dodać link w edytorze użyj komendy lub użyj składni [title](link). URL umieszczony w linku lub nawet URL umieszczony bezpośrednio w tekście będzie aktywny i klikalny.

Jeżeli chcesz, możesz samodzielnie dodać link: <a href="link">title</a>.

Wewnętrzne odnośniki

Możesz umieścić odnośnik do wewnętrznej podstrony, używając następującej składni: [[Delphi/Kompendium]] lub [[Delphi/Kompendium|kliknij, aby przejść do kompendium]]. Odnośniki mogą prowadzić do Forum 4programmers.net lub np. do Kompendium.

Wspomnienia użytkowników

By wspomnieć użytkownika forum, wpisz w formularzu znak @. Zobaczysz okienko samouzupełniające nazwy użytkowników. Samouzupełnienie dobierze odpowiedni format wspomnienia, zależnie od tego czy w nazwie użytkownika znajduje się spacja.

Znaczniki HTML

Dozwolone jest używanie niektórych znaczników HTML: <a>, <b>, <i>, <kbd>, <del>, <strong>, <dfn>, <pre>, <blockquote>, <hr/>, <sub>, <sup> oraz <img/>.

Skróty klawiszowe

Dodaj kombinację klawiszy komendą notacji klawiszy lub skrótem klawiszowym Alt+K.

Reprezentuj kombinacje klawiszowe używając taga <kbd>. Oddziel od siebie klawisze znakiem plus, np <kbd>Alt+Tab</kbd>.

Indeks górny oraz dolny

Przykład: wpisując H<sub>2</sub>O i m<sup>2</sup> otrzymasz: H2O i m2.

Składnia Tex

By precyzyjnie wyrazić działanie matematyczne, użyj składni Tex.

<tex>arcctg(x) = argtan(\frac{1}{x}) = arcsin(\frac{1}{\sqrt{1+x^2}})</tex>

Kod źródłowy

Krótkie fragmenty kodu

Wszelkie jednolinijkowe instrukcje języka programowania powinny być zawarte pomiędzy obróconymi apostrofami: `kod instrukcji` lub ``console.log(`string`);``.

Kod wielolinijkowy

Dodaj fragment kodu komendą . Fragmenty kodu zajmujące całą lub więcej linijek powinny być umieszczone w wielolinijkowym fragmencie kodu. Znaczniki ``` lub ~~~ umożliwiają kolorowanie różnych języków programowania. Możemy nadać nazwę języka programowania używając auto-uzupełnienia, kod został pokolorowany używając konkretnych ustawień kolorowania składni:

```javascript
document.write('Hello World');
```

Możesz zaznaczyć również już wklejony kod w edytorze, i użyć komendy  by zamienić go w kod. Użyj kombinacji Ctrl+`, by dodać fragment kodu bez oznaczników języka.

Tabelki

Dodaj przykładową tabelkę używając komendy . Przykładowa tabelka składa się z dwóch kolumn, nagłówka i jednego wiersza.

Wygeneruj tabelkę na podstawie szablonu. Oddziel komórki separatorem ; lub |, a następnie zaznacz szablonu.

nazwisko;dziedzina;odkrycie
Pitagoras;mathematics;Pythagorean Theorem
Albert Einstein;physics;General Relativity
Marie Curie, Pierre Curie;chemistry;Radium, Polonium

Użyj komendy by zamienić zaznaczony szablon na tabelkę Markdown.

Lista uporządkowana i nieuporządkowana

Możliwe jest tworzenie listy numerowanych oraz wypunktowanych. Wystarczy, że pierwszym znakiem linii będzie * lub - dla listy nieuporządkowanej oraz 1. dla listy uporządkowanej.

Użyj komendy by dodać listę uporządkowaną.

1. Lista numerowana
2. Lista numerowana

Użyj komendy by dodać listę nieuporządkowaną.

* Lista wypunktowana
* Lista wypunktowana
** Lista wypunktowana (drugi poziom)

Składnia Markdown

Edytor obsługuje składnię Markdown, która składa się ze znaków specjalnych. Dostępne komendy, jak formatowanie , dodanie tabelki lub fragmentu kodu są w pewnym sensie świadome otaczającej jej składni, i postarają się unikać uszkodzenia jej.

Dla przykładu, używając tylko dostępnych komend, nie możemy dodać formatowania pogrubienia do kodu wielolinijkowego, albo dodać listy do tabelki - mogłoby to doprowadzić do uszkodzenia składni.

W pewnych odosobnionych przypadkach brak nowej linii przed elementami markdown również mógłby uszkodzić składnie, dlatego edytor dodaje brakujące nowe linie. Dla przykładu, dodanie formatowania pochylenia zaraz po tabelce, mogłoby zostać błędne zinterpretowane, więc edytor doda oddzielającą nową linię pomiędzy tabelką, a pochyleniem.

Skróty klawiszowe

Skróty formatujące, kiedy w edytorze znajduje się pojedynczy kursor, wstawiają sformatowany tekst przykładowy. Jeśli w edytorze znajduje się zaznaczenie (słowo, linijka, paragraf), wtedy zaznaczenie zostaje sformatowane.

  • Ctrl+B - dodaj pogrubienie lub pogrub zaznaczenie
  • Ctrl+I - dodaj pochylenie lub pochyl zaznaczenie
  • Ctrl+U - dodaj podkreślenie lub podkreśl zaznaczenie
  • Ctrl+S - dodaj przekreślenie lub przekreśl zaznaczenie

Notacja Klawiszy

  • Alt+K - dodaj notację klawiszy

Fragment kodu bez oznacznika

  • Alt+C - dodaj pusty fragment kodu

Skróty operujące na kodzie i linijkach:

  • Alt+L - zaznaczenie całej linii
  • Alt+, Alt+ - przeniesienie linijki w której znajduje się kursor w górę/dół.
  • Tab/⌘+] - dodaj wcięcie (wcięcie w prawo)
  • Shit+Tab/⌘+[ - usunięcie wcięcia (wycięcie w lewo)

Dodawanie postów:

  • Ctrl+Enter - dodaj post
  • ⌘+Enter - dodaj post (MacOS)