Tworzę ostatnio tabelę, która jest połączeniem wybranych kolumn z dwóch ogromnych tabel (po ok 30 mld rekordów każda).
Jedna z nich, ważniejsza waży 1.7 TB, a druga, która ma rozszerzać część informacji waży 1TB. Zawierają one dane od 2014 roku.
Do tej pory do nowej tabeli przeniosłem dane od 2023 roku do dnia dzisiejszego i już zauważyłem, że moja nowa tabela waży 4TB, i zawiera ona 12mld rekordów (czyli gdzieś mniej więcej 1/3 całości).
Po doczytaniu literatury założyłem na tabeli klastrowany indeks kolumnowy oraz popartycjonowałem dane po dacie, po przedziałach 1 miesiąca - to daje jakieś 500 mln rekordów na partycje. Dodatkowo dane są kompresowane po "row" i po "page". Po wszystkich tych zabiegach moja tabela waży obecnie 1.8TB co jest i tak matematycznie za dużo względem jej poprzedników. Dodatkowo, chciałem do lepszego funkcjonowania tabeli założyć jeszcze dodatkowo indeksy, ale zauważyłem, że już przy trzech prostych indeksach ich rozmiar wynosi łącznie 2TB - nie optymalizowałem ich jeszcze za bardzo pod tym kątem.
Jakie kroki przy tworzeniu takiej tabeli i nowych indeksów powinienem podjąć, albo które zrobić inaczej? Z różnic które dostrzegłem między tymi nową, a starymi tabelami to to, że dane są w poprzednich partycjonowane po 1 dzień czyli po około 17 mln rekordów. Nowa tabela posiada raczej mało wartości NULL i ma około 30 kolumn.
Z góry dziękuję za jakieś rady
