Wczytywanie tablicy liczb z komentarzami

Witam, mam do napisania funkcję wczytujący tablicę dwuwymiarową z pliku składającą się liczb, a także z komentarzy zaczynających się "#", które należy pominąć, rozmiar tablicy jest z góry znany, zwykłą tablicę bez komentarzy wiem jak wczytać, ale co zrobić aby pominąć te komentarze. Przykładowy plik wygląda tak:
1100
#komentarz
1200
1234 #komentarz

https://en.cppreference.com/w/cpp/io/c/fscanf

#include <stdio.h>
#include <stdlib.h>

int main(void)
{
    int x;
    while (1 == scanf("%d #%*[^\n] ", &x)) {
        printf("%d\n", x);
    }
    return EXIT_SUCCESS;
}

https://wandbox.org/permlink/0cENnG8hAcCfuZow
Przy czym jeśli komentarz ciągnie się przez wiele linii (bez liczby), to trzeba jeszcze troszkę pokombinować.