wyrazenia regularne :: 4programmers.net

Biały Kaczor

2016-07-08 08:24

Biały Kaczor2016-07-08 08:24

witam
obrabiam wlasnie plik csv, i doszedlem do takiego momentu i mam blokade, mam dane :

Kopiuj

285;
;WB;156;2016-06-30;24;2016-06-30;989;  60,00;

JAN KOWALSKI;DZIA�DOWO, Ulica GEN. J�ZEFA HALLERA 23 m.33;

286;
;WB;156;2016-06-30;100;2016-06-30;  68,00;

JAN KOWALSKI;DZIA�DOWO, Ulica GEN. J�ZEFA HALLERA 23 m.33;

287;
;WB;3149;2016-06-30;12;2016-06-30;25039;  51,00;

JAN KOWALSKI;DZIA�DOWO, Ulica GEN. J�ZEFA HALLERA 23 m.33;

sa tu przedstawione 3 wiersza, ale sa rozbite na kilka linii, jak z nich zrobic jakims wyrazeniem zeby kazdy wiersz wygladal tak :

287;;WB;3149;2016-06-30;12;2016-06-30;25039;51,00;JAN KOWALSKI;DZIA�DOWO, HALLERA 23 m.33;
287;;WB;3149;2016-06-30;12;2016-06-30;25039;51,00;JAN KOWALSKI;DZIA�DOWO, HALLERA 23 m.33;

chcialbym zamienic znak konca linii np na srednik i zlaczyc wiersze, ale to zlaczy mi
wszystkie w calym pliku...
dzieki za podpowiedzi ;]

Riddle

2016-07-08 08:54

Riddle2016-07-08 08:54

Administrator

Rejestracja:prawie 15 lat
Ostatnio:około 2 godziny
Lokalizacja:Laska, z Polski
Postów:10053

Po co chcesz to robić? Jaki język

Biały Kaczor

2016-07-08 08:56

Biały Kaczor2016-07-08 08:56

potrzebuje to wkleic potem do calca i posortowac i wydrukowac..
do dyspozycji mam linuxa, wyr regularne, nie wiem co tam wiecej ;)

Wariad

2016-07-08 08:57

Wariad2016-07-08 08:57

Kopiuj

 
cat data | grep -v "^[' ']*$" | perl -e '$i=0;while(<>){chomp($_);if($_ =~ /^\d+;/){print "\n$_"}else{;print $_;}}'

Biały Kaczor

2016-07-08 09:01

Biały Kaczor2016-07-08 09:01

Wariad: cos nie za bardzo to pokazuje wynik, tak wychodzi:

JAN KOWALSKI;DZIA�DOWO, Ulica NORWIDA 7 ;
JAN KOWALSKI;WARSZAWA 48;10-15; 40,00;
JAN KOWALSKI;WARSAWA, Ulica KSIʯODWORSKA 24;

Wariad

2016-07-08 09:04

Wariad2016-07-08 09:04

U mnie wygląda to tak:

Kopiuj

$ cat data
285;
;WB;156;2016-06-30;24;2016-06-30;989;  60,00;
 
JAN KOWALSKI;DZIA�DOWO, Ulica GEN. J�ZEFA HALLERA 23 m.33;
 
286;
;WB;156;2016-06-30;100;2016-06-30;  68,00;
 
JAN KOWALSKI;DZIA�DOWO, Ulica GEN. J�ZEFA HALLERA 23 m.33;
 
287;
;WB;3149;2016-06-30;12;2016-06-30;25039;  51,00;
      
JAN KOWALSKI;DZIA�DOWO, Ulica GEN. J�ZEFA HALLERA 23 m.33;

$ cat data | grep -v "^[' ']*$" | perl -e 'while(<>){chomp($_);if($_ =~ /^\d+;/){print "\n$_"}else{print $_;}}'

285;;WB;156;2016-06-30;24;2016-06-30;989;  60,00;JAN KOWALSKI;DZIA�DOWO, Ulica GEN. J�ZEFA HALLERA 23 m.33;
286;;WB;156;2016-06-30;100;2016-06-30;  68,00;JAN KOWALSKI;DZIA�DOWO, Ulica GEN. J�ZEFA HALLERA 23 m.33;
287;;WB;3149;2016-06-30;12;2016-06-30;25039;  51,00;JAN KOWALSKI;DZIA�DOWO, Ulica GEN. J�ZEFA HALLERA 23 m.33;

Wrzuć gdzieś przykładowy plik, bo tak na copy/paste ze strony to może być ciężko.

xyz1985

2016-07-08 09:28

xyz19852016-07-08 09:28

Rejestracja:ponad 8 lat
Ostatnio:ponad 8 lat
Postów:7

jest ok, dzieki :)
widze ze trzeba bedzie zaczac ogarniac perla :D
a jeszcze jedno, jak to wkleic w csv zeby sie wpasowalo w kolumny/wiersze ? jak wklejam i rozdzielam separatorem to
wyglada tragicznie

edytowany 4x, ostatnio: xyz1985 2016-07-08 09:56

Wariad

2016-07-08 10:00

Wariad2016-07-08 10:00

Kopiuj

$ cat TEST.csv | grep -v "^[[:space:]]*$" | perl -e '$i=0;while(<>){if($i==0){if($_ =~ /^\s*(\d+);\r\n/){print "$1;";$i++;}}elsif($i>=1){$_ =~ /(.*)\r\n/;print $1;if($i==2){print "\r\n";$i=0;}else{$i++;}}}'
1;";;;;;WB;;;197;;;2013-10-15;;148;;;;2013-10-15;;;;;;;;;  48,00;;"JAN KOWALSKI;;;;;;;;;;;WARSZAWA ZACNA 12 M5;;;;;;;;;;;;;;
2;";;;;;WB;;;197;;;2013-10-15;;311;;;;2013-10-15;;;;;;;;;  40,00;;"JAN KOWALSKI;;;;;;;;;;;NAPIWOD 8;;;;;;;;;;;;;;
3;";;;;;WB;;;221;;;2013-11-12;;390;;;;2013-11-12;;;;;;;;;  16,00;;""JAN KOWALSKI;;;;;;;;;;;DZIA?DOWO, Ulica KSI?ODWORSKA 24;;;;;;;;;;;;;;"
4;";;;;;WB;;;223;;;2013-11-14;;235;;;;2013-11-14;;;;;;;;;  30,00;;"JAN KOWALSKI;;;;;;;;;;;NAPIWODA 48;;;;;;;;;;;;;;
5;";;;;;DZ;;;900401;;;2013-12-09;;1;;;;2013-12-09;;;;;;;;;  76,50;;""JAN KOWALSKI;;;;;;;;;;;I?OWO-OSADA, UL WARSZAWSKA m.9;;;;;;;;;;;;;;"

Trochę inna wersja, możliwe że jest to związane z końcem wiersza. Spróbuj powyższy przykład, jest tam zakończenie linii : print "\r\n".

xyz1985

2016-07-08 10:14

xyz19852016-07-08 10:14

Rejestracja:ponad 8 lat
Ostatnio:ponad 8 lat
Postów:7

kurde niby jak to przekieruje do pliku txt to jest ok, ale jak wrzuce do csv - bo zalezy mi zeby to miec w arkuszu to sie wywala calkiem ;/

Wariad

2016-07-08 10:26

Wariad2016-07-08 10:26

Kopiuj

$ cat data | grep -v "^[[:space:]]*$" | perl -e '$i=0;while(<>){if($i==0){if($_ =~ /^\s*(\d+);\n/){print "$1;";$i++;}}elsif($i>=1){$_ =~ /\s*(.*)\n/;print $1;if($i==2){print "\r\n";$i=0;}else{$i++;}}}' | column -s\; -t
285  WB  156   2016-06-30  24   2016-06-30  989        60,00       JAN KOWALSKI                                  DZIA�DOWO, Ulica GEN. J�ZEFA HALLERA 23 m.33  
286  WB  156   2016-06-30  100  2016-06-30    68,00  JAN KOWALSKI  DZIA�DOWO, Ulica GEN. J�ZEFA HALLERA 23 m.33  
287  WB  3149  2016-06-30  12   2016-06-30  25039      51,00       JAN KOWALSKI                                  DZIA�DOWO, Ulica GEN. J�ZEFA HALLERA 23 m.33

druga kolumna jest niepoprawna, brakuje jednej danej. Zmieniłem wyrażenie $_ =~ /\s*(.*)\n/. Musisz dopasować to do swoich potrzeb.

Wariad

2016-07-08 10:36

Wariad2016-07-08 10:36

Trochę spamuję

Kopiuj

cat TEST.csv | grep -v "^[[:space:]]*$" | perl -e '$i=0;$/="\r\n";while(<>){chomp($_);if($i==0){if($_ =~ /^\s*(\d+);/){print "$1;";$i++;}}elsif($i>=1){$_ =~ /\s*(.*)/;print $1;if($i==2){print "\r\n";$i=0;}else{$i++;}}}' | column -s\; -t
1  "  WB  197     2013-10-15  148  2013-10-15    48,00  "JAN KOWALSKI   WARSZAWA ZACNA 12 M5              
2  "  WB  197     2013-10-15  311  2013-10-15    40,00  "JAN KOWALSKI   NAPIWOD 8                         
3  "  WB  221     2013-11-12  390  2013-11-12    16,00  ""JAN KOWALSKI  DZIA?DOWO, Ulica KSI?ODWORSKA 24  "
4  "  WB  223     2013-11-14  235  2013-11-14    30,00  "JAN KOWALSKI   NAPIWODA 48                       
5  "  DZ  900401  2013-12-09  1    2013-12-09    76,50  ""JAN KOWALSKI  I?OWO-OSADA, UL WARSZAWSKA m.9    "

Wygląda na poprawnie.
$/="\r\n" tutaj zmieniasz rodzaj końca linii.
Aby być pewnym tego że wszystko gra, mógłbyś zrobić mapę wyrażeń i dopasowywać wszystkie zmienne pomiędzy ; do nich, a następnie składać wszystko do kupy. Niestety jest to więcej roboty.

xyz1985

2016-07-08 10:39

xyz19852016-07-08 10:39

Rejestracja:ponad 8 lat
Ostatnio:ponad 8 lat
Postów:7

a masz jakis pomysl na poprawny eksport do csv ? zeby kazda komorka byla tam gdzie powinna byc ?

Wariad

2016-07-08 10:45

Wariad2016-07-08 10:45

Powinieneś określić kolumny oraz dane jakie się w nich znajdują. Następnie tworzysz "mapę" wyrażeń regularnych dla każdej kolumny.
Potem sklejone wstępnie wiersze sprawdzasz tymi wyrażeniami, możesz dodatkowo określić ilość błędów w wierszu, a jeżeli błąd to czym ma to wypełnić.
Dużo perl'a, ale wierzę że sobie poradzisz ;)

xyz1985

2016-07-08 10:48

xyz19852016-07-08 10:48

Rejestracja:ponad 8 lat
Ostatnio:ponad 8 lat
Postów:7

o ja : D no wszystko wygląda dobrze, tylko zostalo mi to poprzerzucac do kolumn, mimo to dziekuje Ci bardzo - sporo roboty

edytowany 1x, ostatnio: xyz1985 2016-07-08 10:48

xyz1985

2016-07-08 10:49

xyz19852016-07-08 10:49

Rejestracja:ponad 8 lat
Ostatnio:ponad 8 lat
Postów:7

a moze daloby rade np powrzucac po jednym sredniku miedzy dane ? mysle ze calc by sobie z tym poradzil

Wariad

2016-07-08 11:20

Wariad2016-07-08 11:20

Kopiuj

$ cat TEST.csv | grep -v "^[[:space:]]*$" | sed -e 's/\ \+/\_/g' | perl -e '$i=0;$/="\r\n";while(<>){chomp($_);if($i==0){if($_ =~ /^\s*(\d+);/){print "$1;";$i++;}}elsif($i>=1){$_ =~ /\s*(.*)/;print $1;if($i==2){print "\r\n";$i=0;}else{$i++;}}}' | column -s\; -t | sed -e 's/\s\+/\;/g' | sed -e 's/\_/\ /g'
1;";WB;197;2013-10-15;148;2013-10-15; 48,00;"JAN KOWALSKI;WARSZAWA ZACNA 12 M5;
2;";WB;197;2013-10-15;311;2013-10-15; 40,00;"JAN KOWALSKI;NAPIWOD 8;
3;";WB;221;2013-11-12;390;2013-11-12; 16,00;""JAN KOWALSKI;DZIA?DOWO, Ulica KSI?ODWORSKA 24;";
4;";WB;223;2013-11-14;235;2013-11-14; 30,00;"JAN KOWALSKI;NAPIWODA 48;
5;";DZ;900401;2013-12-09;1;2013-12-09; 76,50;""JAN KOWALSKI;I?OWO-OSADA, UL WARSZAWSKA m.9;";

z tym, że znak "_", nie może znaleźć się w żadnym z danych. Możesz wymienić go na inny w poleceniu sed.
W tej chwili wygląda to tak:

usuń białe wiersze
zamień spacje na pojedynczy znak "_"
wykonaj dopasowanie, umieść w kolumnach
zamień wszystkie białe znaki (powstałe przez stworzenie kolumn) na znak ";"
zamień powrotnie znak _ na spacje

Liczba odpowiedzi na stronę

Treść *

Treść

Podgląd

Kliknij, aby dodać treść...

Kliknij, aby dodać załącznik lub wklej ze schowka.

Instrukcja obsługi Markdown

Pomoc 1.18.8

Typografia

Edytor obsługuje składnie Markdown, w której pojedynczy akcent *kursywa* oraz _kursywa_ to pochylenie. Z kolei podwójny akcent **pogrubienie** oraz __pogrubienie__ to pogrubienie. Dodanie znaczników ~~strike~~ to przekreślenie.

Możesz dodać formatowanie komendami , , oraz .

Ponieważ dekoracja podkreślenia jest przeznaczona na linki, markdown nie zawiera specjalnej składni dla podkreślenia. Dlatego by dodać podkreślenie, użyj underline.

Komendy formatujące reagują na skróty klawiszowe: Ctrl+B, Ctrl+I, Ctrl+U oraz Ctrl+S.

Linki

By dodać link w edytorze użyj komendy lub użyj składni [title](link). URL umieszczony w linku lub nawet URL umieszczony bezpośrednio w tekście będzie aktywny i klikalny.

Jeżeli chcesz, możesz samodzielnie dodać link: <a href="link">title</a>.

Wewnętrzne odnośniki

Możesz umieścić odnośnik do wewnętrznej podstrony, używając następującej składni: [[Delphi/Kompendium]] lub [[Delphi/Kompendium|kliknij, aby przejść do kompendium]]. Odnośniki mogą prowadzić do Forum 4programmers.net lub np. do Kompendium.

Wspomnienia użytkowników

By wspomnieć użytkownika forum, wpisz w formularzu znak @. Zobaczysz okienko samouzupełniające nazwy użytkowników. Samouzupełnienie dobierze odpowiedni format wspomnienia, zależnie od tego czy w nazwie użytkownika znajduje się spacja.

Znaczniki HTML

Dozwolone jest używanie niektórych znaczników HTML: <a>, , , <kbd>, <del>, , <dfn>, <pre>, <blockquote>, <hr/>, ,  oraz <img/>.

Skróty klawiszowe

Dodaj kombinację klawiszy komendą notacji klawiszy lub skrótem klawiszowym Alt+K.

Reprezentuj kombinacje klawiszowe używając taga <kbd>. Oddziel od siebie klawisze znakiem plus, np <kbd>Alt+Tab</kbd>.

Indeks górny oraz dolny

Przykład: wpisując H2O i m2 otrzymasz: H₂O i m².

Składnia Tex

By precyzyjnie wyrazić działanie matematyczne, użyj składni Tex.

<tex>arcctg(x) = argtan(\frac{1}{x}) = arcsin(\frac{1}{\sqrt{1+x^2}})</tex>

Kod źródłowy

Krótkie fragmenty kodu

Wszelkie jednolinijkowe instrukcje języka programowania powinny być zawarte pomiędzy obróconymi apostrofami: `kod instrukcji` lub ``console.log(`string`);``.

Kod wielolinijkowy

Dodaj fragment kodu komendą . Fragmenty kodu zajmujące całą lub więcej linijek powinny być umieszczone w wielolinijkowym fragmencie kodu. Znaczniki ``` lub ~~~ umożliwiają kolorowanie różnych języków programowania. Możemy nadać nazwę języka programowania używając auto-uzupełnienia, kod został pokolorowany używając konkretnych ustawień kolorowania składni:

```javascript document.write('Hello World'); ```

Możesz zaznaczyć również już wklejony kod w edytorze, i użyć komendy by zamienić go w kod. Użyj kombinacji Ctrl+`, by dodać fragment kodu bez oznaczników języka.

Tabelki

Dodaj przykładową tabelkę używając komendy . Przykładowa tabelka składa się z dwóch kolumn, nagłówka i jednego wiersza.

Wygeneruj tabelkę na podstawie szablonu. Oddziel komórki separatorem ; lub |, a następnie zaznacz szablonu.

nazwisko;dziedzina;odkrycie
Pitagoras;mathematics;Pythagorean Theorem
Albert Einstein;physics;General Relativity
Marie Curie, Pierre Curie;chemistry;Radium, Polonium

Użyj komendy by zamienić zaznaczony szablon na tabelkę Markdown.

Lista uporządkowana i nieuporządkowana

Możliwe jest tworzenie listy numerowanych oraz wypunktowanych. Wystarczy, że pierwszym znakiem linii będzie * lub - dla listy nieuporządkowanej oraz 1. dla listy uporządkowanej.

Użyj komendy by dodać listę uporządkowaną.

1. Lista numerowana
2. Lista numerowana

Użyj komendy by dodać listę nieuporządkowaną.

* Lista wypunktowana
* Lista wypunktowana
** Lista wypunktowana (drugi poziom)

Składnia Markdown

Edytor obsługuje składnię Markdown, która składa się ze znaków specjalnych. Dostępne komendy, jak formatowanie , dodanie tabelki lub fragmentu kodu są w pewnym sensie świadome otaczającej jej składni, i postarają się unikać uszkodzenia jej.

Dla przykładu, używając tylko dostępnych komend, nie możemy dodać formatowania pogrubienia do kodu wielolinijkowego, albo dodać listy do tabelki - mogłoby to doprowadzić do uszkodzenia składni.

W pewnych odosobnionych przypadkach brak nowej linii przed elementami markdown również mógłby uszkodzić składnie, dlatego edytor dodaje brakujące nowe linie. Dla przykładu, dodanie formatowania pochylenia zaraz po tabelce, mogłoby zostać błędne zinterpretowane, więc edytor doda oddzielającą nową linię pomiędzy tabelką, a pochyleniem.

Skróty klawiszowe

Skróty formatujące, kiedy w edytorze znajduje się pojedynczy kursor, wstawiają sformatowany tekst przykładowy. Jeśli w edytorze znajduje się zaznaczenie (słowo, linijka, paragraf), wtedy zaznaczenie zostaje sformatowane.

Ctrl+B - dodaj pogrubienie lub pogrub zaznaczenie
Ctrl+I - dodaj pochylenie lub pochyl zaznaczenie
Ctrl+U - dodaj podkreślenie lub podkreśl zaznaczenie
Ctrl+S - dodaj przekreślenie lub przekreśl zaznaczenie

Notacja Klawiszy

Alt+K - dodaj notację klawiszy

Fragment kodu bez oznacznika

Alt+C - dodaj pusty fragment kodu

Skróty operujące na kodzie i linijkach:

Alt+L - zaznaczenie całej linii
Alt+, Alt+ - przeniesienie linijki w której znajduje się kursor w górę/dół.
Tab/⌘+] - dodaj wcięcie (wcięcie w prawo)
Shit+Tab/⌘+[ - usunięcie wcięcia (wycięcie w lewo)

Dodawanie postów:

Ctrl+Enter - dodaj post
⌘+Enter - dodaj post (MacOS)

wyrazenia regularne

Biały Kaczor

Biały Kaczor

Wariad

Biały Kaczor

Wariad

Wariad

Wariad

Wariad

Wariad

Wariad

Smileys & People

Animals & Nature

Food & Drink

Travel & Places

Activities

Objects

Symbols

Typografia

Linki

Wewnętrzne odnośniki

Wspomnienia użytkowników

Znaczniki HTML

Skróty klawiszowe

Indeks górny oraz dolny

Składnia Tex

Kod źródłowy

Krótkie fragmenty kodu

Kod wielolinijkowy

Tabelki

Lista uporządkowana i nieuporządkowana

Składnia Markdown

Skróty klawiszowe