Cześć,
czy ktoś z Was zajmował się może analizą semantyczną tekstu? Znalazłem kilka opracowań na ten temat, jednak zastanawiam się jak to wygląda w praktyce, czy są duże szanse na napisanie własnego rozwiązania, które daje sensowne wyniki? Stanford nlp udostępnia dosyć przydatne materiały, wszystko wygląda dosyć sensownie. Problem jest taki, że nigdy się tym nie zajmowałem, nie wiem jaką różnice robi np. konkrety język itd. Mógłby mnie ktoś wprowadzić w temat podając jakieś wskazówki?
- Rejestracja:około 8 lat
- Ostatnio:około 2 lata
- Postów:52
0
- Rejestracja:około 8 lat
- Ostatnio:16 minut
- Postów:4894
1
Jest taka biblioteka w Pythonie, Spacy, możesz od niej zacząć. Internet trochę wyników wyrzuca:
https://duckduckgo.com/?t=canonical&q=semantic+analisys+with+spacy&atb=v219-1&ia=web
- Rejestracja:około 21 lat
- Ostatnio:prawie 3 lata
- Lokalizacja:Space: the final frontier
- Postów:26433
1
Pisałem w okolicach tego tematu mgr. Nie do końca rozumiem co masz na myśli mówiąc własne rozwiązanie. Implementacje? Jasne! Własne algorytmy? Tu może być ciężej bo to jest sporo matmy. Język robi różnicę. Jak chcesz analizować język polski to np. narzędzi do stemmingu/lematyzacji jest niewiele. Do poczytania:
- stop-listy
- Hapaks legomenon
- stemming/lematyzacja
- słowa kluczowe / tf-idf
- analiza sentymentu
- topic modeling / LSI / LDA
edytowany 1x, ostatnio: Shalom
- Rejestracja:około 8 lat
- Ostatnio:około 2 lata
- Postów:52
0
Dzięki za odpowiedzi. Mam na myśli własną implementację. Jeśli chodzi o język to angielski wydaje się najrozsądniejszym wyborem. W pierwszym poście nieprecyzyjnie napisałem, mam na myśli konkretne technologie. Czy jakiś język programowania ma dużą przewagę? (Zdaję sobie sprawę, że można to we wszystkim napisać, jednak nie chcę sobie utrudniać zadania)
- Rejestracja:około 7 lat
- Ostatnio:ponad 3 lata
- Postów:3394
0
Istnieją gotowe rozwiązania dla języka polskiego. Przejrzyj sobie te strony i ich linki:
http://nlp.pwr.wroc.pl/narzedzia-i-zasoby/narzedzia/narzedzia-przetwarzania-morfosyntaktycznego
http://nlp.pwr.wroc.pl/plwordnet/download/?lang=pl
http://morfeusz.sgjp.pl/doc/about/
Analizą się jeszcze nie zajmowałam. Robiłam coś odwrotnego: algorytmy do generowania poprawnych gramatycznie tekstów w języku polskim.
nie wiem jaką różnice robi np. konkrety język
Angielski jest pozycyjny i niemal izolujący, a polski fleksyjny i o swobodnym szyku. Obstawiam, że polszczyznę trudniej jest analizować (podobnie jak i znacznie trudniej się ją generuje).
wprowadzić w temat podając jakieś wskazówki
Na logikę: zaczynasz od analizatora morfologicznego. W jakichś 70% przypadków daje ci on jednoznaczną odpowiedź, co to za część mowy. Np. "zupa" oznacza rzeczownik w mianowniku liczbie pojedynczej. Co w jakichś 9x% przypadków implikuje podmiot zdania, ale to trzeba sprawdzić analizując resztę wyrazów.
Gorzej, jak masz słowo typu "lecz", bo tu jest już kilka możliwości: "nie lubię smażonych lecz", "lekarzu lecz się sam", "potrafił, lecz nie chciał". W takiej sytuacji pozostaje zgadywanka.
Przechodzisz zatem do analizy reszty zdania, do ich wzajemnego położenia sugerującego wzajemne logiczne relacje i starasz się dopasować taką interpretację, która ma sens w kontekście zdania.
I to wszystko przy założeniu, że na wejściu dostałeś poprawne stylistycznie i gramatycznie zdanie.
czy są duże szanse na napisanie własnego rozwiązania, które daje sensowne wyniki?
Napisać można wszystko. Ale nastaw się raczej na miesiące pracy poświęconej tylko temu tematowi, zanim coś z tego wyjdzie. I nastaw się też na to, że im głębiej będziesz się zakopywać w gramatykę ojczystego języka, tym bardziej będziesz zdumiony, że to to wszystko w ogóle jakoś instynktownie ogarniasz ;)
edytowany 2x, ostatnio: Freja Draco