Witam.
Postanowiłem stworzyć aplikację, która będzie wykrywać przestępstwa w internecie, zastanawiam się nad funkcjonalnością, którą będzie oferować, nic innego nie przychodzi mi do głowy jak tylko przeszukiwanie "odpowiedzi" w poszukiwaniu słowa kluczowego. Jakiekolwiek sugestie byłby mile widziane. Z góry dzięki.
Nie wiem, czy jest to dobry pomysł. Np. ktoś na jakimś forum napisze:
"Chcę zbudować bombę."
i wtedy ten program wykryje taki post? Ogólnie to by wymagało dość sporo NLP, podejrzewam że taki projekt to byłby dobry na doktorat. Wykrywanie po słowach/zdaniach kluczowych spowoduje Ci dużo przypadków jak "Zamordowałbym za pizzę", czy "Ta impreza była bombowa".
po co do tego aplikacja? odpalasz tora, wchodzisz na odpowiednie forum i masz listę samych przestępstw
nie wiem co ta aplikacja miałaby robić? liczyć na to że ktoś będzie umawiał zamach bombowy na facebooku?
@usm_auriga a ty masz chociaż blade pojęcie o przetwarzaniu języka naturalnego? Bo mam wrażenie że nie za bardzo ;) Polecam jednak trochę się na ten temat douczyć (materiały po angielsku masz na stronach MIT, Stanforda etc). Z językiem polskim jest to znacznie bardziej skomplikowane. Jak bardzo chcesz to wyślij mi PM z mailem i podrzucę ci paczkę materiałów z Przetwarzania Języka Naturalnego z moich studiów.
Zanim się dziarsko weźmiesz za pisanie aplikacji polecam najpierw przeczytać http://thewhereblog.blogspot.com/2008/12/paradox-of-false-positive.html
A potem wyestymować liczbę stron normalnych i tych z 'przestępstwami' i policzyć czy przypadkiem False Positive Paradox nie sprawi, że wyniki twojej aplikacji będą bezużyteczne.
Shalom no właśnie nie mam :P ale dzięki za dobre intencje. Pozdrawiam.
Poszukaj artykułów / książek o:
Ogólny artykuł na ten temat:
http://nltk.googlecode.com/svn/trunk/doc/book/ch06.html
@usm_auriga przetwarzanie języka i data mining z heterogenicznych źródeł danych to jest baaaardzo skomplikowana sprawa ;) Na początek polecałbym popatrzeć na to wszystko z innej perspektywy - z perspektywy systemu ekspertowego. Spróbuj napisać sobie system ekspertowy który na podstawie jasno przedstawionych przesłanek wnioskowałby o czymś. Jeśli potrzebujesz narzędzi to ściągnij sobie genie:
http://genie.sis.pitt.edu/networks.html
To jest narzędzie do projektowania i testowania Sieci Bayesa (które stanowią jeden z modeli systemów ekspertowych).
Warto od tego zacząć, żeby uświadomić sobie że już sam silnik wnioskujący, nawet przy założeniu że dane wejściowe są podane "na tacy", to jest mocno skomplikowana sprawa.
