Dostęp do danych z ekranu.

Witam.
Pytanie raczej do zaawansowanych programistów.
Czy jest możliwość aby uzyskać dostęp do danych które są wyświetlane na ekranie?
Przykładowo gdy okno jakiejś aplikacji zawiera pewną liczbę, czy jest możliwość napisać program który będzie mógł ją skopiować?
Oczywiście nie korzystając z debugowania, dll injection i tego typu niedozwolonych praktyk.

Pozdrawiam.

Pytanie za szerokie.
Od pełnej możliwości (system bez ochrony jak DOS+BIOS w trybie znakowym) do niemożności czy to ze strony jednostronnego protokołu w stylu terminala, czy nawet odczyt bufora video jest, ale przez niemożliwość przeanalizowania setek pixeli on/off.
Albo i mozliwości pośrednie, z komponentów o charakterze tekstowym tak, pixelowym nie.

Oczywiście chodzi tutaj o znaki wyświetlane jako tekst, nie obraz(jeżeli dobrze zrozumiałem).
Precyzując, system to windows a więc raczej z ochroną. Próbuję napisać program który zautomatyzuje pracę z innym programem co było by dla mnie pomocne lecz do tego potrzebuję sposobu na uzyskanie dostępu do danych które widzę na ekranie.

[…] czy jest możliwość napisać program który będzie mógł ją skopiować?

Tak, praktycznie zawsze. Sposobów może być wiele. Dla przykładu – można za pomocą standardowych funkcji Windows API znaleźć i pobrać uchwyt kontrolki przechowujacej dane, a następnie pobrać sam tekst. Przykladów w Google dla C++ od metra.

Jeśli owa liczba nie jest zawarta w sensownej kontrolce (np. renderowana jest w kontrolce graficznej lub bezpośrednio na płótnie okna) to zawsze pozostają mechanizmy rozpoznawania znaków na obrazach. Wystarczy skopiować obszar fragment pulpitu do pomocniczego bufora (na podstawie uchwytu pulpitu lub samego okna) i przeprowadzić zwykły OCR. To zwykły zrzut ekranu – raczej nie podpada pod technikę „niedozwoloną”.

Oczywiście nie korzystając z debugowania, dll injection i tego typu niedozwolonych praktyk.

W takim razie które są dozwolone?

To może zamiast tłumaczyć pokażę o co dokładnie mi chodzi. W załączonym zdjęciu mam okno w którym są liczby do których dostęp mnie interesuje.

A które są dozwolone?

W świetle prawa te które nie łamią zabezpieczeń programu (najprawdopodobniej).

Czyli chcesz się dostać do okienka programu napisanego przez Ciebie, tak? To ja bym to zrobił tak, że w programie z okienkiem wystawił bym jakieś API do komunikowania się np. przez sockety/IPC/cokolwiek. Drugi program, który ma coś z tymi danymi robić po prostu tego API użyje.

TestoMoimPanem napisał(a):

W załączonym zdjęciu mam okno w którym są liczby do których dostęp mnie interesuje.

Jeżeli dasz radę myszą zaznaczyć te liczby to znaczy, że są to pola edycyjne z wyłączonym obramowaniem i o kolorze tła zgodnym z kolorem okna. Takie pola wykorzystywane są nawet w różnych systemowych narzędziach (np. w oknie właściwości pliku). Wtedy wystarczy to co opisałem w poprzednim poście – dobrać się do uchwytu kontrolki i wysłać WM_GETTEXT.

W przeciwnym razie liczba renderowana jest w kontrolce graficznej (tu: etykieta), a taka nie posiada uchwytu, więc nie da się do niej dobrać za pomocą funkcji z biblioteki systemowej. W takim przypadku pozostanie zrzut ekranu i wykonanie zwykłego OCR.

Tu też przydadzą się funkcje systemowe, w celu pobrania uchwytu płótna pulpitu (GetDesktopWindow i GetWindowDC) i wyznaczenia obszaru zajmowanego przez okno programu (na podstawie uchwytu okna programu – FindWindow). Dalej to już pozyskanie konkretnego fragmentu zajmowanego przez liczbę (np. na podstawie ustalonych offsetów) i rozpoznanie znaków. Do tego są biblioteki – nie musisz tego pisać sam.

W świetle prawa te które nie łamią zabezpieczeń programu (najprawdopodobniej).

W świetle prawa (przede wszystkim autorskiego), nie możesz modyfikować zawartości i wpływać na działanie programu na potrzeby inne niż własne. Ogólnie chodzi o to, aby zmodyfikowana wersja nie krążyła w sieci i aby twórcy nie ponosili strat z tego tytułu (głównie finansowych).

Tak więc nawet wstrzykiwanie kodu czy rewersowanie jest dozwolone, co najwyżej nieopłacalne ze względu na stopień skomplikowania i czas potrzebny na naukę i implementację.