reverse engineering czyli tworzenie bazy ze strony www

Czy są wam znane programy do tworzenia bazy z danych wyświetlanych na stronach internetowych? Pytałem w innym temacie o bazę adresów sklepów internetowych. Taka baza jest dostępna np. na stronie http://www.sklepy24.pl/zakupy/komputer_programy_notebooki_komputery_mobilne/sklep/internetowy tylko, że w wersji do przeglądania.

Jakie narzędzie zaproponowali byście do stworzenia bazy plikowej z danych umieszczonych tam. Potrzebny jest adres oraz kontakt.

Jeśli narzędzia nie są wam znane, to może jakieś użyteczne biblioteki, klasy, kody źródłowe... Może być pascal, delphi, c, c++, java, php ostatecznie inny język też można poznać, ale chyba konieczności nie ma (?). Kiedyś pisałem program wykonujący wczytywanie danych liczbowych ze stron internetowych, ale podejście jakie stosowałem, choć działało, pewnie najlepsze nie było. Dlatego pytam tu, aby nie wywarzać muru po raz kolejny.

nie ma czegoś takiego - to co jest pokazywane zazwyczaj ma się nijak do samej struktury bazy. Strukturę sobie sam musisz zaprojektować. To nie jest program, który można zdezasemblować

nie zrozumiałeś mnie. Tytuł był w dużym cudzysłowie. Po prostu chce zapisać trochę danych ze strony do pliku.

jak chcesz do pliku to CTR+A - nowy plik - CTRL+V
zrozum, że nie ma jakichś uniwersalnych parserów bo wystarczy, że Ci autor strony coś lekko przestawi i Ci się cały parser sypnie

Jesli nie znasz, to sie nie wypowiadaj. Sam pisalem dosyc uniwersalny parser, wiec nie mow, ze jestem jedyna osobą. Pytanie jest tez o biblioteki, bo ja pisalem pod delphi z uzyciem standardowych operacji na stringach, a html jest jednak pewna struktura i pewnie da sie prosciej.

Możesz zastosować regular expressions - chyba są jakieś implementacje tego dla delphi. Ale wystarczy odpowiednia zmiana w kodzie strony i już będzie lipa. Misiekd dobrze mówi.

to jak pisałeś to masz
a skoro tyle ludzi to robi to powinieneś już dawno taki znaleźć a nie jęczeć na forum

Tu masz opis jak sie to robi: http://4programmers.net/Forum/viewtopic.php?id=139102
Nie ma uniwersalnego sposobu, wystarczy, ze zmieni sie sposob prezentacji lub szczegol, na ktorym opierasz swoj parser i lezysz.

ale to program ma być uniwersalny, w znaczeniu możliwy do użycia na wielu stronach (po odpowiedniej konfiguracji), nie odporny na modyfikacje strony przez autora. Dzięki za link powyzej.

Zmieniam zdanie co do tego linka powyżej. Rozumiem, że to był żart. Hahaha :D

bardzo prosty program do zrobienia który powinien ściągnąć (minumum) dwie przykładowe strony podane przez ciebie i o różniące się elementy zapytać ciebie (do której kolumny to włożyć lub czy w ogóle zignorować) a resztę zapisać jako szablon
i potem program ściąga stronę główną, szuka linków i rekurencyjnie ściąga wszystkie strony a z tych które pasują do szablonu wyciąga dane
program bardzo prosty do napisania, uniwersalny i jego nauka po zmianie szczegółu na stronie czy dodanie nowej strony to pół minuty roboty

innego sposobu nie widzę (poza pisaniem wyrażeń regularnych czy całego programu pod jedną stronę co wcale nie jest łatwiejsze)

Robert1212 napisał(a)

Zmieniam zdanie co do tego linka powyżej. Rozumiem, że to był żart. Hahaha :D

Nie, to nie byl zart. Ale najwyrazniej ani Ty ani my nie wiemy o co Ci chodzi.

Excel :)
zainteresuje się 'Kwerendą sieci web'
pobiera dane z tabel na stronach, aktualizuje exportuje itp