Trenutno sam u pripremama početne faze započinjanja razmatranja mogućnosti kupovine stana. Kao što se može primetiti iz prethodne rečenice, imam još da radim oko ovoga, ali nekako mora da se počne.

E, sad, kao svaki pravi mali dobri programer, prvo što mi je palo na pamet da mora da se uradi jeste da se obiđu svi domaći sajtovi za nekretnine i da se sa njih skinu (scrape-uju) svi stanovi za offline detaljnu analizu. Znam, znam, ljudi kupuju stanove i bez da urade matematičku analizu i data mining, ali evo zašto ovo ima svojih prednosti:

• Mnogo bolje filtriranje – ja otprilike imam predstavu šta tražim, ali kada bih koristio samo veb sajtove agencija za filtriranje, morao bih da pregledavam na hiljade stanova
• Trenutna detekcija novoponuđenih stanova – kad se skripta ponovo pokrene, tačno znate koji su novi stanovi u ponudi
• Trenutna detekcija smanjenih cena stanova – kad se skripta pusti da prođe ponovo za sve stanove, vrlo lako može da primeti da li je cena pala ili ne
• It’s fun:) – verovatno znate onaj vic “zašto pas liže svoja jaja?”. “Zato što može”

Tehnički detalji (koga interesuje)

Skripta je napisana u Python-u, skidani su stanovi sa sajtova mojkvadrat.rs i halooglasi.com, a za svaki posebno je trebalo oko 200 linija koda. Korišćene tehnologije su: SQL Azure, BeautifulSoup, urllib3 i pyodbc. Ceo kod i dump baze se nalazi na: https://github.com/stalker314314/ScrapeStanovi.

TODO lista

• Uraditi merge-ovanje stanova od različitih source-ova (detekcija duplikata)
• Dodati još source-ova
• Detekcija da li je stan u ponudi od strane agenta ili direktno
• Heat mapa Beograda sa prosečnim cenama stanova (ovo sam probao da nađem na R repozitorijumima, kao i na Google Fusion Table repozitorijumima i nisam, nažalost, našao nikakve postojeće mape Beograda, a ne pravi mi se ovo od nule)

Prosečne cene stanova

E, sad ono zbog čega je ceo ovaj tekst i napisan. Kada je skripta skinula sve stanove, nad njima mogu da se rade razne analize. Jedna jako očigledna, a vrlo interesantna je da se pogleda koje su prosečne cene kvadrata po delovima grada. Kad su podaci već skinuti, ovo je trivijalno, a za vas evo ovde celu liste na pregled, nadam se da će vam biti zanimljivo. Uživajte!