[dexonline] Ticket #241 :Crawler definitii

Vlad Tp vladtp91 at yahoo.com
Sat Nov 5 21:39:26 EET 2011


Buna seara !

Impreuna cu colegul meu de echipa avem cateva mici nelamuriri legate de implementare .

Cum am putea sa rulam codul nostru de mai multe ori in mod automat la un anumit interval de timp  ? Ne-am gandit la un fel de iterare in cadrul codului nostru , dar nu sunt sigur daca e cea mai buna solutie . Am luat in considerare si ideea rularii scriptului prin intermediul crontab . Daca s-ar putea "a piece of advice " cam cum ar fi cel mai bine sa implementam asta .

 Ar fi indicat ca site-urile care nu au licenta sau nu fac parte din cadrul dexonline sa le salvam in cadrul unui fisier de log sa zicem ? ( de unde si ideea ca ne-am putea folosi de crontab ) .

Si o ultima nelamurire : din cand in cand dam peste niste site-uri inexistente pe care programul nostru le detecteaza ca fiind clone . Am incercat sa rezolvam astfel :
    

        if ( ($req_site .= file_get_contents ( $iter->url ) ) == false )

dar din pacate primim niste warninguri legate de imposibilitatea deschiderii site-ului respectiv .


More information about the dexonline mailing list