🚀 go-pugleaf

RetroBBS NetNews Server

Inspired by RockSolid Light RIP Retro Guy

Thread View: chile.comp.programacion
11 messages
11 total messages Started by +mArkO+ Sat, 03 Oct 2009 17:33
Leer sitio web desde php
#245
Author: +mArkO+
Date: Sat, 03 Oct 2009 17:33
9 lines
1442 bytes
Estimados, necesito leer un contenido de un sitio web con un script en php 
que hice. intent� con fopen y con file, pero con un sitio en especifico no 
me funciona y se llega al maximo tiempo de ejecucion sin obtener resultados.
(el sitio web desde el navegador puedo verlo sin problemas)

�a que se deber� esto?
�alguna sugerencia para lograrlo?

gracias 
Re: Leer sitio web desde php
#246
Author: Jos� Miguel Santib��ez
Date: Sat, 03 Oct 2009 20:38
21 lines
2086 bytes
En el cap�tulo anterior (news:ha81sl$j02$1@news.nivel5.cl), "+mArkO+"
<kitim@porta.com> dijo: 

> Estimados, necesito leer un contenido de un sitio web con un script en
> php que hice. intent� con fopen y con file, pero con un sitio en
> especifico no me funciona y se llega al maximo tiempo de ejecucion sin
> obtener resultados. (el sitio web desde el navegador puedo verlo sin
> problemas) 
> 
> �a que se deber� esto?
> �alguna sugerencia para lograrlo?
> 

Usa snoopy: sourceforge.net/projects/snoopy/
eso te permite emular mucho mejor un browser...
(por el tema de los headers, user-agents y afines)

-- 
                           Jose M. Santiba�ez A.
                             <jms@nivel5.cl>
                           <http://caos.cl/jms>
Re: Leer sitio web desde php
#247
Author: Marious
Date: Sun, 04 Oct 2009 00:24
16 lines
1613 bytes
On 10/03/2009 01:33 PM, +mArkO+ wrote:
> Estimados, necesito leer un contenido de un sitio web con un script en php
> que hice. intenté con fopen y con file, pero con un sitio en especifico no
> me funciona y se llega al maximo tiempo de ejecucion sin obtener resultados.
> (el sitio web desde el navegador puedo verlo sin problemas)
>
> ¿a que se deberá esto?
> ¿alguna sugerencia para lograrlo?
>
> gracias
>
>
>

Utiliza libCurl
http://cl.php.net/curl
Re: Leer sitio web desde php
#248
Author: ShEnZy
Date: Sun, 04 Oct 2009 06:05
21 lines
1774 bytes
mmmm dejame buscar un script que hice alguna vez para leer los datos desde 
tesoreria.cl
lo que hace mi script es poder ingresar un numero de rol inicial y uno final 
y entregar una tabla con todos los datos obtenidos de cada rol ..., pero los 
datos los saca "leyendo" la pagina web...


"+mArkO+" <kitim@porta.com> escribi� en el mensaje 
news:ha81sl$j02$1@news.nivel5.cl...
> Estimados, necesito leer un contenido de un sitio web con un script en php 
> que hice. intent� con fopen y con file, pero con un sitio en especifico no 
> me funciona y se llega al maximo tiempo de ejecucion sin obtener 
> resultados.
> (el sitio web desde el navegador puedo verlo sin problemas)
>
> �a que se deber� esto?
> �alguna sugerencia para lograrlo?
>
> gracias
>
> 
Re: Leer sitio web desde php
#249
Author: ShEnZy
Date: Sun, 04 Oct 2009 06:10
18 lines
1677 bytes
intentaste con: file_get_contents() ?, yo utilice eso mas una funciona 
llamada html2txt() que encontre por ahi en la web...


"+mArkO+" <kitim@porta.com> escribi� en el mensaje 
news:ha81sl$j02$1@news.nivel5.cl...
> Estimados, necesito leer un contenido de un sitio web con un script en php 
> que hice. intent� con fopen y con file, pero con un sitio en especifico no 
> me funciona y se llega al maximo tiempo de ejecucion sin obtener 
> resultados.
> (el sitio web desde el navegador puedo verlo sin problemas)
>
> �a que se deber� esto?
> �alguna sugerencia para lograrlo?
>
> gracias
>
> 
Re: Leer sitio web desde php
#250
Author: +mArkO+
Date: Sun, 04 Oct 2009 20:07
34 lines
2261 bytes
est� buen�sima. pero ese sitio que necesito no lo ley�.

no cach� que onda

www.sportQpress.Qcom/Qstats/es/

quitar las "Q" ...

si alguien tiene alguna luz al por qu� no lee.


"Jos� Miguel Santib��ez" <jms@nivel5.cl> escribi� en el mensaje 
news:Xns9C99A95A028E1jmsnews@200.54.144.211...
> En el cap�tulo anterior (news:ha81sl$j02$1@news.nivel5.cl), "+mArkO+"
> <kitim@porta.com> dijo:
>
>> Estimados, necesito leer un contenido de un sitio web con un script en
>> php que hice. intent� con fopen y con file, pero con un sitio en
>> especifico no me funciona y se llega al maximo tiempo de ejecucion sin
>> obtener resultados. (el sitio web desde el navegador puedo verlo sin
>> problemas)
>>
>> �a que se deber� esto?
>> �alguna sugerencia para lograrlo?
>>
>
> Usa snoopy: sourceforge.net/projects/snoopy/
> eso te permite emular mucho mejor un browser...
> (por el tema de los headers, user-agents y afines)
>
> -- 
>                           Jose M. Santiba�ez A.
>                             <jms@nivel5.cl>
>                           <http://caos.cl/jms> 
Re: Leer sitio web desde php
#251
Author: Jos� Miguel Santib��ez
Date: Mon, 05 Oct 2009 17:45
25 lines
1885 bytes
En el cap�tulo anterior (news:haava0$m5$1@news.nivel5.cl), "+mArkO+" 
<kitim@porta.com> dijo:

> est� buen�sima. pero ese sitio que necesito no lo ley�.
> 
> no cach� que onda
> 
> www.sportQpress.Qcom/Qstats/es/
> 
> quitar las "Q" ...
> 
> si alguien tiene alguna luz al por qu� no lee.
> 
> 

Al menos a mi, desde firefox 3.5 e internet deplorer 8, saliendo por tie, 
simplemente no me carga, as� que imagino que hay algo "mal" en el sitio 
mismo...

eso...

-- 
                           Jose M. Santiba�ez A.
                             <jms@nivel5.cl>
                           <http://caos.cl/jms>
Re: Leer sitio web desde php
#252
Author: Daniel V
Date: Mon, 05 Oct 2009 20:29
29 lines
1927 bytes
In chile.comp.unix Marious <sinspam@tampocoexiste.ivn.cl> wrote:
> On 10/03/2009 01:33 PM, +mArkO+ wrote:
>> Estimados, necesito leer un contenido de un sitio web con un script en php
>> que hice. intent? con fopen y con file, pero con un sitio en especifico no
>> me funciona y se llega al maximo tiempo de ejecucion sin obtener resultados.
>> (el sitio web desde el navegador puedo verlo sin problemas)
>>
>> ?a que se deber? esto?
>> ?alguna sugerencia para lograrlo?
>>
>> gracias
>>
>>
>>
> 
> Utiliza libCurl
> http://cl.php.net/curl

Estimados,

Alguna vez tuve un problema similar, y resulto ser que el servidor donde
estaba alojado no permitia hacer estas llamadas remotas.
(no recuerdo si probe con fopen o libCurl, pero nada funcionaba...)
Instale el script en un servidor con menos restricciones y todo funciono
ok.., asi que yo probaria lo mismo en otro lado para descartar que el
servidor te este bloqueando la llamada.

Saludos,
Daniel
Re: Leer sitio web desde php
#253
Author: Marious
Date: Mon, 05 Oct 2009 23:32
40 lines
2724 bytes
On 10/05/2009 04:29 PM, Daniel V wrote:
> In chile.comp.unix Marious<sinspam@tampocoexiste.ivn.cl>  wrote:
>> On 10/03/2009 01:33 PM, +mArkO+ wrote:
>>> Estimados, necesito leer un contenido de un sitio web con un script en php
>>> que hice. intent? con fopen y con file, pero con un sitio en especifico no
>>> me funciona y se llega al maximo tiempo de ejecucion sin obtener resultados.
>>> (el sitio web desde el navegador puedo verlo sin problemas)
>>>
>>> ?a que se deber? esto?
>>> ?alguna sugerencia para lograrlo?
>>>
>>> gracias
>>>
>>>
>>>
>>
>> Utiliza libCurl
>> http://cl.php.net/curl
>
> Estimados,
>
> Alguna vez tuve un problema similar, y resulto ser que el servidor donde
> estaba alojado no permitia hacer estas llamadas remotas.
> (no recuerdo si probe con fopen o libCurl, pero nada funcionaba...)
> Instale el script en un servidor con menos restricciones y todo funciono
> ok.., asi que yo probaria lo mismo en otro lado para descartar que el
> servidor te este bloqueando la llamada.
>
> Saludos,
> Daniel
>

Para que fopen lea un documento remoto, php debe tener habilitado
allow_url_fopen.

Para que libCurl funcione debe... estar instalado libCurl.

Si el servidor no tiene ninguna de esas no se podrá hacer. la gracia
de usar libCurl es que puedo enviar postdata, y falsear mi user-agent
http header para pasar por una visita cualquiera ante el otro servidor.
Re: Leer sitio web desde php
#271
Author: claudio.torres
Date: Wed, 18 Nov 2009 15:34
3 lines
1505 bytes
> Para que libCurl funcione debe... estar instalado libCurl.

Sabias palabras... jaja
Re: Leer sitio web desde php
#278
Author: Javier
Date: Wed, 02 Dec 2009 21:28
23 lines
1838 bytes
Es reviejo el post, pero igual dejo una ayuda por si sirve a alguien con 
algun caso similar.

El problema parece ser que el sitio requiere un request HTTP mas completo. 
Particularmente me da la impresion de que necesita que se indique un 
user-agent "valido"

Al bajar la pagina usando telnet, si solo hacia el "GET" no me mandaba 
nada, pero si hago el request mas completo, si baja la pagina.

$ telnet www.sportpress.com 80
GET /stats/es/ HTTP/1.1
Host: www.sportpress.com
User-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)

(un salto de linea en blanco al final)

Es decir, debes usar un metodo que pueda simular un navegador de mejor 
manera, donde puedas indicar un user-agent al menos.

Saludos,

Javier
Thread Navigation

This is a paginated view of messages in the thread with full content displayed inline.

Messages are displayed in chronological order, with the original post highlighted in green.

Use pagination controls to navigate through all messages in large threads.

Back to All Threads