Discussion:
aspirer un site web en ligne de commande
(trop ancien pour répondre)
marioski
2012-03-20 14:05:01 UTC
Permalink
bonjour,

sous windows 7 et mozilla firefox,je voudrais savoir que faut-il
écrire précisemment en ligne de commande dans le terminal(le Dos) pour
aspirer un site web dont l'adresse est,par exemple,www.aspirersite.com/
fichiers.html et de telle sorte que les fichiers aspirés aillent dans
ma clé usb?

merci d'avance.
Jean-Claude BELLAMY
2012-03-20 15:46:27 UTC
Permalink
Le mardi 20/03/2012 15:05:01, marioski a écrit dans le message
Post by marioski
bonjour,
sous windows 7 et mozilla firefox,je voudrais savoir que faut-il
écrire précisemment en ligne de commande dans le terminal(le Dos)
Tu veux te faire reformater dans les grandes largeurs ?

C'est commettre un ENORME CONTRESENS que d'assimiler ce qui est ligne
de commandes à "DOS" !

La ligne de commande existe également sous UNIX, Linux, Be-OS, MacOS,
..., et pourtant il n'y a pas le moindre "DOS" la dedans!
Les "commandes" utilisées sont des applis (ou des éléments d'amplis)
tout ce qu'il y a de Windows ! (32 ou 64 bits suivant les versions)
Post by marioski
pour
aspirer un site web dont l'adresse est,par exemple,www.aspirersite.com/
fichiers.html et de telle sorte que les fichiers aspirés aillent dans
ma clé usb?
Tu rêves un peu (ou tu retardes de plusieurs années)!!!! ;-)

De nos jours la plupart des pages sont générées dynamiquement, à l'aide
de scripts en PHP ou ASP, si bien que le résultat de
"http://machin.truc/index.php" n'est en aucune façon le contenu du
fichier "index.php".
Et même celles qui sont statiques sont "mises en forme" par des
feuilles de style, utilisent des scripts Javascript, des bases de
données SQL, ...

Jadis (= il y a une quinzaine d'années) il existait des logiciels
spécialisés dans l'aspiration de sites, j'en ai moi-même utilisés, mais
de nos jours c'est quasiment inutilisable.


Cependant, on peut récupérer en ligne de commande le contenu d'un
fichier texte (HTML, TXT, JS, VBS, ...) à l'aide de ce script très
simple :

fichier "GETHTTP.VBS"
------------ couper ici ------------
Set args = Wscript.Arguments
If args.count=0 Then wscript.quit
url=args(0)
Set objHTTP = CreateObject("MSXML2.XMLHTTP")
Call objHTTP.Open("GET", url, FALSE)
objHTTP.Send
WScript.Echo(objHTTP.ResponseText)
------------ couper ici ------------


La syntaxe est très simple :

gethttp.vbs URL-à-récuperer

ou, si on veut rediriger le résultat dans un fichier :

gethttp.vbs URL-à-récuperer > fichier-texte

Exemple (j'ai choisi l'INRIA car ce serveur est toujours disponible!)

gethttp http://www.inria.fr/index.html
ou
gethttp http://www.inria.fr/index.html > d:\tests\indexinria.html


Si tu veux aspirer tous les fichiers, il faudra le faire un par un ou
prévoir une boucle, tout dépend du site ...
--
May the Force be with You!
La Connaissance s'accroît quand on la partage
----------------------------------------------------------
Jean-Claude BELLAMY [MVP Expert IT Pro]
http://www.bellamyjc.org ou http://jc.bellamy.free.fr
marioski
2012-03-21 13:13:06 UTC
Permalink
Post by Jean-Claude BELLAMY
Le mardi 20/03/2012 15:05:01, marioski a écrit dans le message
Post by marioski
bonjour,
sous windows 7 et mozilla firefox,je voudrais savoir que faut-il
écrire précisemment en ligne de commande dans le terminal(le Dos)
Tu veux te faire reformater dans les grandes largeurs ?
C'est commettre un ENORME CONTRESENS que d'assimiler ce qui est ligne
de commandes à "DOS" !
La ligne de commande existe également sous UNIX, Linux, Be-OS, MacOS,
..., et pourtant il n'y a pas le moindre "DOS" la dedans!
Les "commandes" utilisées sont des applis (ou des éléments d'amplis)
tout ce qu'il y a de Windows ! (32 ou 64 bits suivant les versions)
Post by marioski
pour
aspirer un site web dont l'adresse est,par exemple,www.aspirersite.com/
fichiers.html et de telle sorte que les fichiers aspirés aillent dans
ma clé usb?
Tu rêves un peu (ou tu retardes de plusieurs années)!!!! ;-)
De nos jours la plupart des pages sont générées dynamiquement, à l'aide
de scripts en PHP ou ASP, si bien que le résultat de
"http://machin.truc/index.php" n'est en aucune façon le contenu du
fichier "index.php".
Et même celles qui sont statiques sont "mises en forme" par des
feuilles de style, utilisent des scripts Javascript, des bases de
données SQL, ...
Jadis (= il y a une quinzaine d'années) il existait des logiciels
spécialisés dans l'aspiration de sites, j'en ai moi-même utilisés, mais
de nos jours c'est quasiment inutilisable.
Cependant, on peut récupérer en ligne de commande le contenu d'un
fichier texte (HTML, TXT, JS, VBS,  ...) à l'aide de ce script très
fichier "GETHTTP.VBS"
------------ couper ici ------------
Set args  = Wscript.Arguments
If args.count=0 Then wscript.quit
url=args(0)
Set objHTTP = CreateObject("MSXML2.XMLHTTP")
Call objHTTP.Open("GET", url, FALSE)
objHTTP.Send
WScript.Echo(objHTTP.ResponseText)
------------ couper ici ------------
   gethttp.vbs URL-à-récuperer
   gethttp.vbs URL-à-récuperer > fichier-texte
Exemple (j'ai choisi l'INRIA car ce serveur est toujours disponible!)
   gethttphttp://www.inria.fr/index.html
ou
   gethttphttp://www.inria.fr/index.html> d:\tests\indexinria.html
Si tu veux aspirer tous les fichiers, il faudra le faire un par un  ou
prévoir une boucle, tout dépend du site ...
--
May the Force be with You!
La Connaissance s'accroît quand on la partage
----------------------------------------------------------
Jean-Claude BELLAMY [MVP Expert IT Pro]http://www.bellamyjc.org ouhttp://jc.bellamy.free.fr
j'ai un copain qui m'a dit que c'était très facilement faisable sous
le Shell de Linux avec la commande cd+url du site.
Par contre,il ne savait pas faire sous windows...
nom
2012-03-23 16:38:00 UTC
Permalink
Post by marioski
bonjour,
sous windows 7 et mozilla firefox,je voudrais savoir que faut-il
écrire précisemment en ligne de commande dans le terminal(le Dos) pour
aspirer un site web dont l'adresse est,par exemple,www.aspirersite.com/
fichiers.html et de telle sorte que les fichiers aspirés aillent dans
ma clé usb?
Bonjour,

Sous Windows et sous Linux, tu peux utiliser wget.

@+
--
Quand on est sûr d'avoir raison, on n'a pas besoin de discuter avec ceux
qui ont tort.
Georges Wolinski
e***@ace3i.com
2017-07-18 16:00:49 UTC
Permalink
Sous windows, je ne connais pas de solution mais si tu tourne sous Linux, wget est un logiciel Linux qui permet de télécharger du contenu sur le web (généralement les liens que vous cliquez). Mais il peut faire bien plus !

En effet, rajouter quelques commandes fait de cet utilitaire un aspirateur de sites web.

wget -r -k -np -T 10 -w 3 -t 1 http://www.votredomaine.com/

Lexique
* -r : comme presque toujours, l’option -r (–recursive), téléchargera les sous adossiers du site et ainsi les liens annexes
* -k : modifie les liens pour pointer localement
* -np : empêche de remonter dans le répertoire supèrieur
* -w : fait patienter quelques secondes entre chaque requête, afin d’alléger le poids sur le serveur
* -T 10 : temps maximum pour aspirer un lien;
* -t 1 : le nombre de tentative de connection en cas d’erreur 404
* -i fichier : --input-file=fichier

source : kasmi.info
Alain
2017-07-22 06:58:25 UTC
Permalink
Sous windows, je ne connais pas de solution mais si tu tourne sous Linux, wget est un logiciel Linux qui permet de télécharger du contenu sur le web ....
Bonjour,

wget est une commande Unix
pour msdos et windows il faut télécharger wget.exe, par ex chez gnuwin32.
De la même façon, vous avez des versions Microsoft pour la plupart des
commandes Unix, avec parfois des options ou résultats un peu différents

hth

Loading...