HabiTV 3.7 (sous Ubuntu) - Arte - Proxy

Téléchargement automatique de Replay TV

HabiTV 3.7 (sous Ubuntu) - Arte - Proxy

Messagede BrunoBr » Sam 20 Avr 2013 18:50

Bonjour,
Les téléchargements via proxy des émissions de Arte fonctionne bien. Encore merci pour cette belle avancée !
Il y a juste un détail qui pourrait être amélioré...

Exemple :
Episode to retreive arte-Environnement & Sciences-Allemagne : le gaz de schiste contesté Wed Feb 27 07:38:44 BRT 2013-4
Searching episode for arte done
Waiting for download of arte-Environnement & Sciences-Allemagne : le gaz de schiste contesté Wed Feb 27 07:38:44 BRT 2013-4
Download of arte-Environnement & Sciences-Allemagne : le gaz de schiste contesté Wed Feb 27 07:38:44 BRT 2013-4 is starting
Download of arte-Environnement & Sciences-Allemagne : le gaz de schiste contesté Wed Feb 27 07:38:44 BRT 2013-4 done
Episode is ready arte-Environnement & Sciences-Allemagne : le gaz de schiste contesté Wed Feb 27 07:38:44 BRT 2013-4

Le fichier obtenu a pour nom :
Allemagne___le_gaz_de_schiste_conteste_Wed_Feb_27_07_38_44_BRT_2013.mp4.tmp−−socks
(l'extension ".tmp--socks" n'est pas enlevée au terme du téléchargement).

Ça serait possible d'avoir :
Allemagne___le_gaz_de_schiste_conteste_Wed_Feb_27_07_38_44_BRT_2013.mp4
ou mieux :
Allemagne : le gaz de schiste contesté (27-02-2013).mp4
ou simplement :
Allemagne : le gaz de schiste contesté.mp4
?

(les ":" et autres "?" ne sont pas un problème avec ext4)

Bruno.
BrunoBr
 
Messages: 33
Inscription: Sam 16 Fév 2013 17:07

Re: HabiTV 3.7 (sous Ubuntu) - Arte - Proxy

Messagede dabiboo » Dim 21 Avr 2013 13:13

Bonjour,

Merci d'avoir signalé le problème sur le proxy, c'est corrigé, tu peux mettre à jour le fichier rtmpdumpdownloader.jar dans le dossier downloader avec http://dabiboo.free.fr/habitv/downloade ... loader.jar.

Pour arte, les titres des émissions ne sont pas toujours unique c'est pour ça que j'y ai ajouté la date de publication (ex Xenius), j'ai changé le formateur de date et j'y ai conditionné au fait que le titre ne soit pas unique. Tu peux mettre à jour arte.jar dans le dossier provider avec http://dabiboo.free.fr/habitv/provider/arte.jar.

Pour les caractères spéciaux, je préfère assurer en n'en gardant aucun, ça peut poser problème sur certains systèmes avec certains outils notamment pour les exports.
dabiboo
 
Messages: 189
Inscription: Mer 15 Aoû 2012 11:06

Re: HabiTV 3.7 (sous Ubuntu) - Arte - Proxy

Messagede BrunoBr » Dim 21 Avr 2013 15:11

Bonjour,

Quelle réactivité !
OK pour les caractères spéciaux, je comprends la préoccupation.
Peut-être pourrais-tu introduire un nouveau filenamePattern qui pourrait être utilisé au risque et péril de l'utilisateur, pour un renommage final (via un Export).
Exemple :
EPISODE_NAME => Quand_j_etais_gothique
EPISODE_NAME_UNTOUCHED => Quand j'étais gothique

Charge à l'utilisateur de faire attention à ce qu'il fait avec.

Coté rtmpDumpDownloader.jar, l’extension .tmp--socks est toujours là ;).
Exemple :
Avant actualisation rtmpDumpDownloader.jar et arte.jar :
=> Reg_Arts_de_femmes_Sun_Apr_21_08_27_04_BRT_2013.mp4.tmp−−socks
Après actualisation rtmpDumpDownloader.jar et arte.jar :
=> Reg_Arts_de_femmes.mp4.tmp−−socks

Un oubli, peut-être ? ;)

Bruno.
BrunoBr
 
Messages: 33
Inscription: Sam 16 Fév 2013 17:07

Re: HabiTV 3.7 (sous Ubuntu) - Arte - Proxy

Messagede aazerty » Dim 21 Avr 2013 21:09

Bonjour ,

@dabiboo : il existe des problèmes dans grabconfig.xml .

Il y a plusieurs <id> pour la même catégorie . Exemple , pour canal + :
-----
<name>LES_GUIGNOLS</name>

<id>850740</id>
<id>852778</id> <= 3 fois
<id>849191</id>
-----

Cordialement .
!!! DUBITATIF !!!
Avatar de l’utilisateur
aazerty
 
Messages: 2086
Inscription: Sam 10 Déc 2011 14:41

Re: HabiTV 3.7 (sous Ubuntu) - Arte - Proxy

Messagede dabiboo » Lun 22 Avr 2013 19:34

@BrunoBr, ok pour le pattern je vais en ajouter un nouveau.

pour le problème du .tmp--socks, je vais vérifier le jar déployé qui m'a à l'air bon... tu peux m'envoyer ta configuration (config.xml) ?

@aazerty : les catégories sont générées automatiquement via l'API de canal plus, il y a effectivement plusieurs doublons car des séries sont présentes dans plusieurs catégories, j'ai pas testé mais j'imagine que ça marche peu importe l'id de série utilisée.
dabiboo
 
Messages: 189
Inscription: Mer 15 Aoû 2012 11:06

Re: HabiTV 3.7 (sous Ubuntu) - Arte - Proxy

Messagede BrunoBr » Mar 23 Avr 2013 04:02

@dabiboo
Voici le config.xml

Code: Tout sélectionner
<?xml version="1.0" encoding="UTF-8"?>
<tns:config xmlns:tns="http://www.dabi.com/habitv/config/entities"
   xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
   xsi:schemaLocation="http://www.dabi.com/habitv/config/entities config.xsd ">
   <proxy>
      <protocol>HTTP</protocol>
      <host>127.0.0.1</host>
      <port>8123</port>
      <pluginSupport>
         <plugin>pluzz</plugin>
         <plugin>arte</plugin>
      </pluginSupport>
   </proxy>
   <proxy>
      <protocol>SOCKS</protocol>
      <host>127.0.0.1</host>
      <port>9050</port>
      <pluginSupport>
         <plugin>pluzz</plugin>
         <plugin>arte</plugin>
      </pluginSupport>      
   </proxy>
   <maxAttempts>10</maxAttempts>
   <cmdProcessor>/bin/bash -c #CMD#</cmdProcessor>
   <demonTime>1800</demonTime>
   <workingDir>pub</workingDir>
   <indexDir>index</indexDir>
   <providerPluginDir>provider</providerPluginDir>
   <downloaderPluginDir>downloader</downloaderPluginDir>
   <exporterPluginDir>exporter</exporterPluginDir>
   <downloadOuput>/media/2To_1/habitv_downloads/#TVSHOW_NAME#/#EPISODE_NAME#_(#DATE§yyyy-MM-dd_kk:mm#).#EXTENSION#</downloadOuput>
   <downloader>
      <name>http</name>
   </downloader>
   <downloader>
      <name>rtmpdump</name>
      <binPath>rtmpdump</binPath>
   </downloader>
   <downloader>
      <name>aria2</name>
      <binPath>aria2c --max-upload-limit=30K</binPath>
   </downloader>
   <downloader>
      <name>curl</name>
      <binPath>curl</binPath>
   </downloader>
   <downloader>
      <name>ffmpeg</name>
      <binPath>ffmpeg</binPath>
   </downloader>
   <downloader>
      <name>youtube</name>
      <binPath>youtube-dl</binPath>
   </downloader>      
   <taskDefinition>
      <taskName>category</taskName>
      <size>5</size>
   </taskDefinition>
   <taskDefinition>
      <taskName>export</taskName>
      <size>2</size>
   </taskDefinition>
   <taskDefinition>
      <taskName>retreive</taskName>
      <size>50</size>
   </taskDefinition>
   <taskDefinition>
      <taskName>search</taskName>
      <size>5</size>
   </taskDefinition>
   <taskDefinition>
      <taskName>download</taskName>
      <size>2</size>
   </taskDefinition>
   <taskDefinition>
      <taskName>curl</taskName>
      <size>2</size>      
   </taskDefinition>
   <taskDefinition>
      <taskName>ffmpeg</taskName>
      <size>1</size>
   </taskDefinition>   
</tns:config>


Bruno.
BrunoBr
 
Messages: 33
Inscription: Sam 16 Fév 2013 17:07

Re: HabiTV 3.7 (sous Ubuntu) - Arte - Proxy

Messagede dabiboo » Sam 27 Avr 2013 07:15

As-tu toujours le problème ? Je ne l'ai pas reproduit avec ta configuration et le dernier jar de rtmpDumpDownloader.
dabiboo
 
Messages: 189
Inscription: Mer 15 Aoû 2012 11:06

Re: HabiTV 3.7 (sous Ubuntu) - Arte - Proxy

Messagede BrunoBr » Sam 27 Avr 2013 16:06

Pas de changement. J'ai juste noté que j'ai de plus en plus de vidéos (Arte) qui ne se téléchargent pas (taille = 0).
Même pour celles qui vont à terme, l'extension .tmp−−socks est toujours là.

J'ai noté que les tirets entre le "tmp" et le "socks" ne sont pas des tirets habituels. C'est voulu ? Peut-être est-ce la source du problème ?
Avec des tirets "normaux" (des "moins" en fait), ça devrait donner ça : .tmp--socks.
Je m'en suis rendu compte en essayant un renommage de masse visant à supprimer cette extension superflue par la commande (linux) :
rename s/.mp4.tmp−−socks/.mp4/ *.mp4.tmp−−socks
qui ne voulait pas marcher avec les tirets traditionnels...

Bruno.
BrunoBr
 
Messages: 33
Inscription: Sam 16 Fév 2013 17:07

Re: HabiTV 3.7 (sous Ubuntu) - Arte - Proxy

Messagede dabiboo » Sam 27 Avr 2013 19:06

J'ai ré-essayé sur linux et je n'ai toujours pas de problème, je te met mon installation complète en PJ.
Il s'agit visiblement d'un problème avec l'option --socks de rtmpdump, il manquait un espace avant cette option d'où ton problème mais je l'ai corrigé dans le jar rtmpdumpdownloader.jar donc je ne comprends pas... de plus cette option ne devrait pas s'activer dans ton cas car tu n'utilises pas de proxy de type socks (juste http).
Fichiers joints
linux_habiTv.zip
(3.23 Mio) Téléchargé 441 fois
dabiboo
 
Messages: 189
Inscription: Mer 15 Aoû 2012 11:06

Re: HabiTV 3.7 (sous Ubuntu) - Arte - Proxy

Messagede BrunoBr » Sam 27 Avr 2013 20:24

Si si. J'utilise un proxy socks5.
Code: Tout sélectionner
   <proxy>
      <protocol>SOCKS</protocol>
      <host>127.0.0.1</host>
      <port>9050</port>
      <pluginSupport>
         <plugin>pluzz</plugin>
         <plugin>arte</plugin>
      </pluginSupport>     
   </proxy>


Le problème avec l'extension .tmp--socks a bien été résolu avec le rtmpDumpDownloader.jar récupéré de ton zip. Il devait effectivement manquer un espace.

Mais j'ai noté deux autre soucis dans la ligne de commande rtmpdump utilisée par rtmpDumpDownloader.jar :
1 / Seule l'une des deux options "socks" ou "S" devrait être utilisée (l'une est la version abrégée de l'autre).
2 / Les tirets utilisés pour introduire l'option devrait être des "moins".

Ci-dessous tu verras le résultat des trois commandes :
1 / l'originale récupérée dans le log d'habitv,
2 / celle où je n'ai laissé que "socks" en supprimant "S"
3 / et celle qui marche où j'ai en plus mis les bons "tirets".
Code: Tout sélectionner
media@NAS1:~/linux_habiTv$ rtmpdump -r "rtmp://artestras.fcod.llnwd.net/a3903/o35/mp4:geo/videothek/EUR_DE_FR/tvguide/045469-024-A_HQ_2_VOF_00121357_MP4-800_AMM-Tvguide?h=f915b704d2a9f754bbcc4214223ed8a8" -c 1935 -m 10 -w a8db5990d6ac5d4da6a23417206636053a8884a16db3b82e1ab3661a18d627f7 -x 966504 -o "/media/2To_1/habitv_downloads/Les_dernieres_videos_ARTE_+7-Par_avion_20130426.mp4.tmp" −−socks −S 127.0.0.1:9050
RTMPDump v2.4
(c) 2010 Andrej Stepanchuk, Howard Chu, The Flvstreamer Team; license: GPL
Connecting ...
INFO: Connected...
ERROR: Closing connection: NetStream.Failed

media@NAS1:~/linux_habiTv$ rtmpdump -r "rtmp://artestras.fcod.llnwd.net/a3903/o35/mp4:geo/videothek/EUR_DE_FR/tvguide/045469-024-A_HQ_2_VOF_00121357_MP4-800_AMM-Tvguide?h=f915b704d2a9f754bbcc4214223ed8a8" -c 1935 -m 10 -w a8db5990d6ac5d4da6a23417206636053a8884a16db3b82e1ab3661a18d627f7 -x 966504 -o "/media/2To_1/habitv_downloads/Les_dernieres_videos_ARTE_+7-Par_avion_20130426.mp4.tmp" −−socks 127.0.0.1:9050
RTMPDump v2.4
(c) 2010 Andrej Stepanchuk, Howard Chu, The Flvstreamer Team; license: GPL
Connecting ...
INFO: Connected...
ERROR: Closing connection: NetStream.Failed

media@NAS1:~/linux_habiTv$ rtmpdump -r "rtmp://artestras.fcod.llnwd.net/a3903/o35/mp4:geo/videothek/EUR_DE_FR/tvguide/045469-024-A_HQ_2_VOF_00121357_MP4-800_AMM-Tvguide?h=f915b704d2a9f754bbcc4214223ed8a8" -c 1935 -m 10 -w a8db5990d6ac5d4da6a23417206636053a8884a16db3b82e1ab3661a18d627f7 -x 966504 -o "/media/2To_1/habitv_downloads/Les_dernieres_videos_ARTE_+7-Par_avion_20130426.mp4.tmp" --socks 127.0.0.1:9050
RTMPDump v2.4
(c) 2010 Andrej Stepanchuk, Howard Chu, The Flvstreamer Team; license: GPL
Connecting ...
INFO: Connected...
Starting download at: 0.000 kB
INFO: Metadata:
INFO:   duration              1571.44
INFO:   moovPosition          32.00
INFO:   width                 720.00
INFO:   height                406.00
INFO:   videocodecid          avc1
INFO:   audiocodecid          mp4a
INFO:   avcprofile            77.00
INFO:   avclevel              31.00
INFO:   aacaot                2.00
INFO:   videoframerate        25.00
INFO:   audiosamplerate       48000.00
INFO:   audiochannels         2.00
INFO: trackinfo:
INFO:   length                39286000.00
INFO:   timescale             25000.00
INFO:   language              und
INFO: sampledescription:
INFO:   sampletype            avc1
INFO:   length                75428864.00
INFO:   timescale             48000.00
INFO:   language              und
INFO: sampledescription:
INFO:   sampletype            mp4a
37.801 kB / 0.00 sec (0.0%)

Certaines vidéos sont correctement téléchargées malgré ce soucis. Sans doute celles qui ne sont pas géolocalisée.

Tu peux jeter un œil ?

Bruno.
BrunoBr
 
Messages: 33
Inscription: Sam 16 Fév 2013 17:07

Suivante

Retourner vers habiTv

Qui est en ligne

Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 5 invités

cron