Transfert automatique de fichiers par internet

Fab · Août 9, 2016, 11:53

Bonjour, je suis nouveau sur le forum et également dans l’univers Raspberry. Je viens d’acquérir un Raspberry Pi 2 model B dans le but de l’utiliser dans un nouveau projet.
Il s’agit d’un système automatique de surveillance vidéo embarqué mobile (véhicule).
La partie embarquée serait composée de:
1 camera IP
1 Raspberry Pi 2model B + Pi UPS + micro SD 16GB (OS) + clef USB 64GB (sauvegarde)
1 router 3G/4G Dlink DWR-921

La camera IP et le Raspberry seraient raccordés au routeur par câbles RJ45.

Le but est que les photos/vidéos de la camera IP soient transférées avec sa fonction Network Share vers la mémoire de la clef USB du Raspberry PI.
Une fois ces fichiers sur la clef USB du Raspberry, il faudrait que ces fichiers soient transférés automatiquement par la connexion internet 3G/4G du routeur Dlink DWR-921 dès que cette connexion est disponible.

Je sais que je ne peux pas utiliser Dropbox car pas compatible avec processeur ARM du Raspberry.
Je ne peux pas utiliser la fonction envoi des photos/vidéos par mail de la camera IP car il faudrait une connexion internet permanente et stable, ce qui n’est pas le cas dans une voiture qui roule.
Je ne peux pas utiliser la fonction DynDNS ou No-Ip et faire un NAT car l’opérateur de la carte SIM utilisée pour la connexion internet bloque les ports entrants.

Je possède un NAS Synology et je souhaitais synchroniser automatiquement les fichiers de la clef USB du Raspberry embarqué avec le NAS Synology qui est chez moi avec connexion internet et possibilité fonction DynDNS ou No-Ip.

J’espère qu’un membre du forum pourra m’aiguiller.

Merci d’avance.

Cordialement.

jojo · Août 10, 2016, 1:14

Salut Fab,
déjà dans un premier temps un grand bravo pour l’ambition,l’idée et la présentation du projet ,

bon alors pour se qui concerne la vidéo surveillance, je ne suis pas un expert dans le domaine ,(j’ai pas expérimenter )
la première chose que je peux faire c’est te renvoyer vers le tuto du site qui traite du sujet Utiliser la Raspberry Pi pour de la vidéo-surveillance en ligne !

en se qui concerne l’envoie des fichier en tant réel il va te falloir une connexion stable comme tu l’as dit si non je ne voit pas comment ,après pour récupérer les fichier c’est pas le soucis la voiture à l’arrêt ,sinon pour une alternative à dropbox il y a owncloud la doc ici OwnCloud, votre cloud à la maison sur votre Raspberry Pi !

je c’est pas si sa va beaucoup t’aider

Fab · Août 10, 2016, 2:16

Bonjour Jojo, merci pour tes encouragements.

En fait, il faut que je trouve le moyen de transférer automatiquement par la connexion 3G/4G du routeur mobile et sans intervention humaine les nouveaux fichiers photo/video stockés dans la clef USB vers un serveur NAS, FTP ou autre, gratuit serait le mieux.

Je n’ai pas besoin que les fichiers soient envoyés en temps réel.
Le véhicule peut se trouver dans une zone blanche, un tunnel, un parking souterrain mais il faut absolument que les fichiers soient envoyés une fois que la connexion internet 3G/4G est disponible.

Gpapig · Août 10, 2016, 5:39

Hello Fab,

Pour le transfert automatique cela ne me semble pas très compliqué si ta connexion est stable.

Avec un petit script en cronjob qui test si la connexion est là, puis qui upload vers un Gdrive, un ftp ou n’importe quoi d’autre.

Donc à mon sens →

Cronjob toute les X secondes ou min qui teste la connexion (un bête ping sur www.google.com devrait suffire
Envoi des fichiers « pendings » (Typiquement tout ce qui se trouve dans un dossier « en attente d’envoi »
Test de cohérence entre le fichier local et le synchronisé
Déplacement ou suppression des fichiers transférés

Si tu veux faire de l’embarqué regarde peut-être du coté de la caméra spéciale du Raspberry, sa taille et le fait qu’elle utilise le GPU plutôt que le CPU du Raspberry pourrait t’intéresser.

Ensuite le plus simple pour capturer tes images serait de regarder du coté de Motion, super simple à installer et à configurer (il tourne chez moi sur deux Raspberry sans soucis). Sinon un bête script en python/batch fera l’affaire, la question étant de savoir si tu veux filmer en permanence ou juste par séquence (Motion permettant de détecter les mouvements). Il faudra faire aussi gaffe à la taille de tes fichiers, sur une connexion instable avoir des petits morceaux me semble plus judicieux qu’un gros block.

J’ai fais en sorte qu’il upload automatiquement à la création des fichiers (lors des détections de mouvements) la vidéo sur un Gdrive grâce à un petit script disponible Upload via Google Drive (j’ai créé un compte spécial avec une sécurité plus basse que sur mon compte principale, histoire de ne pas m’embêter avec la double authentification).

Enfin bref, hésite pas à revenir

Fab · Août 10, 2016, 10:15

Bonjour Jojo,

Ton aide m’est déjà très importante même si pour toi ça à l’air tout simple, n’oublie pas que je suis débutant avec le Raspberry.
J’ai une expérience avec Ubuntu mais surtout avec l’interface graphique et peu en ligne de commande.
Pour la camera, je tiens à utiliser la camera IP que j’ai déjà car elle est vraiment complète, performante et je capture le son d’une grande qualité aussi.

J’ai un nouveau conseil à te demander car je dois remplacer la carte Micro SD actuelle du Raspberry par une nouvelle plus performante. Y a t-il une marque, modèle, spécificité à privilégier parmi l’offre immense. Je sais que toutes les cartes ne sont pas compatibles.

Cordialement.

jojo · Août 10, 2016, 12:13

Salut fab c’est Gpapig qui est à fait cette proposition trés complète et qui t’a limite fourni un cahier des charge théorique donc un grand merci à lui , il maîtrise la partie « réseau » mieux que moi .

en se qui concerne les carte micro SD je peux déjà te rediriger vers le wiki qui en liste RPi SD cards - eLinux.org

si une carte n’apparaît pas dans la liste c’est tout simplement qu’elle à pas été tester par la communauté ou qui n’on pas mis a jour (sa ne veut pas dire qu’elle ne marche pas )

pour ma part j’ai jamais été emmerder avec les SD mais comme d’habitude vers gaffe ou on les achète car il existe de la contrefaçon sur le marché du stockage

je crois savoir qu’il y a pas mal de soucis avec les 64 giga mais sûrement à cause de la vitesse d’écriture

d’ailleurs de se coter la je conseille une classe 10 ,(minimum 10 mo/seconde )

perso dernièrement j’ai acheter une carte sd PNY 32 giga classe 10 , moins de 10 euros et sa fait l’affaire

le mieux c’est si tu repère un carte tape sa référence sur google suivi du mot clé raspberry pi comme sa si celle si est incompatible un utilisateur qui aura fait les frais l’aura sûrement indiquer sur un forum

Gpapig · Août 10, 2016, 12:29

Tu peux parfaitement conserver ta caméra IP ^^ c’était juste une idée en passant.

pour ce genre de projets, sans passer par un minimum de ligne de commande cela me semble compliqué, après j’ai le soucis inverse, je connais peu d’application avec interface graphiques, désolé.

Pour la carte SD comme le dit @jojo une classe 10 au minimum et ça ira très bien. Perso j’ai des Sandisk et elles tournent bien.

jojo · Août 10, 2016, 12:57

comme tu dis l’utilisation de ligne de commande me parait aussi la meilleur solution et dans le domaine de la vidéo surveillance je sait qui l’existe Qmotion qui dispose lui d’une interface graphique faudrait tester pour le rendre compatible raspbery pi .

mais aprés il n’est pas non plus difficile de développer une interface graphique par dessus de tout simplement la scripter et de revoyez au fonction voulu .(souvent pas fait par les développeur par manque de temps ou pars qu’ils n’en voit pas l’utiliter )
avec phyton et sa librairie PyGTK ou Tkinter c’est vrai le python c’est quant même bien pour sa

piman · Août 12, 2016, 4:25

Pour les carte micro sd j en ai acheter plusieur car j ai 4 pi au total à la maison avec motion qui tourne sur les 4.toutes j ai du en tester au moins 10 aucun problème
Pourquoi tu prend une caméra ip ?
avec une webcam brancher rpi et un téléphone en mode routeur
Ci ça peux t aider
Il est possible de transférer des fichiers sur dropbox avec le rpi

jojo · Août 12, 2016, 11:21

Ah! piman les bon tuyaux
j’ai été maté tous sa le tuto + les script et je me suis fais un schéma de déroulement dans le cas d’une solution dropox je me suis pas encore pencher sur la stabilité de la connexion sa faudra que quelqu’un nous ponde une idée ,meme si j’aime bien celle de piman avec le téléphone comme routeur

donc maintenant Fab tu à plus qu’a choisir la méthode et on mettra en place le système ensemble
petit à petit .
je suis pour ,pour rester sur de la ligne de commande (on te les filera au fur et mesure )

je vais faire la synthèse de ce que j’ai en tête en prennent compte qu’on a une connexion stable
pour la méthode d’enregistrement se sera Motion (dans cette exemple )

1)étape monter la clef USB 64GB(dans mon exemple j’en prend une 4 giga) et relever son point de montage
2)créer directement un dossier sur la clé USB qu’on appellera « enregistrement »
en image sa donne sa

donc mon emplacement c’est

/media/jojo/USBjo/enregistrement

3)on configure Motion,et dans le fichier de configuration motion.conf à la ligne" target_dir"
on met l’emplacement /media/jojo/USBjo/enregistrement (c’est le répertoire qui aceuille les vidéo et c’est lui qu’on va synchroniser par la suite )

4)on met en place la droopox (les script pourront être stocker dans un dossier du pi comme d’ab définir les emplacement ici on va dire que c’est dans home et que le dossier de réception de la dropox s’appelle video ) et pour la synchronisation sa donnerai

sudo /home/./dropbox_uploader.sh -s upload /media/jojo/USBjo/enregistrement /video

l’option -s permet de faire le [quote=« Gpapig, post:4, topic:456 »]
Test de cohérence entre le fichier local et le synchronisé
[/quote]

et pour finir on ferait exactement se qu’il a dit

on va dire toute les 1 heure
donc sa donnerai

*/60 * * * * sudo /home/.dropbox_uploader.sh -s upload /media/jojo/USBjo/enregistrement /video

voila le travail
il restera plus qu’a récupérer les fichier sur la dropbox et sinchro avec ton NAS(par example)
ensuite faire le tri dans les dossier d’enregistrement et vidéo
et on pourrait limite aussi automatiser cette étape

fin de la synthèse/exemple que j’avais en tete si tu choisi cette méthode on modifira juste les élément a modifier( nom des dossier exaltera )

dis moi Fab t’est que tu veux mettre au boulot

piman · Août 12, 2016, 9:46

Beau travail.
Moi j avais un script python, qui fonctionnait avec un capteur pir branché sur le port gpio du raspberry.
Motion prend des photos même quand il y a un passage de nuage

Fab · Août 13, 2016, 2:17

Salut Jojo,

Je tiens à conserver ma camera IP Axis.
Entre temps voilà ce que j’ai expérimenté avec votre aide.
J’ai
donc installé la dernière version de Raspbian puis installé et
configuré Samba mais impossible d’enregistrer les fichiers de la camera
sur le Raspberry.
J’ai donc installé OpenMediaVault et là ça a fonctionné.
J’ai
ensuite installé le client ncftp avec un crontab pour envoyer toutes
les minutes les nouveau fichiers vers le serveur FTP de mon Synology
DS216 installé sur ma connexion internet fibre.
Ca a
marché en local mais dès que j’ai installé la camera + Raspberry Pi +
routeur 3G/4G en condition mobile ca ne fonctionne plus.
Peut être que la carte SIM que j’utilise dans le routeur 3G/4G n’autorise pas l’upload vers un serveur FTP.
Il me reste donc à essayer la methode Dropbox mais je croyais que ça ne marchais pas sur les processeur ARM des Raspberry…?
Je peux aussi tenter la méthode Google Drive.
Merci encore de votre aide qui m’est très précieuse et qui me permet d’avancer.
J’espère un jour me rendre utile à mon tour auprès de ceux qui prennent du temps pour les autres.

jojo · Août 13, 2016, 11:39

Déjà de rien ,tu est dans la section projets du forum et c’est le but de ces section que chacun puisse contribuer à faire avancer se projet ,en plus hormis le faite que une fois terminer pourra tu aura une solution personnel et fonctionnel rien n’empêche que par la suite on documente la technique pour que d’autre puisse aussi l’utiliser par la suite et la modifier et l’améliorer ,bienvenu dans le monde du libre

sa je suis pas en mesure de te répondre vu mes faible connaissance en réseau distant

alors si ,
c’est l’application graphique telle qu’elle est conçu qui ne fonctionne pas et qui à pas été développer pour ARM 64
mais rien ne t’empêche de synchroniser des fichier avec ton raspi c’est pour sa que la solution que Piman à partager fonctionne clique sur le lien et li le tuto plus la doc d’ailleurs c’est comme sa j’ai pus faire ma synthèse ,si tu regarde bien j’ai moi même adapter les commande .

en plus la doc et très complète