Emuler une OS grand public sur un cluster de RPi

Bonjour à tous !

Je suis nouveau par ici, et en plus de ça je suis un n00b ! J’espère que vous serez clément avec moi et que vous pardonnerez mon ignorance ! :smiley:

Vénérant les nouvelles technologies, je me suis intéressé de près aux raspis et aux projets intéressants que l’on pouvait réaliser notamment celui ci : 40-node RPi cluster

Comme le « produit fini » fait la taille (approximative) d’une tour de bureau normale ayant un puissance de calcul particulièrement intéressante grâce au callcul en parrallèle et connaissant des systèmes existants comme Berryboot qui permet de lancer des OS différentes à chaque démarrage à partir d’un disque dur ou encore des programmes dont j’ai oublié le nom mais qui permettent de virtualiser des machines virtuelles (ce qui permet de faire tourner Windows 10 sur un Mac, google-isez ça vous verrez c’est possible) ma question-projet (car si cela s’avère réalisable, j’espère que nous pourrons peut-être concrétiser l’affaire) est :

Peut on créer un programme que l’on puisse faire tourner sur la raspi maître d’un cluster composé d’un certain nombre de raspis et qui puisse émuler une OS de type Windows ou Linux tout en faisant tourner des programmes lourds comme des jeux comme ceux sur Steam ou des logiciels de CAO comme Katia ou SolidWorks sans avoir de ralentissements et même atteindre une puissance plus grande qu’un ordinateur de bureau (voire de gaming) ?

Si oui, comment fait-on ? Qui dispose d’un cluster en France qui puisse faire les tests ? En combien de temps pouvons nous réaliser cela ?

Si on y arrive, cela ne serait il pas intéressant pour ceux qui ont les connaissances, les moyens et/ou le besoin d’avoir un tel outil ? (Et aussi de prouver aux anglais que ce n’est pas parce que le produit vient de chez eux qu’ils sont les seuls à pouvoir développer des programmes d’une telle complexité… ) :smiling_imp:

Sans compter le fait que dans le domaine technologique ce serait une grande avancée de pouvoir démultiplier la puissance de calcul des PCs du marché actuel juste par quelques modifs dans le hardware et le software, non ?

Hormis ce genre d’ambitions, qui est partant pour réaliser des prouesses avec moi ? :smiley:

J’espère avoir pu vous convaincre de se lancer dans ce projet, au revoir !

Salut ,

Dans un premier temps j’aurais mis le sujet dans discutions générale et ensuite je dois dire que vu ma beaucoup fait rire de part ton insouciance et le faite que tu est fait un pavé ,en citant pas mal de technologie et de domaine que tu ne connais pas et ne comprends pas ,

Mais je te trouve trés sympathique et je suis pas du genre a envoyer boulé les gens .

Oui justement je vais quand même te répondre en restant sympa , le plus explicatifs ,pédagoge possible , je vais donc parler technique mais en simplifiant un maximum ,j’espère que je vais pas me perde donc je vais te répondre passage par passage ,il y a des point que je m’attarder pas car sa n’a pas d’intérêt

ce passage ma déja fait rire , j’ai volontairement virer le passage de berryboot car justement il a pas vraiment d’intéret , je parle du multi boot dans ce genre d’installation car ou tu virtualise ou tu fais des partion de boot ,
par exemple tu peux avoir un PC qui au Démarage (au boot) peut démarer soit sur windows,mac ou une distribe linux oui le choix entre les trois , donc la on parle bien d’un boot natif et pas d’une virtualisation , je sait sa doit te paraître incompréhensible et tu dois pas saisir la nuance , jpourais t’expliquer mais serait un long pavé , c’est pour sa je passe ce passage

sa s’appelle des Virtualisateur,émulateur ou des hyperviseur (qui peuve d’ailleurs tourner en cluster :wink: )

on sait c’est le principe de la virtualisation et d’une VM (machine virtuelle )

La on arive déja sur un point technique car la Virtualisation c’est un trés vaste domaine ,mais je vais faire simple ,

  • pourquoi c’est faisable avec windows et mac et meme linux dans l’état ?

par se que les OS tourne sur la même architecture de processeur donc les meme jeux d’instruction (j’irais pas plus loin dans l’explication )et qu’on doit seulement faire l’émulation du coté logicielle

*Pourquoi je peux pas faire tourner Windows ou macOS avec le PI ?

Parsque le Pi tourne sur archicture matérielle différente , pas sur les même processeur pour faire plus simple ,

Le PI c’est une architecture ARM , un processeur ARMHF pour être totalement précis ,

donc pour faire sa il faudrait une VM qui tourne sur un émulateur qui gére l’émulation matérielle

Je me permet si tu veux plus d’info (sa me fait gagner du temps ) de te renvoyer ici Comment connaître l'interface graphique utilisé par son raspberry? - #3 par lordaker - Aide - Le Forum français de la Raspberry Pi - Raspberry Pi FR (Raspbian France)
car ici la personne souhaitait faire l’inverse émuler de L’ARMHF sur un PC Bureau .

Un aute exemple pour conclure tu peux pas faire non plus tourner nativement un Ubuntu mate destiné au proceseur X86 sur le PI , mais il existe une version pour le PI et enfin dernier point Windows et MACOS n’existe pas sur ARM

Alors la sa complique un peux pour te répondre , car ton manque te connaissance te fait oublier des détail trés important , je peux cité par exemple la compatibilité et le faite que du confonde puissance de calcul brut et possibilité , aussi que tu rends pas forcément compte le boulot d’optimisation que sa réclame

je vais comme plus haut prendre point par point pour te donner tout les info possible

Techniquement c’est hypothétiquement possible de faire tourner les OS sur ce type de cluster , oui car si on a asser de puissance , on peut trés bien faire tourner une VM avec l’émulation matérielle pour gérer windows ,ou des VM dans des VM , voir meme des conteneur de virtualisation mdr je m’embale un peu car des couche sur des couche j’osse pas imaginer la stabilité ptdr

Hors sujet (mais un peu dedans quand meme ) : il y a déja des méthode qui existe sur des pi seul ,
qui font tourner des VM linux en X86 avec desus wine (Wine is no emulateur, c’est une couche de compatibilité ) qui permet de faire tourner des programme windows , pas tous tu t’en doute (je vais pas faire non plus un exposé sur WINE )

Sauf que dans l’etat actuelle des chose c’est pas asser stable (hé oui il y pas que la puissance il y a il a aussi la stabilité logicielle ) donc meme avec asser puissance pas sur que sa fonctionne en plus la il nout faut une émulation X86-64 bits pour windows 10

Donc déjà la il y a un gros défi technique a relevé, je pourais rentrés dans les détail mais j’aurais peur de te perdre

Non , car c’est la qu’intervient le problème de compatibilité et d’optimisation ,

je fait aussi trés cours ici sur un ordi « gaming » se qui fait que ta des bonne performance c’est le matérielle carte graphique par exemple et les logicielle de l’eco systéme de ces carte (les pilote exetera )

Hors la partie logicielle est énormément importante pour l’optimisation et les performance , c’est pour sa D’ailleur qu’actuellement Nvdia et plus perfomant que AMD ,
et justement ces logicielle sont pas libre donc tu peux pas faire se que tu veux, c’est aussi pour cette raison qu’il est actuellement plus simple d’avoir un PC sur windows que sur Linux pour jouer , c’est mieux optimiser sur Windows car les concepteur des carte graphique optimise en priorité sur windows car plus grand public exaltera (je vais pas plus loin car je m’égare )

Donc pour faire simple tout sa n’est pas qu’une question de puissance , mais plutot de matérielle au sens large tu pas avoir 100 Carte graphique en cluster des années 90 tu ateindre pas les performance d’une 1080 de cher Nvdia , a par si tu a des ingénieurs sous la main bien sur mdr

Des cluster sur PI j’en ai encore jamais vu en vraie et je sait pas si il y en a en France , car des cluster sur PC chargé de VM sa existe partout entreprise administration .

Et faire les test tu trouvera personne

la question c’est plutot pour combien ? car un telle projet demande de déployer du monde qualifier

Je sait pas quoi répondre a sa en faite , qui aurait faire un telle projet et surtout l’utilité celui si , a oui au faite faire tourner windows sur un super ordinateur(ou un mini super ordinateur) c’est une blague enfaite , sa va faire rire la plupart des gens qui vont lire sa , la plupart des super calculateur tourne sur linux a 94% c’est pas pour rien .propose sa au gouvernement il font peut etre te financer ptdr

Avec des raspberry pi ???
Avencé non , par contre Défis et exploit oui

Juste quelque modification oui Juste comme tu dits , tu commence et je fine ptdr
désolé d’etre aussi Ironique

je vais etre honnete m’étonerait que tu trouve du monde a pars si tu a un gros paquets de poignons a investir ou tu trouve des mec trés compétents et motivé et qui on pas peur des défis et qui on du temps a perdre

Voila désolé d’avoir été ironique sur la fin , j’espére que sa a pus t’éclaircir sur la viabilité du projet

Re ! Merci d’avoir été franc avec moi, jme disais bien que si c’était faisable, c’eût été fait depuis longtemps, c’est juste que je me disais que peut-être ce serait pas si complexe… En fait je suis pas si inculte que ça : je suis en terminale STI2d (bac techno mais option conception pas informatique) et je dois avoir compris environ les 3/4 de vos explications, c’est pas mal, non ?

Alors nan, je pensais pas des raspi pour ça mais un prototype commence bien avec quelque chose n’est ce pas ?

Mais on peut faire tourner linux sur un PiCluster donc ? j’ai vu que CATIA (logiciel de CAO) Steam et Kerbal Space Program fonctionnent sur linux (KSP en Debian, Katia en Unix) Ces programmes la fonctionneraient sur un cluster alors ? En fait plus simple : Raspbian peut tourner sur cluster ? Si oui, on peut installer ce que j’ai cité ci-dessus ? (au besoin j’ai une licence KSP je peux télécharger une copie pour Debian afin de tester…)

Dommage que chez Microsoft et bien d’autres entreprises de prog et d’intégration, ils n’aient pas réfléchi au système de calcul en parallèle, imaginez : des ordinateurs composés de plusieurs cartes mères (plus petites que celle actuelle bien sur avec chacune des processeurs d’une certaine puissance de calcul et les programmes adaptés pour ce genre d’installation, on se plaindrait pas de la surcharge de la plupart des pc du marché avec les software développés actuellement… On fait tourner SolidWorks 2017 au lycée, résultat, on attend parfois 10-15 mn juste pour qu’il nous fasse des modélisations de base comme une déformation… Enfin je vais pas raconter ma vie mais avouez que ce serait intéressant non ? Prenons un jeu : le moteur graphique est géré par les esclave auxquels on a attribué cette tache le moteur physique idem, etc, chaque partie d’un programme gérée par des systèmes indépendants un peu comme les organes d’un être vivant ou plutôt comme les parties différentes (ce ne sont jamais les mêmes vous saviez ?) d’un cerveau qui s’activent pour chaque tache (juste pour la métaphore hein ?) ce serait le pied non ?

Je vais m’arrêter la, je laisse ce genre de projets aux experts, et on va se contenter de ce que peut nous offrir la technologie présente…

N°72, over !

Ben c’est déja linux qui tourne desus lol je te charrie,
tu fait référence a un linux X86_64 bits , je pense(aprés j’ai pas un cluster d’origine) car on peux déja le faire tourner sur un PI seul a des performance trés trés reduite avec qemu(émulateur matérielle) , mais il existe même une solution qui fait tourner un bureau X86 sur pi c’est payant aussi on a un sujet récent qui en parle Teamspeak 3 Client - exagear - QXcbConnection: Could not connect to display - Aide - Le Forum français de la Raspberry Pi - Raspberry Pi FR (Raspbian France) ou un article sur Magp ici ExaGear desktop review - Pi virtualisation — The MagPi magazine

donc je pense qu’avec un cluster on peux gérer une VM

je te confirme je suis sous linux et steam tourne et Kerbal aussi (j’ai pas ce dernier mais je connais le jeux )

pas un cluster pi malheureusement sinon il faudrait gérer la partie graphique et je sait pas si possible ,peut etre avec du render farm ? la sa dépace mes connaissance

oui si tu achéte un jeux sur steam sur ton windows tu peux le rétélacharger sur ton linux si celui si est compatible linux et pareil pour mac d’ailleur

le clustering on l’utilise sur linux on fait meme du render farm pour des rendue graphique , ta meme des mec qui déterre de vieux pc pour sa ,tiens un article en francais qui renvoie faire un tuto en anglais Créer sa render farm Blender maison. – Blenderlounge

Détrompe toi sa se fait aussi cher microsoft !

sur une version de windows serveur mais c’est réserver au pro aussi et sa coute cher en licence

a tu déja entendu parler du cloud gaming ? qui est d’ailleur été lancé en france avec shadow il y a quelque semaine Clubic - La meilleure source d'information Tech

c’est ni plus ni moins que du render farm en réseaux et a distance !

c’est fesable en local tous sa :wink: avec des vrai PC

mais sinon sa se fait dans le domaine de la recherche et dans certain institue médical

,y a meme un mec qui a fait un cluster de 8 1080 pour faire sauter des clé cryptage Il a assemblé 8 GeForce GTX 1080 pour... casser des mots de passe

Tu débarque toi mdr :wink:

H.S: j’oubliais mais tu peux streamer steam sur pi avec moonligth regardes [RESOLU] Steam avec Raspbian - Aide - Le Forum français de la Raspberry Pi - Raspberry Pi FR (Raspbian France)

j’ai fini la confuguration avec lui en MP

En fait, je crois que j’ai ouvert ce topic juste pour exprimer ma déception de ne pas voir des clusters grand public… Le jour où en fabriquera ce genre d’ordinateur et que les éditeurs de software développeront dessus vous pouvez pas savoir à quel point mon estime de l’humanité remontera ! (Parce ce n’est un secret pour personne qu’en ce moment on fait un paquet de conneries) le cloud gaming c’est bien mais 1) c’est du cloud donc ça dépend du débit qu’on a 2) on ne fait que du gaming pour faire autre chose faut se payer (il n’y a que les entreprises de grande taille disposant de personnel qualifié dans les manipulations de ce type de machine qui peuvent se l’offrir) son cluster sans os (ni de software adaptés) disponibles actuellement et en plus ce n’est qu’en abonnement que c’est disponible chez les rares opérateurs qui proposent le service ! Bref.

jvais m’arrêter la pour vous dire merci par rapport à vos explications, le fait est que je ne viens pas de débarquer, je connaissais tout ça déjà mais je ne voyais pas de lien entre eux c’est tout et je n’étais pas au courant que un Windows serveur existait (on peut faire tourner des programmes de Windows « normal » dessus ?)

Ah et Raspbian peut tourner en cluster ? Comment marche le programme de VM sur un cluster ?

n°72 over !

je suis désolé mais j’aimerai que tu me donnes ta définition
grand public accessibilité financière ou technique ?

sa se fait aussi en faite, mais c’est pas donnée

c’est logique en faite mais il vont pas bradé les composant et vendre a perde , sinon je connais des mec qui on leur cluster a la maison ,pas des truc de fou mais des cluster quand même fait maison
et tu trompe meme certaine petit boite ou meme des mairie en ont(pas toute) , la derniere fois j’ai vu un cluster c’était en mairie.

je vannais un peu t’inquiète

T’inquiéte ces normal , quand tu ira en entreprise ou dans le public tu pourra voir ce genre de chose

Ben c’est pas trés courant(30% de part de marché ) , pour te dire la vérité j’ai jamais tester windows server , mais je devrais travailler dessus dans quel que mois normalement mais je suis pas présé ,vu les retour que j’ai eu dessus aprés je travaille avec des mecs qui utilise linux pour leur serveur et certain sont des anti windows ,donc voila c’est pas très objectifs mdr

sa dépends se que tu entends pas normal si paint sa conte ,c’est bon alors mdr , mais je vois pas l’utilité c’est une version serveur , sur la version serveur tu a pas d’interface graphique mais tu peux l’ajouter mais c’est pas utilie sur un serveur tu vois ou je veux en venir ?

Appparament c’est sa qui tourne desus coome je te l’ai dit j’ai jamais tester un cluster pi et il y a trés peu d’info sur ce type de montage

Sur pi ?

sinon tape xen ou KVM par exemple tu devrais trouver, car c’est comme si tu me demandais comment fonctionne un OS , je saurais te répondre mais je saurait pas par ou commencer et se qui faudrait se que je t’explique exactement et je suis pas un expert en Hyperviseur et en virtu meme si je l’ai déjà vu fonctionner et vu quelque truc de configs