Fájlcsere protokoll, eszköz linuxon privát hálón
2009-03-07T10:38:46+01:00
2009-03-10T16:38:37+01:00
2022-07-19T03:51:36+02:00
whito
Sziasztok,

Adott egy több tíz, akár 100 gépből álló linux hálózat (házi fejlesztésű, elosztott számítási algoritmusok futnak rajta). Olyan eszközre vagy technológiára van szükségem, amellyel ezeken a gépeken szét tudok teríteni nagy méretű fileokat.

A hálózatban van egy dedikált gép, amelyhez kívülről, pl. FTP fel lehet tölteni fileokat. Erre a gépre feltöltött fileokat szeretném szétteríteni a gépek között (mindegyikre ugyanazt a file-t átmásolni), amelyek azután feldolgozzák a feltöltött file-t, számításokat végeznek vele. A fileok mérete elérheti a GB méretet. Attól félek, hogy ha az egyetlen központi gépről tölti le mindegyik, akkor egyrészt teljesítmény problémáim lehetnek, másrészt beterheli a sávszélességét a központi gépnek. Továbbá cél, hogy minél kevesebb idő alatt jöjjön le egy gépre az anyag. Tehát így ha egy gépről töltené mindenki 1GB-ot, akkor az 100GB forgalommal is terhelné az egy gépet, ami még GBit ethernet esetében is sok időbe telik (max néhány perc alatt szeretném ha egy node megkapná a file-t).

Arra gondoltam ezért, hogy valami torrent szerű protokollal teríteném szét a fileokat, így levéve a terhet egyetlen gépről. Viszont nem vagyok biztos benne, hogy ezzel meg tudom-e oldani, ugyanis nekem még a következő dolgokra is szükségem van:
- a letöltést scriptelni tudjam, és nem automatikusan akarom, hogy a file átjöjjön egy node-ra, hanem csak akkor, ha az adott node kéri. Kb. olyat akarok, hogy elindítok egy scriptet, hogy kérem az XY file-t, majd ha a script lefut, akkor akarok indítani egy feldolgozást, tehát meg kell tudnom állapítani, hogy befejeződött-e a letöltés
- azon a gépen, ahonnan letöltök ismerem a file nevét és útvonalát a központi gépen (ezt lekommunikálják egymással a node-ok)
- TCP protokoll használható, semmit exta hálózati dolog, pl. multicast, broadcast
protokollok nem elérhetők
- a gépek egymásról nem tudnak csak a központi gépről
- gyors kommunikáció. A GB méret max. néhány perc alatt jönnön át egy gépre.

Erre a problémára szeretném, ha valaki tudna eszközt ajánlani.

Várom a javaslatokat.
Mutasd a teljes hozzászólást!

abcd