「TECH PLAY 技術ブログまとめ」では様々な企業やコミュニティが発信する技術ブログの更新情報をまとめてお届けしています。 プログラミングやインフラ、アーキテクチャといった技術情報はもちろん、マネージメントや開発プロセスなどIT業界で働く皆様のヒントや刺激になる情報が日々蓄積されています。 知りたい分野がある場合はタグから選択して絞り込むこともできますし、気になる企業やグループはお気軽にフォローしてみてください。
はじめに Turingの基盤AIチームに業務委託として所属している東京科学大学(Institute of Science Tokyo)の藤井です。 本記事では、LLM(Large Language Models)やVLM(Vision Language Models)などの学習で利用するデータセットを複数のデータセンター間で並列転送する際に利用しているLFTPの使用方法について紹介します。AWS S3, GCSなどのCloud Service企業のストレージサービスを利用される場合は、aws s3コマンド