はじめに Turingの基盤AIチームに業務委託として所属している東京科学大学(Institute of Science Tokyo)の藤井です。 本記事では、LLM(Large Language Models)やVLM(Vision Language Models)などの学習で利用するデータセットを複数のデータセンター間で並列転送する際に利用しているLFTPの使用方法について紹介します。AWS S3, GCSなどのCloud Service企業のストレージサービスを利用される場合は、aws s3コマンド
はじめに Dockerのversionを18から20にアップグレードしたところ、SDK for JavaScript v3でS3へアップロードする際に、InvalidChunkSizeErrorのエラーが発生したため、その解消方法について記事にしていきます。 InvalidChunkSizeError: Only the last chunk is allowed to have a size less than 8192 bytes Only the last chunk is allowed to h