windowsではpip installで出来なかったのでビルドしてインストールしてみました。
gitのissueを見ると現時点の最新版のv0.12.6は無理そうなのでv0.8.3をインストールします。
(参考情報：Installing DeepSpeed on Windows!)
※v0.11.2のインストール方法はこちら
テスト環境
OS : Windows 10
CUDA : 11.8
Visual C++ build tools : Visual Studio 2022 community
Python : 3.9.13 (3.9.X系は必須 , Anaconda環境下)
PyTroch : 2.1.1
※CUDA系のパス(CUDA_HOME / CUDA_PATH)は通ってる前提です。
1 : DeepSpeedのclone
git clone –branch v0.8.3 https://github.com/microsoft/DeepSpeed.git
2 : build_win.batの編集
set DS_BUILD_EVOFORMER_ATTN=0
を”set DS_BUILD_SPARSE_ATTN=0″の後ろに追加
管理者権限でコマンドプロンプトを開き、build_win.batを実行。(結構待つ)
3 : install
ビルドに成功するとdistフォルダにwhlファイルが生成されるので、pip installする。
cd dist
pip install deepspeed-0.8.3+f1e4fb0b-cp39-cp39-win_amd64.whl
※.whlのファイル名は環境によって違います。
