まえがき
先日AMD公式からAMD HIP SDK for Windows 6.4.2がリリースされました。
試験段階ではあるようですがWinでのPyTorch利用に対応しており、 AMDのROCmドキュメントにもWin環境での導入方法が記載されています。 Windows上でのROCm利用が現実的になる日も近いのかもしれません。
ただしRX6000シリーズ、テメーはダメだ
RDNA2でもWinでPyTorch使いたい
今回の6.4.2でWin版PyTorchに正式対応したのは、RDNA3とRDNA4のみです。 WSL対応も未だにこれらだけなので、分かりきっていた事ではあります。 HIP SDK 7.0になったとしても状況は変わらないでしょう。 WSL上でrocminfoしたらRX6800のGPU情報は出るのに…
公式対応しないのなら、ユーザービルドを使えばいいじゃない。
今年の5月には既に使えたらしいです。 最近AI関連全く調べてなかったから知らなんだ…
gfx1030どころか1031まで対応しているので、RX6700等でも使えます。 ということで早速これとSD.Nextを併用したのですが、
普通に苦戦した…
SD.Next側の更新が主な要因でした。行動が遅かった。
ComfyUIやreForgeは某としあきに導入法載ってるけどSD.Nextはなかったので、 当初はSD.Next with TheRockの導入記事にしようと思ったのですが、 結局BATファイル書いて半自動化しました。
ちなみにRDNA3以降であれば、HIP SDK 6.4.2を入れて、引数--use-rocmを伴ってwebui.batを起動するだけでよさそうです。 楽でいいなぁ…
前提ファイル
先に申し上げますが、TheRockのユーザービルド、及び当スクリプトの御利用は各自の責任によって行ってください。
利用することによるいかなる問題も当方では責任を負いかねます。
BATファイルの利用に必要なものは以下
-
Git(https://gitforwindows.org/)
とにかくgitコマンドが扱えればよし
-
Python 3.11(https://www.python.org/downloads/release/python-3119/)
リンクは3.11.9ですが3.11台であれば多分どれでも可 Win環境変数 Pathへの登録は不要
-
lshqqytiger/TheRock(https://github.com/lshqqytiger/TheRock/releases/tag/build0)
- HIP-SDK-develop.zip
- torch-2.7.0+rocm6.5.unofficial-cp311-cp311-win_amd64.whl
- torchvision-0.22.0+rocm6.5.unofficial-cp311-cp311-win_amd64.whl
- torchaudio-2.7.0+rocm6.5.unofficial-cp311-cp311-win_amd64.whl
TheRockのページからダウンロードしたファイルの名前は変更しないでください。 スクリプトで導入できなくなります。
SD.Next導入用スクリプトを以下からダウンロードしてください。
導入方法
Git, Pythonのインストールは各自で行ってください。
Pythonの環境変数Pathへの登録はあってもなくてもいいです。
bat内でpy -3.11としてバージョン対象を指定してあります。
その後、DLしたファイル群を以下画像のように、SDNextを導入したいディレクトリにまとめてください。
フォルダー6.5はHIP-SDK-develop.zip内に存在します。
今回は導入するフォルダー名をsdnextとしていますが、名前は任意で構いません。 どうせgit pullはしない…というよりしてはいけないので。
配置が終わったら、sdnext_rocm6.5.batを実行してください。
スクリプトの最後に、webui-rocm.batを起動するかの確認が入ります。
yで当スクリプトは終了し、そのままSD.Nextの初回起動に移ります。
nの場合は自分でbatを起動し、SD.Nextの初回起動を完了してください。
sdnext_rocm6.5.bat自体は今後の誤操作を防ぐため、ここでの選択に関わらず消去されます。 Torchのwhlファイル3種は残ったままなので、他所に移動するか自分で削除してください。
初回起動はNumpyに関するエラーが発生するはずなので、導入後ブラウザーが開いた時点でSD.nextを一度終了してください。
これ以降はwebui-rocm.batから起動すれば、
RDNA2でもROCm(TheRock)を利用して、Windowsで画像生成ができるようになります。ZLUDA無しで。
lshqqytiger氏様々ですね…
生成する前に…
初回の生成の前に、Cross Attentionは必ずSplit Attentionに変更してください。GPUメモリ消費量も生成時間もちょっと減ります。
20ステップ1024x1024で生成時間3秒・GPUメモリ消費1.5GBくらい減ったのでとりあえず良しとします。
一応Tritonの自動導入もあるよ
スクリプトzipのomakeフォルダにあるwebui_triton_install.batでTritonの導入も一応可能です。
先ほどの要領でbatと以下のwhlを、SD.nextを導入したディレクトリに直接入れて、batを実行してください。
こちらも実行後はbat自身のみ削除されます。
- lshqqytiger/triton(https://github.com/lshqqytiger/triton/releases/tag/bb314b47)
- triton-3.3.0+gitbb314b47-cp311-cp311-win_amd64.whl
当時のSD.Next wikiのZLUDAページでの指定がこのバージョンだったので、それに倣っています。
でも入れても意味なかったです。
詳細は後述。
軽く解説
batとかその他諸々について軽くだけ
SD.Nextのチェックポイントについて
SD.nextは現行だとNumpy 2.xでないと利用できないのですが、lshqqytiger氏のPyTorchで利用可能なのは2.0未満。 Numpyが2.x未満でも動くSD.Next最終バージョンは25年6月末のチェックポイント 4c43c1cc5ee9a97b6cc18ab775c610fd20206285 でした。
そういう訳でスクリプトによる導入後のgit pullは厳禁です。 コマンドが通ってしまった場合、TheRockで一切使えなくなって導入からやり直しです。
ちなみに初回起動のNumpyエラーは、Torchインストール時にNumpy 2.0以降が入ってしまうのが原因と思われます。 webui起動前に1.26.4入れ直してもよかったかもしれない。
SDP Attentionは使えない？
なんならたまにGPUドライバごとwebui落ちます。
AI周りに詳しくないので原因はわかりませんが、思ったほど速度が出ていない。 というかSDPオプション全消ししても一切何も変わりません。 純正HIP SDKとZLUDA使ってた時は、少なくともSDPのほうがSplitより早かったはず。
RDNA2で強引にネイティブ実行しているのが原因の気はする。
ZLUDAはdbのビルド時間が異様に長くなっていて今回試せていません。 なんじゃこりゃ…
Tritonは効果なし
前述のSDPの件がある以上当たり前かもしれませんが、Tritonは何の効果も及ぼさないです。
説明を見る限りデフォルト設定でTritonを入れた時点でsdpならFlash Attention 2を使うはずですが、 何度生成しても導入前と同じメモリ消費量と生成時間です。Split Attentionのほうが早いし省メモリ。 そもそもFlash Attentionなくても何も変わらないから、ハナから動いていないかも…
RDNA2で強引に(ry
ZULDAなら通るんでしょうか…？
ちなみに別環境で現行のTritonビルドを使用したところ、stdio.hが見つからないというエラーが必ず発生。 どうしろと…？
あとがき
というわけで、我が家のRX6800でも無事ROCm直でAI画像生成できるようになりました。 いつの間にここまで来ていたのか。
でも頻繁に生成するならZLUDAでいい気はする。
久々に弄ったらZLUDAのビルドにめっちゃ時間かかって、気軽に遊べないのが原因で調べ始めたので。 この方法だと初期ZLUDAくらいにしか弄れないっぽいが。
ちなみに某としあきにあるreForgeも、今から導入すると今回と似たようなエラーを吐く模様。 こっちまで弄る気力はもう無い…
gfx1030のWin版PyTorch公式対応来ればいいんだけど、 AIコア載ってないから一生来なさそう。 これ以上を望むならLinuxを使うか現行機買うか、
そもそもGeForce買えってことなのでしょう。
次調べるのは多分半年後とかだと思う。