Openvla复现记录-ubuntu24.04-5090主机-cuda12.4
我们通过 LoRA (r=32) 在四个 LIBERO 任务套件上分别对 OpenVLA 进行了微调:LIBERO-Spatial、LIBERO-Object、LIBERO-Goal 和 LIBERO-10(也称为 LIBERO-Long)。基本没什么问题,中间numpy版本冲突了一下,换了一下opencv的版本。这里安装libero,就算标黄也别用以下了,后面可能测试评估时会报错。就是前面安装用
# Create and activate conda environment
conda create -n openvla python=3.10 -y
conda activate openvla
# Install PyTorch. Below is a sample command to do this, but you should check the following link
# to find installation instructions that are specific to your compute platform:
# https://pytorch.org/get-started/locally/
conda install pytorch torchvision torchaudio pytorch-cuda=12.4 -c pytorch -c nvidia -y # UPDATE ME!
# Clone and install the openvla repo
git clone https://github.com/openvla/openvla.git
cd openvla
pip install -e .
# Install Flash Attention 2 for training (https://github.com/Dao-AILab/flash-attention)
# =>> If you run into difficulty, try `pip cache remove flash_attn` first
pip install packaging ninja
ninja --version; echo $? # Verify Ninja --> should return exit code "0"
pip install "flash-attn==2.5.5" --no-build-isolation
基本没什么问题,中间numpy版本冲突了一下,换了一下opencv的版本
有报错或许可以在pip最后加上以下来解决
--use-pep517
LIBERO 模拟基准评估
可以安装在openvla目录下
git clone https://github.com/Lifelong-Robot-Learning/LIBERO.git
cd LIBERO
pip install -e .
此外,安装其他必需的软件包:
cd openvla
pip install -r experiments/robot/libero/libero_requirements.txt
这里安装libero,就算标黄也别用以下了,后面可能测试评估时会报错
--use-pep517
启动 LIBERO 评估
我们通过 LoRA (r=32) 在四个 LIBERO 任务套件上分别对 OpenVLA 进行了微调:LIBERO-Spatial、LIBERO-Object、LIBERO-Goal 和 LIBERO-10(也称为 LIBERO-Long)。这四个检查点在 Hugging Face 上可用:
其中一个,可以安装在openvla目录下
https://huggingface.co/openvla/openvla-7b-finetuned-libero-spatial
git clone https://huggingface.co/openvla/openvla-7b-finetuned-libero-spatial
回到openvla目录
python experiments/robot/libero/run_libero_eval.py \
--model_family openvla \
--pretrained_checkpoint openvla/openvla-7b-finetuned-libero-spatial \
--task_suite_name libero_spatial \
--center_crop True
应该可以开始跑了
如果遇到
import libero
ModuleNotFoundError: No module named 'libero'
就是前面安装用了下面的,别用。再装一遍就行
--use-pep517
结果在rollouts里
50系显卡需要注意pytorch版本问题,注意下载2.6以上的
1. 2.6以上需要修改此处:找到__init__.py中torch.load,加上weights_only=False
init_states = torch.load(init_states_path, weights_only=False)
2. AttributeError: 'MjRenderContextOffscreen' object has no attribute 'con'
可通过以下解决
export MUJOCO_GL=glx
欢迎来到FlagOS开发社区,这里是一个汇聚了AI开发者、数据科学家、机器学习爱好者以及业界专家的活力平台。我们致力于成为业内领先的Triton技术交流与应用分享的殿堂,为推动人工智能技术的普及与深化应用贡献力量。
更多推荐
所有评论(0)