相关论文:Gaussian Splatting with NeRF-based Color and Opacity

源码下载

1.直接使用git命令,指令如下

git clone git@github.com:https://github.com/gmum/ViewingDirectionGaussianSplatting--recursive

2.直接下载:
如果在windows下可能较慢容易出错因此我直接下载的安装包,下载后会缺少一些东西,因此我把东西补齐之后上传到了网盘:
链接:https://pan.baidu.com/s/1lxGTD6zrB-L0EE0NCPeyIQ?pwd=6w7f
提取码:6w7f

环境配置流程以及问题解决

下载好的文件解压后如图:

在这里插入图片描述
打开终端CD到该地址,执行如下命令:

conda env create -f environment.yaml

安装完成后利用pycharm打开源码可发现图中两个包依然不存在
在这里插入图片描述
第一个包直接pip执行以下命令:

pip install comentjson

最难的是 tinycudann包的安装,我尝试了一天翻阅了各种资料最终终于安装成功

tinycudann包不能用国内镜像的pip直接安装因此依然有两种方法,在安装tinycudann之前需要安装桌面开发C++版的Visual Studio 2019
在这里插入图片描述
安装后按上图步骤配一个环境变量 变量地址(自己VS的根目录)\Professional(如果是社区版找community)\VC\Tools\MSVC\14.29.30133(版本号)\bin\Hostx64\x64

配置完成后终端输入cl 出现如下结果则安装成功;
在这里插入图片描述

下面我们开始tinycudann的安装方法有两种
1.终端指令安装
输入以下指令:

pip install git+https://github.com/NVlabs/tiny-cuda-nn/#subdirectory=bindings/torch

2.直接下载
第一种方法我直接报错了,因此我依然从网页上直接下载该包,下载后依然缺少相关文件如图::

我对该文件进行了补全上传到了网盘:
链接:https://pan.baidu.com/s/17x9TKnuerUunF2wR3KlLKA?pwd=ojw1
提取码:ojw1

我们对该文件进行解压,打开该文件夹 按地址进入该界面:
在这里插入图片描述
**

这里注意如果通过git下载的朋友请打开 setup.py文件 把最后一行修改为**

cmdclass={'build_ext': BuildExtension.with_options(use_ninja=False)}

首先我们进入刚配置好的环境:

activate vdgs

然后打开终端,我们首先需要找到VS2019根目录中的vcvarsall.bat文件,并复制该文件的地址执行以下指令(这个很重要windows会默认你是x86。因此必须强制该文件为x64,不然识别不了很多c++的源文件):

".../Auxiliary/Build/vcvarsall.bat" x64

省略号代表VS2019专业版(Professional)或社区版(community)根目录地址

之后我们CD到setup.py所在目录并输入以下命令:

python setup.py install

安装过程出现以下情况可以忽略:

在这里插入图片描述

安装成功;
在这里插入图片描述

训练渲染过程:

1 数据准备
准备照片,组织成如下目录结构:

PS C:\Users\lucky> tree /f test
C:\USERS\LUCKY\TEST
├─input
│ 1723516992.444349.png
│ 1723516992.544349.png
│ 1723516992.644349.png
│ 1723516992.744349.png
│ 1723516992.844349.png
│ 1723516992.944349.png
│ 1723516993.044349.png
│ 1723516993.144349.png
│ 1723516993.244349.png
2 colmap生成3D点和位姿

python convert.py -s C:\users\lucky\test

test
├─distorted # 祛畸变后的
│ └─sparse
│ └─0
│ └─ cameras.bin
​​​​​​​│ ​​​​​​​│ images.bin
​​​​​​​│ ​​​​​​​│ points3D.bin
​​​​​​​│ ​​​​​​​│ project.ini
├─images # 祛畸变后的照片
├─input # 原始照片目录

3 训练模型

python train.py -s C:\users\lucky\test -m C:\users\lucky\test\output

4 可视化
(此过程终端需要cd到图中bin目录然后运行谢列而代码)
在这里插入图片描述

SIBR_gaussianViewer_app -m C:\users\lucky\test\output

原文参考:https://blog.csdn.net/weixin_41965898/article/details/142203862

**

结果对比

**

由于VDGS不能在SIBR中交互式可视化因此图片不太清晰
VDGS的可视化:
在这里插入图片描述

3DGS的可视化;
在这里插入图片描述

关于tinycudann的警告:
如果你是中途看见这篇CSDN按我的步骤安装的话,请不要用你之前的tinycudann文件,请重新下载我发的文件下载,如果你按我的步骤装的tinycudann并且安装失败了,也请再下一边重复我的操作,不要用之前的文件重复一个操作不然依然装不上,因为我之前也是在一个文件上试了很多次,最终会报错。

Logo

欢迎来到FlagOS开发社区,这里是一个汇聚了AI开发者、数据科学家、机器学习爱好者以及业界专家的活力平台。我们致力于成为业内领先的Triton技术交流与应用分享的殿堂,为推动人工智能技术的普及与深化应用贡献力量。

更多推荐