Visionary
Visionary 是一个基于 WebGPU 和 ONNX Runtime 构建的开放、原生 Web 平台，支持在浏览器中实时渲染多种 Gaussian Splatting 变体（3DGS、MLP-based 3DGS、4DGS、Neural Avatars 以及任何未来的算法），并可直接渲染传统 3D Mesh；同时支持使用前馈网络进行后处理。
核心特性
- 原生 WebGPU 驱动：利用 webgpu 实现百万级高斯粒子的高性能并行排序与渲染。
- 混合渲染架构：自动处理高斯点云与标准 Mesh 的深度混合（Depth Compositing），完美解决遮挡问题，支持复杂的场景组合。
- 统一资源加载 (Universal Loader)：单一接口智能识别并加载多种格式：
- 静态高斯: PLY, SPLAT, KSplat, SPZ, SOG
- 标准模型: GLB, GLTF, FBX, OBJ
- 4DGS/Avatar/scaffold-GS: ONNX
- 自定义算法: 详见导出算法至 ONNX
文档导航
入门指南
- 快速开始 (Quick Start)
了解如何安装依赖、启动演示项目 (Showcase Scene) 以及自定义模型配置。
开发指导
1. 核心基础 (Foundations)
本章涵盖：
- 环境初始化：配置 ONNX Runtime (ORT) 与 WebGPU 上下文。
- 统一加载器：详解 loadUnifiedModel 接口与智能文件格式检测机制。
- 资源管理：Gaussian 渲染器的复用策略与内存管理。
2. 场景对象与交互 (Object & Interaction)
本章涵盖： - 高斯对象 (GaussianModel)：属性控制（缩放、透明度、裁剪）。 - 4D 动画：时间轴控制、播放/暂停与动态推理更新。
3. 渲染管线 (Rendering Pipeline)
本章涵盖：
- 混合渲染循环：理解 Scene Pass -> Depth Capture -> Splatting 的执行顺序。
- GaussianThreeJSRenderer：核心渲染协调器的 API 详解。
- 深度与遮挡：自动深度模式 (Auto Depth Mode) 的工作原理。
模块参考 (Modules Reference)
深入查阅特定功能模块的实现细节。文档分为两类：
- API 参考：详细的接口定义、参数说明与类型声明。
- 架构文档：系统设计原理、数据流向与核心逻辑图解。
| 模块名称 | 描述 | 文档链接 |
|---|---|---|
| 01-App | 应用层入口、上下文初始化、统一加载器 | API 参考 / 架构 |
| 02-IO | 统一数据加载层、多格式文件解析（PLY/SPLAT/ONNX/GLB等） | API 参考 / 架构 |
| 03-Point Cloud | 点云数据结构、GPU 缓冲区管理、数据预处理 | API 参考 / 架构 |
| 04-Preprocessing | 数据预处理、格式转换、优化算法 | API 参考 / 架构 |
| 05-Sorting | 高斯粒子排序算法、深度排序优化 | API 参考 / 架构 |
| 06-Renderer | 核心渲染器、渲染管线管理、GPU 资源调度 | API 参考 / 架构 |
| 07-Camera | 相机控制、视图矩阵计算、投影管理 | API 参考 / 架构 |
| 08-Controls | 交互控制、轨道控制器、用户输入处理 | API 参考 / 架构 |
| 09-Shader | WebGPU Shader 程序、计算着色器、渲染管线 | API 参考 / 架构 |
| 10-Uniform | 统一变量管理、GPU 常量缓冲区 | API 参考 / 架构 |
| 11-Utils | 工具函数库、数学计算、辅助方法 | API 参考 / 架构 |
| 12-Three-Integration | WebGPU 渲染器集成、混合管线、光栅化桥接 | API 参考 / 架构 |
| 13-ONNX | 4D 动态模型推理引擎、Runtime 环境 | API 参考 / 架构 |
| 14-Managers | 管理器模式实现、生命周期管理、资源协调 | API 参考 / 架构 |
| 15-Timeline | 时间轴控制、动画播放、帧管理 | API 参考 / 架构 |
| 16-Models | 高斯模型对象结构 (Splat/Mesh)、AABB 计算 | API 参考 / 架构 |