要训练机器人浏览房屋，你要么需要在大量的真实房屋中给它大量的真实时间，要么在大量的虚拟房屋中给它大量的虚拟时间。后者肯定是更好的选择，而Facebook和Matterport正在合作，为研究人员和AI提供数以千计以真实空间为基础的虚拟空间。
在Facebook方面，巨大的进步分为两部分：新的Habitat 2.0训练环境和为实现它而创建的数据集。Facebook组装了许多相当逼真的虚拟环境供它们浏览。许多机器人和人工智能已经学会了在理想化、不现实的空间中移动和识别物体，这些空间更像游戏而不是现实。现实世界的客厅与重建的客厅是非常不同的东西。通过学习在现实东西中移动，人工智能学习的知识将更容易转移到现实世界的应用中，如家庭机器人技术等。
但最终这些环境只是多边形的，互动性极低，没有真正的物理模拟。如果机器人撞到了桌子，它不会摔倒，不会把物品洒得到处都是。机器人可以去厨房，但它不能打开冰箱或从水槽中拿出东西。Habitat 2.0和新的ReplicaCAD数据集改变了这种情况，增加了互动性和三维物体，而不是简单地解释三维表面。
现在在这些新的公寓规模虚拟环境中，模拟机器人可以像以前一样滚来滚去，但当他们到达一个物体时，他们实际上可以对它做一些事情。例如，如果一个机器人的任务是从餐桌上拿起一个叉子，然后把它放在水槽里，几年前，拿起和放下叉子只是假设，因为无法真正有效地模拟。在新的Habitat系统中，叉子是物理模拟的，可以被AI放在桌子和或者丢入水槽，这使计算上更加密集，也更加有用。
Facebook Habitat 2.0最接近的竞争对手可能是AI2的ManipulaTHOR，它将房间规模的环境与物理对象模拟结合起来。Habitat的优势在于速度，根据描述它的论文，模拟器的运行速度大约为ManipulaTHOR的50-100倍，这意味着AI在每秒钟计算中可完成更多的训练。
Matterport在与Facebook的合作中也有一些大动作。在过去几年中进行了巨大的平台扩张之后，该公司已经收集了大量的建筑扫描数据。