未探索的TensorFlow库( 二 ) TensorFlow是一个端到端的开源机

这可以看作是一个自编码器，视觉系统（编码器）将尝试查找参数，而图形系统（解码器）将基于这些参数生成图像，并与原始图像进行比较。此外，该系统不需要标记数据，也不需要以自我监督的方式训练。一些用途是：

变换-可以对对象执行旋转和平移等对象变换。这可以通过神经网络学习来精确地找到物体的位置。它对于需要精确估计这些物体位置的机械手臂很有用。
建模摄像机-可以设置不同的摄像机内部参数来改变图像的感知方式。例如，更改摄影机的焦距会更改对象的大小。
材料-可以使用具有不同类型光反射能力的不同类型的材料。因此，创建的场景可以精确地模拟对象在真实世界中的行为。
三维卷积和池（点云和网格）-它有三维卷积和池层，允许我们对三维数据进行语义分类和分割。
TensorBoard 3D-3D数据变得越来越普遍，可以用来解决从2D数据进行三维重建、点云分割、3D对象变形等问题。通过TensorBoard 3D ，这些结果可以可视化，从而更好地了解模型。

进一步阅读：
TensorFlow Federated

文章插图
这个库也可以用于计算机视觉以外的其他领域。随着移动设备和边缘设备数量的增加，产生了大量的数据。
联邦学习的目标是在分散数据上执行机器学习，即在设备本身上！这意味着不需要向服务器上传大量（敏感）数据。它已经在谷歌键盘上使用。
有关使用TensorFlowFederated进行图像分类的指南，请参阅下面链接的文章。
TensorFlow Privacy

文章插图
通过隐私攻击可以从经过训练的ML模型中提取敏感信息。 Truex等人，提出了一篇关于驱动它的因素的论文（）。如本文所示（~mfredrik/papers/fjr2015ccs.pdf），这些模型甚至可以重建训练所依据的信息。

文章插图
左侧是仅使用人名和模型重建的图像。右边的图像是原始图像。
同样，像TensorFlow Federated一样，这并不是计算机视觉所独有的。最常用的技术是差分隐私。来自维基百科：
差分隐私一种公开共享数据集信息的系统，通过描述数据集中组的模式，同时保留数据集中个人的信息。
假设敏感信息不会在数据集中完全重复，通过使用差分隐私模型，可以确保模型不会学习此类信息。
例如，假设有一个人与人之间聊天的数据集。现在，聊天中传递的敏感信息可以是密码、银行帐户详细信息等。因此，如果在这个数据集上创建了一个模型，则差分隐私将确保该模型无法学习这些细节，因为这些信息的数量很少。阅读这篇关于差分隐私的文章，它还包含了执行它的代码。
TensorFlow Hub

文章插图
【未探索的TensorFlow库】你们中的大多数人一定对这个库有所了解，所以我对它的介绍将非常简短。
TensorFlow Hub是一个在TensorFlow中发布、发现和重用部分机器学习模块的平台。把它称为TensorFlow模型的GitHub是正确的。
开发人员可以共享他们预训练过的模型，然后可以被其他人重用。通过重用，开发人员可以使用较小的数据集训练模型，提高泛化能力，或者只是加快训练速度。让我们快速了解一下现有的几种不同的计算机视觉模型。

图像分类——从MobileNet到Inception 再到EfficientNet ，有一百多个可用于此任务的模型。说出你想要的任何型号，很可能会在那里找到它。
对象检测和分割-同样，你需要的任何模型都可以在这里找到，特别是在COCO数据集上训练的TensorFlow model-zoo对象检测器的集合中。 Deeplab架构在图像分割领域占据主导地位。还有大量的TfLite和TensorFlow Js模型可用。
图像样式化-图像样式化的不同的主干，以及一个卡通感兴趣。
生成对抗网络-提供了像Big GAN和Compare GAN这样的GAN模型，在ImageNet和Celeb数据集上进行训练。还有一个无边界的GAN ，可以用来生成摄像机捕捉到的场景之外的区域。此外，他们中的大多数有一个Colab Notebook ，所以实现他们不会太难。