去谷歌开发者大会了，收“获”满满

多图预警，请耐心等待加载

周四去上海参加了谷歌开发者大会，收获满满。
去谷歌开发者大会了，收“获”满满

下面我就当个导游，带大家畅游一番吧。
先来到世博中心，显眼的 Google Logo

入场后先报道，领取胸牌

进入主会场
去谷歌开发者大会了，收“获”满满

等待演讲开始

前面是关于Android的演讲就不拍了，和大家一样，我对谷歌在 TensorFlow 和机器学习方面的最新动态比较感兴趣。

去谷歌开发者大会了，收“获”满满

主题1 《未来之路：谷歌为开发者提供全面的开源机器学习产品生态》

去谷歌开发者大会了，收“获”满满

其实这一部分的核心内容在昨天的主旨演讲中Laurence已经简单介绍过，大佬从数据、框架、模型、MLOps 四个方面说明 TensorFlow Project 为开源机器学习构建了全面开源生态，感兴趣可以去大会官网听一下，其实现场的演讲也都有回放了：

https://developersummit.googlecnapps.cn/

现场嘉宾讲的更详细，每一方面都有展开，其实核心就是下面这张图
去谷歌开发者大会了，收“获”满满

机器学习的四个支柱：数据、模型框架、部署、监控和维护，这四个支柱 Google 都有开源工具。

`数据获取及预处理：TensorFlow 数据集`

去谷歌开发者大会了，收“获”满满

`模型框架：TensorFlow 和 JAX`

去谷歌开发者大会了，收“获”满满

Deepmind 的一些科研成果，比如alphafold,还有Google research的 imagen、 Parti 都是通过JAX创建的。

JAX 前段时间还有个趣闻，关注我公众号的同学应该知道，有篇文章说“JAX取代TensorFlow”，“谷歌大脑和DeepMind已经普遍放弃TensorFlow，转投 JAX”。（➡️TensorFlow，危！抛弃者正是谷歌自己），很快就有了辟谣（➡️TensorFlow团队：我们没被抛弃），将继续投资TensorFlow和JAX两个ML框架，以推动数百万用户的研究和应用。

演讲嘉宾讲的很透彻，JAX 和 TensorFlow 是定位不同的两个框架，前者专为硬件加速器优化的框架，从而帮助开发者更深入地钻研机器学习的数学运算，后者定位高级框架，帮助不需要深入到数学层面的开发者可以轻松创建自己的模型。

`模型部署：TensorFlow.js 、TensorFlow Lite`

去谷歌开发者大会了，收“获”满满

在云端、网页端、浏览器、移动端和嵌入式平台上运行模型，Google 也有很多成熟的产品，我之前也曾写过一篇文章介绍tfjs（用浏览器玩机器学习，赞！），自认写的清晰明了。

去谷歌开发者大会了，收“获”满满

Google Lite 也挺亮眼的，它可以内置到 Google Play 服务中，不需要再在应用中植入 TF Lite ，应用体量可以大幅缩减，也可以使用后台更新功能，用户始终能够使用最新版本，不需要在TF Lite每次更新时再重新。如果用户不使用 Google Play 服务，也可以不使用以上方式，像以前一样自主分发。

`监控和维护：TFX`

去谷歌开发者大会了，收“获”满满

TFX 不仅可以用于模型部署，它也可为完整 MLOps 部署提供软件框架和工具，并在数据和模型随时间推移不断演变的过程中检测问题。

这四个支柱中 Google 提供的一些列工具集成到一起，统称为Tensor Projects，满足研究人员、开发者、MLOPS 和商务团队的任意机器学习应用需求。

主题2 《MediaPipe: 搭建你自己的端侧开源机器学习解决方案》

去谷歌开发者大会了，收“获”满满

之前没有关注过这一块，设备端（智能手机、物联网设备或浏览器）机器学习其实已经有很多成熟的应用：

Google Meet的背景模糊处理/替换
Nest 的人员移动侦测、包裹递送通知、手势识别
YouTube 的AR 试妆

设备端机器学习主要包括设备端模型和机器学习流水线，模型是核心，机器学习流水线涵盖从原始输入到输出结果的全流程，两者都非常复杂。

去谷歌开发者大会了，收“获”满满

MediaPipe 可以极大简化这个过程，它可以把流水线封装成 MediaPipe Tasks，用 Model Maker 定制模型，通过低代码 API 提供可定制的高性能设备端机器学习解决方案。

去谷歌开发者大会了，收“获”满满

使用貌似也挺简单的，和把大象装进冰箱一样，一共分三步：
收集训练数据、使用 Tasks 或 Model Maker 枃建模型、使用 Task library部署模型。

去谷歌开发者大会了，收“获”满满

MediaPipe 确实挺有意思的，嘉宾分享了好几个资源，我计划之后深入学习学习

https://mediapipe.dev
https://github.com/google/mediapipe
https://google.github.io/mediapipe/solutions/pose.html

下午场是展示区的技术/产品趣味互动体验，有点困，先喝杯 Google 牌雀巢咖啡提提神

去谷歌开发者大会了，收“获”满满

在展区打卡领到许多小礼品：Android 吉祥物、充电线、眼镜、水杯、悠悠球、鼠标垫、冰箱贴、各种贴纸

去谷歌开发者大会了，收“获”满满

当然，这些都是身外之物，体验 Google 黑科技才是正事，这部分我会剪个视频在 B 站发布，这里就以图文介绍吧。

黑科技1: 智能互动，让音乐“动”起来

去谷歌开发者大会了，收“获”满满

挺好玩的，在摄像头前挥舞手臂，就可以化身指挥家，指挥交响乐团。这个 Semi-Conductor 使用了 PoseNet 这个可在浏览器中运行的开源机器学习模型，能够将网络摄像头拍到的身体动作映射到对应的指挥操作。运用其独特的算法，该应用得以有机融合数百个短小的乐器录音片段，让乐团演奏的乐曲能够随着你的指挥而变化。