【发布时间】:2023-04-04 11:32:01
【问题描述】:
我已经在虚拟机上部署了 HDP: 2.6.4
我可以看到 spark2 没有指向正确的 python 文件夹。我的问题是
1) 如何找到我的 python 所在的位置?
解决方案:输入whereis python
,你会得到一个列表
2) 如何更新现有的 python 库并将新库添加到该文件夹?例如,相当于 CLI 上的“pip install numpy”。
- 尚不清楚
3) 如何让 Zeppelin Spark2 指向包含我可以更新的 python 文件夹的特定目录? - 在 Zeppelin 上,有一个小的“编辑”按钮,我可以更改包含 python 的目录的路径。
解决方案:去zeppelin的解释器,找到spark2,让zeppelin.pyspark.python指向python已经存在的地方。
现在,如果您需要 python 3.4+,则必须执行一整套不同的步骤,首先将 python 3.4.+ 放入 HDP 沙箱。
谢谢,
【问题讨论】:
本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:在 Spark 2 解释器下使用 Python 和 Zeppelin - Python技术站