【问题标题】:Using Python with Zeppelin under the Spark 2 Interpreter在 Spark 2 解释器下使用 Python 和 Zeppelin
【发布时间】:2023-04-04 11:32:01
【问题描述】:

我已经在虚拟机上部署了 HDP: 2.6.4

我可以看到 spark2 没有指向正确的 python 文件夹。我的问题是

1) 如何找到我的 python 所在的位置?

解决方案:输入whereis python,你会得到一个列表

2) 如何更新现有的 python 库并将新库添加到该文件夹​​?例如,相当于 CLI 上的“pip install numpy”。

  • 尚不清楚

3) 如何让 Zeppelin Spark2 指向包含我可以更新的 python 文件夹的特定目录? - 在 Zeppelin 上,有一个小的“编辑”按钮,我可以更改包含 python 的目录的路径。

解决方案:去zeppelin的解释器,找到spark2,让zeppelin.pyspark.python指向python已经存在的地方。

现在,如果您需要 python 3.4+,则必须执行一整套不同的步骤,首先将 python 3.4.+ 放入 HDP 沙箱。

谢谢,

【问题讨论】:

    标签:
    python
    apache-zeppelin