windows下spark的安裝和運(yùn)行 建議看到這篇文章(描述非常詳細(xì))
Spark在Win10下的環(huán)境搭建
一、創(chuàng)建項(xiàng)目和.py文件
二、在pycharm中添加spark環(huán)境
若是左側(cè)的python中沒有，可點(diǎn)擊‘'+‘'號(hào)進(jìn)行添加
配置spark環(huán)境：總共3個(gè)（SPARK_HOME、HADOOP_HOME、PYTHONPATH）
（注：SPARK_HOME和HADOOP_HOME已在系統(tǒng)的環(huán)境變量添加，故這里不再添加）
在編寫代碼時(shí)，建議添加如下代碼，保證程序能夠運(yùn)行成功：
import os
import sys
import findspark # 一定要在最前面導(dǎo)入
'''初始化spark環(huán)境'''
findspark.init()
# Path for spark source folder
os.environ['SPARK_HOME'] = "G:\Spark\Install\spark-2.4.3-bin-hadoop2.7"
# Append pyspark to Python Path
sys.path.append("G:\Spark\Install\spark-2.4.3-bin-hadoop2.7\python")
'''示例'''
from pyspark import SparkContext,SparkConf
from pyspark.sql import SparkSession
from pyspark.sql import Row
# SparkContext是spark功能的主要入口
sc = SparkContext("local", "app")
RawSalesDataRDD = sc.textFile("G:\\Spark\\作業(yè)\\taxi.csv")
print(RawSalesDataRDD.take(5))
salesRDD = RawSalesDataRDD.map(lambda line: line.split(","))
print(salesRDD.take(5))
taxi_Rows = salesRDD.map(lambda p:
Row(
id=p[0],
lat=p[1],
lon=p[2],
time=p[3]
))
sqlContext = SparkSession.builder.getOrCreate()
taxi_df = sqlContext.createDataFrame(taxi_Rows)
print(taxi_Rows.take(5))
print('查看dataframe的字段名稱和前5行數(shù)據(jù)：')
taxi_df.printSchema()
taxi_df.show(5)
'''使用SQL語句 操作表數(shù)據(jù)'''
# #創(chuàng)建臨時(shí)表taxi_table
taxi_df.registerTempTable("taxi_table")
# 查詢編號(hào)為 5 的出租車的 GPS 數(shù)據(jù)的前 10 行
taxi_df.filter("id='5'").show(10)
taxi_df.where("id='5'").show(10)
sqlContext.sql("select * from taxi_table where id='5'").show(10)
代碼運(yùn)行結(jié)果：
到此這篇關(guān)于windows下pycharm搭建spark環(huán)境并成功運(yùn)行 附源碼的文章就介紹到這了,更多相關(guān)pycharm搭建spark環(huán)境內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
您可能感興趣的文章:- Spark在Win10下的環(huán)境搭建過程
- PyCharm搭建Spark開發(fā)環(huán)境的實(shí)現(xiàn)步驟
- Python搭建Spark分布式集群環(huán)境
- Spark在Windows下的環(huán)境搭建方法
- PyCharm搭建Spark開發(fā)環(huán)境實(shí)現(xiàn)第一個(gè)pyspark程序
- Linux下搭建Spark 的 Python 編程環(huán)境的方法
- 使用docker快速搭建Spark集群的方法教程
- Spark集群框架的搭建與入門
