解决Spark运行期间LOG输出INFO过多

运行spark-sql或者spark-shell的时候经常会出现满屏的INFO输出,影响对结果的阅读。

Xnip2021-10-17_11-42-18

这个时候只需要在spark-conf/conf/下设置好log4j.properties文件中的log4j.rootCategory就可以解决,甚至进行深度研究后可以自由设置应该展示哪个部分的信息。

复制log4j.properties.templatelog4j.properties

cp log4j.properties.template log4j.properties
vim log4j.properties

原文件设置:

log4j.rootCategory=INFO, console

改为:

log4j.rootCategory=WARN, console

效果:

Xnip2021-10-17_11-46-40

Spark/Hive运行.sql文件

Spark运行.sql

spark运行.sql文件的组件为 spark-sql,使用方法:

spark-sql -f example.sql

Hive运行.sql

hive运行.sql文件的方法有两种。

Hive直接执行

hive -f example.sql

hive shell执行

进入hive shell之后使用source命令执行

hive

>>进入hive shell了

source example.sql


大数据 Spark conda

本博客所有文章除特别声明外,均采用 CC BY-SA 3.0协议 。转载请注明出处!