解决Spark运行期间LOG输出INFO过多
运行spark-sql
或者spark-shell
的时候经常会出现满屏的INFO
输出,影响对结果的阅读。
这个时候只需要在spark-conf/conf/
下设置好log4j.properties
文件中的log4j.rootCategory
就可以解决,甚至进行深度研究后可以自由设置应该展示哪个部分的信息。
复制log4j.properties.template
为log4j.properties
cp log4j.properties.template log4j.properties
vim log4j.properties
原文件设置:
log4j.rootCategory=INFO, console
改为:
log4j.rootCategory=WARN, console
效果:
Spark/Hive运行.sql
文件
Spark运行.sql
spark
运行.sql
文件的组件为 spark-sql
,使用方法:
spark-sql -f example.sql
Hive运行.sql
hive
运行.sql
文件的方法有两种。
Hive直接执行
hive -f example.sql
hive shell
执行
进入hive shell
之后使用source
命令执行
hive
>>进入hive shell了
source example.sql
本博客所有文章除特别声明外,均采用 CC BY-SA 3.0协议 。转载请注明出处!