Yarn Log

Per consultare il log di un applicativo sottomesso a Yarn in modalità cluster:

spark2-submit \
--master yarn --deploy-mode client \
...

è possibile da terminale consultare la lista dei processi running 

yarn application -list -appStates RUNNING
18/06/22 11:35:16 INFO client.RMProxy: Connecting to ResourceManager at xxxx/10.89.160.33:8032
Total number of applications (application-types: [] and states: [RUNNING]):4
                Application-Id	    Application-Name	    Application-Type	      User	     Queue	             State	       Final-State	       Progress	                       Tracking-URL
....
application_1522243898655_5359	it.xxx.yyyy	               SPARK	users	           RUNNING	         UNDEFINED	            10%	          http://10.89.160.35:55683
....

individuato l'Application-Id una volta finito il processo possiamo consultare il log con il seguente comando:

yarn logs -applicationId  application_1522243898655_5359 > filedilog.txt

Note:

  • inizializzare la proprietà yarn.log-aggregation-enable=true
  • avere i permessi in lettura su HDFS