Per consultare il log di un applicativo sottomesso a Yarn in modalità cluster:
spark2-submit \ --master yarn --deploy-mode client \ ...
è possibile da terminale consultare la lista dei processi running
yarn application -list -appStates RUNNING 18/06/22 11:35:16 INFO client.RMProxy: Connecting to ResourceManager at xxxx/10.89.160.33:8032 Total number of applications (application-types: [] and states: [RUNNING]):4 Application-Id Application-Name Application-Type User Queue State Final-State Progress Tracking-URL .... application_1522243898655_5359 it.xxx.yyyy SPARK users RUNNING UNDEFINED 10% http://10.89.160.35:55683 ....
individuato l'Application-Id una volta finito il processo possiamo consultare il log con il seguente comando:
yarn logs -applicationId application_1522243898655_5359 > filedilog.txt
Note: