117笔记问答在Linux上进行Hadoop日志分析，可以采用以下几种方法和工具：
常用Linux日志查看命令
- tail：实时查看日志的最后几行。例如，
tail -f catalina.out可以实时查看日志的更新。 - head：查看日志文件的前几行。例如，
head -n 10 kitty.log可以查看文件的前10行。 - cat：查看或创建日志文件。例如，
cat > kitty.test可以创建一个新文件。 - sed：按行号或时间段查找日志内容。例如，
sed -n '2,200p' kitty.log可以打印第2行至第200行。
Hadoop日志分析工具
- Hadoop分布式文件系统(HDFS)：用于存储和管理日志文件。
- YARN：提供资源管理和调度，可以查看作业的日志。
- Hadoop Web界面：通过浏览器访问ResourceManager或JobTracker节点的URL，查看作业的运行状况和日志信息。
- 命令行工具：如
hadoop fs命令用于查看HDFS中的日志文件，yarn logs命令用于查看作业的日志。
日志分析实战案例
- Web服务器异常崩溃分析：
- 使用
grep命令快速定位异常来源，如grep "Segmentation fault" error_log | wc -l统计异常次数。 - 使用
tail命令查看异常上下文，如tail -100 error_log | grep -B5 -A5 "Segmentation fault"。 - 使用
strace实时监控Apache进程，捕捉崩溃瞬间的系统调用。
- 入侵痕迹追踪：
- 使用
awk和sort命令统计IP请求量，如awk '{print $1}' access.log | sort | uniq -c | sort -nr。 - 结合
error_log和access_log，分析异常行为。 - 使用
pstree和netstat等工具深度追踪攻击链。
日志分析工具和框架
- GREP：强大的文本搜索工具，支持正则表达式。
- CUT：从每行中提取特定部分。
- AWK：支持复杂文本处理和数据分析。
- SORT和UNIQ：对文本进行排序和去重。
通过上述方法和工具，可以有效地在Linux上进行Hadoop日志分析，帮助运维和安全工程师快速定位系统异常和入侵痕迹。