20 essential commands for system administrators

Whether you're a new developer or looking to manage your own applications, the following 20 basic system administration commands can help you better understand your applications. They can also help troubleshoot system failures such as why an application works locally but not on a remote host. These commands apply to Linux development environments, containers, and virtual machines.

curl is used to transfer a URL. You can use this command to test your application's endpoints or connections to upstream service endpoints. curl can also be used to check whether your application can connect to other services, such as a database, or to check whether your service is in a healthy state.

For example, if your application throws an HTTP 500 error, indicating that the MongoDB database cannot be accessed:

$ curl -I -s myapplication:5000

HTTP/1.0 500 INTERNAL SERVER ERROR

The -I option is used to display header information, and the -s option means to use silent mode and not display errors and progress. Check that the endpoint of the database is correct:

$ curl -I -s database:27017

HTTP/1.0 200 OK

So what could be the problem? Check if your application can access locations other than the database:

$ curl -I -s https://opensource.com

HTTP/1.1 200 OK

Looks like this is OK, now try to access the database. Your application is using the database's hostname, so try this first:

$ curl database:27017

curl: (6) Couldn't resolve host 'database'

This means that your application cannot resolve the database because the URL to the database is not available or the host (container or VM) does not have a name server that can be used to resolve the host name.

After using curl, the output of the API call may be less readable. Sometimes, you want to format the output of the generated JSON data to find specific entries. Python has a built-in library to help you achieve this requirement. You can use python -m json.tool to indent and organize JSON. To use Python's JSON module, you need to use the pipeline mechanism to take the output of the JSON file as input and write it to the python -m json.tool command line.

$ cat test.json
{"title":"Person","type":"object","properties":{"firstName":{"type":"string"},"lastName":{"type":"string"},"age":{"description":"Age in years","type":"integer","minimum":0}},"required":["firstName","lastName"]}

To use the Python library, use the -m (module) option to combine the output content and the Python library into a pipeline.

$ cat test.json | python -m json.tool
{
    "properties": {
        "age": {
            "description": "Age in years",
            "minimum": 0,
            "type": "integer"
        },
        "firstName": {
            "type": "string"
        },
        "lastName": {
            "type": "string"
        }
    },
    "required": [
        "firstName",
        "lastName"
    ],
    "title": "Person",
    "type": "object"
}

For more advanced JSON parsing, you can install jq. jq provides some options for extracting specific values ​​from JSON input. To format JSON output like the Python module above, simply apply jq to the output.

$ cat test.json | jq
{
  "title": "Person",
  "type": "object",
  "properties": {
    "firstName": {
      "type": "string"
    },
    "lastName": {
      "type": "string"
    },
    "age": {
      "description": "Age in years",
      "type": "integer",
      "minimum": 0
    }
  },
  "required": [
    "firstName",
    "lastName"
  ]
}

ls is used to list files in a directory. System administrators and developers often use this command. In the container space, this command can help determine the directories and files in the container image. In addition to finding files, ls can also be used to check permissions. In the example below, you cannot run myapp due to permission issues. When you use ls -l to check the permissions, you will find that its permissions do not have "x" in -rw-r–r–, only read and write permissions.

$ ./myapp
bash: ./myapp: Permission denied
$ ls -l myapp
-rw-r--r--. 1 root root 33 Jul 21 18:36 myapp

tail Display the last part of the file. Typically, you don't need to go through every line of logs to troubleshoot. Instead, you need to check the logs for a description of the most recent request to the application. For example, when you make a request to the Apache HTTP server, you can use tail to examine what happens in the logs.

Use tail -f to follow log files and view them as requests are made.

-f option means following, which outputs the logs as they are written to the file. The example below has a background script that hits the endpoint every few seconds and logs the request. In addition to real-time tracking logs, you can also use tail with the -n option to view the last 100 lines of the file.

$ tail -n 100 /var/log/httpd/access_log

cat is mainly used to view file contents and merge files. You might use cat to check the contents of a dependency file, or to confirm the version of an application that has been built locally.

$ cat requirements.txt
flask
flask_pymongo

The above example checks whether your Python Flask application has Flask listed as a dependency.

grep can search text using specific pattern matching (including regular expressions). If you're looking for a specific pattern in the output of another command, grep will highlight the relevant lines. You can use this command to search log files, specific processes, etc. If you want to see if Apache Tomcat is started, you might be overwhelmed by the number of command lines. However, by combining the output content with the grep command into a pipeline, the line indicating that the server has been started can be isolated.

$ cat tomcat.log | grep org.apache.catalina.startup.Catalina.start
01-Jul-2017 18:03:47.542 INFO [main] org.apache.catalina.startup.Catalina.start Server startup in 681 ms

ps Used to view various status information of the process. Use this command to determine which applications are running or to confirm expected processes. For example, if you want to check the running Tomcat web server, you can use ps with the option to get the process ID of Tomcat.

$ ps -ef
UID        PID  PPID  C STIME TTY          TIME CMD
root         1     0  2 18:55 ?        00:00:02 /docker-java-home/jre/bi
root        59     0  0 18:55 pts/0    00:00:00 /bin/sh
root        75    59  0 18:57 pts/0    00:00:00 ps -ef

为了更好的易读性，可使用 grep 和 ps 组合成管道。

$ ps -ef | grep tomcat
root         1     0  1 18:55 ?        00:00:02 /docker-java-home/jre/bi

env 用于列出所有环境变量及为其赋值。在故障排除期间，你可能会发现需要检查是否有错误的环境变量来阻止应用程序启动。在下面的示例中，该命令用于检查程序主机上设置的环境变量。

$ env
PYTHON_PIP_VERSION=9.0.1
HOME=/root
DB_NAME=test
PATH=/usr/local/bin:/usr/local/sbin
LANG=C.UTF-8
PYTHON_VERSION=3.4.6
PWD=/
DB_URI=mongodb://database:27017/test

请注意，该应用程序正在使用 Python 3，并具有连接到 MongoDB 数据库的环境变量。

top 用于显示系统中各个进程的信息和资源占用状况，类似于 Windows 的任务管理器。使用该命令可确定哪些进程正在运行，以及它们消耗了多少的内存和 CPU。一种常见的情况是当你运行一个应用程序时，它在一分钟后挂掉。这时，你首先检查应用程序的返回错误，发现是一个内存错误。

$ tail myapp.log
Traceback (most recent call last):
MemoryError

你的应用是否真的内存不足？要确认这个问题，可使用 top 来查看应用程序消耗多少 CPU 和内存。当使用 top 命令后，您注意到一个 Python 应用程序使用了大部分的 CPU，其内存使用量也迅速攀升。当它运行时，如果进程是你的应用程序，则按”C”键来查看完整命令并进行逆向工程。发现原来是你的内存密集型应用程序(memeater.py)。当你的应用程序已经用尽内存，系统会杀掉它并返回一个内存不足(OOM)的错误。

应用程序的内存和 CPU 使用量增加，最终因为内存不足而被杀掉。

通过按下”C”键，可以看到启动该应用程序的完整命令

除了检查应用程序，还可以使用 top 来调试其他使用 CPU 或内存的进程。

netstat 用于显示网络状态信息。该命令可显示正在使用的网络端口及其传入连接。但是，netstat 在 Linux 中不能开箱即用。如果需要安装它，需要在 net-tools 包中找到它。作为在本地进行试验或将应用程序推送到主机的开发者，可能会收到端口已被分配或地址已被使用的错误。使用 netstat 得到协议、进程和端口这些信息，下图表明 Apache HTTP 服务器已经在下面的主机上使用了 80 端口。

使用 netstat -tulpn 表明 Apache 已经在这台机器上使用了 80 端口。

如果 ip address 在你的主机上不能使用，必须使用 iproute2 包进行安装。ip address 用于显示应用程序的主机接口和 IP 地址。可使用 ip address 来验证你的容器或主机的 IP 地址。例如，当你的容器连接到两个网络时，ip address 可显示哪个接口连接到了哪个网络。对于简单的检查，可以随时使用 ip address 命令获取主机的 IP 地址。下面的示例展示了在接口 eth0 上的 Web 层容器的 IP 地址为 172.17.0.2

使用 ip address 显示 eth0 接口的 IP 地址为 172.17.0.2

lsof 用于列出当前系统打开的文件(list open files)。在某些 Linux 系统中，可能需要使用 lsof 包来安装lsof。在 Linux 中，几乎任何和系统的交互都被视为一个文件。因此，如果你的应用程序写入文件或代开网络连接，lsof 将会把这个交互映射为一个文件。与 netstat 类似，可使用 lsof 来检查侦听端口。例如，如果要检查 80 端口是否正在被使用，可使用 lsof 来检查哪个进程正在使用它。下面的示例中，可以看到 httpd (Apache) 在 80 端口上侦听。还可以使用 lsof 来检查 httpd 的进程ID，检查 Web 服务器的二进制文件所在位置(/usr/sbin/httpd)。

Lsof 表明了 httpd 在 80 端口上侦听。检查 httpd 的进程ID还可以显示所有需要运行的文件httpd。

打开文件列表中的打开文件的名称有助于确定进程的来源，特别是 Apache。

可以使用 df 显示空闲的磁盘空间(display free disk space)以排查磁盘空间问题。挡在容器管理器上运行应用程序时，可能会收到一条错误信息，提示容器主机上缺少可用空间。虽然磁盘空间应该由系统管理程序来管理和优化，你仍可以使用 df 找出目录中的现有空间并确认是否没有空间。

Df 显示每个文件系统的磁盘空间、绝对空间以及其可用性。

-h 选项表示以可读性较高的方式来显示信息，上面的例子表示这个主机具有大量的磁盘空间。

du 命令也是用于查看使用空间的，但是与 df 命令不同的是 du 命令是对文件和目录磁盘使用的空间的查看，要获取有关哪些文件在目录中使用磁盘空间的更多详细信息，可以使用 du 命令，和 df 命令还是有一些区别的。例如，你想了解那个日志文件占用 /var/log 目录最多的空间，可以使用 du 命令加上 -h 选项和用于获取总大小的 -s 选项。

$ du -sh /var/log/*
1.8M  /var/log/anaconda
384K  /var/log/audit
4.0K  /var/log/boot.log
0 /var/log/chrony
4.0K  /var/log/cron
4.0K  /var/log/maillog
64K /var/log/messages

上面的示例中显示了 /var/log 下的的最大目录为 /var/log/audit。可以将 du 和 df 搭配使用，以确定在应用程序的主机上使用的磁盘空间。

要检查运行应用程序的用户，可使用 id 命令来返回用户身份。id 命令可以显示真实有效的用户ID(UID)和组ID(GID)。下面的示例使用 Vagrant 来测试应用程序并隔离其开发环境。登录进 Vagrant 盒子后，如果尝试安装 Apache HTTP Server（依赖关系），系统会提示你需要以 root 身份执行该命令。要检查你的用户ID和组ID，使用 id 命令，会发现你正在”vagrant”组中以”vagrant”用户身份运行。

$ yum -y install httpd
Loaded plugins: fastestmirror
You need to be root to perform this command.
$ id
uid=1000(vagrant) gid=1000(vagrant) groups=1000(vagrant) context=unconfined_u:unconfined_r:unconfined_t:s0-s0:c0.c1023

要解决此问题，必须以超级用户的身份运行该命令，这将提供提升的权限。

chmod 命令用来变更文件或目录的权限。当你在主机上首次运行应用程序的二进制文件时，可能会收到错误提示信息“拒绝访问”。如 ls 的示例所示，可以用于检查应用程序二进制文件的权限。

$ ls -l
total 4
-rw-rw-r--. 1 vagrant vagrant 34 Jul 11 02:17 test.sh

这表明您没有权限（没有“x”）来运行二进制文件。chmod 可以修改权限，使的用户能够运行二进制文件。

$ chmod +x test.sh
[vagrant@localhost ~]$ ls -l
total 4
-rwxrwxr-x. 1 vagrant vagrant 34 Jul 11 02:17 test.sh

如例子所示，这将更新权限，使其具有可执行的权限。现在当你尝试执行二进制文件时，应用程序不会抛出拒绝访问的错误。当将二进制文件加载到容器时，Chmod 可能很有用。它能保证容器具有合适的权限以执行二进制文件。

dig 命令是常用的域名查询工具，可以用来测试域名系统工作是否正常。域名服务器(DNS)有助于将 URL 解析为一组应用程序服务器。然而，你会发现有些 URL 不能被解析，这会导致应用程序的连接问题。例如，假如你尝试从应用程序的主机访问你的数据库。你收到一个”不能解析”的错误。要进行故障排查，你尝试使用 dig（DNS 查询工具）或 nslookup（查询 Internet 域名服务器）来确定应用程序似乎无法解析数据的原因。

$ nslookup mydatabase
Server:   10.0.2.3
Address:  10.0.2.3#53

** server can't find mydatabase: NXDOMAIN

使用 nslookup 显示无法解析 mydatabase。尝试使用 dig 解决，但仍是相同的结果。

$ dig mydatabase

; > DiG 9.9.4-RedHat-9.9.4-50.el7_3.1 > mydatabase
;; global options: +cmd
;; connection timed out; no servers could be reached

这些错误可能是由许多不同的问题引起的。如果无法调试出根本原因，与系统管理员联系以进行更多的调查。对于本地测试，这些问题可能表示你的主机的域名服务器未正确配置。要使用这些命令，需要安装 BIND Utilities 包。

iptables 用于阻止或允许 Linux 主机上的流量，用于 IP 包过滤器管理，类似于网络防火墙。此工具可阻止某些应用程序接收或发送请求。更具体地说，如果您的应用程序难以访问另一个端点，可能已被 iptables 拒绝流量访问该端点。例如，假设您的应用程序的主机无法访问 Opensource.com，您使用 curl 来测试连接。

$ curl -vvv opensource.com
* About to connect() to opensource.com port 80 (#0)
*   Trying 54.204.39.132...
* Connection timed out
* Failed connect to opensource.com:80; Connection timed out
* Closing connection 0
curl: (7) Failed connect to opensource.com:80; Connection timed out

连接超时。您怀疑某些东西可能会阻塞流量，因此您使用 -S 选项显示 iptables 规则。

$ iptables -S
-P INPUT DROP
-P FORWARD DROP
-P OUTPUT DROP
-A INPUT -p tcp -m tcp --dport 22 -j ACCEPT
-A INPUT -i eth0 -p udp -m udp --sport 53 -j ACCEPT
-A OUTPUT -p tcp -m tcp --sport 22 -j ACCEPT
-A OUTPUT -o eth0 -p udp -m udp --dport 53 -j ACCEPT

前三个规则显示，默认情况下流量已被丢弃。剩下的规则表示允许 SSH 和 DNS 流量。在这种情况下，如果需要允许流量到外部端点的规则，请跟上 sysadmin。如果这是用于本地开发或测试的主机，可使用 iptables 命令来允许合适的流量。添加允许到主机的流量的规则时一定要谨慎。

通常会在企业管理的应用程序主机上使用 SELinux（一个 Linux 安全模块）。SELinux 对主机上运行的进程提供最低权限的访问，防止潜在的恶意进程访问系统上的重要文件。某些情况下，应用程序需要访问特定文件，但可能会发生错误。要检查 SELinux 是否阻止了应用程序，使用 tail 和 grep 在 /var/log/audit 日志记录中查找”denied”（被拒绝）的信息。否则，使用 sestatus 来检查是否启动了 SELinux。

$ sestatus
SELinux status:                 enabled
SELinuxfs mount:                /sys/fs/selinux
SELinux root directory:         /etc/selinux
Loaded policy name:             targeted
Current mode:                   enforcing
Mode from config file:          enforcing
Policy MLS status:              enabled
Policy deny_unknown status:     allowed
Max kernel policy version:      28

上面的输出表示应用程序的主机已启用 SELinux。在本地开发环境中，可以更新 SELinux 使得权限更宽松。

当你使用大量的命令进行测试和调试时，可能会忘记有用的命令。每个 shell 都有一个 history 命令的变体。它可显示自会话开始以来使用的命令的历史记录。可以使用 history 来记录用来排除应用程序故障的命令。history 命令用于显示指定数目的指令命令，读取历史命令文件中的目录到历史命令缓冲区和将历史命令缓冲区中的目录写入命令文件。

$ history
    1  clear
    2  df -h
    3  du

如果希望执行之前历史记录中的命令，但又不想重新输入，该怎么办？使用符号 ! 即可，可以使用符号 ! 执行指定序号的历史命令。例如，要执行第 2 个历史命令，则输入!2，

在需要重新执行的命令的指定编号前添加 ! 即可重新执行

这些基本命令能增强排查故障的专业技能，可检查为什么应用程序可以在一个开发环境中工作，而在另一个开发环境中则不可以。许多系统管理员使用这些命令来调试系统问题。了解一些有用的故障排查命令可帮助解决应用程序的问题。

The above is the detailed content of 20 essential commands for system administrators. For more information, please follow other related articles on the PHP Chinese website!