Khắc phục sự cố máy chủ Linux

Quản trị mạng – Bạn đã bao giờ gặp phải tình huống nghĩ rằng hệ thống của mình hoạt động tốt nhưng sau đó lại có rất nhiều người dùng báo cáo tình trạng chậm chạp hoặc các file bản ghi của bạn trống rỗng, công việc không chạy – vậy có cách nào có thể tìm ra những gì đang xảy ra?

Trong bài này chúng tôi sẽ giới thiệu cho các bạn một số kỹ thuật trong việc khắc phục sự cố máy chủ Linux.

Các công cụ hệ thống cơ hàng đầu và cơ bản

Tất cả các kỹ thuật được thảo luận ở đây đều yêu cầu process ID. Nếu bạn biết tên quá trình (process) gặp sự cố hoặc chạy không đúng, bạn có thể lấy được PID của nó qua câu lệnh ps aux | grep processname. Cách khác, bạn có thể tìm các quá trình CPU bằng lệnh top:

Tasks: 114 total, 1 running, 113 sleeping, 0 stopped, 0 zombie
Cpu(s): 1.2%us, 0.6%sy, 0.6%ni, 96.0%id, 1.6%wa, 0.0%hi, 0.0%si, 0.0%st
Mem: 4053756k total, 1059196k used, 2994560k free, 305236k buffers
Swap: 2249060k total, 0k used, 2249060k free, 465112k cached

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
3055 akkana 20 0 160m 39m 18m S 39 1.0 0:02.83 plugin-containe
2223 akkana 20 0 330m 107m 26m S 16 2.7 0:51.33 firefox-bin
65 root 20 0 0 0 0 S 2 0.0 0:00.34 kondemand/0
1586 root 20 0 71712 22m 8244 S 2 0.6 0:24.87 Xorg
1 root 20 0 2748 1612 1216 S 0 0.0 0:00.37 init
2 root 20 0 0 0 0 S 0 0.0 0:00.00 kthreadd
3 root RT 0 0 0 0 S 0 0.0 0:00.00 migration/0
...

Mặc định, lệnh top bắt đầu với các process ngốn nhiều tài nguyên CPU nhất. Trong trường hợp này, Firefox không gặp sự cố, tuy nhiên nó đang chạy flash vì vậy trình duyệt và ứng dụng trợ giúp của nó cùng nhau ngốn đến 45% tài nguyên CPU. Đó chính là nguyên nhân, nhưng nếu hệ thống tỏ ra chậm chạp và bạn thấy một process nào đó đang sử dụng khoảng cỡ 99% tài nguyên CPU thì đây mới chính là thủ phạm.

Khi đã tìm ra được process, bạn cần phải biết những gì cần thực hiện tiếp?

Strace

strace là một chương trình hữu dụng, chương trình này sẽ hiển thị các cuộc gọi hệ thống khi chúng xuất hiện.

Các cuộc gọi hệ thống gồm có các hoạt động về file giống như đọc, ghi, mở, timeout, tín hiệu, các hoạt động mạng và một số cách khác để nhận và thiết lập thông tin hệ thống. Bạn có thể đọc tổng quan các nội dung bằng lệnh man 2 intro hay liệt kê danh sách các cuộc gọi có sẵn man 2 syscalls.

Tất cả các kỹ thuật này nghe có vẻ khá độc đáo, tuy nhiên đôi khi việc xem xét dấu hiệu đầu ra cũng cho bạn biết được lý do tại sao một chương trình nào đó gặp vấn đề, chẳng hạn như nó đang đợi để kết nối vào mạng nào đó, hoặc lặp đi lặp lại quá trình mở một file mà file đó không tồn tại.

Bạn có thể chạy chương trình qua lệnh strace, ví dụ như strace firefox. Tuy nhiên chắc chắn bạn sẽ muốn tấn công trực tiếp vào một quá trình đang chạy. Hãy lấy process ID qua câu lệnh ps hoặc top, sau đó sử dụng strace -p.

Giả định có một process dường như bị treo: lệnh top sẽ thông báo cho bạn biết rằng process này không sử dụng bất cứ tài nguyên CPU nào, tuy nhiên nó bị mắc kẹt và không thực hiện bất cứ thứ gì trong nửa giờ đồng hồ.

$ strace -p 3672
Process 3672 attached - interrupt to quit
recv(3,

… lệnh strace dừng ở đây, con trỏ ở giữa dòng. Vậy điều gì xảy ra?

Chương trình đang đợi gọi từ hệ thống recv. Nhấn Ctrl-C để thoát lệnh strace, sau đó sử dụng apropos:

$ apropos recv
recv (2) - receive a message from a socket
recvfrom (2) - receive a message from a socket
recvmsg (2) - receive a message from a socket

Vậy là quá trình đang đợi để đọc thứ gì đó từ socket mạng.

Đợi và cách test?

Khi xây dựng một thư viện các công cụ chuẩn đoán, bạn có thể muốn mình có được một cách dễ dàng để thử nghiệm chúng. Cách làm ở đây là bạn hãy viết một chương trình lỗi để thấy rõ được cách gỡ rối nó như thế nào.

Một chương trình lỗi ở đây có thể mô phỏng hiện tượng một mạng đang treo nếu bạn có web server. Bên phía trình chủ, viết một đoạn mã như sau:

#! /usr/bin/env python

import time

print """Content-Type: text/html

Hello, world. Now we'll hang for a bit ...

"""
for i in range(50) : # Don't run forever and clog up the server
time.sleep(300) # sleep for 5 minutes
print "<p>\nAnother line"

Bạn có thể test đoạn mã trên bằng lệnh wget hoặc curl, hoặc biết một kịch bản Python:

#!/usr/bin/env python

import urllib2

response = urllib2.urlopen("http://example.com/testcgi/index.cgi")

Rõ ràng, nếu bạn chỉ muốn có một chương trình ngốn hết các tài nguyên CPU có sẵn, chỉ cần đánh một thứ gì đó giống như dưới đây vào bash shell, hoặc tương đương trong bất cứ ngôn ngữ lập trình nào.

while /bin/true; do
echo x
done

OK, bạn đã sử dụng stop hoặc ps để lấy process ID, strace vẫn chưa cho biết bất cứ thứ gì hữu dụng. Vậy thứ tiếp theo là gì?

Bước tiếp theo là lấy stack trace bằng gdb. Stack trace không chỉ cho bạn biết chương trình gì đang thực sự làm việc lúc này ở mức thấp (đang đợi trên socket mạng), mà đôi khi còn cho bạn biết các thông tin mức cao hơn (chẳng hạn như kiểu mạng đọc nó đã làm gì).

Biết được cách sử dụng gdb để lấy stack trace cũng rất hữu dụng nếu bạn cần một file gỡ rối cho một chương trình nào đó đỗ vỡ hoặc bị treo.

Cũng giống như strace, gdb sử dụng -p và process ID. Khi thực hiện, bạn sẽ nhận được nhắc lệnh(gdb). Đánh where để lấy stack trace.

Đây là một stack trace từ Firefox khi nó bận đang sử dụng một số kịch bản Javascript:

#0 0x01ad9794 in gfxPangoFontGroup::GetFontAt (this=0xa74e8160, i=0)
at gfxPangoFonts.cpp:1936
#1 0x01ad1c11 in GetFontOrGroup (this=0xa51466b4, aKey=0xbfab1e2c)
at gfxTextRunWordCache.cpp:899
#2 TextRunWordCache::CacheHashEntry::KeyEquals (this=0xa51466b4,
aKey=0xbfab1e2c) at gfxTextRunWordCache.cpp:910
#3 0x01a5cb74 in SearchTable (table=0xb45ce2d0, key=,
keyHash=, op=PL_DHASH_ADD) at pldhash.c:472
#4 0x01a5cc50 in PL_DHashTableOperate (table=0xb45ce2d0, key=0xbfab1e2c,
op=) at pldhash.c:661
#5 0x01ad2421 in nsTHashtable::PutEntry (
this=0xb45ce2c0, aTextRun=0xa7ee0ae0, aFirstFont=0xad613d30, aStart=8,
aEnd=10, aHash=821, aDeferredWords=0x0)
at ../../../dist/include/nsTHashtable.h:188
#6 TextRunWordCache::LookupWord (this=0xb45ce2c0, aTextRun=0xa7ee0ae0,
aFirstFont=0xad613d30, aStart=8, aEnd=10, aHash=821, aDeferredWords=0x0)
at gfxTextRunWordCache.cpp:358
....

Bạn không cần phải biết nhiều về mã nguồn của Firefox để có thể thấy được nó đang làm gì với các phông chữ.

Nếu một chương trình đang thực hiện lặp, nó có thể không thực hiện thứ cùng một thứ tất cả thời gian. Khi chạy gdb -p, chương trình sẽ được ngừng để bạn có thể kiểm tra nó. Tuy nhiên bạn có thể tiếp tục trở lại bằng cách đánh c tại nhắc lệnh. Ctrl-C lại stop chương trình lần nữa, sau đó lệnh where sẽ in các stack trace khác.

(gdb) where
#0 0xb686db07 in ?? () from /usr/lib/firefox-3.6.12/libmozjs.so
#1 0xb684bec9 in ?? () from /usr/lib/firefox-3.6.12/libmozjs.so
#2 0xb685cf66 in js_Invoke () from /usr/lib/firefox-3.6.12/libmozjs.so
#3 0xb6b6231b in ?? () from /usr/lib/firefox-3.6.12/libxul.so

Đây chỉ là một thứ gợi ý Firefox đang thực hiện các công việc liên quan đến Javascript (JS) và XUL. Stop và start quá trình một vài lần, bạn sẽ cảm nhận được về chỗ nó tiêu tốn nhiều thời gian nhất. Bạn cũng có thể nhận được các thông tin hữu dụng để có thể sử dụng trong việc gỡ rối cũng như tìm kiếm trên web để đưa ra cách giải quyết.

Các Stack trace cũng có thể rất hữu dụng cho các chương trình treo trong khi đợi tài nguyên. Đây là một ứng dụng mạng Python mà chúng tôi đã sử dụng trước đó:

(gdb) where
#0 0x006a2422 in __kernel_vsyscall ()
#1 0x0095d241 in recv () at ../sysdeps/unix/sysv/linux/i386/socket.S:61
#2 0x081301ba in ?? ()
#3 0x081303b4 in ?? ()
#4 0x080e0a21 in PyEval_EvalFrameEx ()
#5 0x080e2807 in PyEval_EvalCodeEx ()
#6 0x080e0c8b in PyEval_EvalFrameEx ()
... etc.

Gdb hiển thị như những gì strace đã thực hiện: nó nằm trong recv. Phần còn lại chỉ cho biết rằng bạn đang chạy bên trong Python nhưng không chỉ ra nơi bạn đang ở đâu trong kịch bản Python. Vậy có cách nào để có thể tìm ra các thông tin khác ở đây?

Hãy đợi phần tiếp theo, trong phần tiếp theo tới chúng tôi sẽ giới giới thiệu cho các bạn về các kỹ thuật gỡ rối Python, và những gì cần thực hiện nếu không có các công cụ phát triển giống như gdb cài đặt trên máy gặp vấn đề.