Lỗ hổng khiến các máy chủ Exchange “sập” trên toàn thế giới: Microsoft đưa ra phương pháp khắc phục

Cập nhật ngày 03/01: Microsoft đã tung ra bản vá

Như vậy chỉ hơn 1 ngày sau khi các trang tin công nghệ lớn đồng loạt báo cáo về việc hệ thống máy chủ Exchange trên toàn thế giới gặp sự cố ngay trong những tiếng đầu tiên bước sang năm mới 2022, Microsoft đã tung ra bản vá khắc phục vấn đề.

Đây về cơ bản là một lỗi xử lý giá trị ngày, khi giá trị mới được chọn là "2.201.010.001" vượt quá những gì Server có thể xử lý theo kiểu dữ liệu Int32 hiện tại. Điều này dẫn đến việc công cụ kiểm tra phần mềm độc hại đang gặp sự cố và do đó, email và tin nhắn bị mắc kẹt trong hàng đợi truyền tải trên các hệ thống máy chủ Exchange 2016 và 2019, với lỗi nhật ký sự kiện 5300 và 1106 (FIPFS).

Giải pháp được Microsoft đưa ra là sử dụng tập lệnh đặt lại công cụ quét tự động, hoặc nhập liệu thủ công.

Phương pháp 1: Sử dụng tập lệnh đặt lại công cụ quét tự động (có sẵn tại địa chỉ https://aka.ms/ResetScanEngineVersion). Lệnh này có thể được chạy song song trên nhiều máy chủ. Việc hoàn thành tập lệnh thành công sẽ đưa ra kết quả sau:

[PS] C:\Program Files\Microsoft\Exchange Server\V15\Scripts>.\Reset-ScanEngineVersion.ps1

EXCH1 Stopping services...

EXCH1 Removing Microsoft engine folder...

EXCH1 Emptying metadata folder...

EXCH1 Starting services...

WARNING: Waiting for service 'Microsoft Filtering Management Service (FMS)' to start...

WARNING: Waiting for service 'Microsoft Filtering Management Service (FMS)' to start...

WARNING: Waiting for service 'Microsoft Filtering Management Service (FMS)' to start...

WARNING: Waiting for service 'Microsoft Filtering Management Service (FMS)' to start...

WARNING: Waiting for service 'Microsoft Exchange Transport (MSExchangeTransport)' to start...

EXCH1 Starting engine update...

Running as EXCH1-DOM\Administrator.

--------

Connecting to EXCH1.CONTOSO.com.

Dispatched remote command. Start-EngineUpdate -UpdatePath http://amupdatedl.microsoft.com/server/amupdate

--------

[PS] C:\Program Files\Microsoft\Exchange Server\V15\Scripts>Get-EngineUpdateInformation

Engine : Microsoft

LastChecked : 01/01/2022 08:58:22 PM -08:00

LastUpdated : 01/01/2022 08:58:31 PM -08:00

EngineVersion : 1.1.18800.4

SignatureVersion : 1.355.1227.0

SignatureDateTime : 01/01/2022 03:29:06 AM -08:00

UpdateVersion : 2112330001

UpdateStatus : UpdateAttemptSuccessful

Phương pháp 2: Sửa lỗi thủ công

Xóa công cụ và siêu dữ liệu hiện có

1. Dừng dịch vụ Microsoft Filtering Management. Khi được nhắc dừng dịch vụ Microsoft Exchange Transport, hãy bấm Yes.
2. Sử dụng Task Manager để tắt và đảm bảo rằng tiến trình Updervice.exe đang không chạy.
3. Xóa thư mục sau: %ProgramFiles%\Microsoft\Exchange Server\V15\FIP-FS\Data\Engines\amd64\Microsoft.
4. Xóa tất cả các tệp khỏi thư mục sau: %ProgramFiles%\Microsoft\Exchange Server\V15\FIP-FS\Data\Engines\metadata.

Cập nhật lên engine mới nhất

1. Khởi động dịch vụ Microsoft Filtering Management và Microsoft Exchange Transport.
2. Mở Exchange Management Shell, điều hướng đến thư mục Scripts (%ProgramFiles%\Microsoft\Exchange Server\V15\Scripts), and run Update-MalwareFilteringServer.ps1 .

Xác minh thông tin cập nhật engine

1. Trong Exchange Management Shell, chạy Add-PSSnapin Microsoft.Forefront.Filtering.Management.Powershell.
2. Chạy Get-EngineUpdateInformation và xác minh thông tin UpdateVersion là 2112330001.

Bạn có thể tìm thêm thông tin chi tiết trên blog chính thức của Microsoft tại ĐÂY.

Ngày 01/01/2021:

Đối với hầu hết mọi người, năm mới là khoảng thời gian sum vầy bên gia đình, bạn bè, hay đơn giản là nghỉ ngơi và nghĩ về những dự định của tương lai. Tuy nhiên đối với các sysadmins chịu trách nhiệm về máy chủ Exchange trên toàn thế giới, dịp năm mới này có thể là một “kỷ niệm buồn” vì dịch vụ máy chủ của Microsoft vừa gặp phải một sự cố hệ thống nghiêm trọng, dẫn đến gián đoạn hoạt động toàn cầu.

Vấn đề này được báo cáo đầu tiên bởi một thành viên Reddit có nickname /u/FST-LANE vào lúc 1 giờ sáng theo giờ EST (Múi giờ miền Đông Hoa Kỳ). Trong đó có nhắc tới việc Microsoft đã phát hành một bản cập nhật không hợp lệ cho hệ thống Exchange, có mã định danh là “220101001”. Đây có lẽ là một bản vá được lên lịch để cho phép hệ thống xử lý dữ liệu của ngày mới, nhưng nó đã không diễn ra như kế hoạch. “Tôi đã quan sát thấy một loạt lỗi từ dịch vụ FIPFS với nội dung: Cannot convert “220101001” to long”, thành viên /u/FST-LANE cho biết.

Điều này cũng phù hợp với các báo cáo chuyên sâu hơn từ Marius Sandbu, nhà quản lý hệ thống đến từ Na Uy, một trong những chuyên gia đầu tiên quan sát thấy sự cố, cũng như đưa ra báo cáo tóm tắt cơ bản về nguyên nhân vấn đề. Sandbu phát hiện ra rằng các máy chủ Microsoft Exchange đã đột ngột ngừng xử lý mail hoàn toàn bắt đầu từ 00:00 ngày 01/01/2022. Lý do dẫn đến sự cố nghiêm trọng này rất có thể là do Microsoft đang sử dụng int32 cho ngày tháng và với giá trị mới là 2.201.010.001, vượt quá giá trị tối đa của int "long" là 2.147.483.647".

Vấn đề rắc rối ở đây là giải pháp về khoảng cách dừng. Để máy chủ Exchange tiếp tục xử lý mail, các sysadmins đang buộc tắt tính năng quét phần mềm độc hại trên các hệ thống của mình:

“Hiện tại, có vẻ như giải pháp chính là tắt trình quét chống phần mềm độc hại trên Exchange Server bằng cách sử dụng Set-MalwareFilteringServer -BypassFiltering $True -identity <server name> và khởi động lại dịch vụ Microsoft Exchange Transport”.

Tuy nhiên, điều này có thể khiến người dùng, và có thể là chính các máy chủ, dễ trở thành mục tiêu của các cuộc tấn công độc hại chớp nhoáng.

Lỗi này ảnh hưởng đến Exchange Server 2013. 2016 và 2019. Microsoft hiện đã xác nhận sự cố và đang gấp rút tiến hành sửa lỗi.