.jpg)
在日常的 symfony 項(xiàng)目開發(fā)中，我們經(jīng)常會遇到需要處理大量數(shù)據(jù)的場景，例如數(shù)據(jù)導(dǎo)入、批量更新等等。這些操作通常需要編寫 console 命令來完成。然而，當(dāng)數(shù)據(jù)量達(dá)到一定規(guī)模時，命令的執(zhí)行時間會變得非常漫長，嚴(yán)重影響開發(fā)效率。
為了解決這個問題，我開始尋找能夠并行化 Symfony Console 命令執(zhí)行的方案。經(jīng)過一番調(diào)研，我發(fā)現(xiàn)了 webmozarts/console-parallelization 這個庫。它通過將任務(wù)分解成小塊，并在多個進(jìn)程中并行執(zhí)行，從而顯著縮短命令的執(zhí)行時間。
composer在線學(xué)習(xí)地址：學(xué)習(xí)地址
webmozarts/console-parallelization 庫的核心思想是將待處理的數(shù)據(jù)分割成多個 items，然后將這些 items 分發(fā)到多個子進(jìn)程中并行處理。每個子進(jìn)程處理完一定數(shù)量的 items 后會被殺死，以防止內(nèi)存泄漏或性能下降。
安裝
使用 Composer 安裝 webmozarts/console-parallelization 庫非常簡單：
composer require webmozarts/console-parallelization
使用
要將并行化功能添加到你的 Symfony Console 命令中，你可以選擇繼承 ParallelCommand 類或者使用 Parallelization trait。
示例：繼承 ParallelCommand 類
use SymfonyComponentConsoleCommandCommand; use SymfonyComponentConsoleInputInputInterface; use SymfonyComponentConsoleOutputOutputInterface; use WebmozartsConsoleParallelizationParallelCommand; class ImportMoviesCommand extends ParallelCommand { public function __construct() { parent::__construct('import:movies'); } protected function configure(): void { parent::configure(); // ... } protected function fetchItems(InputInterface $input, OutputInterface $output): iterable { // 從文件或數(shù)據(jù)庫中讀取電影數(shù)據(jù) return [ '{"id": 1, "name": "Star Wars"}', '{"id": 2, "name": "Django Unchained"}', // ... ]; } protected function runSingleCommand(string $item, InputInterface $input, OutputInterface $output): void { $movieData = json_decode($item); // 將電影數(shù)據(jù)插入數(shù)據(jù)庫 } protected function getItemName(?int $count): string { if (null === $count) { return 'movie(s)'; } return 1 === $count ? 'movie' : 'movies'; } }
運(yùn)行命令
你可以像運(yùn)行普通的 Symfony Console 命令一樣運(yùn)行這個命令：
bin/console import:movies # 或者指定進(jìn)程數(shù)量 bin/console import:movies --processes 4
優(yōu)勢
- 顯著提升執(zhí)行效率： 通過并行化處理，大幅縮短命令的執(zhí)行時間。
- 易于集成： 可以通過繼承 ParallelCommand 類或使用 Parallelization trait 輕松集成到現(xiàn)有的 Symfony Console 命令中。
- 靈活配置： 提供了豐富的配置選項(xiàng)，可以根據(jù)實(shí)際情況調(diào)整 items、segments 和 batches 的大小，以優(yōu)化性能。
- 支持鉤子函數(shù)： 可以在每個 batch 執(zhí)行前后運(yùn)行自定義代碼，例如刷新數(shù)據(jù)庫連接或釋放資源。
webmozarts/console-parallelization 庫為解決 Symfony Console 命令執(zhí)行效率問題提供了一個有效的解決方案。通過并行化處理，可以顯著縮短命令的執(zhí)行時間，提高開發(fā)效率。如果你正在為 Symfony 命令的執(zhí)行效率而煩惱，不妨嘗試一下這個庫。
.png)
