Snapshot của nikic/Phlexy: 162★ · PHP. Lexing experiments in PHP
Tóm tắt dựng từ metadata GitHub của chính dự án — chưa có bài review TopGit. Trang sẽ tự động cập nhật khi bài review đầy đủ được xuất bản.
VÌ SAO CHƯA CÓ REVIEW
TopGit viết bài đầy đủ cho repo có nhiều sao nhất và được yêu cầu nhiều nhất. Trang này là snapshot trong thời gian chờ — xem README gốc ở tab READ ME.
This project is a followup to my post on fast lexing in PHP. It contains a few lexer implementations
(both stateless and stateful) and related performance tests.
Usage
Lexers are created from a lexer definition using a factory class.
For example, if you want to create a MARK based stateless CSV lexer, you can use the following code:
<?php
require 'path/to/vendor/autoload.php';
$factory = new Phlexy\LexerFactory\Stateless\UsingMarks(
new Phlexy\LexerDataGenerator
);
$lexer = $factory->createLexer(array(
'[^",\r\n]+' => 0, // 0, 1, 2, 3 are the tokens
'"[^"\\\\]*(?:\\\\.[^"\\\\]*)*"' => 1, // they should really be constants
',' => 2,
'\r?\n' => 3,
));
$tokens = $lexer->lex("hallo world,foo bar,more foo,more bar,\"rare , escape\",some more,stuff\n...");
Similarly a stateful lexer:
<?php
require 'path/to/lib/Phlexy/bootstrap.php';
$factory = new Phlexy\LexerFactory\Stateful\UsingMarks(
new Phlexy\LexerDataGenerator
);
// The "i" is an additional modifier (all createLexer methods accept it)
$lexer = $factory->createLexer($lexerDefinition, 'i');
For an example of a stateful lexer definition, you can look the definition for lexing PHP source
code.
Performance
A performance comparison for the different lexer implementations can be done using the performance testing
script:
$ php-7.2 examples/performanceTests.php
Timing lexing of CVS data:
Took 0.55736708641052 seconds (Phlexy\Lexer\Stateless\Simple)
Took 0.526859998703 seconds (Phlexy\Lexer\Stateless\WithCapturingGroups)
Took 0.49272608757019 seconds (Phlexy\Lexer\Stateless\WithoutCapturingGroups)
Took 0.5570011138916 seconds (Phlexy\Lexer\Stateless\UsingPregReplace)
Took 0.46333193778992 seconds (Phlexy\Lexer\Stateless\UsingMarks)
Timing alphabet lexing of all "a":
Took 0.58650183677673 seconds (Phlexy\Lexer\Stateless\Simple)
Took 0.754310131073 seconds (Phlexy\Lexer\Stateless\WithCapturingGroups)
Took 0.70682787895203 seconds (Phlexy\Lexer\Stateless\WithoutCapturingGroups)
Took 0.76406478881836 seconds (Phlexy\Lexer\Stateless\UsingPregReplace)
Took 0.62837815284729 seconds (Phlexy\Lexer\Stateless\UsingMarks)
Timing alphabet lexing of all "z":
Took 0.79967403411865 seconds (Phlexy\Lexer\Stateless\Simple)
Took 0.30202317237854 seconds (Phlexy\Lexer\Stateless\WithCapturingGroups)
Took 0.29198718070984 seconds (Phlexy\Lexer\Stateless\WithoutCapturingGroups)
Took 0.36609601974487 seconds (Phlexy\Lexer\Stateless\UsingPregReplace)
Took 0.12433409690857 seconds (Phlexy\Lexer\Stateless\UsingMarks)
Timing alphabet lexing of random string:
Took 1.1720998287201 seconds (Phlexy\Lexer\Stateless\Simple)
Took 0.5946900844574 seconds (Phlexy\Lexer\Stateless\WithCapturingGroups)
Took 0.55696296691895 seconds (Phlexy\Lexer\Stateless\WithoutCapturingGroups)
Took 0.6708779335022 seconds (Phlexy\Lexer\Stateless\UsingPregReplace)
Took 0.33155107498169 seconds (Phlexy\Lexer\Stateless\UsingMarks)
Timing PHP lexing of this file:
Took 0.151211977005 seconds (Phlexy\Lexer\Stateful\Simple)
Took 0.025480031967163 seconds (Phlexy\Lexer\Stateful\UsingCompiledRegex)
Took 0.007037878036499 seconds (Phlexy\Lexer\Stateful\UsingMarks)
Timing PHP lexing of larger TestAbstract file:
Took 0.49794602394104 seconds (Phlexy\Lexer\Stateful\Simple)
Took 0.083348035812378 seconds (Phlexy\Lexer\Stateful\UsingCompiledRegex)
Took 0.019592046737671 seconds (Phlexy\Lexer\Stateful\UsingMarks)
Stateless\Simple and Stateful\Simple are trivial lexer implementations (which loop through the regular expressions).
Stateless\WithoutCapturingGroups, Stateless\WithCapturingGroups and Stateful\UsingCompiledRegex use the compiled
regex approach described in the blog post mentioned above.
Stateless\UsingPregReplace is an extension of the compiled regex approach, where the looping through the regular
expression is done by (mis)using preg_replace_callback.
Stateless\UsingMarks and Stateful\UsingMark use the (*MARK) mechanism that was exposed in PHP 5.5.
As the above performance measurments show, the Simple approach is a good bit slower than using a compiled regex approach. Mark based implementation perform much better than group offset based ones. The benefits increase with lexer size: For the CSV lexer there is relatively little difference, while for the PHP lexer the mark based implementation is 25x faster than the naive one.
Trang TopGit này là một snapshot — tab "Readme" hiển thị nguyên văn README của repo (đã bỏ link, giữ ảnh). Repo GitHub ở github.com/nikic/Phlexy là nguồn chính thức.
nikic/Phlexy có bao nhiêu sao?
nikic/Phlexy có 162 sao GitHub — tải lại trang để xem số mới nhất, hoặc xem trực tiếp github.com/nikic/Phlexy. TopGit phản chiếu số sao của GitHub nhưng không cam kết đến từng phút.
nikic/Phlexy có tag gì không?
Bản đồng bộ chưa ghi nhận topic GitHub nào cho nikic/Phlexy. GitHub topics hiển thị ở thanh bên phải trang repo — đó là nơi đáng kiểm tra nhất.
nikic/Phlexy có website riêng không?
TopGit chưa ghi nhận URL trang chủ cho nikic/Phlexy. Phần README ở tab phía trên thường có link demo, hoặc xem mô tả GitHub của repo.
nikic/Phlexy còn đang phát triển không?
Commit gần nhất trên nikic/Phlexy là 5.2 năm trước (theo timestamp GitHub). Repo có 11 fork — một chỉ báo về mức độ quan tâm của cộng đồng.
nikic/Phlexy viết bằng ngôn ngữ gì?
nikic/Phlexy chủ yếu viết bằng PHP. Trường "language" của GitHub dựa trên phần lớn byte ở nhánh mặc định.
Đọc đầy đủ README ở tab phía trên.
Muốn nghe thêm một ý kiến về Phlexy?
Hỏi một AI đọc được trang này — một cú bấm là có ngay nhận định về Phlexy.