Domande con tag 'lexer'

domande con tag
1
risposta

Come vengono chiamati i grafici delle specifiche "Json.org" e come posso generarli?

Nel link Douglas Crockford mostra le specifiche del formato JSON in due modi interessanti: Nella colonna di destra elenca una specifica di testo che assomiglia a un elenco YACC o LEX. Nel corpo principale della homepage, ha inserito dive...
posta 18.12.2012 - 00:00
2
risposte

È appropriato che un tokenizzatore usi la regex per raccogliere token?

Recentemente ho rilevato il bug "Toy Language" e ho sperimentato varie configurazioni semplici di tokenizer. La più recente utilizza la libreria boost.regex per identificare e ottenere il valore dei token. Mi sembra che regex sia il modo miglior...
posta 02.09.2016 - 09:19
1
risposta

Cosa segue l'analisi lessicale?

Sto lavorando su un compilatore di giocattoli (per un linguaggio semplice come PL / 0) e ho il mio lexer attivo e funzionante. A questo punto dovrei iniziare a lavorare sulla costruzione dell'albero di analisi, ma prima di iniziare mi chiedevo:...
posta 28.11.2012 - 14:53
2
risposte

Passare il contesto attorno ai nodi AST

Ho vari oggetti all'interno del mio AST, come IfBlock , FunctionBlock , LogicExpression , ecc. Tutti questi oggetti condividono un contesto, che è fondamentalmente una hashmap con alcune variabili. È un linguaggio molto semplice, cre...
posta 23.04.2015 - 20:28
4
risposte

È possibile creare un singolo tokenizzatore per analizzarlo?

Questo estende questo altra discussione Q & A , ma sta entrando in dettagli che non rientrano nell'ambito della domanda originale. Sto generando un parser che deve analizzare una grammatica sensibile al contesto che può contenere il segu...
posta 16.05.2013 - 18:22
4
risposte

Il mio lexer dovrebbe consentire quello che è ovviamente un errore di sintassi?

Questo è un po 'come una versione concreta della domanda In arrivo con i token per un lexer . Sto scrivendo un lexer per un piccolo sottoinsieme di HTML. Mi chiedo che cosa dovrei fare quando il flusso di input termina e sono in uno stat...
posta 02.12.2018 - 20:31
3
risposte

Qual è una buona strategia per leggere XML come dati di testo gerarchici?

Voglio leggere i dati in un formato come il seguente usando Java. [scenario] id=my_first_scenario next_scenario=null name=_"My First Scenario." map_data="{~add-ons/my_first_campaign/maps/my_first_map.map}" turns=30...
posta 25.10.2016 - 08:16
1
risposta

Esistono linguaggi di programmazione che consentono di utilizzare altre lingue senza limitazioni all'interno di esse?

Questa potrebbe essere una domanda stupida e richiederebbe sicuramente un inferno di un lexer, ma qualsiasi linguaggio di programmazione esistente ti consente di fare qualcosa del tipo: c# (1.2) { // c# code } Perl (5) { # perl code...
posta 30.05.2018 - 16:14
2
risposte

Memorizzazione di token durante la fase di lexing

Attualmente sto implementando un lexer che interrompe i file XML in token, sto considerando modi per trasferire i token su un parser per creare una struttura dati più utile da detti token - il mio piano attuale è di memorizzarli in un arraylist...
posta 17.04.2014 - 01:50
1
risposta

È possibile analizzare la grammatica con produzioni su più righe senza retrocedere?

Sto giocando con la creazione di un parser in PHP per il mio gusto di BNF , per abbinare le stringhe alla grammatica in questa variante BNF. È ancora un lavoro in corso e soggetto a modifiche (potrei persino finire per passare al supporto ABN...
posta 20.02.2016 - 21:09