public class Tokenizer
extends java.lang.Object
Constructor and Description |
---|
Tokenizer() |
Modifier and Type | Method and Description |
---|---|
static void |
main(java.lang.String[] args) |
static void |
tokenizer(java.io.File in,
java.io.File out)
Tokeniza um arquivo de origem (in) para um arquivo de destino (out)
|
static java.util.ArrayList<java.lang.String> |
tokenizer(java.lang.String text)
Tokeniza a
String text, passada como parâmetro, e
retonra uma ArrayList com estes tokens |
public static void tokenizer(java.io.File in, java.io.File out) throws java.io.IOException
in
- um File
que será tokenizadoout
- um File
onde será armazenado o resultadojava.io.IOException
public static java.util.ArrayList<java.lang.String> tokenizer(java.lang.String text)
String
text, passada como parâmetro, e
retonra uma ArrayList
com estes tokenstext
- a String
que será tokenizadaArrayList
com os tokenspublic static void main(java.lang.String[] args) throws java.io.IOException
java.io.IOException