Struct serde_gff::parser::Parser

pub struct Parser<R: Read + Seek> { /* private fields */ }

Реализует потоковый (наподобие SAX) парсер GFF файла. Парсер реализует интерфейс итератора по токенам. Каждый вызов метода next_token возвращает следующий токен из потока, который сразу же может быть использован для анализа или сохранен для дальнейшего использования.

События разбора

Парсер представляет собой pull-down парсер, т.е. для получения данных его нужно опрашивать внешним циклом (в противоположность push-down парсеру, который испускает события при разборе очередного элемента).

Так как GFF файл может быть представлен в XML виде, и эта структура проще для представления в тексте, то ниже показан пример файла, в котором отмечены места после которых парсер генерирует токены при разборе. В виде кода Rust описанная структура данных может быть представлена таким образом:

struct Struct;
struct Item {
  double: f64,
}
struct Root {
  int: i32,
  struc: Struct,
  list: Vec<Item>,
}

XML представление:

<STRUCT tag='4294967295'>[1]
  <FIELD label='int'[2] type='INT'>8</FIELD>[3]
  <FIELD label='struc'[4] type='STRUCT'>
    <STRUCT tag='1'>[5]
    </STRUCT>[6]
  </FIELD>
  <FIELD label='list'[7] type='LIST'>[8]
    <STRUCT tag='2'>[9]
      <FIELD label='double'[10] type='DOUBLE'>0.000000</FIELD>[11]
    </STRUCT>[12]
  </FIELD>[13]
</STRUCT>[14]

Токены, получаемые последовательным вызовом next_token:

1. RootBegin. Прочитано описание корневой структуры – в этом состоянии уже известен тег типа структуры и количество полей в ней.
2. Label. Прочитан индекс метки, по этому индексу может быть прочитано значение метки
3. Value. Прочитано примитивное значение
4. Label. Прочитан индекс метки, по этому индексу может быть прочитано значение метки
5. StructBegin. Прочитано количество полей структуры и ее тег
6. StructEnd
7. Label. Прочитан индекс метки, по этому индексу может быть прочитано значение метки
8. ListBegin. Прочитано количество элементов списка
9. ItemBegin. Прочитано количество полей структуры, ее тег, а также предоставляется информация о порядковом индексе элемента
10. Label. Прочитан индекс метки, по этому индексу может быть прочитано значение метки
11. Value. Прочитан индекс большого значения (больше 4-х байт), по этому индексу само значение может быть прочитано отдельным вызовом
12. ItemEnd. Элемент списка прочитан
13. ListEnd. Весь список прочитан
14. RootEnd. Файл прочитан

Пример

В данном примере читается файл с диска, и в потоковом режиме выводится на экран, формируя что-то, напоминающее JSON.

use std::fs::File;
use serde_gff::parser::Parser;
use serde_gff::parser::Token::*;

// Читаем файл с диска и создаем парсер. При создании парсер сразу же читает небольшую
// порцию данных -- заголовок, которая нужна ему для правильного разрешения ссылок
let file = File::open("test-data/all.gff").expect("test file not exist");
let mut parser = Parser::new(file).expect("reading GFF header failed");
let mut indent = 0;
loop {
  // В данном случае мы используем методы типажа Iterator для итерирования по файлу, так
  // как мы полагаем, что ошибок в процессе чтения не возникнет. Если же они интересны,
  // следует использовать метод `next_token`
  if let Some(token) = parser.next() {
    match token {
      RootBegin {..} | RootEnd => {},
      // Обрамляем структуры в `{ ... }`
      StructBegin {..} => { indent += 1; println!("{{"); },
      StructEnd        => { indent -= 1; println!("{:indent$}}}", "", indent=indent*2); },
      // Обрамляем списки в `[ ... ]`
      ListBegin {..}   => { indent += 1; println!("["); },
      ListEnd          => { indent -= 1; println!("{:indent$}]", "", indent=indent*2); },
      // Обрамляем элементы списков в `[index]: { ... }`
      ItemBegin { index, .. } => {
        println!("{:indent$}[{}]: {{", "", index, indent=indent*2);
        indent += 1;
      },
      ItemEnd => {
        indent -= 1;
        println!("{:indent$}}}", "", indent=indent*2);
      },

      Label(index) => {
        // Физически значение меток хранится в другом месте файла. Так как при итерировании они
        // могут быть нам неинтересны, то токен содержит только индекс используемой метки (имени
        // поля). В данном же случае они нас интересуют, поэтому выполняем полное чтение
        let label = parser.read_label(index).expect(&format!("can't read label {:?}", index));
        print!("{:indent$}{}: ", "", label, indent=indent*2)
      },

      // Аналогично со значениями. Некоторые значения доступны сразу (те, чей размер не превышает
      // 4 байта), другие хранятся с других частях файла и должны быть явно прочитаны.
      // Также, если вас интересует только какое-то конкретное значение, может быть использован
      // один из методов `read_*` парсера
      Value(value) => println!("{:?}", parser.read_value(value).expect("can't read value")),
    }
    continue;
  }
  // Как только итератор возвращает None, файл закончился, либо произошла ошибка; завершаем работу
  break;
}

Implementations

impl<R: Read + Seek> Parser<R>

pub fn new(reader: R) -> Result<Self>

Создает парсер для чтения GFF файла из указанного источника данных с использованием кодировки UTF-8 для декодирования строк и генерацией ошибки в случае, если декодировать набор байт, как строку в этой кодировке, не удалось.

Параметры

• reader: Источник данных для чтения файла

pub fn with_encoding(
    reader: R,
    encoding: EncodingRef,
    trap: DecoderTrap
) -> Result<Self>

Создает парсер для чтения GFF файла из указанного источника данных с использованием указанной кодировки для декодирования строк.

Параметры

• reader: Источник данных для чтения файла
• encoding: Кодировка для декодирования символов в строках
• trap: Способ обработки символов в строках, которые не удалось декодировать с использованием выбранной кодировки

pub fn next_token(&mut self) -> Result<Token>

Возвращает следующий токен или ошибку, если данных не осталось или при их чтении возникли проблемы.

pub fn skip_next(&mut self, token: Token)

Быстро пропускает всю внутреннюю структуру, переводя парсер в состояние, при котором вызов next_token вернет следующий структурный элемент после пропущенного (следующее поле структуры или элемент списка).

Параметры

• token: Токен, полученный предшествующим вызовом next_token

pub fn read_label(&mut self, index: LabelIndex) -> Result<Label>

Читает из файла значение метки по указанному индексу. Не меняет позицию чтения в файле

pub fn read_u64(&mut self, index: U64Index) -> Result<u64>

Читает из файла значение поля по указанному индексу. Побочный эффект – переход по указанному адресу

pub fn read_i64(&mut self, index: I64Index) -> Result<i64>

Читает из файла значение поля по указанному индексу. Побочный эффект – переход по указанному адресу

pub fn read_f64(&mut self, index: F64Index) -> Result<f64>

Читает из файла значение поля по указанному индексу. Побочный эффект – переход по указанному адресу

pub fn read_string(&mut self, index: StringIndex) -> Result<String>

Читает 4 байта длины и следующие за ними байты строки, интерпретирует их в соответствии с кодировкой декодера и возвращает полученную строку. Побочный эффект – переход по указанному адресу

pub fn read_resref(&mut self, index: ResRefIndex) -> Result<ResRef>

Читает 1 байт длины и следующие за ними байты массива, возвращает прочитанный массив, обернутый в ResRef. Побочный эффект – переход по указанному адресу

pub fn read_loc_string(&mut self, index: LocStringIndex) -> Result<LocString>

Читает из файла значение поля по указанному индексу. Побочный эффект – переход по указанному адресу

pub fn read_byte_buf(&mut self, index: BinaryIndex) -> Result<Vec<u8>>

Читает 4 байта длины и следующие за ними байты массива, возвращает прочитанный массив. Побочный эффект – переход по указанному адресу

pub fn read_value(&mut self, value: SimpleValueRef) -> Result<SimpleValue>

Если value содержит еще не прочитанные поля (т.е. содержащие индексы), читает их. В противном случае просто преобразует тип значения в SimpleValue.

Данный метод меняет внутреннюю позицию чтения парсера, однако это не несет за собой негативных последствий, если сразу после вызова данного метода выполнить переход к следующему токену при итерации по токенам парсера. См. пример в описании структуры Parser.

Trait Implementations

impl<R: Read + Seek> Iterator for Parser<R>

type Item = Token

The type of the elements being iterated over.

fn next(&mut self) -> Option<Token>

Advances the iterator and returns the next value.

fn size_hint(&self) -> (usize, Option<usize>)

Returns the bounds on the remaining length of the iterator.

fn next_chunk<const N: usize>(
    &mut self
) -> Result<[Self::Item; N], IntoIter<Self::Item, N>>where
    Self: Sized,

🔬This is a nightly-only experimental API. (iter_next_chunk)

Advances the iterator and returns an array containing the next N values.

fn count(self) -> usizewhere
    Self: Sized,

Consumes the iterator, counting the number of iterations and returning it.

fn last(self) -> Option<Self::Item>where
    Self: Sized,

Consumes the iterator, returning the last element.

fn advance_by(&mut self, n: usize) -> Result<(), usize>

🔬This is a nightly-only experimental API. (iter_advance_by)

Advances the iterator by n elements.

fn nth(&mut self, n: usize) -> Option<Self::Item>

Returns the nth element of the iterator.

fn step_by(self, step: usize) -> StepBy<Self>where
    Self: Sized,

Creates an iterator starting at the same point, but stepping by the given amount at each iteration.

fn chain<U>(self, other: U) -> Chain<Self, <U as IntoIterator>::IntoIter>where
    Self: Sized,
    U: IntoIterator<Item = Self::Item>,

Takes two iterators and creates a new iterator over both in sequence.

fn zip<U>(self, other: U) -> Zip<Self, <U as IntoIterator>::IntoIter>where
    Self: Sized,
    U: IntoIterator,

‘Zips up’ two iterators into a single iterator of pairs.

fn intersperse_with<G>(self, separator: G) -> IntersperseWith<Self, G>where
    Self: Sized,
    G: FnMut() -> Self::Item,

🔬This is a nightly-only experimental API. (iter_intersperse)

Creates a new iterator which places an item generated by separator between adjacent items of the original iterator.

fn map<B, F>(self, f: F) -> Map<Self, F>where
    Self: Sized,
    F: FnMut(Self::Item) -> B,

Takes a closure and creates an iterator which calls that closure on each element.

fn for_each<F>(self, f: F)where
    Self: Sized,
    F: FnMut(Self::Item),

Calls a closure on each element of an iterator.

fn filter<P>(self, predicate: P) -> Filter<Self, P>where
    Self: Sized,
    P: FnMut(&Self::Item) -> bool,

Creates an iterator which uses a closure to determine if an element should be yielded.

fn filter_map<B, F>(self, f: F) -> FilterMap<Self, F>where
    Self: Sized,
    F: FnMut(Self::Item) -> Option<B>,

Creates an iterator that both filters and maps.

fn enumerate(self) -> Enumerate<Self>where
    Self: Sized,

Creates an iterator which gives the current iteration count as well as the next value.

fn peekable(self) -> Peekable<Self>where
    Self: Sized,

Creates an iterator which can use the peek and peek_mut methods to look at the next element of the iterator without consuming it. See their documentation for more information.

fn skip_while<P>(self, predicate: P) -> SkipWhile<Self, P>where
    Self: Sized,
    P: FnMut(&Self::Item) -> bool,

Creates an iterator that skips elements based on a predicate.

fn take_while<P>(self, predicate: P) -> TakeWhile<Self, P>where
    Self: Sized,
    P: FnMut(&Self::Item) -> bool,

Creates an iterator that yields elements based on a predicate.

fn map_while<B, P>(self, predicate: P) -> MapWhile<Self, P>where
    Self: Sized,
    P: FnMut(Self::Item) -> Option<B>,

Creates an iterator that both yields elements based on a predicate and maps.

fn skip(self, n: usize) -> Skip<Self>where
    Self: Sized,

Creates an iterator that skips the first n elements.

fn take(self, n: usize) -> Take<Self>where
    Self: Sized,

Creates an iterator that yields the first n elements, or fewer if the underlying iterator ends sooner.

fn scan<St, B, F>(self, initial_state: St, f: F) -> Scan<Self, St, F>where
    Self: Sized,
    F: FnMut(&mut St, Self::Item) -> Option<B>,

An iterator adapter similar to fold that holds internal state and produces a new iterator.

fn flat_map<U, F>(self, f: F) -> FlatMap<Self, U, F>where
    Self: Sized,
    U: IntoIterator,
    F: FnMut(Self::Item) -> U,

Creates an iterator that works like map, but flattens nested structure.

fn fuse(self) -> Fuse<Self>where
    Self: Sized,

Creates an iterator which ends after the first None.

fn inspect<F>(self, f: F) -> Inspect<Self, F>where
    Self: Sized,
    F: FnMut(&Self::Item),

Does something with each element of an iterator, passing the value on.

fn by_ref(&mut self) -> &mut Selfwhere
    Self: Sized,

Borrows an iterator, rather than consuming it.

fn collect<B>(self) -> Bwhere
    B: FromIterator<Self::Item>,
    Self: Sized,

Transforms an iterator into a collection.

fn collect_into<E>(self, collection: &mut E) -> &mut Ewhere
    E: Extend<Self::Item>,
    Self: Sized,

🔬This is a nightly-only experimental API. (iter_collect_into)

Collects all the items from an iterator into a collection.

fn partition<B, F>(self, f: F) -> (B, B)where
    Self: Sized,
    B: Default + Extend<Self::Item>,
    F: FnMut(&Self::Item) -> bool,

Consumes an iterator, creating two collections from it.

fn is_partitioned<P>(self, predicate: P) -> boolwhere
    Self: Sized,
    P: FnMut(Self::Item) -> bool,

🔬This is a nightly-only experimental API. (iter_is_partitioned)

Checks if the elements of this iterator are partitioned according to the given predicate, such that all those that return true precede all those that return false.

fn try_fold<B, F, R>(&mut self, init: B, f: F) -> Rwhere
    Self: Sized,
    F: FnMut(B, Self::Item) -> R,
    R: Try<Output = B>,

An iterator method that applies a function as long as it returns successfully, producing a single, final value.

fn try_for_each<F, R>(&mut self, f: F) -> Rwhere
    Self: Sized,
    F: FnMut(Self::Item) -> R,
    R: Try<Output = ()>,

An iterator method that applies a fallible function to each item in the iterator, stopping at the first error and returning that error.

fn fold<B, F>(self, init: B, f: F) -> Bwhere
    Self: Sized,
    F: FnMut(B, Self::Item) -> B,

Folds every element into an accumulator by applying an operation, returning the final result.

fn reduce<F>(self, f: F) -> Option<Self::Item>where
    Self: Sized,
    F: FnMut(Self::Item, Self::Item) -> Self::Item,

Reduces the elements to a single one, by repeatedly applying a reducing operation.

fn try_reduce<F, R>(
    &mut self,
    f: F
) -> <<R as Try>::Residual as Residual<Option<<R as Try>::Output>>>::TryTypewhere
    Self: Sized,
    F: FnMut(Self::Item, Self::Item) -> R,
    R: Try<Output = Self::Item>,
    <R as Try>::Residual: Residual<Option<Self::Item>>,

🔬This is a nightly-only experimental API. (iterator_try_reduce)

Reduces the elements to a single one by repeatedly applying a reducing operation. If the closure returns a failure, the failure is propagated back to the caller immediately.

fn all<F>(&mut self, f: F) -> boolwhere
    Self: Sized,
    F: FnMut(Self::Item) -> bool,

Tests if every element of the iterator matches a predicate.

fn any<F>(&mut self, f: F) -> boolwhere
    Self: Sized,
    F: FnMut(Self::Item) -> bool,

Tests if any element of the iterator matches a predicate.

fn find<P>(&mut self, predicate: P) -> Option<Self::Item>where
    Self: Sized,
    P: FnMut(&Self::Item) -> bool,

Searches for an element of an iterator that satisfies a predicate.

fn find_map<B, F>(&mut self, f: F) -> Option<B>where
    Self: Sized,
    F: FnMut(Self::Item) -> Option<B>,

Applies function to the elements of iterator and returns the first non-none result.

fn try_find<F, R>(
    &mut self,
    f: F
) -> <<R as Try>::Residual as Residual<Option<Self::Item>>>::TryTypewhere
    Self: Sized,
    F: FnMut(&Self::Item) -> R,
    R: Try<Output = bool>,
    <R as Try>::Residual: Residual<Option<Self::Item>>,

🔬This is a nightly-only experimental API. (try_find)

Applies function to the elements of iterator and returns the first true result or the first error.

fn position<P>(&mut self, predicate: P) -> Option<usize>where
    Self: Sized,
    P: FnMut(Self::Item) -> bool,

Searches for an element in an iterator, returning its index.

fn max_by_key<B, F>(self, f: F) -> Option<Self::Item>where
    B: Ord,
    Self: Sized,
    F: FnMut(&Self::Item) -> B,

Returns the element that gives the maximum value from the specified function.

fn max_by<F>(self, compare: F) -> Option<Self::Item>where
    Self: Sized,
    F: FnMut(&Self::Item, &Self::Item) -> Ordering,

Returns the element that gives the maximum value with respect to the specified comparison function.

fn min_by_key<B, F>(self, f: F) -> Option<Self::Item>where
    B: Ord,
    Self: Sized,
    F: FnMut(&Self::Item) -> B,

Returns the element that gives the minimum value from the specified function.

fn min_by<F>(self, compare: F) -> Option<Self::Item>where
    Self: Sized,
    F: FnMut(&Self::Item, &Self::Item) -> Ordering,

Returns the element that gives the minimum value with respect to the specified comparison function.

fn unzip<A, B, FromA, FromB>(self) -> (FromA, FromB)where
    FromA: Default + Extend<A>,
    FromB: Default + Extend<B>,
    Self: Sized + Iterator<Item = (A, B)>,

Converts an iterator of pairs into a pair of containers.

fn copied<'a, T>(self) -> Copied<Self>where
    T: 'a + Copy,
    Self: Sized + Iterator<Item = &'a T>,

Creates an iterator which copies all of its elements.

fn cloned<'a, T>(self) -> Cloned<Self>where
    T: 'a + Clone,
    Self: Sized + Iterator<Item = &'a T>,

Creates an iterator which clones all of its elements.

fn array_chunks<const N: usize>(self) -> ArrayChunks<Self, N>where
    Self: Sized,

🔬This is a nightly-only experimental API. (iter_array_chunks)

Returns an iterator over N elements of the iterator at a time.

fn sum<S>(self) -> Swhere
    Self: Sized,
    S: Sum<Self::Item>,

Sums the elements of an iterator.

fn product<P>(self) -> Pwhere
    Self: Sized,
    P: Product<Self::Item>,

Iterates over the entire iterator, multiplying all the elements

fn cmp_by<I, F>(self, other: I, cmp: F) -> Orderingwhere
    Self: Sized,
    I: IntoIterator,
    F: FnMut(Self::Item, <I as IntoIterator>::Item) -> Ordering,

🔬This is a nightly-only experimental API. (iter_order_by)

Lexicographically compares the elements of this Iterator with those of another with respect to the specified comparison function.

fn partial_cmp<I>(self, other: I) -> Option<Ordering>where
    I: IntoIterator,
    Self::Item: PartialOrd<<I as IntoIterator>::Item>,
    Self: Sized,

Lexicographically compares the elements of this Iterator with those of another.

fn partial_cmp_by<I, F>(self, other: I, partial_cmp: F) -> Option<Ordering>where
    Self: Sized,
    I: IntoIterator,
    F: FnMut(Self::Item, <I as IntoIterator>::Item) -> Option<Ordering>,

🔬This is a nightly-only experimental API. (iter_order_by)

Lexicographically compares the elements of this Iterator with those of another with respect to the specified comparison function.

fn eq<I>(self, other: I) -> boolwhere
    I: IntoIterator,
    Self::Item: PartialEq<<I as IntoIterator>::Item>,
    Self: Sized,

Determines if the elements of this Iterator are equal to those of another.

fn eq_by<I, F>(self, other: I, eq: F) -> boolwhere
    Self: Sized,
    I: IntoIterator,
    F: FnMut(Self::Item, <I as IntoIterator>::Item) -> bool,

🔬This is a nightly-only experimental API. (iter_order_by)

Determines if the elements of this Iterator are equal to those of another with respect to the specified equality function.

fn ne<I>(self, other: I) -> boolwhere
    I: IntoIterator,
    Self::Item: PartialEq<<I as IntoIterator>::Item>,
    Self: Sized,

Determines if the elements of this Iterator are unequal to those of another.

fn lt<I>(self, other: I) -> boolwhere
    I: IntoIterator,
    Self::Item: PartialOrd<<I as IntoIterator>::Item>,
    Self: Sized,

Determines if the elements of this Iterator are lexicographically less than those of another.

fn le<I>(self, other: I) -> boolwhere
    I: IntoIterator,
    Self::Item: PartialOrd<<I as IntoIterator>::Item>,
    Self: Sized,

Determines if the elements of this Iterator are lexicographically less or equal to those of another.

fn gt<I>(self, other: I) -> boolwhere
    I: IntoIterator,
    Self::Item: PartialOrd<<I as IntoIterator>::Item>,
    Self: Sized,

Determines if the elements of this Iterator are lexicographically greater than those of another.

fn ge<I>(self, other: I) -> boolwhere
    I: IntoIterator,
    Self::Item: PartialOrd<<I as IntoIterator>::Item>,
    Self: Sized,

Determines if the elements of this Iterator are lexicographically greater than or equal to those of another.

fn is_sorted_by<F>(self, compare: F) -> boolwhere
    Self: Sized,
    F: FnMut(&Self::Item, &Self::Item) -> Option<Ordering>,

🔬This is a nightly-only experimental API. (is_sorted)

Checks if the elements of this iterator are sorted using the given comparator function.

fn is_sorted_by_key<F, K>(self, f: F) -> boolwhere
    Self: Sized,
    F: FnMut(Self::Item) -> K,
    K: PartialOrd<K>,

🔬This is a nightly-only experimental API. (is_sorted)

Checks if the elements of this iterator are sorted using the given key extraction function.

impl<R: Read + Seek> FusedIterator for Parser<R>