Skip to main content

Crate job_formatter_core

Crate job_formatter_core 

Source
Expand description

§job-formatter-core

Industry-agnostic job-feed formatting engine: company CSV / Excel / JSON / JSONL → normalized JSONL → per-media output rows. Parallel, order-preserving, fault-isolating.

求人フィード連携の業界非依存基盤。「各社のフィード(CSV / Excel / JSON / JSONL)→ 正規形(JSONL)」の取り込みと、 その双対である「正規形 → 媒体別出力行」の整形、それぞれの仕組みを担う。

会社A CSV ─┐                          ┌─→ 媒体X向け出力行
会社B CSV ─┼─→ 正規形レコード(JSONL)─┼─→ 媒体Y向け出力行
会社C CSV ─┘                          └─→ 媒体Z向け出力行

§責務境界(横展開の設計)

  • core(本クレート): アダプタの枠組み(adapter::CompanyAdapter)・ CSV 読取(UTF-8 / Shift_JIS 自動判別)・Excel 読取(feature excel、既定で有効)・ JSON 読取(レコードの配列。包まれていれば JSON Pointer で選ぶ)・ JSONL 読取(1 行 = 1 レコードの JSON)(いずれも UTF-8 のみ)・ 独自ソースの組み立て口(source::TableSource::new)・列名アクセス・ レコード単位のエラー隔離・並列変換・JSONL 出力・媒体整形の枠組み (media::MediaFormatter)。レコード型に対してジェネリックで、 業界知識・媒体知識を一切持たない
  • ドメインクレート(業界ごと): 正規形レコード型の定義、各社アダプタ実装 (列マッピング・社別クレンジング)、CLI。タグ付けなど後段の加工もドメイン側に置く
  • 媒体実装(出力先ごと、呼び出し側 — バーティカルの media モジュール等): media::MediaFormatter の実装。マスタ ID 変換・出力形式・媒体検証などの 知識はすべて媒体側が持つ

§速度

行単位の変換(adapter::convert_source)・媒体整形(media::format_records)・ シリアライズ(output::write_jsonl)は rayon で並列実行し、入力順を保持する。 直列なのは入力の読み取りと構造の解析(CSV のパース・JSON の走査)、出力の書き込みのみ。

§使い方

§取り込み(各社のフィード → 正規形)

use job_formatter_core::adapter::{CompanyAdapter, convert_source};
use job_formatter_core::error::RecordError;
use job_formatter_core::row::Row;
use job_formatter_core::source::TableSource;
use serde::Serialize;

#[derive(Serialize)]
struct MyJob {
    job_no: String,
    title: String,
}

struct MyAgentAdapter;

impl CompanyAdapter for MyAgentAdapter {
    type Record = MyJob;

    fn company_id(&self) -> &'static str {
        "my-agent"
    }

    fn required_columns(&self) -> &'static [&'static str] {
        &["求人番号", "タイトル"]
    }

    fn convert(&self, row: &Row<'_>) -> Result<Self::Record, RecordError> {
        Ok(MyJob {
            job_no: row.require("求人番号")?.to_string(),
            title: row.require("タイトル")?.to_string(),
        })
    }
}

let csv = "求人番号,タイトル\nJ1,スタッフ募集\nJ2,\n";
let source = TableSource::from_csv_bytes(csv.as_bytes(), "agent.csv")?;
// Excel なら TableSource::from_xlsx_path、独自形式なら TableSource::new で同じ流れに載る。
// JSON / JSONL(from_json_path / from_jsonl_path)は列が `record` 1 つなので、
// それを serde で読む別のアダプタが要る(tests/convert.rs の JsonAdapter を参照)
let outcome = convert_source(&MyAgentAdapter, &source)?;
assert_eq!(outcome.records.len(), 1);   // J2 はタイトル空で隔離
assert_eq!(outcome.errors.len(), 1);

§媒体整形(正規形 → 媒体別 JSONL)

use job_formatter_core::error::RecordError;
use job_formatter_core::media::{MediaFormatter, format_records};
use job_formatter_core::output::write_jsonl;
use serde::Serialize;

struct MyJob {
    job_no: String,
    employments: Vec<String>,
}

#[derive(Serialize)]
struct MyMediaRow {
    job_no: String,
    employment: String,
}

struct MyMediaFormatter;

impl MediaFormatter for MyMediaFormatter {
    type Record = MyJob;
    type Output = MyMediaRow;

    fn media_id(&self) -> &'static str {
        "my-media"
    }

    fn format(&self, record: &MyJob) -> Result<Vec<MyMediaRow>, RecordError> {
        // 雇用形態ごとに 1 行へ展開。0 行なら「この媒体では出力しない」(選別)
        Ok(record
            .employments
            .iter()
            .map(|employment| MyMediaRow {
                job_no: record.job_no.clone(),
                employment: employment.clone(),
            })
            .collect())
    }
}

let jobs = vec![
    MyJob { job_no: "J1".into(), employments: vec!["正社員".into(), "パート".into()] },
    MyJob { job_no: "J2".into(), employments: vec![] },
];
let outcome = format_records(&MyMediaFormatter, &jobs);
assert_eq!(outcome.rows.len(), 2);   // J1 は 2 行に展開、J2 は選別(エラーではない)
assert!(outcome.errors.is_empty());
let mut jsonl = Vec::new();
write_jsonl(&mut jsonl, &outcome.rows)?;

Modules§

adapter
各社アダプタ(取り込み側)の枠組みと変換ドライバ。
error
取り込みのエラー型。
media
媒体(出力先)ごとの整形の枠組みと一括整形ドライバ。
output
変換用 JSON(JSONL)の出力。
row
ヘッダー付き表データ行への列名アクセス。
source
表データソースの読み取り(CSV / Excel / JSON / JSONL / 独自ソース)。