""" Import všech čekajících reportů z `Incoming/` do MongoDB. Pořadí zpracování per typ + studie: nejstarší soubor podle mtime první (důležité pro chronologickou správnost snapshotů). Po úspěšném importu se soubor přesune do `Incoming/Zpracováno/`. Při chybě zůstane soubor v `Incoming/`. """ import os import sys import glob import shutil sys.path.insert(0, os.path.dirname(os.path.dirname(os.path.abspath(__file__)))) from common.mongo_writer import ensure_indexes import import_to_mongo import import_notifications_to_mongo BASE_DIR = os.path.dirname(os.path.abspath(__file__)) INCOMING_DIR = os.path.join(BASE_DIR, "Incoming") DONE_DIR = os.path.join(INCOMING_DIR, "Zpracováno") STUDIES = ["77242113UCO3001", "42847922MDD3003"] def _move_done(path): os.makedirs(DONE_DIR, exist_ok=True) dst = os.path.join(DONE_DIR, os.path.basename(path)) # kolize → přepiš (Mongo už má aktuální data, soubor je jen archiv) if os.path.exists(dst): os.remove(dst) shutil.move(path, dst) def _sorted_by_mtime(paths): """Nejstarší první.""" return sorted( (p for p in paths if not os.path.basename(p).startswith("~$")), key=os.path.getmtime, ) def import_summaries(study): pattern = os.path.join(INCOMING_DIR, f"* {study} Subject Summary Report*.xlsx") files = _sorted_by_mtime(glob.glob(pattern)) if not files: print(f" [{study}] summary: nic ke zpracování") return print(f" [{study}] summary: {len(files)} soubor(ů) (oldest first)") for path in files: try: import_to_mongo.import_subject_summary(study, path) _move_done(path) except Exception as e: print(f" [{study}] CHYBA summary {os.path.basename(path)}: {e}") def import_details(study): pattern = os.path.join(INCOMING_DIR, f"* {study} * Subject Detail.xlsx") files = _sorted_by_mtime(glob.glob(pattern)) if not files: print(f" [{study}] detail: nic ke zpracování") return print(f" [{study}] detail: {len(files)} soubor(ů) (oldest first)") for path in files: parsed = import_to_mongo.parse_detail_filename(path) if not parsed: print(f" [{study}] PŘESKAKUJI (nelze parsovat název): {os.path.basename(path)}") continue _, parsed_study, subject = parsed if parsed_study != study: continue # patří jiné studii try: import_to_mongo.import_visits_single_file(study, subject, path) _move_done(path) except Exception as e: print(f" [{study}] CHYBA detail {os.path.basename(path)}: {e}") def main(): if not os.path.isdir(INCOMING_DIR): print(f"Adresář neexistuje: {INCOMING_DIR}") return ensure_indexes() print("=" * 60) print("Import Subject Summary + Visits") print("=" * 60) for study in STUDIES: import_summaries(study) import_details(study) print("\n" + "=" * 60) print("Import notifikací") print("=" * 60) import_notifications_to_mongo.import_from_dir(INCOMING_DIR, DONE_DIR, STUDIES) print("\n" + "=" * 60) print(f"Hotovo. Zpracované soubory: {DONE_DIR}") print("=" * 60) if __name__ == "__main__": main()