Exposition des jeux de données.
2 version concurrentielles sont présentées ici, une en python et une en javascript.
L'objectif de ce POC est de charger une collection Mongo (atlas2023) et de la servir en API après avoir filtré les données sous secret. D'autres connecteurs devront être développés plus tard, en plus de Mongo (Cartable, file stream ...).
Stack: FastAPI, Mongo
cd python
fastapi dev or in prod fastapi run
See :
- Homepage: http://127.0.0.1:8000/
- API: http://127.0.0.1:8000/api/atlas2023
- Swagger Documentation: http://127.0.0.1:8000/docs/atlas2023
- OpenAPI JSON format: http://127.0.0.1:8000/json/atlas2023
cd js
npm i
npx nodemon server.js or in prod node server.js
Pour la collection "atlas2023" :
- Swagger Documentation: http://localhost:3000/doc/atlas2023
- OpenAPI JSON format: http://localhost:3000/api/doc/atlas2023
- API: http://localhost:3000/api/atlas2023
CCL
La recopie va plus vite en python. Mais ensuite c'est équivalent.
- Dépôt du fichier (Connecteurs) => Extract
- vérifie avec un schéma (échantillon ou exhasutif) micro-services (?) en interne (mais accessibles de l'extérieur) => Transform
- Modificatino des donénes (est-ceque ça passe ou pas ?) micro-services (?) en interne (mais accessibles de l'extérieur) => Transform
- Exposition des données via une API => Load
Redis sync et ordonnancement
Next Step:
- File upload connector (pas besoin d'UI, mettre les fichiers en dur dans le code), puis exposer l'API avec les 2 fichiers InserSup