Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

schaalbaarheid #58

Open
pebbe opened this issue Apr 13, 2022 · 1 comment
Open

schaalbaarheid #58

pebbe opened this issue Apr 13, 2022 · 1 comment

Comments

@pebbe
Copy link
Member

pebbe commented Apr 13, 2022

De huidige opzet werkt goed voor de huidige omvang van de data. Maar als er zeer veel data bijkomt zijn er een paar problemen.

Momenteel zitten er ruim 70.000 trippels in allegrograph. De gratis versie kan maximaal 5.000.000 aan.

Alle Turtle-bestanden van graven staan in één directory, en alle foto's ook. Dit kan niet zo blijven als er veel bijkomt. Het bestandsysteem heeft problemen met directory's met 100.000 bestanden. Die moeten dus verdeeld worden over meerdere directory's. Maar de URLs moeten hetzelfde blijven, net alsof alles nog steeds in één directory staat.

Wanneer een Turtle-bestand wordt toegevoegd of veranderd, dan wordt alle data opnieuw ingelezen in Allegrograph. Dat gaat vrij snel, maar is niet doenlijk als er veel meer data is. Tijdens het invoeren is de database niet beschikbaar voor gebruikers.

@pebbe
Copy link
Member Author

pebbe commented Nov 11, 2022

Het eerste deel, bestanden splitsen over meerdere directory's is gedaan.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

1 participant