Erstmal großes Lob an die Community. Ich hab gehofft, dass ich hier der Eine oder Andere herumläuft und ich vielleicht eine Antwort erhalt.
Es zeigt aber, dass hier im Entwicklerbereich einiges an Potential steckt. @Syrius, wenn du das liest, vielleicht kannst du das Potential nutzen

Nun y0l0sw4gg3r ich habe tatsächlich drei use-case

Usecase1 - filehoster url store und filecheck

Hier habe ich eine Datenbank die bereits 5 Jahre alt ist. Ich versuche Daten zu löschen, z.b. wenn ein Filehoster den Service einstellt aber das steht nicht im Verhältnis. Die Datenbank wächst rasant.

1 Upload = 1 Container
Zugehörige Daten wie Beispielsweise das Password zum entpacken werden bereits in einer eigenen InnoDB gespeichert

Die einzelnen Links werden dann nochmal in einer eigenen Innob einzeln abgelegt.


Ein Webauftritt gibt es dazu keinen, daher auch keine Last durch Besucher.
Aber 3 Bots (je eigener vps) überprüfen ständig die Links und updaten die Daten und das überlastet oft den eigen Mysql Server

Hardware Mysql Server only:
Intel Xeon E5-1650V2
HDD2x SSD 240 GB SATA
RAM4x RAM DDR3 16384 MB ECC reg.

Usecase2 - Eigene Meta Search Engine

@JepFig Danke für den Tip werden Elasticsearch dazu verwenden. Für alle die wie komplette Neulinge sind >>Hier<< eine Interessante erste Erklärung.

Hardware: Noch Keine

Usecase3 - Traffic Analye aller Google

Für meinen Traffic Exchange Service hätte ich gerne als Zusatz eine Trafficanalyse je User.
Eigentlich habe ich mir die Struktur bei dem Open Source Tool Piwik abgeschaut dennoch ist es es irgendwie nicht massentauglich. (Siehe Screens Threadstart)
Daher würde ich gerne auch Alternativen in Betracht ziehen.