BigData
Das Arpia Big Data System ist eine Verwaltungsplattform für große Datenmengen in verschiedenen digitalen Formaten. Es bietet verteiltes Indexing, Echtzeitsuche und Analyse, automatisierte Ausfallsicherheit und Datenwiederherstellung.
BigData - Bringen Sie ihre Daten in Ordnung
Das Arpia BigData System dient als Verwaltungsplattform von grossen Datenmengen (> 200 Mio. Dokumente) für alle gängigen digitale Formate. Es bietet die verteilte Indizierung (Speicherung) von Daten aus verschiedenen Drittapplikationen in verschiedenen Datenformaten (XML, JSON, CSV, Word, PDF, etc), kombiniert Echtzeit Such-und Analysewerkzeuge, automatisiertes Failover und Wiederherstellung von Daten.
Indizierung (Speicherung) von Daten
Das Arpia BigData System unterstützt ein schnelles Indizieren (Stapelverarbeitung) von bis zu 200GB pro Stunde und stellt hier zu diverse Schnittstellen zur Indizierung von Daten zur Verfügung.
Innerhalb des Arpia BigData System werden beim Speichern, zur Sicherstellung der Qualität der Daten, diese automatisch analysiert, strukturiert und im JSON Format abgelegt. Während aller Operationen des Indizierens werden die Daten im Transaction Log gehalten, um zu gewährleisten, dass keine Informationen verloren gehen.
Suche von Daten
Für die allgemeine Suche von Daten stellt das Arpia BigData System eine interne QueryEngine zur Verfügung, welche auf dem Lucene-Solr Standard basiert. Mit dieser ist eine vollumfängliche Suche, sei es als Volltextsuche oder auf typbasierten Feldern eines Dokumentes, in Echtzeit möglich. Diese Suche bietet sämtliche Suchrelevante Funktionalitäten wie z.B. Volltextsuche, Fehlertoleranzen, Highlighting, Facettensuche, Pagination sowie Geodaten an.
Import / Export
Das Arpia BigData System stellt einen Scheduler, der mittels Kalenderfunktion, interne Prozesse automatisiert steuern kann, zur Verfügung. Hierzu kann wahlweise zwischen periodischer oder einmaliger Auslösung gewählt werden. Ebenfalls können alle Resultate dieser Prozesse im historischen Kontext eingesehen werden. Der Scheduler kann für folgende Prozesse verwendet werden.
Daten import export (File basiert, DB). Sicherung (Backup) von Daten. Reindizierung oder Wiederherstellung von Daten aus einem Backup. Schreiben/Lesen von Dateien via SFTP.
