2014-04-23_2336142014-04-23_233614
Pokličite: +386 1 5374052

CHRYSOLITE BDA

SPECIALIZIRANO ORODJE ZA SHRANJEVANJE “CDR” PODATKOV

 

CHRYSOLITE BDA – specializirano orodje za shranjevanje podatkov, optimizirano za akumulacijo in hitro iskanje informacij v CDR zapisih (Call Detail Record – Zapis Podrobnosti Klica) o dejavnostih naročnikov v telefonskih omrežjih (PSTN, GSM/3G).

Brochure CHRYSOLITE BDA (pdf)

“Tradicionalni” pristopi za ustvarjanje podatkovnih shramb trenutno v uporabi so bili oblikovani v zadnjih desetih letih in temeljijo na uporabi high-end opreme za shranjevanje in splošnih sistemov za upravljanje podatkovnih zbirk (DBMS), kot so Oracle, Microsoft SQL ter nekaj specializiranih – Sybase IQ, Greenwich itd. To vodi do več milijonov dolarjev stroškov shranjevanja CDR-jev (to ne vključuje licenc za programsko opremo), medtem ko znašajo stroški ustvarjanja shrambe do 90% skupnih stroškov za opremo v podobnih projektih. Vse “tradicionalne” rešitve temeljijo na skupni arhitekturi – zmogljiv namenski strežnik z veliko procesorjev, FC/SAN infrastrukture, dragih diskovnih krmilnikov, veliko število diskovnih polj, priključenih na vsakega krmilnika in pogosto med seboj povezanih kaskadno. Rezultat vsega tega je, da je lahko cena za en terabajt podatkov več deset tisoč dolarjev.

Slaba stran uporabe takšnih rešitev je njihova izredno nizka učinkovitost – samo do 8 MB/s (v redkih primerih) za nalaganje novih CDR-jev na sistemih, ki temeljijo na MS SQL/Oracle, in do 120.000 CDR/s na nekaterih specializiranih DBMS-jih (medtem ko strojna oprema omogoča desetkrat višjo hitrost).

V obeh primerih pa naletimo, zaradi letnega povečanja količine naročniških dejavnosti in potrebe po rasti zmogljivosti shranjevanja, na ogromne tehnične ovire pri njihovi posodobitvi.

V določenem trenutku začnejo stroški širitve zmogljivosti rasti vedno hitreje, medtem ko hitrost poizvedb pade močno pod najnižjo sprejemljivo stopnjo.

Specializirana strojna in programska oprema ter stolpčno usmerjeni DBMS-ji, ki so našli široko uporabo v analitičnem poročanju telekom podjetij in bank (Teradata, Vertica), so namenjeni predvsem za pridobitev majhne količine podatkov s poizvedbami s kompleksno logiko za njihov izračun ter za objavo agregatnih seštevkov.

Za pridobivanje izvirnih zapisov iz takšnih shramb je potrebna precejšnja računalniška obdelava zaradi združevanja podatkov iz stolpcev, v katere so bili zapisi razdeljeni med postopkom nalaganja. Ta dodatna obdelava lahko traja bistveno več, kot je sam čas za iskanje. Cilj raziskovalnih aktivnosti pa je pridobiti vse podatke o dejavnosti naročnikov, za katero koli zahtevo, brez kakršnih koli omejitev glede števila zapisov v rezultatih poizvedb.

Druga možnost je uporaba sistemov, ki temeljijo na HBase/Hadoop, kjer pa zahtevana količina strojne opreme (moč električne energije in število stojal) raste eksponencialno, vzdrževanje vsakega sistema zahteva stalno prisotnost inženirjev, vsak sistem je edinstven. Kot rezultat tega so morale stranke sprejeti dejstvo, da ni bilo alternativnih možnosti ali stroškovno učinkovitih načinov implementiranja zmogljivih shramb CDR podatkov, ki bi lahko zadovoljile resnične operativne potrebe. V CHRYSOLITE Big Data Appliance, podjetje SNTT predstavlja nov, učinkovit pristop k implementaciji sistemov visoke zmogljivosti za posebno shranjevanje in dostop do informacij v CDR-jih.

To je resnično revolucionaren produkt, ki radikalno spreminja pogled na hrambo in iskanje CDR podatkov:

 

  • Stroški sistema shranjevanja podatkov so manjša (od 4 do 10-krat) od stroškov, ki nastanejo z uporabo “tradicionalnega” pristopa in drugih sistemov na trgu;
  • Visoko učinkovito iskanje po shranjenih podatkih, ki je veliko hitrejše od drugih sistemov (do desetkrat);
  • Pomemben prihranek prostora na diskih v primerjavi z drugimi sistemi.

Rast količine naročniških dejavnosti v telefonskih omrežjih je do 30% letno, kar zahteva stalno izboljševanje sistemov za obdelavo in pridobivanje informacij v CDR-jih.

Vse to se dogaja v trenutku, ko sistemi za shranjevanje podatkov in upravljanje podatkovnih zbirk, ki so se izkazali za učinkovite v zadnjih 5-10 letih, niso preživeli “napad” vseh večjih količin podatkov in zahtev glede učinkovitosti poizvedb, zato so izgubili dosežen položaj. Ob istem času pa je pristop, ki se je izkazal za učinkovitega, dolgoročno kopičenje CDR podatkov (zbranih od različnih operaterjev) v enem samem informacijskem sistemu in obdelava skupnih podatkov.

Podjetje SNTT ponuja sodoben pristop k praktični implementaciji visoko zmogljivega sistema za shranjevanje in pridobivanje informacij v CDR-jih – CHRYSOLITE BDA.

Osnovni modeli shramb

 

Model* Tehnične lastnosti Količina podatkov** Vozlišč Hitrost polnjenja*** Hitrost poizvedovanja po MSISDN/IMSI/IMEI/Cell-ID za 24 ur
Minimum (6U) 2 kW/100 kg 36 TB 2 do 1.4 milijonov CDR/s do 4 milijard CDR/24 ur Manj kot 1 sekunda ****
Fixed-site (24U) 8 kW/400 kg 180 TB/480 TB 10/4 do 3 milijonov CDR/s do 5 milijard CDR/24 ur
Fixed-site (42U) 14 kW/800 kg 320 TB/840 TB 18/7 do 4 milijonov CDR/s do 6 milijard CDR/24 ur
Fixed-site (2x42U) 28 kW/1900 kg 640 TB/1,68 PB 36/14 do 4 milijonov CDR/s do 7 milijard CDR/24 ur

* – Brez UPS;
** – Ob upoštevanju hot-spare, RAID organizacijo, zmogljivost vozlišča je odvisna od modela HP ProLiant (DL/SL) strežnikov, ki se uporabljajo;
*** – Maksimalna obremenitev 120 bajtov na CDR;
**** – V skladu z dnevno količino podatkov, odvisno od modela (4 … 7 milijard CDR/24 ur).

Z implementacijo BDA stranka pridobi:

 

  • Zapisovanje od 700.000 CDR/sek do 4 milijonov CDR/sek, odvisno od modela (glej tabelo osnovnih modelov);
  • Najmanj milijon poizvedb na dan v celotnem obsegu hranjenih podatkov (iskanje po naročnikovem ID-ju: MSISDN/IMSI/IMEI), izjemno povečanje količine opravljenih dejavnosti v 24 urah;
  • Povečanje skupne zmogljivosti do 20 PB; cena za vsak dodaten TB uporabne zmogljivosti ostane ves čas enaka;
  • Svetovalna podpora in pomoč visoko usposobljenih razvijalcev pri implementaciji sistema v svojo infrastrukturo;
  • Hiter učinek nabave sistema – sistemski čas dobave 90 dni;
  • Najnižja tržna cena za 1 TB kapacitete.

Ključne značilnosti BDA:

 

  • Specializirano SQL narečje, povezava na sistem za shranjevanje preko standardnega ODBC vmesnika;
  • Naprava je načrtovana posebej za obdelavo CDR informacij, z lastno tehnologijo zapisovanja in nalaganja podatkov in algoritmom za visoko hitrost indeksiranja vhodnih podatkov v realnem času;
  • Naprava lahko shranjuje stare podatke (za pretekle dneve), ki prihajajo z zamudo;
  • Ne zahteva upravljanja ali kakršno koli dodatno konfiguracijo, udobna za delo brez povezave “Plug and forget”;
  • Integriran sistem za nadziranje napak in samodiagnostiko strojne in programske opreme;
  • Pridobivanje izredno velike količine podatkov v rezultatih poizvedb brez degradacije hitrosti sistema (do več milijard zapisov v rezultatu ene poizvedbe);
  • Poizvedovanje z uporabo enega od pogojev: MSISDN (klicatelja, klicane številke) ali IMSI ali IMEI, do 10.000 iskalnih kriterijev v eni poizvedbi;
  • Poizvedovanje po lokaciji naročnikov: LAC/Cell-ID, do 1000 iskalnih kriterijev v eni poizvedbi;
  • Obdelava poizvedb po MSISDN preklopnega centra (MSC) in MSISDN SMS-centrov, pridobivanje vseh aktivnosti za določeno časovno obdobje;
  • Obdelava sestavljenih SQL poizvedb s specializirano logiko, podpora iskanja s pomočjo “wildcard” znakov “*”, “?”;
  • Shranjevanje CDR podatkov različnih telekomunikacijskih operaterjev v enem sistemu z možnostjo kasnejšega iskanja v podatkih za izbrane operaterje ali po celotni zbirki brez vpliva na trajanje izvršitve poizvedbe;
  • Posebna pretvorba oz. prenos starih podatkov iz “podedovanih” sistemov – nalaganje do 30 terabajtov na dan (odvisno od modela) CDR podatkov v tekstovnih datotekah, za hitro začetno polnjenje sistema;
  • Zmogljivost shranjevanja in poizvedovanja v primeru izpada enega ali več vozlišč ostane enaka;
  • Hitrost iskanja ni odvisna od obdobja, določenega v poizvedbi, saj ostaja enaka npr. za zadnji teden ali za obdobje enega tedna pred enim letom;
  • Porazdelitev vhodnih podatkov (particioniranje) na vsakem vozlišču glede na čas dejavnosti v CDR-jih omogoča iskanje po particijah za zahtevano obdobje, ne v celotnem obsegu podatkov;
  • Avtomatski izbris najstarejših CDR-jev in zapisovanje novih po principu “round-robin”.

Ključne specifikacije:

 

  • Do 100 sočasnih poizvedb na enem sistemu z vzporednim nalaganjem novih podatkov;
  • Obdelava najmanj enega milijona poizvedb po naročnikovem ID na dan, možnost pridobivanja do več milijard zapisov v rezultatu ene poizvedbe;
  • Prinos (fetch) rezultatov poizvedb od 1000 do 100.000 zapisov/s (odvisno od razpršitev zapisov med diski);
  • Zmogljivost shranjevanja = število vozlišč * kapaciteta vozlišča (TB);
  • Osnovni modeli vsebujejo do 36 vozlišč, povečanje zmogljivosti shranjevanja do 20 petabajtov je možno s povečanjem števila vozlišč;
  • Siritev zmogljivosti z dodajanjem le dodatnih standardnih vozlišč;
  • Hewlett-Packard ProLiant DL/SL series (2U/4U) strojna oprema;
  • OS Red Hat Enterprise Linux.

Način povezave:

 

  • ODBC vmesnik (knjižnice za Linux/Windows x64), specializirano SQL narečje (vključen je SDK z demo primeri dela z repozitorijem);
  • NoSQL vmesnik (vključen je SDK s primeri poizvedb in rezultati specifičnih vrst poizvedb), ki vrača rezultate v realnem času zaradi odprave režije SQL vmesnika;
  • Vnos podatkov preko besedilnih datotek s CDR zapisi (CSV/fiksna dolžina polj);
  • Nalaganje in indeksiranje podatkov s hitrostjo 100 do 400 MB/s (0,8 do 3 Gbit/s), odvisno od modela.

Podjetje SNTT pomaga svojim strankam pri razvoju tehničnih rešitev, ki niso vključene v osnovnih modelih. Največja razpoložljiva zmogljivost shranjevanja 20 PB ustreza 20x42U sistemskih omar.

Tabela za izračun približne dnevne količine CDR-jev glede na število naročnikov operaterja:

 

Število naročnikov Dnevna količina CDR-jev* Model/najdaljše obdobje shranjevanja (v mesecih) brez prepisovanja starih podatkov
Minimum 24U 42U 2x42U
500 000 150 milijonov 37 183 326 652
1 000 000 300 milijonov 18 92 163 326
2 000 000 600 milijonov 9 46 81 163
3 000 000 900 milijonov 6 31 54 109
5 000 000 1,5 milijard 4 18 33 65
10 000 000 3 milijarde 2 9 16 33
20 000 000 6 milijarde 8 16

* – ocena maksimalnega možnega števila na dan.

Uporaba:

 

  • Kot glavna komponenta pri gradnji sistemov za dolgoročno shranjevanje in dostop do informacij CDR;
  • Kot glavna shramba podatkov v sistemih pravnega nadzora ponudnikov telekom storitev;
  • Kot stalni arhiv izbranih informacij o CDR-jih naročnikov v nadzornih centrih.

Stranka zahteva model naprave v odvisnosti od ciljev določenega projekta in ga integrira v svoje strojno in programsko infrastrukturo.
Podjetje SNTT bo opravljalo izbor modelov, implementacijo, načrtovanje strukture podatkovne baze za specifično nalogo, testiranje, in bo pomagalo pri integriranju sistema v strojno in programsko infrastrukturo stranke.
Visoko kvalificirani SNTT specialisti in edinstvene izkušnje, pridobljene pri implementaciji sistemov za shranjevanje CDR-jev, zagotavljajo najboljše svetovanje in metodološko podporo projektom.

Približna zmogljivost sistema z 1 do 3 vozlišči pri nekaterih tipičnih vrstah poizvedb*

 

Psevdo-SQL Približen obseg rezultata, vrstice Čas izvajanja (sekunde), vozlišča (“okno”)* Obdobje obdelave Število obdelanih podatkov (CDR)
1 2 3
SELECT* FROM calls WHEREcall_date > T1 AND call_date < T2 AND calling=`XXXX` OR called=`XXXX` 0 0,2 0,2 0,2 1 dan 1 milijarda
<10 0,3 0,2 0,2 1 dan 1 milijarda
200 1 0,5 0,5 1 dan 1 milijarda
SELECT *FROM calls WHERE call_date > T1 AND call_date < T2 AND base_station=’XXXXX-YYYYY’ <10000 10 5 2 1 dan 1 milijarda
SELECT* FROM calls WHERE call_date > T1 AND call_date < T2 AND imsi=`XXXX <100 0,5 0,2 0,2 1 dan 1 milijarda
SELECT * FROM calls WHERE calling=`XXXX` or called=`XXXX` 1 1 1 1 31 dni 31 milijard
SELECT *FROM calls WHERE Imei=`XXXX` 1000 10 5 2 31 dni 31 milijard
SELECT * FROM calls WHERE calling=`XXXX` or called=`XXXX` 10 000 15 7 3 31 dni 31 milijard
SELECT count(*)FROM calls WHERE calling=`XXXX` or called=`XXXX` 10 000 6 3 3 31 dni 31 milijard

* v primeru delitve na N vozlišč pri zapisovanju (“okna”) se hitrost iskanja poveča linearno N-krat / določeno s konfiguracijo v fazi namestitve sistema, izvajalni čas poizvedbe v tabeli vključuje prinos rezultatov poizvedbe in njihovo zapisovanje v zunanje CSV besedilne datoteke.

Brochure CHRYSOLITE BDA (pdf)

Naslov

SNTT d.o.o.
Tomačevska c. 46
1000 Ljubljana Slovenija
Tel. +386 1 5374052
Fax: +386 1 5374054
Email: sntt@sntt.si

POGOJI UPORABE

© 2013 - 2018 Copyright by SNTT Company.
Vse pravice pridržane. Uporaba
informacij iz te spletne strani brez
našega soglasja je prepovedana.