Cantitatea de date care vor fi colectate de Observatorul Vera C. Rubin, care a lansat imaginile sale fabuloase din prima lumină săptămâna aceasta, va depăși cu mult ceea ce orice telescop înainte de a reuși să ofere. Acest lucru i -a determinat pe astronomii să facă un pas în cloud computing – precum și să solicite ajutorul a șapte brokeri și a unui majordom de date.
Odată ce este complet în funcțiune, Observator Rubin (finanțat de Fundația Națională a Științei SUA – Departarea energiei) va colecta 20 de terabyte de date în fiecare seară. Analizând aceste date, acestea vor emite 10 milioane de alerte pentru astronomi, toate acestea vor fi gestionate de ceea ce sunt cunoscute sub numele de „brokeri” care filtrează numărul imens de alerte în ceva mai gestionabil.
“În ceea ce privește datele, suntem cel puțin un ordin de mărime mai mare decât telescoapele anterioare”, a declarat pentru informatică Universitatea din Edinburgh, George Beckett, care este coordonatorul facilității de date din Marea Britanie pentru Rubin Space.com.
În următorii 10 ani, se va colecta Studiul Moștenitor al lui Rubin despre spațiu și timp despre 500 de petabyte de date, echivalente cu jumătate de milion de discuri Blu-ray 4K-UHD. Odată colectate de telescop, datele vor fi transmise de -a lungul unei legături de rețea dedicate între Rubin, care se află în Chile, și un centru de date la Laboratorul Național de Accelerație SLAC din California. De la SLAC, o copie a tuturor datelor brute va fi trimisă la instalația de calcul IN2P3 din Lyon, Franța, iar unele dintre date vor fi, de asemenea, trimise către o rețea de calcul distribuită din Marea Britanie.
Prelucrarea datelor va fi partajată între aceste trei centre de date, SLAC contribuind cu 35%, IN2P3 luând 40%și Marea Britanie cu 25%. (Există, de asemenea, un centru de date modest în Chile, care găzduiește Observatorul Rubin, pentru a sprijini astronomii chilieni.) Nu numai că mai multe centre de date oferă redundanță, astfel încât datele nu pot fi pierdute într -un accident, dar se pot sprijini și reciproc dacă un centru de date rămâne în urmă cu privire la procesare. Acest lucru se datorează faptului că ceea ce contează cu adevărat pentru astronomi este să elimine rapid datele importante, astfel încât acestea să poată urmări alertele interesante cât mai curând posibil.
“Cea mai mare provocare a mea este ca astronomii să -și ceară constant datele!” a glumit Beckett.
Această mare cantitate de date va fi o resursă prețioasă pentru astronomi nu numai în aici și acum, ci și cu zeci de ani în viitor.
Deci, cum se întâmplă să căutăm prin intermediul tuturor?
Beckett desenează o analogie cu căutarea unei fotografii făcute pe smartphone -ul tău. “Telefonul tău este probabil plin de poze pe care le -ai făcut în ultimii cinci sau 10 ani, iar găsirea acelei poze de acum doi ani implică de obicei tracțiunea și este o abordare fragmentară”, a spus el. “Acum imaginați -vă că telefonul dvs. are 1,5 milioane de fotografii și sunt toate de 10.000 de pixeli lățime, nu aveți șanse să vă aruncați doar să le treceți.”
Aducerea acestei analogii la setul de date Rubin, soluția, spune Beckett, este de a oferi descrieri accesibile ale tuturor acestor imagini într -un mod în care astronomii pot găsi ceea ce caută cu o ușurință relativă. Acesta este unul dintre motivele pentru care gestionarea datelor lui Rubin este diferită în comparație cu cea a telescoapelor anterioare, cu care astronomii ar putea descărca buzunare de date de care au nevoie, fără prea multă complexitate. Setul de date pentru Rubin este pur și simplu prea mare pentru a fi descărcat – deci totul este păstrat în „Cloud”.
Setul de date Rubin este gestionat de un serviciu numit Data Butler. Înregistrează toate metadatele, care sunt datele despre datele – ora, data, coordonatele cerului, ceea ce este în imagine și așa mai departe.
„Un astronom poate veni cu aproape orice interogare pe care o doresc scrisă în termeni de astronomie vorbind despre obiecte astronomice, perioade de timp sau sisteme de coordonate, iar datele Butler preia ceea ce au nevoie”, a spus Beckett.
Aceasta este pentru cercetările pe termen lung, dar există și tranzitorii, obiectele în mișcare, lucrurile care se descurcă în timpul nopții care au plecat alerte pentru a-i determina pe astronomi să-i alunge înainte ca tranzitorii să se estompeze. Acestea includ supernovas, Kilonovas care produce unde gravitaționaleNovas, stele de flacără, eclipsarea binarelor, izbucniri magneare, asteroizi şi Comete mișcându -se pe cer, Quasarsși mult mai mult, posibil, chiar și noi tipuri de obiecte niciodată văzute până acum. Rubin va produce aproximativ 10 milioane de alerte în fiecare seară, eliberând fiecare alertă în două minute de la detectarea acesteia de către telescop: chiar și cu ajutorul Butlerului de date, cum pot astronomii să le trezească pe toți pentru a-i găsi pe cei mai importanți pe care să îi urmărești?
Există șapte brokeri, operați de oameni de știință din diferite țări, care vor prelucra cele 10 milioane de alerte complete (și alți doi brokeri cu obiective științifice specifice care vor funcționa doar la un subset din cele 10 milioane de alerte zilnice). De exemplu, există un broker chilian numit Alerce, care este pentru învățarea automată pentru clasificarea rapidă a evenimentelor și Antares, analiza temporală din Arizona – Noirlab și răspunsul la sistemele de evenimente. Brokerul din Marea Britanie se numește Lasair (pronunțat lah-suhr, însemnând „flacără” sau „flash” în gaelica scoțiană și irlandeză) și se concentrează pe tranzitorii.
Gândiți -vă la brokerii ca la un set de filtre pe care astronomii le pot alege să ajute la cernirea alertelor și să le aleagă pe cei de care sunt cei mai interesați. Unii dintre brokeri folosesc algoritmi de învățare automată și inteligență artificială, dar metode de modelare mai tradiționale sunt de asemenea utilizate pentru procesarea rapidă a datelor.
“Astronomii se pot înscrie la un broker, pot descrie tipul de lucruri care sunt interesate și speră că, cu descrieri adecvate, cele 10 milioane de alerte în fiecare seară vor fi filtrate până la două sau trei”, a spus Beckett.
Nu este faptul că celelalte 9.999.998 alerte nu au valoare-poate că nu sunt doar ceea ce astronomul este interesat, sau poate că nu sunt suficient de unici pentru a cere urmăriri dedicate, dar se adaugă la statisticile pentru fiecare tip de obiect.
Rubin va cerceta un sfert din cerul emisferei sudice în fiecare seară, văzând totul și nu lipsește nimic. S -ar putea crede că este sondajul pentru a pune capăt tuturor sondajelor, că nu va exista niciodată un sondaj mai mare care să producă mai multe date. Cu toate acestea, Beckett lucrează și la echipa de gestionare a datelor pentru Matricea de kilometru pătrat (SKA), care este o gamă uriașă de telescoape de radio din Africa de Sud și Australia, iar tehnicile dezvoltate pentru Rubin și lecțiile învățate vor face ca predarea datelor pentru SKA să funcționeze mult mai ușor.
“Mărimea setului de date al lui Rubin va fi înotat de SKA, care va fi din nou un ordin de mărime mai mare decât Rubin”, a spus Beckett.
Există întotdeauna un pește mai mare!
Acest articol a fost publicat inițial pe Space.com