Insights / Blog

Trasformazione digitale e gestione del dato: Snowflake Data Collaboration e Auto-fullfillment.

Trasformazione digitale e gestione del dato: Snowflake Data Collaboration e Auto-fullfillment.

 

Negli ultimi anni, diversi settori sono stati interessati da un’importante processo di trasformazione digitale: dal retail, alla sanità, alla finanza, abbiamo visto come la personalizzazione dei servizi si traduca in una migliore customer experience. Organizzazioni di tutte le dimensioni sono riuscite a innovare comprendendo meglio i propri utenti, incrociando preferenze, user behaviours, dati demografici e altro ancora.

Alla base di queste innovazioni troviamo i dati. Le aziende sono sempre più in grado di ottenere enormi informazioni e sbloccare nuovi casi d’uso e flussi di reddito, sfruttando non solo i dati interni, ma anche quelli di terze parti. Tuttavia, l’acquisizione di prodotti di dati di terze parti, come feed o servizi di dati, è da sempre un un processo lungo e molto manuale.

In passato infatti, per collaborare sui dati, era necessario spostarli da un ambiente all’altro. Si prendevano i file dai server FTP, si eseguivano script API, si usavano strumenti ETL o si configuravano diversi data mart per garantire ai team l’accesso ai dati. Queste pipeline di dati erano costose, richiedevano tempo per essere costruite e mantenute. Non erano sicure, perché una volta che i dati si spostavano, erano fuori dal controllo aziendale. Inoltre, si accedeva ai dati a volte anche in ritardo per motivi di progettazione.

Snowflake si inserisce in questo contesto come valida soluzione grazie ad alcuni elementi che lo caratterizzano dell’ecosistema della gestione del dato.

Snowgrid

Il Data Cloud di Snowflake è composto da 30 regioni cloud pubbliche (a partire da marzo 2022) collegate tra loro dall’esclusiva tecnologia Snowgrid, che elimina la complessità della condivisione dei dati e accelera la collaborazione tra i team e l’ecosistema. Snowgrid consente funzionalità globali come la condivisione dei dati, la replica e il failover.

In particolare Snowgrid permette di:

  • condividere dati in tempo reale, cross-cloud e cross-region, senza alcun ETL. Con l’adempimento on demand, i dati sono disponibili su tutti i cloud e le diverse region.
  • condividere non solo i dati, ma anche i servizi e le applicazioni per garantire che l’ecosistema abbia i dati e gli strumenti necessari per collaborare in modo efficiente.
  • fornire una solida governance dei dati: è infatti possibile controllare chi può scoprire i dati grazie a sistemi di governance, che permettono di decidere se condividerli con un altro account, con un gruppo di account o con qualsiasi azienda presente nel Data Cloud tramite lo Snowflake Marketplace.

Inoltre, grazie alla connettività globale, è possibile garantire la continuità operativa su più livelli, tra regioni e tra cloud, in modo che l’azienda possa operare senza interruzioni e offrire ai clienti esperienze all’avanguardia. Inoltre, è possibile tenere il passo con l’evoluzione delle normative, grazie ai controlli locali regionali e alla possibilità di spostarsi completamente tra i cloud in base alle diverse esigenze.

In sintesi, grazie a Snowgrid Snowflake elimina i silos di dati, eliminando inoltre la necessità di pipeline ETL, il trasferimento di file o la negoziazione di protocolli di sicurezza tra i cloud provider.

Marketplace

In aggiunta al layer Snowgrid, Snowflake si caratterizza per la presenza di una piattaforma all’interno del Data Cloud che consente ai clienti di scoprire, valutare e acquistare dati esterni, servizi dati e applicazioni.

Questa piattaforma è lo Snowflake Marketplace: si tratta essenzialmente di uno store online che facilità l’acquisto e la vendita di dati.

I consumatori possono facilmente attigere dal Marketplace i prodotti dati e le applicazioni disponibili e accedere immediatamente ai samples tramite il loro account Snowflake. I fornitori, d’altra parte, possono scegliere se listare i loro samples e prodotti gratuitamente o a pagamento.

Le aziende tradizionali venditrici di dati, le società SaaS e le aziende operative regolari stanno già sfruttando Snowflake Marketplace per creare nuovi flussi di ricavi, portare nuovi prodotti sul mercato più velocemente e fornire migliori esperienze ai clienti aiutando a ridurre i costi di integrazione dei dati.

Comprendere meglio le esigenze dei clienti con Snowflake Provider Studio Analytics

Come in qualsiasi mercato B2B o B2C, i fornitori cercano sempre di capire meglio i loro prospect e clienti e vogliono risposte alle domande sulle loro schede prodotto, come:

  • Chi è interessato all’uso dei miei prodotti?
  • Quanti lead si stanno impegnando con i diversi listing che la mia azienda ha messo a disposizione?

Nel tab Data su Snowflake, è possibile consultare il Provider Studio Analytics, in cui è possibile accedere alle informazioni necessarie ai fornitori per rispondere in modo accurato e coerente a questo tipo di domande.

 

All’interno del Provider Studio è possibile cliccare sul pannello Analytics, in cui si può osservare come i customers utilizzino i Listing che abbiamo messo a disposizione. Inoltre, offre è possibile analizzare metriche specifiche (pannello Detailed Metrics) sul numero di visualizzazioni, richieste e installazioni (chiamati anche “mounts”), nonché su quante query sono state eseguite su un particolare Listing.

Una volta all’interno del pannello Analytics è possibile applicare dei filtri che permettono di visualizzare quante query sono state eseguite negli ultimi 28 giorni. È poi possibile filtrare per per region, consumer, giorno e Listing

I provider sono anche in grado di ottenere informazioni a livello aggregato sul reach e sull’engagement dei loro prodotti, come ad esempio i Listing più visti o più utilizzati, i consumatori più attivi, le conversioni dei Listing e altro ancora.

Oltre alle analisi disponibili nel Provider Studio, i provider possono eseguire query SQL sullo schema DATA_SHARING_USAGE, che include viste che visualizzano informazioni sui Listing pubblici pubblicate in Snowflake Marketplace o sui loro Listing che sono stati condivisi privatamente con con specifici clienti o partner commerciali. Qui si possono visualizzare metriche come il numero di clic e i dati di consumo, comprese le query eseguite dai consumatori.

Inoltre, la vista LISTING_ACCESS_HISTORY fornisce viste a livello granulare e aggregato su quali utenti hanno avuto accesso e a quali oggetti (tabelle, viste, funzioni, stored procedure) nel corso del tempo.

 

Cross-Cloud Auto-fulfillment

Se si desidera replicare automaticamente un Data Product associato al Listing in altre regioni Snowflake, è possibile configurare il Cross-Cloud Auto-fulfillment.

Essenzialmente, quando l’Auto-fulfillment è abilitato per un Listing, Snowflake replica automaticamente il data product nelle regioni dei consumatori. Il data product include le tabelle, gli schemi, le UDF, le UDTF, le viste, ecc. che fanno parte del Listing.

Inoltre utilizzando l’auto-fulfillment, è possibile evitare di replicare manualmente i propri data product e approvare le richieste per i propri Listing, aiutando i consumatori ad accedere a questi in modo più rapido.

Come funziona il Cross-Cloud Auto-Fulfillment?

Per prima cosa quando si pubblica un private Listing o quando un consumatore richiede un data product, Snowflake controlla se il prodotto esiste nella regione del consumatore. Se il prodotto esiste già nella regione del consumatore, il fulfilment del listing continua.

 

 

Se il prodotto non esiste, si verifica quanto segue:

  • Il Provider fornisce ai consumatori (X e Y) accesso ai suoi Listing e imposta la frequenza di replica.
  • Il primo Consumatore (X) richiede accesso al Listing. Snowflake predispone automaticamente un’area condivisa sicura nella regione del consumatore e avvia la replica dei dati e delle condivisioni (Share).
  • Il secondo Consumatore (Y) richiede accesso al Listing e ottiene accesso diretto senza ulteriori repliche, così come tutti i futuri consumatori della regione.
  • Snowflake esegue una sincronizzazione basata sulle modifiche per mantenere sincronizzati i dati nell’area condivisa sicura.

Come impostare l’Auto-fulfillment

Una gestione efficiente del Listing, permette di monitorare le regioni in cui i consumatori utilizzano il Listing, controllare il costo della replica e modificare la frequenza di aggiornamento del Listing.

Per gestire o monitorare l’auto-fulfillmente del Listing, è necessario procedere come segue:

1. Scegliere gli Account dei Consumatori

2. Abilitare l’Auto-Fulfillment

3. Scegliere la frequenza di aggiornamento

 

È importante tenere in considerazione i fattori di costo della replica

  • Data StorageSappiamo che i database replicati in aree di condivisione sicure in altre regioni comportano costi di archiviazione.Ad oggi il costo si aggira sui $20-$23/TB al mese nelle region basate negli Stati Uniti. Varia a seconda del cloud e della regione.
  • ComputeLe operazioni di replica utilizzano le risorse di calcolo per copiare i dati e gestire lo stato dei dati nelle aree di condivisione sicura in altre regioni.L’utilizzo di calcolo osservato è pari a 3-5 crediti/TB di dati replicati, addebitati al prezzo dei crediti delle remote region, al netto di eventuali sconti contrattuali.
  • Data TransferLa replica iniziale del database e le successive operazioni di sincronizzazione trasferiscono i dati tra le regioni. I fornitori di cloud fanno pagare i dati trasferiti da una regione all’altra all’interno della propria rete o di una regione di un altro cloud. Stessp cloud ~$20/TB, Cross-cloud ~$90-120/TB.

Conclusione

In generale, Snowflake Data Cloud è una rete globale in cui migliaia di organizzazioni collaborano con dati e servizi di dati costruiti sulla scala, sulla concorrenza e sulle prestazioni della piattaforma Snowflake. Con Snowflake, i clienti possono condividere i dati senza alcun movimento o latenza, e la condivisione cross-region e cross-cloud è abilitata dalla replicazione nativa e dalla fornitura di account che può essere completamente automatizzata.

Sin categoría
Snowflake Data Types

Snowflake Data Types: quali sono i formati supportati?

Snowflake offre un insieme ricco e versatile di data types, pensati per gestire un’ampia gamma...

Snowflake
importazione dei dati

Importazione dei dati: come fare data ingestion grazie a Snowflake

L’importazione dei dati è sempre più essenziale per le moderne attività aziendali data-oriented. La data...