แพลตฟอร์มข้อมูลแบบรวมศูนย์และการจำลองเสมือนข้อมูลผ่าน PolyBase:ตอนที่สอง

ในส่วนที่หนึ่งของการจำลองเสมือนข้อมูล UDP ผ่านชุด PolyBase ฉันได้แนะนำ PolyBase และจัดเตรียมข้อกำหนดเบื้องต้นสำหรับการสาธิตนี้ ในงวดสุดท้ายนี้ คุณสามารถดำดิ่งสู่การสาธิตได้

การสาธิต:ขั้นตอนในการตั้งค่า SQL Polybase เพื่อดึงข้อมูลจาก Azure blob

ทำตามขั้นตอนต่อไปนี้เพื่อดำเนินการสาธิต:

1. ตั้งค่า SQL Server® เพื่อเข้าถึงไฟล์ข้อความภายนอกที่วางอยู่บน Blob

หากต้องการอนุญาตให้ SQL Server เข้าถึงไฟล์ข้อความภายนอกที่วางอยู่บน Azure® blob ให้เรียกใช้แบบสอบถามต่อไปนี้:

EXEC sp_configure @configname = 'hadoop connectivity', @configvalue = 7;
Go

ภาพที่ 1

2. ตั้งค่าฐานข้อมูล SQL Server มาสเตอร์คีย์ฐานข้อมูล และข้อมูลรับรอง

ตอนนี้ คุณต้องใช้ฐานข้อมูลที่มีอยู่หรือสร้างฐานข้อมูลใหม่ ฉันสร้างชื่อใหม่ PolybaseTestDB สำหรับการสาธิตนี้

หลังจากคุณมีฐานข้อมูลแล้ว ให้สร้างมาสเตอร์คีย์ของฐานข้อมูลและข้อมูลประจำตัวโดยใช้แบบสอบถามต่อไปนี้:

CREATE MASTER KEY ENCRYPTION BY PASSWORD = 'Welcome@3452';
USE PolybaseTestDB
Go
CREATE DATABASE SCOPED CREDENTIAL [Polybasecred]
WITH
IDENTITY = ‘Polybaseaccount’,
SECRET=’qdfAVoBN+yr2rHN796gXFtpfhxKgAW3JDAtSPi0RnWcWgy9YRSwyGQR7BoINTHSgjiorUFTCmZpLTZspCbXesg==’;

ในข้อความค้นหาก่อนหน้า ความลับ คือคีย์การเข้าถึงของบัญชีพื้นที่เก็บข้อมูลที่คุณสร้างไว้ก่อนหน้านี้ คุณสามารถรับได้โดยทำตามขั้นตอนต่อไปนี้:

1. ไปที่ Azure Portal -> บัญชีที่เก็บข้อมูล .
2. คลิกที่บัญชีที่เก็บข้อมูลของคุณ
3. ในบานหน้าต่างด้านซ้าย ให้เลือก คีย์การเข้าถึง .
4. ปุ่มต่างๆ จะปรากฏบนบานหน้าต่างด้านขวา
5. คัดลอกและใช้ในข้อความค้นหาก่อนหน้า

3. สร้างแหล่งข้อมูลภายนอกโดยใช้ข้อมูลประจำตัวที่คุณสร้างขึ้น

เรียกใช้แบบสอบถามต่อไปนี้เพื่อสร้างแหล่งข้อมูลภายนอก หลังจากสร้างแล้ว คุณสามารถค้นหาแหล่งข้อมูลภายนอกได้ภายใต้ทรัพยากรภายนอกของ DB

CREATE EXTERNAL DATA SOURCE AzureStorage
WITH 
(
  TYPE = HADOOP,             
  LOCATION = 'wasbs://polybasedemocontainer@polybasedemo1.blob.core.windows.net',
  CREDENTIAL = [Polybasecred]
);

ภาพที่ 2

หมายเหตุ: Azure Storage Blob เป็นส่วนขยายที่สร้างขึ้นบน Hadoop® DistributedFile System (HDFS) API ดังนั้น ประเภท ในข้อความค้นหาก่อนหน้าคือ Hadoop .

4. สร้างรูปแบบไฟล์ภายนอก

เรียกใช้แบบสอบถามต่อไปนี้:

CREATE EXTERNAL FILE FORMAT TextFileFormat WITH (
FORMAT_TYPE = DELIMITEDTEXT,
FORMAT_OPTIONS (FIELD_TERMINATOR =',',USE_TYPE_DEFAULT = TRUE))             

ภาพที่ 3

หมายเหตุ :เนื่องจากเป็นไฟล์ข้อความที่คั่นด้วยเครื่องหมายจุลภาค ดังนั้น FIELD_TERMINATOR คือ ‘,’ .

5. สร้างตารางภายนอก

เรียกใช้แบบสอบถามต่อไปนี้:

CREATE EXTERNAL TABLE dbo.SQLPolybaseTable (
  [Name] varchar(500),
  [Subject] varchar(500),
  [Education] varchar(500)
)
WITH (
  LOCATION='/Data.txt',          This is the name of the file uploaded to the container.
  DATA_SOURCE=AzureStorage,      The Data Source created in previous steps.
  FILE_FORMAT=TextFileFormat     The File Format Name created in previous steps.
);

ภาพที่ 4

6. สอบถามตารางภายนอก

สืบค้นตารางภายนอกเหมือนกับที่คุณทำกับตารางอื่นๆ บน SQL Server ของคุณ ผลลัพธ์ยืนยันว่า PolyBase ช่วยให้เราดึงข้อมูลภายนอกได้ เรียกใช้แบบสอบถามต่อไปนี้:

Select * from <Tablename>

ภาพที่ 5

บทสรุป

ในโพสต์ต่อๆ ไป ฉันวางแผนที่จะสำรวจแนวคิดต่อไปนี้ในเชิงลึก:

• Data Mart ผ่านร้าน Columnar
• Data Lake ผ่าน HDFS
• Big Data, ML, สตรีมมิ่งผ่าน Apache Spark

นอกจากนี้ เนื่องจากฉันพบปัญหาสองสามอย่างในระหว่างการสาธิตนี้ ฉันจึงอยากจะรวบรวมและนำเสนอประสบการณ์เหล่านั้นในบล็อกที่กำลังจะจัดขึ้น

คอยติดตาม!

เรียนรู้เพิ่มเติมเกี่ยวกับบริการข้อมูลของเรา

ใช้แท็บคำติชมเพื่อแสดงความคิดเห็นหรือถามคำถาม คุณสามารถเริ่มการสนทนากับเราได้