By Terry Flanagan

Corralling ‘Big Data’

Sponsored By
Thomson Reuters / KX / Intel
This entry is part 3 in the series The New Age of Analytics

For trading and investing firms, so-called big data — the extremely large data sets that flow through the business every day — provides a hoard of information about markets and their own market activity.

But going from simply owning the data, to exploiting the data, is no mean feat in today’s high-speed electronic markets, in which immediate computer responsiveness is prized. That’s especially the case given that a substantial amount of data is unstructured and first needs to be cleaned up and reformatted before being processed.

The value proposition of making the leap from possession to utilization is twofold. One, a proper harnessing of big data complies with increasingly ponderous and data-hungry financial regulation, most prominently Markets in Financial Instruments Directive II. Two, big data can be used to improve pre-trade, at-trade and post-trade analysis, and by extension, trading performance.

Tom Kennedy, Thomson Reuters

Tom Kennedy, Thomson Reuters

“There is a need for more cross-asset, real-time risk management,” said Tom Kennedy, global head of analytics at technology and data provider Thomson Reuters. “Look at MiFID II’s reporting obligations across asset classes. How do you pull that content together to publish to your reporting platform? It’s a huge project just to join up disparate databases, and then you have to run an analytics platform on top of that.”

Added Kennedy, “The winners will be those who achieve that, and in turn use those capabilities to drive business opportunities, new product development, and alpha.”

Intense Data

Banking and financial services is data-intensive. The sector has 1.51 installed terabytes per $1 million of revenue as of 2016, topping 16 other industries including #2 media and entertainment at 1.18 terabytes and #3 healthcare at 0.91 terabytes, according to technology-economics research firm Rubin Worldwide. Banking and financial services’ data per $1 million of revenue has increased 61% since 2012, when it was 0.94 installed terabytes.

Data/revenue in financial services has surged 61% over the past five years

Much of the data that comes across a trading desk is structured, in the form of numbers from databases or spreadsheets. But there is also unstructured data in the form of text and voice — this can originate from sources as disparate as e-mail, chats, IMs, texts, PDF reports, conference-call transcripts, news articles, phone calls and voicemail.

So the first challenge is to make unstructured data usable.

Dan Seal, Kx

Dan Seal, Kx

“The goal is to bring to unstructured data the power of programming languages and query languages that you normally associate with structured data,” said Dan Seal, senior vice president at in-memory streaming database provider Kx Systems. “It’s about being able to make sense of the content and use of the content by bringing structured data processing to an unstructured landscape, and doing that quickly and efficiently.”

Under MiFID II, which comes into force in January 2018, the European Securities and Markets Authority and national regulators are charged with ensuring that trading firms maintain a complete and accurate list of all trades, including those conducted in over-the-counter derivative markets that are thinly traded compared with screen-based equities markets.

Big data is characterized by volume, variety and velocity, a 15-year-old observation by industry consultant Gartner that applies many times over on today’s institutional trading desks.

“Customers have different data in different places,” said Adam Garrett, North Asia head of enterprise capabilities and content for Thomson Reuters. “A key part of the big data challenge is getting all the data in one place and making sense of it. That can be done using an enterprise data warehouse solution or with a visualization layer linking different databases.”

Stakeholders in markets worldwide are turning to technology to help corral unstructured data, with an eye toward scalability — that is, ensuring that a fintech solution that works on a small data will not break down with a heavier input.

The Securities and Futures Commission of Hong Kong sees artificial intelligence as a way to manage unstructured data, according to James Lau, acting secretary for financial services and treasury for the government of Hong Kong.

“AI can analyse not only text messages but also social media footprints, including voice messages,” Lau said in a Nov. 7 speech at a fintech event in Hong Kong. “AI can do the parsing of myriads of regulatory rules and guidance notes from different jurisdictions, and relate them to reporting, surveillance and enforcement mechanisms.”

Regulatory Catalyst

MiFID II is acting as a catalyst for the disruptive and innovative force of big data, by pushing buy-side and sell-side market participants to get their arms around their data. That’s according to Christian Voigt, senior regulatory adviser at Fidessa in London.

Christian Voigt, Fidessa

Christian Voigt, Fidessa

“Trading firms search for solutions that allow them to meet new regulatory requirements while protecting their bottom line,” Voigt told Markets Media. “Implementation has many challenging components such as ensuring data accuracy, aggregation across disparate systems, traceability or data security, which all firms need to get right.”

“But while many financial institutions will extend their already bulging data warehouses, being able to extract meaningful business intelligence will separate the wheat from the chaff,” Voigt continued. “In order to master the big data challenge it is crucial to see the collection of amassed data not as a regulatory burden but as the key to understanding markets and customers better than ever before.”

Đọc Truyện Ngôn Tình Online
Đọc truyện ngôn tình online cập nhật liên tục
Đọc Truyện Kiếm Hiệp Online
Đọc truyện kiếm hiệp gây cấn online cập nhật liên tục
Đọc Truyện Kiếm Hiệp Online
Đọc truyện tiên hiệp gây cấn online cập nhật liên tục
Đọc Truyện Tiểu Thuyết Online
Đọc truyện tiểu thuyết gây cấn online cập nhật liên tục
Hướng Dẫn Nấu Ăn các món ăn đặc sản
Khám phá du lịch Việt Nam du lịch giá rẻ
Trang điểm làm đẹp tự nhiên hàn quốc
Trang điểm làm đẹp tự nhiên nhật bản
Review điện thoại sản phẩm công nghệ mới mỗi ngày
Phân tích lưu lượng mạng – BRO NSM – P1 Bro là một dự án mã nguồn mở, cung cấp cho người dùng một giải pháp giám sát hệ thống, phân tích lưu lượng, thay đổi dữ liệu gói tin
Phân tích lưu lượng mạng – BRO NSM – P2 Bro NSM hỗ trợ triển khai trên nhiều nền tảng hệ điều hành, kiến trúc CPU khác nhau; với phiên bản miễn phí
Phân tích lưu lượng mạng – BRO NSM – P2 Bro NSM trong việc phân tích dữ liệu gói tin PCAP được thu thập từ dữ liệu tcpdump
bảo mật mạng Các bài nghiên cứu, xây dựng giải pháp mạng, phương pháp tấn công mạng; hệ thống IDS, network security monitoring; tường lửa,…
giới thiệu Intel Edison Các bài viết giới thiệu Intel Edison trong phát triển IoT và bảo mật.
Intel Edison – Wifi và ứng dụng trong mô hình mạng – P5 Intel Edison được tích hợp sẵn tính năng thu, phát Wifi giúp cho người dùng linh động trong việc phát triển các mô hình IoT cho từng trường hợp cụ thể. Trong bài viết này, tôi sẽ thực hiện hướng dẫn các kỹ thuật điều chỉnh và tùy biến mạng Wifi để ứng dụng vào môi trường mạng TCP/IP.
Giới thiệu Intel Edison Intel Edison là một kiến trúc máy tính có kích thước khá nhỏ tương đương một con tem; nó sẽ thay đổi cách nhìn của bạn về hệ thống tích hợp trong tương lai với sự phát triển ngày càng rộng rãi xu hướng IoT.
Intel Edison – Bluetooth – P2 Intel Edison được tích hợp sẵn Bluetooth Smart/Low Energy (BLE) cho phép bạn có thể kết nối đến Edison từ điện thoại thông minh và phù hợp cho bất kỳ dự án IoT nào mà bạn sẽ thực hiện trong tương lai thông qua Bluetooth.
Intel Edison – Tùy biến Bluetooth – P3 Mã nguồn BlueZ được cài đặt trên nền Yocto Linux cho phép người dùng Intel Edison tùy biến mạnh mẽ các thông số bluetooth một cách dễ dàng thông qua các tập tin cấu hình.
Tấn công máy tính Windows sử dụng Responder Việc tận dụng các tính năng phần cứng từ Edison (Wireless, Wired hardware) và tính tương thích mạnh mẽ của Yocto linux đã giúp choviệc phát triển các dạng tấn công trên môi trường đòi hỏi tính linh động trở nên dễ dàng.
Truyện tiểu thuyết tiểu thuyết cập nhật mới
Thủ thuật chương trình
Hướng dẫn làm trang sức tự làm trang sức đẹp và dễ dàng
Giới thiệu SDR – Ứng dụng MATLAB và RTL-SDR trong nghiên cứu sóng vô tuyến SDR cung cấp những khả năng phát triển linh động hơn nhiều so với phương pháp truyền thống sử dụng Crystal Radio Set rtl-sdr

Giới thiệu SDR – Theo dõi thông tin chuyến bay sử dụng MATLAB và RTL-SDR thu nhận tín hiệu ADS-B Automatic Dependent Surveillance Broadcast (ADS-B) là một công nghệ được sử dụng trong việc giám sát vị trí của máy bay khi đang hoạt động trên không. ADS-B cho phép máy bay gởi dữ liệu định kỳ theo khoảng thời gian cố định nhằm thông báo các thông tin như vị trí, độ cao, tốc độ, mã chuyến bay, số hiệu máy bay và các thông tin khác.

(Visited 894 times, 1 visits today)

Related articles

  1. MiFID II prompts asset managers to assess the true value of research.

  2. Big Data, Big Opportunity

    TickSmith works with CME Group to improve access to the US exchange’s historical data.

  3. Markit Adds Social Media Indicators

    NN Investment Partners uses social media to measure sentiment in its investment process.

  4. Machines 'Learn' Front Office

    AI advancements hone corporate bond pricing in near real-time.

  5. Separating identity from client data may boost alternative data.