Присоединяйтесь к нам
Работа с данными — Highload.today
Парсинг данных с сайтов: что это и на чьей стороне закон
Внедрение Big Data в разные сферы человеческой деятельности полностью изменило наше восприятие бизнеса и технологий. Появилась необходимость использования специальных инструментов для извлечения, анализа и обработки огромных объемов данных.
Мир на пороге квантовой революции: какие у нас перспективы и что нужно знать о квантовых вычислениях
Привет! Меня зовут Сергей Пащенко, я Data Engineer в NIX и спикер IT-конференции NIX Multiconf. Я большой фанат машинного обучения, Data Science и дата-инженерии в целом. Сегодня для меня уже очевидно, что будущее за квантовыми вычислениями.
«Пользуетесь дашбордами? Нет, только смотрим»: объясняем дата-анализ на мемах, понятных каждому
Казалось бы, как можно из такой фановой темы как мемы, рассказывать о серьезных вещах вроде Data Analysis и Business Intelligence? На самом деле сложные понятия и процессы довольно просто объясняются мемами. Понятный всем формат шуток помогает разобраться во многих аспектах Data-анализа. Как именно — узнаем из лекции о Data Analysis, которая состоялась в рамках IT-конференции NIX Multiconf.
Спрос на дата-инженеров вырастет: рассказываем, какую технологию сейчас изучать лучше всего
Объем информации в онлайне постоянно растет. Только представьте: ежедневно пользователи по всему миру создают 500 млн твитов, 294 млрд мейлов, 4 млн гигабайт данных в Facebook и 65 млн сообщений в WhatsApp. Вместе с тем возникает потребность в безопасном хранении, быстром обмене и качественном анализе информации. Справиться с этим помогает модель управления данными — Data as a Service.
Лучшие книги по Data Science: топ-8 пособий, чтобы прокачаться в науке о данных
По данным DOU, одни из самых высоких зарплат в украинском IT сейчас — в Data Science. В топе по спросу — тоже дата-сайентисты. И один из самых высоких приростов по доходам за последние полгода — сюрприз-сюрприз — тоже у них.
Учимся работать с базами данных: подробный гайд по MySQL для PHP-разработчика
Современные приложения производят все больше объемов данных. Таким образом растет необходимость структурировать все эти огромные массивы информации. Как это сделать? Обратимся за помощью к реляционной базе данных — MySQL. Благодаря доступности, быстрой обработке запросов и надежности хранения данных эта БД уже практически стала стандартом написания веб-приложений.
Система поиска напоминает Google: что умеет Elasticsearch и зачем он нужен
По данным Fundacion Mapfre, каждую минуту более 4,5 млрд человек отправляют почти 42 млн сообщений в WhatsApp, 2704 раза устанавливают TikTok, публикуют почти 348 000 постов в Instagram и загружают более 147 000 фотографий на Facebook. С каждым годом объем информации растет, а с ней — и требования к системам поиска. Возникает потребность в структурировании, анализе и обработке больших данных. Решить такую задачу можно с помощью Elasticsearch.
Как начать карьеру в Data Science: пять реальных историй
Привет! Меня зовут Александра Богуславская, я СЕО и Founder в Data Science UA. В течение пяти лет наша компания построила сильное комьюнити в этой сфере: организовывает конференции и курсы, активно развивает направления консалтинга и R&D, открывает AI R&D-центры в Украине для партнеров из Европы и США.
Что такое большие данные: коротко о главном
Вы никогда не задумывались над тем, как много новой информации появляется ежедневно в интернете? Простейшие события, скажем, открыли страничку Facebook или просто проверили поступившую почту на ящик Gmail — ведут к увеличению объема данных. Это огромное количество информации, которая где-то записывается, растет и растет.
Работал на Большом адронном коллайдере, а теперь — дата-инженер в Ciklum: история айтишника с PhD в квантовой физике
Станислав Сучек — IT-свитчер. Но свитчнулся он из области куда сложнее, чем IT. Посудите сами: Станислав получил докторскую степень в квантовой физике и работал на Большом адронном коллайдере (БАК)!
Специалистам по Machine Learning платят больше, чем разработчикам: как им стать, нужна ли математика и другие ответы от эксперта
На канале основателя школы программирования FoxmindEd Сергея Немчинского вышел стрим с Павлом Галушко. Павел — Tech Lead команды разработки для машинного обучения в Namecheap. На стриме он ответил на самые актуальные вопросы про Machine Learning. Причем (что редко бывает) — кратко и понятно.
Без SQL: учимся работать с данными на Elasticsearch
Elasticsearch — это поисковый и аналитический движок, с помощью которого ваша команда может быстро искать информацию в любых типах данных и анализировать их.
MS SQL, не болей: 10 причин, почему не устанавливается Microsoft SQL Server (и что с этим делать)
Все сделали по инструкции, но MS SQL Server все равно бунтует? Можно пойти на какой-нибудь форум и пожаловаться там.
Элемент случайности: как использовать модуль random в Python
Модуль random в Python дает возможность генерировать случайные числа и выбирать случайные элементы из списка. Но давайте обо всем по порядку.
Перевести с языка программистов на «понятный» и наоборот: кто такие бизнес-аналитики и чем они занимаются в IT
Привет! Меня зовут Михаил, я Junior Pre-sales Business Analyst в компании JMind. Я хочу немного рассказать о том, что такое бизнес-аналитик и с чем его едят.
Как создать команду Data Science в продуктовой компании, используя опыт Google и Spotify
В этой статье я расскажу о том, как мы в YouScan строим Data Science Squad, что означает принцип you build it, you run it, почему наш подход работает и как мы решаем проблемы, с которыми сталкиваемся на своем пути.
Лучшие подкасты, чтобы разобраться в Microsoft Power BI
Подкасты я открыла для себя примерно лет 11 назад, то есть задолго до того, как Clubhouse стал завоевывать сердца и умы юзеров. Слушала тогда в основном Marketing Over Coffee, и мне очень нравилось, как ведущие то и дело обсуждали в эпизодах разный софт, который им помогал в работе. С тех пор считаю подкасты незаменимым источником новых профессиональных знаний и стараюсь по каждой интересующей меня теме делать подборки.
Microsoft Power BI: 4 платформы, чтобы прокачать навыки
Совершенствоваться в работе с софтом, в том числе и с Power BI, сегодня легко благодаря многочисленным онлайн-курсам и тьюториалам. Но в какой-то момент мозг, мерзавец, начинает требовать чего-то более захватывающего, чем написание кода и прорисовка визуализаций, и мотивация неизменно падает. Единственное, что выручает в таких случаях, — это возможность пообщаться с людьми со схожими интересами и навыками и посмотреть, как они решают аналогичные проблемы.
Решения на NoSQL базах
В этой статье рассмотрим принципы решения типичных задач в key-value базах данных.
Горизонтальный шардинг
Так или иначе возникает ситуация, когда на сервере базы данных со временем приходится работать с огромными таблицами.
Как скопировать выбранные ключи Redis на другой сервер?
[https://redis.io/ Redis] – простое, быстрое и удобное key-value хранилище данных. При масштабирование любого приложения возникает необходимость переноса данных между серверами. Иногда не нужно переносить всю базу, а только несколько выбранных ключей.
Денормализация данных
Нормальная форма хранения данных предполагает избегания дублирования данных. Ключевых правила два:
Ребалансировка данных при шардинге
При шардинге неизбежно возникает необходимость перебалансировать данные. Точно предсказать рост объема и формы данных практически невозможно. Поэтому ребалансировка данных – такая же систематическая операция, как и хранение данных. Ее нужно планировать на этапе проектирования, а не на этапе администрирования.
Вертикальный шардинг
Обычно Web приложения работают с одним сервером базы данных. Почти всегда приложение использует более одной таблицы.
Сообщить об опечатке
Текст, который будет отправлен нашим редакторам: