Публикации по теме 'pandas'
Лучшие (самые быстрые) способы импорта файлов CSV в python для производственных сред (pandas, csv, dask)
В жизни инженера, работающего с данными, работа с CSV-файлами является повседневной задачей. При решении аналитических задач мы иногда предпочитаем игнорировать время, затрачиваемое на импорт данных, но в производственной среде это становится довольно важным. И это становится несколько проблематичным при работе с большими файлами. Оказывается, как станет ясно ниже в этом посте, если вы сталкиваетесь с проблемой больших входных файлов (например, несколько сотен МБ или более), вероятно,..
Полное руководство по обработке отсутствующих данных в Python Pandas
Обработка недостающих данных является важным аспектом анализа данных и моделирования. Неполные наборы данных могут вызвать проблемы при анализе данных и привести к необъективным или неточным результатам. Pandas, мощная библиотека Python для обработки и анализа данных, предоставляет различные функции для обработки отсутствующих данных.
Различные способы выбора данных внутри Pandas
Часть 2. Знакомство с методом pandas.DataFrame.loc
В библиотеке Часть 1 различных способов выбора данных внутри панд мы изучили и поняли метод pandas.DataFrame.iloc. В этом разделе мы рассмотрим и поймем метод pandas.DataFrame.loc и чем он отличается от метода pandas.DataFrame.iloc.
Мы видели в последней части статьи 1, что pandas.DataFrame.iloc используется для выбора данных из фрейма данных на основе индекса.
В то время как pandas.DataFrame.loc используется для выбора..
🐼 Pandas 2.0 до 32 раз быстрее
Pandas 2.0 будет намного быстрее, если вы сохраните данные в PyArrow, а не в NumPy.
Pandas — это библиотека Python для управления данными, которая очень популярна среди разработчиков Python. Если вы не знакомы с ним, вы можете представить его как программную электронную таблицу на стероидах.
Тафра: минималистский фреймворк
Небольшой пакет на чистом Python с первоклассной поддержкой типов и минимальными зависимостями, ориентированный на удобство использования и производительность.
Дэвид С. Фулфорд и Деррик В. Терк. 17 июня 2020 г.
Вступление
Очевидно, что наука о данных требует данных. Когда мы работаем с данными, мы должны сначала загрузить данные из источника в память. Наши данные могут иметь разные типы : текст, целые числа, десятичные дроби, даты, временные метки и т. Д. dataframe возник..
Вопросы по теме 'pandas'
pandas, matplotlib, используйте индекс фрейма данных в качестве меток осей
Я использую функцию imshow() в matplotlib, чтобы показать файл pandas.DataFrame .
Я бы хотел, чтобы метки и отметки для осей x и y рисовались из списков DataFrame.index и DataFrame.columns, но я не могу понять, как это сделать.
Предполагая,...
17.04.2024
Объединение нескольких невыровненных фреймов данных в один фрейм данных pandas
У меня есть несколько фреймов данных с ценами на акции, которые я хочу выровнять в один фрейм данных, содержащий только цены закрытия для всех акций.
Я ожидаю, что все даты из всех фреймов данных будут присутствовать в столбце даты (индексе) и «NA»...
30.05.2024
Создайте перекрывающиеся группы с помощью pandas timegrouper
Я использую Pandas Timegrouper для группировки точек данных в кадре данных pandas в python:
grouped = data.groupby(pd.TimeGrouper('30S'))
Я хотел бы знать, есть ли способ добиться перекрытия окон, как это предлагается в этом вопросе:...
25.04.2024
Как использовать значение определенного столбца в предложении Pandas DataFrame where?
Я пытаюсь выбрать все ячейки в кадре данных pandas, которые соответствуют определенным критериям, когда определенный столбец также соответствует отдельным критериям.
Учитывая следующий DataFrame:
A B C D
1/1 0 1 0 1...
14.03.2024
Обработка ОГРОМНЫХ чисел в numpy или pandas
Я участвую в конкурсе, в котором мне предоставляются анонимные данные. Довольно много столбцов имеют ОГРОМНЫЕ значения. Самый большой из них состоял из 40 цифр! Я использовал pd.read_csv , но в результате эти столбцы были преобразованы в объекты....
02.06.2024
Как избежать нескольких столбцов в Pandas.Merge
Представьте, что у меня есть следующие кадры данных на пандах:
In [7]: A= pd.DataFrame([['foo'],['bar'],['quz'],['baz']],columns=['key'])
In [8]: A['value'] = 'None'
In [9]: A
Out[9]:
key value
0 foo None
1 bar None
2 quz None
3 baz...
27.03.2024
pd.qcut — ValueError: ребра корзины должны быть уникальными
Мои данные находятся здесь .
q = pd.qcut(df['loss_percent'], 10)
ValueError: Bin edges must be unique: array([ 0.38461538, 0.38461538, 0.46153846, 0.46153846, 0.53846154,
0.53846154, 0.53846154, 0.61538462, 0.69230769,...
26.04.2024
Подмножество данных выбранных дней в Python
У меня есть некоторые данные временных рядов:
import pandas as pd
index = pd.date_range('06/01/2014',periods=24*30,freq='H')
df1 = pd.DataFrame(range(len(index)),index=index)
Теперь я хочу подмножить данные следующих дат
selec_dates =...
25.03.2024
Удаление повторяющихся значений, которые встречаются более N раз
У меня есть фрейм данных с повторяющимися значениями в столбце «крышка». Я хочу использовать Pandas для удаления строк, значение которых в столбце «крышка» подсчитывается более 2 раз. Вот исходная таблица:
entity pnb head# state lid
ABB001...
06.05.2024
Округлите временную метку Pandas, используя смещение
Я хотел бы округлить (пол) Pandas Timestamp , используя pandas.tseries.offsets (например, при повторной выборке временных рядов, но только с одной строкой)
import pandas as pd
from pandas.tseries.frequencies import to_offset
freq =...
22.03.2024
Как запустить корреляции для каждого подмножества строк в Pandas?
Предположим, у меня есть вымышленный фрейм данных pandas df .
Предположим, что он имеет три столбца: gender , height и weight .
Есть ли встроенный или эффективный метод для получения корреляции height и weight для каждого gender ?...
07.05.2024
Даты по оси X с использованием pandas и matplotlib
Я пытаюсь построить некоторые данные из pandas. Сначала я группирую по неделям и подсчитываю для каждой сгруппированной недели, их я хочу построить для каждой даты, однако, когда я пытаюсь построить график, я получаю только некоторые даты, а не все...
27.05.2024
Python: вывод данных в электронную таблицу Excel
Мне нужно сделать то, что, наверное, очень просто для опытного кодера. Моя программа Python успешно делает следующее:
Импорт таблицы Excel
Выполните итерацию по строкам и подсчитайте повторяющиеся вхождения «Модели», независимо от того,...
17.04.2024
IndexError: слишком много индексов для массива для базовой программы
Эта программа очень проста, но я не знаю, почему я получаю эту ошибку:
IndexError: слишком много индексов для массива
Ошибка ловится для df1 (даже не переходит на df2 ). Может кто-нибудь объяснить, почему я получаю эту ошибку? Я...
18.03.2024
Применить оператор if groupby pandas dataframe. Истинное значение ряда является неоднозначной ошибкой
Я не могу применить оператор if к столбцу разность_подшипника. Если значения столбца разность_подшипника (плавающая) > 20. Ожидаемый результат будет -1. Во всех остальных случаях ожидаемые результаты будут равны 0....
17.05.2024
Рассчитайте разницу во времени, если разница больше часа, пометьте как «отсутствует», начертите разрыв на линейном графике в этой области.
У меня есть базовый кадр данных pandas в python, который принимает данные и строит линейный график. Каждая точка данных включает время. Если с файлом данных все работает хорошо, в идеале каждая временная метка отличается друг от друга примерно на 30...
07.03.2024
Сортировка значений в серии панд
У меня есть кадр данных фильмов, который выглядит так...
title decade
movie name 1 2000
movie name 2 1990
movie name 3 1990
movie name 4 2000
movie name 5 2010
movie name 6 1980
movie name 7...
10.03.2024
Получение длины дробной части десятичного числа
Я хочу получить длину дробной части, например: 0,063-3, 0,04-2, я получил дробную часть, используя это
df['fractional_part'] = np.modf(df['mod_text'])[0]
Я попытался подсчитать дробную часть, используя это
df['count_fractional_part'] =...
10.03.2024
Как перебирать часы данного дня в python?
У меня есть следующие данные временного ряда показаний температуры:
DT Temperature
01/01/2019 0:00 41
01/01/2019 1:00 42
01/01/2019 2:00 44
......
01/01/2019 23:00 41
01/02/2019 0:00 44
Я пытаюсь написать...
19.04.2024
Как мне сгруппировать поля по дате и количеству для расчета рейтинга?
У меня есть набор данных с именами студентов, датой транзакции и суммой. Каждый студент совершил несколько транзакций.
Я хочу рассчитать рейтинг за текущий месяц и рейтинг за предыдущий месяц на основе общей суммы для каждого студента.
Я могу...
15.05.2024
Новые материалы
Угловая структура архитектуры
Обратите внимание, что эта статья устарела, я решил создать новую с лучшей структурой и с учетом автономных компонентов: https://medium.com/@marekpanti/angular-standalone-architecture-b645edd0d54a..
«Данные, которые большинство людей используют для обучения своих моделей искусственного интеллекта, поставляются со встроенным…
Первоначально опубликовано HalkTalks: https://hacktown.com.br/blog/blog/os-dados-que-a-maioria-das-pessoas-usa-para-treinar-seus-modelos-de-inteligencia-artificial- ja-vem-com-um-vies-embutido/..
Сильный ИИ против слабого ИИ: различия парадигм искусственного интеллекта
В последние годы изучению и развитию искусственного интеллекта (ИИ) уделяется большое внимание и прогресс. Сильный ИИ и Слабый ИИ — две основные парадигмы в области искусственного интеллекта...
Правильный способ добавить Firebase в ваш проект React с помощью React Hooks
React + Firebase - это мощная комбинация для быстрого и безопасного создания приложений, от проверки концепции до массового производства. Раньше (знаете, несколько месяцев назад) добавление..
Создайте API с помощью Python FastAPI
Создание API с помощью Python становится очень простым при использовании пакета FastAPI. После установки и импорта вы можете создать приложение FastAPI и указать несколько конечных точек.
Каждой..
Веселье с прокси-сервером JavaScript
Прокси-серверы JavaScript — это чистый сахар, если вы хотите создать некоторую общую логику в своих приложениях, чтобы облегчить себе жизнь. Вот один пример:
Связь клиент-сервер
Мы..
Получить бесплатный хостинг для разработчиков | Разместите свой сайт за несколько шагов 🔥
Статические веб-сайты — это веб-страницы с фиксированным содержанием и его постоянным содержанием. Но теперь статические сайты также обрабатывают динамические данные с помощью API и запросов...