Выбор объектов в словарях Python на основе значений

Без шлейфа нет. При понимании списка да:

complex = [src for src in sourceDataDict.itervalues() if src.get('morphology') == 'complex']

Если sourceDataDict действительно является списком, вы можете отбросить itervalues:

complex = [src for src in sourceDataDict if src.get('morphology') == 'complex']

Если подумать, оценка * в любом случае будет означать операцию цикла под капотом (при условии, что это правильный синтаксис). Итак, ваш трюк состоит в том, чтобы сделать наиболее эффективный цикл, который вы можете использовать с используемой структурой данных.

Единственный способ стать более эффективным - это заранее проиндексировать все ключи «морфологии» объектов данных и поддерживать их в актуальном состоянии.

Нет прямого способа индексировать вложенные словари в неправильном порядке, как того требует желаемый синтаксис. Однако в Python есть несколько способов сделать это с разными интерфейсами и характеристиками производительности.

Наиболее эффективным решением, вероятно, было бы создание дополнительного словаря, который индексировал бы любые характеристики, которые вас интересуют. Например, чтобы найти значения со значением 'morphology' 'complex', вы должны сделать что-то вроде этого:

from collections import defaultdict

# set up morphology dict (you could do this as part of generating the morphology)
morph_dict = defaultdict(list)
for data in sourceDataDict.values():
    morph_dict[data["morphology"]].append(data)

# later, you can access a list of the values with any particular morphology
complex_morph = morph_dict["complex"]

Хотя это высокая производительность, может раздражать необходимость заранее настраивать обратные индексы для всего. Альтернативой может быть использование понимания списка или выражения генератора для перебора словаря и поиска подходящих значений:

complex = (d for d in sourceDataDict.values() if d["morphology"] == "complex")

for c in complex:
    do_whatever(c)

Я считаю, что вы имеете дело со структурой, подобной следующей

sourceDataDict = [
    {'spectrum':1,
    'peakflux':10,
     'morphology':'simple'
    },
    {'spectrum':2,
    'peakflux':11,
     'morphology':'comlex'
     },
    {'spectrum':3,
    'peakflux':12,
     'morphology':'simple'
     },
    {'spectrum':4,
    'peakflux':13,
     'morphology':'complex'
     }
    ]

вы можете сделать что-то подобное, используя List COmpferenceion

>>> [e for e in sourceDataDict if e.get('morphology',None) == 'complex']
[{'morphology': 'complex', 'peakflux': 13, 'spectrum': 4}]

Используя itertools.ifilter, вы можете добиться аналогичного результата

>>> list(itertools.ifilter(lambda e:e.get('morphology',None) == 'complex', sourceDataDict))
[{'morphology': 'complex', 'peakflux': 13, 'spectrum': 4}]

Обратите внимание, что использование get вместо индексации гарантирует, что функциональность не откажется, даже если ключевой «морфология» не существует. В случае, если его существование определенно, вы можете переписать приведенное выше как

>>> [e for e in sourceDataDict if e['morphology'] == 'complex']
[{'morphology': 'complex', 'peakflux': 13, 'spectrum': 4}]

>>> list(itertools.ifilter(lambda e:e['morphology'] == 'complex', sourceDataDict))
[{'morphology': 'complex', 'peakflux': 13, 'spectrum': 4}]

Работая с огромным объемом данных, вы можете захотеть где-то их сохранить, поэтому какая-то база данных и ORM (например), но последнее - дело вкуса. Решением может быть своего рода СУБД.

Что касается необработанного python, нет встроенного решения, кроме функциональных подпрограмм, таких как filter. В любом случае вы сталкиваетесь с итерацией на каком-то этапе (неявно или нет).

Самый простой способ - сохранить дополнительный dict с ключами в качестве значений атрибутов:

objectsBy['morphology'] = {'complex': set(), 'simple': set()}

for item in sources:
  ...
  objMorphology = compute_morphology(item)
  objectsBy['morphology'][objMorphology] += item
  ...