Лучший способ перетасовать два массива numpy в унисон
-
25-09-2019 - |
Вопрос
У меня есть два массива numpy разной формы, но одинаковой длины (ведущее измерение).Я хочу перетасовать каждый из них, чтобы соответствующие элементы продолжали соответствовать, т.е.перетасуйте их в унисон относительно ведущих индексов.
Этот код работает и иллюстрирует мои цели:
def shuffle_in_unison(a, b):
assert len(a) == len(b)
shuffled_a = numpy.empty(a.shape, dtype=a.dtype)
shuffled_b = numpy.empty(b.shape, dtype=b.dtype)
permutation = numpy.random.permutation(len(a))
for old_index, new_index in enumerate(permutation):
shuffled_a[new_index] = a[old_index]
shuffled_b[new_index] = b[old_index]
return shuffled_a, shuffled_b
Например:
>>> a = numpy.asarray([[1, 1], [2, 2], [3, 3]])
>>> b = numpy.asarray([1, 2, 3])
>>> shuffle_in_unison(a, b)
(array([[2, 2],
[1, 1],
[3, 3]]), array([2, 1, 3]))
Однако это кажется неуклюжим, неэффективным и медленным и требует копирования массивов — я бы предпочел перетасовать их на месте, поскольку они будут довольно большими.
Есть ли лучший способ сделать это?Мои основные цели — более быстрое выполнение и меньшее использование памяти, но элегантный код тоже не помешал бы.
Еще одна мысль, которая у меня возникла, заключалась в следующем:
def shuffle_in_unison_scary(a, b):
rng_state = numpy.random.get_state()
numpy.random.shuffle(a)
numpy.random.set_state(rng_state)
numpy.random.shuffle(b)
Это работает... но это немного пугает, так как я не вижу никакой гарантии, что это продолжит работать - например, это не похоже на то, что гарантированно выживет в версии numpy.
Решение
Ваше «страшное» решение мне не кажется страшным.Вызов shuffle()
поскольку две последовательности одинаковой длины приводят к одинаковому количеству вызовов генератора случайных чисел, и это единственные «случайные» элементы в алгоритме перемешивания.Сбрасывая состояние, вы гарантируете, что вызовы генератора случайных чисел дадут те же результаты при втором вызове shuffle()
, поэтому весь алгоритм будет генерировать одну и ту же перестановку.
Если вам это не нравится, другим решением было бы хранить ваши данные в одном массиве вместо двух с самого начала и создать два представления в этом одном массиве, имитируя два массива, которые у вас есть сейчас.Вы можете использовать один массив для перетасовки, а представления — для всех других целей.
Пример:Предположим, массивы a
и b
выглядеть так:
a = numpy.array([[[ 0., 1., 2.],
[ 3., 4., 5.]],
[[ 6., 7., 8.],
[ 9., 10., 11.]],
[[ 12., 13., 14.],
[ 15., 16., 17.]]])
b = numpy.array([[ 0., 1.],
[ 2., 3.],
[ 4., 5.]])
Теперь мы можем построить один массив, содержащий все данные:
c = numpy.c_[a.reshape(len(a), -1), b.reshape(len(b), -1)]
# array([[ 0., 1., 2., 3., 4., 5., 0., 1.],
# [ 6., 7., 8., 9., 10., 11., 2., 3.],
# [ 12., 13., 14., 15., 16., 17., 4., 5.]])
Теперь мы создаем представления, имитирующие оригинал. a
и b
:
a2 = c[:, :a.size//len(a)].reshape(a.shape)
b2 = c[:, a.size//len(a):].reshape(b.shape)
Данные a2
и b2
делится с c
.Чтобы перетасовать оба массива одновременно, используйте numpy.random.shuffle(c)
.
В производственном коде вы, конечно, попытаетесь избежать создания исходного кода. a
и b
вообще и сразу создать c
, a2
и b2
.
Это решение может быть адаптировано к случаю, когда a
и b
имеют разные типы dtypes.
Другие советы
Вы можете использовать Numpy's Индексирование массива:
def unison_shuffled_copies(a, b):
assert len(a) == len(b)
p = numpy.random.permutation(len(a))
return a[p], b[p]
Это приведет к созданию отдельных разведенных массивов из унисон.
X = np.array([[1., 0.], [2., 1.], [0., 0.]])
y = np.array([0, 1, 2])
from sklearn.utils import shuffle
X, y = shuffle(X, y, random_state=0)
Чтобы узнать больше, см. http://scikit- learn.org/stable/modules/generated/sklearn.utils.shuffle.html.
Очень простое решение:
randomize = np.arange(len(x))
np.random.shuffle(randomize)
x = x[randomize]
y = y[randomize]
два массива X, Y теперь оба случайным образом перетасовываются так же
Джеймс написал в 2015 году решение что полезно. Но он добавил случайную переменную состояния, которая не требуется. В следующем коде случайное состояние из Numpy автоматически предполагается.
X = np.array([[1., 0.], [2., 1.], [0., 0.]])
y = np.array([0, 1, 2])
from sklearn.utils import shuffle
X, y = shuffle(X, y)
Перемешать любое количество массивов вместе, на месте, используя только numpy.
import numpy as np
def shuffle_arrays(arrays, set_seed=-1):
"""Shuffles arrays in-place, in the same order, along axis=0
Parameters:
-----------
arrays : List of NumPy arrays.
set_seed : Seed value if int >= 0, else seed is random.
"""
assert all(len(arr) == len(arrays[0]) for arr in arrays)
seed = np.random.randint(0, 2**(32 - 1) - 1) if set_seed < 0 else set_seed
for arr in arrays:
rstate = np.random.RandomState(seed)
rstate.shuffle(arr)
И можно использовать как это
a = np.array([1, 2, 3, 4, 5])
b = np.array([10,20,30,40,50])
c = np.array([[1,10,11], [2,20,22], [3,30,33], [4,40,44], [5,50,55]])
shuffle_arrays([a, b, c])
Несколько вещей, чтобы примечание:
- Утверждение гарантирует, что все входные массивы имеют одинаковую длину вдоль их первого измерения.
- Массивы перетасовали на месте их первым измерением - ничего не возвращалось.
- Случайное семя в пределах положительного диапазона INT32.
- Если требуется повторяемое перетасование, значение семян может быть установлено.
После перемещения данные могут быть разделены с использованием np.split
или упоминается с использованием ломтиков - в зависимости от приложения.
Вы можете сделать массив, как:
s = np.arange(0, len(a), 1)
Затем поместите это:
np.random.shuffle(s)
Теперь используйте это как аргумент ваших массивов. Теми же перетасовывающие аргументы возвращают одинаковые перетасовывающие векторы.
x_data = x_data[s]
x_label = x_label[s]
from np.random import permutation
from sklearn.datasets import load_iris
iris = load_iris()
X = iris.data #numpy array
y = iris.target #numpy array
# Data is currently unshuffled; we should shuffle
# each X[i] with its corresponding y[i]
perm = permutation(len(X))
X = X[perm]
y = y[perm]
Один из способов, в котором устойчивое спрей можно сделать для подключенных списков, используют семя (это может быть случайным) и с использованием Numpy.random.shuffle, чтобы сделать перетаситель.
# Set seed to a random number if you want the shuffling to be non-deterministic.
def shuffle(a, b, seed):
np.random.seed(seed)
np.random.shuffle(a)
np.random.seed(seed)
np.random.shuffle(b)
Вот и все. Это так же будет перемещать как и b. Это также сделано в месте, которое всегда плюс.
Редактировать, не используйте np.random.seed () Использование np.random.randomstate вместо
def shuffle(a, b, seed):
rand_state = np.random.RandomState(seed)
rand_state.shuffle(a)
rand_state.seed(seed)
rand_state.shuffle(b)
При звонке это просто пройти в любом семене, чтобы накормить случайное состояние:
a = [1,2,3,4]
b = [11, 22, 33, 44]
shuffle(a, b, 12345)
Выход:
>>> a
[1, 4, 2, 3]
>>> b
[11, 44, 22, 33]
Редактировать: фиксированный код для повторного семена случайного состояния
Есть известная функция, которая может справиться с этим:
from sklearn.model_selection import train_test_split
X, _, Y, _ = train_test_split(X,Y, test_size=0.0)
Просто настройка test_size до 0 избегает расщепления и дать вам смягчать данные. Хотя он обычно используется для разделения поезда и тестирования данных, он также делает их тоже.
От документация
Сплит массивов или матрицы в случайных поездов и тестовых подмножествах
Быстрая утилита, которая обертывает входную проверку и следующую (Shufflesplit (). Split (x, y)) и приложение для ввода данных в один вызов для разделения (и, необязательно, подводных) данных в Oneliner.
Скажем, у нас есть два массива: а б.
a = np.array([[1,2,3],[4,5,6],[7,8,9]])
b = np.array([[9,1,1],[6,6,6],[4,2,0]])
Сначала мы можем получить индексы строк путем перебивания первого измерения
indices = np.random.permutation(a.shape[0])
[1 2 0]
Затем используйте расширенную индексацию. Здесь мы используем те же индексы, чтобы перетасовать оба массива в унисон.
a_shuffled = a[indices[:,np.newaxis], np.arange(a.shape[1])]
b_shuffled = b[indices[:,np.newaxis], np.arange(b.shape[1])]
Это эквивалентно
np.take(a, indices, axis=0)
[[4 5 6]
[7 8 9]
[1 2 3]]
np.take(b, indices, axis=0)
[[6 6 6]
[4 2 0]
[9 1 1]]
Если вы хотите избежать копирования массивов, то я бы предложил, чтобы вместо того, чтобы создавать список перестановок, вы проходите каждый элемент в массиве и случайным образом поменяете его в другую позицию в массиве
for old_index in len(a):
new_index = numpy.random.randint(old_index+1)
a[old_index], a[new_index] = a[new_index], a[old_index]
b[old_index], b[new_index] = b[new_index], b[old_index]
Это реализует алгоритм Shuffle Shuffle Knuth-Fisher-Yates.
С примером это то, что я делаю:
combo = []
for i in range(60000):
combo.append((images[i], labels[i]))
shuffle(combo)
im = []
lab = []
for c in combo:
im.append(c[0])
lab.append(c[1])
images = np.asarray(im)
labels = np.asarray(lab)
Я расширил Random Python .Shuffle (), чтобы взять второй Arg:
def shuffle_together(x, y):
assert len(x) == len(y)
for i in reversed(xrange(1, len(x))):
# pick an element in x[:i+1] with which to exchange x[i]
j = int(random.random() * (i+1))
x[i], x[j] = x[j], x[i]
y[i], y[j] = y[j], y[i]
Таким образом, я могу быть уверен, что спреивание происходит на месте, и функция не слишком длинная или сложная.