Optymalizacja brute force

0

Cześć, piszę taki prosty brute forcer, który ma znaleźć odpowiednią kolizję dla bloku danych, żeby suma kontrolna CRC32 się zgadzała a jednocześnie XOR bajtów bloku danych pasował do określonej wartości, jak byście to zoptymalizowali:

void brute(void)
{
	uint64_t val = 0;
	uint8_t *val_ptr = (uint8_t *)&val;

	uint32_t i, crc_checksum, xor_checksum;

	FILE *dump = NULL;

	for (val = 0; val < UINT64_MAX; val++)
	{
		// calculate CRC32 checksum
		for (i = 0, crc_checksum = INIT_CRC; i < sizeof(uint64_t); i++)
		{
			crc_checksum = crc32_tab[(crc_checksum ^ val_ptr[i]) & 0xFF] ^ (crc_checksum >> 8);
		}

		// finalize crc
		crc_checksum = crc_checksum ^ ~0U;

		if (crc_checksum == EXPECTED_CRC)
		{
			// calculate xor checksum
			for (i = 0, xor_checksum = INIT_XOR; i < sizeof(uint64_t); i++)
			{
				xor_checksum ^= val_ptr[i];
			}

			if (xor_checksum == EXPECTED_XOR)
			{
				dump = fopen("missing_bytes.bin", "w+");

				if (dump != NULL)
				{
					fwrite(val_ptr, 1, sizeof(uint64_t), dump);
					fclose(dump);
				}

				return;
			}
		}
	}
}
0

Jako że żeby coś zrobić miło by było testować:
Jak wygląda crc32_tab (CRC występuje w różnych odmianach (o czym wiesz) a nie chcę zgadywać) - http://www.opensource.apple.com/source/xnu/xnu-1456.1.26/bsd/libkern/crc32.c - taka tabela może być?
Ile mają przykładowo INIT_XOR, EXPECTED_CRC i EXPECTED_XOR?

0

Wrzucam całość, na VPSie to puściłem, ale zastanawia mnie jak by to można było przyśpieszyć, mam wersje też Windowsową w asm, gdzie podzieliłem zakres do sprawdzenia na 4 cześci i 4 osobne wątki mielą te dane, próbowałem też losowe generowanie większego bufora dopełniającego (tutaj mamy 8 bajtów w postaci uint64_t), gcc -O3 pod 64 bitowy procesor fajnie zunrollował pętle, wrzucił wszystko do rejestrów, jednak nadal nie znalazł kolizji, będę wdzięczny za wszelkie wskazówki i optymalizacje

#include <stdio.h>
#include <math.h>
#include <inttypes.h>

#ifdef _WIN32

#include <windows.h>
#include <winsock.h>

#define close(x) closesocket(x)

#else

#include <sys/types.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <netdb.h>

#endif

// process id
uint32_t pid = 0;

// initial checksums
const uint32_t INIT_CRC = 0xF8155BAD;
const uint32_t INIT_XOR = 0x77;

// expected checksums
const uint32_t EXPECTED_CRC = 0x629BED68;
const uint32_t EXPECTED_XOR = 0x74;

static uint32_t crc32_tab[] = {
	0x00000000, 0x77073096, 0xee0e612c, 0x990951ba, 0x076dc419, 0x706af48f,
	0xe963a535, 0x9e6495a3, 0x0edb8832, 0x79dcb8a4, 0xe0d5e91e, 0x97d2d988,
	0x09b64c2b, 0x7eb17cbd, 0xe7b82d07, 0x90bf1d91, 0x1db71064, 0x6ab020f2,
	0xf3b97148, 0x84be41de, 0x1adad47d, 0x6ddde4eb, 0xf4d4b551, 0x83d385c7,
	0x136c9856, 0x646ba8c0, 0xfd62f97a, 0x8a65c9ec, 0x14015c4f, 0x63066cd9,
	0xfa0f3d63, 0x8d080df5, 0x3b6e20c8, 0x4c69105e, 0xd56041e4, 0xa2677172,
	0x3c03e4d1, 0x4b04d447, 0xd20d85fd, 0xa50ab56b, 0x35b5a8fa, 0x42b2986c,
	0xdbbbc9d6, 0xacbcf940, 0x32d86ce3, 0x45df5c75, 0xdcd60dcf, 0xabd13d59,
	0x26d930ac, 0x51de003a, 0xc8d75180, 0xbfd06116, 0x21b4f4b5, 0x56b3c423,
	0xcfba9599, 0xb8bda50f, 0x2802b89e, 0x5f058808, 0xc60cd9b2, 0xb10be924,
	0x2f6f7c87, 0x58684c11, 0xc1611dab, 0xb6662d3d, 0x76dc4190, 0x01db7106,
	0x98d220bc, 0xefd5102a, 0x71b18589, 0x06b6b51f, 0x9fbfe4a5, 0xe8b8d433,
	0x7807c9a2, 0x0f00f934, 0x9609a88e, 0xe10e9818, 0x7f6a0dbb, 0x086d3d2d,
	0x91646c97, 0xe6635c01, 0x6b6b51f4, 0x1c6c6162, 0x856530d8, 0xf262004e,
	0x6c0695ed, 0x1b01a57b, 0x8208f4c1, 0xf50fc457, 0x65b0d9c6, 0x12b7e950,
	0x8bbeb8ea, 0xfcb9887c, 0x62dd1ddf, 0x15da2d49, 0x8cd37cf3, 0xfbd44c65,
	0x4db26158, 0x3ab551ce, 0xa3bc0074, 0xd4bb30e2, 0x4adfa541, 0x3dd895d7,
	0xa4d1c46d, 0xd3d6f4fb, 0x4369e96a, 0x346ed9fc, 0xad678846, 0xda60b8d0,
	0x44042d73, 0x33031de5, 0xaa0a4c5f, 0xdd0d7cc9, 0x5005713c, 0x270241aa,
	0xbe0b1010, 0xc90c2086, 0x5768b525, 0x206f85b3, 0xb966d409, 0xce61e49f,
	0x5edef90e, 0x29d9c998, 0xb0d09822, 0xc7d7a8b4, 0x59b33d17, 0x2eb40d81,
	0xb7bd5c3b, 0xc0ba6cad, 0xedb88320, 0x9abfb3b6, 0x03b6e20c, 0x74b1d29a,
	0xead54739, 0x9dd277af, 0x04db2615, 0x73dc1683, 0xe3630b12, 0x94643b84,
	0x0d6d6a3e, 0x7a6a5aa8, 0xe40ecf0b, 0x9309ff9d, 0x0a00ae27, 0x7d079eb1,
	0xf00f9344, 0x8708a3d2, 0x1e01f268, 0x6906c2fe, 0xf762575d, 0x806567cb,
	0x196c3671, 0x6e6b06e7, 0xfed41b76, 0x89d32be0, 0x10da7a5a, 0x67dd4acc,
	0xf9b9df6f, 0x8ebeeff9, 0x17b7be43, 0x60b08ed5, 0xd6d6a3e8, 0xa1d1937e,
	0x38d8c2c4, 0x4fdff252, 0xd1bb67f1, 0xa6bc5767, 0x3fb506dd, 0x48b2364b,
	0xd80d2bda, 0xaf0a1b4c, 0x36034af6, 0x41047a60, 0xdf60efc3, 0xa867df55,
	0x316e8eef, 0x4669be79, 0xcb61b38c, 0xbc66831a, 0x256fd2a0, 0x5268e236,
	0xcc0c7795, 0xbb0b4703, 0x220216b9, 0x5505262f, 0xc5ba3bbe, 0xb2bd0b28,
	0x2bb45a92, 0x5cb36a04, 0xc2d7ffa7, 0xb5d0cf31, 0x2cd99e8b, 0x5bdeae1d,
	0x9b64c2b0, 0xec63f226, 0x756aa39c, 0x026d930a, 0x9c0906a9, 0xeb0e363f,
	0x72076785, 0x05005713, 0x95bf4a82, 0xe2b87a14, 0x7bb12bae, 0x0cb61b38,
	0x92d28e9b, 0xe5d5be0d, 0x7cdcefb7, 0x0bdbdf21, 0x86d3d2d4, 0xf1d4e242,
	0x68ddb3f8, 0x1fda836e, 0x81be16cd, 0xf6b9265b, 0x6fb077e1, 0x18b74777,
	0x88085ae6, 0xff0f6a70, 0x66063bca, 0x11010b5c, 0x8f659eff, 0xf862ae69,
	0x616bffd3, 0x166ccf45, 0xa00ae278, 0xd70dd2ee, 0x4e048354, 0x3903b3c2,
	0xa7672661, 0xd06016f7, 0x4969474d, 0x3e6e77db, 0xaed16a4a, 0xd9d65adc,
	0x40df0b66, 0x37d83bf0, 0xa9bcae53, 0xdebb9ec5, 0x47b2cf7f, 0x30b5ffe9,
	0xbdbdf21c, 0xcabac28a, 0x53b39330, 0x24b4a3a6, 0xbad03605, 0xcdd70693,
	0x54de5729, 0x23d967bf, 0xb3667a2e, 0xc4614ab8, 0x5d681b02, 0x2a6f2b94,
	0xb40bbe37, 0xc30c8ea1, 0x5a05df1b, 0x2d02ef8d
};

uint32_t crc32(uint32_t crc, const void *buf, size_t size)
{
	const unsigned char *p;

	p = buf;

	crc = crc ^ ~0U;

	while (size--)
	{
		crc = crc32_tab[(crc ^ *p++) & 0xFF] ^ (crc >> 8);
	}

	return crc ^ ~0U;
}

///////////////////////////////////////////////////////////////////////////////
//
// main brute force routine
//
///////////////////////////////////////////////////////////////////////////////

void brute(void)
{
	uint64_t val = 0;
	uint8_t *val_ptr = (uint8_t *)&val;

	uint32_t i, crc_checksum, xor_checksum;

	FILE *dump = NULL;

	for (val = 0; val < UINT64_MAX; val++)
	{
		// calculate CRC32 checksum
		for (i = 0, crc_checksum = INIT_CRC; i < sizeof(uint64_t); i++)
		{
			crc_checksum = crc32_tab[(crc_checksum ^ val_ptr[i]) & 0xFF] ^ (crc_checksum >> 8);
		}

		// finalize crc
		crc_checksum = crc_checksum ^ ~0U;

		if (crc_checksum == EXPECTED_CRC)
		{
			// calculate xor checksum
			for (i = 0, xor_checksum = INIT_XOR; i < sizeof(uint64_t); i++)
			{
				xor_checksum ^= val_ptr[i];
			}

			if (xor_checksum == EXPECTED_XOR)
			{
				dump = fopen("missing_bytes.bin", "w+");

				if (dump != NULL)
				{
					fwrite(val_ptr, 1, sizeof(uint64_t), dump);
					fclose(dump);
				}

				return;
			}
		}
	}
}

///////////////////////////////////////////////////////////////////////////////
//
// entrypoint
//
///////////////////////////////////////////////////////////////////////////////

int main()
{
	printf("[ţ] brute forcer\n");

	// fork into background
	#ifndef _WIN32
	pid = fork();
	#endif

	switch(pid)
	{
	case -1:
		printf("[!] the fork failed!\n\n");
		break;

	case 0:

		printf("[ţ] let's get to work\n");

		brute();

		_exit(0);
		break;
	
	default:
		printf("[ţ] launched (pid: %d)\n\n", pid);
		break;
	}

	return 0;
}
1

http://www.woodmann.com/fravia/crctut1.htm

Poszukaj w Google "crc32 compensation". Dzięki temu będziesz generował kolizje crc32 w ilości instrukcji zależnych od długości crc, a nie rozmiaru dziedziny.

Ja bym to zrobił tak, że iterował bym sobie i za każdą iteracją inkrementował bajt z przodu, a następnie odpalał algorytm do kompensacji crc i sprawdzał czy XOR się zgadza. Ewentualnie jeśli coś takiego nie przejdzie to z przodu wydzielił bym sobie nie bajt, a np słowo.

0

Ładny kod to nie jest, ale wygląda na to że działa a o to w sumie chodzi:

uint8_t lookup(uint8_t byte) {
    for (int i = 0; ; i++) {
        if (crc32[i] >> 24 == byte) {
            return i;
        }
    }
}

/* odwracanie CRC, raczej na pewno działa. */
uint32_t rev(uint32_t crcSoFar, uint32_t crcWanted) {
    uint32_t bufdata[2] = { crcSoFar, crcWanted };
    uint8_t* buffer = (uint8_t*)&bufdata;
    for (int i = 4; i > 0; i--) {
        uint8_t ndx = lookup(buffer[i + 3]);
        *((uint32_t*)&buffer[i]) ^= crc32[ndx];
        buffer[i - 1] ^= ndx;
    } return bufdata[0];
}

/* bruteforce, też raczej działa, tzn. dla testowej implementacji CRC zwraca poprawny wynik. */
void brute(void) {
    for (int i = 0; i < 0x100; i++) {
        uint8_t bytes[5] = { i };
        uint32_t crc = crc32[(INIT_CRC ^ i) & 0xFF] ^ (INIT_CRC >> 8);
        *((uint32_t*)&bytes[1]) = rev(crc, EXPECTED_CRC ^ ~0); /* ~0 zależy od tego czy EXPECTED_CRC jest już zanegowane */
        uint32_t xorv = i ^ bytes[1] ^ bytes[2] ^ bytes[3] ^ bytes[4];
        if (xorv == (INIT_XOR ^ EXPECTED_XOR)) {
            printf("%x%x%x%x%x\n", i, bytes[1], bytes[2], bytes[3], bytes[4]);
            return;
        }
    }
}

na moim komputerze działa w sporo poniżej sekundy.

0

Jako ciekawostka, mój bf znalazł taką kolizję - 64 E6 53 28 FA 00 00 00

1 użytkowników online, w tym zalogowanych: 0, gości: 1