La última capa es Base64, y por longitud apuesto a que la anterior es algún tipo de hash criptográfico. No creo que se pueda afinar mucho más con la información que proporcionas.

Parece un reto, no un programa comercial, así que no creo que la prohibición sea aplicable.

Aunque pedir ayuda así sin haber probado nada no suele funcionar muy bien...

Utilizan las librerías del sistema operativo, la API de windows o las X-Windows en unix.

Hombre, leer en diagonal está bien para los memes de internet, pero no vale para aprender cosas serias.

Es importante, pero no es imprescindible hacerlo a mano. Si usas windows, la calculadora tiene un modo "programador" que te convierte entre decimal, octal, binario y hexadecimal.

Convertir entre binario y hexadecimal es relativamente sencillo, por ser cada dígito hexadecimal equivalente a 4 dígitos binarios (bits).
BIN   = DEC = HEX
0000 = 0     = 0
0001 = 1     = 1
0010 = 2     = 2
0011 = 3     = 3
0100 = 4     = 4
0101 = 5     = 5
0110 = 6     = 6
0111 = 7     = 7
1000 = 8     = 8
1001 = 9     = 9
1010 = 10   = A
1011 = 11   = B
1100 = 12   = C
1101 = 13   = D
1110 = 14   = E
1111 = 15   = F

Entonces, si tienes el número hexadecimal 0xA3B7 en binario sería 1010 0011 1011 0111 (el 0x es una convención en algunos lenguajes de programación. En C, por ejemplo, 0x123 indica el número 123 hexadecimal).

Convertir entre octal y binario es muy parecido, solo que cada dígito octal son solo 3 bits (cogerías de la tabla anterior solo hasta el 7, quitando el primer bit, es decir, el cero de más a la izquierda).

Convertir entre decimal y los otros sistemas es más complicado porque no hay una relación sencilla como entre hexadecimal u octal y binario.
Generalizando, dada una base B (el sistema decimal es base 10, el hexadecimal base 16, el octal base 8 y el binario base 2), para convertir un número a decimal:
Coges el número de más a la derecha y lo múltiplicas por 1.
Coges el siguiente número y lo multiplicas por 1 y por la base (1xB = B)
Coges el siguiente número y lo multiplicas por 1, por la base, y otra vez por la base (1xBxB = BxB)
Y así sucesivamente. Y luego sumas todos.

Volviendo al ejemplo anterior, 0xA3B7:
Multiplicas 0x7 por 1 = 7
Multiplicas 0xB (11) por la base (16) = 11x16 = 176
Multiplicas 0x3 por la base dos veces = 3x16x16 = 3x256 = 768
Multiplicas 0xA (10) por la base tres veces = 10x16x16x16 = 10x4096 = 40960
Luego sumas todo:
7 + 176 + 768 + 40960 = 41911

No. La NAT la proporciona el router, no la compañía de internet. Y no hay ningún problema, redireccionas puertos igual que si quieres montar un servidor web público o conectarte a la red emule.

En fichero tienes que duplicar el %.

Cuando estés probando cosas, pon un pause al final para ver lo que ocurre.