「１０進数を１６進数に変換」するというより、RGBの各値を渡して、ひとつのRGBカラー値を計算するものでしょう。<<演算子は、2進法で桁を左にずらす処理になります。|演算子の処理は、いわば繰り上がりのない足し算です。

参考: Flashディスカッショングループ「setRGBで入力する値について」
引用：

----------------